JP5503548B2 - デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP5503548B2
JP5503548B2 JP2010534693A JP2010534693A JP5503548B2 JP 5503548 B2 JP5503548 B2 JP 5503548B2 JP 2010534693 A JP2010534693 A JP 2010534693A JP 2010534693 A JP2010534693 A JP 2010534693A JP 5503548 B2 JP5503548 B2 JP 5503548B2
Authority
JP
Japan
Prior art keywords
block
edge
deblocking
filter
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010534693A
Other languages
English (en)
Other versions
JPWO2010047104A1 (ja
Inventor
翔平 松尾
誠之 高村
一人 上倉
由幸 八島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010534693A priority Critical patent/JP5503548B2/ja
Publication of JPWO2010047104A1 publication Critical patent/JPWO2010047104A1/ja
Application granted granted Critical
Publication of JP5503548B2 publication Critical patent/JP5503548B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、ブロックベースの予測符号化を実装する映像符号化装置や映像復号装置で用いられるデブロッキング処理方法およびその装置と、そのデブロッキング処理方法の実現に用いられるデブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００８年１０月２２日に、日本に出願された特願２００８−２７１４９６号に基づいて優先権を主張し、その内容をここに援用する。
映像符号化において、異なる画面間で予測を実行する画面間予測符号化（動き補償）では、参照する画像は復号された画像を用いるようにしている。このため、低ビットレートで符号化する場合、ブロック歪みが発生して復号された画像は劣化し、その劣化した画像を参照するため、画質劣化が伝播する問題があった。
そこで、ブロック歪みを低減させるループ内フィルタが提案されており、映像符号化標準に導入されている。また、現在、国際標準化会合ＩＳＯ ＭＰＥＧ（Moving Picture Experts Group）やＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門） ＶＣＥＧ（Video Coding Experts Group）でもループ内フィルタに限らず、プレフィルタやポストフィルタも含めてフィルタ関連の提案は数多くされ、活発に議論されている。プレフィルタやポストフィルタと異なり、ループ内フィルタを使用することで、フィルタがかかる対象画像の画質が改善されるだけでなく、その画像を参照する後続のフレームへの影響も改善され、映像全体の画質向上（符号化効率改善）が可能になる。このため、ループ内フィルタの改善は非常に期待される領域である。
映像情報を符号化する場合、現状のＭＰＥＧ−１やＭＰＥＧ−２やＭＰＥＧ−４やＨ．２６１やＨ．２６２やＨ．２６４などの映像符号化標準においては、画像をＭ×Ｎ（ＭおよびＮは２の倍数、例えば４，８，１６）のブロックに分割して符号化を行う。分割後、画面内や画面間で、処理対象ブロックと参照ブロック（復号したブロック）との差分を取り、その残差信号を直交変換し、量子化をしてエントロピー符号化を施し、バイナリデータとして出力する。
人間の視覚特性が高周波に鈍感であることを利用して、量子化をする際に、画像の高周波成分は削除される。このときブロック単位で高周波成分が落とされるため、復号された画像では、ブロックの境界が目立ち、ブロック状のノイズが乗ることになる。特に映像に割り当てられる符号量が低い状況（すなわち、低ビットレート）では、ブロックノイズが顕著に視認される。
動き補償型画面間予測符号化においては、過去もしくは未来にある参照フレームと処理対象フレームとの残差信号および動きベクトル（移動量）を送信することで、時間方向の冗長性を削減する。この動き補償型画面間予測符号化においては、参照先の画像にブロック状のノイズが含まれていて劣化している場合、参照フレームと処理対象フレームとの間の差分を取ると、その残差信号は増え、符号化効率の低下を招く結果となる。
そこで、Ｈ．２６４／ＡＶＣでは、参照フレーム、すなわち復号画像をフレームメモリに格納する際に、符号化時に発生するブロックノイズを減少させるフィルタを使用する。本フィルタをデブロッキングフィルタと呼ぶ。
なお、以上に記載した点については、下記に示す非特許文献１のpp. 140-144およびp. 269に記載されている。
図２４Ａに、符号化の工程におけるデブロッキングフィルタの位置を示し、図２４Ｂに、復号の工程におけるデブロッキングフィルタの位置を示す。
デブロッキングフィルタの処理は、１つのマクロブロック（以下、ＭＢと略記する）を分割して得られる１６個のブロック（４×４）の各ブロック境界に対して施される。また、ＭＢ境界の場合、隣接ＭＢが存在すれば、フィルタに必要な画素が得られるため、処理を同様に施す。
図２５Ａおよび図２５Ｂに、具体的な処理箇所を示す。ここで、図２５Ａは垂直方向のブロック境界に関するフィルタの位置を示す。また、図２５Ｂは水平方向のブロック境界に関するフィルタ位置を示す。ただし、処理対象ＭＢが輝度信号の８×８ブロックで処理された場合には、基本的に実線部分のみ処理を施し、輝度信号そして色差信号の４×４ブロックで処理された場合には、実線と破線部分の両方を処理する。
なお、以上に記載した点については、下記に示す非特許文献２のpp. 182-193に記載されている。
画像の特性によって、ブロック歪みが発生し易い箇所と発生しにくい箇所があるため、デブロッキングフィルタの処理は適応的に施される。具体的には、
・境界強度（Ｂｓ値：Boundary Strength)
・境界間画素の差分の絶対値
の条件に従って、処理が変化する。下記の表１に、境界強度の定義を示す。
Figure 0005503548
また、図２５Ａおよび図２５Ｂに示されるように、１つのブロックの画素値をｐm （０≦ｍ＜４：ブロック境界に近いほど添字は小さい）、もう一方のブロックの画素値をｑn （０≦ｎ＜４：ブロック境界に近いほど添字は小さい）とする場合、
１．Ｂｓ＞０
２．|ｐ0−ｑ0|＜α ＆＆ |ｐ1−ｐ0|＜β ＆＆ |ｑ1−ｑ0|＜β
という２つの条件を満たす場合に、デブロッキングフィルタは動作する。
ここで、αおよびβは符号化時に定める量子化パラメータ（ＱＰ：Quantization Parameter）に依存して、一意に定まる。また、ユーザー側もスライスヘッダに含まれる２つのパラメータslice＿alpha＿c0＿offset＿div2およびslice＿beta＿offset＿div2のフラグを利用することで、αおよびβを調整することが可能となっている。
さらに、上記の２つのパラメータ以外に、ピクチャパラメータセット（ヘッダ部分）にて、deblocking＿filter＿control＿present＿flagおよびdisable＿deblocking＿filter＿idc の２つのパラメータにより、
１．ブロック境界、およびＭＢ境界にデブロッキングフィルタを施す
２．ＭＢ境界のみにデブロッキングフィルタを施す
３．デブロッキングフィルタを施さない
というように、３種類のレベルに分けて、デブロッキングフィルタの制御が可能となっている。
なお、デブロッキングフィルタとは関係しないが、画面内予測の性能を改善する様々な手法が提案されている。本発明者も、画像のテクスチャに合わせて傾斜を付けて予測することで画面内予測の性能を改善する手法を提案している（非特許文献３参照）。
大久保榮, 角野眞也, 菊池義浩, 鈴木輝彦： "改訂版 Ｈ．２６４／ＡＶＣ教科書",インプレス, 2006 ITU-T Study Group 16-Questions 6/16 : "Draft new Corrigendum 1 to H.264 Advanced video coding for generic audiovisual services", 2005 松尾翔平, 高村誠之, 上倉一人, 八島由幸： "傾斜付きイントラ予測の基礎検討",画像符号化シンポジウムPCSJ2007
従来のデブロッキングフィルタでは、ブロック境界に対して、常に垂直方向（９０°）に画素をとり、（ｉ）境界強度と、（ii）選択された画素の差分の絶対値という２つの条件によって、フィルタ処理を適応的に施していた。
しかしながら、従来技術では垂直方向のみの画素処理になるため、仮に符号化対象画像が固有の斜め方向のテクスチャ（例えば、斜めの模様や線）を有する場合、そのテクスチャをぼかしてしまう可能性があった。
すなわち、従来のデブロッキングフィルタは適応的に処理を施すものの、元来画像に含まれるテクスチャの方向を考慮して処理するという機構は有していない。このため、従来技術に従っていると、本来残すべきテクスチャに対してもフィルタを施してしまうことから、斜めのテクスチャ成分が滑らかになり、主観画質が劣化する可能性があった。
本発明はかかる事情に鑑みてなされたものであって、画像に残すべき斜め方向のテクスチャを保存し、かつブロックノイズを効率的に削減可能とする新たなデブロッキング処理技術の提供を目的とするものである。また、これにより、単一画像の主観画質向上だけでなく、画質が向上した画像を参照することにより画面間予測符号化の性能も向上させることで、映像情報全体の符号化効率向上を実現可能とすることを目的とするものである。
この目的を達成するために、本発明のデブロッキング処理方法は、ブロックベースの予測符号化を行う映像符号化方式や、前記映像符号化方式により符号化された映像を復号する映像復号方式で発生するブロック歪みを低減させるためのデブロッキング処理装置が実行するデブロッキング処理方法であって、前記デブロッキング処理装置の検出手段が、各ブロックについて、各ブロックの画素値の変化方向を示すエッジがどちらの方向への画素値変化を示しているのかを検出する検出ステップと、前記デブロッキング処理装置の決定手段が、デブロッキングの対象となるブロック境界を持つ処理対象ブロックおよび前記処理対象ブロックに接するブロックについて検出した前記エッジの方向に基づいて、前記ブロック境界に対して施すデブロッキングフィルタの施す方向を決定する決定ステップと、前記デブロッキング処理装置のフィルタ実行手段が、前記決定した方向に従って、前記ブロック境界に対して前記デブロッキングフィルタを施すフィルタ実行ステップとを有する。
本発明のデブロッキング処理方法において、前記検出ステップでは、前記検出手段が、各ブロックについて、各ブロックの画素値変化の水平方向の成分を検出するとともに、各ブロックの画素値変化の垂直方向の成分を検出して、検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの方向を検出するようにしても良い。
本発明のデブロッキング処理方法において、前記検出ステップでは、前記検出手段が、各ブロックについて、各ブロックを画面内符号化した場合に用いられる予測モードの情報を取得して、取得した前記予測モードの情報に基づいて、前記エッジの方向を検出するようにしても良い。
本発明のデブロッキング処理方法において、前記デブロッキング処理装置の算出手段が、各ブロックについて、検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの強度を算出する算出ステップを備え、前記決定ステップでは、前記決定手段が、前記処理対象ブロックについて算出した前記エッジの強度と所定の閾値とを比較し、前記エッジの強度が前記所定の閾値以下である場合には、前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記ブロック境界に直交する方向に変更するようにしても良い。
本発明のデブロッキング処理方法において、前記決定ステップでは、前記決定手段が、前記処理対象ブロックについての前記予測モードの情報が画素平均値を予測信号とする予測モードであることを示している場合には、前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記ブロック境界に直交する方向に変更するようにしても良い。
本発明のデブロッキング処理方法において、前記決定ステップでは、前記決定手段が、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックについて検出した前記エッジの方向をキーにして、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックの前記エッジの方向と前記デブロッキングフィルタの施す方向との対応関係について記述する情報を記憶する記憶手段の記憶データを参照することで、前記デブロッキングフィルタの施す方向を決定するようにしても良い。
本発明のデブロッキング処理装置は、ブロックベースの予測符号化を行う映像符号化方式や、前記映像符号化方式により符号化された映像を復号する映像復号方式で発生するブロック歪みを低減させるためのデブロッキング処理装置であって、各ブロックについて、各ブロックの画素値の変化方向を示すエッジがどちらの方向への画素値変化を示しているのかを検出する検出手段と、デブロッキングの対象となるブロック境界を持つ処理対象ブロックおよび前記処理対象ブロックに接するブロックについて検出した前記エッジの方向に基づいて、前記ブロック境界に対して施すデブロッキングフィルタの施す方向を決定する決定手段と、前記決定した方向に従って、前記ブロック境界に対して前記デブロッキングフィルタを施すフィルタ実行手段とを有する。
本発明のデブロッキング処理装置において、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックの前記エッジの方向と前記デブロッキングフィルタの施す方向との対応関係について記述する情報を記憶する記憶手段を備え、前記決定手段は、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックについて検出した前記エッジの方向をキーにして、前記記憶手段の記憶データを参照することで、前記デブロッキングフィルタの施す方向を決定するようにしても良い。
本発明のデブロッキング処理プログラムは、上記デブロッキング処理方法の各ステップをコンピュータに実行させるためのデブロッキング処理プログラムである。
本発明のコンピュータ読み取り可能な記録媒体は、上記デブロッキング処理方法の各ステップをコンピュータに実行させるためのデブロッキング処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
以上説明したように、本発明によれば、従来のデブロッキングフィルタでは斜め方向のエッジが保存できず、画質の劣化を招くと考えられる斜め方向のエッジを多く含む画像に対して、保存すべき斜め方向のテクスチャも保存しつつ、ブロック境界に存在するブロックノイズを削減することができるようになる。したがって、主観画質の向上を実現できるようになる。
そして、本発明によれば、デコードされる画像が高画質化されることから、この画像を参照する画面間予測符号化にて、残差信号を低下させることができ、その結果として符号化効率の向上を実現できるようになる。
本発明の基本原理を示す説明図である。 エッジ方向の説明図である。 本発明の第１の実施形態に従ったデブロッキング処理装置の構成図である。 第１の実施形態のデブロッキング処理装置が実行するフローチャートである。 第１の実施形態のデブロッキング処理装置が実行するフローチャートである。 第１の実施形態のデブロッキング処理装置が実行するフローチャートである。 第１の実施形態のデブロッキング処理装置が実行するフローチャートである。 第１の実施形態のデブロッキング処理装置が実行するフローチャートである。 第１の実施形態のデブロッキング処理装置が実行するフローチャートである。 エッジ方向の検出処理の説明図である。 エッジ方向の検出処理の説明図である。 エッジ方向を区分けするエッジタイプの説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素の決定処理の説明図である。 フィルタ処理画素決定用情報記憶部の記憶する情報の説明図である。 本発明の第１の実施形態の有効性を検証するために行った実験結果の説明図である。 本発明の第１の実施形態の有効性を検証するために行った実験結果の説明図である。 本発明の第２の実施形態に従ったデブロッキング処理装置の構成図である。 第２の実施形態のデブロッキング処理装置が実行するフローチャートである。 第２の実施形態のデブロッキング処理装置が実行するフローチャートである。 第３の実施形態のデブロッキング処理装置が実行するフローチャートである。 符号化の工程におけるデブロッキングフィルタの実装位置の説明図である。 復号の工程におけるデブロッキングフィルタの実装位置の説明図である。 垂直方向のブロック境界に関するデブロッキングフィルタの位置を示す説明図である。 水平方向のブロック境界に関するデブロッキングフィルタの位置を示す説明図である。
まず、本発明の実施形態を説明するのに先立ち、本発明が適用されるデブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムの基本原理について説明する。本発明が適用されるデブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムでは、ブロック境界に対する垂直方向のみだけでなく、画像の有するテクスチャの向きに応じてフィルタの方向を適応的に変化させて画素変換処理を施すようにしている。これにより、画像固有のテクスチャを保存しつつ、ブロックノイズを効率的に削減することが可能となり、主観画質を向上させるデブロッキングフィルタを実現することができるようになる。
図１の（ａ）部分に示すように、符号化対象ブロックが斜め方向にテクスチャを含む場合を想定する。
この場合、図１の（ｂ）部分のように、従来のデブロッキングフィルタを施すと、ブロック境界のブロックノイズは削減できるが、斜めのテクスチャも状況に応じて平滑化するため、テクスチャに影響を与える可能性がある。
そこで、図１の（ｃ）部分のように、テクスチャの向きに応じて斜め方向にフィルタ処理を行うことで、テクスチャを残しつつ、ブロックノイズを削減させる。これにより、主観画質の向上を実現できるとともに、処理画像を参照する場合の残差信号の削減を実現でき、符号化効率の向上も実現できるようになる。
次に、このことを実現するデブロッキング処理装置の構成について説明する。
このデブロッキング処理装置は、ブロックベースの予測符号化を行う映像符号化方式や、前記映像符号化方式により符号化された映像を復号する映像復号方式で発生するブロック歪みを低減させることを実現するために、（１）各ブロックについて、各ブロックの画素値の変化方向を示すエッジがどちらの方向への画素値変化を示しているのかを検出する検出手段と、（２）デブロッキングの対象となるブロック境界を持つ処理対象ブロックおよび前記処理対象ブロックに接するブロック（上下左右斜め方向で接するブロック）について検出した前記エッジの方向に基づいて、前記ブロック境界に対して施すデブロッキングフィルタの施す方向を決定する決定手段と、（３）前記決定手段の決定した方向に従って、前記デブロッキングの対象となる前記ブロック境界に対して前記デブロッキングフィルタを施すフィルタ実行手段とを備える。
さらに、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックの前記エッジの方向と前記デブロッキングフィルタの施す方向との対応関係について記述する情報を記憶する記憶手段を備えることがある。この場合には、前記決定手段は、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックについて検出された前記エッジの方向をキーにして、この記憶手段の記憶データを参照することで、前記デブロッキングフィルタの施す方向を決定することになる。
この構成を採るときに、検出手段は、各ブロックについて、各ブロックの画素値の水平方向の成分を検出するとともに、各ブロックの画素値変化の垂直方向の成分を検出して、検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの方向を検出することがある。
この場合に、各ブロックについて、前記検出手段の検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの強度を算出する算出手段を備えることがある。この算出手段を備える場合において、前記決定手段は、前記算出手段が前記処理対象ブロックについて算出した前記エッジの強度と所定の閾値とを比較し、前記エッジの強度が前記所定の閾値以下である場合には、前記検出手段の検出した前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記デブロッキングの対象となる前記ブロック境界に直交する方向に変更することがある。
また、この構成を採るときに、前記検出手段は、各ブロックについて、各ブロックを画面内符号化した場合に用いられる予測モードの情報を取得して、取得した前記予測モードの情報に基づいて、エッジの方向を検出することがある。
この場合に、前記決定手段は、前記処理対象ブロックについての前記予測モードの情報が画素平均値を予測信号とする予測モードであることを指名している場合には、前記検出手段の検出した前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記デブロッキングの対象となる前記ブロック境界に直交する方向に変更することがある。
以上の各処理手段が動作することで実現されるデブロッキング処理方法はコンピュータプログラムでも実現できるものである。このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供されたりして、デブロッキング処理方法を実施する際にコンピュータにインストールされてＣＰＵ（中央処理装置）などの制御手段上で動作することによりデブロッキング処理方法を実現することになる。
この構成により、ブロック境界に対する斜め方向についてもデブロッキングフィルタ処理を可能にする。その結果、保存すべき斜め方向のテクスチャも保存しつつ、ブロック境界に存在するブロックノイズを削減することが可能となり、主観画質の向上を実現できる。
また、デコードされる画像が高画質化されることから、この画像を参照する画面間予測符号化において残差信号を低下させることができ、その結果として符号化効率の向上も実現可能となる。
これに対して、従来のデブロッキングフィルタでは、ブロック境界に対して垂直方向にしか画素変更処理ができなかった。したがって、ブロック境界に存在するブロックノイズを平滑化する際に、本来画像が有する斜め方向のテクスチャをぼかしてしまい、主観画質の劣化を招く可能性があった。
次に、実施形態に従って本発明を詳細に説明する。
以下、本発明に言うエッジとは、輝度信号の変化の向きを意味し、図２に示すように、テクスチャの方向に対して直角になるものである。
〔第１の実施形態〕
まず最初に、本発明の第１の実施形態に従ったデブロッキング処理装置１について説明する。
図３に、本発明の第１の実施形態に従ったデブロッキング処理装置１の構成を図示する。
このデブロッキング処理装置１は、図２４Ａや図２４Ｂに示すような形態で映像符号化装置や映像復号装置に実装されるものである。図３に示すように、本実施形態により構成されるデブロッキング処理装置１は、画素決定部４０にて使用するブロック内のエッジ成分を導出して、そのブロック内のエッジの方向を検出するエッジ検出部１０と、エッジ検出部１０の検出結果を記憶するエッジ方向情報記憶部２０と、デブロッキングフィルタの処理対象となる画素（フィルタ処理画素）の決定に用いる情報を記憶するフィルタ処理画素決定用情報記憶部３０と、エッジ方向情報記憶部２０およびフィルタ処理画素決定用情報記憶部３０の記憶する情報を参照することで、エッジ検出部１０により検出されたエッジの方向から、実際のフィルタ処理に用いる画素を決定する画素決定部４０と、画素決定部４０により決定された画素を用いて、フィルタ処理を使用するかどうかを決定するフィルタ使用判定部５０と、画素決定部４０により決定された画素に対してフィルタ処理を実行するフィルタ処理部６０と、ＭＢの最後のブロック境界かどうかを判定することで処理の終了を判断する処理終了判定部７０とから構成される。
なお、フィルタ処理画素決定用情報記憶部３０の記憶するフィルタ処理画素の決定に用いる情報については図１８を参照して詳述する。
このエッジ検出部１０は、図３に示すように、ＭＢ内の各ブロックの水平方向のエッジ成分を導出するｘ方向エッジ成分導出部１１と、ＭＢ内の各ブロックの垂直方向のエッジ成分を導出するｙ方向エッジ成分導出部１２と、ｘ方向エッジ成分導出部１１およびｙ方向エッジ成分導出部１２により導出されたエッジ成分を用いて各ブロックのエッジの方向を決定して、エッジ方向情報記憶部２０に保存するエッジ方向決定部１３とから構成される。
また、画素決定部４０は、図３に示すように、エッジ方向情報記憶部２０の記憶する情報を参照することで、ＭＢ内の各ブロック境界に関わるエッジの方向を確認する隣接ブロックエッジ確認部４１と、フィルタ処理画素決定用情報記憶部３０の記憶する情報を参照することで、隣接ブロックエッジ確認部４１により確認されたエッジの方向に基づいて、デブロッキングフィルタの処理対象となる画素を決定するフィルタ処理画素決定部４２とから構成される。
図４〜図９に、このように構成される本実施形態のデブロッキング処理装置１が１つのＭＢ内の４×４ブロック境界を処理する場合に実行するフローチャートの一例を図示する。
次に、これらのフローチャートに従って、本実施形態のデブロッキング処理装置１の実行する処理について詳細に説明する。
なお、以下では、特に断りがない限り、ブロックサイズは４×４で、処理対象は輝度信号とする。また、エッジの方向については、４方向（水平（０°）、垂直（９０°）、斜め（４５°および１３５°))と仮定する。
〔１〕本実施形態の実行するフローチャート
〔１−１〕全体的なフローチャート
図４に、本実施形態のデブロッキング処理装置１の実行する一連の処理の全体的なフローチャートを図示する。
ここで、これから示す処理はＭＢ単位で行い、画像に含まれるＭＢに対して順番に適用することで実行される。
本実施形態のデブロッキング処理装置１は、図４のフローチャートに示すように、まず最初に、ステップＳ１０１にて、ＭＢ内の１６個の４×４ブロックにおける全てのエッジの方向を検出し、その情報をエッジ方向情報記憶部２０に保存する。エッジの方向の検出方法については、ステップＳ２０１〜ステップＳ２０３（図５のフローチャート）で後述する。
続いて、ステップＳ１０２にて、ステップＳ１０１で求まったエッジの方向からフィルタ方向の選択を行う。フィルタ方向の選択後、デブロッキングフィルタの処理に必要となる８点の画素を指定する。フィルタ方向の選択と画素の指定の仕方の詳細については、ステップＳ６０１〜ステップＳ６０２（図９のフローチャート）で後述する。
続いて、ステップＳ１０３にて、未選択のブロックを１つ選択して、その選択したブロックについて、デブロッキングフィルタ処理の使用有無の判定を行う。これは従来のＨ．２６４／ＡＶＣに定義されている判定条件を用いる。もしフィルタを使用する場合は、ステップＳ１０４に進む。もしフィルタを使用しない場合は、次のブロック処理へ進むために、処理の位置が最終ブロックに到達したかどうかの判定を行うステップＳ１０５へ進む。
続いて、ステップＳ１０４にて、ステップＳ１０２にて選択された８点の画素を用い、実際にフィルタ処理を実行する。
続いて、ステップＳ１０５にて、次のブロックへと処理を進めるかどうかの判定を行う。処理対象ブロックが最終ブロックでなければ、そのまま次のブロックへ処理を進めるので、ステップＳ１０３の処理へ戻る。最終ブロックまで処理が終わっていれば、処理を終了する。
〔１−２〕ステップＳ１０１の処理の詳細
〔１−２−１〕ステップＳ１０１の全体的な処理
次に、図５のフローチャートに従って、ステップＳ１０１にて実行する処理の詳細について説明する。
本実施形態のデブロッキング処理装置１は、図４のフローチャートのステップＳ１０１の処理に入ると、図５のフローチャートに示すように、まず最初に、ステップＳ２０１にて、ｘ方向（水平方向）のエッジ成分の導出を行う。続いて、ステップＳ２０２にて、ｙ方向（垂直方向）のエッジ成分の導出を行う。続いて、ステップＳ２０３にて、ステップＳ２０１とステップＳ２０２にて求まった各方向のエッジ成分から、ブロックの有するエッジの方向を決定する。
次に、ステップＳ２０１、Ｓ２０２、Ｓ２０３の処理の詳細について、それぞれ順番に説明する。
〔１−２−２〕ステップＳ２０１の処理の詳細
図６のフローチャートに従って、ステップＳ２０１にて実行する処理の詳細について説明する。
本実施形態のデブロッキング処理装置１は、図５のフローチャートのステップＳ２０１の処理に入ると、図６のフローチャートに示すように、まず最初に、ステップＳ３０１にて、フィルタｆｘ＝｛−１，１｝（図１０を参照）を対象ブロックに対して水平方向に施し、得られる行列をエッジマトリクスｘ（ＥＭｘ）と定義する（図１０を参照）。
続いて、ステップＳ３０２にて、ステップＳ３０１で得られたＥＭｘに対して、各成分の和を取る。この値をＳｘとする。Ｓｘはエッジの水平方向成分を示し、プラスならば左から右へ輝度値が上昇する傾向があることを意味し、マイナスの場合は、左から右へ輝度値が減少する傾向があることを意味する。
図１０に、ステップＳ２０１にて実行する処理の概念図を示す。この図１０において、４×４ブロックの大きさを持つエッジマトリクスｘ（ＥＭｘ）の各要素値をＥＭｘ（ｉ，ｊ）とし、ｉは１以上の整数でｘ方向の位置を示し、ｊは１以上の整数でｙ方向の位置を示す。図１０に示すように、例えば、画素値２８及び３１をそれぞれ有する２つの画素に対してフィルタｆｘ＝｛−１，＋１｝を施すことで、ＥＭｘの成分として３０−２８＝２が得られる。また、ＥＭｘの１２個の成分の和を取ることで、Ｓｘとして３１が得られる。
〔１−２−３〕ステップＳ２０２の処理の詳細
図７のフローチャートに従って、ステップＳ２０２にて実行する処理の詳細について説明する。
本実施形態のデブロッキング処理装置１は、図５のフローチャートのステップＳ２０２の処理に入ると、図７のフローチャートに示すように、まず最初に、ステップＳ４０１にて、フィルタｆｙ＝｛−１，１｝（図１１を参照）を対象ブロックに対して垂直方向に施し、得られる行列をエッジマトリクスｙ（ＥＭｙ）と定義する（図１１を参照）。
続いて、ステップＳ４０２にて、ステップＳ４０１で得られたＥＭｙに対して、各成分の和を取る。この値をＳｙとする。Ｓｙはエッジの垂直方向成分を示し、プラスならば上から下へ輝度値が上昇する傾向があることを意味し、マイナスの場合は、上から下へ輝度値が減少する傾向があることを意味する。
図１１に、ステップＳ２０２にて実行する処理の概念図を示す。この図１１において、４×４ブロックの大きさを持つエッジマトリクスｙ（ＥＭｙ）の各要素値をＥＭｙ（ｉ，ｊ）とし、ｉは１以上の整数でｘ方向の位置を示し、ｊは１以上の整数でｙ方向の位置を示す。図１１に示すように、例えば、画素値３０及び３３をそれぞれ有する２つの画素に対してフィルタｆｙ＝｛−１，＋１｝を施すことで、ＥＭｙの成分として３３−３０＝３が得られる。また、ＥＭｙの１２個の成分の和を取ることで、Ｓｙとして２８が得られる。
〔１−２−４〕ステップＳ２０３の処理の詳細
図８のフローチャートに従って、ステップＳ２０３にて実行する処理の詳細について説明する。
本実施形態のデブロッキング処理装置１は、図５のフローチャートのステップＳ２０３の処理に入ると、図８のフローチャートに示すように、まず最初に、ステップＳ５０１にて、ステップＳ３０２で求めたＳｘおよびステップＳ４０２で求めたＳｙを、
Ｄ＝Ｓｙ／Ｓｘ
という式に代入して、ブロックの有するエッジの角度Ｄを求める。
続いて、ステップＳ５０２にて、ステップＳ５０１で求めたエッジ角度Ｄから、エッジの方向を決定する。例えば、エッジの方向が４種類の場合、下記の表２の場合分けにしたがって、エッジの方向（エッジタイプ）を決定する。
Figure 0005503548
図１２に示すように、“Ｄ＝０．４１４”はエッジ角度Ｄが２２．５°であること（ｔａｎ２２．５°≒０．４１４に由来）を意味し、“Ｄ＝２．４１４”はエッジ角度Ｄが６７．５°であること（ｔａｎ６７．５°≒２．４１４に由来）を意味し、“Ｄ＝−２．４１４”はエッジ角度Ｄが１１２．５°であること（ｔａｎ１１２．５°≒−２．４１４に由来）を意味し、“Ｄ＝−０．４１４”はエッジ角度Ｄが１５７．５°であること（ｔａｎ１５７．５°≒−０．４１４に由来）を意味している。
これから、表２に示す“Ｄ≦−2.414 ，2.414 ＜Ｄ”の指すエッジタイプ３は、図１２に示すように、エッジ角度Ｄが６７．５°〜１１２．５°（２４７．５°〜２９２．５°）にあることを意味する（代表角度＝９０°，２７０°）。また、表２に示す“−2.414 ＜Ｄ≦−0.414 ”の指すエッジタイプ４は、図１２に示すように、エッジ角度Ｄが１１２．５°〜１５７．５°（２９２．５°〜３３７．５°）にあることを意味する（代表角度＝１３５°，３１５°）。また、表２に示す“−0.414 ＜Ｄ≦0.414 ”の指すエッジタイプ１は、図１２に示すように、エッジ角度Ｄが１５７．５°〜２０２．５°（３３７．５°〜２２．５°）にあることを意味する（代表角度＝０°（＝３６０°），１８０°）。また、表２に示す“0.414 ＜Ｄ≦2.414 ”の指すエッジタイプ２は、図１２に示すように、エッジ角度Ｄが２２．５°〜６７．５°（２０２．５°〜２４７．５°）にあることを意味する（代表角度＝４５°，２２５°）。
この表２の場合分けにしたがって、例えば、図１０および図１１に例示したブロックでは、Ｓｘ＝３１で、Ｓｙ＝２８であることで、Ｄ＝０．９０になることから、ステップＳ５０２の処理に従って、代表角度が４５°，２２５°となるエッジタイプ２と決定されることになる。
〔１−３〕ステップＳ１０２の処理の詳細
次に、図９のフローチャートに従って、ステップＳ１０２にて実行する処理の詳細について説明する。
本実施形態のデブロッキング処理装置１は、図４のフローチャートのステップＳ１０２の処理に入ると、図９のフローチャートに示すように、まず最初に、ステップＳ６０１にて、図３に示したエッジ方向情報記憶部２０の記憶する情報を参照することで、ステップＳ１０１で求めたＭＢ内の全てのブロックについてのエッジ方向の情報を取得して、各ブロック境界面について、どの方向でフィルタを施すかを確認する。
続いて、ステップＳ６０２にて、ステップＳ６０１で確認したフィルタ方向に沿って、８点の処理対象画素（フィルタ処理画素）を決定する。
この処理対象画素（フィルタ処理画素）の決定は、基本的には、図１３に示すように、エッジの方向に直交する直線上に並ぶ画素を選ぶことで行う。すなわち、エッジの垂直方向に画像のテクスチャ（線など）があると予測されるため、それに沿う形でフィルタをかけるようにフィルタ処理画素を選ぶ。
次に、図１４Ａ〜図１７Ｇに、水平方向のブロック境界を処理対象とする場合に、処理対象のブロックのエッジの方向と、そのブロックの周辺に位置するブロックのエッジの方向とに応じて、どのような形で８点のフィルタ処理画素を決定するのかということについての具体例を図示する。
図１４Ａ〜図１４Ｅに示す具体例は、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、そのブロックの周辺に位置するブロックのエッジの方向に応じて、どのような形で８点のフィルタ処理画素を決定するのかということについて記載する。
すなわち、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１またはエッジタイプ３である場合には、図１４Ａに示すように、従来技術と同じ形態で８点のフィルタ処理画素を決定する。
ここで、このときに、上方向に隣接するブロックのエッジの方向がエッジタイプ３である場合に、図１３に示す基本的な構成に従ってフィルタ処理画素を選んでいないのは、水平方向に並ぶ画素を選ぶことができないからである。したがって、この場合には、従来技術と同じ形態で８点のフィルタ処理画素を決定することになる。
また、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ２である場合には、図１４Ｂに示すような形態で８点のフィルタ処理画素を決定することになる。
また、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ４である場合には、図１４Ｃに示すような形態で８点のフィルタ処理画素を決定することになる。
また、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ３である場合には、図１４Ｄに示すような形態で８点のフィルタ処理画素を決定することになる。
また、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ３である場合には、図１４Ｅに示すような形態で８点のフィルタ処理画素を決定することになる。
図１５Ａ〜図１５Ｇに示す具体例は、処理対象ブロックのエッジの方向がエッジタイプ２である場合に、そのブロックの周辺に位置するブロックのエッジの方向に応じて、どのような形で８点のフィルタ処理画素を決定するのかということについて記載する。
図１５Ａは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ３またはエッジタイプ４の場合の具体例である。図１５Ａに示すように、これらの場合は、従来技術と同じ形態で８点のフィルタ処理画素を決定する。
また、図１５Ｂは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ２である場合の具体例である。
また、図１５Ｃは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ２である場合の具体例である。
また、図１５Ｄは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ３で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ２である場合の具体例である。
また、図１５Ｅは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
また、図１５Ｆは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
また、図１５Ｇは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ３で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
図１６に示す具体例は、処理対象ブロックのエッジの方向がエッジタイプ３である場合に、そのブロックの周辺に位置するブロックのエッジの方向に応じて、どのような形で８点のフィルタ処理画素を決定するのかということについて記載する。
この図に示すように、処理対象ブロックのエッジの方向がエッジタイプ３である場合には、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１、エッジタイプ２、エッジタイプ３、エッジタイプ４のいずれにある場合も、従来技術と同じ形態で８点のフィルタ処理画素を決定することになる。
図１７Ａ〜図１７Ｇに示す具体例は、処理対象ブロックのエッジの方向がエッジタイプ４である場合に、そのブロックの周辺に位置するブロックのエッジの方向に応じて、どのような形で８点のフィルタ処理画素を決定するのかということについて記載する。
図１７Ａは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ３またはエッジタイプ２の場合の具体例である。図１７Ａに示すように、これらの場合は、従来技術と同じ形態で８点のフィルタ処理画素を決定する。
また、図１７Ｂは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ４である場合の具体例である。
また、図１７Ｃは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ４である場合の具体例である。
また、図１７Ｄは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ３で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ４である場合の具体例である。
また、図１７Ｅは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
また、図１７Ｆは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
また、図１７Ｇは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ３で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
このようにして、図４のフローチャートのステップＳ１０２では、図９のフローチャートを実行することで、ＭＢ内ブロックのエッジの方向に基づいて、図１４Ａ〜図１７Ｇに示すような形態でデブロッキングフィルタの処理対象となるフィルタ処理画素を決定するように処理する。
なお、図１４Ａ〜図１７Ｇでは、発生するテクスチャの状況（頻度）を考慮して代表的な具体例を示したが、これら以外の具体例についても、図１４Ａ〜図１７Ｇに示した具体例に準じてデブロッキングフィルタの処理対象となるフィルタ処理画素を決定することができる。
例えば、図１４Ｂにおける処理対象ブロックの右上方向に隣接するブロックのエッジの方向が、エッジタイプ２ではなくエッジタイプ１である場合には、従来技術と同じ形態で８点のフィルタ処理画素を決定する。その理由は、テクスチャが、処理対象ブロックの上方向に隣接するブロックと処理対象ブロックの右上方向に隣接するブロックとの間で途切れてしまうため、デブロッキングフィルタ処理を施さない方が良いと判断されるためである。
一方、例えば、図１４Ｂにおける処理対象ブロックの右上方向に隣接するブロックのエッジの方向が、エッジタイプ２ではなくエッジタイプ４である場合、テクスチャが右上に伸びるところを強制的に左下へ向かわせることになる。すなわち、テクスチャは“／＼”のように曲がることになる。なお、この場合は、処理対象ブロックの右方向に隣接するブロックについてもエッジの方向を判定することになる。テクスチャが“＜”あるいは“＞”のように曲がる場合も含めて、テクスチャが急峻に変化する状況（頻度）はあまりないと予想されるが、こうした場合にもデブロッキングフィルタ処理を施すことが可能である。
要するに、画像のテクスチャ（線など）がエッジに対して垂直方向に現れるという想定の下で、テクスチャの線分が遮断される状況は効率低下を招く可能性があるため、デブロッキングフィルタ処理を施す候補から外すということになる。
ここで、図１４Ａ〜図１７Ｇでは、水平方向のブロック境界を処理対象とする場合に、処理対象のブロックのエッジの方向と、そのブロックに隣接するブロックのエッジの方向とに応じて、どのような形で８点のフィルタ処理画素を決定するのかということについて説明したが、垂直方向のブロック境界を処理対象とする場合も、同様にして８点のフィルタ処理画素を決定することになる。すなわち、垂直方向のブロック境界を処理対象とする場合には、図１４Ａ〜図１７Ｇを９０°だけ傾ける形で同様に処理できる。
以上に説明したように、図４のフローチャートのステップＳ１０２では、図９のフローチャートを実行することで、処理対象ブロックおよびその周辺に位置するブロック（上下左右斜め方向に接するブロック）のエッジの方向に基づいて、図１４Ａ〜図１７Ｇに示すような形態で８点のフィルタ処理画素を決定することになる。この決定処理を実現するために、図３に示したフィルタ処理画素決定用情報記憶部３０が用意される。
図１８に、フィルタ処理画素を決定するために用意されるフィルタ処理画素決定用情報記憶部３０のデータ構造の一例を図示する。
この図に示すように、フィルタ処理画素決定用情報記憶部３０は、処理対象となるブロック境界が水平方向である場合に、処理対象ブロックのエッジタイプ（エッジの方向）の値と、周辺のブロックのエッジタイプの値との組み合わせのそれぞれについて、フィルタ処理画素として決定される画素の位置を記述した位置情報を記憶する。また、フィルタ処理画素決定用情報記憶部３０は、処理対象となるブロック境界が垂直方向である場合に、処理対象ブロックのエッジタイプの値と、周辺のブロックのエッジタイプの値との組み合わせのそれぞれについて、フィルタ処理画素として決定される画素の位置を記述した位置情報を記憶する。
このようなデータ構造を持つフィルタ処理画素決定用情報記憶部３０を設けて、ステップＳ６０１において、図３に示したエッジ方向情報記憶部２０の記憶する情報を参照することで、処理対象ブロックおよびその周辺に位置するブロックのエッジタイプを特定すると、ステップＳ６０２では、その特定したエッジタイプ情報および処理対象のブロック境界の方向情報をキーにして、フィルタ処理画素決定用情報記憶部３０の記憶する情報を参照することで、８点のフィルタ処理画素を決定する。
〔１−４〕ステップＳ１０３，ステップＳ１０４の処理
ステップＳ１０３では、デブロッキングフィルタ処理の使用有無の判定を行う。これは従来のＨ．２６４／ＡＶＣに定義されている判定条件を用いる。
ステップＳ１０３でデブロッキングフィルタ処理の使用を決定する場合には、続いて、ステップＳ１０４で、ステップＳ１０２で決定したフィルタ処理画素に対して、従来のＨ．２６４／ＡＶＣに定義されているデブロッキングフィルタ処理を施す。
従来のデブロッキングフィルタではブロック境界に対して垂直方向の８点４組の画素しか変更が行えなかったが、以上に説明した本発明の実施形態により斜め方向のデブロッキングフィルタ処理が可能となる。これにより、本発明が解決しようとする課題に対応できることになって、主観画質の向上と符号化効率の向上が見込めることになる。
以上、４×４ブロックについての説明を行ったが、４×４ブロック以外の大きさにも本発明の概念は適用可能である。また、輝度信号だけでなく、色差信号に対しても同様に適用可能である。
〔２〕本実施形態の有効性を検証するために行った実験について
次に、本実施形態の有効性を検証するために行った実験結果について説明する。
この実験は、標準化で利用されている標準画像Foreman について、本実施形態を実装して画像品質を検証することで行った。具体的な実験条件は下記の通りである。
・使用ソフトウェア： ＫＴＡ（Key Technical Area） ver. 1.8
・画像種類 ： Foreman
・画像サイズ ： ＱＣＩＦ（１７６×１４４）
・ＧＯＰ構造 ： III...（All intra coded)
・量子化パラメータ： ３７（固定）
・エッジ方向 ： ４
・フレーム枚数 ： １０
・フレームスキップ： １
なお、画像とソフトウェアについては、
・http://media.xiph.org/video/derf/ （標準画像）
・http://iphome.hhi.de/suehring/tml/download/KTA/ （ソフトウェア）
にてそれぞれ入手できる。
図１９Ａに、実験により得られた標準画像Foreman についてのフレーム単位の客観画質ＰＳＮＲ(Peak Signal-to-Noise Ratio)値を図示し、図１９Ｂに、それをグラフ化したデータを図示する。ここで、図１９Ｂにおいて、横軸は処理フレーム番号を示し、縦軸は該当フレームにおける客観画質（ＰＳＮＲ）を示す。また、凡例のNormalは従来のデブロッキングフィルタを意味しており、ＥＡＤＦ（Edge Adaptive Deblocking Filter ）は本実施形態によるフィルタを意味する。
この実験結果により、本実施形態を利用することで画質が向上していることを確認でき、本実施形態の有効性を検証できた。
〔第２の実施形態〕
次に、本発明の第２の実施形態に従ったデブロッキング処理装置１について説明する。
本発明の第１の実施形態ではエッジの方向に直交する直線上に並ぶ画素を使ってデブロッキング処理を実行する構成を採ることから、斜めのエッジを有する画像については、その画質を向上させることができるものの、複雑なテクスチャを有する画像については、フレームによっては画質が劣化することも考えられる。
そこで、第２の実施形態では、この点を考慮して、各ブロックについてエッジの強度を求めるようにして、その求めたエッジの強度が大きい処理対象ブロック、すなわち、斜めの強い（鮮明な）エッジを有する画像については、第１の実施形態と同様のデブロッキングフィルタを利用してデブロッキング処理を実行し、一方、その求めたエッジの強度が小さい処理対象ブロック、すなわち、複雑なテクスチャを有する画像、もしくはエッジが弱い（目立たない）画像については、従来技術によるデブロッキングフィルタを利用してデブロッキング処理を実行するという構成を採る。
図２０に、本発明の第２の実施形態に従ったデブロッキング処理装置１の構成を図示する。
本実施形態のデブロッキング処理装置１は、第１の実施形態の備えるエッジ方向決定部１３に代えてエッジ方向決定部１３αを備え、第１の実施形態の備えるエッジ方向情報記憶部２０に代えてエッジ方向強度情報記憶部２０αを備え、第１の実施形態の備える画素決定部４０がさらにエッジ強度判定部４３とフィルタ処理画素最終決定部４４とを備えるという構成を採る。
このエッジ方向決定部１３αは、ｘ方向エッジ成分導出部１１およびｙ方向エッジ成分導出部１２により導出されたエッジ成分を用いて各ブロックのエッジの方向を決定することに加えて、そのエッジの強度を算出して、それらの情報をエッジ方向強度情報記憶部２０αに保存する。
また、エッジ強度判定部４３は、エッジ方向強度情報記憶部２０αの記憶する情報を参照することで、ＭＢ内の各ブロックのエッジの強度を取得して、それを所定の閾値と比較することで、ＭＢ内の各ブロックのエッジの強度が大きいものであるのか否かを判定する。
また、フィルタ処理画素最終決定部４４は、エッジ強度判定部４３によりエッジの強度が小さいと判定されたブロックについて、フィルタ処理画素決定部４２の決定したフィルタ処理画素を、従来技術で使われているフィルタ処理画素（ブロック境界の方向に直交する直線上に並ぶ画素で構成されるフィルタ処理画素）に変更する。
図２１および図２２に、本実施形態のデブロッキング処理装置１が１つのＭＢ内の４×４ブロック境界を処理する場合に実行するフローチャートの一例を図示する。
次に、これらのフローチャートに従って、本実施形態のデブロッキング処理装置１の実行する処理について詳細に説明する。
なお、以下では、特に断りがない限り、ブロックサイズは４×４で、処理対象は輝度信号とする。また、エッジの方向については、４方向（水平（０°）、垂直（９０°）、斜め（４５°および１３５°))と仮定する。
本実施形態のデブロッキング処理装置１は、図２１のフローチャートに示すように、まず最初に、ステップＳ７０１にて、ＭＢ内の１６個の４×４ブロックにおける全てのエッジの方向および強度を検出し、その情報をエッジ方向強度情報記憶部２０αに保存する。第１の実施形態と異なる点は、エッジの強度を導出する処理が加わる点である。エッジの方向および強度の検出方法については、ステップＳ８０１〜ステップＳ８０４（図２２のフローチャート）で後述する。
続いて、ステップＳ７０２にて、ステップＳ７０１で求まったエッジの方向からフィルタ方向の選択を行う。フィルタ方向の選択後、デブロッキングフィルタの処理に必要となる８点の画素を指定する。フィルタ方向の選択と画素の指定の仕方の詳細については、ステップＳ６０１〜ステップＳ６０２（図９のフローチャート）で説明した通りである。
続いて、ステップＳ７０３にて、処理対象ブロックを１つ選択して（ＭＢ内でフィルタをかける処理の位置順序はＨ．２６４／ＡＶＣに基づく）、その選択したブロックについて、ステップＳ７０１にて導出されたエッジの強度と所定の閾値との比較を行う。エッジの強度が閾値よりも大きければ、エッジが強く、テクスチャが斜め方向に現れると判断して、ステップＳ７０２で決定されたフィルタ処理画素を最終的なフィルタ処理画素として決定して、ステップＳ７０４の処理を実行することなくステップＳ７０５へ進む。
一方、エッジの強度が閾値よりも小さいか等しければ、エッジが弱く、テクスチャが斜め方向に現われていないと判断して、ステップＳ７０２で決定されたフィルタ処理画素を変更すべくステップＳ７０４に進む。ステップＳ７０４にて、従来技術と同様に、ブロック境界の方向に直交する直線上に並ぶ画素を最終的なフィルタ処理画素として決定することで、デブロッキングフィルタの処理に必要となる８点の画素を指定する。つまり、ステップ７０２で選択したフィルタ方向をブロック境界に直交する方向に変更する。
ステップＳ７０３，ステップＳ７０４の処理を終えると、続いて、ステップＳ７０５にて、デブロッキングフィルタ処理の使用有無の判定を行う。これは従来のＨ．２６４／ＡＶＣに定義されている判定条件を用いる。もしフィルタを使用する場合は、ステップＳ７０６に進む。もしフィルタを使用しない場合は、次のブロック処理へ進むために、処理の位置が最終ブロックに到達したかどうかの判定を行うステップＳ７０７へ進む。
続いて、ステップＳ７０６にて、ステップＳ７０４の処理を行わないブロックについては、ステップＳ７０２にて決定された８点の画素を用いて実際にフィルタ処理（すなわち、第１の実施形態と同様の斜め方向のフィルタ処理）を実行する。一方、ステップＳ７０４の処理を行ったブロックについては、ステップＳ７０４にて決定された８点の画素を用いて実際にフィルタ処理（すなわち、従来技術と同様のブロック境界に対して垂直方向のみのフィルタ処理）をステップＳ７０６にて実行する。
続いて、ステップＳ７０７にて、次のブロックへと処理を進めるかどうかの判定を行う。処理対象ブロックが最終ブロックでなければ、そのまま次のブロックへ処理を進めるので、ステップＳ７０３の処理へ戻る。最終ブロックまで処理が終わっていれば、処理を終了する。
次に、図２２のフローチャートに従って、ステップＳ７０１にて実行する処理の詳細について説明する。
本実施形態のデブロッキング処理装置１は、図２１のフローチャートのステップＳ７０１の処理に入ると、図２２のフローチャートに示すように、まず最初に、ステップＳ８０１にて、ｘ方向（水平方向）のエッジ成分の導出を行う。この処理の詳細は、第１の実施形態のステップＳ３０１〜ステップＳ３０２で詳説した通りである。
続いて、ステップＳ８０２にて、ｙ方向（垂直方向）のエッジ成分の導出を行う。この処理の詳細は、第１の実施形態のステップＳ４０１〜ステップＳ４０２で詳説した通りである。
続いて、ステップＳ８０３にて、ステップＳ８０１で求めたエッジの水平方向成分の和ＳｘおよびステップＳ８０２で求めたエッジの垂直方向成分の和Ｓｙから、ブロックの有するエッジの角度Ｄを求めて、それに基づいてエッジの方向を決定する。この処理の詳細は、第１の実施形態のステップＳ５０１〜ステップＳ５０２で詳説した通りである。
続いて、ステップＳ８０４にて、ステップＳ８０１で求めたエッジの水平方向成分の和ＳｘおよびステップＳ８０２で求めたエッジの垂直方向成分の和Ｓｙを、
Ｍ＝（Ｓｘ2 ＋Ｓｙ2 ）1/2
という式に代入して、ブロックの有するエッジの強度Ｍを算出する。
なお、図２１のフローチャートのステップＳ７０３で用いるエッジの強度と比較することになる閾値は、複数の符号化対象映像からフレームを取り、それらのフレームの有するエッジ強度の平均値を算出することなどで決定することが可能である。
以上に説明した本実施形態により、エッジの強度を考慮して、エッジの方向に対応したデブロッキングフィルタ処理が可能となる。これにより、エッジの強度を考慮せずに、エッジの強度が弱くてもエッジの方向からフィルタ方向を決めるという構成を採る第１の実施形態に比べて、特に強い斜め方向のテクスチャが存在し、その部分のみにフィルタ処理画素の方向を変えたい場合に有効な方法となる。
〔第３の実施形態〕
次に、本発明の第３の実施形態に従ったデブロッキング処理装置１について説明する。
本実施形態と第２の実施形態との違いは、ステップＳ７０１に該当するエッジ方向の検出方法と、ステップＳ７０３に該当するエッジ強度を用いた判定方法とが異なる点である。なお、本実施形態に従ったデブロッキング処理装置の構成は、第２の実施形態に従ったデブロッキング処理装置（図２０を参照）の構成と同様である。
まず、図２３のフローチャートに従って、ステップＳ７０１に対しての変更内容について詳説する。本実施形態では、イントラ予測情報を利用してエッジの方向を検出するようにしている。
なお、以下では、特に断りがない限り、ブロックサイズは４×４で、処理対象は輝度信号とする。また、エッジの方向については、４方向（水平（０°）、垂直（９０°）、斜め（４５°および１３５°））と仮定する。
本実施形態のデブロッキング処理装置１では、エッジの方向を検出する場合、図２３のフローチャートに示すように、まず最初に、ステップＳ９０１にて、処理対象ＭＢがイントラ予測で符号化されているのかどうかを判定する。もしもイントラ予測符号化されていた場合は、ステップＳ９０２に進み、ＭＢ内のイントラ予測の予測モード情報を取得する。
一方、処理対象ＭＢがイントラ予測で符号化されているのではなくてインター予測で符号化されていた場合は、ステップＳ９０３へ進み、処理対象ＭＢのイントラ予測を実行する。そして、ステップＳ９０３が終了したら、続いてステップＳ９０４へ進み、そのイントラ予測で得られた予測モード情報を取得する。
続いて、ステップＳ９０５にて、ステップＳ９０２またはＳ９０４で取得した予測モード情報に従って、エッジの方向の決定を行う。このエッジの方向の決定には、予測モードとエッジの方向との対応表である下記の表３を用いる。
Figure 0005503548
例えば、予測モードが０の場合、Ｈ．２６４／ＡＶＣにおいては垂直予測が選ばれているため、同様の画素値を持つ画素のラインが垂直方向に伸びていると予想される。従って画像のテクスチャが垂直方向にあるため、エッジは水平方向、すなわち、第１の実施形態における図１２のエッジタイプ１に相当すると予想される。また、予測モードが２の場合は、ＭＢが平均値予測されるため、エッジはないかあるいは非常に弱いと考えられ、エッジの方向をＮｏｎと判定する。
このようにして、本実施形態では、処理対象ＭＢをイントラ予測した場合の予測モードからエッジの方向を推定する。
次に、ステップＳ７０３に対しての変更内容について詳説する。
本実施形態のデブロッキング処理装置１では、ステップＳ９０５にてエッジの方向がＮｏｎと判定された場合は、エッジの強度が閾値以下になるとみなし、ステップＳ７０４へ進むことで、従来のデブロッキングフィルタと同様の方向の処理にする。それ以外の場合については、ステップＳ７０４の処理を行わないことで、エッジの方向に従ってデブロッキングフィルタ処理を行う。
以上に説明した本実施形態により、第２の実施形態と同様に、エッジの強度を考慮して、エッジの方向に対応したデブロッキングフィルタ処理が可能となる。これにより、エッジの強度を考慮せずに、エッジの強度が弱くてもエッジの方向からフィルタ方向を決めるという構成を採る第１の実施形態に比べて、特に強い斜め方向のテクスチャが存在し、その部分のみにフィルタ処理画素の方向を変えたい場合に有効な方法となる。
なお、上記で説明した各処理ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、映像符号化装置に係る上述した種々の処理を行ってもよい。
ここでいうコンピュータシステムとは、ＯＳ（オペレーティングシステム）や周辺機器等のハードウェアを含むものであってもよい。また、コンピュータシステムは、ＷＷＷ（ワールドワイドウェブ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ（コンパクトディスク）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、コンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介してあるいは伝送媒体中の伝送波により、他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する伝送媒体は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであって良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であって良い。
以上、本発明の実施形態を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で構成の付加，省略，置換，およびその他の変更が可能である。本発明は前述した説明によって限定されることはなく、添付の請求の範囲によってのみ限定される。
本発明は、ブロックベースの予測符号化を実装する映像符号化装置や映像復号装置で用いられるデブロッキング処理に適用できるものである。本発明を適用することで、画像固有のテクスチャを保存しつつ、ブロックノイズを削減することが可能となり、主観画質を向上させるデブロッキング処理を実現することができるようになる。
１ デブロッキング処理装置
１０ エッジ検出部
１１ ｘ方向エッジ成分導出部
１２ ｙ方向エッジ成分導出部
１３、１３α エッジ方向決定部
２０、２０α エッジ方向情報記憶部
３０ フィルタ処理画素決定用情報記憶部
４０ 画素決定部
４１ 隣接ブロックエッジ確認部
４２ フィルタ処理画素決定部
４３ エッジ強度判定部
４４ フィルタ処理画素最終決定部
５０ フィルタ使用判定部
６０ フィルタ処理部
７０ 処理終了判定部

Claims (10)

  1. ブロックベースの予測符号化を行う映像符号化方式や、前記映像符号化方式により符号化された映像を復号する映像復号方式で発生するブロック歪みを低減させるためのデブロッキング処理装置が実行するデブロッキング処理方法であって、
    前記デブロッキング処理装置の検出手段が、各ブロックについて、各ブロックの画素値の変化方向を示すエッジがどちらの方向への画素値変化を示しているのかを検出する検出ステップと、
    前記デブロッキング処理装置の決定手段が、デブロッキングの対象となるブロック境界を持つ処理対象ブロックおよび前記処理対象ブロックに接するブロックについて検出した前記エッジの方向に基づいて、前記ブロック境界に対して施すデブロッキングフィルタの施す方向を決定する決定ステップと、
    前記デブロッキング処理装置のフィルタ実行手段が、前記決定した方向に従って、前記ブロック境界に対して前記デブロッキングフィルタを施すフィルタ実行ステップと
    を有するデブロッキング処理方法。
  2. 請求項１に記載のデブロッキング処理方法において、
    前記検出ステップでは、前記検出手段が、各ブロックについて、各ブロックの画素値変化の水平方向の成分を検出するとともに、各ブロックの画素値変化の垂直方向の成分を検出して、検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの方向を検出するデブロッキング処理方法。
  3. 請求項１に記載のデブロッキング処理方法において、
    前記検出ステップでは、前記検出手段が、各ブロックについて、各ブロックを画面内符号化した場合に用いられる予測モードの情報を取得して、取得した前記予測モードの情報に基づいて、前記エッジの方向を検出するデブロッキング処理方法。
  4. 請求項２に記載のデブロッキング処理方法において、
    前記デブロッキング処理装置の算出手段が、各ブロックについて、検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの強度を算出する算出ステップを備え、
    前記決定ステップでは、前記決定手段が、前記処理対象ブロックについて算出した前記エッジの強度と所定の閾値とを比較し、前記エッジの強度が前記所定の閾値以下である場合には、前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記ブロック境界に直交する方向に変更するデブロッキング処理方法。
  5. 請求項３に記載のデブロッキング処理方法において、
    前記決定ステップでは、前記決定手段が、前記処理対象ブロックについての前記予測モードの情報が画素平均値を予測信号とする予測モードであることを示している場合には、前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記ブロック境界に直交する方向に変更するデブロッキング処理方法。
  6. 請求項１ないし５のいずれか１項に記載のデブロッキング処理方法において、
    前記決定ステップでは、前記決定手段が、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックについて検出した前記エッジの方向をキーにして、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックの前記エッジの方向と前記デブロッキングフィルタの施す方向との対応関係について記述する情報を記憶する記憶手段の記憶データを参照することで、前記デブロッキングフィルタの施す方向を決定するデブロッキング処理方法。
  7. ブロックベースの予測符号化を行う映像符号化方式や、前記映像符号化方式により符号化された映像を復号する映像復号方式で発生するブロック歪みを低減させるためのデブロッキング処理装置であって、
    各ブロックについて、各ブロックの画素値の変化方向を示すエッジがどちらの方向への画素値変化を示しているのかを検出する検出手段と、
    デブロッキングの対象となるブロック境界を持つ処理対象ブロックおよび前記処理対象ブロックに接するブロックについて検出した前記エッジの方向に基づいて、前記ブロック境界に対して施すデブロッキングフィルタの施す方向を決定する決定手段と、
    前記決定した方向に従って、前記ブロック境界に対して前記デブロッキングフィルタを施すフィルタ実行手段と
    を有するデブロッキング処理装置。
  8. 請求項７に記載のデブロッキング処理装置において、
    前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックの前記エッジの方向と前記デブロッキングフィルタの施す方向との対応関係について記述する情報を記憶する記憶手段を備え、
    前記決定手段は、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックについて検出した前記エッジの方向をキーにして、前記記憶手段の記憶データを参照することで、前記デブロッキングフィルタの施す方向を決定するデブロッキング処理装置。
  9. 請求項１ないし６のいずれか１項に記載のデブロッキング処理方法の各ステップをコンピュータに実行させるためのデブロッキング処理プログラム。
  10. 請求項１ないし６のいずれか１項に記載のデブロッキング処理方法の各ステップをコンピュータに実行させるためのデブロッキング処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2010534693A 2008-10-22 2009-10-21 デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Active JP5503548B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010534693A JP5503548B2 (ja) 2008-10-22 2009-10-21 デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008271496 2008-10-22
JP2008271496 2008-10-22
PCT/JP2009/005524 WO2010047104A1 (ja) 2008-10-22 2009-10-21 デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010534693A JP5503548B2 (ja) 2008-10-22 2009-10-21 デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2010047104A1 JPWO2010047104A1 (ja) 2012-03-22
JP5503548B2 true JP5503548B2 (ja) 2014-05-28

Family

ID=42119157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010534693A Active JP5503548B2 (ja) 2008-10-22 2009-10-21 デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (10)

Country Link
US (1) US20110188574A1 (ja)
EP (1) EP2339852A4 (ja)
JP (1) JP5503548B2 (ja)
KR (1) KR101252704B1 (ja)
CN (1) CN102187676B (ja)
BR (1) BRPI0920324A2 (ja)
CA (1) CA2739254C (ja)
RU (1) RU2499360C2 (ja)
TW (1) TWI386068B (ja)
WO (1) WO2010047104A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
WO2008090793A1 (ja) * 2007-01-22 2008-07-31 Nec Corporation 画像再符号化装置、画像再符号化方法及び画像符号化プログラム
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US10291938B2 (en) * 2009-10-05 2019-05-14 Interdigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
CN102948151B (zh) * 2010-06-17 2016-08-03 夏普株式会社 图像滤波装置、解码装置及编码装置
US8787444B2 (en) * 2010-07-16 2014-07-22 Sony Corporation Differential coding of intra directions (DCIC)
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US20120106622A1 (en) * 2010-11-03 2012-05-03 Mediatek Inc. Method and Apparatus of Slice Grouping for High Efficiency Video Coding
JP2012169762A (ja) 2011-02-10 2012-09-06 Sony Corp 画像符号化装置と画像復号化装置およびその方法とプログラム
TWI574555B (zh) 2011-02-22 2017-03-11 太格文 Ｉｉ有限責任公司 影像編碼方法及影像編碼裝置
TWI523499B (zh) 2011-02-22 2016-02-21 Panasonic Ip Corp America An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
MX337235B (es) * 2011-06-28 2016-02-18 Samsung Electronics Co Ltd Metodo de codificacion de video que utiliza ajustes de desplazamiento de conformidad con clasificacion de pixel y aparato para ello, metodo de decodificacion de video y aparato para ello.
KR102111917B1 (ko) 2011-06-30 2020-05-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
EP3661201B1 (en) * 2011-07-19 2021-02-17 Tagivan Ii Llc Filtering method, moving image decoding method, moving image encoding method, moving image decoding apparatus, moving image encoding apparatus, and moving image encoding/decoding apparatus
EP2750384B1 (en) * 2011-09-21 2020-07-22 LG Electronics Inc. Intra prediction method and an apparatus for decoding an image
PL3588949T3 (pl) 2011-10-28 2021-03-08 Samsung Electronics Co., Ltd. Sposób i urządzenie do predykcji wewnątrzramkowej wideo
KR20140013145A (ko) * 2012-07-19 2014-02-05 현대모비스 주식회사 Ｈ．２６４／ａｖｃ 인트라 예측 정보를 이용한 보간 방법
KR101906831B1 (ko) * 2012-11-27 2018-10-12 연세대학교 산학협력단 영상 부호화 방법 및 장치
US9445130B2 (en) * 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts
CN103236036B (zh) * 2013-04-01 2016-09-14 北京开明智达科技有限责任公司深圳分公司 一种基于方向的色平面插值方法
JP6504604B2 (ja) * 2015-08-25 2019-04-24 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
US20170302965A1 (en) * 2016-04-15 2017-10-19 Google Inc. Adaptive directional loop filter
US10491923B2 (en) 2017-08-14 2019-11-26 Google Llc Directional deblocking filter
CN117956193A (zh) * 2018-01-08 2024-04-30 三星电子株式会社 编码方法及其设备以及解码方法及其设备
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
JP2019110568A (ja) * 2019-02-15 2019-07-04 Kddi株式会社 動画像符号化装置、動画像処理システム、動画像符号化方法、およびプログラム
US10638130B1 (en) 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding
CN111800643A (zh) * 2020-07-03 2020-10-20 北京博雅慧视智能技术研究院有限公司 一种用于视频编码的去方块滤波器及其滤波方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0257067A (ja) * 1988-08-23 1990-02-26 Nippon Telegr & Teleph Corp <Ntt> 画像符号化処理方法
JPH05143726A (ja) * 1991-11-25 1993-06-11 Canon Inc 画像処理方法及び装置
JPH05316361A (ja) * 1992-04-24 1993-11-26 Sony Corp ブロック歪除去フィルタ
JP2001320586A (ja) * 2000-03-31 2001-11-16 Sharp Corp 伸張画像の後処理方法及びインタレース動画の後処理方法
JP2002185968A (ja) * 1997-04-10 2002-06-28 Samsung Electronics Co Ltd ブロック基盤映像処理装置
JP2003259367A (ja) * 2002-02-27 2003-09-12 Toshiba Corp 画像復号装置および画像復号方法
JP2006140999A (ja) * 2004-10-14 2006-06-01 Mitsubishi Electric Research Laboratories Inc 画像中の画素をフィルタリングする方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367385A (en) * 1992-05-07 1994-11-22 Picturetel Corporation Method and apparatus for processing block coded image data to reduce boundary artifacts between adjacent image blocks
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US5524623A (en) * 1995-06-30 1996-06-11 Siemens Medical Systems, Inc. Adaptive artifact suppression for ultrasound imaging
JP2001245155A (ja) * 1999-12-24 2001-09-07 Sanyo Electric Co Ltd 画像データのエッジ補正方法、及びその装置
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
DE10158658A1 (de) * 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
US7995849B2 (en) * 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
KR101000926B1 (ko) * 2004-03-11 2010-12-13 삼성전자주식회사 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
KR101044940B1 (ko) * 2004-06-23 2011-06-28 삼성전자주식회사 에지 플로우 방향성 필터와 커블릿 변환을 이용한 블록현상 제거 방법 및 장치
KR100644618B1 (ko) * 2004-07-02 2006-11-10 삼성전자주식회사 블록 단위로 부호화된 영상의 블록경계에서의 불연속성제거필터 및 방법
KR100648308B1 (ko) * 2004-08-12 2006-11-23 삼성전자주식회사 해상도 변환방법 및 장치
JP4559811B2 (ja) * 2004-09-30 2010-10-13 株式会社東芝 情報処理装置及び情報処理方法
US20060072038A1 (en) * 2004-10-05 2006-04-06 Wyman Richard H Method and system for detecting deinterlaced moving thin diagonal lines
US7336847B2 (en) * 2004-10-11 2008-02-26 Benq Corporation Texture error recovery method using edge preserving spatial interpolation
US7778480B2 (en) * 2004-11-23 2010-08-17 Stmicroelectronics Asia Pacific Pte. Ltd. Block filtering system for reducing artifacts and method
US7961357B2 (en) * 2004-12-08 2011-06-14 Electronics And Telecommunications Research Institute Block artifact phenomenon eliminating device and eliminating method thereof
KR100843196B1 (ko) * 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
TWI264951B (en) * 2005-05-19 2006-10-21 Cheertek Inc Deblock filter method for applying on video encoding/decoding and the apparatus thereof
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
JP4700445B2 (ja) * 2005-09-01 2011-06-15 オリンパス株式会社 画像処理装置および画像処理プログラム
US7590288B1 (en) * 2005-11-07 2009-09-15 Maxim Integrated Products, Inc. Method and/or apparatus for detecting edges of blocks in an image processing system
JP4679425B2 (ja) * 2006-04-20 2011-04-27 株式会社東芝 画像処理装置、画像処理方法およびプログラム
JP4712642B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 デブロッキングフィルタ、画像符号化装置および画像復号化装置
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
US8405552B2 (en) 2007-04-16 2013-03-26 Samsung Thales Co., Ltd. Multi-resonant broadband antenna
US8442337B2 (en) * 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
US20090285308A1 (en) * 2008-05-14 2009-11-19 Harmonic Inc. Deblocking algorithm for coded video
JP5316361B2 (ja) * 2009-10-20 2013-10-16 ブラザー工業株式会社 複数の機能を実行する多機能機及びコンピュータプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0257067A (ja) * 1988-08-23 1990-02-26 Nippon Telegr & Teleph Corp <Ntt> 画像符号化処理方法
JPH05143726A (ja) * 1991-11-25 1993-06-11 Canon Inc 画像処理方法及び装置
JPH05316361A (ja) * 1992-04-24 1993-11-26 Sony Corp ブロック歪除去フィルタ
JP2002185968A (ja) * 1997-04-10 2002-06-28 Samsung Electronics Co Ltd ブロック基盤映像処理装置
JP2001320586A (ja) * 2000-03-31 2001-11-16 Sharp Corp 伸張画像の後処理方法及びインタレース動画の後処理方法
JP2003259367A (ja) * 2002-02-27 2003-09-12 Toshiba Corp 画像復号装置および画像復号方法
JP2006140999A (ja) * 2004-10-14 2006-06-01 Mitsubishi Electric Research Laboratories Inc 画像中の画素をフィルタリングする方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSNG200900230004; 松尾 翔平、高村 誠之、八島 由幸: 'エッジ適応デブロッキングフィルタに関する検討 Ａ Ｓｔｕｄｙ ｏｎ Ｅｄｇｅ Ａｄａｐｔｉｖｅ Ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ' 電子情報通信学会技術研究報告 Ｖｏｌ．１０９ Ｎｏ．２１ ＩＥＩＣＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ 第１０９巻, 20090420, ｐｐ．２１-２５, 社団法人電子情報通信学会 Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｏ *
CSNG200900513005; 松尾 翔平、高村 誠之、八島 由幸: '画像符号化・映像メディア処理レター特集' 電子情報通信学会論文誌 （Ｊ９２-Ｄ） 第１０号 ＴＨＥ ＩＥＩＣＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＩＮＦＯＲＭＡＴＩＯＮ ＡＮＤ ＳＹＳＴＥＭＳ 第Ｊ９２-Ｄ巻, 20091001, ｐｐ．１７１０-１７１２, 社団法人電子情報通信学会 ＴＨＥ ＩＮＳＴＩＴＵＴＥ ＯＦ ＥＬＥＣＴＲＯ *
CSNJ200910057039; 松尾 翔平、高村 誠之、八島 由幸: 'エッジ適応デブロッキングフィルタの基礎検討' 画像符号化シンポジウム 第２３回シンポジウム資料 Ｔｈｅ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｔｈ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉ , 20081029, ｐｐ．８１-８２ *
CSNJ200910085060; 松尾 翔平、高村 誠之、八島 由幸: 'イントラ予測モードを利用したエッジ適応デブロッキングフィルタ' 電子情報通信学会２００９年総合大会講演論文集 情報・システム２ ＰＲＯＣＥＥＤＩＮＧＳ ＯＦ ＴＨＥ ２００９ ＩＥＩＣＥ ＧＥＮＥＲＡ , 20090304, ｐｐ．６０ *

Also Published As

Publication number Publication date
JPWO2010047104A1 (ja) 2012-03-22
CN102187676A (zh) 2011-09-14
WO2010047104A1 (ja) 2010-04-29
KR20110066177A (ko) 2011-06-16
TW201021579A (en) 2010-06-01
KR101252704B1 (ko) 2013-04-09
US20110188574A1 (en) 2011-08-04
BRPI0920324A2 (pt) 2016-02-23
CA2739254A1 (en) 2010-04-29
RU2011114295A (ru) 2012-11-27
EP2339852A1 (en) 2011-06-29
CN102187676B (zh) 2015-03-11
EP2339852A4 (en) 2016-04-13
TWI386068B (zh) 2013-02-11
RU2499360C2 (ru) 2013-11-20
CA2739254C (en) 2016-01-12

Similar Documents

Publication Publication Date Title
JP5503548B2 (ja) デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR102393177B1 (ko) 인트라 예측 정보 부호화 방법 및 장치
KR102292590B1 (ko) 영상 복호화 방법 및 장치
KR101103699B1 (ko) 영상 부호화 방법 및 복호 방법, 그들의 장치, 그들의 프로그램 및 프로그램을 기록한 기록매체
RU2571550C2 (ru) Способ пространственного прогнозирования, способ декодирования изображений и способ кодирования изображений
AU2011247331B2 (en) Filtering mode for intra prediction inferred from statistics of surrounding blocks
TWI709333B (zh) 一種解塊濾波的方法
JP2024057033A (ja) 画像復号装置及び画像復号方法
WO2012076144A1 (en) Pixel adaptive intra smoothing
WO2012119792A1 (en) Line memory reduction for video coding and decoding
AU2011247331A1 (en) Filtering mode for intra prediction inferred from statistics of surrounding blocks
KR20130045148A (ko) 인트라 예측 모드에서의 영상 부호화 방법 및 장치
WO2013034649A1 (en) Low complex deblocking filter decisions
KR20170093833A (ko) 인트라 모드들의 코딩
AU2012219941A1 (en) Efficient decisions for deblocking
EP2679006A1 (en) Efficient decisions for deblocking
JP4774315B2 (ja) 画像復号化装置及び画像復号化方法
TWI719612B (zh) 圖像和視訊處理中產生mpm 以進行幀內預測的方法和裝置
CN112740690B (zh) 用于编码和解码代表至少一个图像的数据流的方法和设备
CN118175323A (zh) 用于编码和解码代表至少一个图像的数据流的方法和设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120921

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130605

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140314

R150 Certificate of patent or registration of utility model

Ref document number: 5503548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150