JPWO2012165095A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JPWO2012165095A1
JPWO2012165095A1 JP2013517934A JP2013517934A JPWO2012165095A1 JP WO2012165095 A1 JPWO2012165095 A1 JP WO2012165095A1 JP 2013517934 A JP2013517934 A JP 2013517934A JP 2013517934 A JP2013517934 A JP 2013517934A JP WO2012165095 A1 JPWO2012165095 A1 JP WO2012165095A1
Authority
JP
Japan
Prior art keywords
unit
filter
image
quantization parameter
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013517934A
Other languages
English (en)
Other versions
JP5942990B2 (ja
Inventor
佐藤　数史
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2012165095A1 publication Critical patent/JPWO2012165095A1/ja
Application granted granted Critical
Publication of JP5942990B2 publication Critical patent/JP5942990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技術は、ブロック歪みの除去をより適切に行うことができるようにする画像処理装置および方法に関する。注目領域Ｃの量子化パラメータQPcと、隣接領域Ｎの量子化パラメータQPNの差分とが、予め定められた閾値よりも大きいと判定された場合、デブロックフィルタは、注目領域と隣接領域との境界に対して強い度合いのフィルタがかかるように、デブロックフィルタ処理の調整を行う。本開示は、例えば、画像処理装置に適用することができる。

Description

本開示は画像処理装置および方法に関し、特に、ブロック歪みの除去をより適切に行うことができるようにした画像処理装置および方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。
さらに、このH．264/AVCの拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。
しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている。
そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。HEVCにおいては、2011年4月現在、ドラフトとして非特許文献１が発行されている。
Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J. Sullivian,"WD3:Working Draft3 of High-Efficiency Video Coding", JCTVc-E603, 2011年3月
ところで、処理対象である注目ブロックの量子化パラメータ（例えば、QP=12）と、その注目ブロックに隣接する隣接ブロックの量子化パラメータQP（例えば、QP=40）に差がある場合、ブロック歪が顕著に生じていると考えられる。
しかしながら、上述したH．264/AVCにおいては、注目ブロックと隣接ブロックの量子化パラメータの差分が考慮されておらず、その差分により生じるブロック歪を除去することが困難であった。また、この注目ブロックと隣接ブロックの量子化パラメータの差分は、HEVCにおいても考慮されておらず、その差分により生じるブロック歪に対しての対応が必要であった。
本開示は、このような状況に鑑みてなされたものであり、ブロック歪みの除去をより適切に行い、復号画像における主観画質を向上させることができるものである。
本開示の一側面の画像処理装置は、階層構造を有する単位で符号化されたビットストリームを復号して、画像を生成する復号部と、前記復号部により生成された前記画像にフィルタ処理を施すフィルタ部と、前記復号部により生成された前記画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、前記フィルタ部のパラメータを調整するフィルタ調整部とを備える。
前記フィルタ調整部は、予め設定された強フィルタ処理と予め設定された弱フィルタ処理とのうち、強フィルタ処理を選択するように、前記フィルタ部を制御することができる。
前記フィルタ調整部は、前記境界が量子化パラメータの設定可能な領域の境界である場合、前記フィルタ部のパラメータを調整することができる。
前記フィルタ部のパラメータは、Boundary Strengthの値であり、前記フィルタ調整部は、前記Boundary Strengthの値に１を加算した値を、前記Boundary Strengthの値とすることができる。
前記フィルタ部のパラメータは、Boundary Strengthの値であり、前記フィルタ調整部は、前記Boundary Strengthの値を４とすることができる。
前記フィルタ部のパラメータは、閾値αと閾値βの値であり、前記フィルタ調整部は、前記閾値αと閾値βに対応する量子化パラメータQPの代わりに、QP＋Δ（Δ＞０）を対応させることができる。
前記フィルタ部のパラメータは、量子化パラメータの値であり、前記フィルタ調整部は、前記カレント領域の量子化パラメータと前記隣接領域の量子化パラメータのうちの値の大きい方を、前記フィルタ部のパラメータとして用いることができる。
前記フィルタ部のパラメータは、量子化パラメータの値であり、前記フィルタ調整部は、前記カレント領域および前記隣接領域のどちらか一方の領域がIPCMモードである場合、他方の領域の量子化パラメータを、前記フィルタ部のパラメータとして用いることができる。
前記フィルタ部のパラメータは、量子化パラメータの値であり、前記フィルタ調整部は、前記カレント領域および前記隣接領域の量子化パラメータを量子化行列のＤＣ成分を用いて補正し、補正した量子化パラメータを用いて、前記フィルタ部のパラメータを求めることができる。
前記フィルタ部のパラメータは、量子化パラメータの値であり、前記フィルタ調整部は、前記カレント領域および前記隣接領域の少なくともどちらか一方の領域が直交変換係数を持たない場合、前記領域の量子化パラメータとして、０、前記領域の直前の領域において用いられた量子化パラメータ、前記領域の直前の領域に対する量子化パラメータの予測値、または、前記領域が属するスライスに対する量子化パラメータを用いて、前記フィルタ部のパラメータを求めることができる。
前記閾値は、水平方向のフィルタ処理と垂直方向のフィルタ処理で異なる値に設定されている。
前記閾値は、前記カレント領域のサイズに応じて異なる値に設定されている。
前記閾値は、前記カレント領域のサイズが大きくなるに従って小さい値となるように設定されている。
前記フィルタ調整部は、前記復号部により生成された前記画像の輝度成分にフィルタ処理を施すように、前記フィルタ部を制御することができる。
前記カレント領域の量子化パラメータと前記隣接領域の量子化パラメータとの差分値を算出する差分値算出部をさらに備えることができる。
本開示の一側面の画像処理方法は、画像処理装置が、階層構造を有する単位で符号化されたビットストリームを復号して、画像を生成し、生成された前記画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、フィルタのパラメータを調整し、生成された前記画像に前記フィルタ処理を施す。
本開示の他の側面の画像処理装置は、画像を符号化する際に、ローカルデコードされた画像に対してフィルタ処理を施すフィルタ部と、前記画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子化パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、前記フィルタ部のパラメータを調整するフィルタ調整部と、前記フィルタ処理が施された前記画像を予測画像として用いて階層構造を有する単位で符号化する符号化部とを備える。
本開示の他の側面の画像処理方法は、画像処理装置が、画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子化パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、フィルタのパラメータを調整し、前記画像を符号化する際に、ローカルデコードされた画像に対してフィルタ処理を施し、前記フィルタ処理が施された前記画像を予測画像として用いて階層構造を有する単位で符号化する。
本開示の一側面においては、階層構造を有する単位で符号化されたビットストリームを復号して、画像が生成され、生成された前記画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、フィルタのパラメータが調整される。そして、生成された前記画像に前記フィルタ処理が施される。
本開示の他の側面においては、画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子化パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、フィルタのパラメータが調整される。そして、前記画像を符号化する際に、ローカルデコードされた画像に対してフィルタ処理が施され、前記フィルタ処理が施された前記画像が予測画像として用いられて階層構造を有する単位で符号化される。
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
本開示の一側面によれば、画像を復号することができる。特に、より適切にブロック歪みの除去を行うことができる。
本開示の他の側面によれば、画像を符号化することができる。特に、より適切にブロック歪みの除去を行うことができる。
画像符号化装置の主な構成例を示すブロック図である。 コーディングユニットの構成例を説明する図である。 デブロックフィルタの動作原理を説明する図である。 Bsの定義の方法を説明する図である。 デブロックフィルタの動作原理を説明する図である。 indexAおよびindexBとαおよびβの値の対応関係の例を示す図である。 BsおよびindexAとtC0との対応関係の例を示す図である。 デブロックフィルタの調整について説明する図である。 領域の境界について説明する図である。 量子化パラメータ差分検出部およびデブロックフィルタの構成例を示す図である。 符号化処理の流れの例を説明するフローチャートである。 デブロックフィルタ処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 量子化パラメータ差分検出部およびデブロックフィルタの構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 デブロックフィルタ処理の流れの例を説明するフローチャートである。 IPCMモードに対応する場合の処理について説明する図である。 量子化行列の影響に対応する場合のデブロックフィルタ処理の流れの例を説明するフローチャートである。 スキップモードに対応する場合のデブロックフィルタ処理の流れの例を説明するフローチャートである。 スキップモードに対応する場合の処理について説明する図である。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（IPCMモード対応の例）
４．第４の実施の形態（量子化行例対応の例）
５．第５の実施の形態（スキップモード対応の例）
６．第６の実施の形態（コンピュータ）
７．第７の実施の形態（応用例）
＜１．第１の実施の形態＞
［画像符号化装置の構成例］
図１は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
図１に示される画像符号化装置１００は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、H．264及びMPEG（Moving Picture Experts Group）４ Part１０（AVC（Advanced Video Coding））（以下H．264/AVCと称する）方式や、HEVC（High Efficiency Video Coding）方式などが用いられる。
図１の例において、画像符号化装置１００は、A/D（Analog / Digital）変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、フレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。
画像符号化装置１００は、さらに、量子化パラメータ差分検出部１２１を有する。
A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。
画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、イントラ予測部１１４および動き予測・補償部１１５にも供給する。
演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。
例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１５から供給される予測画像を減算する。
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。
量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
可逆符号化部１０６は、イントラ予測モードを示す情報などをイントラ予測部１１４から取得し、インター予測モードを示す情報や動きベクトル情報などを動き予測・補償部１１５から取得する。
可逆符号化部１０６は、量子化された変換係数を符号化するとともに、イントラ予測モード情報、インター予測モード情報、動きベクトル情報、および量子化パラメータなどの各種シンタクス要素を、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。また、可逆符号化部１０６は、シンタクス要素を、デブロックフィルタ１１１および量子化パラメータ差分検出部１２１に供給する。
例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。また、逆量子化部１０８は、逆量子化した際の量子化パラメータを、デブロックフィルタ１１１および量子化パラメータ差分検出部１２１に供給する。
逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。
演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き予測・補償部１１５から供給される予測画像を加算する。
その加算結果は、デブロックフィルタ１１１およびフレームメモリ１１２に供給される。
デブロックフィルタ１１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。それに先立ち、デブロックフィルタ１１１は、量子化パラメータ差分検出部１２１からの制御信号に応じて、逆量子化部１０８からの量子化パラメータや、可逆符号化部１０６からのシンタクス要素を参照し、デブロックフィルタ処理のパラメータを調整する。デブロックフィルタ１１１は、そのフィルタ処理結果をフレームメモリ１１２に供給する。
フレームメモリ１１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部１１３を介してイントラ予測部１１４または動き予測・補償部１１５に出力する。
例えば、イントラ符号化が行われる画像の場合、フレームメモリ１１２は、参照画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ１１２は、参照画像を、選択部１１３を介して動き予測・補償部１１５に供給する。
選択部１１３は、フレームメモリ１１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部１１４に供給する。また、選択部１１３は、フレームメモリ１１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部１１５に供給する。
イントラ予測部１１４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
イントラ予測部１１４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
また、上述したように、イントラ予測部１１４は、採用したイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１０６に供給する。
動き予測・補償部１１５は、インター符号化が行われる画像について、画面並べ替えバッファ１０２から供給される入力画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用いて、動き予測を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。
動き予測・補償部１１５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部１１５は、生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
また、動き予測・補償部１１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１０６に供給する。
選択部１１６は、イントラ符号化を行う画像の場合、イントラ予測部１１４の出力を演算部１０３や演算部１１０に供給し、インター符号化を行う画像の場合、動き予測・補償部１１５の出力を演算部１０３や演算部１１０に供給する。
レート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
量子化パラメータ差分検出部１２１は、可逆符号化部１０６からのシンタクス要素を参照し、逆量子化部１０８からの量子化パラメータを用いて、注目領域と注目領域に隣接する隣接領域の量子化パラメータ差分値を生成する。量子化パラメータ差分検出部１２１は、生成した差分値と、所定の閾値とを比較し、比較結果に基づく制御信号を、デブロックフィルタ１１１に供給する。
［コーディングユニット］
H．264/AVC方式においては、１つのマクロブロックを、複数の動き補償ブロックに分割し、それぞれに対して異なる動き情報を持たせることが可能であった。すなわち、H．264/AVC方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されているが、例えば、HEVC（High Efficiency Video Coding）方式においては、図２に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。
CUは、Coding Tree Block（CTB）とも呼ばれ、H．264/AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図２の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。
更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVC方式においては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。
以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、H．264/AVC方式におけるマクロブロックはLCUに相当すると考えることができる。ただし、CUは図２に示されるように階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、H．264/AVC方式のマクロブロックより大きく設定されることが一般的である。
本開示は、H．264/AVC方式におけるマクロブロックを用いる符号化方式だけでなく、HEVC方式のようなCU、PU、およびTU等を用いる符号化方式にも適用することができる。すなわち、ブロックも、ユニットも、処理単位となる領域を示すものであるので、以下、適宜、どちらも含むように、処理単位の領域という文言を用いて説明する。
ただし、以下において、H．264/AVC方式と例として説明する場合には、ブロックを用いて説明するが、そのブロックは、処理単位となる領域を示すものであり、HEVC方式においてはユニットである。逆に、HEVC方式を例として説明する場合には、ユニットを用いて説明するが、そのユニットは、処理単位となる領域を示すものであり、H．264/AVC方式においてはブロックである。
［デブロックフィルタ］
次に、H．264/AVC方式におけるデブロックフィルタについて説明する。デブロックフィルタ１１１は、動き補償ループ内に含まれ、復号画像におけるブロック歪み、すなわち、処理単位の領域の歪みを除去する。これにより、動き補償処理により参照される画像へのブロック歪の伝播が抑制される。
デブロックフィルタの処理としては、符号化データに含まれる、Picture Parameter Set RBSP（Raw Byte Sequence Payload）に含まれるdeblocking_filter_control_present_flag、及び、スライスヘッダ（Slice Header）に含まれるdisable_deblocking_filter_idcという２つのパラメータによって、以下の（ａ）乃至（ｃ）の３通りの方法が選択可能である。
（ａ）ブロック境界、及びマクロブロック境界に施す
（ｂ）マクロブロック境界にのみ施す
（ｃ）施さない
量子化パラメータQPについては、以下の処理を輝度信号に対して適用する場合は、QPYを、色差信号に対して適用する場合はQPCを用いる。また、動きベクトル符号化、イントラ予測、エントロピー符号化（CAVLC/CABAC）においては、異なるスライスに属する画素値は"not available"として処理するが、デブロックフィルタ処理においては、異なるスライスに属する画素値でも、同一のピクチャに属する場合は"available"であるとして処理を行う。
以下においては、図３に示されるように、デブロックフィルタ処理前の画素値をp0〜p3、q0〜q3とし、処理後の画素値をp0'〜p3'、q0'〜q3'とする。
まず、デブロックフィルタ処理に先立ち、図３におけるp及びqに対して、図４に示される表のように、ブロック境界強度データであるBs（Boundary Strength）が定義される。
図４に示すように、Bsは、画素ｐまたは画素ｑのいずれか一方がイントラ符号化されるマクロブロックに属し、且つ、当該画素がマクロブロックの境界に位置する場合に、最もフィルタ強度が高い「４」が割り当てられる。
Bsは、画素ｐまたは画素ｑのいずれか一方がイントラ符号化されるマクロブロックに属し、且つ、当該画素がマクロブロックの境界に位置しない場合に、「４」の次にフィルタ強度が高い「３」が割り当てられる。
Bsは、画素ｐおよび画素ｑの双方がイントラ符号化されるマクロブロックに属するものではなく、且つ、いずれかの画素が変換係数を持つ場合に、「３」の次にフィルタ強度が高い「２」が割り当てられる。
Bsは、画素ｐおよび画素ｑの双方がイントラ符号化されるマクロブロックに属するものではなく、且つ、いずれかの画素が変換係数を持たないという条件を場合に満たし、且つ、参照フレームが異なるか、参照フレームの枚数が異なるか、動きベクトルが異なるかのいずれかの条件を満たす場合に、「１」が割り当てられる。
Bsは、画素ｐ，ｑの双方がイントラ符号化されるマクロブロックに属するものではなく、どちらの画素も変換係数を持たず、参照フレームおよび動きベクトルが同じ場合、「０」が割り当てられる。なお。「０」は、フィルタ処理を行わないことを意味する。
図３における(p2,p1,p0,q0,q1,q2)は、以下の式（１）および式（２）により示される条件が成立する場合のみ、デブロックフィルタ処理が施される。
Bs > 0 ・・・（１）
|p0-q0| < α; |p1-p0| < β; |q1-q1| < β ・・・（２）
式（２）のαおよびβは、デフォルトでは以下のようにQPに応じてその値が定められているが、符号化データの、スライスヘッダに含まれる、slice_alpha_c0_offset_div2及びslice_beta_offset_div2という２つのパラメータによって、グラフの矢印のように、ユーザがその強度を調整することが可能である。
なお、図５は、QPと閾値αの関係を示しており、QPにオフセット量を加えると、QPと閾値αの関係を示す曲線は矢印の方向に移動することから、フィルタ強度を調整することが明らかである。
また、閾値αは、隣接するブロックＰとブロックＱのそれぞれの量子化パラメータqPp，qPqを用いて、次の式（３）および（４）からindexAを算出することで、図６のＡに示すテーブルから求められる。同様に、閾値βは、隣接するブロックＰとブロックＱのそれぞれの量子化パラメータqPp，qPqを用いて、式（３）および（５）からindexBを算出することで、図６のＢに示すテーブルから求められる。このindexAおよびindexBは、以下の式（３）乃至式（５）のように定義される。
qPaν＝（qPp＋qPq＋１）＞＞１ ・・・（３）
indexA＝Clip3（0,51,qPaν＋FilterOffsetA） ・・・（４）
indexB＝Clip3（0,51,qPaν＋FilterOffsetB） ・・・（５）
式（４）および式（５）において、FilterOffsetA及びFilterOffsetBが、ユーザによる調整分に相当する。
デブロックフィルタ処理は、以下に説明するように、Bs<4の場合と、Bs=4の場合とで、互いに異なる方法が定義されている。
まず、Bs<4の場合、デブロックフィルタ処理後の画素値p'0及びq'0が、以下の式（６）乃至式（８）のように求められる。
Δ＝Clip3（−tc,tc（（（（q0−p0）＜＜２）＋（p1−q1）＋４）＞＞３））・・・（６）
p'0＝Clip1（p0＋Δ） ・・・（７）
q'0＝Clip1（q0＋Δ） ・・・（８）
ここで、tcは、以下の式（９）または式（１０）ように算出される。すなわち、chromaEdgeFlagの値が「０」である場合、tcは以下の式（９）のように算出される。
tc＝tc0＋（（ap＜β）?1:0）＋（（aq＜β）?1:0） ・・・（９）
また、chromaEdgeFlagの値が「０」以外である場合、tcは以下の式（１０）のように算出される。
tc＝tc0＋１ ・・・（１０）
tC0の値は、BsとindexAの値に応じて、図７のＡおよび図７のＢに示される表のように定義される。
また、式（９）のap及びaqの値は、以下の式（１１）および（１２）のように算出される。
ap＝|p2−p0| ・・・（１１）
aq＝|q2−q0| ・・・（１２）
デブロックフィルタ処理後の画素値p'1は以下のように求められる。すなわち、chromaEdgeFlagの値が「０」で、尚且つ、apの値がβ以下である場合、p'1は、以下の式（１３）のように求められる。
p'1＝p1＋Clip3（−tc0,tc0,（p2＋（（p0＋q0＋１）＞＞１）−（p1＜＜１））＞＞１） ・・・（１３）
また、式（１３）が成り立たない場合、p'1は、以下の式（１４）のように求められる。
p'1＝p1 ・・・（１４）
デブロックフィルタ処理後の画素値q'1は以下のように求められる。すなわち、chromaEdgeFlagの値が「０」で、尚且つ、aqの値がβ以下である場合、q'1は、以下の式（１５）のように求められる。
q'1＝q1＋Clip3（−tc0,tc0,（q2＋（（p0＋q0＋１）＞＞１）−（q1＜＜１））＞＞１） ・・・（１５）
また、式（１５）が成り立たない場合、q'1は、以下の式（１６）のように求められる。
q'1＝q1 ・・・（１６）
p'2及びq'2の値は、Filtering前の値p2及びq2と変わらない。すなわち、p'2は、以下の式（１７）のように求められ、q'2は、以下の式（１８）のように求められる。
p'2＝p2 ・・・（１７）
q'2＝q2 ・・・（１８）
次に、Bs=4の場合、デブロックフィルタ後の画素値p'i（i＝0..2）は、以下のように求められる。chromaEdgeFlag の値が「０」であり、以下の式（１９）に示される条件が成り立つ場合、p'0、p'1、及びp'2は、以下の式（２０）乃至式（２２）のように求められる。
ap＜β&&|p0−q0|＜（（α＞＞２）＋２） ・・・（１９）
p'0＝（p2＋２×p1＋２×p0＋２×q0＋q1＋４）＞＞３ ・・・（２０）
p'1＝（p2＋p1＋p0＋q0＋２）＞＞２ ・・・（２１）
p'2＝（２×p3＋３×p2＋p1＋p0＋q0＋４）＞＞３ ・・・（２２）
また、式（１９）に示される条件が成り立たない場合、p'0、p'1、及びp'2は、以下の式（２３）乃至（２５）のように求められる。
p'0＝（２×p1＋p0＋q1＋２）＞＞２ ・・・（２３）
p'1＝p1 ・・・（２４）
p'2＝p2 ・・・（２５）
デブロックフィルタ処理後の画素値q'i（I＝0..2）は、以下のように求められる。すなわち、chromaEdgeFlagの値が「０」であり、以下の式（２６）に示される条件が成り立つ場合、q'0、q'1、及びq'2は、以下の式（２７）乃至（２９）のように求められる。
aq＜β&&|p0−q0|＜（（α＞＞２）＋２） ・・・（２６）
q'0＝（p1＋２×p0＋２×q0＋２×q1＋q2＋４）＞＞３ ・・・（２７）
q'1＝（p0＋q0＋q1＋q2＋２）＞＞２ ・・・（２８）
q'2＝（２×q3＋３×q2＋q1＋q0＋p4＋４）＞＞３ ・・・（２９）
また、式（２６）に示される条件が成り立たない場合、q'0、q'1、及びq'2は、以下の式（３０）乃至（３２）のように求められる。
q'0＝（２×q1＋q0＋p1＋２）＞＞２ ・・・（３０）
q'1＝q1 ・・・（３１）
q'2＝q2 ・・・（３２）
［デブロックフィルタの調整処理］
以上のように、デブロックフィルタ処理が行われるが、そのデブロックフィルタ処理に先立ち、画像符号化装置１００においては、隣接ブロック間の量子化パラメータの差分に応じて、デブロックフィルタ処理のパラメータが調整される。
図８は、注目領域と隣接領域を示す図である。図８において、各四角は、デブロックフィルタ処理の処理単位の領域を示し、QPcの四角は、注目領域Ｃを示し、QPcは、その注目領域Ｃの量子化パラメータを示す。同様に、QPNの四角は、注目領域の左に隣接する隣接領域Ｎを示し、QPNは、その隣接領域Ｎの量子化パラメータを示す。
量子化パラメータ差分検出部１２１は、注目領域Ｃの量子化パラメータQPcと、隣接領域Ｎの量子化パラメータQPNの差分値が、予め定められた閾値θについて、次の式（３３）を満たすか否かを判定する。
| QPc − QPN | ＞ θ ・・・（３３）
ここで、閾値θは、入力となるシーケンスが、インターレースやサイドバイサイドのような場合には、水平方向と垂直方向で異なる値に設定されていてもよい。
また、領域の異なるサイズに対して、それぞれ異なる閾値が設定されてもよい。特に、より大きいサイズの領域に対するブロック歪みは人の目につきやすいため、より大きい領域サイズに対しては、より小さな閾値が設定される。
上述した式（３３）が成り立つ場合、注目領域Ｃと隣接領域Ｎの間には、ブロック歪みがより生じやすいと考えられる。したがって、デブロックフィルタ１１１は、次のいずれかの方法を用いて、フィルタが強くかかるように、デブロックフィルタ処理の調整をする。すなわち、デブロックフィルタ１１１においては、フィルタ強度を高くする調整が行われる。
第１の方法として、デブロックフィルタ１１１は、上述した図４に示される表に定義されるBs値を常に４にする(Bs=4(Strong Filtering))。すなわち、最も強くフィルタがかかるようにBs値を固定する。あるいは、デブロックフィルタ１１１は、上述した図４に示される表により求められるBs値に対して、Bs+1をBs値の代わりに用いる。ただし、Bs+1の値が５になる場合、その値は、４にすることも可能である。
第２の方法として、デブロックフィルタ１１１は、上述した図６のＡおよび図６のＢに示される表のαおよびβに対応づける量子化パラメータとして、QPに代え、QP＋Δ（Δ＞０）を対応づける。
なお、第１の方法は、１度、量子化パラメータ差分値（式（３３）の左辺）が閾値を超えてしまうと、以後のデブロックフィルタ処理に必要な分岐処理を行う必要がないので、ソフトウエアにより実現する場合にメリットがある。
一方、第２の方法は、QPに代え、QP＋Δを入力可能であるようにすれば、追加の回路が必要ないので、ハードウエアにより実行する場合にメリットがある。
また、さらに、デブロックフィルタ１１１は、次の第３の方法を用いて、デブロックフィルタ処理の調整を行うこともできる。
デブロックフィルタ１１１は、第３の方法として、隣り合った領域の各量子化パラメータのうち、より大きな方を用いてデブロックフィルタ処理を行う。すなわち、上述した図８の例において、QPN=12だが、QPc=40であった場合、デブロックフィルタ１１１は、どちらの領域についても、QP=40をデブロックフィルタ処理のための量子化パラメータとして用いる。
すなわち、第１乃至第３の方法においては、デブロックフィルタが強くかかるように、フィルタパラメータのうちの所定のパラメータ（Bs、αおよびβ、量子化パラメータ）の値を調整している。
以上のような調整を行うことにより、注目領域と隣接領域の量子化パラメータの差が大きい場合、H．264/AVC方式において定められたものよりも強い度合いでフィルタがかかるようにすることができる。その結果、H．264/AVC方式において定められたものよりも適切なブロック歪みの除去を行うことが可能である。
ここで、デブロックフィルタ処理は、直交変換の処理単位の領域（HEVC方式の場合、TU）を処理単位としている。なお、H．264/AVC方式において、量子化パラメータはマクロブロックに対して設定することが可能であり、HEVC方式において、量子化パラメータは、所定の大きさ（MaxCuSizeDQP）より大きなCUに対してのみ設定することが可能である。
図９は、注目領域と４つの隣接領域を示す図である。図９において、各四角は、デブロックフィルタ処理の処理単位の領域（HEVC方式の場合、TU）を示しており、四角の中のQPは、各領域の量子化パラメータを示す。
すなわち、注目領域Ｃの量子化パラメータは、QPcである。注目領域Ｃに左に隣接する隣接領域Ｎ１の量子化パラメータは、QPaである。注目領域Ｃの上に隣接する隣接領域Ｎ２の量子化パラメータは、QPbである。
ここで、太線は、量子化パラメータを設定可能な領域Ｍ（HEVC方式の場合、CU）の境界を示している。注目領域Ｃの隣接領域のうち、隣接領域Ｎ１と隣接領域Ｎ２とは、注目領域Ｃが含まれている領域Ｍの境界に隣接している。これに対して、注目領域Ｃの隣接領域のうち、隣接領域Ｎ３と隣接領域Ｎ４とは、注目領域Ｃと同じ領域Ｍ内に含まれている。
すなわち、注目領域Ｃの右に隣接する隣接領域Ｎ３、および注目領域Ｃの下に隣接する隣接領域Ｎ４に量子化パラメータが示されていないのは、注目領域Ｃの量子化パラメータと、隣接領域Ｎ３および隣接領域Ｎ４の量子化パラメータは同じQPcだからである。
したがって、隣接領域のうち、デブロックフィルタ処理の調整が必要であるのは、太線矢印で示される注目領域Ｃと隣接領域Ｎ１、および注目領域Ｃと隣接領域Ｎ２だけである。点線矢印に示される注目領域Ｃと隣接領域Ｎ３、および注目領域Ｃと隣接領域Ｎ４に、デブロックフィルタ処理の調整は必要ない。
このように、本開示のデブロックフィルタ処理の調整は、量子化パラメータを設定可能な大きさの領域の境界のみに実行される。
［デブロックフィルタおよび量子化パラメータ差分検出部の構成例］
次に、画像符号化装置１００の各部について説明する。図１０は、デブロックフィルタ１１１および量子化パラメータ差分検出部１２１の構成例を示すブロック図である。
図１０の例において、デブロックフィルタ１１１は、α／β決定部１６１、Ｂｓ決定部１６２、フィルタ決定部１６３、およびフィルタリング部１６４を含むように構成されている。
量子化パラメータ差分検出部１２１は、隣接量子化パラメータバッファ１５１、注目量子化パラメータバッファ１５２、差分生成部１５３、および閾値判定部１５４を含むように構成されている。
逆量子化部１０８からの隣接領域量子化パラメータは、隣接量子化パラメータバッファ１５１に供給される。逆量子化部１０８からの注目領域量子化パラメータは、注目量子化パラメータバッファ１５２およびα／β決定部１６１に供給される。また、可逆符号化部１０６からのシンタクス要素は、差分生成部１５３およびＢｓ決定部１６２に供給される。
隣接量子化パラメータバッファ１５１は、逆量子化部１０８からの隣接領域量子化パラメータを蓄積する。注目量子化パラメータバッファ１５２は、逆量子化部１０８からの注目領域量子化パラメータを蓄積する。
差分生成部１５３は、可逆符号化部１０６からのシンタクス要素に基づいて、注目領域と隣接領域との境界が、量子化パラメータが設定できる大きさの領域の境界であるか否かを判定する。差分生成部１５３は、量子化パラメータが設定できる大きさの領域の境界であると判定した場合、次の処理を行う。また、量子化パラメータが設定できる大きさの領域の境界ではないと判定された場合、次の処理は行われない。
差分生成部１５３は、隣接量子化パラメータバッファ１５１から隣接領域量子化パラメータを読み出し、注目量子化パラメータバッファ１５２から注目領域量子化パラメータを読み出す。差分生成部１５３は、読み出した量子化パラメータの差分値である、量子化パラメータ差分値（式（３３）の左辺）を生成し、生成した差分値を、閾値判定部１５４に供給する。
閾値判定部１５４は、差分生成部１５３からの差分値と閾値とを比較し、差分値が閾値よりも大きいか否か、すなわち、よりブロック歪みが生じやすい境界であるか否かを示す制御信号を、α／β決定部１６１およびＢｓ決定部１６２に供給する。
α／β決定部１６１は、逆量子化部１０８からの注目領域量子化パラメータに基づいて、フィルタパラメータの調整として、上述した式（２）のαおよびβの値を決定する。このとき、α／β決定部１６１は、閾値判定部１５４からの制御信号が、差分値が閾値よりも大きいと示すものであった場合、上述した図６のＡおよび図６のＢに示される表のαおよびβに対応づける量子化パラメータとして、QPに代え、QP＋Δを対応づける。
α／β決定部１６１は、決定したαおよびβの値を、フィルタパラメータの１つとして、フィルタ決定部１６３に供給する。
Ｂｓ決定部１６２は、可逆符号化部１０６からのシンタクス要素を参照して、フィルタパラメータの調整として、図４に示される表のように、Bsの値を決定する。このとき、Ｂｓ決定部１６２は、閾値判定部１５４からの制御信号が、差分値が閾値よりも大きいと示すものであった場合、例えば、Bsの代わりにBs+1を用いる。あるいは、Ｂｓ決定部１６２は、閾値判定部１５４からの制御信号が、差分値が閾値よりも大きいと示すものであった場合、例えば、Bs＝４を用いる。
Ｂｓ決定部１６２は、決定したBsの値を、フィルタパラメータの１つとして、フィルタ決定部１６３に供給する。
フィルタ決定部１６３には、演算部１１０からデブロックフィルタ前の画素値が入力される。フィルタ決定部１６３は、α／β決定部１６１およびＢｓ決定部１６２からのフィルタパラメータと、デブロックフィルタ前の画素値を用いて、フィルタを決定する。すなわち、フィルタ決定部１６３は、注目領域と隣接領域の境界に、強いフィルタを施すのか、弱いフィルタを施すのか、あるいは、フィルタを施さないのか、フィルタリングに用いるフィルタを決定する。
フィルタ決定部１６３は、決定したフィルタの制御情報と、デブロックフィルタ前の画素値とを、フィルタリング部１６４に供給する。
フィルタリング部１６４は、フィルタ決定部１６３により決定されたフィルタの制御情報に基づいて、デブロックフィルタ前の画素値に対して、デブロックフィルタ処理を施す。フィルタリング部１６４は、デブロックフィルタ後の画素値を、フレームメモリ１１２に出力する。
［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図１１のフローチャートを参照して、符号化処理の流れの例を説明する。
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ１０３において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部１１５から、イントラ予測する場合はイントラ予測部１１４から、選択部１１６を介して演算部１０３に供給される。
差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１０４において、直交変換部１０４は、ステップＳ１０３の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
ステップＳ１０５において、量子化部１０５は、ステップＳ１０４の処理により得られた直交変換係数を量子化する。
ステップＳ１０５の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０６において、逆量子化部１０８は、ステップＳ１０５の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。また、逆量子化部１０８は、逆量子化に用いた量子化パラメータを、デブロックフィルタ１１１および量子化パラメータ差分検出部１２１に供給する。
ステップＳ１０７において、逆直交変換部１０９は、ステップＳ１０６の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。
ステップＳ１０８において、演算部１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。
ステップＳ１０９において、デブロックフィルタ１１１は、ステップＳ１０８の処理により生成された画像に対して、デブロックフィルタ処理を行う。デブロックフィルタ処理の流れの詳細については、図１２を参照して後述する。これによりブロック歪み（すなわち、処理単位の領域歪み）が除去される。
ステップＳ１１０において、フレームメモリ１１２は、ステップＳ１０９の処理によりブロック歪みが除去された画像を記憶する。なお、フレームメモリ１１２にはデブロックフィルタ１１１によりフィルタ処理されていない画像も演算部１１０から供給され、記憶される。
ステップＳ１１１において、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１１２において、動き予測・補償部１１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。
ステップＳ１１３において、選択部１１６は、イントラ予測部１１４および動き予測・補償部１１５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き予測・補償部１１５により生成された予測画像のいずれか一方を選択する。
また、このいずれの予測画像が選択されたかを示す選択情報は、イントラ予測部１１４および動き予測・補償部１１５のうち、予測画像が選択された方に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部１１４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部１０６に供給する。
最適インター予測モードの予測画像が選択された場合、動き予測・補償部１１５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１０６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報やフラグ情報、参照フレーム情報などがあげられる。
ステップＳ１１４において、可逆符号化部１０６は、ステップＳ１０５の処理により量子化された変換係数を符号化する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
また、可逆符号化部１０６は、ステップＳ１１３の処理により選択された予測画像の予測モードに関する情報（シンタクス要素）を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１０６は、イントラ予測部１１４から供給されるイントラ予測モード情報、または、動き予測・補償部１１５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。また、可逆符号化部１０６は、このシンタクス要素を、デブロックフィルタ１１１および量子化パラメータ差分検出部１２１に供給する。
ステップＳ１１５において蓄積バッファ１０７は、可逆符号化部１０６から出力される符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路を介して復号側に伝送される。
ステップＳ１１６においてレート制御部１１７は、ステップＳ１１５の処理により蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
ステップＳ１１６の処理が終了すると、符号化処理が終了される。
［デブロックフィルタ処理の流れ］
次に、図１２のフローチャートを参照して、図１０のステップＳ１０９において実行されるデブロックフィルタ処理の流れの例を説明する。
逆量子化部１０８から、注目領域量子化パラメータは、注目量子化パラメータバッファ１５２に蓄積され、隣接領域量子化パラメータは、隣接量子化パラメータバッファ１５１に蓄積される。
差分生成部１５３は、ステップＳ１３１において、注目領域と隣接領域との境界が、量子化パラメータが設定できる大きさの領域の境界であるか否かを判定する。例えば、図９の注目領域Ｃと、右に隣接する隣接領域Ｎ２との境界は、量子化パラメータを設定可能な領域Ｍの境界である。したがって、この場合、ステップＳ１３１において、注目領域と隣接領域との境界が、量子化パラメータが設定できる大きさの領域の境界であると判定され、処理は、ステップＳ１３２に進む。
ステップＳ１３２において、差分生成部１５３は、注目領域と隣接領域との量子化パラメータ差分値を生成する。生成された量子化パラメータ差分値は、閾値判定部１５４に供給される。
ステップＳ１３３において、閾値判定部１５４は、量子化パラメータの差分値が閾値より大きいか否かを判定する。ステップＳ１３３において、量子化パラメータの差分値が閾値より大きいと判定された場合、処理は、ステップＳ１３４に進む。このとき、閾値判定部１５４は、量子化パラメータの差分値が閾値より大きいことを示す制御信号を、α／β決定部１６１およびＢｓ決定部１６２に供給する。
ステップＳ１３４において、α／β決定部１６１またはＢｓ決定部１６２は、フィルタパラメータの調整を行う。
α／β決定部１６１は、フィルタパラメータの調整として、逆量子化部１０８からの注目領域量子化パラメータに基づいて、上述した式（２）のαおよびβの値を決定する。このとき、α／β決定部１６１は、閾値判定部１５４からの制御信号が、差分値が閾値よりも大きいと示すものであった場合、上述した図６のＡおよび図６のＢに示される表のαおよびβに対応づける量子化パラメータとして、QPに代え、QP＋Δを対応づける。
または、Ｂｓ決定部１６２は、可逆符号化部１０６からのシンタクス要素を参照して、フィルタパラメータの調整として、図４に示される表のように、Bsの値を決定する。このとき、Ｂｓ決定部１６２は、閾値判定部１５４からの制御信号が、差分値が閾値よりも大きいと示すものであった場合、例えば、Bsの代わりにBs+1を用いる。
α／β決定部１６１は、決定したαおよびβの値を、フィルタパラメータの１つとして、フィルタ決定部１６３に供給する。Ｂｓ決定部１６２は、決定したBsの値を、フィルタパラメータの１つとして、フィルタ決定部１６３に供給する。
なお、ステップＳ１３４におけるフィルタパラメータの調整処理は、α／β決定部１６１およびＢｓ決定部１６２の両方で行われてもよいし、どちらか一方だけの処理であってもよい。どちらか一方の場合、他方は、調整なしの通常のフィルタパラメータを、フィルタ決定部１６３に供給する。
また、ステップＳ１３４においては、上述したように、隣り合った領域の各量子化パラメータのうち、より大きな方を、デブロックフィルタ処理のための量子化パラメータとして用いる処理が行われてもよい。
ステップＳ１３３において、量子化パラメータの差分値が閾値以下であると判定された場合、ステップＳ１３４の処理は、スキップされる。このとき、閾値判定部１５４は、量子化パラメータの差分値が閾値以下であることを示す制御信号を、α／β決定部１６１およびＢｓ決定部１６２に供給する。α／β決定部１６１およびＢｓ決定部１６２は、調整なしの通常のフィルタパラメータを、フィルタ決定部１６３に供給する。
すなわち、α／β決定部１６１は、逆量子化部１０８からの注目領域量子化パラメータに基づいて、フィルタパラメータの調整として、上述した式（２）のαおよびβの値を決定する。Ｂｓ決定部１６２は、可逆符号化部１０６からのシンタクス要素を参照して、フィルタパラメータの調整として、図４に示される表のように、Bsの値を決定する。
一方、例えば、図９の注目領域Ｃと、左に隣接する隣接領域Ｎ３との境界は、量子化パラメータを設定可能な領域Ｍ内であり、境界ではない。したがって、この場合、ステップＳ１３１において、注目領域と隣接領域との境界が、量子化パラメータが設定できる大きさの領域の境界ではないと判定され、ステップＳ１３２乃至Ｓ１３４はスキップされ、処理は、ステップＳ１３５に進む。
すなわち、この場合、差分値も生成されず、制御信号もないので、α／β決定部１６１およびＢｓ決定部１６２は、調整なしの通常のフィルタパラメータを、フィルタ決定部１６３に供給する。
ステップＳ１３５において、フィルタ決定部１６３は、α／β決定部１６１およびＢｓ決定部１６２からのフィルタパラメータと、デブロックフィルタ前の画素値を用いて、フィルタを決定する。すなわち、フィルタ決定部１６３は、注目領域と隣接領域の境界に、強いフィルタを施すのか、弱いフィルタを施すのか、あるいは、フィルタを施さないのか、フィルタリングに用いるフィルタを決定する。
フィルタ決定部１６３は、決定したフィルタの制御情報と、デブロックフィルタ前の画素値とを、フィルタリング部１６４に供給する。
ステップＳ１３６において、フィルタリング部１６４は、フィルタ決定部１６３により決定されたフィルタの制御情報に基づいて、デブロックフィルタ前の画素値をフィルタリングする。フィルタリング部１６４は、デブロックフィルタ後の画素値を、フレームメモリ１１２に出力する。
以上のように、注目領域と隣接領域の量子化パラメータの差分値が大きい場合に、フィルタ強度を強く調整することにより、強いデブロックフィルタをかけることができる。これにより、適切なブロック歪みの除去を行うことができる。
＜２．第２の実施の形態＞
［画像復号装置］
図１３は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図１３に示される画像復号装置２００は、図１の画像符号化装置１００に対応する復号装置である。
画像符号化装置１００より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１００に対応する画像復号装置２００に伝送され、復号されるものとする。
図１３に示されるように、画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３を有する。
さらに、画像復号装置２００は、量子化パラメータ差分検出部２２１を有する。
蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１００により符号化されたものである。可逆復号部２０２は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部１０６の符号化方式に対応する方式で復号する。また、可逆復号部２０２は、復号されたシンタクス要素を、デブロックフィルタ２０６および量子化パラメータ差分検出部２２１に供給する。
逆量子化部２０３は、可逆復号部２０２により復号されて得られた係数データ（量子化係数）を、図１の量子化部１０５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部２０３は、画像符号化装置１００から供給された量子化パラメータを用いて、図１の逆量子化部１０８と同様の方法で量子化係数の逆量子化を行う。
逆量子化部２０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部２０４に供給する。また、逆量子化部２０３は、逆量子化した際の量子化パラメータを、デブロックフィルタ２０６および量子化パラメータ差分検出部２２１に供給する。逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１００において直交変換される前の残差データに対応する復号残差データを得る。
逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き予測・補償部２１２から予測画像が供給される。
演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをデブロックフィルタ２０６に供給する。
デブロックフィルタ２０６は、画像符号化装置１００のデブロックフィルタ１１１と基本的に同様に構成される。デブロックフィルタ２０６は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。
それに先立ち、デブロックフィルタ２０６は、量子化パラメータ差分検出部２２１からの制御信号に応じて、逆量子化部２０３からの量子化パラメータや、可逆復号部２０２からのシンタクス要素を参照し、デブロックフィルタ処理のパラメータを調整する。デブロックフィルタ２０６は、そのフィルタ処理結果を、画面並べ替えバッファ２０７に供給する。
画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
デブロックフィルタ２０６の出力は、さらに、フレームメモリ２０９に供給される。
フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３は、画像符号化装置１００のフレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、および選択部１１６にそれぞれ対応する。
選択部２１０は、インター処理される画像と参照される画像をフレームメモリ２０９から読み出し、動き予測・補償部２１２に供給する。また、選択部２１０は、イントラ予測に用いられる画像をフレームメモリ２０９から読み出し、イントラ予測部２１１に供給する。
イントラ予測部２１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、この情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
動き予測・補償部２１２には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）を可逆復号部２０２から供給される。
動き予測・補償部２１２は、可逆復号部２０２から供給されるそれらの情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
選択部２１３は、動き予測・補償部２１２またはイントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。
量子化パラメータ差分検出部２２１は、画像符号化装置１００の量子化パラメータ差分検出部１２１と基本的に同様に構成される。量子化パラメータ差分検出部２２１は、可逆復号部２０２からのシンタクス要素を参照し、逆量子化部２０３からの量子化パラメータを用いて、注目領域と注目領域に隣接する隣接領域の量子化パラメータ差分値を生成する。量子化パラメータ差分検出部２２１は、生成した差分値と所定の閾値とを比較し、比較結果に基づく制御信号を、デブロックフィルタ２０６に供給する。
［デブロックフィルタおよび量子化パラメータ差分検出部の構成例］
次に、画像復号装置２００の各部について説明する。図１４は、デブロックフィルタ２０６および量子化パラメータ差分検出部２２１の構成例を示すブロック図である。
図１４の例において、デブロックフィルタ２０６は、α／β決定部２４１、Ｂｓ決定部２４２、フィルタ決定部２４３、およびフィルタリング部２４４を含むように構成されている。
量子化パラメータ差分検出部２２１は、隣接量子化パラメータバッファ２３１、注目量子化パラメータバッファ２３２、差分生成部２３３、および閾値判定部２３４を含むように構成されている。
逆量子化部２０３からの隣接領域量子化パラメータは、隣接量子化パラメータバッファ２３１に供給される。逆量子化部２０３からの注目領域量子化パラメータは、注目量子化パラメータバッファ２３２およびα／β決定部２４１に供給される。また、可逆復号部２０２からのシンタクス要素は、差分生成部２３３およびＢｓ決定部２４２に供給される。
隣接量子化パラメータバッファ２３１は、図１０の隣接量子化パラメータバッファ１５１と基本的に同様に構成され、逆量子化部２０３からの隣接領域量子化パラメータを蓄積する。注目量子化パラメータバッファ２３２は、図１０の注目量子化パラメータバッファ１５２と基本的に同様に構成され、逆量子化部２０３からの注目領域量子化パラメータを蓄積する。
差分生成部２３３は、図１０の差分生成部１５３と基本的に同様に構成される。差分生成部２３３は、可逆復号部２０２からのシンタクス要素に基づいて、注目領域と隣接領域との境界が、量子化パラメータが設定できる大きさの領域の境界であるか否かを判定する。差分生成部２３３は、量子化パラメータが設定できる大きさの領域の境界であると判定した場合、次の処理を行う。また、量子化パラメータが設定できる大きさの領域の境界ではないと判定された場合、次の処理は行われない。
差分生成部２３３は、隣接量子化パラメータバッファ２３１から隣接領域量子化パラメータを読み出し、注目量子化パラメータバッファ２３２から注目領域量子化パラメータを読み出す。差分生成部２３３は、読み出した量子化パラメータの差分値である、量子化パラメータ差分値（式（３３）の左辺）を生成し、生成した差分値を、閾値判定部２３４に供給する。
閾値判定部２３４は、図１０の閾値判定部１５４と基本的に同様に構成される。閾値判定部２３４は、差分生成部２３３からの差分値と閾値とを比較し、差分値が閾値よりも大きいか否か、すなわち、よりブロック歪みが生じやすい境界であるか否かを示す制御信号を、α／β決定部２４１およびＢｓ決定部２４２に供給する。
α／β決定部２４１は、図１０のα／β決定部１６１と基本的に同様に構成される。α／β決定部２４１は、逆量子化部２０３からの注目領域量子化パラメータに基づいて、フィルタパラメータの調整として、上述した式（２）のαおよびβの値を決定する。このとき、α／β決定部２４１は、閾値判定部２３４からの制御信号が、差分値が閾値よりも大きいと示すものであった場合、上述した図６のＡおよび図６のＢに示される表のαおよびβに対応づける量子化パラメータとして、QPに代え、QP＋Δを対応づける。
α／β決定部２４１は、決定したαおよびβの値を、フィルタパラメータの１つとして、フィルタ決定部２４３に供給する。
Ｂｓ決定部２４２は、図１０のＢｓ決定部１６２と基本的に同様に構成される。Ｂｓ決定部２４２は、可逆復号部２０２からのシンタクス要素を参照して、フィルタパラメータの調整として、図４に示される表のように、Ｂｓの値を決定する。このとき、Ｂｓ決定部２４２は、閾値判定部２３４からの制御信号が、差分値が閾値よりも大きいと示すものであった場合、例えば、Bsの代わりにBs+1を用いる。あるいは、Ｂｓ決定部１６２は、閾値判定部１５４からの制御信号が、差分値が閾値よりも大きいと示すものであった場合、例えば、Bs＝４を用いる。
Ｂｓ決定部２４２は、決定したBsの値を、フィルタパラメータの１つとして、フィルタ決定部２４３に供給する。
フィルタ決定部２４３には、演算部１１０からデブロックフィルタ前の画素値が入力される。フィルタ決定部２４３は、図１０のフィルタ決定部１６３と基本的に同様に構成される。フィルタ決定部２４３は、α／β決定部２４１およびＢｓ決定部２４２からのフィルタパラメータと、デブロックフィルタ前の画素値を用いて、フィルタを決定する。すなわち、フィルタ決定部２４３は、注目領域と隣接領域の境界に、強いフィルタを施すのか、弱いフィルタを施すのか、あるいは、フィルタを施さないのか、フィルタリングに用いるフィルタを決定する。
フィルタ決定部２４３は、決定したフィルタの制御情報と、デブロックフィルタ前の画素値とを、フィルタリング部２４４に供給する。
フィルタリング部２４４は、図１０のフィルタリング部１６４と基本的に同様に構成される。フィルタリング部２４４は、フィルタ決定部２４３により決定されたフィルタの制御情報に基づいて、デブロックフィルタ前の画素値に対して、デブロックフィルタ処理を施す。フィルタリング部２４４は、デブロックフィルタ後の画素値を、画面並べ替えバッファ２０７およびフレームメモリ２０９に出力する。
［復号処理の流れ］
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１５のフローチャートを参照して、復号処理の流れの例を説明する。
復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、可逆復号部２０２は、蓄積バッファ２０１から供給される符号化データを復号する。すなわち、図１の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、フラグや量子化パラメータ等のシンタクス要素の情報も復号される。
予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部２１１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報は、動き予測・補償部２１２に供給される。また、シンタクス要素は、デブロックフィルタ２０６および量子化パラメータ差分検出部２２１に供給される。
ステップＳ２０３において、逆量子化部２０３は、可逆復号部２０２により復号されて得られた、量子化された直交変換係数を逆量子化する。ステップＳ２０４において逆直交変換部２０４は逆量子化部２０３により逆量子化されて得られた直交変換係数を、図１の直交変換部１０４に対応する方法で逆直交変換する。これにより図１の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
ステップＳ２０５において、演算部２０５は、ステップＳ２０４の処理により得られた差分情報に、予測画像を加算する。これにより元の画像データが復号される。
ステップＳ２０６において、デブロックフィルタ２０６は、ステップＳ２０５の処理により得られた復号画像を適宜フィルタリングする。デブロックフィルタ処理の流れの詳細については、図１６を参照して後述する。これにより適宜復号画像からブロック歪みが除去される。
ステップＳ２０７において、フレームメモリ２０９は、フィルタリングされた復号画像を記憶する。
ステップＳ２０８において、イントラ予測部２１１、または動き予測・補償部２１２は、可逆復号部２０２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
すなわち、可逆復号部２０２からイントラ予測モード情報が供給された場合、イントラ予測部２１１は、イントラ予測モードのイントラ予測処理を行う。また、可逆復号部２０２からインター予測モード情報が供給された場合、動き予測・補償部２１２は、インター予測モードの動き予測処理を行う。
ステップＳ２０９において、選択部２１３は予測画像を選択する。すなわち、選択部２１３には、イントラ予測部２１１により生成された予測画像、若しくは、動き予測・補償部２１２により生成された予測画像が供給される。選択部２１３は、その予測画像が供給された側を選択し、その予測画像を演算部２０５に供給する。この予測画像は、ステップＳ２０５の処理により差分情報に加算される。
ステップＳ２１０において、画面並べ替えバッファ２０７は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置１００の画面並べ替えバッファ１０２（図１）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ２１１において、D/A変換部２０８は、画面並べ替えバッファ２０７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。
［デブロックフィルタ処理の流れ］
次に、図１６のフローチャートを参照して、図１５のステップＳ２０６において実行されるデブロックフィルタ処理の流れの例を説明する。なお、図１６のステップＳ２３１乃至Ｓ２３６は、図１２のステップＳ１３１乃至Ｓ１３６と基本的に同様の処理である。
逆量子化部２０３から、注目領域量子化パラメータは、注目量子化パラメータバッファ２３２に蓄積され、隣接領域量子化パラメータは、隣接量子化パラメータバッファ２３１に蓄積される。
差分生成部２３３は、ステップＳ２３１において、注目領域と隣接領域との境界が、量子化パラメータが設定できる大きさの領域の境界であるか否かを判定する。例えば、図９の注目領域Ｃと、右に隣接する隣接領域Ｎ２との境界は、量子化パラメータを設定可能な領域Ｍの境界である。したがって、この場合、ステップＳ２３１において、注目領域と隣接領域との境界が、量子化パラメータが設定できる大きさの領域の境界であると判定され、処理は、ステップＳ２３２に進む。
ステップＳ２３２において、差分生成部２３３は、注目領域と隣接領域との量子化パラメータ差分値を生成する。生成された量子化パラメータの差分値は、閾値判定部２３４に供給される。
ステップＳ２３３において、閾値判定部２３４は、量子化パラメータの差分値が閾値より大きいか否かを判定する。ステップＳ２３３において、量子化パラメータの差分値が閾値より大きいと判定された場合、処理は、ステップＳ２３４に進む。このとき、閾値判定部２３４は、量子化パラメータの差分値が閾値より大きいことを示す制御信号を、α／β決定部２４１およびＢｓ決定部２４２に供給する。
ステップＳ２３４において、α／β決定部２４１またはＢｓ決定部２４２は、フィルタパラメータの調整を行う。
α／β決定部２４１は、フィルタパラメータの調整として、逆量子化部２０３からの注目領域量子化パラメータに基づいて、上述した式（２）のαおよびβの値を決定する。このとき、α／β決定部２４１は、閾値判定部２３４からの制御信号が、差分値が閾値よりも大きいと示すものであった場合、上述した図６のＡおよび図６のＢに示される表のαおよびβに対応づける量子化パラメータとして、QPに代え、QP＋Δを対応づける。
または、Ｂｓ決定部２４２は、可逆復号部２０２からのシンタクス要素を参照して、フィルタパラメータの調整として、図４に示される表のように、Bsの値を決定する。このとき、Ｂｓ決定部２４２は、閾値判定部２３４からの制御信号が、差分値が閾値よりも大きいと示すものであった場合、例えば、Bsの代わりにBs+1を用いる。
α／β決定部２４１は、決定したαおよびβの値を、フィルタパラメータの１つとして、フィルタ決定部２４３に供給する。Ｂｓ決定部２４２は、決定したBsの値を、フィルタパラメータの１つとして、フィルタ決定部２４３に供給する。
なお、ステップＳ２３４におけるフィルタパラメータの調整処理も、α／β決定部２４１およびＢｓ決定部２４２の両方で行われてもよいし、どちらか一方だけの処理であってもよい。どちらか一方の場合、他方は、調整なしの通常のフィルタパラメータを、フィルタ決定部２４３に供給する。
また、ステップＳ２３４においては、上述したように、隣り合った領域の各量子化パラメータのうち、より大きな方を、デブロックフィルタ処理のための量子化パラメータとして用いる処理が行われてもよい。
ステップＳ２３３において、量子化パラメータの差分値が閾値以下であると判定された場合、ステップＳ２３４の処理は、スキップされる。このとき、閾値判定部２３４は、量子化パラメータの差分値が閾値以下であることを示す制御信号を、α／β決定部２４１およびＢｓ決定部１６２に供給する。α／β決定部２４１およびＢｓ決定部２４２は、調整なしの通常のフィルタパラメータを、フィルタ決定部２４３に供給する。
すなわち、α／β決定部２４１は、逆量子化部２０３からの注目領域量子化パラメータに基づいて、フィルタパラメータの調整として、上述した式（２）のαおよびβの値を決定する。Ｂｓ決定部２４２は、可逆復号部２０２からのシンタクス要素を参照して、フィルタパラメータの調整として、図４に示される表のように、Bsの値を決定する。
一方、例えば、図９の注目領域Ｃと、左に隣接する隣接領域Ｎ３との境界は、量子化パラメータを設定可能な領域Ｍ内であり、境界ではない。したがって、この場合、ステップＳ２３１において、注目領域と、隣接領域との境界が、量子化パラメータが設定できる大きさの領域の境界ではないと判定され、ステップＳ２３２乃至Ｓ２３４はスキップされ、処理は、ステップＳ２３５に進む。
すなわち、この場合、差分値も生成されず、制御信号もないので、α／β決定部２４１およびＢｓ決定部２４２は、調整なしの通常のフィルタパラメータを、フィルタ決定部２４３に供給する。
ステップＳ２３５において、フィルタ決定部２４３は、α／β決定部２４１およびＢｓ決定部２４２からフィルタパラメータと、デブロックフィルタ前の画素値を用いて、フィルタを決定する。すなわち、フィルタ決定部２４３は、注目領域と隣接領域の境界に、強いフィルタを施すのか、弱いフィルタを施すのか、あるいは、フィルタを施さないのか、フィルタリングに用いるフィルタを決定する。
フィルタ決定部２４３は、決定したフィルタの制御情報と、デブロックフィルタ前の画素値とを、フィルタリング部２４４に供給する。
ステップＳ２３６において、フィルタリング部２４４は、フィルタ決定部１６３により決定されたフィルタの制御情報に基づいて、デブロックフィルタ前の画素値に対して、デブロックフィルタ処理を施す。フィルタリング部２４４は、デブロックフィルタ後の画素値を、画面並べ替えバッファ２０７およびフレームメモリ２０９に出力する。
以上のように、注目領域と隣接領域の量子化パラメータの差分値が大きい場合に、フィルタを調整することにより、強いデブロックフィルタをかけることができる。これにより、適切なブロック歪みの除去を行うことができる。
＜３．第３の実施の形態＞
[IPCMモード対応の例]
次に、図１７を参照して、注目領域または注目領域と境界を挟んで隣接する隣接領域にIPCMモードの領域がある場合の例について説明する。IPCMモードとは、非圧縮モードのことであり、例えば、特許第３９９２３０３号および特許第４６８７９９８号に記載されている。
例えば、領域Ｌと領域Ｒとは境界Ｂを挟んで隣接しており、領域Ｌは、IPCMモードのブロックであり、領域Ｒは、Non IPCMモードのブロックであるとする。
上述したように、H．264/AVC方式においては、境界Ｂを挟んで隣接する隣接領域の量子化パラメータの平均に基づいて境界Ｂに施されるフィルタの強度が決められていた。また、IPCMモードである領域の量子化パラメータは０とされる。
したがって、例えば、領域Ｒの量子化パラメータＱＰ＝３８である場合、劣化が見えやすい領域であるにも拘らず、領域Ｌと領域Ｒの量子化パラメータＱＰの平均に基づいてフィルタの強度が決定されるため、境界Ｂには、弱いフィルタが施されていた。なお、境界Ｂといっても、領域ＬがIPCMモードであるため、境界Ｂの領域Ｒ側にしかフィルタはかからない。
そこで、デブロックフィルタ１１１は、領域Ｒについては、領域Ｒの量子化パラメータであるＱＰ＝３８をデブロックフィルタ処理のための量子化パラメータとして用いる。すなわち、隣接する領域がIPCMモードである場合、上述した第３の方法の例が相当する。
具体的には、上述した図１０の機能ブロックを用いて符号化側について説明すると、例えば、シンタクス要素（モード情報）が閾値判定部１５４にも供給される。閾値判定部１５４は、モード情報を参照して、領域Ｌまたは領域ＲがIPCMモードであるか否かを判定し、IPCMモードであるか否かを示す制御信号を、α／β決定部１６１に供給する。例えば、領域ＬがIPCMモードであり、制御信号がIPCMモードであることを示す場合、α／β決定部１６１は、領域Ｒの量子化パラメータを用いて、上述した式（２）のαおよびβの値を決定する。これにより、フィルタ決定部１６３は、境界Ｂに対して、H．264/AVC方式の場合よりも強いフィルタを決定することができる。
さらに、上述した図１４の機能ブロックを用いて復号側について説明すると、例えば、シンタクス要素（モード情報）が閾値判定部２３４にも供給される。閾値判定部２３４は、モード情報を参照して、領域Ｌまたは領域ＲがIPCMモードであるか否かを判定し、IPCMモードであるか否かを示す制御信号を、α／β決定部２４１に供給する。例えば、領域ＬがIPCMモードであり、制御信号がIPCMモードであることを示す場合、α／β決定部２４１は、領域Ｒの量子化パラメータを用いて、上述した式（２）のαおよびβの値を決定する。これにより、フィルタ決定部２４３は、境界Ｂに対して、H．264/AVC方式の場合よりも強いフィルタを決定することができる。
なお、上記説明においては、領域ＬがIPCMモードである場合の例を説明したが、領域ＲがIPCMモードである場合には、領域Ｌの量子化パラメータを用いて、上述した式（２）のαおよびβの値が決定される。
以上のように、隣接する領域および注目領域のどちらか一方がIPCMモードである場合に、デブロックフィルタの入力となる境界ＱＰを、他方の領域の量子化パラメータとするようにした。これにより、隣接する領域がIPCMモードであったとしても、注目領域に適した強度のデブロックフィルタを施すことができる。
なお、上記説明においては、H．264/AVC方式を例に説明してきたが、現在、H．264/AVCより更なる符号化効率の向上を目的として、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。次に、HEVC規格による符号化方式（以下、HEVC方式と称する）をベースとして説明していく。
例えば、HEVC方式においては、デブロックフィルタのフィルタ強度を決めるためのオフセット値（閾値）として、αおよびβと同様の機能を有するbetaおよびtcが用いられている。
＜４．第４の実施の形態＞
[量子化行列対応の例]
デブロックフィルタは、符号化側からの符号化データ（画像圧縮情報）中に伝送されている量子化パラメータＱＰをベースに実行される。再度、図８を用いて、具体的に説明する。
従来においては、パラメータbetaおよびtc（H．264/AVC方式のαおよびβ）を決めるための境界ＱＰは、注目領域Ｃの量子化パラメータQPcと、注目領域Ｃに境界を挟んで隣接する隣接領域Ｎの量子化パラメータQPNを用いて、次の式（３４）のように求められていた。
境界ＱＰ＝(QPc＋QPN＋１)＞＞１ ・・・（３４）
しかしながら、符号化データ中に量子化行列（スケーリングリスト（Scaling List）が伝送されている場合、実際に割り算される値は、そのスケーリングリストによって補正されてしまう。すなわち、式（３４）で求められる境界ＱＰは、スケーリングリストの影響が考慮されていなかった。
ブロック歪みに強く影響するのは、ＤＣ成分であり、ブロック歪みを検出するためには、このスケーリングリストのＤＣ成分に関する情報が重要となる。そこで、図１の画像符号化装置１００および図１３の画像復号装置２００は、伝送されているＱＰを、スケーリングリストにより補正し、補正されたＱＰを用いてフィルタの強度の決定に用いられる境界ＱＰを求める。
このデブロックフィルタ処理について、図１８のフローチャートを参照して説明する。まず、上述した図１０の機能ブロックを例に符号化側の処理について説明する。また、上記説明においては、AVC方式の場合のデブロックフィルタのパラメータとして、α，βが用いられる例を説明した。これに対して、図１８以降においては、HEVC方式の場合のデブロックフィルタのパラメータであるbeta,tcが用いられる例を説明する。
ステップＳ３０１において、Ｂｓ決定部１６２は、可逆符号化部１０６からのシンタクス要素であるモード情報、動きベクトル、参照フレーム情報を受信する（受け取る）。なお、このとき、差分生成部１５３も、可逆符号化部１０６からのシンタクス要素である、量子化行列（スケーリングリスト）を受信する。
ステップＳ３０２において、Ｂｓ決定部１６２は、ＴＵ及びＰＵ境界を検出する。ステップＳ３０３において、Ｂｓ決定部１６２は、ステップＳ３０１で受け取った情報、およびステップＳ３０２で検出したＴＵ及びＰＵ境界に基づいて、Bs値を決定する。決定されたBs値は、フィルタパラメータとして、フィルタ決定部１６３に供給される。
ステップＳ３０４において、差分生成部１５３は、ステップＳ３０１で受け取った量子化行列から、境界ブロック（すなわち、境界を挟んで隣接する領域）に関する量子化行列ＤＣ成分（ＤＣ成分）を抽出する。
ステップＳ３０５において、差分生成部１５３は、抽出したＤＣ成分を用いて、境界ＱＰを算出する。
具体的には、差分生成部１５３は、次の式（３５）により、注目領域Ｃの量子化パラメータQPcと、注目領域Ｃに境界を挟んで隣接領域Ｎの量子化パラメータQPNを補正した後、上述した式（３４）を用いて、境界ＱＰを算出する。
Figure 2012165095
 ・・・（３５）
ここで、ＱＰtransおよびＱＳtransは、ビットストリーム中のＱＰおよびそのＱＰに対応するＱＳ(Quantization Scale)である。ＱＰrealおよびＱＳrealは、スケーリングリストのＤＣ成分により補正されるＱＰおよびそのＱＰに対応するＱＳである。ＤＣは、スケーリングリストのＤＣ成分（１乃至２５５）であり、１６がデフォルトの値である。
なお、上述した式（３５）の第２式の右辺の第２項（logの項）は、実際に算出する必要はなく、ＤＣ成分（１乃至２５５）毎の（logの項）を予め計算し、テーブル化して記憶しておき、それを用いるようにすることができる。
算出された境界ＱＰは、α／β決定部１６１に供給される。
ステップＳ３０６において、α／β決定部１６１は、フィルタ強度を決定するためのオフセット値（閾値）であるbeta、tcを決定し、決定したbeta、tcを、フィルタパラメータとして、フィルタ決定部１６３に供給する。
フィルタ決定部１６３には、演算部１１０からデブロックフィルタ前の画素値が入力される。フィルタ決定部１６３は、ステップＳ３０７において、α／β決定部１６１およびＢｓ決定部１６２からのフィルタパラメータと、デブロックフィルタ前の画素値を用いて、フィルタを決定する。すなわち、フィルタ決定部１６３は、注目領域と隣接領域の境界に、強いフィルタを施すのか（強）、弱いフィルタを施すのか（弱）、あるいは、フィルタを施さないのか（off）、フィルタリングに用いるフィルタを決定する。
フィルタ決定部１６３は、決定したフィルタの制御情報と、デブロックフィルタ前の画素値とを、フィルタリング部１６４に供給する。
フィルタリング部１６４は、ステップＳ３０８において、フィルタ決定部１６３により決定されたフィルタの制御情報に基づいて、デブロックフィルタ前の画素値に対して、デブロックフィルタ処理を施す。フィルタリング部１６４は、デブロックフィルタ後の画素値を、フレームメモリ１１２に出力する。
次に、再度、図１８のフローチャートを参照して、復号側のデブロックフィルタ処理について説明する。なお、復号側については、上述した図１４の機能ブロックを用いて説明する。
ステップＳ３０１において、Ｂｓ決定部２４２は、可逆復号部２０２からのシンタクス要素であるモード情報、動きベクトル、参照フレーム情報を受信する（受け取る）。なお、このとき、差分生成部２３３も、可逆復号部２０２からのシンタクス要素である、量子化行列（スケーリングリスト）を受信する。
ステップＳ３０２において、Ｂｓ決定部２４２は、ＴＵ及びＰＵ境界を検出する。ステップＳ３０３において、Ｂｓ決定部２４２は、ステップＳ３０１で受け取った情報、およびステップＳ３０２で検出したＴＵ及びＰＵ境界に基づいて、Bs値を決定する。決定されたBs値は、フィルタパラメータとして、フィルタ決定部２４３に供給される。
ステップＳ３０４において、差分生成部２３３は、ステップＳ３０１で受け取った量子化行列から、境界ブロック（すなわち、境界を挟んで隣接する領域）に関する量子化行列ＤＣ成分（ＤＣ成分）を抽出する。
ステップＳ３０５において、差分生成部２３３は、抽出したＤＣ成分を用いて、境界ＱＰを算出する。
具体的には、差分生成部２３３は、差分生成部１５３と同様に、上述した式（３５）により、注目領域Ｃの量子化パラメータQPcと、注目領域Ｃに境界を挟んで隣接領域Ｎの量子化パラメータQPNを補正した後、上述した式（３４）を用いて、境界ＱＰを算出する。算出された境界ＱＰは、α／β決定部２４１に供給される。
ステップＳ３０６において、α／β決定部２４１は、フィルタ強度を決定するためのオフセット値（閾値）であるbeta、tcを決定し、決定したbeta、tcを、フィルタパラメータとして、フィルタ決定部２４３に供給する。
フィルタ決定部２４３には、演算部２０５からデブロックフィルタ前の画素値が入力される。フィルタ決定部２４３は、ステップＳ３０７において、α／β決定部２４１およびＢｓ決定部２４２からのフィルタパラメータと、デブロックフィルタ前の画素値を用いて、フィルタを決定する。すなわち、フィルタ決定部２４３は、注目領域と隣接領域の境界に、強いフィルタを施すのか（強）、弱いフィルタを施すのか（弱）、あるいは、フィルタを施さないのか（off）、フィルタリングに用いるフィルタを決定する。
フィルタ決定部２４３は、決定したフィルタの制御情報と、デブロックフィルタ前の画素値とを、フィルタリング部２４４に供給する。
フィルタリング部２４４は、ステップＳ３０８において、フィルタ決定部２４３により決定されたフィルタの制御情報に基づいて、デブロックフィルタ前の画素値に対して、デブロックフィルタ処理を施す。フィルタリング部２４４は、デブロックフィルタ後の画素値を、フレームメモリ２０９および画面並べ替えバッファ２０７に出力する。
以上のように、量子化行列（スケーリングリスト）のＤＣ成分を用いて量子化パラメータを補正してから、境界ＱＰを算出するようにしたので、より適切にブロック歪みを抑制することができる。
＜５．第５の実施の形態＞
[スキップモード対応の例]
図８を再度用いて上述したが、従来において、パラメータbetaおよびtcを決めるための境界ＱＰは、注目領域Ｃの量子化パラメータQPcと、注目領域Ｃに境界を挟んで隣接する隣接領域Ｎの量子化パラメータQPNを用いて、上述した式（３４）で求められていた。
しかしながら、例えば、領域における処理単位がＣＵであれば、スキップＣＵである場合、または、領域における処理単位がＴＵであれば、ＣＢＦ（coded_block_flag）＝０である場合などのように、隣接領域Ｎが直交変換係数を持たない領域である場合、ＱＰの値はあてにならない。
そこで、図１の画像符号化装置１００および図１３の画像復号装置２００は、境界を挟んで隣接する領域の直交変換係数の有無に基づいて、パラメータbetaおよびtcを決めるために用いられる境界ＱＰを算出する。
このデブロックフィルタ処理について、図１９のフローチャートを参照して説明する。まず、上述した図１０の機能ブロックを例に符号化側の処理について説明する。
ステップＳ３５１において、Ｂｓ決定部１６２は、可逆符号化部１０６からのシンタクス要素であるモード情報、動きベクトル、参照フレーム情報を受信する（受け取る）。なお、このとき、差分生成部１５３も、可逆符号化部１０６からのシンタクス要素である、モード情報やcoded_block_flagなどを受信する。
ステップＳ３５２において、Ｂｓ決定部１６２は、ＴＵ及びＰＵ境界を検出する。ステップＳ３５３において、Ｂｓ決定部１６２は、ステップＳ３５１で受け取った情報、ステップＳ３５２で検出したＴＵ及びＰＵ境界に基づいて、Bs値を決定する。決定されたBs値は、フィルタパラメータとして、フィルタ決定部１６３に供給される。
ステップＳ３５４において、差分生成部１５３は、境界ブロック（すなわち、境界を挟んで隣接する領域）の直交変換係数の有無を検出する。例えば、領域がＣＵの場合、ステップＳ３５１で受け取ったモード情報に基づき、直交変換係数の有無が検出される。一方、領域がＴＵの場合、ステップＳ３５１で受け取ったcoded_block_flagに基づき、直交変換係数の有無が検出される。
ステップＳ３０５において、差分生成部１５３は、検出した境界ブロックの直交変換係数の有無に応じて、境界ＱＰを算出する。
具体的には、図２０を参照して説明する。図２０の例においては、図８に示された領域Ｎと領域Ｃの直交変換係数の有無が丸バツで示されている。丸は、直交変換係数があることを示しており、バツは、直交変換係数がないことを示している。
まず、領域Ｎにも領域Ｃにも、直交変換係数がある場合、境界ＱＰの算出方法は、上述した式（３４）を用いて従来通りに行われる。
領域Ｎおよび領域Ｃのうちのどちらか一方に直交変換係数があるが、他方に直交変換係数がない場合、案１乃至案４として、次の式（３６）乃至式（３９）のいずれかの式が用いられて境界ＱＰが算出される。
案１：境界ＱＰ ＝ QPN ・・・（３６）

案２：境界ＱＰ ＝ （QPN＋prevQPc＋１）＞＞１ ・・・（３７）

案３：境界ＱＰ ＝ （QPN＋predQPc＋１）＞＞１ ・・・（３８）

案４：境界ＱＰ ＝ （QPN＋sliceQPc＋１）＞＞１ ・・・（３９）
ここで、式（３６）においては、QPc＝０とされている。prevQPxは、領域xの直前の領域において用いられたＱＰを表している。predQPxは、領域xの直前の領域において用いられた予測ＱＰ（量子化パラメータの予測値）を表している。slicePxは、領域xの属するスライスに対するＱＰを表している。
領域Ｎおよび領域Ｃのどちらにも直交変換係数がない場合、案Ａ乃至案Ｃとして、次の式（４０）乃至式（４２）のいずれかの式が用いられて境界ＱＰが算出される。
案Ａ：境界ＱＰ ＝ （prevQPN＋prevQPc＋１）＞＞１ ・・・（４０）

案Ｂ：境界ＱＰ ＝ （predQPN＋predQPc＋１）＞＞１ ・・・（４１）

案Ｃ：境界ＱＰ ＝ （sliceQPN＋sliceQPc＋１）＞＞１ ・・・（４２）
算出された境界ＱＰは、α／β決定部１６１に供給される。
ステップＳ３５６において、α／β決定部１６１は、フィルタ強度を決定するためのオフセット値（閾値）であるbeta、tcを決定し、決定したbeta、tcを、フィルタパラメータとして、フィルタ決定部１６３に供給する。
フィルタ決定部１６３には、演算部１１０からデブロックフィルタ前の画素値が入力される。フィルタ決定部１６３は、ステップＳ３５７において、α／β決定部１６１およびＢｓ決定部１６２からのフィルタパラメータと、デブロックフィルタ前の画素値を用いて、フィルタを決定する。すなわち、フィルタ決定部１６３は、注目領域と隣接領域の境界に、強いフィルタを施すのか（強）、弱いフィルタを施すのか（弱）、あるいは、フィルタを施さないのか（off）、フィルタリングに用いるフィルタを決定する。
フィルタ決定部１６３は、決定したフィルタの制御情報と、デブロックフィルタ前の画素値とを、フィルタリング部１６４に供給する。
フィルタリング部１６４は、ステップＳ３５８において、フィルタ決定部１６３により決定されたフィルタの制御情報に基づいて、デブロックフィルタ前の画素値に対して、デブロックフィルタ処理を施す。フィルタリング部１６４は、デブロックフィルタ後の画素値を、フレームメモリ１１２に出力する。
次に、再度、図１９のフローチャートを参照して、復号側のデブロックフィルタ処理について説明する。なお、復号側については、上述した図１４の機能ブロックを用いて説明する。
ステップＳ３５１において、Ｂｓ決定部２４２は、可逆復号部２０２からのシンタクス要素であるモード情報、動きベクトル、参照フレーム情報を受信する（受け取る）。なお、このとき、差分生成部２３３も、可逆復号部２０２からのシンタクス要素である、モード情報やcoded_block_flagなどを受信する。
ステップＳ３５２において、Ｂｓ決定部２４２は、ＴＵ及びＰＵ境界を検出する。ステップＳ３５３において、Ｂｓ決定部２４２は、ステップＳ３５１で受け取った情報、ステップＳ３５２で検出したＴＵ及びＰＵ境界に基づいて、Bs値を決定する。決定されたBs値は、フィルタパラメータとして、フィルタ決定部２４３に供給される。
ステップＳ３５４において、差分生成部２３３は、境界ブロック（すなわち、境界を挟んで隣接する領域）の直交変換係数の有無を検出する。例えば、領域がＣＵの場合、ステップＳ３５１で受け取ったモード情報に基づき、直交変換係数の有無が検出される。一方、領域がＴＵの場合、ステップＳ３５１で受け取ったcoded_block_flagに基づき、直交変換係数の有無が検出される。
ステップＳ３０５において、差分生成部２３３は、検出した境界ブロックの直交変換係数の有無に応じて、境界ＱＰを算出する。具体的には、図２０を参照して上述した差分生成部１５３の処理と基本的に同様である。 すなわち、領域Ｎにも領域Ｃにも、直交変換係数がある場合、境界ＱＰの算出方法は、上述した式（３４）を用いて従来通りに行われる。
領域Ｎおよび領域Ｃのうちのどちらか一方に直交変換係数があるが、他方に直交変換係数がない場合、案１乃至案４として、上述した式（３６）乃至式（３９）のいずれかの式が用いられて境界ＱＰが算出される。
領域Ｎおよび領域Ｃのどちらにも直交変換係数がない場合、案Ａ乃至案Ｃとして、上述した式（４０）乃至式（４２）のいずれかの式が用いられて境界ＱＰが算出される。算出された境界ＱＰは、α／β決定部２４１に供給される。
ステップＳ３５６において、α／β決定部２４１は、フィルタ強度を決定するためのオフセット値（閾値）であるbeta、tcを決定し、決定したbeta、tcを、フィルタパラメータとして、フィルタ決定部２４３に供給する。
フィルタ決定部２４３には、演算部２０５からデブロックフィルタ前の画素値が入力される。フィルタ決定部２４３は、ステップＳ３５７において、α／β決定部２４１およびＢｓ決定部２４２からのフィルタパラメータと、デブロックフィルタ前の画素値を用いて、フィルタを決定する。すなわち、フィルタ決定部２４３は、注目領域と隣接領域の境界に、強いフィルタを施すのか（強）、弱いフィルタを施すのか（弱）、あるいは、フィルタを施さないのか（off）、フィルタリングに用いるフィルタを決定する。
フィルタ決定部２４３は、決定したフィルタの制御情報と、デブロックフィルタ前の画素値とを、フィルタリング部２４４に供給する。
フィルタリング部２４４は、ステップＳ３５８において、フィルタ決定部２４３により決定されたフィルタの制御情報に基づいて、デブロックフィルタ前の画素値に対して、デブロックフィルタ処理を施す。フィルタリング部２４４は、デブロックフィルタ後の画素値を、フレームメモリ２０９および画面並べ替えバッファ２０７に出力する。
以上のように、直交変換係数がない領域の場合、そのＱＰの代わりに、直前の領域で用いられたＱＰ、直後のフレームで用いられたＱＰ、または、その領域が属するスライスに対するＱＰを用いて、境界ＱＰを算出するようにした。これにより、より適切にブロック歪みを抑制することができる。
なお、HEVC方式においては、max_cu_qp_delta_depthが定められており、max_cu_qp_delta_depthには、どの粒度（深度）のＣＵにより量子化パラメータが伝送されるかが設定される。さらに、HEVC方式においては、max_cu_qp_delta_depthで指定されているサイズ以上のＣＵにおいては、そのＣＵの量子化パラメータとして、そのＣＵより小さい粒度で、最初のnon_skip_ＣＵの量子化パラメータを送ることが規定されている。
すなわち、ＣＵを構成する最初（左上）のＣＵがskipＣＵである場合、ラスタスキャン順に次のＣＵがnon_skipであれば、その量子化パラメータが送られる。
このような場合において、デブロックフィルタをＣＵ単位で行おうとすると、最初のＣＵで量子パラメータが送られていないため、デブロックフィルタを行うことが困難であった。
これに対して、本技術においては、skipＣＵである場合に、そのＣＵのＱＰとして、直前の領域で用いられたＱＰ、直後のフレームで用いられたＱＰ、または、その領域が属するスライスに対するＱＰを用いて、境界ＱＰを算出するようにした。
これにより、上述するような場合でも、ＣＵ単位でデブロックフィルタを行うことが可能となる。
なお、上記説明においては、例えば、図８などを用いて、図中左右に隣接する領域間の境界の例を説明したが、上下に隣接する領域間の境界も、左右に隣接する領域間の境界の場合と同様に処理される。
以上においては、符号化方式としてH．264/AVC方式をベースに用いるようにしたが、本開示はこれに限らず、動き予測・補償ループ内にデブロックフィルタを含む、その他の符号化方式／復号方式（例えば、HEVC方式）を適用することができる。
なお、本開示は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本開示は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
＜６．第６の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
図２１において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図２１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜７．第７の実施の形態＞
［第１の応用例：テレビジョン受像機］
図２２は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、ブロック歪みの除去をより適切に行い、復号画像における主観画質を向上させることができる。
［第２の応用例：携帯電話機］
図２３は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、ブロック歪みの除去をより適切に行い、復号画像における主観画質を向上させることができる。
［第３の応用例：記録再生装置］
図２４は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、ブロック歪みの除去をより適切に行い、復号画像における主観画質を向上させることができる。
［第４の応用例：撮像装置］
図２５は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、ブロック歪みの除去をより適切に行い、復号画像における主観画質を向上させることができる。
なお、本明細書では、差分量子化パラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） 階層構造を有する単位で符号化されたビットストリームを復号して、画像を生成する復号部と、
前記復号部により生成された前記画像にフィルタ処理を施すフィルタ部と、
前記復号部により生成された前記画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、前記フィルタ部のパラメータを調整するフィルタ調整部と
を備える画像処理装置。
（２） 前記フィルタ調整部は、予め設定された強フィルタ処理と予め設定された弱フィルタ処理とのうち、強フィルタ処理を選択するように、前記フィルタ部を制御する
前記（１）に記載の画像処理装置。
（３） 前記フィルタ調整部は、前記境界が量子化パラメータの設定可能な領域の境界である場合、前記フィルタ部のパラメータを調整する
前記（１）または（２）に記載の画像処理装置。
（４） 前記フィルタ部のパラメータは、Boundary Strengthの値であり、
前記フィルタ調整部は、前記Boundary Strengthの値に１を加算した値を、前記Boundary Strengthの値とする
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記フィルタ部のパラメータは、Boundary Strengthの値であり、
前記フィルタ調整部は、前記Boundary Strengthの値を４とする
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（６） 前記フィルタ部のパラメータは、閾値αと閾値βの値であり、
前記フィルタ調整部は、前記閾値αと閾値βに対応する量子化パラメータQPの代わりに、QP＋Δ（Δ＞０）を対応させる
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（７） 前記フィルタ部のパラメータは、量子化パラメータの値であり、
前記フィルタ調整部は、前記カレント領域の量子化パラメータと前記隣接領域の量子化パラメータのうちの値の大きい方を、前記フィルタ部のパラメータとして用いる
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（８） 前記フィルタ部のパラメータは、量子化パラメータの値であり、
前記フィルタ調整部は、前記カレント領域および前記隣接領域のどちらか一方の領域がIPCMモードである場合、他方の領域の量子化パラメータを、前記フィルタ部のパラメータとして用いる
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（９） 前記フィルタ部のパラメータは、量子化パラメータの値であり、
前記フィルタ調整部は、前記カレント領域および前記隣接領域の量子化パラメータを量子化行列のＤＣ成分を用いて補正し、補正した量子化パラメータを用いて、前記フィルタ部のパラメータを求める
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（１０） 前記フィルタ部のパラメータは、量子化パラメータの値であり、
前記フィルタ調整部は、前記カレント領域および前記隣接領域の少なくともどちらか一方の領域が直交変換係数を持たない場合、前記領域の量子化パラメータとして、０、前記領域の直前の領域において用いられた量子化パラメータ、前記領域の直前の領域に対する量子化パラメータの予測値、または、前記領域が属するスライスに対する量子化パラメータを用いて、前記フィルタ部のパラメータを求める
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（１１） 前記閾値は、水平方向のフィルタ処理と垂直方向のフィルタ処理とで異なる値に設定されている
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記閾値は、前記カレント領域のサイズに応じて異なる値に設定されている
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記フィルタ調整部は、前記カレント領域のサイズが大きくなるに従って小さい値となるように設定されている
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記フィルタ調整部は、前記復号部により生成された前記画像の輝度成分にフィルタ処理を施すように、前記フィルタ部を制御する
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記カレント領域の量子化パラメータと、前記隣接領域の量子パラメータとの差分値を生成する差分値生成部
をさらに備える前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 画像処理装置が、
画像を復号し、
階層構造を有する単位で符号化されたビットストリームを復号して、画像を生成し、
生成された前記画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、フィルタのパラメータを調整し、
生成された前記画像に前記フィルタ処理を施す
画像処理方法。
（１７） 画像を符号化する際に、ローカルデコードされた画像に対してフィルタ処理を施すフィルタ部と、
前記画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子化パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、前記フィルタ部のパラメータを調整するフィルタ調整部と、
前記フィルタ処理が施された前記画像を予測画像として用いて階層構造を有する単位で符号化する符号化部と
を備える画像処理装置。
（１８） 画像処理装置が、
画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子化パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、フィルタのパラメータを調整し、
前記画像を符号化する際に、ローカルデコードされた画像に対してフィルタ処理を施し、
前記フィルタ処理が施された前記画像を予測画像として用いて階層構造を有する単位で符号化する
画像処理方法。
１００ 画像符号化装置， １０６ 可逆符号化部， １０８ 逆量子化部， １１１ デブロックフィルタ， １２１ 量子化パラメータ差分検出部， １５１ 隣接量子化パラメータバッファ， １５２ 注目量子化パラメータバッファ， １５３ 差分生成部， １５４ 閾値判定部， １６１ α／β決定部， １６２ Ｂｓ決定部， １６３ フィルタ決定部， １６４ フィルタリング部， ２００ 画像復号装置， ２０２ 可逆復号部， ２０３ 逆量子化部， ２０６ デブロックフィルタ， ２２１ 量子化パラメータ差分検出部， ２３１ 隣接量子化パラメータバッファ， ２３２ 注目量子化パラメータバッファ， ２３３ 差分生成部， ２３４ 閾値判定部， ２４１ α／β決定部， ２４２ Ｂｓ決定部， ２４３ フィルタ決定部， ２４４ フィルタリング部

Claims (18)

  1. 階層構造を有する単位で符号化されたビットストリームを復号して、画像を生成する復号部と、
    前記復号部により生成された前記画像にフィルタ処理を施すフィルタ部と、
    前記復号部により生成された前記画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、前記フィルタ部のパラメータを調整するフィルタ調整部と
    を備える画像処理装置。
  2. 前記フィルタ調整部は、予め設定された強フィルタ処理と予め設定された弱フィルタ処理とのうち、強フィルタ処理を選択するように、前記フィルタ部を制御する
    請求項１に記載の画像処理装置。
  3. 前記フィルタ調整部は、前記境界が量子化パラメータの設定可能な領域の境界である場合、前記フィルタ部のパラメータを調整する
    請求項１に記載の画像処理装置。
  4. 前記フィルタ部のパラメータは、Boundary Strengthの値であり、
    前記フィルタ調整部は、前記Boundary Strengthの値に１を加算した値を、前記Boundary Strengthの値とする
    請求項１に記載の画像処理装置。
  5. 前記フィルタ部のパラメータは、Boundary Strengthの値であり、
    前記フィルタ調整部は、前記Boundary Strengthの値を４とする
    請求項１に記載の画像処理装置。
  6. 前記フィルタ部のパラメータは、閾値αと閾値βの値であり、
    前記フィルタ調整部は、前記閾値αと閾値βに対応する量子化パラメータQPの代わりに、QP＋Δ（Δ＞０）を対応させる
    請求項１に記載の画像処理装置。
  7. 前記フィルタ部のパラメータは、量子化パラメータの値であり、
    前記フィルタ調整部は、前記カレント領域の量子化パラメータと前記隣接領域の量子化パラメータのうちの値の大きい方を、前記フィルタ部のパラメータとして用いる
    請求項１に記載の画像処理装置。
  8. 前記フィルタ部のパラメータは、量子化パラメータの値であり、
    前記フィルタ調整部は、前記カレント領域および前記隣接領域のどちらか一方の領域がIPCMモードである場合、他方の領域の量子化パラメータを、前記フィルタ部のパラメータとして用いる
    請求項１に記載の画像処理装置。
  9. 前記フィルタ部のパラメータは、量子化パラメータの値であり、
    前記フィルタ調整部は、前記カレント領域および前記隣接領域の量子化パラメータを量子化行列のＤＣ成分を用いて補正し、補正した量子化パラメータを用いて、前記フィルタ部のパラメータを求める
    請求項１に記載の画像処理装置。
  10. 前記フィルタ部のパラメータは、量子化パラメータの値であり、
    前記フィルタ調整部は、前記カレント領域および前記隣接領域の少なくともどちらか一方の領域が直交変換係数を持たない場合、前記領域の量子化パラメータとして、０、前記領域の直前の領域において用いられた量子化パラメータ、前記領域の直前の領域に対する量子化パラメータの予測値、または、前記領域が属するスライスに対する量子化パラメータを用いて、前記フィルタ部のパラメータを求める
    請求項１に記載の画像処理装置。
  11. 前記閾値は、水平方向のフィルタ処理と垂直方向のフィルタ処理とで異なる値に設定されている
    請求項１に記載の画像処理装置。
  12. 前記閾値は、前記カレント領域のサイズに応じて異なる値に設定されている
    請求項１に記載の画像処理装置。
  13. 前記閾値は、前記カレント領域のサイズが大きくなるに従って小さい値となるように設定されている
    請求項１２に記載の画像処理装置。
  14. 前記フィルタ調整部は、前記復号部により生成された前記画像の輝度成分にフィルタ処理を施すように、前記フィルタ部を制御する
    請求項１に記載の画像処理装置。
  15. 前記カレント領域の量子化パラメータと前記隣接領域の量子化パラメータとの差分値を算出する差分値算出部
    をさらに備える請求項１に記載の画像処理装置。
  16. 画像処理装置が、
    階層構造を有する単位で符号化されたビットストリームを復号して、画像を生成し、
    生成された前記画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、フィルタのパラメータを調整し、
    生成された前記画像に前記フィルタ処理を施す
    画像処理方法。
  17. 画像を符号化する際に、ローカルデコードされた画像に対してフィルタ処理を施すフィルタ部と、
    前記画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子化パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、前記フィルタ部のパラメータを調整するフィルタ調整部と、
    前記フィルタ処理が施された前記画像を予測画像として用いて階層構造を有する単位で符号化する符号化部と
    を備える画像処理装置。
  18. 画像処理装置が、
    画像の処理対象であるカレント領域の量子化パラメータと、前記カレント領域と境界を挟んで隣接する隣接領域の量子化パラメータとの差分値が閾値よりも大きい場合、前記境界に対してのフィルタ処理が強くかかるように、フィルタのパラメータを調整し、
    前記画像を符号化する際に、ローカルデコードされた画像に対してフィルタ処理を施し、
    前記フィルタ処理が施された前記画像を予測画像として用いて階層構造を有する単位で符号化する
    画像処理方法。
JP2013517934A 2011-05-27 2012-04-27 画像処理装置および方法 Active JP5942990B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011119279 2011-05-27
JP2011119279 2011-05-27
PCT/JP2012/061408 WO2012165095A1 (ja) 2011-05-27 2012-04-27 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2012165095A1 true JPWO2012165095A1 (ja) 2015-02-23
JP5942990B2 JP5942990B2 (ja) 2016-06-29

Family

ID=47258959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013517934A Active JP5942990B2 (ja) 2011-05-27 2012-04-27 画像処理装置および方法

Country Status (4)

Country Link
US (1) US9317933B2 (ja)
JP (1) JP5942990B2 (ja)
CN (1) CN103563374B (ja)
WO (1) WO2012165095A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625914B2 (en) * 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
BR112013003102B1 (pt) 2011-02-22 2022-04-19 Sun Patent Trust Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, e aparelho de decodificação de imagem
EP2680583B1 (en) 2011-02-22 2018-04-11 Tagivan Ii Llc Filter method, dynamic image encoding device, dynamic image decoding device, and dynamic image encoding/decoding device
CN106713914B (zh) * 2011-06-30 2021-06-01 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
LT2736253T (lt) 2011-07-19 2020-04-27 Tagivan Ii Llc Filtravimo būdas, judančio vaizdo dekodavimo būdas, judančio vaizdo kodavimo būdas, judančio vaizdo dekodavimo aparatas, judančio vaizdo kodavimo aparatas ir judančio vaizdo kodavimo/dekodavimo aparatas
US9554128B2 (en) * 2011-09-13 2017-01-24 Hfi Innovation Inc. Method and apparatus for reduction of deblocking filter
US9973784B2 (en) * 2012-09-20 2018-05-15 Sony Corporation Image processing device and method
EP2904792B1 (en) * 2012-10-04 2021-08-25 Telefonaktiebolaget LM Ericsson (publ) Hierarchical deblocking parameter adaptation
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
KR20160075705A (ko) 2013-10-25 2016-06-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩에서의 해시 기반 블록 매칭
US10368092B2 (en) * 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
US10567754B2 (en) 2014-03-04 2020-02-18 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
KR102287779B1 (ko) 2014-06-23 2021-08-06 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반의 블록 매칭의 결과에 기초한 인코더 결정
KR102490706B1 (ko) 2014-09-30 2023-01-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 코딩을 위한 해시 기반 인코더 결정
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
CN107358580A (zh) * 2017-06-16 2017-11-17 广东欧珀移动通信有限公司 高光区域的消除方法、装置及终端
US11095896B2 (en) 2017-10-12 2021-08-17 Qualcomm Incorporated Video coding with content adaptive spatially varying quantization
JPWO2021045059A1 (ja) * 2019-09-02 2021-03-11
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
CN112906568B (zh) * 2020-07-16 2021-11-12 云从科技集团股份有限公司 动态阈值管理方法、系统、电子设备及介质
CN116033034B (zh) * 2023-03-30 2023-06-30 湖南迈克森伟电子科技有限公司 一种无线收发平台用数据处理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198505A (ja) * 1997-09-09 1999-04-09 Lg Semicon Co Ltd 低速伝送での動画像のためのデブロッキングフィルタリング方法
JP2005295371A (ja) * 2004-04-02 2005-10-20 Megachips Lsi Solutions Inc ブロックノイズ除去装置
JP2007184871A (ja) * 2006-01-10 2007-07-19 Toshiba Corp 動画像復号装置及び動画像復号方法
JP2008011435A (ja) * 2006-06-30 2008-01-17 Toshiba Corp 動画像復号化装置
JP2009164915A (ja) * 2008-01-08 2009-07-23 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010081539A (ja) * 2008-09-29 2010-04-08 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化プログラム
US20110194614A1 (en) * 2010-02-05 2011-08-11 Andrey Norkin De-Blocking Filtering Control

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
CN1816149A (zh) * 2005-02-06 2006-08-09 腾讯科技（深圳）有限公司 去除视频图像中块效应的滤波方法及环路滤波器
KR100667842B1 (ko) * 2005-12-05 2007-01-11 삼성전자주식회사 디지털ｔｖ의 전원을 효율적으로 제어하는 방법 및 이를위한 디지털 ｔｖ
US7911538B2 (en) * 2006-04-06 2011-03-22 Samsung Electronics Co., Ltd. Estimation of block artifact strength based on edge statistics
EP2082583A2 (en) * 2006-11-08 2009-07-29 THOMSON Licensing Methods and apparatus for in-loop de-artifact filtering
CN101389016B (zh) * 2007-09-13 2010-10-20 华为技术有限公司 获得块边界强度和去除块效应的方法和装置
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
JPWO2010001911A1 (ja) * 2008-07-03 2011-12-22 シャープ株式会社 フィルタ装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198505A (ja) * 1997-09-09 1999-04-09 Lg Semicon Co Ltd 低速伝送での動画像のためのデブロッキングフィルタリング方法
JP2005295371A (ja) * 2004-04-02 2005-10-20 Megachips Lsi Solutions Inc ブロックノイズ除去装置
JP2007184871A (ja) * 2006-01-10 2007-07-19 Toshiba Corp 動画像復号装置及び動画像復号方法
JP2008011435A (ja) * 2006-06-30 2008-01-17 Toshiba Corp 動画像復号化装置
JP2009164915A (ja) * 2008-01-08 2009-07-23 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010081539A (ja) * 2008-09-29 2010-04-08 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化プログラム
US20110194614A1 (en) * 2010-02-05 2011-08-11 Andrey Norkin De-Blocking Filtering Control

Also Published As

Publication number Publication date
US20140050413A1 (en) 2014-02-20
JP5942990B2 (ja) 2016-06-29
US9317933B2 (en) 2016-04-19
WO2012165095A1 (ja) 2012-12-06
CN103563374A (zh) 2014-02-05
CN103563374B (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
JP5942990B2 (ja) 画像処理装置および方法
US10887590B2 (en) Image processing device and method
JP5907367B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2013150173A (ja) 画像処理装置および方法
JP5982734B2 (ja) 画像処理装置および方法
WO2013002110A1 (ja) 画像処理装置および方法
WO2013061852A1 (ja) 画像処理装置および方法
WO2013108688A1 (ja) 画像処理装置および方法
US20140226715A1 (en) Image processing device and method
WO2013047325A1 (ja) 画像処理装置および方法
US10397583B2 (en) Image processing apparatus and method
WO2013065568A1 (ja) 画像処理装置および方法
US10412417B2 (en) Image processing device and method capable of performing an encoding process or a decoding process on an image at high speed
WO2013065567A1 (ja) 画像処理装置および方法
WO2012173063A1 (ja) 画像処理装置および方法
JP2013074491A (ja) 画像処理装置および方法
JP6508553B2 (ja) 画像処理装置および方法
JP6341304B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6217997B2 (ja) 画像処理装置および方法
JP6094838B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2013002111A1 (ja) 画像処理装置および方法
JP2019146225A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160509

R151 Written notification of patent or utility model registration

Ref document number: 5942990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250