JP6471911B2 - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

画像処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP6471911B2
JP6471911B2 JP2016116150A JP2016116150A JP6471911B2 JP 6471911 B2 JP6471911 B2 JP 6471911B2 JP 2016116150 A JP2016116150 A JP 2016116150A JP 2016116150 A JP2016116150 A JP 2016116150A JP 6471911 B2 JP6471911 B2 JP 6471911B2
Authority
JP
Japan
Prior art keywords
unit
filter
image
parameter
deblocking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016116150A
Other languages
English (en)
Other versions
JP2016184963A (ja
Inventor
碩 陸
碩 陸
優 池田
優 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2016184963A publication Critical patent/JP2016184963A/ja
Application granted granted Critical
Publication of JP6471911B2 publication Critical patent/JP6471911B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Description

本開示は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、ブロックノイズを抑制することができるようにした画像処理装置および方法、プログラム、並びに記録媒体に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10（Advanced Video Coding、以下H．264/AVCと記す）などがある。
そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。HEVC規格については、2012年2月に最初のドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。
現時点におけるHEVCのドラフトでは、インループフィルタとして、デブロッキングフィルタ、適応ループフィルタ、および適応オフセットフィルタが採用されており、デブロッキングフィルタのパラメータとしては、パラメータβとパラメータTcの２つがある。パラメータβは、０乃至５１の５２の値を有し、５１より大きな入力に対して６４に固定されている。パラメータTcは、０乃至５３の５４の値を有し、５３より大きな入力に対して１３に固定されている。
HEVCで用いることのできる量子化パラメータＱＰの範囲は、０乃至５１であるが、デブロッキングフィルタのパラメータのオフセットの範囲は、−２６乃至２６である。したがって、理論的には、デブロッキングフィルタのパラメータのＬＵＴ(Look Up Table)の入力の範囲は、０乃至７７となる。
Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand," High efficiency video coding (HEVC) text specification draft 6 ", JCTVC-H1003 ver20, 2012.2.17
しかしながら、実際のデブロッキングフィルタのパラメータのＬＵＴへの入力である量子化パラメータＱＰは、０乃至５１であり、オフセット値が最大限に活用されていない。
また、上述したように、HEVCにおけるパラメータβの最大の値である６４とパラメータTcの最大の値である１３を用いても、一部のシーケンスでは、目に見えるブロックノイズが残ってしまうことがあった。
本開示は、このような状況に鑑みてなされたものであり、ブロックノイズを抑制することができるものである。
本開示の一側面の画像処理装置は、デブロッキングフィルタのクリップ処理に用いられるフィルタパラメータの値が１６よりも大きな値を含むレンジに従って設定された前記フィルタパラメータを用いて、ローカル復号されたローカル復号画像のブロック境界の近傍に位置する画素に、前記デブロッキングフィルタを適用するフィルタ部と、前記フィルタ部により前記デブロッキングフィルタが適用された前記ローカル復号画像を用いて、画像を符号化処理する符号化部とを含む。
前記フィルタ部は、前記レンジに含まれる１６よりも大きな値の前記フィルタパラメータを用いて、前記デブロッキングフィルタを適用することができる。
前記フィルタパラメータは、量子化パラメータに応じて設定される値である。
前記量子化パラメータは、前記ブロック境界に隣接する隣接ブロックに設定される前記量子化パラメータの平均である。
前記フィルタパラメータは、前記デブロッキングフィルタの強度を選択する際および前記デブロッキングフィルタのクリップ処理に用いられるtcである。
前記フィルタ部は、前記量子化パラメータの平均と前記フィルタパラメータとの対応関係に対して前記フィルタパラメータの値が１６よりも大きな値を含むように拡張された前記レンジに従って設定された前記フィルタパラメータを用いて、前記ローカル復号画像の前記ブロック境界の近傍に位置する画素に、前記デブロッキングフィルタを適用することができる。
前記デブロッキングフィルタは、第１の強度を有する弱フィルタと前記第１の強度よりも強い第２の強度を有する強フィルタとを含み、前記フィルタパラメータは、前記弱フィルタと前記強フィルタとのうちどちらか一方を選択する際または前記強フィルタのクリップ処理に用いられるパラメータである。
前記ブロック境界は、直交変換を行う単位であるトランスフォームユニットの境界または予測処理を行う単位であるプレディクションユニットの境界である。
前記符号化部は、前記画像を直交変換して変換係数データを生成する直交変換部と、前記直交変換部により生成された前記変換係数データを量子化して量子化データを生成する量子化部と、前記量子化部により生成された前記量子化データを算術符号化する算術符号化部とを含むことができる。
前記符号化部は、最大コーディングユニットを再帰的に分割することによって得られるコーディングユニットを処理単位として、前記画像を符号化処理する。
前記コーディングユニットは、前記最大コーディングユニットを４分木構造に従って再帰的に分割される。
前記最大コーディングユニットは、前記４分木構造における最上位層の前記コーディングユニットである。
前記最大コーディングユニットは、シーケンス単位で固定サイズのブロックであり、前記コーディングユニットは、可変サイズのブロックである。
本開示の一側面の画像処理方法は、画像処理装置の、フィルタ部が、デブロッキングフィルタのクリップ処理に用いられるフィルタパラメータの値が１６よりも大きな値を含むレンジに従って設定された前記フィルタパラメータを用いて、ローカル復号されたローカル復号画像のブロック境界の近傍に位置する画素に、前記デブロッキングフィルタを適用し、符号化部が、前記フィルタ部により前記デブロッキングフィルタが適用された前記ローカル復号画像を用いて、画像を符号化処理する。
前記フィルタ部が、前記レンジに含まれる１６よりも大きな値の前記フィルタパラメータを用いて、前記デブロッキングフィルタを適用することができる。
前記フィルタパラメータは、量子化パラメータに応じて設定される値である。
前記量子化パラメータは、前記ブロック境界に隣接する隣接ブロックに設定される前記量子化パラメータの平均である。
前記フィルタパラメータは、前記デブロッキングフィルタの強度を選択する際および前記デブロッキングフィルタのクリップ処理に用いられるtcである。
前記フィルタ部が、前記量子化パラメータの平均と前記フィルタパラメータとの対応関係に対して前記フィルタパラメータの値が１６よりも大きな値を含むように拡張された前記レンジに従って設定された前記フィルタパラメータを用いて、前記ローカル復号画像の前記ブロック境界の近傍に位置する画素に、前記デブロッキングフィルタを適用する。
前記デブロッキングフィルタは、第１の強度を有する弱フィルタと前記第１の強度よりも強い第２の強度を有する強フィルタとを含み、前記フィルタパラメータは、前記弱フィルタと前記強フィルタとのうちどちらか一方を選択する際または前記強フィルタのクリップ処理に用いられるパラメータである。
前記ブロック境界は、直交変換を行う単位であるトランスフォームユニットの境界または予測処理を行う単位であるプレディクションユニットの境界である。
前記符号化部において、直交変換部が、前記画像を直交変換して変換係数データを生成し、量子化部が、前記直交変換部により生成された前記変換係数データを量子化して量子化データを生成し、算術符号化部が、前記量子化部により生成された前記量子化データを算術符号化する。
前記符号化部が、最大コーディングユニットを再帰的に分割することによって得られるコーディングユニットを処理単位として、前記画像を符号化処理することができる。
前記コーディングユニットは、前記最大コーディングユニットを４分木構造に従って再帰的に分割される。
前記最大コーディングユニットは、前記４分木構造における最上位層の前記コーディングユニットである。
前記最大コーディングユニットは、シーケンス単位で固定サイズのブロックであり、前記コーディングユニットは、可変サイズのブロックである。
本開示の一側面のプログラムまたは記録媒体に記録されているプログラムは、デブロッキングフィルタのクリップ処理に用いられるフィルタパラメータの値が１６よりも大きな値を含むレンジに従って設定された前記フィルタパラメータを用いて、ローカル復号されたローカル復号画像のブロック境界の近傍に位置する画素に、前記デブロッキングフィルタを適用するフィルタ部と、前記フィルタ部により前記デブロッキングフィルタが適用された前記ローカル復号画像を用いて、画像を符号化処理する符号化部として、コンピュータを機能させる。
本開示の一側面においては、デブロッキングフィルタのクリップ処理に用いられるフィルタパラメータの値が１６よりも大きな値を含むレンジに従って設定された前記フィルタパラメータを用いて、ローカル復号されたローカル復号画像のブロック境界の近傍に位置する画素に、前記デブロッキングフィルタが適用される。そして、前記デブロッキングフィルタが適用された前記ローカル復号画像を用いて、画像が符号化処理される。
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
本開示の一側面によれば、画像を符号化することができる。特に、ブロックノイズを抑制することができる。
画像符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 AVC方式におけるデブロッキングフィルタのパラメータαの値とグラフを示す図である。 AVC方式におけるデブロッキングフィルタのパラメータβの値とグラフを示す図である。 HEVC方式における量子化パラメータＱに対応するパラメータβおよびパラメータTcの値を示す図である。 本技術の第１の拡張方法における量子化パラメータＱＰとパラメータβの関係を示す図である。 ｋ＝２の１次関数として拡張した場合の量子化パラメータＱＰとパラメータβの値とグラフを示す図である。 ｋ＝４の１次関数として拡張した場合の量子化パラメータＱＰとパラメータβの値とグラフを示す図である。 ｋ＝８の１次関数として拡張した場合の量子化パラメータＱＰとパラメータβの値とグラフを示す図である。 指数関数として拡張した場合の量子化パラメータＱＰとパラメータβの値とグラフを示す図である。 本技術の第１の拡張方法における量子化パラメータＱＰとパラメータTcの値とグラフを示す図である。 本技術を適用したデブロッキングフィルタの構成例を示すブロック図である。 輝度境界のフィルタ処理を行うフィルタ実行部の構成例を示すブロック図である。 β生成部の構成例を示すブロック図である。 拡張β生成部の構成例を示すブロック図である。 拡張β生成部の他の構成例を示すブロック図である。 Tc生成部の構成例を示すブロック図である。 拡張Tc生成部の構成例を示すブロック図である。 拡張Tc生成部の他の構成例を示すブロック図である。 色差境界のフィルタ処理を行うフィルタ実行部の構成例を示すブロック図である。 デブロッキングフィルタ処理を説明するフローチャートである。 輝度境界のフィルタ処理を説明するフローチャートである。 βの生成処理を説明するフローチャートである。 クリップ処理を説明するフローチャートである。 Tcの生成処理を説明するフローチャートである。 クリップ処理の他の例を説明するフローチャートである。 色差境界のフィルタ処理を説明するフローチャートである。 本技術の第２の拡張方法における量子化パラメータＱＰとパラメータβ（新β）の値とグラフを示す図である。 量子化パラメータＱＰとパラメータtcの関係と近似式との調整量を説明する図である。 本技術の第３の拡張方法のパラメータβの例を説明する図である。 本技術の第３の拡張方法のパラメータTcの例を説明する図である。 量子化パラメータＱＰ（０乃至５１）内で拡張した場合の量子化パラメータＱＰとパラメータβの値とグラフを示す図である。 β生成部の構成例を示すブロック図である。 βの生成処理を説明するフローチャートである。 本技術を適用したデブロッキングフィルタの構成例を示すブロック図である。 輝度境界のフィルタ処理を行うフィルタ実行部の構成例を示すブロック図である。 β生成部の構成例を示すブロック図である。 Tc生成部の構成例を示すブロック図である。 デブロッキングフィルタ処理を説明するフローチャートである。 フィルタのコンフィグレーション設定処理を説明するフローチャートである。 βの生成処理を説明するフローチャートである。 Tcの生成処理を説明するフローチャートである。 オフセットの伝送について説明する図である。 シンタックスの例を示す図である。 本技術を適用したデブロッキングフィルタの構成例を示すブロック図である。 フィルタのコンフィグレーション設定処理を説明するフローチャートである。 本技術を適用したデブロッキングフィルタの構成例を示すブロック図である。 フィルタのコンフィグレーション設定処理を説明するフローチャートである。 オフセットの伝送について説明する図である。 シンタックスの例を示す図である。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の主な構成例を示す図である。 本技術を適用した多視点画像復号装置の主な構成例を示す図である。 階層画像符号化方式の例を示す図である。 本技術を適用した階層画像符号化装置の主な構成例を示す図である。 本技術を適用した階層画像復号装置の主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化利用の一例を示すブロック図である。 スケーラブル符号化利用の他の例を示すブロック図である。 スケーラブル符号化利用のさらに他の例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．装置および動作の概要
２．従来の手法の説明
３．第１の実施の形態（第１の拡張方法）
４．第２の実施の形態（第２の拡張方法）
５．第３の実施の形態（第３の拡張方法）
６．第４の実施の形態（第４の拡張方法）
７．第５の実施の形態（第１のオフセット送信方法）
８．第６の実施の形態（第２のオフセット送信方法）
９．第７の実施の形態（多視点画像符号化・多視点画像復号装置）
１０．第８の実施の形態（階層画像符号化・階層画像復号装置）
１１．第９の実施の形態（コンピュータ）
１２．応用例
１３．スケーラブル符号化の応用例
＜１．装置および動作の概要＞
［画像符号化装置の構成例］
図１は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
図１に示される画像符号化装置１１は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、HEVC（High Efficiency Video Coding）方式などが用いられる。
なお、HEVC方式においては、コーディングユニット（ＣＵ（Coding Unit））が規定されている。ＣＵは、Coding Tree Block（CTB）とも呼ばれ、H．264/AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、ＣＵの最大サイズ（ＬＣＵ（Largest Coding Unit））と最小サイズ（ＳＣＵ（Smallest Coding Unit））が規定される。
それぞれのＬＣＵ内においては、ＳＣＵのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのＣＵに分割することができる。２Ｎ×２Ｎの大きさのＣＵは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのＣＵに分割される。
更に、ＣＵは、イントラ若しくはインター予測処理の対象となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（ＰＵ））に分割され、また、直交変換処理の対象となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（ＴＵ））に分割される。現在、HEVC方式においては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。
図１の画像符号化装置１１は、A/D（Analog / Digital）変換部２１、画面並べ替えバッファ２２、演算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、および蓄積バッファ２７を有する。また、画像符号化装置１１は、逆量子化部２８、逆直交変換部２９、演算部３０、デブロッキングフィルタ３１ａ、フレームメモリ３２、選択部３３、イントラ予測部３４、動き予測・補償部３５、予測画像選択部３６、およびレート制御部３７を有する。
さらに、画像符号化装置１１は、デブロッキングフィルタ３１ａとフレームメモリ３２との間に、適応オフセットフィルタ４１および適応ループフィルタ４２を有する。
A/D変換部２１は、入力された画像データをA/D変換し、画面並べ替えバッファ２２に出力し、記憶させる。
画面並べ替えバッファ２２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ２２は、フレームの順番を並び替えた画像を、演算部２３に供給する。また、画面並べ替えバッファ２２は、フレームの順番を並び替えた画像を、イントラ予測部３４および動き予測・補償部３５にも供給する。
演算部２３は、画面並べ替えバッファ２２から読み出された画像から、予測画像選択部３６を介してイントラ予測部３４若しくは動き予測・補償部３５から供給される予測画像を減算し、その差分情報を直交変換部２４に出力する。
例えば、イントラ符号化が行われる画像の場合、演算部２３は、画面並べ替えバッファ２２から読み出された画像から、イントラ予測部３４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部２３は、画面並べ替えバッファ２２から読み出された画像から、動き予測・補償部３５から供給される予測画像を減算する。
直交変換部２４は、演算部２３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部２５に供給する。
量子化部２５は、直交変換部２４が出力する変換係数を量子化する。量子化部２５は、量子化された変換係数を可逆符号化部２６に供給する。
可逆符号化部２６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
可逆符号化部２６は、イントラ予測モードを示す情報などのパラメータをイントラ予測部３４から取得し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部３５から取得する。
可逆符号化部２６は、量子化された変換係数を符号化するとともに、取得した各パラメータ（シンタクス要素）を符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部２６は、符号化して得られた符号化データを蓄積バッファ２７に供給して蓄積させる。
例えば、可逆符号化部２６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
蓄積バッファ２７は、可逆符号化部２６から供給された符号化ストリーム（データ）を、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。すなわち、蓄積バッファ２７は、符号化ストリームを伝送する伝送部でもある。
また、量子化部２５において量子化された変換係数は、逆量子化部２８にも供給される。逆量子化部２８は、その量子化された変換係数を、量子化部２５による量子化に対応する方法で逆量子化する。逆量子化部２８は、得られた変換係数を、逆直交変換部２９に供給する。
逆直交変換部２９は、供給された変換係数を、直交変換部２４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部３０に供給される。
演算部３０は、逆直交変換部２９より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部３６を介してイントラ予測部３４若しくは動き予測・補償部３５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部３０は、その差分情報にイントラ予測部３４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部３０は、その差分情報に動き予測・補償部３５から供給される予測画像を加算する。
その加算結果である復号画像は、デブロッキングフィルタ３１ａおよびフレームメモリ３２に供給される。
デブロッキングフィルタ３１ａは、適宜デブロッキングフィルタ処理を行うことにより復号画像のブロック歪を抑制する。デブロッキングフィルタ３１ａは、量子化パラメータＱＰを基に求められるパラメータβおよびTcを有している。パラメータβおよびTcは、デブロッキングフィルタに関する判定に用いられる閾値（パラメータ）である。デブロッキングフィルタ３１ａが有するパラメータであるβおよびTcは、HEVC方式で規定されているβとTcから拡張されている。
なお、デブロッキングフィルタ３１ａは、ユーザの指示により利用不可にすることも可能であり、デブロッキングフィルタ３１ａには、ユーザが図示せぬ操作部などを操作することで、デブロッキングフィルタを行うか否かのON/OFF情報が入力される。また、上述したパラメータβおよびTcの各オフセットは、デフォルトが０であるが、それ以外の値である場合には、ユーザが図示せぬ操作部などを操作することで、デブロッキングフィルタ３１ａに入力される。これらのデブロッキングフィルタのON/OFF情報（DisableDeblockingFilterフラグ情報ともいう）と、パラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、可逆符号化部２６において符号化され、後述する図３の画像復号装置５１に送信される。
デブロッキングフィルタ３１ａは、演算部３０からの画像に対して、上述したON/OFF情報、オフセット、並びにHEVC方式で規定されているβとTcから拡張されたパラメータであるβおよびTcを用いて、デブロッキングフィルタ処理を行う。デブロッキングフィルタ３１ａは、そのフィルタ処理結果を適応オフセットフィルタ４１に供給する。なお、デブロッキングフィルタ３１ａの詳細な構成については、図１４を参照して後述する。
適応オフセットフィルタ４１は、デブロッキングフィルタ３１ａによるフィルタ後の画像に対して、主にリンギングを抑制するオフセットフィルタ(SAO: Sample adaptive offset)処理を行う。
オフセットフィルタの種類は、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの計９種類がある。適応オフセットフィルタ４１は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３１ａによるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ４１は、フィルタ処理後の画像を、適応ループフィルタ４２に供給する。
なお、画像符号化装置１１において、quad-tree構造と分割領域毎のオフセット値は、適応オフセットフィルタ４１により算出されて用いられる。算出されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、可逆符号化部２６において符号化され、後述する図３の画像復号装置５１に送信される。
適応ループフィルタ４２は、適応オフセットフィルタ４１によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎に、適応ループフィルタ（ALF:AdaptiveLoop Filter)処理を行う。適応ループフィルタ４２においては、フィルタとして、例えば、２次元のウィナーフィルタ（Wiener Filter）が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。適応ループフィルタ４２は、フィルタ処理結果をフレームメモリ３２に供給する。
なお、図１の例においては図示しないが、画像符号化装置１１において、フィルタ係数は、処理単位毎に、画面並べ替えバッファ２２からの原画像との残差を最小とするよう適応ループフィルタ４２により算出されて用いられる。算出されたフィルタ係数は、適応ループフィルタパラメータとして、可逆符号化部２６において符号化され、後述する図３の画像復号装置５１に送信される。
フレームメモリ３２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部３３を介してイントラ予測部３４または動き予測・補償部３５に出力する。
例えば、イントラ符号化が行われる画像の場合、フレームメモリ３２は、参照画像を、選択部３３を介してイントラ予測部３４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ３２は、参照画像を、選択部３３を介して動き予測・補償部３５に供給する。
選択部３３は、フレームメモリ３２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部３４に供給する。また、選択部３３は、フレームメモリ３２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部３５に供給する。
イントラ予測部３４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部３４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
イントラ予測部３４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部３４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部３６を介して演算部２３や演算部３０に供給する。
また、上述したように、イントラ予測部３４は、採用したイントラ予測モードを示すイントラ予測モード情報等のパラメータを、適宜可逆符号化部２６に供給する。
動き予測・補償部３５は、インター符号化が行われる画像について、画面並べ替えバッファ２２から供給される入力画像と、選択部３３を介してフレームメモリ３２から供給される参照画像とを用いて、動き予測を行う。また、動き予測・補償部３５は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。
動き予測・補償部３５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部３５は、生成された予測画像を、予測画像選択部３６を介して演算部２３や演算部３０に供給する。
また、動き予測・補償部３５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報などのパラメータを可逆符号化部２６に供給する。
予測画像選択部３６は、イントラ符号化を行う画像の場合、イントラ予測部３４の出力を演算部２３や演算部３０に供給し、インター符号化を行う画像の場合、動き予測・補償部３５の出力を演算部２３や演算部３０に供給する。
レート制御部３７は、蓄積バッファ２７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。
［画像符号化装置の動作］
図２を参照して、以上のような画像符号化装置１１により実行される符号化処理の流れについて説明する。
ステップＳ１１において、A/D変換部２１は入力された画像をA/D変換する。ステップＳ１２において、画面並べ替えバッファ２２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
画面並べ替えバッファ２２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ３２から読み出され、選択部３３を介してイントラ予測部３４に供給される。
これらの画像に基づいて、ステップＳ１３において、イントラ予測部３４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロッキングフィルタ３１ａによりフィルタされていない画素が用いられる。
この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部３６に供給される。
画面並べ替えバッファ２２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ３２から読み出され、選択部３３を介して動き予測・補償部３５に供給される。これらの画像に基づいて、ステップＳ１４において、動き予測・補償部３５は、動き予測・補償処理を行う。
この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部３６に供給される。
ステップＳ１５において、予測画像選択部３６は、イントラ予測部３４および動き予測・補償部３５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部３６は、決定した最適予測モードの予測画像を選択し、演算部２３，３０に供給する。この予測画像は、後述するステップＳ１６，Ｓ２１の演算に利用される。
なお、この予測画像の選択情報は、イントラ予測部３４または動き予測・補償部３５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部３４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測に関するパラメータ）を、可逆符号化部２６に供給する。
最適インター予測モードの予測画像が選択された場合、動き予測・補償部３５は、最適インター予測モードを示す情報と、最適インター予測モードに応じた情報（すなわち、動き予測に関するパラメータ）を可逆符号化部２６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。
ステップＳ１６において、演算部２３は、ステップＳ１２で並び替えられた画像と、ステップＳ１５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部３５から、イントラ予測する場合はイントラ予測部３４から、それぞれ予測画像選択部３６を介して演算部２３に供給される。
差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１７において、直交変換部２４は演算部２３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
ステップＳ１８において、量子化部２５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２８の処理で説明されるように、レートが制御される。
以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１９において、逆量子化部２８は、量子化部２５により量子化された変換係数を量子化部２５の特性に対応する特性で逆量子化する。ステップＳ２０において、逆直交変換部２９は、逆量子化部２８により逆量子化された変換係数を直交変換部２４の特性に対応する特性で逆直交変換する。
ステップＳ２１において、演算部３０は、予測画像選択部３６を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部２３への入力に対応する画像）を生成する。
ステップＳ２２においてデブロッキングフィルタ３１ａは、演算部３０より出力された画像に対して、デブロッキングフィルタ処理を行う。デブロッキングフィルタ処理については、図２３に詳しく説明するが、このとき、デブロッキングフィルタに関する判定の閾値として、HEVC方式で規定されているβとTcから拡張されたパラメータβおよびTcが用いられる。デブロッキングフィルタ３１ａからのフィルタ後の画像は、適応オフセットフィルタ４１に出力される。
なお、ユーザにより操作部などを操作することで入力されて、デブロッキングフィルタ３１ａで用いられたON/OFF情報と、パラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、可逆符号化部２６に供給される。
ステップＳ２３において、適応オフセットフィルタ４１は、適応オフセットフィルタ処理を行う。この処理により、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３１ａによるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ４２に供給される。
なお、決定されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、可逆符号化部２６に供給される。
ステップＳ２４において、適応ループフィルタ４２は、適応オフセットフィルタ４１によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。例えば、適応オフセットフィルタ４１によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎に、画像に対してフィルタ処理が行われ、フィルタ処理結果が、フレームメモリ３２に供給される。
ステップＳ２５においてフレームメモリ３２は、フィルタリングされた画像を記憶する。なお、フレームメモリ３２には、デブロッキングフィルタ３１ａ、適応オフセットフィルタ４１、および適応ループフィルタ４２によりフィルタされていない画像も演算部３０から供給され、記憶される。
一方、上述したステップＳ１８において量子化された変換係数は、可逆符号化部２６にも供給される。ステップＳ２６において、可逆符号化部２６は、量子化部２５より出力された量子化された変換係数と、供給された各パラメータを符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。ここで、符号化される各パラメータとしては、デブロッキングフィルタのパラメータ、適応オフセットフィルタのパラメータ、適応ループフィルタのパラメータ、量子化パラメータ、動きベクトル情報や参照フレーム情報、予測モード情報などがあげられる。
ステップＳ２７において蓄積バッファ２７は、符号化された差分画像（すなわち、符号化ストリーム）を、圧縮画像として蓄積する。蓄積バッファ２７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
ステップＳ２８においてレート制御部３７は、蓄積バッファ２７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。
ステップＳ２８の処理が終了すると、符号化処理が終了される。
［画像復号装置の構成例］
図３は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図３に示される画像復号装置５１は、図１の画像符号化装置１１に対応する復号装置である。
画像符号化装置１１より符号化された符号化ストリーム（データ）は、所定の伝送路を介して、この画像符号化装置１１に対応する画像復号装置５１に伝送され、復号されるものとする。
図３に示されるように、画像復号装置５１は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、演算部６５、デブロッキングフィルタ３１ｂ、画面並べ替えバッファ６７、およびD/A変換部６８を有する。また、画像復号装置５１は、フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測・補償部７２、および選択部７３を有する。
さらに、画像復号装置５１は、デブロッキングフィルタ３１ｂと、画面並べ替えバッファ６７およびフレームメモリ６９との間に、適応オフセットフィルタ８１および適応ループフィルタ８２を有する。
蓄積バッファ６１は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ６１は、伝送されてきた符号化データを受け取って、蓄積する。この符号化データは、画像符号化装置１１により符号化されたものである。可逆復号部６２は、蓄積バッファ６１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部２６の符号化方式に対応する方式で復号する。
可逆復号部６２は、復号されたイントラ予測モードを示す情報などのパラメータをイントラ予測部７１に供給し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部７２に供給する。また、可逆復号部６２は、復号されたデブロッキングフィルタのパラメータを、デブロッキングフィルタ３１ｂに供給し、復号された適応オフセットパラメータを、適応オフセットフィルタ８１に供給する。
逆量子化部６３は、可逆復号部６２により復号されて得られた係数データ（量子化係数）を、図１の量子化部２５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部６３は、画像符号化装置１１から供給された量子化パラメータを用いて、図１の逆量子化部２８と同様の方法で量子化係数の逆量子化を行う。
逆量子化部６３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部６４に供給する。逆直交変換部６４は、図１の直交変換部２４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１１において直交変換される前の残差データに対応する復号残差データを得る。
逆直交変換されて得られた復号残差データは、演算部６５に供給される。また、演算部６５には、選択部７３を介して、イントラ予測部７１若しくは動き予測・補償部７２から予測画像が供給される。
演算部６５は、その復号残差データと予測画像とを加算し、画像符号化装置１１の演算部２３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部６５は、その復号画像データをデブロッキングフィルタ３１ｂに供給する。
デブロッキングフィルタ３１ｂは、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を抑制する。デブロッキングフィルタ３１ｂは、図１のデブロッキングフィルタ３１ａと基本的に同様に構成される。すなわち、デブロッキングフィルタ３１ｂは、量子化パラメータを基に求められるパラメータβおよびTcを有している。パラメータβおよびTcは、デブロッキングフィルタに関する判定に用いられる閾値である。デブロッキングフィルタ３１ｂが有するパラメータであるβおよびTcは、HEVC方式で規定されているβとTcから拡張されている。
なお、画像符号化装置１１により符号化されたデブロッキングフィルタのON/OFF情報と、パラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、画像復号装置５１において受信されて、可逆復号部６２により復号されて、デブロッキングフィルタ３１ｂにより用いられる。
デブロッキングフィルタ３１ｂは、演算部３０からの画像に対して、上述したON/OFF情報、オフセット、並びにHEVC方式で規定されているβとTcから拡張されたパラメータであるβおよびTcを用いて、デブロッキングフィルタ処理を行う。デブロッキングフィルタ３１ｂは、そのフィルタ処理結果を適応オフセットフィルタ８１に供給する。なお、デブロッキングフィルタ３１ｂの詳細な構成については、図１４を参照して後述する。
適応オフセットフィルタ８１は、デブロッキングフィルタ３１ｂによるフィルタ後の画像に対して、主にリンギングを抑制するオフセットフィルタ(SAO)処理を行う。
適応オフセットフィルタ８１は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３１ｂによるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ８１は、フィルタ処理後の画像を、適応ループフィルタ８２に供給する。
なお、このquad-tree構造と分割領域毎のオフセット値は、画像符号化装置１１の適応オフセットフィルタ４１により算出され、適応オフセットパラメータとして、符号化されて送られてきたものである。そして、画像符号化装置１１により符号化されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、画像復号装置５１において受信されて、可逆復号部６２により復号されて、適応オフセットフィルタ８１により用いられる。
適応ループフィルタ８２は、適応オフセットフィルタ８１によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎にフィルタ処理を行い、フィルタ処理結果を、フレームメモリ６９および画面並べ替えバッファ６７に供給する。
なお、図３の例においては図示しないが、画像復号装置５１において、フィルタ係数は、画像符号化装置１１の適応ループフィルタ４２によりLUC毎に算出され、適応ループフィルタパラメータとして、符号化されて送られてきたものが可逆復号部６２により復号されて用いられる。
画面並べ替えバッファ６７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ２２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部６８は、画面並べ替えバッファ６７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
適応ループフィルタ８２の出力は、さらに、フレームメモリ６９に供給される。
フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測・補償部７２、および選択部７３は、画像符号化装置１１のフレームメモリ３２、選択部３３、イントラ予測部３４、動き予測・補償部３５、および予測画像選択部３６にそれぞれ対応する。
選択部７０は、インター処理される画像と参照される画像をフレームメモリ６９から読み出し、動き予測・補償部７２に供給する。また、選択部７０は、イントラ予測に用いられる画像をフレームメモリ６９から読み出し、イントラ予測部７１に供給する。
イントラ予測部７１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部６２から適宜供給される。イントラ予測部７１は、この情報に基づいて、フレームメモリ６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部７３に供給する。
動き予測・補償部７２には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）が可逆復号部６２から供給される。
動き予測・補償部７２は、可逆復号部６２から供給されるそれらの情報に基づいて、フレームメモリ６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部７３に供給する。
選択部７３は、動き予測・補償部７２またはイントラ予測部７１により生成された予測画像を選択し、演算部６５に供給する。
［画像復号装置の動作］
図４を参照して、以上のような画像復号装置５１により実行される復号処理の流れの例を説明する。
復号処理が開始されると、ステップＳ５１において、蓄積バッファ６１は、伝送されてきた符号化ストリーム（データ）を受け取り、蓄積する。ステップＳ５２において、可逆復号部６２は、蓄積バッファ６１から供給される符号化データを復号する。図１の可逆符号化部２６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）などのパラメータの情報も復号される。
予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部７１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報などは、動き予測・補償部７２に供給される。また、デブロッキングフィルタのパラメータおよび適応オフセットパラメータも復号され、デブロッキングフィルタ３１ｂおよび適応オフセットフィルタ８１にそれぞれ供給される。
ステップＳ５３において、イントラ予測部７１または動き予測・補償部７２は、可逆復号部６２から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。
すなわち、可逆復号部６２からイントラ予測モード情報が供給された場合、イントラ予測部７１はイントラ予測モードのイントラ予測画像を生成する。可逆復号部６２からインター予測モード情報が供給された場合、動き予測・補償部７２は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。
この処理により、イントラ予測部７１により生成された予測画像（イントラ予測画像）、または動き予測・補償部７２により生成された予測画像（インター予測画像）が選択部７３に供給される。
ステップＳ５４において、選択部７３は予測画像を選択する。すなわち、イントラ予測部７１により生成された予測画像、または動き予測・補償部７２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部６５に供給され、後述するステップＳ５７において逆直交変換部６４の出力と加算される。
上述したステップＳ５２において、可逆復号部６２により復号された変換係数は、逆量子化部６３にも供給される。ステップＳ５５において、逆量子化部６３は可逆復号部６２により復号された変換係数を、図１の量子化部２５の特性に対応する特性で逆量子化する。
ステップＳ５６において逆直交変換部２９は、逆量子化部２８により逆量子化された変換係数を、図１の直交変換部２４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部２４の入力（演算部２３の出力）に対応する差分情報が復号されたことになる。
ステップＳ５７において、演算部６５は、上述したステップＳ５４の処理で選択され、選択部７３を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。
ステップＳ５８においてデブロッキングフィルタ３１ｂは、演算部６５より出力された画像に対して、デブロッキングフィルタ処理を行う。デブロッキングフィルタ処理については、図２３に詳しく説明するが、このとき、デブロッキングフィルタに関する判定の閾値として、HEVC方式で規定されているβとTcから拡張されたパラメータβおよびTcが用いられる。デブロッキングフィルタ３１ｂからのフィルタ後の画像は、適応オフセットフィルタ８１に出力される。なお、デブロッキングフィルタ処理においては、可逆復号部６２から供給されるデブロッキングフィルタのパラメータであるON/OFF情報と、パラメータβおよびTcの各オフセットも用いられる。
ステップＳ５９において、適応オフセットフィルタ８１は、適応オフセットフィルタ処理を行う。この処理により、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３１ｂによるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ８２に供給される。
ステップＳ６０において、適応ループフィルタ８２は、適応オフセットフィルタ８１によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。適応ループフィルタ８２は、処理単位毎に計算されたフィルタ係数を用いて、入力画像に対して、処理単位毎にフィルタ処理を行い、フィルタ処理結果を、画面並べ替えバッファ６７およびフレームメモリ６９に供給する。
ステップＳ６１においてフレームメモリ６９は、フィルタリングされた画像を記憶する。
ステップＳ６２において、画面並べ替えバッファ６７は、適応ループフィルタ８２後の画像の並べ替えを行う。すなわち画像符号化装置１１の画面並べ替えバッファ２２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ６３において、D/A変換部６８は、画面並べ替えバッファ６７からの画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
ステップＳ６３の処理が終了すると、復号処理が終了される。
＜２．従来の手法の説明＞
［AVC方式におけるデブロッキングフィルタのパラメータ］
次に、AVC方式におけるデブロッキングフィルタのパラメータについて説明する。AVC方式においては、デブロッキングフィルタの要否を判定するパラメータとして、αおよびβがあり、それらの値は、量子化パラメータＱＰに応じて定められている。
図５のＡは、パラメータαと量子化パラメータＱＰの関係を示すグラフであり、図５のＢは、パラメータαと量子化パラメータＱＰの関係を示す表である。パラメータαは、次の式（１）を基本として、微調整により最適化されている。
Figure 0006471911
 パラメータαは、０乃至５１の量子化パラメータＱＰに対して０乃至２５５の値をとり得る。
図６のＡは、パラメータβと量子化パラメータＱＰの関係を示すグラフであり、図６のＢは、パラメータβと量子化パラメータＱＰの関係を示す表である。パラメータβは、次の式（２）を基本として、微調整により最適化されている。図６のＡにおける点線が式（２）を示しており、実線が式（２）を微調整した図６のＢに示される値を示している。
Figure 0006471911
 パラメータβは、０乃至５１の量子化パラメータＱＰに対して０乃至１８の値をとり得る。
［HEVC方式におけるデブロッキングフィルタのパラメータ］
AVC方式におけるαおよびβに相当するパラメータとして、HEVC方式においては、パラメータβおよびパラメータTcが用いられている。
パラメータβおよびパラメータTcは、デブロッキングフィルタに関する判定に用いられるフィルタパラメータである。具体的には、パラメータβは、デブロッキングフィルタの要否判定と、強度選択判定に用いられる閾値であり、デブロッキングフィルタの強度を調整するパラメータである。パラメータTcは、強度選択判定に用いられる閾値であり、デブロッキングフィルタの強度を調整するパラメータである。なお、パラメータTcは、フィルタ処理の際のクリップ処理にも用いられる値である。パラメータβおよびパラメータTcは、図７に示されるように、量子化パラメータＱＰに応じて設定される値である。図７は、量子化パラメータＱＰに対応するパラメータβおよびパラメータTcの値を示す図である。
パラメータβは、０乃至５１の５２の値を有し、５１より大きな入力に対して６４に固定されている。パラメータTcは、０乃至５３の５４の値を有し、５３より大きな入力に対して１３に固定されている。
ここで、HEVC方式で用いることのできる量子化パラメータＱＰの範囲は、０乃至５１であるが、デブロッキングフィルタのパラメータのオフセットの範囲は、−２６乃至２６である。したがって、理論的には、デブロッキングフィルタのパラメータのＬＵＴ(Look Up Table)の入力の範囲は、０乃至７７となる。
しかしながら、実際のデブロッキングフィルタのパラメータのＬＵＴへの入力である量子化パラメータＱＰは、０乃至５１であり、オフセット値が最大限に活用されていない。
また、上述したように、HEVC方式におけるパラメータβの最大の値である６４とパラメータTcの最大の値である１３を用いても、一部のシーケンスでは、目に見えるブロックノイズが残ってしまうことがあった。
そこで、本技術においては、デブロッキングフィルタの強度を上げるために、パラメータβとパラメータTcを拡張し、デブロッキングフィルタにおいては、拡張されたパラメータβおよびパラメータTcを用いる。すなわち、デブロッキングフィルタにおいては、フィルタを制御するフィルタパラメータ（パラメータβおよびパラメータTc）のレンジがフィルタの強度を上げるように拡張されたパラメータが用いられる。
なお、ここで、拡張とは、AVC方式のパラメータのレンジおよび非特許文献１に記載のHEVC方式のver20のパラメータのレンジなどを既存のパラメータのレンジとして、既存のパラメータのレンジに対して、パラメータのレンジを拡張することをいう。そして、本技術においては、既存のパラメータでは、ノイズが残っている場合があるので、そのノイズに対してフィルタの強度を上げるように、パラメータのレンジを拡張する。
＜３．第１の実施の形態（第１の拡張方法）＞
［パラメータβの拡張］
図８は、本技術における量子化パラメータＱＰとパラメータβの関係を示す図である。なお、図８に示す表において、太線枠内が本技術による拡張部分である。
図８の太線枠内に示されるように、量子化パラメータＱＰ（５２乃至ｑｐｍａｘ）に対応するパラメータβ（β（５２）乃至β（ｑｐｍａｘ））を拡張（追加）する。なお、以下、ｑｐｍａｘは、例えば、７７として説明するが、その値は設定可能であり、７７に限定されない。
拡張するパラメータβの値は、量子化パラメータの関数として設定することができるが、パラメータβの設定方法は、２つある。第１のβ設定方法は、パラメータβの値を、量子化パラメータＱＰの１次関数（線形）として設定する方法である。第２のβ設定方法は、量子化パラメータＱＰの指数関数（曲線）として設定する方法である。
指数関数とした場合、１次関数とするよりも変化を大きくすることができる。
［第１のβ設定方法：１次関数の例］
HEVC方式において、パラメータβは、次の式（３）における０≦ｑｐ≦５１に示されるように、量子化パラメータＱＰの１次関数として表されている。
したがって、第１のβ設定方法として、拡張部分についても、式（３）における５２≦ｑｐ≦ｐｑｍａｘに示されるように、パラメータβを、量子化パラメータＱＰの１次関数として設定する。
Figure 0006471911
 ここで、ｋとｂは、調整可能である。傾きｋ＞０であり、ｂは、既存部分と拡張部分との境界を連続させることにより求まる。
なお、拡張部分についても、HEVC方式における直線のまま延長させる場合、すなわち、次の式（４）に示されるように、傾きｋ＝２、ｂ＝−３８となる。
Figure 0006471911
図９のＡは、ｋ＝２の１次関数として拡張した場合のパラメータβと量子化パラメータＱＰの関係を示すグラフである。図９のＢは、ｋ＝２の１次関数として拡張した場合のパラメータβと量子化パラメータＱＰの値を示す表である。なお、図９のＢに示す表において、太線枠内が本技術による拡張部分である。この場合、パラメータβは、０乃至７７の量子化パラメータＱＰに対して０乃至１１６の値をとることができる。
なお、１次関数の傾きは、変更可能であり、例えば、拡張部分について、HEVC方式における直線より傾きを大きくして延長する場合、すなわち、傾きｋ＝４、ｂ＝−１４０とする場合の１次関数は、次の式（５）に示される。
Figure 0006471911
 ここで、傾きｋ＝４としたのは、傾きｋ＝２の場合、ｑｐ＊２＝ｑｐ＜＜１（１ビット左にシフト）である。一方、傾きｋ＝４の場合、ｑｐ＊２＝ｑｐ＜＜２（２ビット左にシフト）であるので、ソフトウエアによる計算を考えると、実装時に好適である。また、傾きｋ＝４の場合、既存部分と拡張部分の境界を連続関数とするため、ｂ＝−１４０とされる。
図１０のＡは、HEVC方式における直線より傾きを大きくして延長、すなわち、傾きｋ＝４の１次関数として拡張した場合のパラメータβと量子化パラメータＱＰの関係を示すグラフである。図１０のＢは、ｋ＝４の１次関数として拡張した場合のパラメータβと量子化パラメータＱＰの値を示す表である。なお、図１０のＢに示す表において、太線枠内が本技術による拡張部分である。この場合、パラメータβは、０乃至７７の量子化パラメータＱＰに対して０乃至１６８の値をとることができる。
さらに、拡張部分について、HEVC方式における直線より傾きを大きくして延長する場合、すなわち、傾きｋ＝８、ｂ＝−３４４とする場合の１次関数は、次の式（６）に示される。
Figure 0006471911
 ここで、傾きｋ＝８としたのは、傾きｋ＝８の場合、ｑｐ＊８＝ｑｐ＜＜３（３ビット左にシフト）であり、ソフトウエアによる計算を考えると、実装時に好適である。また、傾きｋ＝８の場合、既存部分と拡張部分の境界を連続関数とするため、ｂ＝−３４４とされる。
なお、上記説明においては、より好適な例として、傾きｋ＝２，４，８の例を説明したが、ｋ＞０であれば、傾きｋ＝２，４，８に限らない。
図１１のＡは、HEVC方式における直線より傾きを大きくして延長、すなわち、傾きｋ＝８の１次関数として拡張した場合のパラメータβと量子化パラメータＱＰの関係を示すグラフである。図１１のＢは、ｋ＝４の１次関数として拡張した場合のパラメータβと量子化パラメータＱＰの値を示す表である。なお、図１１のＢに示す表において、太線枠内が本技術による拡張部分である。この場合、パラメータβは、０乃至７５の量子化パラメータＱＰに対して０乃至２５５の値をとることができる。なお、例えば、量子化パラメータＱＰが７６や７７など、βが２５５より大きい場合、β＝２５５とされる。
［第２のβ設定方法：指数関数の例］
次に、第２のβ設定方法として、拡張部分については、次の式（７）における５２≦ｑｐ≦ｐｑｍａｘに示されるように、パラメータβを、量子化パラメータＱＰの指数関数として設定する。
Figure 0006471911
 ここで、式（７）の指数関数は、上述した式（１）のAVC方式のデブロッキングフィルタにおけるパラメータαの値に基づいて設定されている。
例えば、次の式（８）に示される、ｋ＝０．８，ｘ＝６，ａ＝−１３，ｂ＝０の場合、AVC方式のデブロッキングフィルタにおけるパラメータαのうち、HEVCにはない値を流用するようにして係数（ｋ，ｘ，ａ，ｂ）が求められている。具体的には、ＱＰが３８のとき、AVCのパラメータαは６３だから、ＱＰが５１のときのHEVCのパラメータβの値である６４と近い。したがって、ＱＰが５２以降のパラメータβを、ＱＰが３９以降のAVCのパラメータαをあてはめるように、既存部分と拡張部分との境界が連続するように、係数（ｋ，ｘ，ａ，ｂ）が求められる。
Figure 0006471911
図１２のＡは、ｋ＝０．８，ｘ＝６，ａ＝−１３，ｂ＝０の指数関数として拡張した場合のパラメータβと量子化パラメータＱＰの関係を示すグラフである。図１２のＢは、ｋ＝０．８，ｘ＝６，ａ＝−１３，ｂ＝０の指数関数として拡張した場合のパラメータβと量子化パラメータＱＰの値を示す表である。なお、図１２のＢに示す表において、太線枠内が本技術による拡張部分である。この場合、パラメータβは、０乃至６３の量子化パラメータＱＰに対して０乃至２５５の値をとることができる。なお、例えば、量子化パラメータＱＰが６４乃至７７など、βが２５５より大きい場合、β＝２５５とされる。
以上のように、パラメータβを拡張するようにしたので、デブロッキングフィルタの強度を上げることが可能になる。
［Tcの設定方法］
パラメータTcは、HEVC方式のままでもいいが、パラメータTcも、次の式（９）に示される近似式のように、HEVC方式における関数のまま拡張することが可能である。
Figure 0006471911
 なお、実際には、AVC方式のβと同様に、パラメータTcは、上述した式（９）を基本として、微調整により最適化されている。
図１３のＡは、HEVC方式における関数を用いて拡張した場合のパラメータTcと量子化パラメータＱＰの関係を示すグラフである。図１３のＢは、HEVC方式における関数を用いて拡張した場合のパラメータTcと量子化パラメータＱＰの値を示す表である。なお、図１３のＢに示す表において、太線枠内が本技術による拡張部分である。この場合、パラメータTcは、０乃至７７の量子化パラメータＱＰに対して１乃至２５の値をとることができる。
以上のように、パラメータTcを拡張することにより、デブロッキングフィルタの強度をさらに上げることが可能になる。
［デブロッキングフィルタの構成例］
次に、図１の画像符号化装置におけるデブロッキングフィルタ３１ａおよび図３の画像復号装置におけるデブロッキングフィルタ３１ｂの詳細について説明する。なお、図１の画像符号化装置におけるデブロッキングフィルタ３１ａおよび図３の画像復号装置におけるデブロッキングフィルタ３１ｂは、構成および動作が基本的に同じであるので、以下、まとめてデブロッキングフィルタ３１として説明する。
ただし、以下の点のみが、デブロッキングフィルタ３１ａと３１ｂとで異なる。すなわち、デブロッキングフィルタ３１ａの場合、デブロッキングフィルタを行うか否かのON/OFF情報とパラメータβおよびTcの各オフセットが、図示せぬ操作部を介して入力される。これに対して、デブロッキングフィルタ３１ｂの場合、デブロッキングフィルタを行うか否かのON/OFF情報とパラメータβおよびTcの各オフセットが、画像符号化装置１１において符号化されたものが受け取られて、可逆復号部６２で復号されて入力される。
図１４は、デブロッキングフィルタの構成例を示すブロック図である。
図１４の例において、デブロッキングフィルタ３１は、コンフィグレーション設定部１０１およびフィルタ実行部１０２を含むように構成されている。
コンフィグレーション設定部１０１は、例えば、図示せぬ操作部（または、可逆復号部６２）から入力されるON/OFF情報、βオフセットの値、およびTcオフセットの値を入力し、デブロッキングフィルタ３１における環境設定を行う。環境設定としては、デブロッキングフィルタのオフセット、デブロッキングフィルタのON/OFF、ＴＵおよびＰＵの境界の導出、ＢＳ(Boundary Filtering Strength)値の導出などが行われる。コンフィグレーション設定部１０１は、設定された情報を、フィルタ実行部１０２に供給する。
フィルタ実行部１０２には、演算部３０（または、演算部６５）からのデブロッキングフィルタ前画素値が供給される。フィルタ実行部１０２は、コンフィグレーション設定部１０１により設定された情報を基に、パラメータの生成に用いられる量子化パラメータＱＰを算出し、パラメータβおよびTcを生成して、フィルタ処理の要否やフィルタ強度を決定する。そして、フィルタ実行部１０２は、決定されたフィルタ処理の要否やフィルタ強度を基に、フィルタ処理を行う。フィルタ実行部１０２は、デブロッキングフィルタ後の画素値を、後段の適応オフセットフィルタ４１（または、適応オフセットフィルタ８１）に供給する。
なお、フィルタ実行部１０２は、輝度境界および色差境界に対して、それぞれ、上述した処理を行う。
［輝度境界のフィルタ実行部の構成例］
図１５は、輝度境界のフィルタ処理を行うフィルタ実行部の構成例を示すブロック図である。
図１５の例においては、フィルタ実行部１０２は、ＱＰ算出部１１１、β生成部１１２、Tc生成部１１３、フィルタ処理決定部１１４、およびフィルタ処理部１１５を含むように構成される。
前段からのデブロッキングフィルタ前画素値は、ＱＰ取得部１１１ａおよびフィルタ処理部１１５に入力される。
ＱＰ算出部１１１は、ＱＰ取得部１１１ａおよび平均ＱＰ計算部１１１ｂを含むように構成され、前段からのデブロッキングフィルタ前画素値を入力し、パラメータβおよびTcの生成に用いられる量子化パラメータＱＰを算出する。ＱＰ算出部１１１は、算出した量子化パラメータＱＰを、β生成部１１２およびTc生成部１１３に供給する。
ＱＰ取得部１１１ａは、入力されたデブロッキングフィルタ前画素値より、処理対象の境界を共有する（境界に隣接する）２つの領域の量子化パラメータｐ_ＱＰおよびｑ_ＱＰを取得する。例えば、境界が垂直方向の場合、境界の左側に隣接する領域ｐの量子化パラメータｐ_ＱＰが取得され、境界の右側に隣接する領域ｑの量子化パラメータｑ_ＱＰが取得される。また、例えば、境界が水平方向の場合、境界の上側に隣接する領域ｐの量子化パラメータｐ_ＱＰが取得され、境界の下側に隣接する領域ｑの量子化パラメータｑ_ＱＰが取得される。
なお、例えば、画像符号化装置１１においては、量子化部２５からの量子化パラメータＱＰが、動きベクトル情報や予測モード情報などとともに、図示せぬメモリに記憶されている。また、画像復号装置５１においては、可逆復号部６２により復号された量子化パラメータＱＰが、動きベクトル情報や予測モード情報などとともに、図示せぬメモリに記憶されている。ＱＰ取得部１１１ａは、そのようにして記憶されているメモリから、量子化パラメータＱＰを取得する。
ＱＰ取得部１１１ａは、取得した量子化パラメータｐ_ＱＰおよびｑ_ＱＰを、平均ＱＰ計算部１１１ｂに供給する。
平均ＱＰ計算部１１１ｂは、ＱＰ取得部１１１ａからの量子化パラメータｐ_ＱＰおよびｑ_ＱＰの平均を求め、その平均を、パラメータβおよびTcの生成に用いられる量子化パラメータＱＰとして、β生成部１１２およびTc生成部１１３に供給する。
β生成部１１２は、平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰに応じて、パラメータβを生成し、生成したパラメータβを、フィルタ処理決定部１１４に供給する。
Tc生成部１１３は、平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰに応じて、パラメータTcを生成し、生成したパラメータTcを、フィルタ処理決定部１１４に供給する。
フィルタ処理決定部１１４は、β生成部１１２からのパラメータβおよびTc生成部１１３からのパラメータTcなどを用いて、フィルタを決定する。すなわち、フィルタ処理決定部１１４は、β生成部１１２からのパラメータβなどを用いて、フィルタの要否を決定する。また、フィルタ処理決定部１１４は、β生成部１１２からのパラメータβおよびTc生成部１１３からのパラメータTcなどを用いて、フィルタの強度を決定する。フィルタ処理決定部１１４は、決定したフィルタの情報を、フィルタ処理部１１５に供給する。このとき、パラメータβおよびTcもフィルタ処理部１１５に供給され、例えば、パラメータTcは、フィルタ処理部１１５において、クリップ処理に用いられる。
フィルタ処理部１１５は、フィルタ処理決定部１１４によりフィルタを行うと決定された場合、入力されたデブロッキングフィルタ前画素値に対して、フィルタ処理決定部１１４により決定されたフィルタの強度でフィルタ処理を行う。フィルタ処理部１１５は、デブロッキングフィルタ後の画素値を後段に出力する。
なお、フィルタ処理部１１５は、フィルタ処理決定部１１４によりフィルタを行わないと決定された場合、入力されたデブロッキングフィルタ前画素値を、そのまま（フィルタを行うことなく）、デブロッキングフィルタ後画素値として後段に出力する。
［β生成部の構成例］
図１６は、β生成部の構成例を示すブロック図である。
図１６の例において、β生成部１１２は、βLUT_input計算部１２１、クリップ処理部１２２、既存β生成部１２３、および拡張β生成部１２４を含むように構成される。
平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰがβLUT_input計算部１２１に供給される。コンフィグレーション設定部１０１により設定された情報のうち、βオフセットの値がβLUT_input計算部１２１に供給される。また、コンフィグレーション設定部１０１により設定された情報のうち、β生成の際に用いられる量子化パラメータの最大値であるβｑｐｍａｘがクリップ処理部１２２に供給される。
βLUT_input計算部１２１とクリップ処理部１２２は、既存β生成部１２３および拡張β生成部１２４に入力する値である、βLUT_inputを求める。
すなわち、βLUT_input計算部１２１は、平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰとβオフセットの値とを加算してβtmpを算出し、算出したβtmpをクリップ処理部１２２に供給する。
クリップ処理部１２２は、コンフィグレーション設定部１０１により設定された値の範囲［０，βｑｐｍａｘ］に、βLUT_input計算部１２１からのβtmpをクリップする。クリップ処理部１２２は、クリップ処理後のβtmpを、βLUT_inputｑｐとして既存β生成部１２３および拡張β生成部１２４に供給する。
既存β生成部１２３は、HEVC方式で規定されているＬＵＴ(Look Up Table)１３１を有している。既存β生成部１２３は、クリップ処理部１２２からのβLUT_inputｑｐの値が５１以下である場合、ＬＵＴ１３１を用いてβを求め、求めたβを、フィルタ処理決定部１１４に供給する。
拡張β生成部１２４は、クリップ処理部１２２からのβLUT_inputｑｐの値が５１より大きい場合、拡張されたβを求め、求めたβを、フィルタ処理決定部１１４に供給する。
例えば、拡張β生成部１２４は、図１７に示されるように、β（ｑｐ）計算部１４１を含むように構成されている。β（ｑｐ）計算部１４１は、［５１，βｑｐｍａｘ］のｑｐが入力されると、予め関数パラメータが設定された点線に示される関数式（１次関数または指数関数）を用いて動的にβを生成する。
第１のβ設定方法として、拡張β生成部１２４は、上述した式（３）のうち、５２≦ｑｐ≦ｐｑｍａｘの場合の１次関数を用いて動的にβを生成する。すなわち、この場合、βの値がＱＰの１次関数として求められる。また、関数パラメータとしては、ｋとｂが設定される。この場合、ｋとｂは、シンタクスで復号側に送られるようにしてもよい。
第２のβ設定方法として、拡張β生成部１２４は、上述した式（７）のうち、５２≦ｑｐ≦ｐｑｍａｘの場合の指数関数を用いて動的にβを生成する。すなわち、この場合、βの値が、ＱＰの指数関数として求められる。また、関数パラメータとしては、ｋ，ｂ，ｘ，ａが設定される。この場合、ｋ，ｂ，ｘ，ａは、シンタクスで復号側に送られるようにしてもよい。
また、例えば、拡張β生成部１２４は、図１８に示されるように、拡張ＬＵＴ(Look Up Table)１５３を含むように構成されている。なお、図１８の例においては、拡張ＬＵＴ１５３は、既存のＬＵＴ１３１部分も含むように示されているが、斜線の部分のみが拡張部分である。この拡張ＬＵＴ１５３は、他のコンピュータ１５１などに備えられるβ（ｑｐ）計算部１５２において、［０，βｑｐｍａｘ］の任意のｑｐを入力して、関数パラメータが設定された関数式（１次関数または指数関数）を用いてβを予め求めて保存されたものである。
拡張β生成部１２４は、［５１，βｑｐｍａｘ］のｑｐが入力されると、拡張ＬＵＴ１５３を用いてβを求める。
以上のように、拡張β生成部１２４を構成する際には、拡張されたβを、定義式（関数式）で与えるか、ＬＵＴで与えるかを選択することが可能である。
［Tc生成部の構成例］
図１９は、Tc生成部の構成例を示すブロック図である。
図１９の例において、Tc生成部１１３は、Tc_LUT_input計算部１６１、クリップ処理部１６２、既存Tc生成部１６３、および拡張Tc生成部１６４を含むように構成される。
平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰがTc_LUT_input計算部１６１に供給される。コンフィグレーション設定部１０１により設定された情報のうち、Tcオフセットの値がTc_LUT_input計算部１６１に供給される。また、コンフィグレーション設定部１０１により設定された情報のうち、Tc生成の際に用いられる量子化パラメータの最大値であるTc_ｑｐｍａｘがクリップ処理部１６２に供給される。
Tc_LUT_input計算部１６１とクリップ処理部１６２は、既存Tc生成部１６３および拡張Tc生成部１６４に入力する値である、Tc_LUT_inputを求める。
すなわち、Tc_LUT_input計算部１６１は、平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰとTcオフセットの値とを加算してTctmpを算出し、算出したTctmpをクリップ処理部１６２に供給する。
クリップ処理部１６２は、コンフィグレーション設定部１０１により設定された値の範囲［０，Tc_ｑｐｍａｘ］に、Tc_LUT_input計算部１６１からのTctmpをクリップする。クリップ処理部１６２は、クリップ処理後のTctmpを、Tc_LUT_inputｑｐとして既存Tc生成部１６３および拡張Tc生成部１６４に供給する。
既存Tc生成部１６３は、HEVC方式で規定されているＬＵＴ(Look Up Table)１７１を有している。既存Tc生成部１６３は、クリップ処理部１６２からのTc_LUT_inputｑｐの値が５３以下である場合、ＬＵＴ１７１を用いてTcを求め、求めたTcを、フィルタ処理決定部１１４に供給する。
拡張Tc生成部１６４は、クリップ処理部１２２からのTc_LUT_inputｑｐの値が５３より大きい場合、拡張されたTcを求め、求めたTcを、フィルタ処理決定部１１４に供給する。
例えば、拡張Tc生成部１６４は、図２０に示されるように、Tc（ｑｐ）計算部１８１を含むように構成されている。Tc（ｑｐ）計算部１８１は、［５３，Tc_ｑｐｍａｘ］のｑｐが入力されると、既存のＱＰ−Tcの関数を拡張したものである、上述した式（９）を用いて動的にTcを生成する。
また、例えば、拡張Tc生成部１６４は、図２１に示されるように、拡張ＬＵＴ(Look Up Table)１９３を含むように構成されている。なお、図２１の例においては、拡張ＬＵＴ１９３は、既存のＬＵＴ１７１部分も含むように示されているが、斜線の部分のみが拡張部分である。この拡張ＬＵＴ１９３は、他のコンピュータ１９１などに備えられるTc（ｑｐ）計算部１９２において、［５３，Tc_ｑｐｍａｘ］の任意のｑｐを入力して、拡張した関数を用いてTcを求めて保存されたものである。
拡張Tc生成部１６４は、［５３，Tc_ｑｐｍａｘ］のｑｐが入力されると、拡張ＬＵＴ１９３を用いてTcを求める。
以上のように、拡張Tc生成部１６４を構成する際には、拡張されたTcを、定義式（関数式）で与えるか、ＬＵＴで与えるかを選択することが可能である。
［色差境界のフィルタ実行部の構成例］
図２２は、色差境界のフィルタ処理を行うフィルタ実行部の構成例を示すブロック図である。
図２２のフィルタ実行部１０２は、β生成部１１２およびフィルタ処理決定部１１４が除かれている点だけ、図１５のフィルタ実行部１０２と異なっている。図２２のフィルタ実行部１０２は、ＱＰ算出部１１１、Tc生成部１１３、およびフィルタ処理部１１５を含む点が、図１５のフィルタ実行部１０２と共通しており、共通している部分については繰り返しになるので、その説明は省略される。
すなわち、色差境界の場合、フィルタ処理決定はなされず、フィルタ処理部１１５は、Tc生成部１１３からのパラメータTcを用いてフィルタ処理を行う。例えば、パラメータTcは、クリップ処理に用いられる。
［デブロッキングフィルタの動作］
次に、図２３のフローチャートを参照して、デブロッキングフィルタ処理について説明する。なお、このデブロッキングフィルタ処理は、図２のステップＳ２２および図４のステップＳ５８の処理である。
例えば、図示せぬ操作部（または可逆復号部６２）を介して、ON/OFF情報、βオフセットの値、およびTcオフセットの値が入力される。
コンフィグレーション設定部１０１は、ステップＳ１０１において、フィルタのオフセット（βオフセットおよびTcオフセット）を設定する。コンフィグレーション設定部１０１は、設定されたオフセットの情報を、フィルタ実行部１０２のβ生成部１１２およびTc生成部１１３にそれぞれ供給する。
ステップＳ１０２において、コンフィグレーション設定部１０１は、ON/OFF情報に基づいて、デブロッキングフィルタが利用不可でないか否かを判定する。ステップＳ１０２において、デブロッキングフィルタが利用不可であると判定された場合、デブロッキングフィルタ処理は終了される。
ステップＳ１０２において、デブロッキングフィルタが利用不可ではないと判定された場合、処理は、ステップＳ１０３に進む。
ステップＳ１０３において、コンフィグレーション設定部１０１は、ＴＵとＰＵの境界を導出する。ステップＳ１０４において、コンフィグレーション設定部１０１は、ステップＳ１０３で導出したＴＵとＰＵの境界などの情報や予測モード情報などを基に、ＢＳ(Boundary Filtering Strength)値の導出を行う。コンフィグレーション設定部１０１は、ＢＳ値の情報を、フィルタ実行部１０２のＱＰ算出部１１１に供給する。
ステップＳ１０５において、フィルタ実行部１０２は、輝度（LUMA）境界のフィルタ処理を行う。この処理の説明は、図２４を参照して後述されるが、ステップＳ１０５の処理により、輝度境界にフィルタが施される。
ステップＳ１０６において、フィルタ実行部１０２は、色差（CHROMA）境界のフィルタ処理を行う。この処理の説明は、図２９を参照して後述されるが、ステップＳ１０６の処理により、色差境界にフィルタが施される。
ステップＳ１０７において、フィルタ実行部１０２は、全部の境界を処理したか否かを判定する。ステップＳ１０７において、まだ、全部の境界を処理していないと判定された場合、処理は、ステップＳ１０５に戻り、それ以降の処理が繰り返される。
ステップＳ１０７において、全部の境界を処理したと判定された場合、処理は、ステップＳ１０８に進む。
ステップＳ１０８において、コンフィグレーション設定部１０１は、全部のＣＵを処理したか否かを判定する。ステップＳ１０８において、まだ、全部のＣＵを処理していないと判定された場合、処理は、ステップＳ１０３に戻り、それ以降の処理が繰り返される。
ステップＳ１０８において、全部のＣＵを処理したと判定された場合、デブロッキングフィルタ処理は終了される。
［輝度境界のフィルタ処理の例］
次に、図２４のフローチャートを参照して、図２３のステップＳ１０５における輝度境界のフィルタ処理について説明する。
ＱＰ算出部１１１は、コンフィグレーション設定部１０１からのＢｓ値を受けると、ステップＳ１２１において、Ｂｓ値が０より大きいか否かを判定する。ステップＳ１２１において、Ｂｓ値が０より大きくないと判定された場合、輝度境界のフィルタ処理は終了する。すなわち、この場合の輝度境界には、フィルタ処理が施されない。
ステップＳ１２１において、Ｂｓ値が０より大きいと判定された場合、処理は、ステップＳ１２２に進む。ステップＳ１２２において、ＱＰ算出部１１１は、前段からのデブロッキングフィルタ前画素値を入力し、境界を共有する２つのブロック（領域）の平均ＱＰを計算する。
すなわち、ＱＰ取得部１１１ａは、入力されたデブロッキングフィルタ前画素値より、処理対象の境界を共有する（境界に隣接する）２つの領域の量子化パラメータｐ_ＱＰおよびｑ_ＱＰを取得する。ＱＰ取得部１１１ａは、取得した量子化パラメータｐ_ＱＰおよびｑ_ＱＰを、平均ＱＰ計算部１１１ｂに供給する。
平均ＱＰ計算部１１１ｂは、ＱＰ取得部１１１ａからの量子化パラメータｐ_ＱＰおよびｑ_ＱＰの平均を求め、その平均を、パラメータβおよびTcの生成に用いられる量子化パラメータＱＰとして、β生成部１１２およびTc生成部１１３に供給する。
ステップＳ１２３において、β生成部１１２は、βを生成する。このβ生成処理は、図２５を参照して後述するが、ステップＳ１２３の処理により、βが生成されて、フィルタ処理決定部１１４に供給される。
ステップＳ１２４において、Tc生成部１１３は、Tcを生成する。このTc生成処理は、図２６を参照して後述するが、ステップＳ１２４の処理により、Tcが生成されて、フィルタ処理決定部１１４に供給される。
ステップＳ１２５において、フィルタ処理決定部１１４は、フィルタを決定する。すなわち、フィルタ処理決定部１１４は、β生成部１１２からのパラメータβなどを用いて、フィルタの要否を決定する。また、フィルタ処理決定部１１４は、β生成部１１２からのパラメータβおよびTc生成部１１３からのパラメータTcなどを用いて、フィルタの強度を決定する。フィルタ処理決定部１１４は、決定したフィルタの情報を、フィルタ処理部１１５に供給する。
ステップＳ１２６において、フィルタ処理部１１５は、入力されたデブロッキングフィルタ前画素値に対して、フィルタ処理決定部１１４により決定されたフィルタの強度でフィルタ処理を行う。フィルタ処理部１１５は、デブロッキングフィルタ後の画素値を後段に出力する。
なお、ステップＳ１２５において、フィルタを行わないと決定された場合、ステップＳ１２６の処理は、スキップされる。その際、フィルタ処理部１１５は、入力されたデブロッキングフィルタ前画素値を、そのまま（フィルタを行うことなく）、デブロッキングフィルタ後画素値として後段に出力する。
［β生成処理の例］
次に、図２５のフローチャートを参照して、図２４のステップＳ１２３におけるβ生成処理について説明する。
平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰがβLUT_input計算部１２１に供給される。コンフィグレーション設定部１０１により設定された情報のうち、βオフセットの値がβLUT_input計算部１２１に供給される。
ステップＳ１４１において、βLUT_input計算部１２１は、平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰとβオフセットの値とを加算してβtmpを算出し、算出したβtmpをクリップ処理部１２２に供給する。
ステップＳ１４２において、クリップ処理部１２２は、コンフィグレーション設定部１０１により設定された値の範囲［０，βｑｐｍａｘ］に、βLUT_input計算部１２１からのβtmpをクリップする。この処理の詳細は、図２６を参照して後述するが、クリップ処理部１２２は、クリップ処理後のβtmpを、βLUT_inputｑｐとして既存β生成部１２３および拡張β生成部１２４に供給する。
ステップＳ１４３において、既存β生成部１２３および拡張β生成部１２４は、クリップ処理部１２２からのｑｐが５１より大きいか否かを判定する。ステップＳ１４３において、クリップ処理部１２２からのｑｐが５１以下であると判定された場合、処理は、ステップＳ１４４に進む。
ステップＳ１４４において、既存β生成部１２３は、既存のＬＵＴ１３１を用いてβを求め、求めたβを、フィルタ処理決定部１１４に供給する。
一方、ステップＳ１４３において、クリップ処理部１２２からのｑｐが５１より大きいと判定された場合、処理は、ステップＳ１４５に進む。
ステップＳ１４５において、拡張β生成部１２４は、拡張されたβを求め、求めたβを、フィルタ処理決定部１１４に供給する。
例えば、拡張β生成部１２４（β（ｑｐ）計算部１４１）は、図１７を参照して上述したように、予め関数パラメータが設定された点線に示される関数式（１次関数または指数関数）を用いて動的にβを生成する。
例えば、拡張β生成部１２４は、図１８を参照して上述したように、［０，βｑｐｍａｘ］の任意のｑｐを入力し、関数パラメータが設定された関数式（１次関数または指数関数）を用いてβを予め求めて保存されている拡張ＬＵＴ１５３を用いてβを求める。
［クリップ処理の例］
次に、図２６のフローチャートを参照して、図２５のステップＳ１４２におけるクリップ処理について説明する。
クリップ処理部１２２は、ステップＳ１６１において、βLUT_inputｑｐ＝βLUT_input計算部１２１からのβtmpとする。
クリップ処理部１２２は、ステップＳ１６２において、βLUT_input計算部１２１からのβtmpが、βｑｐｍａｘより大きいか否かを判定する。ステップＳ１６２において、βtmpが、βｑｐｍａｘより大きいと判定された場合、処理は、ステップＳ１６３に進む。
クリップ処理部１２２は、ステップＳ１６３において、βLUT_inputｑｐ＝βｑｐｍａｘとし、βLUT_inputｑｐを、既存β生成部１２３および拡張β生成部１２４に供給する。
ステップＳ１６２において、βtmpが、βｑｐｍａｘ以下であると判定された場合、ステップＳ１６３の処理はスキップされ、クリップ処理は終了する。すなわち、この場合、βLUT_inputｑｐ（βtmp）が、既存β生成部１２３および拡張β生成部１２４に供給される。
［Tc生成処理の例］
次に、図２７のフローチャートを参照して、図２４のステップＳ１２４におけるTc生成処理について説明する。
平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰがTc_LUT_input計算部１６１に供給される。コンフィグレーション設定部１０１により設定された情報のうち、Tcオフセットの値がTc_LUT_input計算部１６１に供給される。
ステップＳ１８１において、Tc_LUT_input計算部１６１は、平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰとTcオフセットの値とを加算してTctmpを算出し、算出したTctmpをクリップ処理部１６２に供給する。
ステップＳ１８２において、クリップ処理部１６２は、コンフィグレーション設定部１０１により設定された値の範囲［０，Tc_ｑｐｍａｘ］に、Tc_LUT_input計算部１６１からのTctmpをクリップする。この処理の詳細は、図２８を参照して後述するが、クリップ処理部１６２は、クリップ処理後のTc tmpを、Tc_LUT_inputｑｐとして既存Tc生成部１６３および拡張Tc生成部１６４に供給する。
ステップＳ１８３において、既存Tc生成部１６３および拡張Tc生成部１６４は、クリップ処理部１６２からのｑｐが５３より大きいか否かを判定する。ステップＳ１８３において、クリップ処理部１６２からのｑｐが５３以下であると判定された場合、処理は、ステップＳ１８４に進む。
ステップＳ１８４において、既存Tc生成部１６３は、既存のＬＵＴ１７１を用いてTcを求め、求めたTcを、フィルタ処理決定部１１４に供給する。
一方、ステップＳ１８３において、クリップ処理部１６２からのｑｐが５１より大きいと判定された場合、処理は、ステップＳ１８５に進む。
ステップＳ１８５において、拡張Tc生成部１６４は、拡張されたTcを求め、求めたTcを、フィルタ処理決定部１１４に供給する。
例えば、拡張Tc生成部１６４（Tc（ｑｐ）計算部１８１）は、図２０を参照して上述したように、既存のＱＰ−Tcの関数を拡張したものである、上述した式（９）を用いて動的にTcを生成する。
例えば、拡張Tc生成部１６４は、図２１を参照して上述したように、［５３，Tc_ｑｐｍａｘ］の任意のｑｐを入力して、拡張した関数を用いてTcを求めて保存された拡張ＬＵＴ１９３を用いてTcを求める。
［クリップ処理の例］
次に、図２８のフローチャートを参照して、図２７のステップＳ１８２におけるクリップ処理について説明する。
クリップ処理部１６２は、ステップＳ２０１において、Tc_LUT_inputｑｐ＝Tc_LUT_input計算部１６１からのTctmpとする。
クリップ処理部１６２は、ステップＳ２０２において、Tc_LUT_input計算部１６１からのTctmpが、Tc_ｑｐｍａｘより大きいか否かを判定する。ステップＳ２０２において、Tctmpが、Tc_ｑｐｍａｘより大きいと判定された場合、処理は、ステップＳ２０３に進む。
クリップ処理部１６２は、ステップＳ２０３において、Tc_LUT_inputｑｐ＝Tc_ｑｐｍａｘとし、Tc_LUT_inputｑｐを、既存Tc生成部１６３および拡張Tc生成部１６４に供給する。
ステップＳ２０２において、Tctmpが、Tc_ｑｐｍａｘ以下であると判定された場合、ステップＳ２０３の処理はスキップされ、クリップ処理は終了する。すなわち、この場合、Tc_LUT_inputｑｐ（Tctmp）が、既存Tc生成部１６３および拡張Tc生成部１６４に供給される。
［色差境界のフィルタ処理の例］
次に、図２９のフローチャートを参照して、図２３のステップＳ１０６における色差境界のフィルタ処理について説明する。
ＱＰ算出部１１１は、コンフィグレーション設定部１０１からのＢｓ値を受けると、ステップＳ２２１において、Ｂｓ値が１より大きいか否かを判定する。ステップＳ２２１において、Ｂｓ値が１より大きくないと判定された場合、色差境界のフィルタ処理は終了する。すなわち、この場合の色差境界には、フィルタ処理が施されない。
ステップＳ２２１において、Ｂｓ値が１より大きいと判定された場合、処理は、ステップＳ２２２に進む。ステップＳ２２２において、ＱＰ算出部１１１は、前段からのデブロッキングフィルタ前画素値を入力し、境界を共有する２つのブロック（領域）の平均ＱＰを計算する。
すなわち、ＱＰ取得部１１１ａは、入力されたデブロッキングフィルタ前画素値より、処理対象の境界を共有する（境界に隣接する）２つの領域の量子化パラメータｐ_ＱＰおよびｑ_ＱＰを取得する。ＱＰ取得部１１１ａは、取得した量子化パラメータｐ_ＱＰおよびｑ_ＱＰを、平均ＱＰ計算部１１１ｂに供給する。
平均ＱＰ計算部１１１ｂは、ＱＰ取得部１１１ａからの量子化パラメータｐ_ＱＰおよびｑ_ＱＰの平均を求め、その平均を、パラメータTcの生成に用いられる量子化パラメータＱＰとして、Tc生成部１１３に供給する。
ステップＳ２２３において、Tc生成部１１３は、Tcを生成する。このTc生成処理は、図２６を参照して上述した処理と基本的に同じ処理であるのでその説明を省略するが、ステップＳ２２３の処理により、Tcが生成されて、フィルタ処理部１１５に供給される。
ステップＳ２２４において、フィルタ処理部１１５は、入力されたデブロッキングフィルタ前画素値に対して、Tc生成部１１３により生成されたパラメータTcなどを用いて、フィルタ処理を行う。フィルタ処理部１１５は、デブロッキングフィルタ後の画素値を後段に出力する。
なお、上記説明においては、フィルタの強度を強くするために、パラメータβおよびパラメータTcを増やすことにより拡張する例（以下、第１の拡張方法とも称する）を説明したが、パラメータβおよびパラメータtcの拡張の例は、上記第１の拡張方法に限らない。次に、パラメータの数を増やすことなく、関数の傾きを変える第２の拡張方法について説明する。
＜４．第２の実施の形態（第２の拡張方法）＞
［パラメータβの拡張例］
まず、第２の拡張方法によるパラメータβの拡張について説明する。HEVC方式においては、次の式（１０）に示されるように、パラメータβは、ＱＰの区間に応じて３つの式で計算される。
Figure 0006471911
第２の拡張方法においては、これらの３つの式の傾き(k0,k1,k2)をシンタクスで復号側に送るようにする。復号側では、スライス毎に、符号化側からのシンタクスが示す傾きを用いて、次の式（１１）で示されるテーブルを更新する。
Figure 0006471911
 なお、式（１１）は、k0＝０，k1＝１，k2＝２の場合に、上述した式（１０）のテーブルになる。このk0＝０，k1＝１，k2＝２は、デフォルトであり、これらの値のうち、変更したい値がシンタックスで復号側に送られる。
図３０は、式（１１）において、k0＝０，k1＝１，k2＝２の場合の量子化パラメータＱＰとパラメータβの関係と、k2＝４として更新された場合の量子化パラメータＱＰとパラメータβ（新β）の関係を示す図である。
図３０のＡに示されるグラフにおいては、更新前が点線で示されており、k2＝４としての更新後が実線で示されている。図３０のＢに示される表においては、更新後の１６≦ｑｐ≦５１に対応する更新後の新βの値が太線枠で囲まれており、そのうち、k2＝４として更新された２９≦ｑｐ≦５１に対応する新βの値がハッチングされている。
図３０の例の場合、パラメータβ（新β）は、０乃至５１の量子化パラメータＱＰに対して０乃至１１０の値をとることができる。
なお、上述した例においては、ｑｐ＝０のときのβは０としているが、０に限らず、他の値であってもよい。また、上述した例においては、βが、ＱＰの区間に応じて３つの式で計算される例を説明したが、βの式の分割数は３つに限らない。
さらに、上述した例においては、ｑｐの各区間の境界を連続にしているが、不連続でもよい。また、上述した例においては、βの式は１次関数で表わされているが、これに限定されず、例えば、指数関数で表わされてもよい。
係数(k0,k1,k2)の復号側への送り方は、例えば、Exponental Golomb または Fix Length Codingが考えられるが、どのように符号化されてもよい。
［パラメータTcの拡張例］
次に、第２の拡張方法によるパラメータTcの拡張について説明する。第２の拡張方法は、パラメータTcの場合も、基本的に、上述したパラメータβと同じ考え方で行われる。
ただし、パラメータTcの場合、パラメータβの場合と異なるのは、HEVC方式において、パラメータTcが１つの式で表わしきれていない点である。なお、HEVC方式におけるパラメータTcを、近似すると、次の式（１２）で表わされる。
Figure 0006471911
すなわち、図３１に示されるように、実際の量子化パラメータＱＰとパラメータTcの関係と、その関係を近似した式（１２）には、多少のずれ（調整量（Δt））がある。
図３１のＡにおいては、量子化パラメータＱＰとパラメータTcの関係を近似した式（１２）が調整前として点線で表わされており、量子化パラメータＱＰとパラメータTcの関係と、その式（１２）とのずれの調整後が実線で表わされている。
図３１のＢにおいては、量子化パラメータＱＰとパラメータTcの関係と、その関係を式（１２）で表わしたときの調整量（Δt）が示されている。
したがって、パラメータTcの場合、次の式（１３）に示されるように、近似した式（１２）について、それぞれk3,k4倍して、その後に（１２）式からずれる分（調整量Δt）を調整する。
Figure 0006471911
そして、第２の拡張方法においては、これらの２つの式の傾き(k3,k4)をシンタクスで復号側に送るようにする。復号側では、スライス毎に、符号化側からのシンタクスが示す傾きを用いて、上述した式（１３）で示されるテーブルを更新する。なお、係数(k3,k4)の復号側への送り方も、例えば、Exponental Golomb または Fix Length Codingが考えられるが、どのように符号化されてもよい。
調整量は、±k4であり、図３１のＢに示されるように、ｑｐの値に応じて正負が変わる。図３１のＢにおいては、ＱＰが２７乃至２９、３１の場合、調整量の値が正となる。ＱＰが、３４、３６乃至４２の場合、調整量の値が負となる。また、調整量は、kによらず、例えば、図３１のＢに示される１に固定であってもよい。
この式（１３）は、k3＝０，k4＝１の場合に、上述した式（１２）が示す近似式のテーブルに調整量（Δt）を加えた式となる。このk3＝０，k4＝１は、デフォルトの値であり、これらの値のうち、変更したい値がシンタックスで復号側に送られる。
なお、式（１３）では、調整量が含まれているが、既存のパラメータTcが上述した式（１２）で表わされるとして、調整量がない式（１４）を用いるようにしてもよい。
Figure 0006471911
また、上述した式（１１）におけるk0乃至k2による掛け算および上述した式（１３）または式（１４）におけるk3およびk4による掛け算は、ビットシフトで実現できるようにするのが好ましい。
なお、上述した第２の拡張方法によれば、量子化パラメータＱＰの意味は変わらない。量子化パラメータＱＰの範囲は、HEVC方式における範囲と変わらない。また、ストリームにおけるノイズののり方によって、設定の自由度を上げることができる。さらに、使用メモリを増やすことなく実現することが可能である。
＜５．第３の実施の形態（第３の拡張方法）＞
［パラメータβの拡張例］
さらに、第３の拡張方法によるパラメータβの拡張について説明する。HEVC方式におけるパラメータβのオフセット(β_offset)の意味は、量子化パラメータＱＰ＋β_offsetである。したがって、パラメータβは、次の式（１５）で表わされる。
Figure 0006471911
すなわち、HEVC方式においては、量子化パラメータＱＰに、β_offsetを足して、そのβをとってきていた。これに対して、第３の拡張方法としては、次の式（１６）に示されるように、このβ_offsetをパラメータβに直接加える。
Figure 0006471911
 ここで、α０は、固定値である。例えば、α０＝０，１，２，３，４…であり、α０の値は限定されない。このα０によりβを調整することができる。なお、α０は固定値でなくてもよく、例えば、符号化側で設定されて、復号側へシンタックスで送られるようにしてもよい。
例えば、図３２を参照して説明するに、ＱＰ＝３７、β_offset＝６、α０＝２の場合、HEVC方式では、上述した式（１５）から、β＝β（３７＋６）＝β（４３）の値（＝４８）が用いられる。
一方、第３の拡張方法の場合、上述した式（１６）から、β＝β（３７）＋６＊２＝β（３７）の値（＝３６）に１２を足した値（４８）が用いられる。
以上のように、β_offsetを利用して、βの値の範囲を直接拡張することも可能である。このことは、次に説明するように、パラメータTcについても同様である。
［パラメータTcの拡張例］
次に、第３の拡張方法によるパラメータTcの拡張について説明する。HEVC方式におけるパラメータTcのオフセット(Tc_offset)の意味は、量子化パラメータＱＰ＋Tc_offsetである。したがって、パラメータTcは、次の式（１７）で表わされる。
Figure 0006471911
すなわち、HEVC方式においては、量子化パラメータＱＰに、Tc_offsetを足して、そのTcをとってきていた。これに対して、第３の拡張方法としては、次の式（１８）に示されるように、このTc_offsetをパラメータTcに直接加える。
Figure 0006471911
 ここで、α１は、固定値である。例えば、α１＝０，１，２，３，４…であり、α１の値は限定されない。このα１によりTcを調整することができる。なお、α１は、固定値に限らず、符号化側で設定されて、復号側へシンタックスで送られるようにしてもよい。
例えば、図３３を参照して説明するに、ＱＰ＝３７、Tc_offset＝６、α１＝１の場合、HEVC方式では、上述した式（１７）から、Tc＝Tc（３７＋６）＝Tc（４３）の値（＝８）が用いられる。
一方、第３の拡張方法の場合、上述した式（１８）から、Tc＝Tc（３７）＋６＊１＝Tc（３７）の値（＝４）に６を足した値（１０）が用いられる。
以上のように、Tc _offsetを利用して、Tcの値の範囲を直接拡張することも可能である。
なお、上述した式（１５）におけるα０による掛け算および上述した式（１８）におけるα１による掛け算は、ビットシフトで実現できるようにするのが好ましい。
また、上述した第３の拡張方法によれば、量子化パラメータＱＰの意味は変わらない。量子化パラメータＱＰの範囲は、HEVC方式における範囲と変わらない。また、使用メモリを増やすことなく実現することが可能である。
なお、上述した第２の拡張方法および第３の拡張方法も、第１の拡張方法と同様に、例えば、図１６の拡張β生成部１２４および図１９の拡張Tc生成部１６４により実行される。
また、上述した第２の拡張方法における係数(k0乃至k5)や、第３の拡張方法における係数α０およびα１は、例えば、スライスヘッダなどのヘッダとして復号側へ送るようにしてもよい。また、係数(k0乃至k5)や係数α０およびα１は、アダプテーションパラメータセット(APS)などのNALユニットとして復号側へ送るようにしてもよい。
以上のように、フィルタの強度が強くなるように、フィルタに関する判定に用いられるパラメータ、すなわち、フィルタの強度を決定するパラメータを拡張するようにした。したがって、フィルタの強度が強くなり、ブロックノイズを抑制して、復号画像を最適化することができる。
なお、デブロックフィルタの強度を強くするフィルタパラメータとして、βとTcがあった。そして、現状、現状のパラメータの範囲では、ノイズが残っているところがあるので、より強度を上げたいために、β、Tcの拡張を行った。同様の考え方は、適応オフセットフィルタにも適用することができる。すなわち、適応オフセットフィルタにおいても、現状の規格のパラメータの範囲を拡張して、より強度を高めることも可能である。
ここで、上述した第１の拡張方法においては、デブロッキングフィルタのパラメータのＬＵＴへの入力である量子化パラメータＱＰ（０乃至５１）以降の値において、パラメータのレンジを拡張する例を説明した。この場合、パラメータを保持するためのテーブルが粗かに増えたり、新たなパラメータのための計算コストが増えたりする。
これに対して、なるべくシンプルな方法でデブロッキングの強度を上げることができるようにする例を説明する。
＜６．第４の実施の形態（第４の拡張方法）＞
［パラメータβの拡張］
まず、図３４を参照して、量子化パラメータＱＰ（０乃至５１）内で、パラメータのレンジを拡張する例を説明する。図３４のＡは、本技術における量子化パラメータＱＰとパラメータβの関係を示すグラフである。図３４のＢは、本技術における量子化パラメータＱＰとパラメータβの関係を示す表である。なお、図３４のＡに示すグラフにおいて点線が従来を示す。図３４のＢに示す表において、太線枠内が本技術による拡張部分である。
図３４の太線枠内に示されるように、量子化パラメータＱＰ（０乃至５１）におけるHighの部分、すなわち、量子化パラメータＱＰ（４５乃至５１）に対応するパラメータβ（β（４５）乃至β（５１））を、それを表す１次関数の傾きをより大きい傾きにすることで、拡張する。すなわち、このβの拡張方法は、次の式（１９）で表わされる。
Figure 0006471911
なお、ここで、ｋ３＝４としたが、４に限定されない。すなわち、ｋ３の値は、シフト演算を考慮して４が好適であるが、３、５、６、…などであってもよい。
第４の実施例の場合のデブロッキングフィルタ３１は、図１５のβ生成部１１２の構成以外は、図１４を参照して上述したデブロッキングフィルタ３１と基本的に同様である。したがって、次に、構成が異なる図１５のβ生成部１１２の構成例について説明する。
［β生成部の構成例］
図３５は、β生成部の構成例を示すブロック図である。
図３５の例において、β生成部１１２は、図１６のβLUT_input計算部１２１、およびβ生成処理部２５１を含むように構成される。
平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰがβLUT_input計算部１２１に供給される。コンフィグレーション設定部１０１により設定された情報のうち、βオフセットの値（β_offdset_div2）がβLUT_input計算部１２１に供給される。
βLUT_input計算部１２１は、β生成処理部２５１に入力する値βLUT_input qpであるβtmpを求める。すなわち、βLUT_input計算部１２１は、平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰとβオフセットの値とを加算してβtmpを算出し、算出したβtmpを、β生成処理部２５１に供給する。
β生成処理部２５１は、式（１９）をオフラインで求めたものであるβ LUT(Look Up Table)を有している。β生成処理部２５１は、βLUT_input計算部１２１により算出されたβtmpを、βLUT_input qpとして入力し、β LUT（式（１９））を用いてβを求め、求めたβを、フィルタ処理決定部１１４に供給する。
なお、第４の実施例の場合のデブロッキングフィルタ３１の処理については、図２４のステップＳ１２３のβの生成処理以外は、図２３を参照して上述したデブロッキングフィルタ処理と基本的に同様の処理である。
したがって、次に、異なる処理であるβの生成処理（図２４のステップＳ１２３）について、図３６のフローチャートを参照して説明する。
ステップＳ２５１において、βLUT_input計算部１２１は、β生成処理部２５１に入力する値βLUT_input qpであるβtmp＝QP+β_offdset_div2*2を算出し、算出したβtmpを、β生成処理部２５１に供給する。
なお、ここで、実際には、βのオフセット値（β_offdset_div2）は1/2されて伝送されており、ステップＳ２５１におけるβLUT_input qpの算出時に２倍されて用いられる。
ステップＳ２５２において、β生成処理部２５１は、βLUT_input計算部１２１により算出されたβtmpを、βLUT_input qpとして入力し、β LUT（式（１９））を用いてβを求め、求めたβを、フィルタ処理決定部１１４に供給する。
以上のように、量子化パラメータＱＰ（０乃至５１）におけるHighの部分のβの１次関数の傾きを大きくすることで、フィルタ強度を上げるようにした。この場合、現状に対して性能や実装についてほとんど影響なく、簡単に、オフセットを与えた場合のデブロッキングの強度を上げることができる。
なお、上記説明において、パラメータβのオフセットとパラメータTcのオフセットは、それぞれ符号化側から復号側に伝送されていたが、次に、パラメータβとTcのオフセットを共通化する例について説明する。
＜７．第５の実施の形態（第１のオフセット送信方法）＞
［デブロッキングフィルタの構成例］
図３７は、パラメータβとTcのオフセットを共通化する場合のデブロッキングフィルタの構成例を示すブロック図である。
図３７の例において、デブロッキングフィルタ３１は、コンフィグレーション設定部３０１およびフィルタ実行部３０２を含むように構成されている。
コンフィグレーション設定部３０１には、図１４のデブロッキングフィルタ３１と異なり、パラメータβとTcとで共通のデブロックオフセットの値(dblk_offset_div2)が入力される。
すなわち、コンフィグレーション設定部３０１は、例えば、図示せぬ操作部（または、可逆復号部６２）から入力されるDisableDeblockingFilterフラグ情報（すなわち、ON/OFF情報）およびデブロックオフセットの値を入力する。コンフィグレーション設定部３０１は、入力される情報を基に、デブロッキングフィルタ３１における環境設定を行う。すなわち、コンフィグレーション設定部３０１においては、環境設定の１つとして、デブロッキングフィルタのβおよびTcのオフセットとして、デブロックオフセットの値が設定される。コンフィグレーション設定部３０１は、設定された情報を、フィルタ実行部３０２に供給する。
フィルタ実行部３０２には、演算部３０（または、演算部６５）からのデブロッキングフィルタ前画素値が供給される。フィルタ実行部３０２は、デブロッキングオフセットの値など、コンフィグレーション設定部３０１により設定された情報を基に、パラメータの生成に用いられる量子化パラメータＱＰを算出し、パラメータβおよびTcを生成して、フィルタ処理の要否やフィルタ強度を決定する。そして、フィルタ実行部３０２は、決定されたフィルタ処理の要否やフィルタ強度を基に、フィルタ処理を行う。フィルタ実行部３０２は、デブロッキングフィルタ後の画素値を、後段の適応オフセットフィルタ４１（または、適応オフセットフィルタ８１）に供給する。
なお、フィルタ実行部３０２は、輝度境界および色差境界に対して、それぞれ、上述した処理を行う。
［輝度境界のフィルタ実行部の構成例］
図３８は、輝度境界のフィルタ処理を行うフィルタ実行部の構成例を示すブロック図である。
図３８の例において、フィルタ実行部３０２は、ＱＰ算出部１１１、フィルタ処理決定部１１４、フィルタ処理部１１５、β生成部３１１、およびTc生成部３１２を含むように構成されている。
なお、フィルタ実行部３０２は、ＱＰ算出部１１１、フィルタ処理決定部１１４、およびフィルタ処理部１１５を備える点は、図１５のフィルタ実行部１０２と共通している。フィルタ実行部３０２は、β生成部１１２がβ生成部３１１に入れ替わった点と、Tc生成部１１３がTc生成部３１２に入れ替わった点は、図１５のフィルタ実行部１０２と異なっている。
すなわち、β生成部３１１は、β生成部１１２と同様に、平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰに応じて、パラメータβを生成する。その際、β生成部３１１においては、オフセットの値として、コンフィグレーション設定部３０１からのデブロックオフセットの値(dblk_offset_div2)が用いられる。β生成部３１１は、生成したパラメータβを、フィルタ処理決定部１１４に供給する。
Tc生成部３１２は、Tc生成部１１３と同様に、平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰに応じて、パラメータTcを生成する。その際、Tc生成部３１２においては、オフセットの値として、コンフィグレーション設定部３０１からのデブロッキングオフセットの値(dblk_offset_div2)が用いられる。Tc生成部３１２は、生成したパラメータTcを、フィルタ処理決定部１１４に供給する。
［β生成部の構成例］
図３９は、β生成部の構成例を示すブロック図である。
図３９の例において、β生成部３１１は、βLUT_input計算部３２１およびβ生成処理部３２２を含むように構成される。
平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰがβLUT_input計算部３２１に供給される。コンフィグレーション設定部３０１により設定された情報のうち、デブロッキングオフセットの値(dblk_offset_div2)がβLUT_input計算部３２１に供給される。
βLUT_input計算部３２１は、平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰとデブロッキングオフセットの値とを加算してβtmpを算出し、算出したβtmpをβ生成処理部３２２に供給する。
β生成処理部３２２は、例えば、HEVC方式で規定されているβLUT (Look Up Table)を有している。β生成処理部３２２は、βLUT_input計算部３２１からのβtmpを、βLUT_inputｑｐとして入力し、βLUTを用いてβを求め、求めたβを、フィルタ処理決定部１１４に供給する。
［Tc生成部の構成例］
図４０は、Tc生成部の構成例を示すブロック図である。
図４０の例において、Tc生成部３１２は、TcLUT_input計算部３３１およびTc生成処理部３３２を含むように構成される。
平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰがTcLUT_input計算部３３１に供給される。コンフィグレーション設定部３０１により設定された情報のうち、デブロッキングオフセットの値(dblk_offset_div2)が、TcLUT_input計算部３３１に供給される。
TcLUT_input計算部３３１は、平均ＱＰ計算部１１１ｂからの量子化パラメータＱＰとデブロッキングオフセットの値とを加算してTctmpを算出し、算出したTctmpをTc生成処理部３３２に供給する。
Tc生成処理部３３２は、例えば、HEVC方式で規定されているTcLUT(Look Up Table)を有している。Tc生成処理部３３２は、TcLUT_input計算部３３１からのTctmpを、TcLUT_inputｑｐとして入力し、TcLUTを用いてTcを求め、求めたTcを、フィルタ処理決定部１１４に供給する。
なお、色差境界のフィルタ処理を行うフィルタ実行部の構成例については、図２２を参照して上述したフィルタ実行部１０２において、Tc生成部１１３が、図３８のTc生成部３１２に入れ替わるだけであるので、その説明は省略される。
［デブロッキングフィルタの動作］
次に、図４１のフローチャートを参照して、デブロッキングフィルタ処理について説明する。なお、図４１のステップＳ３０２乃至Ｓ３０８の処理は、図２３のステップＳ１０２乃至１０８の処理と基本的に同様である。ただし、ステップＳ３０５およびＳ３０６における各境界のフィルタ処理のうち、図２４のステップＳ１２３におけるβ生成処理およびＳ１２４におけるTc生成処理が異なるので、その詳細は、図４３および図４４を参照してそれぞれ後述される。
例えば、図示せぬ操作部（または可逆復号部６２）を介して、DisableDeblockingFilterフラグ情報（すなわち、ON/OFF情報）、デブロッキングオフセットの値が入力される。
コンフィグレーション設定部３０１は、ステップＳ３０１において、フィルタのコンフィグレーションを設定する。コンフィグレーション設定処理の詳細は、図４２を参照して後述される。ステップＳ３０１により、コンフィグレーションが設定される。その際、DisableDeblockingFilterフラグ情報が設定され、デブロッキングオフセットの値(dblk_offset_div2)が設定される。
ここで設定されたデブロッキングオフセットの値は、ステップＳ３０５の処理を説明する図２４のステップＳ１２３のβ生成処理とステップＳ１２４のTc生成処理、および図２９のステップＳ２２３のTc生成処理で用いられる。
ステップＳ３０２において、コンフィグレーション設定部３０１は、DisableDeblockingFilterフラグ情報に基づいて、デブロッキングフィルタが利用不可でないか否かを判定する。ステップＳ３０２において、デブロッキングフィルタが利用不可であると判定された場合、デブロッキングフィルタ処理は終了される。
ステップＳ３０２において、デブロッキングフィルタが利用不可ではないと判定された場合、処理は、ステップＳ３０３に進む。
ステップＳ３０３において、コンフィグレーション設定部３０１は、ＴＵとＰＵの境界を導出する。ステップＳ３０４において、コンフィグレーション設定部３０１は、ステップＳ３０３で導出したＴＵとＰＵの境界などの情報や予測モード情報などを基に、ＢＳ値の導出を行う。コンフィグレーション設定部３０１は、ＢＳ値の情報を、フィルタ実行部３０２のＱＰ算出部１１１に供給する。
ステップＳ３０５において、フィルタ実行部３０２は、輝度（LUMA）境界のフィルタ処理を行う。この処理の説明は、図２４を参照して上述したので省略されるが、ステップＳ１０５の処理により、輝度境界にフィルタが施される。
ステップＳ３０６において、フィルタ実行部３０２は、色差（CHROMA）境界のフィルタ処理を行う。この処理の説明は、図２９を参照して上述したので省略されるが、ステップＳ１０６の処理により、色差境界にフィルタが施される。
ステップＳ３０７において、フィルタ実行部３０２は、全部の境界を処理したか否かを判定する。ステップＳ３０７において、まだ、全部の境界を処理していないと判定された場合、処理は、ステップＳ３０５に戻り、それ以降の処理が繰り返される。
ステップＳ３０７において、全部の境界を処理したと判定された場合、処理は、ステップＳ１０８に進む。
ステップＳ３０８において、コンフィグレーション設定部３０１は、全部のＣＵを処理したか否かを判定する。ステップＳ３０８において、まだ、全部のＣＵを処理していないと判定された場合、処理は、ステップＳ３０３に戻り、それ以降の処理が繰り返される。
ステップＳ３０８において、全部のＣＵを処理したと判定された場合、デブロッキングフィルタ処理は終了される。
［フィルタのコンフィグレーション処理］
次に、図４２のフローチャートを参照して、図４１のステップＳ３０１のフィルタのコンフィグレーション設定処理について説明する。
図示せぬ操作部（または可逆復号部６２）を介して、デブロッキングコントロールフラグの情報、DisableDeblockingFilterフラグ情報（すなわち、ON/OFF情報）、およびデブロッキングオフセットの値が入力される。
コンフィグレーション設定部３０１は、ステップＳ３２１において、デブロッキングコントロールフラグが１であるか否かを判定する。ステップＳ３２１において、デブロッキングコントロールフラグが１であると判定された場合、処理は、ステップＳ３２２に進む。
デブロッキングコントロールフラグが１の場合、DisableDeblockingFilterフラグとデブロッキングオフセットを伝送することができる。したがって、ステップＳ３２２において、コンフィグレーション設定部３０１は、DisableDeblockingFilterフラグを読み込んで設定する。
ステップＳ３２３において、コンフィグレーション設定部３０１は、デブロッキングオフセットの値(dblk_offset_div2)を読み込んで設定する。
一方、ステップＳ３２１において、デブロッキングコントロールフラグが０であると判定された場合、コンフィグレーション設定処理は終了される。すなわち、ステップＳ３２１において、デブロッキングコントロールフラグが０であると判定された場合、DisableDeblockingFilterフラグとデブロッキングオフセットは伝送されないので、設定されず、デフォルトの値が用いられる。
［β生成処理］
次に、図４３のフローチャートを参照して、図２４のステップＳ１２３のβ生成処理について説明する。
βLUT_input計算部３２１には、コンフィグレーション設定部３０１から、デブロッキングオフセットの値(dblk_offset_div2)が入力される。ステップＳ３３１において、βLUT_input計算部３２１は、β生成処理部３２２に入力する値βLUT_input qpであるβtmp＝QP+ dblk_offset_div2*2を算出し、算出した算出したβtmpを、β生成処理部３２２に供給する。
なお、上述したβオフセット値と同様に、実際には、デブロッキングオフセット値（dblk_offset_div2）は1/2されて伝送されており、ステップＳ３３１におけるβLUT_input qpの算出時に２倍されて用いられる。
ステップＳ３３２において、β生成処理部３２２は、βLUT_input計算部３２１により算出されたβtmpを、βLUT_input qpとして入力し、β LUTを用いてβを求め、求めたβを、フィルタ処理決定部１１４に供給する。
［Tc生成処理］
次に、図４４のフローチャートを参照して、図２４のステップＳ１２４のTc生成処理について説明する。
TcLUT_input計算部３３１には、コンフィグレーション設定部３０１から、デブロッキングオフセットの値(dblk_offset_div2)が入力される。ステップＳ３４１において、TcLUT_input計算部３３１は、Tc生成処理部３３２に入力する値TcLUT_input qpであるTctmp＝QP+ dblk_offset_div2 *2を算出し、算出した算出したTctmpを、Tc生成処理部３３２に供給する。
なお、上述したβオフセット値と同様に、実際には、デブロッキングオフセット値（dblk_offset_div2）は1/2されて伝送されており、ステップＳ３４１におけるTcLUT_input qpの算出時に２倍されて用いられる。
ステップＳ３４２において、Tc生成処理部３３２は、Tc LUT_input計算部３３１により算出されたTc tmpを、Tc LUT_input qpとして入力し、Tc LUTを用いてTcを求め、求めたTcを、フィルタ処理決定部１１４に供給する。
［デブロッキングオフセットの値(dblk_offset_div2)の伝送］
次に、図４５を参照して、デブロッキングオフセットの値(dblk_offset_div2)の伝送について説明する。
画像符号化装置１１においては、図示せぬ操作部を介して、デブロッキングオフセットの値(dblk_offset_div2)が、デブロッキングフィルタ３１ａおよび可逆符号化部２６に入力される。デブロッキングオフセットの値(dblk_offset_div2)は、デブロッキングフィルタ３１ａでフィルタ処理に用いられ、可逆符号化部２６においてSVLC(Sin VLC)により書き込むことで符号化される。符号化されたデブロッキングオフセットの値(dblk_offset_div2)は、デブロッキングフィルタのパラメータとして、画像復号装置５１に伝送される。
画像符号化装置１１から送られてきたデブロッキングオフセットの値(dblk_offset_div2)は、画像復号装置５１において、可逆復号部６２で、SVLC(Sin VLC)により読み出すことで復号されて、デブロッキングフィルタ３１ｂでフィルタ処理に用いられる。
［デブロッキングオフセットの値のシンタクスの例］
図４６は、デブロッキングオフセットの値のシンタクスの例を示す図である。
図４６の例において、デブロッキングオフセットの値(dblk_offset_div2)は、disaeble_deblocking_filter_flagのif文に記述されており、disaeble_deblocking_filter_flagが０でなければ、dblk_offset_div2の値が用いられる。
なお、このシンタクスは、スライスヘッダおよびPPS(ピクチャパラメータセット)に記述される。
以上のように、パラメータβとTcで共通のオフセット値を用いることで、シンタクスを１つ減らすことができ、また、デブロッキングフィルタ強度の制御が簡単になる。
次に、パラメータβとTcのオフセットを符号化する際、パラメータβのオフセット、およびパラメータβのオフセットとパラメータTcのオフセットとの差分を符号化して送る例について説明する。
＜８．第６の実施の形態（第２のオフセット送信方法）＞
［デブロッキングフィルタの構成例］
図４７は、画像符号化装置におけるデブロッキングフィルタの構成例を示すブロック図である。
図４７の例において、デブロッキングフィルタ３１ａは、コンフィグレーション設定部４０１およびフィルタ実行部３０２を含むように構成されている。
コンフィグレーション設定部４０１には、パラメータβのオフセット値（β_offset_div2）とパラメータtcのオフセット値（tc_offset_div2）が入力される。
コンフィグレーション設定部４０１は、例えば、図示せぬ操作部から入力されるDisableDeblockingFilterフラグ情報（すなわち、ON/OFF情報）、パラメータβのオフセット値、およびパラメータtcのオフセット値を入力する。コンフィグレーション設定部４０１は、入力される情報を基に、デブロッキングフィルタ３１ａにおける環境設定を行う。すなわち、コンフィグレーション設定部４０１においては、デブロッキングフィルタのβのオフセット値およびtcのオフセット値が設定される。コンフィグレーション設定部４０１は、設定された情報を、フィルタ実行部３０２に供給する。
なお、その際、コンフィグレーション設定部４０１は、パラメータβのオフセット値（β_offset_div2）とパラメータtcのオフセット値（tc_offset_div2）との差分情報(diff_β_tc_div2)を生成する。コンフィグレーション設定部４０１は、生成した差分情報と、パラメータβのオフセット値を、可逆符号化部２６に供給する。
フィルタ実行部３０２は、図３７のフィルタ実行部３０２と基本的に同じであり、デブロッキングオフセットの値など、コンフィグレーション設定部４０１により設定された情報を基に、パラメータの生成に用いられる量子化パラメータＱＰを算出し、パラメータβおよびTcを生成して、フィルタ処理の要否やフィルタ強度を決定する。
その際、図３７のフィルタ実行部３０２においては、デブロッキングオフセットの値(dblk_offset_div2)が用いられる。これに対して、図４７のフィルタ実行部３０２においては、パラメータβのオフセット値（β_offset_div2）とパラメータtcのオフセット値（tc_offset_div2）がそれぞれ用いられることが異なる。したがって、図４７の例のフィルタ実行部３０２の構成例およびフィルタ実行部３０２を構成する各部の構成例は、省略される。
なお、図４７のデブロッキングフィルタ３１ａのデブロッキングフィルタ処理については、図４１を参照して上述した処理と、ステップＳ３０１のフィルタのコンフィグレーション設定処理以外については、基本的に同様である。したがって、異なる処理である、図４１のステップＳ３０１のフィルタのコンフィグレーション設定処理について、図４８を参照して説明する。
［フィルタのコンフィグレーション処理］
次に、図４８のフローチャートを参照して、図４１のステップＳ３０１のフィルタのコンフィグレーション設定処理について説明する。
図示せぬ操作部を介して、デブロッキングコントロールフラグの情報、DisableDeblockingFilterフラグ情報（すなわち、ON/OFF情報）、パラメータβのオフセット値、およびパラメータtcのオフセット値が入力される。
コンフィグレーション設定部４０１は、ステップＳ４１１において、デブロッキングコントロールフラグが１であるか否かを判定する。ステップＳ４１１において、デブロッキングコントロールフラグが１であると判定された場合、処理は、ステップＳ４１２に進む。
デブロッキングコントロールフラグが１の場合、DisableDeblockingFilterフラグとオフセットを伝送することができる。したがって、ステップＳ４１２において、コンフィグレーション設定部４０１は、DisableDeblockingFilterフラグを読み込んで設定する。
ステップＳ４１３において、コンフィグレーション設定部４０１は、パラメータβのオフセット値(β_offset_div2)を読み込んで設定する。
ステップＳ４１４において、コンフィグレーション設定部４０１は、パラメータtcのオフセット値(tc_offset_div2)を読み込んで設定する。
ステップＳ４１５において、コンフィグレーション設定部４０１は、パラメータβのオフセット値とパラメータTcのオフセット値との差分であるdiff_β_tc_div2を生成する。コンフィグレーション設定部４０１は、生成した差分情報diff_β_tc_div2を、パラメータβのオフセット値とともに、可逆符号化部２６に供給する。
一方、ステップＳ４１１において、デブロッキングコントロールフラグが０であると判定された場合、コンフィグレーション設定処理は終了される。すなわち、ステップＳ４１１において、デブロッキングコントロールフラグが０であると判定された場合、DisableDeblockingFilterフラグとオフセットは伝送されないので、設定されず、デフォルトの値が用いられる。
［デブロッキングフィルタの構成例］
図４９は、画像復号装置におけるデブロッキングフィルタの構成例を示すブロック図である。
図４９の例において、デブロッキングフィルタ３１ｂは、コンフィグレーション設定部４５１およびフィルタ実行部３０２を含むように構成されている。
コンフィグレーション設定部４５１には、パラメータβのオフセット値（β_offset_div2）とパラメータβのオフセット値とパラメータTcのオフセット値との差分情報（diff_β_tc_div2）が入力される。
コンフィグレーション設定部４５１は、例えば、可逆復号部６２から入力されるDisableDeblockingFilterフラグ情報（すなわち、ON/OFF情報）、パラメータβのオフセット値、および差分情報を入力する。コンフィグレーション設定部４５１は、入力される情報を基に、デブロッキングフィルタ３１ｂにおける環境設定を行う。すなわち、コンフィグレーション設定部４５１においては、デブロッキングフィルタのβのオフセット値およびtcのオフセット値が設定される。なお、その際、Tcのオフセット値は、差分情報とβのオフセット値とが加算されることで求められて設定される。コンフィグレーション設定部４５１は、設定された情報を、フィルタ実行部３０２に供給する。
フィルタ実行部３０２は、図３７のフィルタ実行部３０２と基本的に同じであり、デブロッキングオフセットの値など、コンフィグレーション設定部３０１により設定された情報を基に、パラメータの生成に用いられる量子化パラメータＱＰを算出し、パラメータβおよびTcを生成して、フィルタ処理の要否やフィルタ強度を決定する。
その際、図３７のフィルタ実行部３０２においては、デブロッキングオフセットの値(dblk_offset_div2)が用いられる。これに対して、図４９のフィルタ実行部３０２においては、パラメータβのオフセット値（β_offset_div2）とパラメータTcのオフセット値（tc_offset_div2）がそれぞれ用いられることが異なる。したがって、図４９の例のフィルタ実行部３０２の構成例およびフィルタ実行部３０２を構成する各部の構成例は、省略される。
なお、図４９のデブロッキングフィルタ３１ｂのデブロッキングフィルタ処理については、図４１を参照して上述した処理と、ステップＳ３０１のフィルタのコンフィグレーション設定処理以外については、基本的に同様である。したがって、異なる処理である、図４１のステップＳ３０１のフィルタのコンフィグレーション設定処理について、図５０を参照して説明する。
［フィルタのコンフィグレーション処理］
次に、図５０のフローチャートを参照して、図４１のステップＳ３０１のフィルタのコンフィグレーション設定処理について説明する。
可逆復号部６２を介して、デブロッキングコントロールフラグの情報、DisableDeblockingFilterフラグ情報（すなわち、ON/OFF情報）、パラメータβのオフセット値（β_offset_div2）、および差分情報（diff_β_tc_div2）が入力される。
コンフィグレーション設定部４５１は、ステップＳ４２１において、デブロッキングコントロールフラグが１であるか否かを判定する。ステップＳ４２１において、デブロッキングコントロールフラグが１であると判定された場合、処理は、ステップＳ４２２に進む。
デブロッキングコントロールフラグが１の場合、DisableDeblockingFilterフラグとオフセットを伝送することができる。したがって、ステップＳ４２２において、コンフィグレーション設定部４５１は、DisableDeblockingFilterフラグを読み込んで設定する。
ステップＳ４２３において、コンフィグレーション設定部４５１は、パラメータβのオフセット値(β_offset_div2)を読み込んで設定する。
ステップＳ４２４において、コンフィグレーション設定部４５１は、差分情報diff_β_tc_div2に、パラメータβのオフセット値(β_offset_div2)を加算することで、パラメータTcのオフセット値（tc_offset_div2）を求めて設定する。
一方、ステップＳ４２１において、デブロッキングコントロールフラグが０であると判定された場合、コンフィグレーション設定処理は終了される。すなわち、ステップＳ４２１において、デブロッキングコントロールフラグが０であると判定された場合、DisableDeblockingFilterフラグとオフセットは伝送されないので、設定されず、デフォルトの値が用いられる。
［オフセット値と差分情報の伝送］
次に、図５１を参照して、オフセット値(β_offset_div2)と差分情報(diff_β_tc_div2)の伝送について説明する。
画像符号化装置１１においては、図示せぬ操作部を介して、βのオフセット値(β_offset_div2)とTcのオフセット値（tc_offset_div2）が、デブロッキングフィルタ３１ａに入力される。デブロッキングフィルタ３１ａにおいて、βのオフセット値(β_offset_div2)とtcのオフセット値（tc_offset_div2）が用いられてフィルタ処理が行われる。
さらに、デブロッキングフィルタ３１ａにおいて、差分情報(diff_β_tc_div2)が生成され、βのオフセット値(β_offset_div2)と差分情報(diff_β_tc_div2)とが可逆符号化部２６に供給される。そして、βのオフセット値(β_offset_div2)と差分情報(diff_β_tc_div2)は、可逆符号化部２６においてSVLC(Sin VLC)により書き込むことで符号化され、デブロッキングフィルタのパラメータとして、画像復号装置５１に伝送される。
画像符号化装置１１から送られてきたβのオフセット値(β_offset_div2)と差分情報(diff_β_tc_div2)は、画像復号装置５１において、可逆復号部６２で、SVLC(Sin VLC)により読み出すことで復号されて、それらがデブロッキングフィルタ３１ｂにおいて用いられて、Tcのオフセット値（tc_offset_div2）が求められる。そして、デブロッキングフィルタ３１ｂにおいて、βのオフセット値(β_offset_div2)と求められたTcのオフセット値（tc_offset_div2）とがフィルタ処理に用いられる。
なお、上記説明においては、コンフィグレーション設定部４０１において２つのパラメータのオフセット値の差分情報が生成されて、可逆符号化部２６に供給する例を説明したが、この差分情報は、可逆符号化部２６において生成するようにしてもよい。
［デブロッキングオフセットの値のシンタクスの例］
図５２は、デブロッキングオフセットの値のシンタクスの例を示す図である。
図５２の例において、βオフセットの値(beta_offset_div2)と差分情報(diff_beta_tc_div2)は、disaeble_deblocking_filter_flagのif文に記述されていることから、disaeble_deblocking_filter_flagが０でなければ、βオフセットの値(beta_offset_div2)と差分情報(diff_beta_tc_div2)が用いられる。
なお、このシンタクスは、スライスヘッダおよびPPS(ピクチャパラメータセット)に記述される。
また、上記説明においては、差分情報とともに、βのオフセットを送信するようにしたが、Tcのオフセットを送信するようにしてもよい。この場合、復号側で、差分情報とtcのオフセットからβのオフセットが求められる。
以上のように、２つのパラメータのオフセットを送るのではなく、どちらか一方のパラメータのオフセット値、および一方と他方のパラメータのオフセットの差分情報を送るようにした。
パラメータβのオフセットの値とパラメータTcのオフセットの値とには、相関があり、それらの値が連動していることが多く、その場合、差分情報が小さな値となるので、符号化の際のビット数を減らすことができる。
以上においては、符号化方式としてHEVC方式をベースに用いるようにした。ただし、本開示はこれに限らず、インループフィルタとして、少なくともデブロッキングフィルタを含む、その他の符号化方式／復号方式を適用することができる。
なお、本開示は、例えば、HEVC方式等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
＜９．第７の実施の形態（多視点画像符号化・多視点画像復号装置）＞
［多視画像点符号化・多視点画像復号への適用］
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図５３は、多視点画像符号化方式の一例を示す。
図５３に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。
図５３のような多視点画像符号化を行う場合、各ビュー（同一ビュー）において、デブロッキングフィルタパラメータ（フラグ、パラメータのオフセット値、および差分情報など）を設定することができる。また、各ビュー(異なるビュー)において、他のビューで設定されたデブロッキングフィルタパラメータを共有することもできる。
この場合、ベースビューにおいて設定されたデブロッキングフィルタパラメータが、少なくとも１つのノンベースビューで用いられる。あるいは、例えば、ノンベースビュー(view_id=i)において設定されたデブロッキングフィルタパラメータが、ベースビューおよびノンベースビュー(view_id=j)の少なくともどちらか一方で用いられる。
これにより、デブロッキングフィルタ処理において、適切にフィルタリングがかかるようにすることができる。すなわち、ブロックノイズを抑制することができる。
［多視点画像符号化装置］
図５４は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図５４に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。
符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１１（図１）を適用することができる。この場合、多視点画像符号化装置６００は、符号化部６０１が設定したデブロッキングフィルタパラメータと、符号化部６０２が設定したデブロッキングフィルタパラメータとを設定して伝送させる。
なお、上述したように符号化部６０１が設定したデブロッキングフィルタパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送させるようにしてもよい。逆に、符号化部６０２がまとめて設定したデブロッキングフィルタパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送させるようにしてもよい。
［多視点画像復号装置］
図５５は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図５５に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。
逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、画像復号装置５１（図３）を適用することができる。この場合、多視点画像復号装置６１０は、符号化部６０１が設定し、復号部６１２が復号したデブロッキングフィルタパラメータと、符号化部６０２が設定し、復号部６１３が復号したデブロッキングフィルタパラメータを用いて処理を行う。
なお、上述したように符号化部６０１（または、符号化部６０２）が設定したデブロッキングフィルタパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送されている場合がある。この場合、多視点画像復号装置６１０においては、符号化部６０１（または、符号化部６０２）が設定し、復号部６１２（または復号部６１３）が復号したデブロッキングフィルタパラメータを用いて処理が行われる。
＜１０．第８の実施の形態（階層画像符号化・階層画像復号装置）＞
［階層画像点符号化・階層画像復号への適用］
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図５６は、多視点画像符号化方式の一例を示す。
図５６に示されるように、階層画像は、複数の階層(解像度)の画像を含み、その複数の解像度のうちの所定の１つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤの画像として扱われる。
図５６のような階層画像符号化(空間スケーラビリティ)を行う場合、各レイヤ(同一レイヤ)において、デブロッキングフィルタパラメータを設定することができる。また、各レイヤ(異なるレイヤ)において、他のレイヤで設定されたデブロッキングフィルタパラメータを共有することができる。
この場合、ベースレイヤにおいて設定されたデブロッキングフィルタパラメータが、少なくとも１つのノンベースレイヤで用いられる。あるいは、例えば、ノンベースレイヤ(layer _id=i)において設定されたデブロッキングフィルタパラメータが、ベースレイヤおよびノンベースレイヤ(layer_id=j)の少なくともどちらか一方で用いられる。
これにより、デブロッキング処理において、適切にフィルタリングがかかるようにすることができる。すなわち、ブロックノイズを抑制することができる。
［階層画像符号化装置］
図５７は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図５７に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。
符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１１（図１）を適用することができる。この場合、階層画像符号化装置６２０は、符号化部６２１が設定したデブロッキングフィルタパラメータと、符号化部６０２が設定したデブロッキングフィルタパラメータとを設定して伝送させる。
なお、上述したように符号化部６２１が設定したデブロッキングフィルタパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送させるようにしてもよい。逆に、符号化部６２２が設定したデブロッキングフィルタパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送させるようにしてもよい。
［階層画像復号装置］
図５８は、上述した階層画像復号を行う階層画像復号装置を示す図である。図５８に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。
逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、画像復号装置５１（図３）を適用することができる。この場合、階層画像復号装置６３０は、符号化部６２１が設定し、復号部６３２が復号したデブロッキングフィルタパラメータと、符号化部６２２が設定し、復号部６３３が復号したデブロッキングフィルタパラメータを用いて処理を行う。
なお、上述したように符号化部６２１（または、符号化部６２２）が設定したデブロッキングフィルタパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送されている場合がある。この場合、階層画像復号装置６３０においては、符号化部６２１（または、符号化部６２２）が設定し、復号部６３２（または、復号部６３３）が復号したデブロッキングフィルタパラメータを用いて処理が行われる。
＜１１．第９の実施の形態＞
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図５９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ８００において、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。
バス８０４には、さらに、入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、入力部８０６、出力部８０７、記憶部８０８、通信部８０９、及びドライブ８１０が接続されている。
入力部８０６は、キーボード、マウス、マイクロホンなどよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記憶部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインタフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８２１を駆動する。
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インタフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア８２１をドライブ８１０に装着することにより、入出力インタフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜１２．応用例＞
［第１の応用例：テレビジョン受像機］
図６０は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去（抑制）などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去（抑制）などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、ブロックノイズを抑制することができる。
［第２の応用例：携帯電話機］
図６１は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、ブロックノイズを抑制することができる。
［第３の応用例：記録再生装置］
図６２は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、ブロックノイズを抑制することができる。
［第４の応用例：撮像装置］
図６３は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、ブロックノイズを抑制することができる。
＜１３．スケーラブル符号化の応用例＞
［第１のシステム］
次に、図５６乃至図５８を参照して上述したスケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図６４に示される例のように、伝送するデータの選択のために利用される。
図６４に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。
その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。
なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
そして、以上のような図６４のようなデータ伝送システム１０００においても、図５６乃至図５８を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図５６乃至図５８を参照して上述した効果と同様の効果を得ることができる。
［第２のシステム］
また、スケーラブル符号化は、例えば、図６５に示される例のように、複数の通信媒体を介する伝送のために利用される。
図６５に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。
端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。
端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
そして、以上のような図６５のデータ伝送システム１１００においても、図５６乃至図５８を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図５６乃至図５８を参照して上述した効果と同様の効果を得ることができる。
［第３のシステム］
また、スケーラブル符号化は、例えば、図６６に示される例のように、符号化データの記憶に利用される。
図６６に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。
スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。
このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。
以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。
そして、以上のような図６６の撮像システム１２００においても、図５６乃至図５８を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図５６乃至図５８を参照して上述した効果と同様の効果を得ることができる。
なお、本明細書では、デブロッキングフィルタのパラメータや適応オフセットフィルタのパラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
１１ 画像符号化装置， ３１，３１ａ，３１ｂ デブロッキングフィルタ， ５１ 画像復号装置， ６２ 可逆復号部， １０１ コンフィグレーション設定部， １０２ フィルタ実行部， １１１ ＱＰ算出部， １１１ａ ＱＰ取得部， １１１ｂ 平均ＱＰ計算部， １１２ β生成部， １１３ Tc生成部， １１４ フィルタ処理決定部， １１５ フィルタ処理部， １２１ βLUT_input計算部， １２２ クリップ処理部， １２３ 既存β生成部， １２４ 拡張β生成部， １３１ ＬＵＴ， １４１ β（ｑｐ）計算部， １５３ 拡張ＬＵＴ， １６１ Tc_LUT_input計算部， １６２ クリップ処理部， １６３ 既存Tc生成部， １６４ 拡張Tc生成部， １７１ ＬＵＴ， １８１ Tc（ｑｐ）計算部， １９３ 拡張ＬＵＴ， ２０１ フィルタ処理決定部， ２５１ β生成処理部， ３０１ コンフィグレーション設定部， ３０２ フィルタ実行部， ３１１ β生成部， ３１２ Tc生成部， ３２１ βLUT_input計算部， ３２２ β生成処理部， ３３１ Tc_LUT_input計算部， ３３２ Tc生成処理部， ４０１ コンフィグレーション設定部， ４５１ コンフィグレーション設定部

Claims (28)

  1. デブロッキングフィルタのクリップ処理に用いられるフィルタパラメータの値が１６よりも大きな値を含むレンジに従って設定された前記フィルタパラメータを用いて、ローカル復号されたローカル復号画像のブロック境界の近傍に位置する画素に、前記デブロッキングフィルタを適用するフィルタ部と、
    前記フィルタ部により前記デブロッキングフィルタが適用された前記ローカル復号画像を用いて、画像を符号化処理する符号化部と
    を含む画像処理装置。
  2. 前記フィルタ部は、前記レンジに含まれる１６よりも大きな値の前記フィルタパラメータを用いて、前記デブロッキングフィルタを適用する
    請求項１に記載の画像処理装置。
  3. 前記フィルタパラメータは、量子化パラメータに応じて設定される値である
    請求項２に記載の画像処理装置。
  4. 前記量子化パラメータは、前記ブロック境界に隣接する隣接ブロックに設定される前記量子化パラメータの平均である
    請求項３に記載の画像処理装置。
  5. 前記フィルタパラメータは、前記デブロッキングフィルタの強度を選択する際および前記デブロッキングフィルタのクリップ処理に用いられるtcである
    請求項４に記載の画像処理装置。
  6. 前記フィルタ部は、前記量子化パラメータの平均と前記フィルタパラメータとの対応関係に対して前記フィルタパラメータの値が１６よりも大きな値を含むように拡張された前記レンジに従って設定された前記フィルタパラメータを用いて、前記ローカル復号画像の前記ブロック境界の近傍に位置する画素に、前記デブロッキングフィルタを適用する
    請求項５に記載の画像処理装置。
  7. 前記デブロッキングフィルタは、第１の強度を有する弱フィルタと前記第１の強度よりも強い第２の強度を有する強フィルタとを含み、
    前記フィルタパラメータは、前記弱フィルタと前記強フィルタとのうちどちらか一方を選択する際または前記強フィルタのクリップ処理に用いられるパラメータである
    請求項６に記載の画像処理装置。
  8. 前記ブロック境界は、直交変換を行う単位であるトランスフォームユニットの境界または予測処理を行う単位であるプレディクションユニットの境界である
    請求項７に記載の画像処理装置。
  9. 前記符号化部は、
    前記画像を直交変換して変換係数データを生成する直交変換部と、
    前記直交変換部により生成された前記変換係数データを量子化して量子化データを生成する量子化部と、
    前記量子化部により生成された前記量子化データを算術符号化する算術符号化部と
    を含む請求項８に記載の画像処理装置。
  10. 前記符号化部は、最大コーディングユニットを再帰的に分割することによって得られるコーディングユニットを処理単位として、前記画像を符号化処理する
    請求項９に記載の画像処理装置。
  11. 前記コーディングユニットは、前記最大コーディングユニットを４分木構造に従って再帰的に分割される
    請求項１０に記載の画像処理装置。
  12. 前記最大コーディングユニットは、前記４分木構造における最上位層の前記コーディングユニットである
    請求項１１に記載の画像処理装置。
  13. 前記最大コーディングユニットは、シーケンス単位で固定サイズのブロックであり、
    前記コーディングユニットは、可変サイズのブロックである
    請求項１２に記載の画像処理装置。
  14. 画像処理装置の、
    フィルタ部が、デブロッキングフィルタのクリップ処理に用いられるフィルタパラメータの値が１６よりも大きな値を含むレンジに従って設定された前記フィルタパラメータを用いて、ローカル復号されたローカル復号画像のブロック境界の近傍に位置する画素に、前記デブロッキングフィルタを適用し、
    符号化部が、前記フィルタ部により前記デブロッキングフィルタが適用された前記ローカル復号画像を用いて、画像を符号化処理する
    画像処理方法。
  15. 前記フィルタ部が、前記レンジに含まれる１６よりも大きな値の前記フィルタパラメータを用いて、前記デブロッキングフィルタを適用する
    請求項１４に記載の画像処理方法。
  16. 前記フィルタパラメータは、量子化パラメータに応じて設定される値である
    請求項１５に記載の画像処理方法。
  17. 前記量子化パラメータは、前記ブロック境界に隣接する隣接ブロックに設定される前記量子化パラメータの平均である
    請求項１６に記載の画像処理方法。
  18. 前記フィルタパラメータは、前記デブロッキングフィルタの強度を選択する際および前記デブロッキングフィルタのクリップ処理に用いられるtcである
    請求項１７に記載の画像処理方法。
  19. 前記フィルタ部が、前記量子化パラメータの平均と前記フィルタパラメータとの対応関係に対して前記フィルタパラメータの値が１６よりも大きな値を含むように拡張された前記レンジに従って設定された前記フィルタパラメータを用いて、前記ローカル復号画像の前記ブロック境界の近傍に位置する画素に、前記デブロッキングフィルタを適用する
    請求項１８に記載の画像処理方法。
  20. 前記デブロッキングフィルタは、第１の強度を有する弱フィルタと前記第１の強度よりも強い第２の強度を有する強フィルタとを含み、
    前記フィルタパラメータは、前記弱フィルタと前記強フィルタとのうちどちらか一方を選択する際または前記強フィルタのクリップ処理に用いられるパラメータである
    請求項１９に記載の画像処理方法。
  21. 前記ブロック境界は、直交変換を行う単位であるトランスフォームユニットの境界または予測処理を行う単位であるプレディクションユニットの境界である
    請求項２０に記載の画像処理方法。
  22. 前記符号化部において、
    直交変換部が、前記画像を直交変換して変換係数データを生成し、
    量子化部が、前記直交変換部により生成された前記変換係数データを量子化して量子化データを生成し、
    算術符号化部が、前記量子化部により生成された前記量子化データを算術符号化する
    請求項２１に記載の画像処理方法。
  23. 前記符号化部が、最大コーディングユニットを再帰的に分割することによって得られるコーディングユニットを処理単位として、前記画像を符号化処理する
    請求項２２に記載の画像処理方法。
  24. 前記コーディングユニットは、前記最大コーディングユニットを４分木構造に従って再帰的に分割される
    請求項２３に記載の画像処理方法。
  25. 前記最大コーディングユニットは、前記４分木構造における最上位層の前記コーディングユニットである
    請求項２４に記載の画像処理方法。
  26. 前記最大コーディングユニットは、シーケンス単位で固定サイズのブロックであり、
    前記コーディングユニットは、可変サイズのブロックである
    請求項２５に記載の画像処理方法。
  27. デブロッキングフィルタのクリップ処理に用いられるフィルタパラメータの値が１６よりも大きな値を含むレンジに従って設定された前記フィルタパラメータを用いて、ローカル復号されたローカル復号画像のブロック境界の近傍に位置する画素に、前記デブロッキングフィルタを適用するフィルタ部と、
    前記フィルタ部により前記デブロッキングフィルタが適用された前記ローカル復号画像を用いて、画像を符号化処理する符号化部と
    して、コンピュータを機能させるプログラム。
  28. 請求項２７に記載のプログラムが記録されている記録媒体。
JP2016116150A 2012-04-06 2016-06-10 画像処理装置および方法、プログラム、並びに記録媒体 Active JP6471911B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012087307 2012-04-06
JP2012087307 2012-04-06
JP2012140463 2012-06-22
JP2012140463 2012-06-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014509126A Division JP6064999B2 (ja) 2012-04-06 2013-03-27 画像処理装置および方法、プログラム、並びに記録媒体

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2017181118A Division JP6521013B2 (ja) 2012-04-06 2017-09-21 画像処理装置および方法、プログラム、並びに記録媒体
JP2019004087A Division JP2019054558A (ja) 2012-04-06 2019-01-15 画像処理装置および方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2016184963A JP2016184963A (ja) 2016-10-20
JP6471911B2 true JP6471911B2 (ja) 2019-02-20

Family

ID=49300435

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2014509126A Active JP6064999B2 (ja) 2012-04-06 2013-03-27 画像処理装置および方法、プログラム、並びに記録媒体
JP2016116150A Active JP6471911B2 (ja) 2012-04-06 2016-06-10 画像処理装置および方法、プログラム、並びに記録媒体
JP2016240350A Active JP6399366B2 (ja) 2012-04-06 2016-12-12 画像処理装置および方法、プログラム、並びに記録媒体
JP2016240351A Active JP6399367B2 (ja) 2012-04-06 2016-12-12 画像処理装置および方法、プログラム、並びに記録媒体
JP2017181118A Active JP6521013B2 (ja) 2012-04-06 2017-09-21 画像処理装置および方法、プログラム、並びに記録媒体
JP2019004087A Pending JP2019054558A (ja) 2012-04-06 2019-01-15 画像処理装置および方法、プログラム、並びに記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014509126A Active JP6064999B2 (ja) 2012-04-06 2013-03-27 画像処理装置および方法、プログラム、並びに記録媒体

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2016240350A Active JP6399366B2 (ja) 2012-04-06 2016-12-12 画像処理装置および方法、プログラム、並びに記録媒体
JP2016240351A Active JP6399367B2 (ja) 2012-04-06 2016-12-12 画像処理装置および方法、プログラム、並びに記録媒体
JP2017181118A Active JP6521013B2 (ja) 2012-04-06 2017-09-21 画像処理装置および方法、プログラム、並びに記録媒体
JP2019004087A Pending JP2019054558A (ja) 2012-04-06 2019-01-15 画像処理装置および方法、プログラム、並びに記録媒体

Country Status (8)

Country Link
US (3) US20150304657A1 (ja)
JP (6) JP6064999B2 (ja)
CN (11) CN110611823B (ja)
BR (2) BR122018013415B1 (ja)
MX (3) MX339915B (ja)
RU (1) RU2633140C2 (ja)
TW (4) TWI581623B (ja)
WO (1) WO2013150945A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI581623B (zh) * 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium
WO2015126144A1 (ko) * 2014-02-18 2015-08-27 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
EP3122049A4 (en) * 2014-03-19 2017-11-08 Nec Corporation Image encoding apparatus, image encoding method, and image encoding program
KR20180006411A (ko) * 2015-06-07 2018-01-17 엘지전자 주식회사 디블록킹 필터링을 수행하는 방법 및 장치
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
WO2018123423A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
US11095896B2 (en) * 2017-10-12 2021-08-17 Qualcomm Incorporated Video coding with content adaptive spatially varying quantization
US11463763B2 (en) 2018-03-08 2022-10-04 Dish Network L.L.C. Reducing digital video recorder storage through reduced encoding of certain program portions
US10873778B2 (en) * 2018-03-08 2020-12-22 Dish Network L.L.C. Reducing digital video recorder storage through reduced encoding of certain program portions
WO2020084929A1 (ja) * 2018-10-23 2020-04-30 日本電気株式会社 映像符号化又は復号装置、映像符号化又は復号方法、プログラム、及び記録媒体
GB2580173B (en) * 2018-12-21 2022-07-27 Canon Kk A filter
JP7357481B2 (ja) 2019-07-30 2023-10-06 日本放送協会 デブロッキングフィルタ制御装置及びプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636645B1 (en) * 2000-06-29 2003-10-21 Eastman Kodak Company Image processing method for reducing noise and blocking artifact in a digital image
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
WO2005028664A2 (en) * 2003-09-17 2005-03-31 University Of Massachusetts Modulation of programmed necrosis
US8311129B2 (en) * 2005-12-16 2012-11-13 Lifesize Communications, Inc. Temporal video filtering
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
CN101472175A (zh) * 2007-12-29 2009-07-01 智多微电子（上海）有限公司 一种支持多视频标准的去块效应滤波装置
CN101267560A (zh) * 2008-03-19 2008-09-17 浙江大学 去块滤波方法及装置
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
RU2405200C2 (ru) * 2008-07-17 2010-11-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ и устройство быстрого фильтрования шума цифровых изображений
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5347849B2 (ja) * 2009-09-01 2013-11-20 ソニー株式会社 画像符号化装置、画像受信装置、画像符号化方法及び画像受信方法
CN102098501B (zh) * 2009-12-09 2013-05-08 中兴通讯股份有限公司 一种视频图像去块效应的方法和装置
JP5793511B2 (ja) * 2010-02-05 2015-10-14 テレフオンアクチーボラゲット エル エム エリクソン（パブル） デブロッキングフィルタリング制御
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
WO2011126284A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
US9247247B2 (en) * 2010-04-13 2016-01-26 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus using prediction units based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus using prediction units based on encoding units determined in accordance with a tree structure
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
CN106454356B (zh) * 2010-06-17 2019-11-08 夏普株式会社 解码装置及编码装置
CN103141096A (zh) * 2010-09-28 2013-06-05 三星电子株式会社 自适应滤波方法和设备
ES2753587T3 (es) * 2010-12-07 2020-04-13 Sony Corp Dispositivo de procesamiento de imágenes y método de procesamiento de imágenes
WO2012077607A1 (ja) * 2010-12-07 2012-06-14 ソニー株式会社 画像処理装置及び画像処理方法
CN102055981B (zh) * 2010-12-31 2013-07-03 北京大学深圳研究生院 用于视频编码器的去块滤波器及其实现方法
US9244290B2 (en) * 2011-01-06 2016-01-26 Applied Materials Israel Ltd. Method and system for coherence reduction
JP5884313B2 (ja) * 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
CN103404147B (zh) * 2011-03-10 2016-08-31 联发科技（新加坡）私人有限公司 去区块滤波器方法及装置
EP2775711B1 (en) * 2011-11-04 2020-01-01 LG Electronics Inc. Method and apparatus for encoding/decoding image information
US20130113880A1 (en) * 2011-11-08 2013-05-09 Jie Zhao High Efficiency Video Coding (HEVC) Adaptive Loop Filter
CN108471532B (zh) * 2011-11-25 2021-06-29 太阳专利托管公司 图像解码方法及图像解码装置
US9451258B2 (en) * 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
TWI581623B (zh) * 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium

Also Published As

Publication number Publication date
TWI569625B (zh) 2017-02-01
TW201720169A (zh) 2017-06-01
TW201345266A (zh) 2013-11-01
CN108600770A (zh) 2018-09-28
CN104221389A (zh) 2014-12-17
CN110740336A (zh) 2020-01-31
WO2013150945A1 (ja) 2013-10-10
MX2014011602A (es) 2014-11-21
JP2017073820A (ja) 2017-04-13
CN110493605B (zh) 2021-10-08
CN107360436A (zh) 2017-11-17
CN108600770B (zh) 2019-11-19
CN107360436B (zh) 2020-04-17
JP6064999B2 (ja) 2017-01-25
JP6399366B2 (ja) 2018-10-03
CN110493606B (zh) 2021-10-08
RU2014139416A (ru) 2016-04-20
US10419756B2 (en) 2019-09-17
CN107360439B (zh) 2019-11-19
TWI667913B (zh) 2019-08-01
JP6521013B2 (ja) 2019-05-29
JP2018026837A (ja) 2018-02-15
CN107360437A (zh) 2017-11-17
CN110493606A (zh) 2019-11-22
MX352719B (es) 2017-12-06
CN110611822A (zh) 2019-12-24
US20190327468A1 (en) 2019-10-24
CN110611823A (zh) 2019-12-24
US20170289544A1 (en) 2017-10-05
JP6399367B2 (ja) 2018-10-03
CN107360437B (zh) 2019-11-19
CN107360438B (zh) 2020-04-17
CN107360439A (zh) 2017-11-17
TW201720168A (zh) 2017-06-01
JP2019054558A (ja) 2019-04-04
TWI632808B (zh) 2018-08-11
JP2017073821A (ja) 2017-04-13
US20150304657A1 (en) 2015-10-22
CN110611823B (zh) 2021-10-08
TWI581623B (zh) 2017-05-01
BR122018013415B1 (pt) 2021-05-04
CN110493605A (zh) 2019-11-22
JPWO2013150945A1 (ja) 2015-12-17
RU2633140C2 (ru) 2017-10-11
CN104221389B (zh) 2017-09-19
MX339915B (es) 2016-06-17
CN110611822B (zh) 2021-10-01
US10887590B2 (en) 2021-01-05
CN107360438A (zh) 2017-11-17
BR112014024265B1 (pt) 2018-09-25
JP2016184963A (ja) 2016-10-20
CN110740336B (zh) 2021-10-08
TW201642663A (zh) 2016-12-01

Similar Documents

Publication Publication Date Title
JP6399366B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2014002896A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
WO2014050676A1 (ja) 画像処理装置および方法
WO2014050731A1 (ja) 画像処理装置および方法
WO2013108688A1 (ja) 画像処理装置および方法
WO2014156708A1 (ja) 画像復号装置および方法
WO2013005659A1 (ja) 画像処理装置および方法
JPWO2014002900A1 (ja) 画像処理装置および画像処理方法
RU2737038C2 (ru) Устройство и способ обработки изображений
WO2014156707A1 (ja) 画像符号化装置および方法、並びに、画像復号装置および方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190109

R151 Written notification of patent or utility model registration

Ref document number: 6471911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151