JPWO2014045919A1 - 画像処理装置および方法 - Google Patents

Abstract

本開示は、ブロックノイズを抑制することができるようにする画像処理装置および方法に関する。フィルタ強度判定部は、制御部の制御のもと、４ライン毎に、フィルタ強度の判定を行う。すなわち、フィルタ強度判定部は、ブロック境界判定部によりフィルタを行うと判定された場合、StrongフィルタまたはWeakフィルタの何れの強度でフィルタ処理を行うか判定して、判定結果をフィルタ演算部に出力する。その際、フィルタ強度判定部は、Strongフィルタの判定式に、Bs値を用いる。例えば、Bs値を用いる場合、制御部からのBs値の１次関数に応じて、判定の閾値が設定される。本開示は、例えば、画像処理装置に適用することができる。

Description

本開示は、画像処理装置および方法に関し、特に、ブロックノイズを抑制することができるようにした画像処理装置および方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）などがある。

そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている（例えば、非特許文献１参照）。

現時点におけるHEVCのドラフトでは、インループフィルタの１つとして、デブロッキングフィルタが採用されている。デブロッキングフィルタには、StrongフィルタとWeakフィルタがあり、ブロック境界に対して、それぞれのフィルタの判定式を用いて、どちらのフィルタをかけるかが判定される。

すなわち、Strongフィルタの判定式を用いて、Strongフィルタをかけるか否かが判定され、Strongフィルタをかけないと判定されたブロック境界に対して、Weakフィルタの判定式を用いて、Weakフィルタをかけるかが判定される。

Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand," High efficiency video coding (HEVC) text specification draft 8 ", JCTVC-J1003_d7, 2012.7.28

しかしながら、HEVCのドラフトのStrongフィルタの判定式のままであると、ブロックノイズが目立つところにもWeakフィルタがかかってしまうことが多く、ブロックノイズが残ってしまうことがあった。

本開示は、このような状況に鑑みてなされたものであり、ブロックノイズを抑制することができるものである。

本開示の第１の側面の画像処理装置は、階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成する復号部と、前記復号部により生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に対するデブロッキングフィルタの強度を示す強度パラメータを用いて、ストロングフィルタを適用するかを判定するフィルタ判定部と、前記フィルタ判定部により前記ストロングフィルタを適用すると判定された場合に、前記ブロック境界に前記ストロングフィルタを施すフィルタ部とを備える。

前記フィルタ判定部は、前記ブロック境界に対するデブロッキングフィルタの強度を示す強度パラメータと前記デブロッキングフィルタの判定に用いられる閾値を示す判定パラメータとを用いて、前記ストロングフィルタを適用するかを判定することができる。

前記強度を示すパラメータと前記判定パラメータとを乗算した値を用いて、前記ストロングフィルタを適用するかを判定することができる。

前記フィルタ判定部は、前記強度パラメータまたは前記判定パラメータを変数とする関数を用いて、前記ストロングフィルタを適用するかを判定することができる。

前記フィルタ判定部は、前記強度パラメータと前記判定パラメータの１次関数を用いて、前記ストロングフィルタを適用するかを判定することができる。

前記強度パラメータは、予測モードがイントラ予測の場合、インター予測の場合より大きい値をとるパラメータである。

前記強度パラメータは、Bs(Boundary Filtering Strength)値である。

前記判定パラメータは、デブロッキングフィルタの要否判定およびデブロッキングフィルタの強度選択判定に用いられるbetaである。

本開示の第１の側面の画像処理方法は、画像処理装置が、階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成し、生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に対するデブロッキングフィルタの強度を示す強度パラメータを用いて、ストロングフィルタを適用するかを判定し、前記ストロングフィルタを適用すると判定された場合に、前記ブロック境界に前記ストロングフィルタを施す。

本開示の第１の側面においては、階層構造を有する単位で符号化された符号化ストリームを復号して画像が生成される。そして、生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に対するデブロッキングフィルタの強度を示す強度パラメータを用いて、前記ストロングフィルタを適用するかが判定され、前記ストロングフィルタを適用すると判定された場合に、前記ブロック境界に前記ストロングフィルタが施される。

なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。

本開示の第１の側面によれば、画像を復号することができる。特に、ブロックノイズを抑制することができる。

画像符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 Strongフィルタの判定式を説明する図である。 量子化パラメータとｆ１（Bs）＝Bs＋２の場合の式（４）の右辺の値との関係を示す図である。 図６の場合の図５のブロックＰおよび隣接ブロックＱの画素値の例を示す図である。 量子化パラメータとｆ２（Bs）＝Bs＋２の場合の式（５）の右辺の値との関係を示す図である。 図８の場合の図５のブロックＰおよび隣接ブロックＱの画素値の例を示す図である。 量子化パラメータとｆ３（Bs）＝Bs＋２の場合の式（６）の右辺の値との関係を示す図である。 図１０の場合の図５のブロックＰおよび隣接ブロックＱの画素値の例を示す図である。 具体的な例を説明する図である。 本技術を適用したデブロッキングフィルタの構成例を示すブロック図である。 デブロッキングフィルタ処理を説明するフローチャートである。 輝度境界のフィルタ処理を説明するフローチャートである。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の主な構成例を示す図である。 本技術を適用した多視点画像復号装置の主な構成例を示す図である。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の主な構成例を示す図である。 本技術を適用した多視点画像復号装置の主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．装置および動作の概要
２．第１の実施の形態（画像符号化装置、画像復号装置）
３．第２の実施の形態（多視点画像符号化・復号）
４．第３の実施の形態（階層画像符号化・復号）
５．第４の実施の形態（コンピュータ）
６．応用例
７．第５の実施の形態（セット・ユニット・モジュール・プロセッサ）

＜１．装置および動作の概要＞
［画像符号化装置の構成例］
図１は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。

図１に示される画像符号化装置１１は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、HEVC（High Efficiency Video Coding）方式などが用いられる。

なお、HEVC方式においては、コーディングユニット（ＣＵ（Coding Unit））が規定されている。ＣＵは、Coding Tree Block（CTB）とも呼ばれ、H．264/AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。

例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、ＣＵの最大サイズ（ＬＣＵ（Largest Coding Unit））と最小サイズ（ＳＣＵ（Smallest Coding Unit））が規定される。

それぞれのＬＣＵ内においては、ＳＣＵのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのＣＵに分割することができる。２Ｎ×２Ｎの大きさのＣＵは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのＣＵに分割される。

更に、ＣＵは、イントラ若しくはインター予測処理の対象となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（ＰＵ））に分割され、また、直交変換処理の対象となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（ＴＵ））に分割される。現在、HEVC方式においては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。

図１の画像符号化装置１１は、A/D（Analog / Digital）変換部２１、画面並べ替えバッファ２２、演算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、および蓄積バッファ２７を有する。また、画像符号化装置１１は、逆量子化部２８、逆直交変換部２９、演算部３０、デブロッキングフィルタ３１ａ、フレームメモリ３２、選択部３３、イントラ予測部３４、動き予測・補償部３５、予測画像選択部３６、およびレート制御部３７を有する。

さらに、画像符号化装置１１は、デブロッキングフィルタ３１ａとフレームメモリ３２との間に、適応オフセットフィルタ４１および適応ループフィルタ４２を有する。

A/D変換部２１は、入力された画像データをA/D変換し、画面並べ替えバッファ２２に出力し、記憶させる。

画面並べ替えバッファ２２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ２２は、フレームの順番を並び替えた画像を、演算部２３に供給する。また、画面並べ替えバッファ２２は、フレームの順番を並び替えた画像を、イントラ予測部３４および動き予測・補償部３５にも供給する。

演算部２３は、画面並べ替えバッファ２２から読み出された画像から、予測画像選択部３６を介してイントラ予測部３４若しくは動き予測・補償部３５から供給される予測画像を減算し、その差分情報を直交変換部２４に出力する。

例えば、イントラ符号化が行われる画像の場合、演算部２３は、画面並べ替えバッファ２２から読み出された画像から、イントラ予測部３４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部２３は、画面並べ替えバッファ２２から読み出された画像から、動き予測・補償部３５から供給される予測画像を減算する。

直交変換部２４は、演算部２３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部２５に供給する。

量子化部２５は、直交変換部２４が出力する変換係数を量子化する。量子化部２５は、量子化された変換係数を可逆符号化部２６に供給する。

可逆符号化部２６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。

可逆符号化部２６は、イントラ予測モードを示す情報などのパラメータをイントラ予測部３４から取得し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部３５から取得する。

可逆符号化部２６は、量子化された変換係数を符号化するとともに、取得した各パラメータ（シンタクス要素）を符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部２６は、符号化して得られた符号化データを蓄積バッファ２７に供給して蓄積させる。

例えば、可逆符号化部２６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ２７は、可逆符号化部２６から供給された符号化ストリーム（データ）を、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。すなわち、蓄積バッファ２７は、符号化ストリームを伝送する伝送部でもある。

また、量子化部２５において量子化された変換係数は、逆量子化部２８にも供給される。逆量子化部２８は、その量子化された変換係数を、量子化部２５による量子化に対応する方法で逆量子化する。逆量子化部２８は、得られた変換係数を、逆直交変換部２９に供給する。

逆直交変換部２９は、供給された変換係数を、直交変換部２４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部３０に供給される。

演算部３０は、逆直交変換部２９より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部３６を介してイントラ予測部３４若しくは動き予測・補償部３５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。

例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部３０は、その差分情報にイントラ予測部３４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部３０は、その差分情報に動き予測・補償部３５から供給される予測画像を加算する。

その加算結果である復号画像は、デブロッキングフィルタ３１ａおよびフレームメモリ３２に供給される。

デブロッキングフィルタ３１ａは、適宜デブロッキングフィルタ処理を行うことにより復号画像のブロック歪を抑制する。デブロッキングフィルタ３１ａは、Strong（強）フィルタとWeak（弱）フィルタとを有しており、それぞれの判定式を用いてどちらのフィルタを適用するかを判定する。Strongフィルタの判定式は、３つの判定式からなり、それらの判定式には、量子化パラメータＱＰを基に求められるパラメータbetaまたはtcに加えて、Bs(Boundary Filtering Strength)値が用いられる。パラメータbetaおよびtcは、フィルタに関する判定に用いられる閾値であり、デブロッキングフィルタの要否判定および強度選択判定に用いられる判定パラメータである。なお、パラメータtcは、フィルタ自体にも用いられるパラメータである。Bs値は、ブロック境界に対する強度を示す強度パラメータである。

なお、デブロッキングフィルタ３１ａは、ユーザの指示により利用不可にすることも可能であり、デブロッキングフィルタ３１ａには、ユーザが図示せぬ操作部などを操作することで、デブロッキングフィルタを行うか否かのON/OFF情報が入力される。また、上述したパラメータbetaおよびtcの各オフセットは、デフォルトが０であるが、それ以外の値である場合には、ユーザが図示せぬ操作部などを操作することで、デブロッキングフィルタ３１ａに入力される。これらのデブロッキングフィルタのON/OFF情報（DisableDeblockingFilterフラグ情報ともいう）と、パラメータbetaおよびtcの各オフセットは、デブロッキングフィルタのパラメータとして、可逆符号化部２６において符号化され、後述する図３の画像復号装置５１に送信される。

デブロッキングフィルタ３１ａは、演算部３０からの画像に対して、上述したON/OFF情報、オフセット、Bs値、並びにパラメータであるbetaおよびtcなどを用いて、デブロッキングフィルタ処理を行う。デブロッキングフィルタ３１ａは、そのフィルタ処理結果を適応オフセットフィルタ４１に供給する。なお、デブロッキングフィルタ３１ａの詳細な構成については、図１３を参照して後述する。

適応オフセットフィルタ４１は、デブロッキングフィルタ３１ａによるフィルタ後の画像に対して、主にリンギングを抑制するオフセットフィルタ(SAO: Sample adaptive offset)処理を行う。

オフセットフィルタの種類は、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの計９種類がある。適応オフセットフィルタ４１は、領域（例えば、ＬＣＵ）毎にオフセットフィルタの種類が決定されたものであるＬＣＵ毎のオフセット値を用いて、デブロッキングフィルタ３１ａによるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ４１は、フィルタ処理後の画像を、適応ループフィルタ４２に供給する。

なお、画像符号化装置１１において、ＬＣＵ毎のオフセット値は、適応オフセットフィルタ４１により算出されて用いられる。算出されたＬＣＵ毎のオフセット値は、適応オフセットパラメータとして、可逆符号化部２６において符号化され、後述する図３の画像復号装置５１に送信される。

適応ループフィルタ４２は、適応オフセットフィルタ４１によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位（例えば、ＬＣＵ）毎に、適応ループフィルタ（ALF:AdaptiveLoop Filter)処理を行う。適応ループフィルタ４２においては、フィルタとして、例えば、２次元のウィナーフィルタ（Wiener Filter）が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。適応ループフィルタ４２は、フィルタ処理結果をフレームメモリ３２に供給する。

なお、図１の例においては図示しないが、画像符号化装置１１において、フィルタ係数は、処理単位毎に、画面並べ替えバッファ１２からの原画像との残差を最小とするよう適応ループフィルタ４２により算出されて用いられる。算出されたフィルタ係数は、適応ループフィルタパラメータとして、可逆符号化部２６において符号化され、後述する図３の画像復号装置５１に送信される。

フレームメモリ３２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部３３を介してイントラ予測部３４または動き予測・補償部３５に出力する。

例えば、イントラ符号化が行われる画像の場合、フレームメモリ３２は、参照画像を、選択部３３を介してイントラ予測部３４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ３２は、参照画像を、選択部３３を介して動き予測・補償部３５に供給する。

選択部３３は、フレームメモリ３２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部３４に供給する。また、選択部３３は、フレームメモリ３２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部３５に供給する。

イントラ予測部３４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部３４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。

イントラ予測部３４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部３４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部３６を介して演算部２３や演算部３０に供給する。

また、上述したように、イントラ予測部３４は、採用したイントラ予測モードを示すイントラ予測モード情報等のパラメータを、適宜可逆符号化部２６に供給する。

動き予測・補償部３５は、インター符号化が行われる画像について、画面並べ替えバッファ２２から供給される入力画像と、選択部３３を介してフレームメモリ３２から供給される参照画像とを用いて、動き予測を行う。また、動き予測・補償部３５は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。

動き予測・補償部３５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部３５は、生成された予測画像を、予測画像選択部３６を介して演算部２３や演算部３０に供給する。

また、動き予測・補償部３５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報などのパラメータを可逆符号化部２６に供給する。

予測画像選択部３６は、イントラ符号化を行う画像の場合、イントラ予測部３４の出力を演算部２３や演算部３０に供給し、インター符号化を行う画像の場合、動き予測・補償部３５の出力を演算部２３や演算部３０に供給する。

レート制御部３７は、蓄積バッファ２７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。

［画像符号化装置の動作］
図２を参照して、以上のような画像符号化装置１１により実行される符号化処理の流れについて説明する。

ステップＳ１１において、A/D変換部２１は入力された画像をA/D変換する。ステップＳ１２において、画面並べ替えバッファ２２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

画面並べ替えバッファ２２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ３２から読み出され、選択部３３を介してイントラ予測部３４に供給される。

これらの画像に基づいて、ステップＳ１３において、イントラ予測部３４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロッキングフィルタ３１ａによりフィルタされていない画素が用いられる。

この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部３６に供給される。

画面並べ替えバッファ２２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ３２から読み出され、選択部３３を介して動き予測・補償部３５に供給される。これらの画像に基づいて、ステップＳ１４において、動き予測・補償部３５は、動き予測・補償処理を行う。

この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部３６に供給される。

ステップＳ１５において、予測画像選択部３６は、イントラ予測部３４および動き予測・補償部３５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部３６は、決定した最適予測モードの予測画像を選択し、演算部２３，３０に供給する。この予測画像は、後述するステップＳ１６，Ｓ２１の演算に利用される。

なお、この予測画像の選択情報は、イントラ予測部３４または動き予測・補償部３５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部３４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測に関するパラメータ）を、可逆符号化部２６に供給する。

最適インター予測モードの予測画像が選択された場合、動き予測・補償部３５は、最適インター予測モードを示す情報と、最適インター予測モードに応じた情報（すなわち、動き予測に関するパラメータ）を可逆符号化部２６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。

ステップＳ１６において、演算部２３は、ステップＳ１２で並び替えられた画像と、ステップＳ１５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部３５から、イントラ予測する場合はイントラ予測部３４から、それぞれ予測画像選択部３６を介して演算部２３に供給される。

差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１７において、直交変換部２４は演算部２３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。

ステップＳ１８において、量子化部２５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２８の処理で説明されるように、レートが制御される。

以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１９において、逆量子化部２８は、量子化部２５により量子化された変換係数を量子化部２５の特性に対応する特性で逆量子化する。ステップＳ２０において、逆直交変換部２９は、逆量子化部２８により逆量子化された変換係数を直交変換部２４の特性に対応する特性で逆直交変換する。

ステップＳ２１において、演算部３０は、予測画像選択部３６を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部２３への入力に対応する画像）を生成する。

ステップＳ２２においてデブロッキングフィルタ３１ａは、演算部３０より出力された画像に対して、デブロッキングフィルタ処理を行う。デブロッキングフィルタ処理については、図１４に詳しく説明するが、このとき、Strongフィルタに関する判定にBs値が用いられる。デブロッキングフィルタ３１ａからのフィルタ後の画像は、適応オフセットフィルタ４１に出力される。

なお、ユーザにより操作部などを操作することで入力されて、デブロッキングフィルタ３１ａで用いられたON/OFF情報と、パラメータbetaおよびtcの各オフセットは、デブロッキングフィルタのパラメータとして、可逆符号化部２６に供給される。

ステップＳ２３において、適応オフセットフィルタ４１は、適応オフセットフィルタ処理を行う。この処理により、ＬＣＵ毎にオフセットフィルタの種類が決定されたものであるＬＣＵ毎のオフセット値を用いて、デブロッキングフィルタ３１ａによるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ４２に供給される。

なお、決定されたＬＣＵ毎のオフセット値は、適応オフセットパラメータとして、可逆符号化部２６に供給される。

ステップＳ２４において、適応ループフィルタ４２は、適応オフセットフィルタ４１によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。例えば、適応オフセットフィルタ４１によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎に、画像に対してフィルタ処理が行われ、フィルタ処理結果が、フレームメモリ３２に供給される。

ステップＳ２５においてフレームメモリ３２は、フィルタリングされた画像を記憶する。なお、フレームメモリ３２には、デブロッキングフィルタ３１、適応オフセットフィルタ４１、および適応ループフィルタ４２によりフィルタされていない画像も演算部３０から供給され、記憶される。

一方、上述したステップＳ１８において量子化された変換係数は、可逆符号化部２６にも供給される。ステップＳ２６において、可逆符号化部２６は、量子化部２５より出力された量子化された変換係数と、供給された各パラメータを符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。ここで、符号化される各パラメータとしては、デブロッキングフィルタのパラメータ、適応オフセットフィルタのパラメータ、適応ループフィルタのパラメータ、量子化パラメータ、動きベクトル情報や参照フレーム情報、予測モード情報などがあげられる。

ステップＳ２７において蓄積バッファ２７は、符号化された差分画像（すなわち、符号化ストリーム）を、圧縮画像として蓄積する。蓄積バッファ２７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ２８においてレート制御部３７は、蓄積バッファ２７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。

ステップＳ２８の処理が終了すると、符号化処理が終了される。

［画像復号装置の構成例］
図３は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図３に示される画像復号装置５１は、図１の画像符号化装置１１に対応する復号装置である。

画像符号化装置１１より符号化された符号化ストリーム（データ）は、所定の伝送路を介して、この画像符号化装置１１に対応する画像復号装置５１に伝送され、復号されるものとする。

図３に示されるように、画像復号装置５１は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、演算部６５、デブロッキングフィルタ３１ｂ、画面並べ替えバッファ６７、およびD/A変換部６８を有する。また、画像復号装置５１は、フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測・補償部７２、および選択部７３を有する。

さらに、画像復号装置５１は、デブロッキングフィルタ３１ｂと、画面並べ替えバッファ６７およびフレームメモリ６９との間に、適応オフセットフィルタ８１および適応ループフィルタ８２を有する。

蓄積バッファ６１は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ６１は、伝送されてきた符号化データを受け取って、蓄積する。この符号化データは、画像符号化装置１１により符号化されたものである。可逆復号部６２は、蓄積バッファ６１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部２６の符号化方式に対応する方式で復号する。

可逆復号部６２は、復号されたイントラ予測モードを示す情報などのパラメータをイントラ予測部７１に供給し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部７２に供給する。また、可逆復号部６２は、復号されたデブロッキングフィルタのパラメータを、デブロッキングフィルタ３１ｂに供給し、復号された適応オフセットパラメータを、適応オフセットフィルタ８１に供給する。

逆量子化部６３は、可逆復号部６２により復号されて得られた係数データ（量子化係数）を、図１の量子化部２５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部６３は、画像符号化装置１１から供給された量子化パラメータを用いて、図１の逆量子化部２８と同様の方法で量子化係数の逆量子化を行う。

逆量子化部６３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部６４に供給する。逆直交変換部６４は、図１の直交変換部２４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１１において直交変換される前の残差データに対応する復号残差データを得る。

逆直交変換されて得られた復号残差データは、演算部６５に供給される。また、演算部６５には、選択部７３を介して、イントラ予測部７１若しくは動き予測・補償部７２から予測画像が供給される。

演算部６５は、その復号残差データと予測画像とを加算し、画像符号化装置１１の演算部２３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部６５は、その復号画像データをデブロッキングフィルタ３１ｂに供給する。

デブロッキングフィルタ３１ｂは、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を抑制する。デブロッキングフィルタ３１ｂは、図１のデブロッキングフィルタ３１ａと基本的に同様に構成される。すなわち、デブロッキングフィルタ３１ｂは、StrongフィルタとWeakフィルタとを有しており、それぞれの判定式を用いてどちらのフィルタを適用するかを判定する。Strongフィルタの判定式は、３つの判定式からなり、それらの判定式には、量子化パラメータＱＰを基に求められるパラメータbetaまたはtcに加えて、Bs値が用いられる。

なお、画像符号化装置１１により符号化されたデブロッキングフィルタのON/OFF情報と、パラメータbetaおよびtcの各オフセットは、デブロッキングフィルタのパラメータとして、画像復号装置５１において受信されて、可逆復号部６２により復号されて、デブロッキングフィルタ３１ｂにより用いられる。

デブロッキングフィルタ３１ｂは、演算部３０からの画像に対して、上述したON/OFF情報、オフセット、並びにパラメータであるbetaおよびtcを用いて、デブロッキングフィルタ処理を行う。デブロッキングフィルタ３１ｂは、そのフィルタ処理結果を適応オフセットフィルタ８１に供給する。なお、デブロッキングフィルタ３１ｂの詳細な構成については、図１４を参照して後述する。

適応オフセットフィルタ８１は、デブロッキングフィルタ３１ｂによるフィルタ後の画像に対して、主にリンギングを抑制するオフセットフィルタ(SAO)処理を行う。

適応オフセットフィルタ８１は、ＬＣＵ毎にオフセットフィルタの種類が決定されたものであるＬＣＵ毎のオフセット値を用いて、デブロッキングフィルタ３１ｂによるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ８１は、フィルタ処理後の画像を、適応ループフィルタ８２に供給する。

なお、このＬＣＵ毎のオフセット値は、画像符号化装置１１の適応オフセットフィルタ４１により算出され、適応オフセットパラメータとして、符号化されて送られてきたものである。そして、画像符号化装置１１により符号化されたＬＣＵ毎のオフセット値は、適応オフセットパラメータとして、画像復号装置５１において受信されて、可逆復号部６２により復号されて、適応オフセットフィルタ８１により用いられる。

適応ループフィルタ８２は、適応オフセットフィルタ８１によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎にフィルタ処理を行い、フィルタ処理結果を、フレームメモリ６９および画面並べ替えバッファ６７に供給する。

なお、図３の例においては図示しないが、画像復号装置５１において、フィルタ係数は、画像符号化装置１１の適応ループフィルタ４２によりＬＣＵ毎に算出され、適応ループフィルタパラメータとして、符号化されて送られてきたものが可逆復号部６２により復号されて用いられる。

画面並べ替えバッファ６７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ２２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部６８は、画面並べ替えバッファ６７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

適応ループフィルタ８２の出力は、さらに、フレームメモリ６９に供給される。

フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測・補償部７２、および選択部７３は、画像符号化装置１１のフレームメモリ３２、選択部３３、イントラ予測部３４、動き予測・補償部３５、および予測画像選択部３６にそれぞれ対応する。

選択部７０は、インター処理される画像と参照される画像をフレームメモリ６９から読み出し、動き予測・補償部７２に供給する。また、選択部７０は、イントラ予測に用いられる画像をフレームメモリ６９から読み出し、イントラ予測部７１に供給する。

イントラ予測部７１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部６２から適宜供給される。イントラ予測部７１は、この情報に基づいて、フレームメモリ６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部７３に供給する。

動き予測・補償部７２には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）が可逆復号部６２から供給される。

動き予測・補償部７２は、可逆復号部６２から供給されるそれらの情報に基づいて、フレームメモリ６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部７３に供給する。

選択部７３は、動き予測・補償部７２またはイントラ予測部７１により生成された予測画像を選択し、演算部６５に供給する。

［画像復号装置の動作］
図４を参照して、以上のような画像復号装置５１により実行される復号処理の流れの例を説明する。

復号処理が開始されると、ステップＳ５１において、蓄積バッファ６１は、伝送されてきた符号化ストリーム（データ）を受け取り、蓄積する。ステップＳ５２において、可逆復号部６２は、蓄積バッファ６１から供給される符号化データを復号する。図１の可逆符号化部２６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。

ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）などのパラメータの情報も復号される。

予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部７１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報などは、動き予測・補償部７２に供給される。また、デブロッキングフィルタのパラメータおよび適応オフセットパラメータも復号され、デブロッキングフィルタ３１ｂおよび適応オフセットフィルタ８１にそれぞれ供給される。

ステップＳ５３において、イントラ予測部７１または動き予測・補償部７２は、可逆復号部６２から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。

すなわち、可逆復号部６２からイントラ予測モード情報が供給された場合、イントラ予測部７１はイントラ予測モードのイントラ予測画像を生成する。可逆復号部６２からインター予測モード情報が供給された場合、動き予測・補償部７２は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。

この処理により、イントラ予測部７１により生成された予測画像（イントラ予測画像）、または動き予測・補償部７２により生成された予測画像（インター予測画像）が選択部７３に供給される。

ステップＳ５４において、選択部７３は予測画像を選択する。すなわち、イントラ予測部７１により生成された予測画像、または動き予測・補償部７２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部６５に供給され、後述するステップＳ５７において逆直交変換部６４の出力と加算される。

上述したステップＳ５２において、可逆復号部６２により復号された変換係数は、逆量子化部６３にも供給される。ステップＳ５５において、逆量子化部６３は可逆復号部６２により復号された変換係数を、図１の量子化部２５の特性に対応する特性で逆量子化する。

ステップＳ５６において逆直交変換部６４は、逆量子化部６３により逆量子化された変換係数を、図１の直交変換部２４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部２４の入力（演算部２３の出力）に対応する差分情報が復号されたことになる。

ステップＳ５７において、演算部６５は、上述したステップＳ５４の処理で選択され、選択部７３を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。

ステップＳ５８においてデブロッキングフィルタ３１ｂは、演算部６５より出力された画像に対して、デブロッキングフィルタ処理を行う。デブロッキングフィルタ処理については、図１４に詳しく説明するが、このとき、Strongフィルタに関する判定にBs値が用いられる。デブロッキングフィルタ３１ｂからのフィルタ後の画像は、適応オフセットフィルタ４１に出力される。なお、デブロッキングフィルタ処理においては、可逆復号部６２から供給されるデブロッキングフィルタのパラメータであるON/OFF情報と、パラメータbetaおよびtcの各オフセットも用いられる。

ステップＳ５９において、適応オフセットフィルタ８１は、適応オフセットフィルタ処理を行う。この処理により、ＬＣＵ毎にオフセットフィルタの種類が決定されたものであるＬＣＵ毎のオフセット値を用いて、デブロッキングフィルタ３１ｂによるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ８２に供給される。

ステップＳ６０において、適応ループフィルタ８２は、適応オフセットフィルタ８１によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。適応ループフィルタ８２は、処理単位毎に計算されたフィルタ係数を用いて、入力画像に対して、処理単位毎にフィルタ処理を行い、フィルタ処理結果を、画面並べ替えバッファ６７およびフレームメモリ６９に供給する。

ステップＳ６１においてフレームメモリ６９は、フィルタリングされた画像を記憶する。

ステップＳ６２において、画面並べ替えバッファ６７は、適応ループフィルタ８２後の画像の並べ替えを行う。すなわち画像符号化装置１１の画面並べ替えバッファ２２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ６３において、D/A変換部６８は、画面並べ替えバッファ６７からの画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

ステップＳ６３の処理が終了すると、復号処理が終了される。

＜２．第１の実施の形態＞
［Strongフィルタの判定条件］
次に、図５を参照して、HEVC方式と本技術のStrongフィルタの判定式について説明する。

図５の例においては、４×４画素からなるブロックＰとブロックＰの右側に隣接するブロックである隣接ブロックＱが示されている。

HEVC方式においては、ブロックＰと隣接ブロックＱとのブロック境界に施されるフィルタのうち、Strongフィルタを施すか否かを判定する際、境界から数えて３画素（図中ハッチングされた四角）がその判定に用いられる。HEVC方式のStrongフィルタの判定式としては、次の式（１）乃至式（３）が用いられる。

なお、図５の例においては、式（１）乃至式（３）におけるｉ＝０，３である場合が示されている。

また、式（１）と式（２）は、ブロック内の画素値を判定している。式（１）と式（２）より、ブロック内がなだらかな方が、Strongフィルタがかかりやすいことがわかる。これに対して、式（３）は、ブロック境界の画素値を判定している。

すなわち、判定対象となるブロック境界において、式（１）乃至式（３）が全て真の場合、そのブロック境界には、Strongフィルタが施され、いずれか１つでも偽の場合、次に、Weakフィルタの判定が行われる。

しかしながら、HEVC方式におけるStrongフィルタの判定式のままであると、現状、ブロックノイズが目立つところにもWeakフィルタがかかってしまうことが多く、ブロックノイズが残ってしまうことがあった。

したがって、ノイズが目立つところのStrongフィルタがかかるブロック境界を増やしたい。

これらを踏まえて、本技術においては、Strongフィルタの判定を、Strongフィルタがよりかかるように調整する。例えば、上述した式（１）乃至式（３）に代え、次の式（４）乃至式（６）に示されるように、Strongフィルタの判定にBs値を用いる。

なお、図５の例においては、式（４）乃至式（６）におけるｉ＝０，３の場合が示されている。また、例えば、ｆ１（Bs）＝ｆ２（Bs）＝ｆ３（Bs）＝Bs＋２である。なお、一般的に表すと、Ｆ（Bs）＝ａ＊Bs＋ｂとなるが、関数の形態は問わない。

ここで、Strongフィルタの判定に用いられているパラメータbetaとtcは、テーブルから量子化パラメータＱＰを使って求められる。したがって、量子化パラメータＱＰが大きくなると、パラメータbeta、tcが大きくなる。量子化パラメータが大きいと量子化ノイズが多くなる傾向があることから、これらの値を持ってきて、Strongフィルタの判定に用いている。しかしながら、Strongフィルタの判定では、パラメータbeta、tcの値を割り算して小さくして判定に使っているため、水とか自然などのブロックノイズがでやすい画では、その閾値が少し小さい。

そこで、本技術においては、Strongフィルタにおいて、パラメータbeta、tcの値を大きくして、より大きな閾値で判定する。これにより、式（４）乃至式（６）が真になりやすくなり、Strongフィルタがかかる領域を増やすことができる。

また、イントラ予測（画面内予測）は、インター予測に比べて予測精度が低く、予測誤差（残差情報）が大きいので、ブロックノイズにつながる。Bs値は、ブロック境界に対する強度を示すパラメータであり、その予測誤差を考えて、イントラ予測の方がインター予測より大きくなるように設定されている。

すなわち、HEVC方式において、Bs値は、０、１、２をとり得る。０は、デブロッキングフィルタがかからない。１は、予測モードがイントラ予測ではない場合、２は、予測モードがイントラ予測の場合となっている。

このようなBs値をパラメータbeta、tcの値に乗算することで、イントラ予測の場合、インター予測の場合より、より大きな閾値で判定することが可能となる。その結果、イントラ予測の場合、インター予測の場合より、さらに、Strongフィルタがかかる領域を増やすことができる。

以上のように、Strongフィルタの判定の閾値にBs値を用いることで、式（４）乃至式（６）の右辺である閾値パラメータが大きくなり、大きい閾値で判定することになる。したがって、式（４）乃至式（６）が真になりやすくなり、Strongフィルタがかかる領域を増やすことができる。

なお、上記説明においては、Strongフィルタの判定の閾値を大きくするために、判定式の右辺の閾値パラメータにおいて、パラメータbetaやtcにBs値（の１次関数）を乗算する例を説明した。

ここで、Strongフィルタの判定の閾値を大きくする方法としては、Bs値の乗算に限定されず、例えば、上述したHEVC方式の式（１）乃至式（３）の右辺の閾値パラメータにおいて、シフト値を小さく変更して用いるようにしてもよい。

なお、その際、イントラ予測については、イントラではない予測よりも、シフト値がより小さく設定され、イントラではない予測（例えば、インター予測）については、イントラ予測よりも、シフト値がより大きく設定される。

すなわち、予測モードに応じて、判定のシフト値が変更して用いられる。この場合も、Strongフィルタの判定の閾値にBs値を用いるのと、同様の効果があげられる。すなわち、イントラ予測の場合、シフト値が小さく設定されるので、判定の閾値が大きくなる。したがって、イントラ予測の場合、Strongフィルタがかかりやすくなる。

上述したように、イントラ予測は、インター予測と比して、予測誤差が大きくなる傾向があり、この場合、ブロックノイズが目立ってしまうことが多い。このため、イントラ予測の場合にStrongフィルタが適用されると、より、ブロックノイズを抑制することができる。

なお、予測モードとは、イントラ予測を示すモードおよびインター予測を示すモードのことである。ただし、予測モードには、例えば、イントラ予測内におけるverticalモードやhorizontalモードなども含まれるようにしてもよい。

[Strongフィルタ判定の詳細な説明]
図６は、量子化パラメータＱＰとｆ１（Bs）＝Bs＋２の場合の式（４）の右辺の値との関係を表している。すなわち、Bs値の１次関数において、ａ＝１，ｂ＝２の場合である。なお、以下、式（１）および式（４）の右辺の値を閾値Ａと称する。

予測モードがイントラではない予測の場合、Bs値＝１であるので、式（４）の右辺の閾値Ａは、（３＊beta）＞＞３となる。また、予測モードがイントラ予測の場合、Bs値＝２であるので、式（４）の右辺の閾値Ａは、（４＊beta）＞＞３となる。

したがって、量子化パラメータＱＰに対してのHEVC（従来技術）の場合の式（１）の右辺の閾値Ａ、本技術のイントラではない予測の場合の式（４）の右辺の閾値Ａ、本技術のイントラ予測の場合の式（４）の右辺の閾値Ａは、それぞれ、図６に示されるようになる。

例えば、量子化パラメータＱＰが５１のとき、HEVCの場合の閾値Ａは８であるが、本技術のイントラではない予測の場合の閾値Ａは２４であり、本技術のイントラ予測の場合の閾値Ａは３２である。

このように、HEVCの場合の閾値Ａより、本技術のイントラではない予測の場合の閾値Ａの方が大きい。また、本技術のイントラではない予測の場合の閾値Ａより、さらに、本技術のイントラ予測の場合の閾値Ａの方がさらに大きい。

図７は、図６の場合の図５のブロックＰおよびＱの画素値の例を示している。図７の例において、ｐ３ｉおよびｑ３ｉがHEVC（従来技術）の場合のStrongフィルタがかかる範囲の画素値を表している。また、ｐ´３ｉおよびｑ´３ｉが本技術の場合のStrongフィルタがかかる範囲の画素値を表している。

すなわち、HEVCの場合（ｐ３ｉ−ｐ０ｉの値とｑ３ｉ−ｑ０ｉの値）より、ｐ´３ｉ−ｐ０ｉの値とｑ´３ｉ−ｑ０ｉの値がある程度大きい。したがって、本技術の場合の判定式（式（４））において、HEVCの場合の判定式（式（１））では偽であったブロック境界に対して真とすることができる。

図８は、量子化パラメータＱＰとｆ２（Bs）＝Bs＋２の場合の式（５）の右辺の値との関係を表している。なお、以下、式（２）および式（５）の右辺の値を閾値Ｂと称する。

予測モードがイントラではない予測の場合、Bs値＝１であるので、式（５）の右辺の閾値Ｂは、（３＊beta）＞＞２となる。また、予測モードがイントラ予測の場合、Bs値＝２であるので、式（５）の右辺の閾値Ｂは、（４＊beta）＞＞２となる。

したがって、量子化パラメータＱＰに対してのHEVC（従来技術）の場合の式（２）の右辺の閾値Ｂ、本技術のイントラではない予測の場合の式（５）の右辺の閾値Ｂ、本技術のイントラ予測の式（５）の場合の右辺の閾値Ｂは、それぞれ、図８に示されるようになる。

例えば、量子化パラメータＱＰが５１のとき、HEVCの場合の閾値Ｂは１６であるが、本技術のイントラではない予測の場合の閾値Ｂは４８であり、本技術のイントラ予測の場合の閾値Ｂは６４である。

このように、HEVCの場合の閾値Ｂより、本技術のイントラではない予測の場合の閾値Ｂの方が大きい。また、本技術のイントラではない予測の場合の値より、さらに、本技術のイントラ予測の場合の閾値Ｂの方がさらに大きい。

図９は、図８の場合の図５のブロックＰおよびＱの画素値の例を示している。図９の例において、ｐ２ｉ、ｐ１ｉ、ｑ２ｉ、およびｑ１ｉがHEVC（従来技術）の場合のStrongフィルタがかかる範囲の画素値を表している。また、ｐ´２ｉ、ｐ´１ｉ、ｑ´２ｉ、およびｑ´１ｉが本技術の場合のStrongフィルタがかかる範囲の画素値を表している。

すなわち、HEVCの場合（ｐ２ｉ−ｐ１ｉの値とｐ１ｉ−ｐ０ｉの値、ｑ３ｉ−ｑ１ｉの値とｑ１ｉ−ｑ０ｉの値）より、ｐ´２ｉ−ｐ´１ｉの値と、ｐ´１ｉ−ｐ０ｉの値がある程度大きく、ｑ´３ｉ−ｑ´１ｉの値と、ｑ´１ｉ−ｑ０ｉの値がある程度大きい。したがって、本技術の場合の判定式（式（５））において、HEVCの場合の判定式（式（２））では偽であったブロック境界に対して真とすることができる。

上述した式（４）と式（５）は、ブロック内の画素値を判定しているが、式（６）は、ブロック境界の画素値を判定している。

図１０は、量子化パラメータＱＰとｆ３（Bs）＝Bs＋２の場合の式（６）の右辺の値との関係を表している。なお、以下、式（３）および式（６）の右辺の値を閾値Ｃと称する。

予測モードがイントラではない予測の場合、Bs値＝１であるので、式（６）の右辺の閾値Ｃは、（３＊tc＊５＋１）＞＞１となる。また、予測モードがイントラ予測の場合、Bs値＝２であるので、式（６）の右辺の閾値Ｃは、（４＊tc＊５＋１）＞＞１となる。

したがって、量子化パラメータＱＰに対してのHEVC（従来技術）の場合の式（３）の右辺の閾値Ｃ、本技術のイントラではない予測の場合の式（６）の右辺の閾値Ｃ、本技術のイントラ予測の式（６）の場合の右辺の閾値Ｃは、それぞれ、図１０に示されるようになる。

例えば、量子化パラメータＱＰが５３のとき、HEVCのイントラではない予測の場合の閾値Ｃは５０である。ただし、HEVCにおいては、イントラ予測の場合、tcのテーブル引きするＱＰの値を＋２するため、図１０には示されていないが、HEVCのイントラ予測の場合の閾値Ｃは６０である。これに対し、本技術のイントラではない予測の場合の閾値Ｃは１５０であり、本技術のイントラ予測の場合の閾値Ｃは２００である。

このように、HEVCの場合の閾値Ｃより、本技術のイントラではない予測の場合の閾値Ｃの方が大きい。また、本技術のイントラではない予測の場合の閾値Ｃより、さらに、本技術のイントラ予測の場合の閾値Ｃの方がさらに大きい。

なお、tcの値は、デブロッキングフィルタにおいて、strong/Weakフィルタ判定以外の部分（フィルタ処理）にも用いられており、本技術において、tcがBs値を乗算して用いられるのは、strong/Weakフィルタ判定のみである。

図１１は、図１０の場合の図５のブロックＰおよびＱの画素値の例を示している。図１１の例において、ｐ０ｉおよびｑ０ｉがHEVC（従来技術）の場合のStrongフィルタがかかる範囲の画素値を表している。また、ｐ´０ｉおよびｑ´０ｉが本技術の場合のStrongフィルタがかかる範囲の画素値を表している。

すなわち、HEVCの場合（ｐ０ｉ−ｑ０ｉの値）より、ｐ´０ｉ−ｑ´０ｉの値がある程度大きい。したがって、本技術の場合の判定式（式（６））においては、HEVCの場合の判定式（式（３））では偽であったブロック境界に対して真とすることができる。

以上のように、HEVCの場合より、式（４）乃至式（６）が真になる可能性が高い。したがって、本技術によれば、HEVCの場合にはStrongフィルタがかけられなかったブロック境界、すなわち、ブロッキングノイズが目立っていた領域に対してStrongフィルタをかけることができるようになる。

[具体的な例]
次に、図１２を参照して、HEVC（従来技術）と本技術の場合との具体例について説明する。

あるブロック境界のデブロッキングフィルタ前の画素値が、左から順に、１２０、１２１、１２１、１１９、１４７、１４４、１４２、１４０であるとする。図１２の例において、画素値１１９と画素値１４７の間がブロック境界である。

例えば、量子化パラメータＱＰが３７の場合、式（１）と式（４）の左辺の値は、
ｄ＝｜１２０−１１９｜＋｜１４７−１４０｜＝８となる。

ここで、量子化パラメータＱＰが３７の場合、式（１）の右辺の閾値Ａは、４であり、式（４）の右辺の閾値Ａは、１８であるので、HEVCの場合、式（１）は、偽となるが、本技術の場合、式（４）は、真となる。

同様に、量子化パラメータＱＰが３７の場合、式（２）と式（５）の左辺の値は、
ｄ＝２＊（｜１２１−２＊１２１＋１２１｜＋｜１４７−２＊１４４＋１４２｜＝６となる。

ここで、量子化パラメータＱＰが３７の場合、式（２）の右辺の閾値Ｂは、９であり、式（５）の右辺の閾値Ｂは、３６であるので、HEVCの場合、式（２）は、真となり、本技術の場合、式（５）は、真となる。

さらに、量子化パラメータＱＰが３７の場合、式（３）と式（６）の左辺の値は、
ｄ＝｜１４７−１１９｜＝３８となる。

ここで、量子化パラメータＱＰが３７の場合、式（３）の右辺の閾値Ｃは、１０であり、式（６）の右辺の閾値Ｃは、４０であるので、HEVCの場合、式（３）は、真となり、本技術の場合、式（６）は、真となる。

よって、HEVCの場合、このブロック境界には、Strongフィルタが施されないが、例えば、Weakフィルタが施される。これに対して、本技術の場合、このブロック境界にStrongフィルタが施される。

その結果、HEVCの場合のデブロッキング（Weak）フィルタ後の画素値は、左から順に１２０、１２１、１２４、１２６、１４０、１４１、１４２、１４０となり、ブロック境界の画素値は、１２６と１４０であり、ブロック間における画素値の差がまだかなりある。

これに対して、本技術の場合のデブロッキング（Strong）フィルタ後の画素値は、左から順に１２０、１２４、１２７、１３０、１３５、１３８、１３９、１４０となり、ブロック境界の画素値は、１３０と１３５であり、ブロック間における画素値の差があまりない。これにより、ブロックノイズを目立たなくさせることができる。

例えば、川の流れ、葉の揺れなど自然な動きは、動きが予測しにくく、イントラ予測が行われる傾向があるので、本技術は、そのような画像に特に効果がある。

［デブロッキングフィルタの構成例］
次に、図１の画像符号化装置におけるデブロッキングフィルタ３１ａおよび図３の画像復号装置におけるデブロッキングフィルタ３１ｂの詳細について説明する。なお、図１の画像符号化装置におけるデブロッキングフィルタ３１ａおよび図３の画像復号装置におけるデブロッキングフィルタ３１ｂは、構成および動作が基本的に同じであるので、以下、まとめてデブロッキングフィルタ３１として説明する。

ただし、以下の点のみが、デブロッキングフィルタ３１ａと３１ｂとで異なる。すなわち、デブロッキングフィルタ３１ａの場合、デブロッキングフィルタを行うか否かのON/OFF情報とパラメータbetaおよびtcの各オフセットが、図示せぬ操作部を介して入力される。これに対して、デブロッキングフィルタ３１ｂの場合、デブロッキングフィルタを行うか否かのON/OFF情報とパラメータbetaおよびtcの各オフセットが、画像符号化装置１１において符号化されたものが受け取られて、可逆復号部６２で復号されて入力される。

図１３は、デブロッキングフィルタの構成例を示すブロック図である。

図１３の例において、デブロッキングフィルタ３１は、画像メモリ１０１、ブロック境界判定部１０２、フィルタ強度判定部１０３、フィルタ演算部１０４、係数メモリ１０５、および制御部１０６を含むように構成されている。

画像メモリ１０１は、ラインメモリで構成されており、加算部３０から供給された画像データを記憶する。画像メモリ１０１は、記憶している画像データを読み出して、ブロック境界判定部１０２、フィルタ強度判定部１０３、およびフィルタ演算部１０４に供給する。

なお、ライン境界ではないところでは、画像メモリ１０１に画像データは記憶されず、加算部３０から供給された画像データが各部に供給されて、それが処理される場合もある。しかしながら、図１３の例においては、説明の便宜上、画像メモリ１０１を経由した画像データが処理されるとして説明する。

ブロック境界判定部１０２は、制御部１０６の制御のもと、８ライン毎に、境界を導出し、判定に用いるパラメータを算出したりして、４ライン毎に、ブロック間の境界判定を行う。すなわち、ブロック境界判定部１０２は、画像メモリ１０１から読み出された画像データを用いて、ＴＵおよびＰＵの境界を導出し、Bs値を導出する。さらに、ブロック境界判定部１０２は、処理対象の境界に隣接する２つの領域の量子化パラメータＱＰの平均を求めて、平均ＱＰ（量子化パラメータ）を算出し、算出した平均ＱＰに基づいて、パラメータtcおよびbetaを算出する。

そして、ブロック境界判定部１０２は、画像メモリ１０１からの、ブロックの境界を挟んで隣接する２つのブロックの画像データと、算出したパラメータを用いて、４ライン毎に、フィルタを行うかどうかを判定する。ブロック境界判定部１０２は、ブロック境界判定部１０２は、境界判定結果とともに、算出したパラメータを、フィルタ強度判定部１０３に供給する。

フィルタ強度判定部１０３は、制御部１０６の制御のもと、４ライン毎に、フィルタ強度の判定を行う。すなわち、フィルタ強度判定部１０３は、ブロック境界判定部１０２によりフィルタを行うと判定された場合、StrongフィルタまたはWeakフィルタの何れの強度でフィルタ処理を行うか判定して、判定結果をフィルタ演算部１０４に出力する。その際、フィルタ強度判定部１０３は、Strongフィルタの判定式に、Bs値を用いる。

フィルタ演算部１０４は、制御部１０６の制御のもと、画像メモリ１０１に記憶されている画像データ、および係数メモリ１０５から読み出したフィルタ係数を用いて、４ライン毎に、フィルタ強度判定部１０３で判定されたフィルタ強度でフィルタ演算を行う。フィルタ演算部１０４は、フィルタ処理がなされた画像データを後段のフレームメモリ３２に出力する。

係数メモリ１０５は、デブロッキングフィルタ処理のフィルタ演算に用いるフィルタ係数を記憶している。係数メモリ１０５は、記憶しているフィルタ係数を読み出し、フィルタ演算部１０４に供給する。

制御部１０６は、図示せぬ操作部（復号側の場合、可逆復号部６２）から情報(デブロッキングフィルタのON/OFF情報、パラメータbeta、tcの各オフセット値、およびクリップ処理にかかるパラメータなど)を入力する。また、制御部１０６には、予測モード情報や量子化パラメータなどデブロッキングフィルタに必要なパラメータも供給される。

例えば、制御部１０６は、入力される情報を、対応する部に供給したり、入力されるON/OFF情報に基づいて、デブロッキングフィルタ３１の各部を制御する。

制御部１０６は、例えば、画像メモリ１０１を制御して、ブロック内の下端側の所定ライン数分の画像データを記憶させ、記憶されている画像データの読み出しを行う。また、制御部１０６は、フィルタ強度判定部１０３を制御し、Strongフィルタの判定にBs値を用いさせる。あるいは、制御部１０６は、フィルタ強度判定部１０３を制御し、予測モードに応じて、シフト値の大小を変更させる。

［デブロッキングフィルタ処理部の動作］
次に、図１４のフローチャートを参照して、図１３のデブロッキングフィルタ３１のデブロッキング処理について説明する。なお、この処理は、図２のステップＳ２２または図４のステップＳ５８の処理である。

例えば、図示せぬ操作部（復号側の場合、可逆復号部６２）を介してON/OFF情報、betaオフセットの値、およびtcオフセットの値、クリップ処理にかかるパラメータが制御部１０６に入力される。また、制御部１０６には、予測モード情報や量子化パラメータなどデブロッキングフィルタに必要なパラメータも供給される。

ステップＳ１０１において、制御部１０６は、フィルタのオフセット（betaオフセットおよびtcオフセット）を設定し、設定したオフセットの情報を、フィルタ強度判定部１０３に供給する。

ステップＳ１０２において、制御部１０６は、ON/OFF情報に基づいて、デブロッキングフィルタが利用不可であるか否かを判定する。ステップＳ１０２において、デブロッキングフィルタが利用不可であると判定した場合、デブロッキングフィルタ処理は終了される。

ステップＳ１０２において、デブロッキングフィルタが利用不可ではないと判定された場合、制御部１０６は、ブロック境界判定部１０２、フィルタ強度判定部１０３、およびフィルタ演算部１０４に、その旨を通知し、処理は、ステップＳ１０３に進む。その際、各部に必要なパラメータなども制御部１０６から供給される。

ステップＳ１０３において、ブロック境界判定部１０２は、８ライン単位で、ＴＵとＰＵの境界を導出する。ステップＳ１０４において、ブロック境界判定部１０２は、ステップＳ１０３で導出したＴＵとＰＵの境界などの情報や、制御部１０６からの予測モード情報などを基に、Bs値の導出を行う。

ステップＳ１０５において、ブロック境界判定部１０２、フィルタ強度判定部１０３、およびフィルタ演算部１０４は、輝度境界のフィルタ処理を行う。この輝度境界のフィルタ処理は、次の図１５を参照して後述するが、ステップＳ１０５の処理により、輝度信号に対して、輝度境界のフィルタが施される。

ステップＳ１０６において、ブロック境界判定部１０２、フィルタ強度判定部１０３、およびフィルタ演算部１０４は、色差境界のフィルタ処理を行う。ステップＳ１０６の処理により、色差信号に対して、色差境界のフィルタが施される。

ステップＳ１０７において、制御部１０６は、全部の境界を処理したか否かを判定する。ステップＳ１０７において、全部の境界を処理していないと判定された場合、処理は、ステップＳ１０５に戻り、それ以降の処理が繰り返される。ステップＳ１０７において、全部の境界を処理したと判定された場合、処理は、ステップＳ１０８に進む。

ステップＳ１０８において、制御部１０６は、全部のＣＵを処理したか否かを判定する。ステップＳ１０８において、まだ全部のＣＵを処理していないと判定された場合、処理は、ステップＳ１０３に戻り、それ以降の処理が繰り返される。

ステップＳ１０８において、全部のＣＵを処理したと判定された場合、デブロッキングフィルタ処理は終了される。

［輝度境界のフィルタ処理の例］
次に、図１５のフローチャートを参照して、図１４のステップＳ１０５における輝度境界のフィルタ処理について説明する。

ブロック境界判定部１０２は、ステップＳ１３１において、８ライン単位で、Bs値が０より大きいか否かを判定する。ステップＳ１３１において、Bs値が０より大きくはないと判定された場合、輝度境界のフィルタ処理は終了する。すなわち、この場合の輝度境界には、フィルタ演算部１０４によるフィルタ処理は施されず、フィルタ前の画素値がそのまま出力される。

ステップＳ１３１において、Bs値が０より大きいと判定された場合、処理は、ステップＳ１３２に進む。ステップＳ１３２において、ブロック境界判定部１０２は、８ライン単位で、画像メモリ１０１からの画素値を用いて、処理対象の境界に隣接する２つの領域の量子化パラメータＱＰの平均を求めて、平均ＱＰ（量子化パラメータ）を算出する。このときの量子化パラメータＱＰは、制御部１０６から供給される。

ステップＳ１３３において、ブロック境界判定部１０２は、８ライン単位で、ステップＳ１３２により算出された平均ＱＰに基づいて、パラメータtcおよびbetaを算出する。

ステップＳ１３４において、ブロック境界判定部１０２は、４ライン単位のフィルタのon/off判定を行う。すなわち、ブロック境界判定部１０２は、算出したパラメータbetaやtcなどを用いて、４ライン単位のフィルタのon/off判定を行う。

ステップＳ１３４におけるon/off判定結果は、境界判定結果として、算出したパラメータ（beta、tc、Bs値）と一緒に、フィルタ強度判定部１０３に供給される。

ステップＳ１３５において、フィルタ強度判定部１０３は、制御部１０６の制御のもと、各パラメータを用いて、Strongフィルタの判定の閾値を設定する。ステップＳ１３５においては、例えば、Bs値を用いる場合、制御部１０６からのBs値の１次関数に応じて、式（４）乃至式（６）における判定の閾値が設定される。また、シフト値を変更する場合、制御部１０６からの予測モードに応じて式（１）乃至式（３）におけるシフト値が変更されて、判定の閾値が設定される。

ステップＳ１３６において、フィルタ強度判定部１０３は、閾値が設定された式（４）乃至式（６）を用いて、４ライン単位でStrongフィルタを適用するか否かを判定する。ステップＳ１３６において、式（４）乃至式（６）が全て真であり、Strongフィルタを適用すると判定された場合、処理は、ステップＳ１３７に進む。

ステップＳ１３４におけるon/off判定結果およびステップＳ１３７におけるStrongフィルタ判定結果は、フィルタ演算部１０４に供給される。なお、このとき、パラメータtcもフィルタ演算部１０４に供給される。

ステップＳ１３７において、フィルタ演算部１０４は、フィルタ強度判定部１０３からの判定結果に基づいて、処理対象の４ラインに対して、Strongフィルタ処理を行う。フィルタ演算部１０４は、フィルタ処理後の画素値を、後段に出力する。

ステップＳ１３６において、Strongフィルタを適用すると判定された場合、処理は、ステップＳ１３８に進む。ステップＳ１３８において、フィルタ強度判定部１０３は、４ライン単位でWeakフィルタを適用するか否かを判定する。ステップＳ１３８において、Weakフィルタを適用すると判定された場合、処理は、ステップＳ１３９に進む。

ステップＳ１３４におけるon/off判定結果およびステップＳ１３８におけるWeakフィルタ判定結果は、フィルタ演算部１０４に供給される。なお、このとき、パラメータtcもフィルタ演算部１０４に供給される。

ステップＳ１３９において、フィルタ演算部１０４は、フィルタ強度判定部１０３からの判定結果に基づいて、処理対象の４ラインに対して、Weakフィルタを行う。フィルタ演算部１０４は、フィルタ処理後の画素値を、後段に出力する。

ステップＳ１３８においてWeakフィルタを適用しないと判定された場合、処理は、ステップＳ１４０に進む。この場合、フィルタ演算部１０４は、フィルタ強度判定部１０３からの判定結果に基づいて、処理対象の４ラインに対して、処理を施さず、そのまま、フィルタ処理後の画素値を、後段に出力する。

ステップＳ１４０において、フィルタ演算部１０４は、８ラインの処理が完了したか否かを判定し、８ラインの処理が完了したと判定した場合、輝度信号のデブロッキングを終了する。ステップＳ１４０において、８ラインの処理がまだ完了していないと判定された場合、処理は、ステップＳ１３４に戻り、それ以降の処理が繰り返される。

以上のように、Bs値を用いて、あるいは、シフト値を下げて、Strongフィルタの判定を行うようにしたので、判定の閾値が大きくなり、Strongフィルタのかかる境界が多くなる。これにより、デブロッキング処理において、適切にStrongフィルタがかかるようにすることができる。

以上においては、符号化方式としてHEVC方式をベースに用いるようにした。ただし、本開示はこれに限らず、インループフィルタとして、少なくともデブロッキングフィルタを含む、その他の符号化方式／復号方式を適用することができる。

なお、本開示は、例えば、HEVC方式等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
＜３．第２の実施の形態＞
［多視点画像符号化・多視点画像復号への適用］
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図１６は、多視点画像符号化方式の一例を示す。

図１６に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。

図１６のような多視点画像符号化を行う場合、各ビュー（同一ビュー）において、デブロッキングフィルタのパラメータを設定し、デブロッキングフィルタの強度パラメータを用いてストロングフィルタを適用するかを判定することができる。また、各ビュー(異なるビュー)において、他のビューで設定されたデブロッキングフィルタのパラメータ、または判定されたストロングフィルタの判定結果を共有することもできる。

この場合、ベースビューにおいて設定されたデブロッキングフィルタのパラメータ、または判定されたストロングフィルタの適用の可否が、少なくとも１つのノンベースビューで用いられる。あるいは、例えば、ノンベースビュー(view_id=i)において設定されたデブロッキングフィルタのパラメータ、または判定されたストロングフィルタの適用の可否が、ベースビューおよびノンベースビュー(view_id=j)の少なくともどちらか一方で用いられる。

これにより、デブロッキング処理において、適切にStrongフィルタがかかるようにすることができる。その結果、ブロックノイズを抑制することができる。

［多視点画像符号化装置］
図１７は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図１７に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。

符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１１（図１）を適用することができる。この場合、多視点画像符号化装置６００は、符号化部６０１が設定したデブロッキングフィルタのパラメータと、符号化部６０２が設定したデブロッキングフィルタのパラメータを設定して伝送させる。

なお、上述したように符号化部６０１が設定したデブロッキングフィルタのパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送させるようにしてもよい。逆に、符号化部６０２が設定したデブロッキングフィルタのパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送させるようにしてもよい。

［多視点画像復号装置］
図１８は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図１８に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。

逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、多視点画像復号装置５１（図３）を適用することができる。この場合、多視点画像復号装置６１０は、符号化部６０１が設定し、復号部６１２が復号したデブロッキングフィルタのパラメータと、符号化部６０２が設定し、復号部６１３が復号したデブロッキングフィルタのパラメータを用いて処理を行う。

なお、上述したように符号化部６０１（または、符号化部６０２）が設定したデブロッキングフィルタのパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送されている場合がある。この場合、多視点画像復号装置６１０においては、符号化部６０１（または、符号化部６０２）が設定し、復号部６１２（または復号部６１３）が復号したデブロッキングフィルタのパラメータを用いて処理が行われる。

＜４．第３の実施の形態＞
［階層画像符号化・階層画像復号への適用］
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図１９は、多視点画像符号化方式の一例を示す。

図１９に示されるように、階層画像は、複数の階層(解像度)の画像を含み、その複数の解像度のうちの所定の１つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤの画像として扱われる。

図１９のような階層画像符号化(空間スケーラビリティ)を行う場合、デブロッキングフィルタのパラメータを設定し、デブロッキングフィルタの強度パラメータを用いてストロングフィルタを適用するかを判定することができる。また、各レイヤ(異なるレイヤ)において、他のレイヤで設定されたデブロッキングフィルタのパラメータ、または判定されたストロングフィルタの判定結果を共有することができる。

この場合、ベースレイヤにおいて設定されたデブロッキングフィルタのパラメータ、または判定されたストロングフィルタの適用の可否が、少なくとも１つのノンベースレイヤで用いられる。あるいは、例えば、ノンベースレイヤ(layer _id=i)において設定されたデブロッキングフィルタのパラメータ、または判定されたストロングフィルタの適用の可否が、ベースレイヤおよびノンベースレイヤ(layer_id=j)の少なくともどちらか一方で用いられる。

これにより、デブロッキング処理において、適切にStrongフィルタがかかるようにすることができる。その結果、ブロックノイズを抑制することができる。

［階層画像符号化装置］
図２０は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図２０に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。

符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。

この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１１（図１）を適用することができる。この場合、階層画像符号化装置６２０は、符号化部６２１が設定したデブロッキングフィルタのパラメータと、符号化部６０２が設定したデブロッキングフィルタのパラメータと設定して伝送させる。

なお、上述したように符号化部６２１が設定したデブロッキングフィルタのパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送させるようにしてもよい。逆に、符号化部６２２が設定したデブロッキングフィルタのパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送させるようにしてもよい。

［階層画像復号装置］
図２１は、上述した階層画像復号を行う階層画像復号装置を示す図である。図２１に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。

逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。

この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、多視点画像復号装置５１（図３）を適用することができる。この場合、階層画像復号装置６３０は、符号化部６２１が設定し、復号部６３２が復号したデブロッキングフィルタのパラメータと、符号化部６２２が設定し、復号部６３３が復号したデブロッキングフィルタのパラメータを用いて処理を行う。

なお、上述したように符号化部６２１（または、符号化部６２２）が設定したデブロッキングフィルタのパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送されている場合がある。この場合、階層画像復号装置６３０においては、符号化部６２１（または、符号化部６２２）が設定し、復号部６３２（または、復号部６３３）が復号したデブロッキングフィルタのパラメータを用いて処理が行われる。

＜５．第４の実施の形態＞
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ８００において、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。

バス８０４には、さらに、入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、入力部８０６、出力部８０７、記憶部８０８、通信部８０９、及びドライブ８１０が接続されている。

入力部８０６は、キーボード、マウス、マイクロホンなどよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記憶部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインタフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体８１１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インタフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体８１１をドライブ８１０に装着することにより、入出力インタフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

＜６．応用例＞
［第１の応用例：テレビジョン受像機］
図２３は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去（抑制）などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去（抑制）などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、ブロックノイズを抑制することができる。

［第２の応用例：携帯電話機］
図２４は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、ブロックノイズを抑制することができる。

［第３の応用例：記録再生装置］
図２５は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、ブロックノイズを抑制することができる。

［第４の応用例：撮像装置］
図２６は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、ブロックノイズを抑制することができる。
＜７．第５の実施の形態＞
[実施のその他の例]
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

[ビデオセット]
本技術をセットとして実施する場合の例について、図２７を参照して説明する。図２７は、本技術を適用したビデオセットの概略的な構成の一例を示している。

近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。

図２７に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。

図２７に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。

モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。

図２７の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。

プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。

図２７のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。

ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。

ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信に関する処理を行うプロセッサ（若しくはモジュール）である。例えば、ブロードバンドモデム１３３３は、送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。例えば、ブロードバンドモデム１３３３は、ビデオプロセッサ１３３２が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。

RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。

なお、図２７において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。

外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。

パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。

フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図２７に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。

アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。

コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。

例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。

なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。

カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。

センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。

以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。

以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。

[ビデオプロセッサの構成例]
図２８は、本技術を適用したビデオプロセッサ１３３２（図２７）の概略的な構成の一例を示している。

図２８の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。

図２８に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。

ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図２７）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１（図２７）等に出力する。

フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。

メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。

エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。

ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。

オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。

オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１（図２７）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１（図２７）等に供給する。

多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。

逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図２７）から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により（図２７）各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。

ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図２７）等に供給する。

また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１（図２７）等に供給し、各種記録媒体に記録させる。

さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図２７）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１（図２７）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１（図２７）等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。

また、コネクティビティ１３２１（図２７）等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。

ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図２７）等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１（図２７）等に出力され、各種記録媒体に記録される。

また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図２７）等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１（図２７）等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。

オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、第１の実施の形態に係る画像符号化装置１１（図１）や画像復号装置５１（図３）の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図１５を参照して上述した効果と同様の効果を得ることができる。

なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

[ビデオプロセッサの他の構成例]
図２９は、本技術を適用したビデオプロセッサ１３３２（図２７）の概略的な構成の他の例を示している。図２９の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能とを有する。

より具体的には、図２９に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。

制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。

図２９に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。

ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図２７）等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１（図２７）のモニタ装置等に出力する。

ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。

画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。

内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。

コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。

図２９に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。

MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。

MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。

メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。

多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。

ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１（いずれも図２７）等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２（いずれも図２７）等向けのインタフェースである。

次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図２７）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図２７）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１（図２７）等に出力され、各種記録媒体に記録される。

さらに、例えば、コネクティビティ１３２１（図２７）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図２７）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図２７）等に供給され図示せぬ他の装置に伝送される。

なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、第１の実施の形態に係る画像符号化装置１１（図１）や画像復号装置５１（図３）を実現する機能ブロックを有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図１５を参照して上述した効果と同様の効果を得ることができる。

なお、コーデックエンジン１５１６において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。

[装置への適用例]
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図２３）、携帯電話機９２０（図２４）、記録再生装置９４０（図２５）、撮像装置９６０（図２６）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図１５を参照して上述した効果と同様の効果を得ることができる。

なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図１５を参照して上述した効果と同様の効果を得ることができる。

つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図２３）、携帯電話機９２０（図２４）、記録再生装置９４０（図２５）、撮像装置９６０（図２６）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図１５を参照して上述した効果と同様の効果を得ることができる。

なお、本明細書では、デブロッキングフィルタのパラメータや適応オフセットフィルタのパラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成する復号部と、
前記復号部により生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に対するデブロッキングフィルタの強度を示す強度パラメータを用いて、ストロングフィルタを適用するかを判定するフィルタ判定部と、
前記フィルタ判定部により前記ストロングフィルタを適用すると判定された場合に、前記ブロック境界に前記ストロングフィルタを施すフィルタ部と
を備える画像処理装置。
（２） 前記フィルタ判定部は、前記ブロック境界に対するデブロッキングフィルタの強度を示す強度パラメータと前記デブロッキングフィルタの判定に用いられる閾値を示す判定パラメータとを用いて、前記ストロングフィルタを適用するかを判定する
前記（１）に記載の画像処理装置。
（３） 前記強度パラメータと前記判定パラメータとを乗算した値を用いて、前記ストロングフィルタを適用するかを判定する
前記（２）に記載の画像処理装置。
（４） 前記フィルタ判定部は、前記強度パラメータまたは前記判定パラメータを変数とする関数を用いて、前記ストロングフィルタを適用するかを判定する
前記（２）に記載の画像処理装置。
（５） 前記フィルタ判定部は、前記強度パラメータと前記判定パラメータの１次関数を用いて、前記ストロングフィルタを適用するかを判定する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記強度パラメータは、予測モードがイントラ予測の場合、インター予測の場合より大きい値をとるパラメータである
前記（２）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記強度パラメータは、Bs(Boundary Filtering Strength)値である
前記（２）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記判定パラメータは、デブロッキングフィルタの要否判定およびデブロッキングフィルタの強度選択判定に用いられるbetaである
前記（２）乃至（７）のいずれかに記載の画像処理装置。
（９） 画像処理装置が、
階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成し、
生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に対するデブロッキングフィルタの強度を示す強度パラメータを用いて、ストロングフィルタを適用するかを判定し、
前記ストロングフィルタを適用すると判定された場合に、前記ブロック境界に前記ストロングフィルタを施す
画像処理方法。

１１ 画像符号化装置， ３１，３１ａ，３１ｂ デブロッキングフィルタ， ５１ 画像復号装置， １０１ 画像メモリ， １０２ ブロック境界判定部， １０３ フィルタ強度判定部， １０４ フィルタ演算部， １０５ 係数メモリ， １０６ 制御部

Claims (9)

1. 階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成する復号部と、
   前記復号部により生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に対するデブロッキングフィルタの強度を示す強度パラメータを用いて、ストロングフィルタを適用するかを判定するフィルタ判定部と、
   前記フィルタ判定部により前記ストロングフィルタを適用すると判定された場合に、前記ブロック境界に前記ストロングフィルタを施すフィルタ部と
   を備える画像処理装置。
2. 前記フィルタ判定部は、前記ブロック境界に対するデブロッキングフィルタの強度を示す強度パラメータと前記デブロッキングフィルタの判定に用いられる閾値を示す判定パラメータとを用いて、前記ストロングフィルタを適用するかを判定する
   請求項１に記載の画像処理装置。
3. 前記強度パラメータと前記判定パラメータとを乗算した値を用いて、前記ストロングフィルタを適用するかを判定する
   請求項２に記載の画像処理装置。
4. 前記フィルタ判定部は、前記強度パラメータまたは前記判定パラメータを変数とする関数を用いて、前記ストロングフィルタを適用するかを判定する
   請求項２に記載の画像処理装置。
5. 前記フィルタ判定部は、前記強度パラメータと前記判定パラメータの１次関数を用いて、前記ストロングフィルタを適用するかを判定する
   請求項４に記載の画像処理装置。
6. 前記強度パラメータは、予測モードがイントラ予測の場合、インター予測の場合より大きい値をとるパラメータである
   請求項２に記載の画像処理装置。
7. 前記強度パラメータは、Bs(Boundary Filtering Strength)値である
   請求項６に記載の画像処理装置。
8. 前記判定パラメータは、デブロッキングフィルタの要否判定およびデブロッキングフィルタの強度選択判定に用いられるbetaである
   請求項２に記載の画像処理装置。
9. 画像処理装置が、
   階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成し、
   生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に対するデブロッキングフィルタの強度を示す強度パラメータを用いて、ストロングフィルタを適用するかを判定し、
   前記ストロングフィルタを適用すると判定された場合に前記ブロック境界に前記ストロングフィルタを施す
   画像処理方法。

Images