JP6365540B2

JP6365540B2 - 画像処理装置および方法

Info

Publication number: JP6365540B2
Application number: JP2015527259A
Authority: JP
Inventors: 武文名雲; 裕司安藤; 伸明泉
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-07-17
Filing date: 2014-07-08
Publication date: 2018-08-01
Anticipated expiration: 2034-07-08
Also published as: US20160165246A1; CN105409222A; JPWO2015008652A1; WO2015008652A1

Description

本開示は、画像処理装置および方法に関し、特に、高画質化処理を効率よく行うことができるようにした画像処理装置および方法に関する。

放送、DVD等で配信されたビットストリームを復号後、ノイズリダクション、コマ数補間処理（高フレームレート化処理）、複数枚超解像処理などの高画質化処理を行うことがある。その高画質化処理のために、ビットストリームの復号結果である復号画像において、動き検出や動体領域の判別が行われている。

すなわち、一般的に、動画像データは、ビットストリームの形式で伝送され、復号器にて画像情報に復号される。復号器は、動画像のビットストリームを、MPEG-2/MPEG-4/MPEG-4AVC/HEVCなど予め規定された画像復号方法に従って復号し、画像を生成する。その後、動き検出器により復号画像において動き検出が行われ、動体領域の検出が行われ、後段の高画質化処理部に供給される（特許文献１参照）。

特許３７００１９５号

ここで、実際には、復号器においてさまざまな符号化情報がデコードされているにも関わらず、復号器の後段においては、再度、動き検出や動体領域検出などを行っていることが多かった。

本開示は、このような状況に鑑みてなされたものであり、高画質化処理を効率よく行うことができるようにするものである。

本開示の一側面の画像処理装置は、ビットストリームを階層構造を有するブロック単位で復号処理して生成された画像に対して、前記階層構造を有する前記ブロック単位で符号化する際に用いる適応オフセットフィルタのパラメータから、オクルージョン領域であること、過変形領域であること、または前記オクルージョン領域および前記過変形領域ではないことを示す第１の領域情報を生成する領域決定部と、前記領域決定部により生成された前記第１の領域情報に基づいて、前記画像に対して、高画質化処理を行う高画質化処理部とを備える。

前記適応オフセットフィルタのパラメータは、エッジオフセットまたはバンドオフセットであることを示すパラメータである。
前記階層構造を有する前記ブロック単位で符号化する際に用いるブロックのサイズを示すパラメータから領域の境界を検出することで第２の領域情報を生成する領域検出部をさらに備え、前記高画質化処理部は、前記第１の領域情報および前記第２の領域情報に基づいて、前記画像に対して、高画質化処理を行うことができる。

前記ブロックのサイズを示すパラメータは、階層の深さを示すパラメータである。

前記ブロックのサイズを示すパラメータは、split_flagである。

前記領域検出部は、前記ブロックのサイズを示すパラメータから生成される符号化ブロックサイズのマップを利用して前記第２の領域情報を生成することができる。

前記領域検出部は、動体領域であるか静止領域であるかの情報を含む前記第２の領域情報を生成することができる。

前記領域検出部は、前記ビットストリームを復号処理して得られる動きベクトル情報を利用して、前記第２の領域情報を生成することができる。

前記高画質化処理は、画面内相関を用いる処理である。

前記高画質化処理は、ノイズリダクション、高フレームレート処理、または複数枚超解像処理である。

前記ビットストリームを復号処理して、前記画像を生成するとともに、前記適応オフセットフィルタのパラメータを出力する復号部をさらに備え、前記領域決定部は、前記復号部により生成された前記画像に対して、前記復号部により出力された前記適応オフセットフィルタのパラメータを利用して、前記第１の領域情報を生成することができる。

前記復号部は、前記画像に適応オフセット処理を行う適応オフセットフィルタ処理部をさらに備えることができる。

本開示の一側面の画像処理方法は、画像処理装置が、ビットストリームを階層構造を有するブロック単位で復号処理して生成された画像に対して、前記階層構造を有する前記ブロック単位で符号化する際に用いる適応オフセットフィルタのパラメータから、オクルージョン領域であること、過変形領域であること、または前記オクルージョン領域および前記過変形領域ではないことを示す第１の領域情報を生成し、生成された前記第１の領域情報に基づいて、前記画像に対して、高画質化処理を行う。

本開示の一側面においては、ビットストリームを階層構造を有するブロック単位で復号処理して生成された画像に対して、前記階層構造を有する前記ブロック単位で符号化する際に用いる適応オフセットフィルタのパラメータから、オクルージョン領域であること、過変形領域であること、または前記オクルージョン領域および前記過変形領域ではないことを示す第１の領域情報が生成される。そして、生成された前記第１の領域情報に基づいて、前記画像に対して、高画質化処理が行われる。

なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像復号装置を構成している内部ブロックであってもよい。

本開示によれば、画像を復号することができる。特に、高画質化処理を効率よく行うことができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

動き検出器を有する画像処理装置の構成例を示すブロック図である。符号化情報を用いる画像処理装置の構成例を示すブロック図である。階層構造について説明する図である。復号部の構成例を示すブロック図である。 CTUのシンタクスの例を示す図である。 coding_quadtreeのシンタクスの例を示す図である。 split_cu_flagのセマンテクスの例を示す図である。 PUサイズのパース方法について説明する図である。 PUサイズのパース方法について説明する図である。 part_modeのセマンテクスの例を示す図である。 TUサイズのパース方法について説明する図である。 split_transform_flagのセマンテクスの例を示す図である。動体領域検出器の構成例を示すブロック図である。ブロック分割と境界線候補の例を示す図である。画像処理について説明するフローチャートである。復号処理を説明するフローチャートである。動体領域特定処理を説明するフローチャートである。動体領域特定処理を説明する図である。動体領域特定処理を説明する図である。オクルージョン領域を説明する図である。 SAOについて説明する図である。符号化情報を用いる画像処理装置の他の構成例を示すブロック図である。領域分割部の構成例を示すブロック図である。物体境界検出器の構成例を示すブロック図である。画像処理について説明するフローチャートである。領域分割処理について説明するフローチャートである。領域分割処理を説明する図である。領域分割処理を説明する図である。物体境界検出処理を説明するフローチャートである。時間軸処理非適応領域の検出処理を説明するフローチャートである。時間軸処理領域決定処理を説明するフローチャートである。時間軸処理領域決定処理を説明する図である。時間処理領域マップの利用方法を説明する図である。コンピュータの主な構成例を示すブロック図である。テレビジョン装置の概略的な構成の一例を示すブロック図である。携帯電話機の概略的な構成の一例を示すブロック図である。記録再生装置の概略的な構成の一例を示すブロック図である。撮像装置の概略的な構成の一例を示すブロック図である。ビデオセットの概略的な構成の一例を示すブロック図である。ビデオプロセッサの概略的な構成の一例を示すブロック図である。ビデオプロセッサの概略的な構成の他の例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（階層ブロック分割情報を用いる画像処理装置の例）
２．第２の実施の形態（SAOパラメータを用いる画像処理装置の例）
３．第３の実施の形態（コンピュータ）
４．応用例
５．第４の実施の形態（セット・ユニット・モジュール・プロセッサ）

＜第１の実施の形態＞
［画像処理装置の構成例］
図１は、動き検出器を有する画像処理装置の構成例を示すブロック図である。図１の例において、画像処理装置１は、放送やDVD等で配信されたビットストリームを復号後、高画質化処理を行う画像処理装置である。

画像処理装置１は、復号部１１および画像処理部１２により構成される。画像処理部１２は、動き検出器２１、動体領域検出器２２、および動画像処理器２３を含むように構成されている。

復号部１１は、ビットストリームを入力し、入力したビットストリームを、予め規定された画像復号方法に従って復号し、デコード画像を生成する。画像復号方法としては、MPEG（Moving Picture Experts Group）-2、MPEG4、MPEG4AVC（Advanced Video Coding）（以下、単にAVCと称する）、HEVC(High Efficiency Video Coding)などがあげられる。復号部１１により生成されたデコード画像は、動き検出器２１、動体領域検出器２２、および動画像処理器２３にそれぞれ出力される。

動き検出器２１は、復号部１１からのデコード画像より動きベクトルの検出を行う。動きベクトル検出方法には、ブロックマッチング、optical flowなど複数アルゴリズムが存在する。図１の例において、動きベクトル検出方法は限定されない。動き検出器２１において検出された動きベクトルは、動体領域検出器２２に出力される。

動体領域検出器２２は、動き検出器２１により検出された動きベクトルと、復号部１１からのデコード画像より、動体領域の特定を行う。例えば、動体領域検出器２２は、コマ数補間処理（高フレームレート化処理）の場合、画像中に動いているボールなどの領域を判別する。動体領域検出器２２は、特定した動体領域の情報を動画像処理器２３に供給する。

動画像処理器２３は、高画質化処理として、ノイズリダクション、コマ数補間処理、または複数枚超解像処理など、画面内相関を用いる処理を行う。動画像処理器２３は、処理後の高画質化画像を、図示せぬ後段に出力する。

なお、図１の例においては、図示されないが、動き検出器２１、動体領域検出器２２、および動画像処理器２３は、過去フレームを蓄積しておくためにフレームバッファなどが必要な場合、ブロック内にそれぞれ内包されているものとする。

以上のように、画像処理装置１においては、復号部１１によりデコードされた画像に対して、高画質化処理が行われている。そして、実際には、復号部１１においてさまざまな符号化情報がデコードされているにも関わらず、その情報を使うことなく、画像処理装置１においては、復号部１１の後段で、再度、動き検出器２１により動きベクトルなどが検出されており、コストがかかっていた。

［画像処理装置の構成例］
図２は、符号化情報を用いる画像処理装置の構成例を示すブロック図である。図２の例において、画像処理装置１０１は、図１の画像処理装置１と同様に、放送やDVD等で配信されたビットストリームを復号後、高画質化処理を行う画像処理装置である。

図２の例において、画像処理装置１０１は、復号部１１１および画像処理部１１２により構成されている。

復号部１１１は、例えば、HEVC(High Efficiency Video Coding)規格のデコーダであり、図示せぬ外部よりHEVCにより符号化されたビットストリームを入力する。復号部１１１は、入力されたビットストリームをHEVC規格に従って復号する。

図１の復号部１１は、後段の画像処理部１２に対して、デコード画像のみを出力した。これに対して、図２の復号部１１１は、デコード画像に加え、復号に用いたビットストリーム内の符号化情報である動きベクトル情報、および画像分割情報として、CU（Coding Unit）、PU（Prediction Unit）、TU（Transform Unit）などの階層ブロック分割情報（Quadtree情報とも称する）を画像処理部１１２に出力する。復号部１１１において、復号に用いたビットストリーム内の符号化情報は、換言すると、階層構造を有する単位で符号化する際に用いる符号化情報（パラメータ）である。

階層ブロック分割情報は、ブロックのサイズを示すパラメータであり、階層の深度を示すパラメータである。具体的には、階層ブロック分割情報は、後述するsplit-flagである。ここで、図３を参照して、CU、PU、TUについて説明する。

AVCにおいては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、１６画素×１６画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；4000画素×2000画素）といった大きな画枠に対して最適ではない。

これに対して、HEVCにおいては、図３に示されるように、コーディングユニット（CU）が規定されている。AVCの階層構造がBlock coding structureと呼ばれるのに対し、HEVCの階層構造は、Quadtree coding structureと呼ばれている。

CUは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。

例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（SCU（Smallest Coding Unit））が規定される。

それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができ、どのサイズまで分割されているかがわかる。図３の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。

更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（PU）に分割される。また、PUは、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（TU）に分割される。現在、HEVC方式においては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。すなわち、CUは、階層的にブロック単位で分割されており、TUは、CUを起点として階層的に分割されている。

以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVC方式におけるマクロブロックはLCUに相当し、ブロック（サブブロック）はCUに相当すると考えることができる。また、AVC方式における動き補償ブロックは、PUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、AVC方式のマクロブロックより大きく設定されることが一般的である。

よって、以下、LCUは、AVC方式におけるマクロブロックをも含むものとし、CUは、AVC方式におけるブロック（サブブロック）をも含むものとする。つまり、以下の説明に用いる「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、「ブロック」には、例えば、TU、PU、SCU、CU、LCU、サブブロック、マクロブロック、またはスライス等任意の領域（処理単位）が含まれる。もちろん、これら以外の部分領域（処理単位）も含まれる。サイズや処理単位等を限定する必要がある場合は、適宜説明する。

また、本明細書において、CTU（Coding Tree Unit）は、LCU(最大数のCU)のCTB（Coding Tree Block）と、そのLCUベース（レベル）で処理するときのパラメータを含む単位であるとする。また、CTUを構成するCU（Coding Unit）は、CB(Coding Block)と、そのCUベース（レベル）で処理するときのパラメータを含む単位であるとする。

図２に戻って、画像処理部１１２は、復号部１１１からのデコード画像に対して、復号部１１１からの符号化情報を用いて、動体領域を特定し、高画質化処理を行う。画像処理部１１２は、MV変換器１２１、動体領域検出器１２２、および動画像処理器１２３により構成されている。なお、図２の例においても、図示されないが、動体領域検出器１２２、および動画像処理器１２３は、過去フレームを蓄積しておくためにフレームバッファなどが必要な場合、ブロック内にそれぞれ内包されているものとする。

MV変換器１２１は、復号部１１１からの動きベクトル情報に基づいて、符号化順序から表示順序への方向などの正規化を行い、信号処理を行って、後段の各部が利用可能な動きベクトルに変換する。MV変換器１２１は、変換後の動きベクトルを動体領域検出器１２２および動画像処理器１２３に供給する。

復号部１１１からのデコード画像は、動体領域検出器１２２および動画像処理器１２３に入力される。また、復号部１１１からの画像分割情報（階層ブロック分割情報）は、動体領域検出器１２２に入力される。

動体領域検出器１２２は、復号部１１１からの符号化情報、すなわち、階層ブロック分割情報、動きベクトル、およびデコード画像の情報を用いて、動体領域の特定を行う。

一般的にHEVCの符号化時に選択させるCU/TUサイズは、画像の特徴量が均一であれば、大きいブロックが選択され、物体境界部分など、画像の特徴が不均一な箇所では、小さいブロックサイズが選択される傾向がある。

動体領域検出器１２２は、HEVCストリームのこの性質を用いて、領域の判別を行う。動体領域検出器１２２は、階層ブロック分割情報として得られたCUサイズの情報により、画像内のどの位置が分割されているかを示すブロックサイズマップを作成する。

動体領域検出器１２２は、作成されたブロックサイズマップ情報に基づいて、一定サイズ以下に分割されたブロック位置を特定し、近隣の小サイズブロックと連結することで、物体の境界位置情報を生成する。そして、動体領域検出器１２２は、生成した物体の境界位置情報をもとに、残りのブロックを統合することで、物体（オブジェクト）単位のラベリングを行い、物体単位の領域情報を生成する。

なお、より高精細、高精度の階層ブロック分割情報が必要な場合、デコード画像の情報、動きベクトル情報を組み合わせ、分割精度を向上させることも可能である。

また、上記説明においては、CUサイズをベースに説明したが、TUサイズ情報を用いても同様の分割を行うことができる。さらに、CUサイズ情報とTUサイズ情報とを用いることで、検出精度の向上を図ることができる。

また、PUサイズは、図３を参照して上述したように画像の動き情報を基に分割されるので、PUサイズを見ることで、動きの異なる領域の境界を推定することが可能となる。そのため、PUサイズを用いて、同様の画像分割を行うことで、動きの均一さに応じた画像の分割を行うことができ、結果として、動体、非動体（静止）毎に領域分割することが可能となる。すなわち、PUサイズの場合、動体領域の特定が行われ、動体領域の情報が生成される。

動体領域検出器１２２は、上述したCU/TU/PUサイズを用いたフレームの分割情報を単独、もしくは組み合わせることで、動体領域の特定を行い、特定した動体領域の情報を、動画像処理器１２３に供給する。

動画像処理器１２３は、動体領域検出器１２２からの動物体領域の情報、MV変換器１２１からの動きベクトルを基に、復号部１１１からのデコード画像に対して、ノイズリダクション、コマ数補間処理、または複数枚超解像処理など、画面内相関を用いる高画質化処理を施す。動画像処理器１２３は、高画質化処理の結果の高画質画像を、外部に出力する。

[復号部の構成例]
図４は、復号部１１１の構成例を示すブロック図である。

図４に示されるように復号部１１１は、蓄積バッファ１４１、可逆復号部１４２、逆量子化部１４３、逆直交変換部１４４、演算部１４５、デブロッキングフィルタ１４６、適応オフセットフィルタ１４７、および画面並べ替えバッファ１４８を有する。また、復号部１１１は、フレームメモリ１５０、選択部１５１、イントラ予測部１５２、動き補償部１５３、および予測画像選択部１５４を有する。

蓄積バッファ１４１は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ１４１は、伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部１４２に供給する。この符号化データには、Quadtree情報、予測モード情報、動きベクトル情報、マクロブロック情報、およびSAOパラメータなどの復号に必要な情報が付加されている。

可逆復号部１４２は、蓄積バッファ１４１より供給された、図示せぬ符号側により符号化された情報を、その符号化方式に対応する復号方式で復号する。可逆復号部１４２は、復号して得られた差分画像の量子化された係数データを、逆量子化部１４３に供給する。

また、可逆復号部１４２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部１５２および動き補償部１５３の内、選択されたと判定したモードの方に供給する。つまり、例えば、符号化側において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部１５２に供給される。また、例えば、符号化側において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動きベクトル情報とともに動き補償部１５３に供給される。

さらに、可逆復号部１４２は、例えば、上述したQuadtree情報（階層ブロック分割情報）、予測モード情報、動きベクトル情報、マクロブロック情報、およびSAO(Sample adaptive offset：適応オフセットフィルタ)で用いられるパラメータ（以下、SAOパラメータと称する）などの後段の高画質化処理に必要な情報を、図２の画像処理部１１２に供給する。

逆量子化部１４３は、可逆復号部１４２により復号されて得られた量子化された係数データを、符号化側の量子化部の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部１４３は、符号化側の逆量子化部と同様の処理部である。

逆量子化部１４３は、得られた係数データを逆直交変換部１４４に供給する。

逆直交変換部１４４は、逆量子化部１４３から供給される直交変換係数を、必要に応じて、符号化側の直交変換部の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部１４４は、符号化側の逆直交変換部と同様の処理部である。

この逆直交変換処理により差分画像の画像データが復元される。この復元された差分画像の画像データは、画像符号化装置において直交変換される前の差分画像の画像データに対応する。以下においては、この、符号化側の逆直交変換処理により得られた、復元された差分画像の画像データを、復号残差データとも称する。逆直交変換部１４４は、この復号残差データを、演算部１４５に供給する。また、演算部１４５には、予測画像選択部１５４を介して、イントラ予測部１５２若しくは動き補償部１５３から予測画像の画像データが供給される。

演算部１４５は、この復号残差データと予測画像の画像データとを用いて、差分画像と予測画像とを加算した再構成画像の画像データを得る。この再構成画像は、符号化側により予測画像が減算される前の入力画像に対応する。演算部１４５は、その再構成画像をデブロッキングフィルタ１４６に供給する。

デブロッキングフィルタ１４６は、供給された再構成画像に対して、デブロッキングフィルタ処理を行うことにより、ブロック歪を除去する。デブロッキングフィルタ１４６は、フィルタ処理が施された画像を、適応オフセットフィルタ１４７に供給する。

適応オフセットフィルタ１４７は、デブロッキングフィルタ１４６からのデブロッキングフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、主にリンギングを除去する適応オフセットフィルタ(SAO)処理を行う。

適応オフセットフィルタ１４７は、可逆復号部１４２からの最大の符号化単位であるLCU（Largest Coding Unit）ごとの適応オフセットフィルタ処理の種類（エッジオフセットモードであるか、バンドオフセットモードであるか）を示す情報とオフセットの値を受信する。適応オフセットフィルタ１４７は、受信したオフセットの値を用いて、適応デブロックフィルタ処理後の画像に対して、受信した種類の適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ１４７は、適応オフセットフィルタ処理後の画像（以下、復号画像と称する）を、画面並べ替えバッファ１４８およびフレームメモリ１５０に供給する。

なお、演算部１４５から出力される復号画像は、デブロッキングフィルタ１４６や適応オフセットフィルタ１４７を介さずに画面並べ替えバッファ１４８やフレームメモリ１５０に供給することができる。つまり、デブロッキングフィルタ１４６やによるフィルタ処理の一部若しくは全部は省略することができる。また、適応オフセットフィルタ１４７の後段に、適応ループフィルタを備えるようにしてもよい。

適応オフセットフィルタ１４７は、フィルタ処理結果である復号画像（若しくは再構成画像）を画面並べ替えバッファ１４８およびフレームメモリ１５０に供給する。

画面並べ替えバッファ１４８は、復号画像についてフレームの順番の並べ替えを行う。すなわち、画面並べ替えバッファ１４８は、符号化側により符号化順に並べ替えられた各フレームの画像を、元の表示順に並べ替える。つまり、画面並べ替えバッファ１４８は、符号化順に供給される各フレームの復号画像の画像データを、その順に記憶し、符号化順に記憶した各フレームの復号画像の画像データを、表示順に読み出して、図２の画像処理部１１２に出力する。

フレームメモリ１５０は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部１５２や動き補償部１５３等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部１５１を介してイントラ予測部１５２や動き補償部１５３に供給する。

イントラ予測部１５２には、イントラ予測モード情報等が可逆復号部１４２から適宜供給される。イントラ予測部１５２は、符号化側のイントラ予測部において用いられたイントラ予測モード（最適イントラ予測モード）でイントラ予測を行い、予測画像を生成する。その際、イントラ予測部１５２は、選択部１５１を介してフレームメモリ１５０から供給される再構成画像の画像データを用いてイントラ予測を行う。すなわち、イントラ予測部１５２は、この再構成画像を参照画像（周辺画素）として利用する。イントラ予測部１５２は、生成した予測画像を予測画像選択部１５４に供給する。

動き補償部１５３には、最適予測モード情報や動きベクトル情報等が可逆復号部１４２から適宜供給される。動き補償部１５３は、可逆復号部１４２から取得された最適予測モード情報が示すインター予測モード（最適インター予測モード）で、フレームメモリ１５０から取得した復号画像（参照画像）を用いてインター予測を行い、予測画像を生成する。

予測画像選択部１５４は、イントラ予測部１５２から供給される予測画像または動き補償部１５３から供給される予測画像を、演算部１４５に供給する。そして、演算部１４５においては、その予測画像と逆直交変換部１４４からの復号残差データ（差分画像情報）とが加算されて再構成画像が得られる。

[階層ブロック分割情報の例]
次に、図５乃至図７を参照して、階層ブロック分割情報（Quadtree情報）としてのCUサイズのパース方法について説明する。図５は、CTU（Coding Tree Unit）のシンタクスの例を示す図である。なお、以下のシンタックスが示される図において、各行の左端の数字は説明のために付した行番号である。

図５の第６行目には、CTUのシンタクスに、coding_quadtreeが設定されている。

図６は、図５の第６行目のcoding_quadtreeのシンタクスの例を示す図である。

図６の第３行目には、split_cu_flagが示されている。ここで、split_cu_flag=1である場合、このCUがより小さなサイズのCUに分割されていることを示す。

図６の第８行目乃至第１８行目に示されるように、coding_quadtreeは、分割状況に応じて、再帰的にコールされる。第１９行目には、coding_unitが設定されている。

CUサイズは、以上のように設定されるCTUのcoding_quadtree内のsplit_cu_flagを参照することでパースすることができる。

図７は、図６の第３行目のsplit_cu_flagのセマンテクスの例を示す図である。

split_cu_flag[x0][y0]は、cuが縦横半分のサイズのcuに分割されているかを示す。x0,y0の配列インデックスは、画像の左上の輝度画素に関連するとみなされたブロックの左上の輝度画素の(x0,y0)の位置を示す。

split_cu_flag[x0][y0]が存在しないとき、次に従う。
−log2CbSizeがMinCbLog2SizeYより大きいなら、split_cu_flag[x0][y0]の値は、１に等しいと推測される。
−そうではなく、log2CbSizeがMinCbLog2SizeYと等しいなら、split_cu_flag[x0][y0]の値は、０に等しいと推測される。

CtDepth[x][y]の配列は、(x,y)の位置をカバーする輝度ブロックのコーディングツリーの深さを示している。split_cu_flag[x0][y0]が０に等しいとき、CtDepth[x][y]は、cqtDepth for x=x0..x0+nCbS 1 and y=y0..y0 + nCbS-1に等しいとみなされる。

また、図８乃至図１０を参照して、階層ブロック分割情報としてのPUサイズのパース方法について説明する。図８および図９は、上述した図６の第１９行目のCU（coding_unit）のシンタクスの例を示す図である。

図８の第１３行目には、part_modeが設定されている。また、図９の第６７行目には、transform_treeが設定されている。

ここで、PUサイズは、以上のように設定されるCTUのcoding_quadtree内のcoding_unitにおける、次に説明するpart_modeを参照することでパースすることができる。

図１０は、図８の第１３行目のpart_modeのセマンテクスの例を示す図である。

part_modeのセマンテクスは、現在のCUのパーティション分割モードを示している。part_modeのセマンテクスは、CuPredMode[x0][y0]に依存する。さまざまなPartModeとIntraSplitFlagは、図中下のテーブルに定義されているpart_modeの値から導かれる。

part_modeの値は、次のように制約されている。
・CuPredMode[x0][y0]がMode_INTRAと等しいとき、part_modeは、0または１に等しい。
・そうではなく、CuPredMode[x0][y0]がMode_IINTERと等しいならば、次を適用する。
・もしlog2CbSizeがMinCbLog2SizeYより大きく、amp_enabled_flagが１に等しいならば、part_modeは、０乃至２の範囲か、または、４乃至７の範囲に含まれる。
・そうではなく、もし、log2CbSizeがMinCbLog2SizeYより大きく、amp_enabled_flagが１に等しいか、あるいは、log2CbSizeが３に等しいならば、part_modeは、０乃至２の範囲に含まれる。
・そうではなく、log2CbSizeが３より大きく、MinCbLog2SizeYより以下か、同じであるならば、part_modeの値は、０乃至３の範囲に含まれる。

part_modeが存在しないとき、さまざまなPartModeとIntraSplitFlagは、次のように導かれる。
・PartModeは、PART_2N×2Nとなるように設定される。
・IntraSplitFlagは、０となるように設定される。

図１０に示されるテーブルにおいては、次のように示されている。すなわち、CuPredMode[x0][y0]がMode_INTRAで、part_modeが０で、IntraSplitFlagが０のとき、PartModeは、PART 2N×2Nであることが示されている。CuPredMode[x0][y0]がMode_INTRAで、part_modeが１で、IntraSplitFlagが１のとき、PartModeは、PART N×Nであることが示されている。

CuPredMode[x0][y0]がMode_INTERで、part_modeが０で、IntraSplitFlagが０のとき、PartModeは、PART 2N×2Nであることが示されている。CuPredMode[x0][y0]がMode_ INTERで、part_modeが１で、IntraSplitFlagが０のとき、PartModeは、PART 2N×Nであることが示されている。

CuPredMode[x0][y0]がMode_INTERで、part_modeが２で、IntraSplitFlagが０のとき、PartModeは、PART N×2Nであることが示されている。CuPredMode[x0][y0]がMode_ INTERで、part_modeが３で、IntraSplitFlagが０のとき、PartModeは、PART N×Nであることが示されている。

CuPredMode[x0][y0]がMode_INTERで、part_modeが４で、IntraSplitFlagが０のとき、PartModeは、PART 2N×nUであることが示されている。CuPredMode[x0][y0]がMode_ INTERで、part_modeが５で、IntraSplitFlagが０のとき、PartModeは、PART 2N×nDであることが示されている。

CuPredMode[x0][y0]がMode_INTERで、part_modeが６で、IntraSplitFlagが０のとき、PartModeは、PART nL×2Nであることが示されている。CuPredMode[x0][y0]がMode_ INTERで、part_modeが７で、IntraSplitFlagが０のとき、PartModeは、PART nR×2Nであることが示されている。

さらに、図１１および図１２を参照して、階層ブロック分割情報としてのTUサイズのパース方法について説明する。図１１は、上述した図９の第６７行目のtransform_treeのシンタクスの例を示す図である。

図１１の第３行目には、split_transform_flagが設定されている。図１１の第１３行目乃至第１６行目に示されるように、transform_treeは、再帰的に呼び出せる構成となっている。

ここで、TUサイズは、以上のように設定されるCTUのcoding_quadtree内のcoding_unitのtransform_tree内における、次に説明するsplit_transform_flagを参照することでパースすることができる。

図１２は、図１１の第３行目のsplit_transform_flagのセマンテクスの例を示す図である。

split_transform_flag[x0][y0][trafoDepth]は、１つのブロックが、変換符号化のために縦横半分のサイズで４つのブロックに分けられているかを示す。x0,y0の配列インデックスは、画像の左上の輝度画素に関連するとみなされたブロックの左上の輝度画素の(x0,y0)の位置を示す。trafoDepthの配列インデックスは、変換符号化の目的のためのブロックへの、コーディングブロックの現在の分割レベルを示している。trafoDepthは、コーディングブロックと一致するブロックのために０に等しい。

さまざまなinterSplitFlagは、次のように導かれる。
−もし、maxtransform_hierarchy_depth_interが０に等しく、CuPredMode[x0][y0]がMODE_INTERで、PartModeがPART_2N×2Nではなく、trafoDepthが０と等しいならば、interSplitFlagは、１に等しく設定される。
−そうでない場合、interSplitFlagは、０に等しく設定される。

split_transform_flag[x0][y0][trafoDepth]がないとき、次のように導かれる。
−次に続く状態の１または複数が真ならば、split_transform_flag[x0][y0][trafoDepth]は１に等しいと推測される。
−Log2TrafoSizeは、Log2MaxTrafoSizeより大きい。
−IntraSplitFlagは、１に等しく、trafoDepthは、０に等しい。
−InterSplitFlagは、１に等しい。
−そうでなければ、split_transform_flag[x0][y0][trafoDepth]の値は、０に等しい。

[動体領域検出器の構成]
図１３は、図２の動体領域検出器の構成例を示すブロック図である。図１３の例においては、階層ブロック分割情報としてPU分割情報が入力される例が示されている。

動体領域検出器１２２は、境界ブロック判定部１８１、ラベリング部１８２、および動体静止判定部１８３を含むように構成されている。

境界ブロック判定部１８１には、復号部１１１からのデコード画像、および階層ブロック分割情報としてPU分割情報が入力される。

境界ブロック判定部１８１は、PU分割情報より、ブロックサイズマップを作成し、作成したマップを参照し、境界ブロック判定を行う。すなわち、境界ブロック判定部１８１は、境界ブロック判定として、境界初期値を設定して、物体境界の収束判定を行い、物体境界情報の更新を行う。そして、境界ブロック判定部１８１は、物体境界情報に基づいて、境界上、または境界に隣接しているブロックを境界（エッジ）ブロックとして特定する。

境界ブロック判定部１８１は、デコード画像、作成したブロックサイズマップ、および特定した境界ブロックの情報を、ラベリング部１８２に供給する。

ラベリング部１８２は、境界ブロック判定部１８１により特定された境界ブロックに基づき、画像において、隣接しているブロック同士を統合し、オブジェクト単位のラベリングを行い、オブジェクト単位の領域に分割する。ラベリング部１８２は、デコード画像と、各オブジェクトの領域の情報とを動体静止判定部１８３に出力する。

また、動体静止判定部１８３には、MV変換器１２１からの動きベクトル情報が入力される。

動体静止判定部１８３は、オブジェクトの領域毎に動きベクトルの平均値を算出し、算出された動きベクトルの平均値が閾値以上であるか否かに応じて、その領域が動体領域または静止領域であると判定する。動体静止判定部１８３による判定結果は、動体領域情報として、動画像処理器１２３に供給される。

[オブジェクトの境界線の検出]
上述したように、動体領域検出器１２２においては、SNAKEに代表されるような領域分割方法が適用され、その後、オブジェクト単位のラベリングが行われる。ここで、階層ブロック分割情報に基づいて生成されたブロックサイズマップ情報から、オブジェクトの境界線を検出する方法について説明する。

まず、境界線は、ブロック分割で分割された各ブロックのエッジおよび、その対角線の中から選択される。図１４のＡに示されるブロック分割の場合、境界線候補は、図１４のＢに示される最小の矩形の集まりのようになる。

ここで、予め定められたエネルギ（コスト）計算方法に従い、コストを計算し、エネルギ最小となる境界線を求め、その後の処理に使用する。

例えば、次の式（１）に示されるように、エッジ境界のエネルギを設定し、エネルギが最小となる境界条件を求めることで、エッジ境界を求めるものとする。

E_intは、内部エネルギとして定義され、一般に境界線の線長などが適用される。例えば、E_intとして、境界線の距離の合計値などが利用される。

また、E_extは、外部エネルギとして定義され、例えば、大きなブロックに隣接もしくは通過する境界線には大きなエネルギを、小さなブロックに隣接する境界線には小さなエネルギを割り振る。

以上のように、エネルギを定義し、エネルギ最小となる境界線を求めることで、小さいブロックを通過しつつ、無駄経路を通過しない境界線を算出することが可能となる。

なお、デコード画像の情報を併用し、分割境界を画素精度まで向上させることも可能である。

[画像処理]
次に、図１５のフローチャートを参照して、図２の画像処理装置１０１の画像処理について説明する。

復号部１１１は、図示せぬ外部よりHEVC規格により符号化されたビットストリームを入力する。復号部１１１は、ステップＳ１０１において、入力されたビットストリームをHEVC規格に従って復号する。この復号処理は、図１６を参照して後述される。復号部１１１は、ステップＳ１０１において復号されたデコード画像を動体領域検出器１２２および動画像処理器１２３に出力する。

また、復号部１１１は、復号に用いたビットストリーム内の符号化情報である動きベクトル情報をMV変換器１２１に出力する。復号部１１１は、復号に用いたビットストリーム内の符号化情報であるPUの階層ブロック分割情報を動体領域検出器１２２に出力する。

ステップＳ１０２において、MV変換器１２１は、復号部１１１からの動きベクトル情報に基づいて、符号化順序から表示順序への方向などの正規化を行い、信号処理を行って、後段の各部が利用可能な動きベクトルに変換する。MV変換器１２１は、変換後の動きベクトルを動体領域検出器１２２および動画像処理器１２３に供給する。

ステップＳ１０３において、動体領域検出器１２２は、階層ブロック分割情報、動きベクトル、およびデコード画像の情報などを用いて、動体領域特定処理を行う。この動体領域特性処理については、図１７を参照して後述される。

ステップＳ１０３により、動体領域の特定が行われ、特定した動体領域の情報が、動画像処理器１２３に供給される。

ステップＳ１０４において、動画像処理器１２３は、動体領域検出器１２２からの動物体領域の情報、MV変換器１２１からの動きベクトルを基に、復号部１１１からのデコード画像に対して、コマ数補間処理（高フレームレート化処理）、ノイズリダクションなどの高画質化処理を施す。動画像処理器１２３は、高画質化処理の結果の高画質画像を、外部に出力する。

[復号処理の流れ]
次に、図１５のステップＳ１０１において、復号部１１１により実行される復号処理の流れの例を、図１６のフローチャートを参照して説明する。

復号処理が開始されると、ステップＳ１２１において、蓄積バッファ１４１は、伝送されてきたビットストリーム（符号化データ）を蓄積する。ステップＳ１２２において、可逆復号部１４２は、蓄積バッファ１４１から供給されるビットストリーム（符号化データ）を復号する。すなわち、符号化側により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャ等の画像データが復号される。

このとき、ヘッダ情報などのビットストリームに含められた画像データ以外の各種情報も復号される。そして、可逆復号部１４２は、復号された各種情報のうち必要なものを、対応する各部に供給する。また、可逆復号部１４２は、復号された各種情報のうち、例えば、上述した階層ブロック分割情報、予測モード情報、動きベクトル情報、マクロブロック情報、およびSAOパラメータなどの後段の高画質化処理に必要な情報を、図２の画像処理部１１２に供給する。

ステップＳ１２３において、逆量子化部１４３は、ステップＳ１２２の処理により得られた、量子化された係数を逆量子化する。ステップＳ１２４において、逆直交変換部１４４は、ステップＳ１２３において逆量子化された係数を逆直交変換する。

ステップＳ１２５において、イントラ予測部１５２若しくは動き補償部１５３は、予測処理を行い、予測画像を生成する。つまり、可逆復号部１４２において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部１５２が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、動き補償部１５３が、符号化の際に最適とされたインター予測モードで予測画像を生成する。

ステップＳ１２６において、演算部１４５は、ステップＳ１２４において逆直交変換されて得られた差分画像に、ステップＳ１２５において生成された予測画像を加算する。これにより再構成画像の画像データが得られる。

ステップＳ１２７において、デブロッキングフィルタ１４６は、ステップＳ１２６の処理により得られた再構成画像の画像データに対して、デブロッキングフィルタ処理を行う。これによりブロック歪み等が除去される。ステップＳ１２８において、適応オフセットフィルタ１４７は、デブロッキングフィルタ１４６からのデブロッキングフィルタ処理結果に対して、主にリンギングを除去する適応オフセットフィルタ処理を行う。このとき、可逆復号部１４２からのSAOパラメータが用いられる。

ステップＳ１２９において、画面並べ替えバッファ１４８は、ステップＳ１２８において適応オフセットフィルタ処理された再構成画像の各フレームの並べ替えを行う。すなわち、符号化の際に並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ１３０において、画面並べ替えバッファ１４８は、各フレームの復号画像を、図２の画像処理部１１２に出力する。

ステップＳ１３１において、フレームメモリ１５０は、ステップＳ１２８の処理により得られた復号画像やステップＳ１２７の処理により得られた再構成画像等のデータを記憶する。

ステップＳ１３１の処理が終了すると、復号処理が終了し、処理は図１５に戻る。

[動体領域特定処理]
次に、図１７のフローチャート、並びに図１８および図１９を参照して、図１５のステップＳ１０３の動体領域特性処理について説明する。

ステップＳ１５１において、境界ブロック判定部１８１は、PU分割情報より、ブロックサイズマップを作成する。例えば、図１８のＡに示されるように、空、山といった特徴量が均一な領域に大きなブロック（例えば、PU）が割り振られ、山の稜線など局所的な特徴量の変化が大きい部分に関しては、小さいブロックが割り振られる傾向がある。

境界ブロック判定部１８１は、HEVCストリームのこの性質を用いて、PU分割情報より、画像内のどの位置が分割されているかを示すブロックサイズマップを作成する。これにより、PU分割情報では、わかりにくかった空間的に隣接したブロックの状態をわかりやすくすることができる。

ステップＳ１５２において、境界ブロック判定部１８１は、境界初期値を設定する。例えば、図１８のＢに示されるように、フレーム画枠が境界と設定される。なお、図１８および図１９の例において、太線が設定された境界を表している。

ステップＳ１５３において、境界ブロック判定部１８１は、物体境界情報の更新を行う。すなわち、境界ブロック判定部１８１は、物体境界情報の更新として、物体境界の収束処理を行い、物体境界情報を更新する。

具体的には、境界ブロック判定部１８１は、図１８のＣの左上の太線に示されるように、Ｓ１５２により設定された境界初期値の１点箇所のみを変更し、よりエネルギの低い境界線を算出する。変更可能な箇所が複数存在する場合、一番エネルギ削減幅の大きい箇所（境界）が変更される。

ステップＳ１５４において、境界ブロック判定部１８１は、境界が収束したか否かを判定する。境界線変更候補がまだ存在し、ステップＳ１５４において、境界が収束していないと判定された場合、処理は、ステップＳ１５３に戻り、それ以降の処理が繰り返される。

例えば、図１９のＡに示されるように、境界線変更候補がもう存在せず、ステップＳ１５４において、境界が収束したと判定された場合、処理は、ステップＳ１５５に進む。

ステップＳ１５５において、境界ブロック判定部１８１は、ステップＳ１５３により更新された物体境界情報に基づいて、図１９のＢにおいて太線で示される境界上または境界に隣接しているブロックを、境界ブロックEBとして特定する。

境界ブロック判定部１８１は、デコード画像、作成したブロックサイズマップ、および特定した境界ブロックEBの情報を、ラベリング部１８２に供給する。

ステップＳ１５６において、ラベリング部１８２は、境界ブロック判定部１８１により特定された境界ブロックEBに基づき、画像において、隣接しているブロック同士を統合し、オブジェクト単位でラベルを付加する。すなわち、図１９のＣの異なる種類のハッチングに示されるように、オブジェクト毎の領域にラベルが付加される。ラベリング部１８２は、デコード画像と、各オブジェクトの領域の情報とを動体静止判定部１８３に出力する。

ステップＳ１５７において、動体静止判定部１８３は、動体、静止判定を行う。すなわち、動体静止判定部１８３は、オブジェクトの領域毎に動きベクトルの平均値を算出し、算出された動きベクトルの平均値が閾値以上であるか否かに応じて、その領域が動体領域または静止領域であると判定する。動体静止判定部１８３による判定結果は、動体領域情報として、動画像処理器１２３に供給される。

なお、複数オブジェクトが存在する場合、別途初期値を設定し、収束演算を行うことで、複数オブジェクトの分割も可能である。

以上のように、デコードされた符号化情報を用いて、動体領域情報を生成し、高画質化処理に用いるようにしたので、効率よく、かつ、低コストで、高画質化処理を行うことができる。また、領域検出、並びに、高画質化処理を高精度化することができる。

さらに、圧縮ノイズに対してのロバストネスを実現することができる。すなわち、一般的にブロックノイズなどの圧縮歪は、物体の領域判定などに悪影響をおよぼすことが多い。これに対して、画像情報を直接用いず、ビットストリーム情報（デコードされた符号化情報）を用いることで、これら画像上の圧縮歪みの影響を抑制することができる。

なお、上記説明においては、デコードされた符号化情報として、階層ブロック分割情報や動きベクトル情報を用いる例を説明してきたが、他のパラメータを用いることもできる。次に、他のパラメータの例として、マクロブロックタイプやSAOパラメータを用いる例について説明する。

＜第２の実施の形態＞
[概要]
まず、SAOに関する情報を用いたオクルージョン領域や変形物体の検出について説明する。

コマ数補間処理などの画像処理においては、図２０に示されるような物体の移動などにより出現したオクルージョン領域や、過度に変形したオブジェクトなどを検出し、近傍フレームからの参照を制限するなどの処理が必要となるケースがある。

画像符号化においては、動き予測が有効に利用できないブロックに対し、イントラマクロブロックを利用した符号化を行うことが多い。すなわち、物体が移動した後の背景部分（すなわち、オクルージョン領域）、過度に変形した物体、シーンチェンジ直後などでは、イントラマクロブロックが選択され、画内予測で符号化されることが多い。

そこで、デコードされた符号化情報であるマクロブロックタイプを用いることで、オクルージョン領域および過変形領域を検出することが可能となる。

しかしながら、オクルージョンや過変形領域以外にも、エッジを含まない平坦な背景領域などで、イントラマクロブロックが選択されることがある。たとえば、暗所での撮影時において、白壁などの平坦部にノイズが重畳している場合、ノイズの影響により、フレーム間予測よりフレーム内予測の方が符号化効率的に有利と判定され、イントラ予測が用いられることがある。

以上のことから、イントラマクロブロック（マクロブロックの情報）に注目することで、オクルージョンおよび過変形領域の検出を行うことができるが、符号化効率観点で選択された平坦部を除外する必要が生じる。

そこで、本技術においては、デコードされた符号化情報であるマクロブロックタイプの情報に加えて、上述した図４に示される適応オフセットフィルタ１４７のSAOで用いられるSAOパラメータを用いて、オクルージョンおよび過変形領域を検出する。

SAOは、デコード画像に生じた直流成分の誤差やエッジ周辺のモスキートノイズの歪みを抑えるために用いられる。SAOは、バンドオフセットおよびエッジオフセットの２つの種類（モード）が存在する。バンドオフセットは、図２１のＡに示されるような復号画像上の直流成分の誤差を補正する目的で利用される。一方、エッジオフセットは、図２１のＢに示されるようなエッジ周辺に発生したモスキートノイズを補正する目的で利用される。

モスキートノイズは、エッジ周辺にて発生するため、エッジ近辺においては、エッジオフセットが選択されることが多い。逆に平坦部においては、エッジオフセットは選択されることが少ないため、エッジ部および平坦部の切り分けを、エッジオフセットモードであるか、またはバンドオフセットモードであるかを示すSAOモードで行うことが可能である。

これらの特性を利用し、マクロブロックモードおよびSAOモードの双方を確認することで、オクルージョン領域および過変形領域の検出を行うことが可能となる。

すなわち、マクロブロックタイプのフラグ、およびSAOモードのフラグをビットストリームより取得し、マクロブロックタイプがイントラで、エッジオフセットモードが選択されたマクロブロックに関しては、オクルージョン領域または過変形領域であると推定できる。

そのため、これらの領域は、コマ数補間処理（高フレームレート化処理）などの時間軸処理が適さない可能性がある。したがって、これらの情報を利用することで、時間軸処理の処理除外領域と設定することができる。これにより、時間軸処理による画像破綻を防ぐことが可能となる。

［画像処理装置の構成例］
図２２は、符号化情報を用いる画像処理装置の他の構成例を示すブロック図である。図２２の例において、画像処理装置２０１は、復号部１１１および画像処理部２１１により構成されている。

具体的には、画像処理装置２０１は、復号部１１１を備える点は、図２の画像処理装置１０１と共通している。一方、画像処理装置２０１は、画像処理部１１２が画像処理部２１１に入れ替わった点は、図２の画像処理装置１０１と異なっている。

画像処理部２１１は、MV変換器１２１と動画像処理器１２３とを備える点は、図２の画像処理部１１２と共通している。画像処理部２１１は、動体領域検出器１２２が、領域分割部２２１に入れ替わった点が、図２の画像処理部１１２と異なっている。

すなわち、復号部１１１からのデコード画像は、領域分割部２２１および動画像処理器１２３に入力される。復号部１１１からのデコードされた符号化情報（ストリームデータ）は、領域分割部２２１に入力される。例えば、符号化情報は、階層ブロック分割情報、マクロブロックタイプ、SAOモードなどがあげられる。MV変換器１２１からの、変換後の動きベクトルは、領域分割部２２１および動画像処理器１２３に供給される。

領域分割部２２１は、復号部１１１からの符号化情報（階層ブロック分割情報、マクロブロックタイプ、SAOモードなど）、MV変換器１２１からの動きベクトル情報、およびデコード画像の情報を用いて、時間軸処理領域の決定を行う。領域分割部２２１は、決定された領域情報を、動画像処理器１２３に供給する。

なお、オクルージョン領域および過変形領域の検出のみの場合、領域分割部２２１においては、符号化情報としては、マクロブロックタイプおよびSAOモードがあればよく、この場合、階層ブロック情報と動きベクトルは必須ではない。

[領域分割部の構成例]
図２３は、図２２の領域分割部の詳細な構成例を示すブロック図である。

図２３の例において、領域分割部２２１は、物体境界検出器２３１、図２の動体領域検出器１２２、時間軸処理非適応領域決定器２３２、および時間軸処理領域決定器２３３を含むように構成されている。

復号部１１１からのデコード画像は、物体境界検出器２３１、動体領域検出器１２２、時間軸処理非適応領域決定器２３２に入力される。また、復号部１１１からの符号化情報のうち、CU/TU分割情報は、物体境界検出器２３１に入力される。復号部１１１からの符号化情報のうち、PU分割情報は、動体領域検出器１２２に入力される。復号部１１１からの符号化情報のうち、マクロブロックタイプとSAOモードの情報は、時間軸処理非適応領域決定器２３２に供給される。

物体境界検出器２３１は、デコード画像、CU/TUの分割情報に基づいて、物体の境界情報を検出する。物体境界検出器２３１は、検出された物体の境界情報を時間軸処理領域決定器２３３に供給する。

動体領域検出器１２２は、図２の動体領域検出器１２２と基本的に同様に構成されている。動体領域検出器１２２は、デコード画像、PUの分割情報、動きベクトル情報に基づいて、物体の境界を検出し、領域毎に分割後、領域毎に動き、静止判定を行い、動体領域の検出を行う。動体領域検出器１２２により検出された動体領域情報は、時間軸処理領域決定器２３３に供給される。

時間軸処理非適応領域決定器２３２は、デコード画像、マクロブックタイプ、およびSAOモードの情報に基づいて、オクルージョン、過変形物体等の時間軸処理が適用できない領域の検出をおこなう。時間軸処理非適応領域決定器２３２により決定された情報は、時間軸処理領域決定器２３３に供給される。

時間軸処理領域決定器２３３は、物体の境界情報、動体領域の情報、時間軸処理非適応領域の情報に基づいて、最終的な時間軸処理の領域マップを生成し、生成した領域マップの情報を、図２２の動画像処理器１２３に供給する。

なお、図２３の例においては、マクロブックタイプおよびSAOモードと、階層ブロック分割情報とが併用される例が示されている。したがって、マクロブックタイプおよびSAOモードのみが用いられる場合、物体境界検出器２３１および動体領域検出器１２２は、領域分割部２２１から除かれてもよい。

[物体境界検出器の構成例]
図２４は、図２３の物体境界検出器２３１の構成例を示すブロック図である。図２４の例においては、階層ブロック分割情報としてCU/TU分割情報が入力される例が示されている。

図２４の例において、物体境界検出器２３１は、境界ブロック判定部１８１とラベリング部１８２を備える点は、図１３の動体領域検出器１２２と共通している。物体境界検出器２３１は、動体静止判定部１８３が除かれている点と、境界ブロック判定部１８１に入力される階層ブロック分割情報が、PU分割情報ではなく、CU/TU分割情報である点が、図１３の動体領域検出器１２２と異なっている。

すなわち、境界ブロック判定部１８１は、CU/TU分割情報より、ブロックサイズマップを作成し、作成したマップを参照し、境界ブロック判定を行う。すなわち、境界ブロック判定部１８１は、境界ブロック判定として、境界初期値を設定して、物体境界の収束判定を行い、物体境界情報の更新を行う。そして、境界ブロック判定部１８１は、物体境界情報に基づいて、境界上、または境界に隣接しているブロックを境界（エッジ）ブロックとして特定する。

ラベリング部１８２は、境界ブロック判定部１８１により特定された境界ブロックに基づき、画像において、隣接しているブロック同士を統合し、オブジェクト単位のラベリングを行い、オブジェクト単位の領域に分割する。ラベリング部１８２は、デコード画像と、各オブジェクトの領域の情報とを、時間軸処理領域決定器２３３に供給する。

[画像処理]
次に、図２５のフローチャートを参照して、図２２の画像処理装置２０１の画像処理について説明する。

復号部１１１は、図示せぬ外部よりHEVC規格により符号化されたビットストリームを入力する。復号部１１１は、ステップＳ２０１において、入力されたビットストリームをHEVC規格に従って復号する。この復号処理は、図１６を参照して上述された処理と基本的に同様の処理を行うため繰り返しになるので、この説明は省略される。復号部１１１は、ステップＳ２０１において復号されたデコード画像を領域分割部２２１および動画像処理器１２３に出力する。

また、復号部１１１は、復号に用いたビットストリーム内の符号化情報である動きベクトル情報をMV変換器１２１に出力する。復号部１１１は、復号に用いたビットストリーム内の符号化情報（階層ブロック分割情報、マクロブロックタイプ、SAOモード情報など）を領域分割部２２１に出力する。

ステップＳ２０２において、MV変換器１２１は、復号部１１１からの動きベクトル情報に基づいて、符号化順序から表示順序への方向などの正規化を行い、信号処理を行って、後段の各部が利用可能な動きベクトルに変換する。MV変換器１２１は、変換後の動きベクトルを領域分割部２２１および動画像処理器１２３に供給する。

ステップＳ２０３において、領域分割部２２１は、階層ブロック分割情報、動きベクトル、およびデコード画像の情報などを用いて、領域分割処理を行う。この領域分割処理については、図２６を参照して後述される。

ステップＳ２０３により、領域の分割処理が行われ、分割された領域の情報が、動画像処理器１２３に供給される。

ステップＳ２０４において、動画像処理器１２３は、領域分割部２２１からの分割された領域の情報、MV変換器１２１からの動きベクトルを基に、復号部１１１からのデコード画像に対して、コマ数補間処理、ノイズリダクションなどの高画質化処理を施す。動画像処理器１２３は、高画質化処理の結果の高画質画像を、外部に出力する。

[領域分割処理]
次に、図２６のフローチャート、並びに図２７および図２８を参照して、図２５のステップＳ２０３の領域分割処理について説明する。例えば、図２７に示されるように、自動車が２台並走している動画像のフレームnの情報を利用し、フレームn+1に対し、何らかの高画質化処理を施す例について説明する。

物体境界検出器２３１は、ステップＳ２２１において、デコード画像、CU/TUの分割情報に基づいて、物体の境界情報を検出する。この物体境界の検出処理については図２９を参照して後述する。このステップＳ２２１により、フレームn+1のデコード画像から、CU/TUの分割情報を用いて、物体境界情報が取得される。例えば、図２８のＡに示されるように、物体１（標識）、物体２（車）、物体３（車）といった単位で、物体の境界情報が取得される。取得された物体の境界情報は、時間軸処理領域決定器２３３に供給される。

ステップＳ２２２において、動体領域検出器１２２は、階層ブロック分割情報、動きベクトル、およびデコード画像の情報などを用いて、動体領域特定処理を行う。この動体領域特定処理は、図１６を参照して上述した処理と基本的に同様の処理であるため、その説明は繰り返しになるので省略される。

このステップＳ２２２により、フレームn+1のデコード画像から、PUの分割情報および動きベクトルを用いて、均一な動きを持つ領域の境界情報が検出される。例えば、図２８のＢに示されるように、画像が、静止領域と動体領域に分割される。ステップＳ２２２により、特定された動体領域の情報は、時間軸処理領域決定器２３３に供給される。

ステップＳ２２３において、時間軸処理非適応領域決定器２３２は、デコード画像から、マクロブックタイプ、SAOモードの情報に基づいて、オクルージョン、過変形領域等の時間軸処理が適用できない領域の検出をおこなう。この時間軸処理非適応領域の検出処理は、図３０を参照して後述する。このステップＳ２２３より、図２８のＣに示されるように、フレームN+1において、車の移動により出現したオクルージョン領域などを検出することができる。

時間軸処理非適応領域決定器２３２により検出されたオクルージョンや過変形領域情報は、時間軸処理非適応領域の情として、時間軸処理領域決定器２３３に供給される。

時間軸処理領域決定器２３３は、ステップＳ２２４において、物体の境界情報、動体領域の情報、時間軸処理非適応領域の情報に基づいて、最終的な時間軸処理領域を決定し、時間軸処理非適応領域決定の領域マップを生成する。

ステップＳ２２４により生成された領域マップの情報は、図２２の動画像処理器１２３に供給される。これにより、動画像処理器１２３においては、時間軸処理が適さない処理の場合に、処理除外領域に時間軸処理を禁止することができるので、時間軸処理による画像破綻を防ぐことができる。

[物体境界検出処理]
次に、図２９のフローチャートを参照して、図２６のステップＳ２２１における物体境界検出処理について説明する。なお、図２９のステップＳ２４１乃至Ｓ２４５は、図１７のステップＳ１５１乃至Ｓ１５６と基本的に同様の処理を行うので、その説明は省略される。

したがって、ステップＳ２４５によりオブジェクト毎の領域にラベルが付加され、ラベルが付加された各オブジェクトの領域の情報は、時間軸処理領域決定器２３３に供給される。

なお、図２９の処理においても、複数オブジェクトが存在する場合、別途初期値を設定し、収束演算を行うことで、複数オブジェクトの分割も可能である。

[時間軸処理非適応領域の検出処理]
次に、図３０のフローチャートを参照して、図２６のステップＳ２２３における時間軸処理非適応領域の検出処理について説明する。

ステップＳ２６１において、時間軸処理非適応領域決定器２３２は、復号部１１１からのマクロブロックタイプがイントラマクロブロックであるか否かを判定する。ステップＳ２６１において、イントラマクロブロックであると判定された場合、処理は、ステップＳ２６２に進む。

ステップＳ２６２において、時間軸処理非適応領域決定器２３２は、復号部１１１からのSAOモードがエッジオフセットモードであるか否かを判定する。ステップＳ２６２においてエッジオフセットモードであると判定された場合、処理は、ステップＳ２６３に進む。

ステップＳ２６３において、時間軸処理非適応領域決定器２３２は、そのマクロブロックがオクルージョン、過変形領域であるとする。

一方、ステップＳ２６１において、マクロブロックがイントラマクロブロックではない、すなわち、インターマクロブロックであると判定された場合、処理は、ステップＳ２６４に進む。また、ステップＳ２６２において、SAOモードがエッジオフセットモードではない、すなわち、バンドオフセットモードであると判定された場合、処理は、ステップＳ２６４に進む。

ステップＳ２６４において、時間軸処理非適応領域決定器２３２は、そのマクロブロックが時間処理適用可能領域であるとする。

[時間軸処理領域決定処理]
次に、図３１のフローチャートと、図３２を参照して、図２６のステップＳ２２４における時間軸処理領域決定処理の他の例について説明する。すなわち、上記説明において、時間軸処理領域決定器２３３は、ステップＳ２２４において、時間処理非適応領域の決定のみを行ったが、他の領域の決定も行い、決定された領域の情報も供給することができる。

ステップＳ２８１において、時間軸処理領域決定器２３３は、物体境界検出器２３１からの物体の境界情報と、動体領域検出器１２２からの動体領域の情報とを合成する。すなわち、CU/TUより検出された物体の境界情報に対し、PUおよび動きベクトルから検出された動体領域の除法を参照し、図３２のＡに示されるように、オブジェクト毎に動体オブジェクト（動物体）、静止オブジェクト（静止物体）のアサインを行う。

ステップＳ２８２において、ステップＳ２８１により合成された領域情報に対し、時間軸処理領域決定器２３３は、時間軸処理非適応領域決定器２３２からの時間処理非適応領域を上書きする。これにより、図３２のＢに示されるように、オブジェクト毎の動物体領域、オブジェクト毎の静止物体領域と、時間処理非適応領域に分割された時間処理領域マップが生成される。

生成された時間処理領域マップは、動画像処理器１２３に供給される。例えば、コマ数補間処理（高フレームレート化処理）の場合、動画像処理器１２３においては、標準の高画質処理に加えて、分割された領域の結果に応じて、図３３に示されるような処理が適用される。

すなわち、領域が動物体領域である場合、動画像処理器１２３においては、各動体の動きを考慮した補間処理が適用される。領域が静止物体領域である場合、動画像処理器１２３においては、時間方向での補間処理は行われない。領域が時間処理非適応処理である場合、破綻を回避するための処理が適用される。

以上のように、処理領域毎に高画質処理を分けて行うことができるので、さらに、画質を向上させることができる。

なお、上記説明においては、HEVC規格のデコーダを構成する画像処理装置の例を説明してきたが、デコーダにおける符号化方法は、HEVC規格に限らない。本技術は、例えば、階層構造を有する符号化方法であって、エッジオフセットおよびバンドオフセットなどフィルタを行う符号化方法で符号化する際に用いる符号化パラメータを利用する場合に適用することができる。

＜第３の実施の形態＞
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ８００において、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。

バス８０４には、さらに、入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、入力部８０６、出力部８０７、記憶部８０８、通信部８０９、及びドライブ８１０が接続されている。

入力部８０６は、キーボード、マウス、マイクロホンなどよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記憶部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインタフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体８１１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インタフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体８１１をドライブ８１０に装着することにより、入出力インタフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

＜応用例＞
［第１の応用例：テレビジョン受像機］
図３５は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去（抑制）などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去（抑制）などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る符号化情報を用いる画像処理装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、高画質化処理を効率よく行うことができる。

［第２の応用例：携帯電話機］
図３６は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る動き検出器を有する画像処理装置及び符号化情報を用いる画像処理装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、高画質化処理を効率よく行うことができる。

［第３の応用例：記録再生装置］
図３７は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。

OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る動き検出器を有する画像処理装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、高画質化処理を効率よく行うことができる。

［第４の応用例：撮像装置］
図３８は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る動き検出器を有する画像処理装置及び符号化情報を用いる画像処理装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、高画質化処理を効率よく行うことができる。

＜第４の実施の形態＞
[実施のその他の例]
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

[ビデオセット]
本技術をセットとして実施する場合の例について、図３９を参照して説明する。図３９は、本技術を適用したビデオセットの概略的な構成の一例を示している。

近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。

図３９に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。

図３９に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。

モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。

図３９の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。

プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。

図３９のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。

ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。

ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信に関する処理を行うプロセッサ（若しくはモジュール）である。例えば、ブロードバンドモデム１３３３は、送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。例えば、ブロードバンドモデム１３３３は、ビデオプロセッサ１３３２が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。

RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。

なお、図３９において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。

外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。

パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。

フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図３９に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。

アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。

コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。

例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。

なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。

カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。

センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。

以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。

以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。

[ビデオプロセッサの構成例]
図４０は、本技術を適用したビデオプロセッサ１３３２（図３９）の概略的な構成の一例を示している。

図４０の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。

図４０に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。

ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図３９）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１（図３９）等に出力する。

フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。

メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。

エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。

ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。

オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。

オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１（図３９）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１（図３９）等に供給する。

多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。

逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図２７）から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により（図３９）各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。

ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３９）等に供給する。

また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１（図３９）等に供給し、各種記録媒体に記録させる。

さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図３９）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１（図３９）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１（図３９）等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。

また、コネクティビティ１３２１（図３９）等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。

ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３９）等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１（図３９）等に出力され、各種記録媒体に記録される。

また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３９）等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１（図３９）等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。

オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、第１の実施の形態に係る画像処理装置１（図１）や画像処理装置１０１（図２）などの機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、上述した各実施形態に係る画像処理装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

[ビデオプロセッサの他の構成例]
図４１は、本技術を適用したビデオプロセッサ１３３２（図３９）の概略的な構成の他の例を示している。図４１の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能とを有する。

より具体的には、図４１に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。

制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。

図４１に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。

ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図３９）の画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１（図３９）のモニタ装置等に出力する。

ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。

画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。

内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。

コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。

図４１に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。

MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。

MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。

メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。

多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。

ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１（いずれも図３９）等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２（いずれも図３９）等向けのインタフェースである。

次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３９）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図３９）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１（図３９）等に出力され、各種記録媒体に記録される。

さらに、例えば、コネクティビティ１３２１（図３９）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図３９）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３９）等に供給され図示せぬ他の装置に伝送される。

なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、第１の実施の形態に係る画像処理装置１（図１）や画像処理装置１０１（図２）を実現する機能ブロックを有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

なお、コーデックエンジン１５１６において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。

[装置への適用例]
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図３５）、携帯電話機９２０（図３６）、記録再生装置９４０（図３７）、撮像装置９６０（図３８）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図３５）、携帯電話機９２０（図３６）、記録再生装置９４０（図３７）、撮像装置９６０（図３８）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

なお、本明細書では、例えば、Quadtree情報（階層ブロック分割情報）、予測モード情報、動きベクトル情報、マクロブロック情報、およびSAOパラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）ビットストリームを階層構造を有するブロック単位で復号処理して生成された画像に対して、階層構造を有するブロック単位で符号化する際に用いる符号化パラメータを利用して画像処理を行う画像処理部
を備える画像処理装置。
（２）前記符号化パラメータは、ブロックのサイズを示すパラメータである
前記（１）に記載の画像処理装置。
（３）前記符号化パラメータは、階層の深さを示すパラメータである
前記（２）に記載の画像処理装置。
（４）前記符号化パラメータは、spilt-flagである
前記（３）に記載の画像処理装置。
（５）前記符号化パラメータは、適応オフセットフィルタのパラメータである
前記（１）に記載の画像処理装置。
（６）前記符号化パラメータは、エッジオフセットまたはバンドオフセットであるかを示すパラメータである
前記（５）に記載の画像処理装置。
（７）前記画像処理部は、前記符号化パラメータから生成される符号化ブロックサイズのマップを利用して画像処理を行う
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（８）前記画像処理部は、前記符号化パラメータから領域の境界を検出することで領域情報を生成する領域検出部と、
前記領域検出部により検出された領域情報に基づいて、前記画像に対して、高画質化処理を行う高画質化処理部と
を備える前記（１）乃至（４）および（７）のいずれかに記載の画像処理装置。
（９）前記領域検出部は、動体領域であるか静止領域であるかの情報を含む領域情報を生成する
前記（８）に記載の画像処理装置。
（１０）前記領域検出部は、前記ビットストリームを復号処理して得られる動きベクトル情報を利用して、前記領域情報を生成する
前記（９）に記載の画像処理装置。
（１１）前記画像処理部は、前記符号化パラメータからオクルージョンまたは過変形領域であるか否かを示す領域情報を生成する領域決定部をさらに備え、
前記高画質化処理部は、前記領域検出部により検出された領域情報および前記領域決定部により生成された領域情報に基づいて、前記画像に対して、高画質化処理を行う
前記（８）乃至（１０）のいずれかに記載の画像処理装置。
（１２）前記高画質処理は、画面内相関を用いる処理である
前記（８）乃至（１１）のいずれかに記載の画像処理装置。
（１３）前記高画質処理は、ノイズリダクション、高フレームレート処理、または複数枚超解像処理である
前記（８）乃至（１２）のいずれかに記載の画像処理装置。
（１４）前記画像処理部は、前記符号化パラメータからオクルージョンまたは過変形領域であるか否かを示す領域情報を生成する領域決定部と、
前記領域決定部により決定された領域情報に基づいて、前記画像に対して、高画質化処理を行う高画質化処理部と
を備える前記（１）に記載の画像処理装置。
（１５）前記ビットストリームを復号処理して、前記画像を生成するとともに、前記符号化パラメータを出力する復号部
をさらに備え、
前記画像処理部は、前記復号部により生成された画像に対して、前記復号部により出力された符号化パラメータを利用して画像処理を行う
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）前記復号部は、前記画像に適応オフセット処理を行う適応オフセットフィルタ処理部を
さらに備える前記（１５）に記載の画像処理装置。
（１７）画像処理装置が、
ビットストリームを階層構造を有するブロック単位で復号処理して生成された画像に対して、階層構造を有するブロック単位で符号化する際に用いる符号化パラメータを利用して画像処理を行う
画像処理方法。

１０１画像処理装置，１１１復号部，１１２画像処理部，１２１ MV変換器，１２２動体領域検出器，１２３動画像処理器，１８１境界ブロック判定部，１８２ラベリング部，１８３動体静止判定部，２０１画像処理装置，２１１画像処理部，２２１領域分割部，２３１物体境界検出器，２３２時間軸処理非適応領域決定器，２３３時間軸処理領域決定器

Claims

ビットストリームを階層構造を有するブロック単位で復号処理して生成された画像に対して、前記階層構造を有する前記ブロック単位で符号化する際に用いる適応オフセットフィルタのパラメータから、オクルージョン領域であること、過変形領域であること、または前記オクルージョン領域および前記過変形領域ではないことを示す第１の領域情報を生成する領域決定部と、
前記領域決定部により生成された前記第１の領域情報に基づいて、前記画像に対して、高画質化処理を行う高画質化処理部と
を備える画像処理装置。
前記適応オフセットフィルタのパラメータは、エッジオフセットまたはバンドオフセットであることを示すパラメータである
請求項１に記載の画像処理装置。
前記階層構造を有する前記ブロック単位で符号化する際に用いるブロックのサイズを示すパラメータから領域の境界を検出することで第２の領域情報を生成する領域検出部
をさらに備え、
前記高画質化処理部は、前記第１の領域情報および前記第２の領域情報に基づいて、前記画像に対して、高画質化処理を行う
請求項１に記載の画像処理装置。
前記ブロックのサイズを示すパラメータは、階層の深さを示すパラメータである
請求項３に記載の画像処理装置。
前記ブロックのサイズを示すパラメータは、split_flagである
請求項４に記載の画像処理装置。
前記領域検出部は、前記ブロックのサイズを示すパラメータから生成される符号化ブロックサイズのマップを利用して前記第２の領域情報を生成する
請求項３に記載の画像処理装置。
前記領域検出部は、動体領域であるか静止領域であるかの情報を含む前記第２の領域情報を生成する
請求項３に記載の画像処理装置。
前記領域検出部は、前記ビットストリームを復号処理して得られる動きベクトル情報を利用して、前記第２の領域情報を生成する
請求項７に記載の画像処理装置。
前記高画質化処理は、画面内相関を用いる処理である
請求項１に記載の画像処理装置。
前記高画質化処理は、ノイズリダクション、高フレームレート処理、または複数枚超解像処理である
請求項９に記載の画像処理装置。
前記ビットストリームを復号処理して、前記画像を生成するとともに、前記適応オフセットフィルタのパラメータを出力する復号部
をさらに備え、
前記領域決定部は、前記復号部により生成された前記画像に対して、前記復号部により出力された前記適応オフセットフィルタのパラメータを利用して、前記第１の領域情報を生成する
請求項１に記載の画像処理装置。
前記復号部は、前記画像に適応オフセット処理を行う適応オフセットフィルタ処理部をさらに備える請求項１１に記載の画像処理装置。
画像処理装置が、
ビットストリームを階層構造を有するブロック単位で復号処理して生成された画像に対して、前記階層構造を有する前記ブロック単位で符号化する際に用いる適応オフセットフィルタのパラメータから、オクルージョン領域であること、過変形領域であること、または前記オクルージョン領域および前記過変形領域ではないことを示す第１の領域情報を生成し、
生成された前記第１の領域情報に基づいて、前記画像に対して、高画質化処理を行う
画像処理方法。