JPWO2016194721A1

JPWO2016194721A1 - 画像処理装置および画像処理方法

Info

Publication number: JPWO2016194721A1
Application number: JP2017521852A
Authority: JP
Inventors: 央二中神
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-06-05
Filing date: 2016-05-25
Publication date: 2018-03-22
Anticipated expiration: 2036-05-25
Also published as: CN107683606B; EP3306925A4; EP3306925A1; US20180124411A1; JP6711353B2; CN107683606A; EP3306925B1; KR20180016348A; US11140400B2; WO2016194721A1

Abstract

本開示は、画面内の相関性を利用したIntra BC予測を行う際の処理負荷を低減することができるようにする画像処理装置および画像処理方法に関する。制限部は、画面内の相関性を利用したIntra BC予測に用いられるカレントブロックの動きベクトルを、カレントブロックの周辺画素がカレントブロックのIntra BC予測に用いられないように制限する。本開示は、例えば、HEVC（High Efficiency Video Coding）方式に準ずる方式でCU（Coding Unit）単位で符号化を行う際Intra BC予測を行う符号化装置等に適用することができる。

Description

本開示は、画像処理装置および画像処理方法に関し、特に、画面内の相関性を利用したIntra BC予測を行う際の処理負荷を低減することができるようにした画像処理装置および画像処理方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264/MPEG-4 Part10 Advanced Video Coding（以下、H．264/AVCまたはAVC/H．264という）などがある。

そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC(Joint Collaboration Team - Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。

また、HEVCにおいて、4:2:2や4:4:4といった色差信号フォーマットの画像や、スクリーンコンテンツ用のプロファイル等、例えばハイエンド向けのフォーマットをサポートするようにレンジエクステンション(HEVC Range Extension)の検討が行われている（例えば、非特許文献１参照）。

ところで、IntraBlockCopy(Intra BC)は、画面内の相関性を利用して画面内で動き補償を行うことにより予測を行う符号化ツールである。Intra BCは、コンピュータ画面やCG画像のような人工画像に対し、符号化効率改善に貢献するツールとして知られている。Intra BCは、上述したHEVC Range Extension拡張には技術採用されず、Screen Content Coding(SCC)拡張の標準化で技術検討が続けられている（例えば、非特許文献２参照）。

現状のIntra BC予測では、カレントピクチャ内の現在の符号化対象のCU（Coding Unit）であるカレントブロックより符号化順が前である全ての領域が参照可能になっている。しかしながら、デブロッキングフィルタ処理やSAO(Sample adaptive offset)処理等のフィルタ処理では、あるCUの周囲の領域が、そのCUの影響を受ける。従って、参照可能領域のうちのカレントブロックの周辺の領域では、カレントブロックの符号化時にまだフィルタ処理が行われていない。よって、Intra BC予測は、フィルタ処理前のカレントピクチャ内の参照可能領域を参照して行われる。

一方、インター予測における参照ピクチャは、カレントピクチャとは異なるピクチャであるため、カレントブロックの符号化時に、参照ピクチャ内の全ての領域に対してフィルタ処理が行われている。従って、インター予測は、フィルタ処理後の参照ピクチャを参照して行われる。

以上のように、現状のIntra BC予測では、カレントブロックより符号化順が前である全ての領域が参照可能になっているので、インター予測とは異なり、フィルタ処理前のピクチャが参照される。従って、フィルタ処理前のピクチャをキャッシュ等に一時的に保持する必要があり、メモリ帯域および処理負荷が増加する。また、実装コストも増加する。

また、符号化を並列に行う場合、カレントブロックの符号化時にカレントブロックの近傍の画素の復号が間に合わない。従って、カレントブロックより符号化順が前である全ての領域を参照可能にすることはできない。よって、現状のIntra BC予測では、符号化を並列に行うことにより、処理負荷を軽減することは困難である。

Jill Boyce, et al. "Draft high efficiency video coding (HEVC) version 2, combined format range extensions (RExt), scalability (SHVC), and multi-view (MV-HEVC) extensions", JCTVC-R1013_v6, 2014.10.1 Rajan Joshi, et al. "High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 3", JCTVC-T1005, 2015.2.10-2015.2.17

以上により、画面内の相関性を利用したIntra BC予測を行う際の処理負荷を低減することが望まれている。

本開示は、このような状況に鑑みてなされたものであり、画面内の相関性を利用したIntra BC予測を行う際の処理負荷を低減することができるようにするものである。

本開示の一側面の画像処理装置は、画面内の相関性を利用した予測に用いられるカレントブロックの動きベクトルを、前記カレントブロックの周辺画素が前記カレントブロックの前記予測に用いられないように制限する制限部を備える画像処理装置である。

本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。

本開示の一側面においては、画面内の相関性を利用した予測に用いられるカレントブロックの動きベクトルが、前記カレントブロックの周辺画素が前記カレントブロックの前記予測に用いられないように制限される。

なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本開示の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の一側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本開示の一側面によれば、画像を予測することができる。また、本開示の一側面によれば、画面内の相関性を利用したIntra BC予測を行う際の処理負荷を低減することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。 Intra BC予測部の構成例を示すブロック図である。参照範囲の例を示す図である。図１の符号化装置の符号化処理を説明するフローチャートである。図１の符号化装置の符号化処理を説明するフローチャートである。 Intra BC予測処理の詳細を説明するフローチャートである。本開示を適用した復号装置の一実施の形態の構成例を示すブロック図である。図７の復号装置の復号処理を説明するフローチャートである。コンピュータのハードウエアの構成例を示すブロック図である。本開示を適用したテレビジョン装置の概略構成例を示す図である。本開示を適用した携帯電話機の概略構成例を示す図である。本開示を適用した記録再生装置の概略構成例を示す図である。本開示を適用した撮像装置の概略構成例を示す図である。本開示を適用したビデオセットの概略的な構成の一例を示している。本開示を適用したビデオプロセッサの概略的な構成の一例を示している。本開示を適用したビデオプロセッサの概略的な構成の他の例を示している。

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：符号化装置および復号装置（図１乃至図８）
２．第２実施の形態：コンピュータ（図９）
３．第３実施の形態：テレビジョン装置（図１０）
４．第４実施の形態：携帯電話機（図１１）
５．第５実施の形態：記録再生装置（図１２）
６．第６実施の形態：撮像装置（図１３）
７．第７実施の形態：ビデオセット（図１４乃至図１６）

＜第１実施の形態＞
（符号化装置の一実施の形態の構成例）
図１は、本開示を適用した画像処理装置としての符号化装置の一実施の形態の構成例を示すブロック図である。

図１の符号化装置７０は、A/D変換部７１、画面並べ替えバッファ７２、演算部７３、直交変換部７４、量子化部７５、可逆符号化部７６、蓄積バッファ７７、生成部７８、逆量子化部７９、逆直交変換部８０、および加算部８１を有する。また、符号化装置７０は、フィルタ８２、フレームメモリ８５、スイッチ８６、イントラ予測部８７、動き予測・補償部８９、予測画像選択部９２、およびレート制御部９３を有する。符号化装置７０は、フレーム単位のピクチャをHEVCに準ずる方式で符号化する。

符号化単位は、再帰的な階層構造を有するCoding UNIT(CU)である。具体的には、CUは、ピクチャを固定サイズのCTU（Coding Tree Unit）に分割し、そのCTUを任意の回数だけ水平方向および垂直方向に２分割することにより設定される。CUの最大のサイズはLCU（Largest Coding Unit）であり、最小サイズはSCU(Smallest Coding Unit)である。また、CUは、ＰＵ（Prediction Unit）やTU（transform unit）に分割される。

符号化装置７０のA/D変換部７１は、符号化対象として入力されたフレーム単位のピクチャをA/D変換する。A/D変換部７１は、変換後のデジタル信号であるピクチャを画面並べ替えバッファ７２に出力して記憶させる。

画面並べ替えバッファ７２は、記憶した表示の順番のフレーム単位のピクチャを、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ７２は、並べ替え後のピクチャをカレントピクチャとし、カレントピクチャの各CUを順にカレントブロックとする。画面並べ替えバッファ７２は、カレントブロックを、演算部７３、イントラ予測部８７、および動き予測・補償部８９に出力する。

演算部７３は、画面並べ替えバッファ７２から供給されるカレントブロックから、予測画像選択部９２から供給される予測画像を減算することにより符号化を行う。演算部７３は、その結果得られるピクチャを、残差情報として直交変換部７４に出力する。なお、予測画像選択部９２から予測画像が供給されない場合、演算部７３は、画面並べ替えバッファ７２から読み出されたカレントブロックをそのまま残差情報として直交変換部７４に出力する。

直交変換部７４は、演算部７３からの残差情報をTU単位で直交変換する。直交変換部７４は、直交変換の結果得られる直交変換係数を量子化部７５に供給する。

量子化部７５は、直交変換部７４から供給される直交変換係数に対して量子化を行う。量子化部７５は、量子化された直交変換係数を可逆符号化部７６に供給する。

可逆符号化部７６は、最適イントラ予測モードを示すイントラ予測モード情報をイントラ予測部８７から取得する。また、可逆符号化部７６は、最適インター予測モードを示すインター予測モード情報、動きベクトル、参照ピクチャを特定する参照ピクチャ特定情報などを動き予測・補償部８９から取得する。さらに、可逆符号化部７６は、フィルタ８２から適応オフセットフィルタ処理に関するオフセットフィルタ情報を取得する。

可逆符号化部７６は、量子化部７５から供給される量子化された直交変換係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。

また、可逆符号化部７６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照ピクチャ特定情報、並びにオフセットフィルタ情報等を、符号化に関する符号化情報として可逆符号化する。可逆符号化部７６は、可逆符号化された符号化情報などを可逆符号化された直交変換係数に付加し、符号化データとして蓄積バッファ７７に供給する。

蓄積バッファ７７は、可逆符号化部７６から供給される符号化データを、一時的に記憶する。また、蓄積バッファ７７は、記憶している符号化データを生成部７８に供給する。

生成部７８は、SPS（Sequence Parameter Set），PPS（Picture Parameter Set）などのパラメータセットと蓄積バッファ７７から供給される符号化データから符号化ストリームを生成し、出力する。

また、量子化部７５より出力された、量子化された直交変換係数は、逆量子化部７９にも入力される。逆量子化部７９は、量子化部７５により量子化された直交変換係数に対して、量子化部７５における量子化方法に対応する方法で逆量子化を行う。逆量子化部７９は、逆量子化の結果得られる直交変換係数を逆直交変換部８０に供給する。

逆直交変換部８０は、TU単位で、逆量子化部７９から供給される直交変換係数に対して、直交変換部７４における直交変換方法に対応する方法で逆直交変換を行う。逆直交変換部８０は、その結果得られる残差情報を加算部８１に供給する。

加算部８１は、逆直交変換部８０から供給される残差情報と、予測画像選択部９２から供給される予測画像を加算することにより、カレントブロックを復号する。なお、予測画像選択部９２から予測画像が供給されない場合、加算部８１は、逆直交変換部８０から供給される残差情報を復号結果とする。加算部８１は、カレントブロックをフレームメモリ８５とフィルタ８２に供給する。

フィルタ８２は、加算部８１から供給されたカレントブロックを、符号化済みのCUとして保持する。フィルタ８２は、加算部８１から供給されたカレントブロックと、保持されているカレントブロックに隣接する符号化済みのCU（以下、隣接ブロックという）とを用いて、カレントブロックと隣接ブロックの境界を中心として、境界と垂直な方向に並ぶ最大３画素ずつに対してデブロックフィルタ処理を行う。

フィルタ８２は、デブロックフィルタ処理後の画素に対してSAO処理を行う。SAO処理の種類としては、エッジオフセット処理とバンドオフセット処理があり、LCU単位で選択される。

エッジオフセット処理は、処理対象の画素を中心として、水平方向、垂直方向、または斜め方に並ぶ２つの画素の画素値を用いて行われる。従って、隣接するCU間の境界を中心として、境界と垂直な方向に並ぶ最大１画素ずつに対するエッジオフセット処理は、隣接する他のCUを用いて行われる。

フィルタ８２は、SAO処理後の画素をフレームメモリ８５に供給する。また、フィルタ８２は、行われたSAO処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部７６に供給する。

フレームメモリ８５は、例えば、DRAM（Dynamic Random Access Memory）により構成される。フレームメモリ８５は、加算部８１から供給されるデブロックフィルタ処理前のカレントブロックの一部とフィルタ８２から供給されるSAO処理後の画素を記憶する。フレームメモリ８５に記憶されたデブロックフィルタ処理前の画素のうちのPUに隣接する画素は、周辺画素としてスイッチ８６を介してイントラ予測部８７に供給される。

また、フレームメモリ８５に記憶されたSAO処理後のカレントピクチャと、カレントピクチャより符号化順で前のSAO処理後のピクチャは、参照ピクチャの候補としてスイッチ８６を介して動き予測・補償部８９に出力される。

イントラ予測部８７は、PU単位で、フレームメモリ８５からスイッチ８６を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。

また、イントラ予測部８７は、PU単位で、画面並べ替えバッファ７２から供給されるカレントブロックと、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部８７は、PU単位で、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。

イントラ予測部８７は、カレントブロックについて、最適イントラ予測モードで生成された予測画像と、対応するコスト関数値とを、予測画像選択部９２に供給する。イントラ予測部８７は、予測画像選択部９２から最適イントラ予測モードで生成された予測画像の選択が通知された場合、カレントブロックの各PUのイントラ予測モード情報を可逆符号化部７６に供給する。

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められている、High Complexity モードまたはLow Complexity モードの手法に基づいて算出される。なお、H．264/AVC方式における参照ソフトウエアは、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている。

動き予測・補償部８９は、PU単位で、候補となる全てのPUモードのインター予測およびIntra BC予測を行う。PUモードとは、PUのCUに対する分割方式等を表すモードである。

具体的には、動き予測・補償部８９は、PUモードごとに、カレントピクチャの符号化済みの領域、および、水平方向および垂直方向の解像度が４倍にされたカレントピクチャより符号化順で前のピクチャを、PUのサイズの領域に分割し、その領域を順に探索領域とする。

また、動き予測・補償部８９は、カレントピクチャ内のカレントブロックの周辺画素等を除く所定の範囲を、カレントブロックの動きベクトルの検出に用いる参照範囲とする。動き予測・補償部８９は、探索領域が参照範囲内に存在する場合、SAO処理後のカレントピクチャの探索領域を、参照ピクチャの参照ブロックの候補として、フレームメモリ８５からスイッチ８６を介して読み出す。

動き予測・補償部８９は、画面並べ替えバッファ７２から供給されるカレントブロックの各PUと参照ピクチャの参照ブロックの候補との相関値を求める。動き予測・補償部８９は、各PUモードのPUごとに、求められた相関値が、保持している相関値より大きい場合、その相関値に対応するカレントブロックのPUと参照ピクチャの参照ブロックの候補との間の整数画素精度の動きベクトルを、Intra BC予測の最善ベクトルに決定する。動き予測・補償部８９は、各PUモードのPUごとに、Intra BC予測の最善ベクトルと、対応する相関値を保持する。動き予測・補償部８９は、各PUモードのPUごとに、Intra BC予測の最善ベクトルに基づいて、参照ピクチャの参照ブロックの候補に対して補償処理を施し、予測画像を生成する。

また、動き予測・補償部８９は、探索領域がカレントピクチャより符号化順で前のピクチャ内に存在する場合、SAO処理後のピクチャの探索領域に対応する領域を、参照ピクチャの参照ブロックの候補として、フレームメモリ８５から読み出す。動き予測・補償部８９は、カレントブロックと参照ピクチャの参照ブロックの候補の水平方向および垂直方向の解像度を４倍にする。

動き予測・補償部８９、解像度が４倍にされたカレントブロックの各PUと参照ピクチャの参照ブロックの候補との相関値を求める。動き予測・補償部８９は、各PUモードのPUごとに、求められた相関値が、保持している相関値より大きい場合、その相関値に対応するカレントブロックのPUと参照ピクチャの参照ブロックの候補との間の1/4画素精度の動きベクトルを、インター予測の最善ベクトルに決定する。動き予測・補償部８９は、各PUモードのPUごとに、インター予測の最善ベクトルと、対応する相関値を保持する。動き予測・補償部８９は、各PUモードのPUごとに、インター予測の最善ベクトルに基づいて、参照ピクチャの参照ブロックの候補に対して補償処理を施し、予測画像を生成する。

また、動き予測・補償部８９は、PU単位で、カレントブロックと予測画像とに基づいて、候補となる全てのPUモードのイントラ予測およびIntra BC予測に対してコスト関数値を算出する。動き予測・補償部８９は、PU単位で、コスト関数値が最小となるPUモードとインター予測またはIntra BC予測とを表すモードを、最適インター予測モードに決定する。そして、動き予測・補償部８９は、カレントブロックについて、最適インター予測モードで生成された予測画像と、対応するコスト関数値とを予測画像選択部９２に供給する。

動き予測・補償部８９は、予測画像選択部９２から最適インター予測モードで生成された予測画像の選択が通知された場合、参照ピクチャの候補を参照ピクチャに決定する。そして、動き予測・補償部８９は、その予測画像に対応する動きベクトル、参照ピクチャ特定情報、およびインター予測モード情報を、可逆符号化部７６に供給する。

予測画像選択部９２は、イントラ予測部８７および動き予測・補償部８９から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部９２は、最適予測モードの予測画像を、演算部７３および加算部８１に供給する。また、予測画像選択部９２は、最適予測モードの予測画像の選択をイントラ予測部８７または動き予測・補償部８９に通知する。

レート制御部９３は、蓄積バッファ７７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部７５の量子化動作のレートを制御する。

（Intra BC予測部の構成例）
図２は、図１の動き予測・補償部８９のうちのIntra BC予測等を行うIntra BC予測部の構成例を示すブロック図である。

図２のIntra BC予測部１００は、制限部１０１、検出部１０２、および予測部１０３により構成される。

制限部１０１は、カレントピクチャ内のカレントブロックの周辺画素等を除く所定の範囲を、カレントブロックの動きベクトルの検出に用いる参照範囲とする。即ち、制限部１０１は、Intra BC予測に用いられるカレントブロックの動きベクトルを、カレントブロックの周辺画素がカレントブロックのIntra BC予測に用いられないように制限する。制限部１０１は、参照範囲を検出部１０２に供給する。

検出部１０２は、探索領域が、制限部１０１から供給される参照範囲内に存在する場合、SAO処理後の探索領域を、参照ピクチャの参照ブロックの候補として、フレームメモリ８５からスイッチ８６を介して読み出す。

検出部１０２は、画面並べ替えバッファ７２から供給されるカレントブロックの各PUと参照ピクチャの参照ブロックの候補との相関値を求める。検出部１０２は、各PUモードのPUごとに、求められた相関値が、保持している相関値より大きい場合、その相関値に対応するカレントブロックのPUと参照ピクチャの参照ブロックの候補との間の整数画素精度の動きベクトルを、Intra BC予測の最善ベクトルに決定する。検出部１０２は、Intra BC予測の最善ベクトルと、対応する相関値を保持する。そして、検出部１０２は、PUモードごとに、カレントピクチャの符号化済みの全ての領域が探索領域にされたとき、各PUのIntra BC予測の最善ベクトルを予測部１０３に供給する。

予測部１０３は、各PUモードのPUごとに、検出部１０２から供給される最善ベクトルに基づいて、参照ピクチャの参照ブロックの候補に対して補償処理を施すことによりIntra BC予測を行い、予測画像を生成する。また、予測部１０３は、PU単位で、画面並べ替えバッファ７２から供給されるカレントブロックと予測画像とに基づいて、候補となる全てのPUモードのIntra BC予測に対してコスト関数値を算出する。予測部１０３は、算出されたコスト関数値と予測画像を出力する。

以上のようにしてIntra BC予測部１００から出力されたコスト関数値は、各PUモードのインター予測に対応するコスト関数値と比較され、最適インター予測モードが決定される。

（参照範囲の例）
図３は、参照範囲の例を示す図である。

図３の例では、符号化対象の画像が、７（横）×５（縦）個のＣＵに分割されている。

カレントブロックが中央のCU１１１である場合、CU１１１より上に存在するか、または、CU１１１と垂直方向の位置が同一で、かつ、CU１１１の左側に存在するCUからなるCU群１１２は、既に符号化されている。一方、CU１１１と、CU１１１より下に存在するか、または、CU１１１と垂直方向の位置が同一で、かつ、CU１１１の右側に存在するCUからなるCU群１１３は、まだ符号化されていない。

また、上述したように、デブロックフィルタ処理では、CU内の隣接するCUとの境界から、その境界と垂直な方向に並ぶ最大３画素が、その隣接するCUの影響を受ける。また、SAO処理では、CU内の隣接するCUとの境界から、その境界と垂直な方向に並ぶ最大１画素が、その隣接するCUの影響を受ける。

従って、図３に示すように、CU群１１２とCU群１１３の境界から、その境界と垂直な方向に３画素だけ並ぶＣＵ群１１２内の領域１１４については、まだSAO処理が行われていない可能性がある。よって、制限部１０１は、ＣＵ群１１２のうちの、ＣＵ群１１３との水平方向または垂直方向の距離が３画素以内である領域１１４を参照範囲から除外する。

これにより、SAO処理が行われた、CU群１１２の領域１１４以外の領域を用いて、Intra BC予測を行うことができる。従って、デブロックフィルタ処理およびSAO処理が行われる前のCU群１１２を一時的にキャッシュ等に保持し、Intra BC予測に用いる場合のように、Intra BC予測用のキャッシュを設ける必要がない。その結果、メモリ帯域、処理負荷、および実装コストの増加を防止することができる。

参照範囲から領域１１４を除いた場合、CU１１１内のPU１１５の動きベクトル（mvLX[0]z>>2,mvLX[1]>>2）は、以下の式（１）の条件を満たす。

なお、xBl,yBlは、それぞれ、PU１１５の左上の頂点のｘ座標、ｙ座標である。nPbW,nPbHは、それぞれ、PU１１５の水平方向のサイズ、垂直方向のサイズである。xCb,yCbは、それぞれ、CU１１１の左上の頂点のｘ座標、ｙ座標である。

また、WPP（Wavefront Parallel Processing）を用いてカレントピクチャに対して並列に符号化処理が行われる場合であっても、参照範囲を参照可能にするために、制限部１０１は、CU１１１を含むCTUのN個上のCTUの2N個右のCTUと、そのCTUの右または右上に存在するCTUを、参照範囲から除外する。

図３の例では、CUがCTUであり、Nが1である。従って、制限部１０１は、CU１１１の1個上のCUの2個右のCU１１７と、CU１１７の右または右上に存在するCUとを含む領域１１８を、参照範囲から除外する。

以上のように、Intra BC予測時の参照範囲は、CU群１１２内の領域１１４および領域１１８を除いた領域である。従って、CU１１１の左に隣接するPU１１５と同一のサイズのブロック１１９や、CU１１１の上に隣接するPU１１５と同一のサイズのブロック１２０は、PU１１５の動きベクトルの検出に用いられない。このように、動きベクトルの検出の際に用いられる画像が制限されるが、符号化効率への影響は無視できる程度である。

なお、xCb,yCbは、CU１１１ではなくCU１１１を含むCTUの左上の頂点のｘ座標、ｙ座標であってもよい。

（符号化装置の処理の説明）
図４および図５は、図１の符号化装置７０の符号化処理を説明するフローチャートである。

図４のステップＳ３１において、符号化装置７０のA/D変換部７１は、符号化対象として入力されたフレーム単位のピクチャをA/D変換し、変換後のデジタル信号であるピクチャを画面並べ替えバッファ７２に出力して記憶させる。

ステップＳ３２において、画面並べ替えバッファ７２は、記憶した表示の順番のフレーム単位のピクチャを、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ７２は、並べ替え後のフレーム単位のピクチャをカレントピクチャとし、カレントピクチャの各CUを順にカレントブロックとする。画面並べ替えバッファ７２は、カレントブロックを、演算部７３、イントラ予測部８７、および動き予測・補償部８９に供給する。

ステップＳ３３において、イントラ予測部８７は、PU単位で、フレームメモリ８５からスイッチ８６を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部８７は、PU単位で、画面並べ替えバッファ７２から供給されるカレントブロックと、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部８７は、PU単位で、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。

イントラ予測部８７は、カレントブロックについて、最適イントラ予測モードで生成された予測画像と、対応するコスト関数値とを、予測画像選択部９２に供給する。イントラ予測部８７は、予測画像選択部９２から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部７６に供給する。

また、動き予測・補償部８９は、PU単位で、候補となる全てのPUモードのインター予測およびIntra BC予測を行う。また、動き予測・補償部８９は、PU単位で、カレントブロックとインター予測およびIntra BC予測の結果生成された予測画像とに基づいて、候補となる全てのPUモードのインター予測およびIntra BC予測に対してコスト関数値を算出する。動き予測・補償部８９は、PU単位で、コスト関数値が最小となるPUモードとインター予測またはIntra BC予測とを表すモードを最適インター予測モードに決定する。そして、動き予測・補償部８９は、カレントブロックについて、最適インター予測モードで生成された予測画像と、対応するコスト関数値の最小値とを予測画像選択部９２に供給する。

ステップＳ３４において、予測画像選択部９２は、イントラ予測部８７および動き予測・補償部８９から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部９２は、最適予測モードの予測画像を、演算部７３および加算部８１に供給する。

ステップＳ３５において、予測画像選択部９２は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ３５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部９２は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部８９に通知する。

ステップＳ３６において、動き予測・補償部８９は、予測画像選択部９２により選択された予測画像に対応するインター予測モード情報、動きベクトル、および参照ピクチャ特定情報を、可逆符号化部７６に供給する。そして、処理はステップＳ３８に進む。

一方、ステップＳ３５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部９２は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部８７に通知する。そして、ステップＳ３７において、イントラ予測部８７は、予測画像選択部９２により選択された予測画像に対応するイントラ予測モード情報を可逆符号化部７６に供給し、処理をステップＳ３８に進める。

ステップＳ３８において、演算部７３は、画面並べ替えバッファ７２から供給されるカレントブロックから、予測画像選択部９２から供給される予測画像を減算することにより符号化を行う。演算部７３は、その結果得られるピクチャを、残差情報として直交変換部７４に出力する。

ステップＳ３９において、直交変換部７４は、演算部７３からの残差情報に対してTU単位で直交変換を施し、その結果得られる直交変換係数を量子化部７５に供給する。

ステップＳ４０において、量子化部７５は、直交変換部７４から供給される直交変換係数を量子化し、量子化された直交変換係数を可逆符号化部７６と逆量子化部７９に供給する。

図５のステップＳ４１において、逆量子化部７９は、量子化部７５から供給される量子化された係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部８０に供給する。

ステップＳ４２において、逆直交変換部８０は、逆量子化部７９から供給される直交変換係数に対してTU単位で逆直交変換を施し、その結果得られる残差情報を加算部８１に供給する。

ステップＳ４３において、加算部８１は、逆直交変換部８０から供給される残差情報と、予測画像選択部９２から供給される予測画像を加算し、カレントブロックを復号する。加算部８１は、復号されたカレントブロックをフレームメモリ８５とフィルタ８２に供給する。フィルタ８２は、加算部８１から供給されたカレントブロックを、符号化済みのCUとして保持する。

ステップＳ４４において、フィルタ８２は、加算部８１から供給されたカレントブロックと隣接ブロックを用いて、カレントブロックと隣接ブロックの境界を中心として、境界と垂直な方向に並ぶ最大３画素ずつに対してデブロックフィルタ処理を行う。

ステップＳ４５において、フィルタ８２は、デブロックフィルタ処理後の画素に対してSAO処理を行う。フィルタ８２は、SAO処理後の画素をフレームメモリ８５に供給する。また、フィルタ８２は、行われたSAO処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部７６に供給する。

ステップＳ４６において、フレームメモリ８５は、加算部８１から供給されるデブロックフィルタ処理前のカレントブロックの一部とフィルタ８２から供給されるSAO処理後の画素を記憶する。フレームメモリ８５に記憶されたデブロックフィルタ処理前の画素のうちのPUに隣接する画素は、周辺画素としてスイッチ８６を介してイントラ予測部８７に供給される。

ステップＳ４７において、可逆符号化部７６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照ピクチャ特定情報、並びにオフセットフィルタ情報を、符号化情報として可逆符号化する。

ステップＳ４８において、可逆符号化部７６は、量子化部７５から供給される量子化された直交変換係数を可逆符号化する。そして、可逆符号化部７６は、ステップＳ４７の処理で可逆符号化された符号化情報と可逆符号化された直交変換係数から、符号化データを生成し、蓄積バッファ７７に供給する。

ステップＳ４９において、蓄積バッファ７７は、可逆符号化部７６から供給される符号化データを、一時的に蓄積する。

ステップＳ５０において、レート制御部９３は、蓄積バッファ７７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部７５の量子化動作のレートを制御する。

ステップＳ５１において、生成部７８は、蓄積バッファ７７に記憶されている符号化データとパラメータセットから符号化ストリームを生成し、出力する。

なお、図４および図５の符号化処理では、説明を簡単化するため、常に、イントラ予測処理とIntra BC予測およびインター予測とが行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。

図６は、図４のステップＳ３３の処理のうちの、Intra BC予測等を行うIntra BC予測処理の詳細を説明するフローチャートである。

図６のステップＳ６１において、動き予測・補償部８９の制限部１０１（図２）は、カレントブロックの参照範囲を決定し、検出部１０２に供給する。ステップＳ６２乃至Ｓ７０の処理は、PUモードごとに行われる。

ステップＳ６２において、検出部１０２は、動き予測・補償部８９により新たな探索領域が設定されたかどうかを判定する。ステップＳ６２でまだ新たな探索領域が設定されていないと判定された場合、検出部１０２は、新たな探索領域が設定されるまで待機する。

一方、ステップＳ６２で新たな探索領域が設定されたと判定された場合、ステップＳ６３において、検出部１０２は、新たに設定された探索領域がカレントピクチャ内に存在するかどうかを判定する。

ステップＳ６３で探索領域がカレントピクチャ内に存在すると判定された場合、ステップＳ６４において、検出部１０２は、探索領域が制限部１０１から供給された参照範囲内に存在するかどうかを判定する。

ステップＳ６４で、探索領域が参照範囲内に存在すると判定された場合、検出部１０２は、SAO処理後の探索領域を、参照ピクチャの参照ブロックの候補として、フレームメモリ８５からスイッチ８６を介して読み出す。

そして、ステップＳ６５において、検出部１０２は、画面並べ替えバッファ７２から供給されるカレントブロックの各PUと参照ピクチャの参照ブロックの候補との相関値を求める。ステップＳ６６において、検出部１０２は、PU単位で、ステップＳ６５で求められた相関値が、保持している最善ベクトルに対応する相関値より大きいかどうかを判定する。ステップＳ６６で相関値が最善ベクトルに対応する相関値より大きいと判定された場合、処理はステップＳ６７に進む。

ステップＳ６７において、検出部１０２は、ステップＳ６５で求められた相関値に対応するカレントブロックのPUと参照ピクチャの参照ブロックの候補との間の整数画素精度の動きベクトルを最善ベクトルとして、その最善ベクトルと、対応する相関値を保持する。そして、処理はステップＳ６８に進む。

また、ステップＳ６３で探索領域がカレントピクチャ内に存在しないと判定された場合、ステップＳ６４で探索領域が参照範囲内に存在しないと判定された場合、またはステップＳ６６で相関値が最善ベクトルに対応する相関値より大きくはないと判定された場合、処理はステップＳ６８に進む。

ステップＳ６８において、検出部１０２は、動き予測・補償部８９によりカレントピクチャの符号化済みの全ての領域が探索領域に設定されたかどうかを判定する。ステップＳ６８で、まだ全ての領域が探索領域に設定されていないと判定された場合、処理はステップＳ６２に戻り、全ての領域が探索領域に設定されるまで、ステップＳ６２乃至Ｓ６８の処理が繰り返される。

一方、ステップＳ６８で全ての領域が探索領域に設定されたと判定された場合、検出部１０２は、保持している各PUの最善ベクトルを予測部１０３に供給する。そして、ステップＳ６９において、予測部１０３は、PU単位で、検出部１０２から供給される最善ベクトルに基づいて、参照ピクチャの参照ブロックの候補に対して補償処理を施すことによりIntra BC予測を行い、予測画像を生成する。

ステップＳ７０において、予測部１０３は、画面並べ替えバッファ７２から供給されるカレントブロックと予測画像とに基づいて、PU単位でコスト関数値を算出する。予測部１０３は、コスト関数値と予測画像を出力する。

以上のようにしてIntra BC予測部１００から出力されたコスト関数値は、動き予測・補償部８９により各PUモードのインター予測に対応するコスト関数値と比較され、最適インター予測モードが決定される。

以上のように、符号化装置７０は、Intra BC予測に用いられるカレントブロックの動きベクトルを、カレントピクチャ内の参照範囲以外の領域がカレントブロックの予測に用いられないように制限する。従って、例えば、Intra BC予測において、SAO処理後のピクチャを参照ピクチャとして参照することができる。その結果、Intra BC予測の参照ピクチャ用にキャッシュ等を用意する必要がなくなり、Intra BC予測を行う際のメモリ帯域、処理負荷、および実装コストの増加を防止することができる。

（復号装置の一実施の形態の構成例）
図７は、図１の符号化装置７０から伝送される符号化ストリームを復号する、本開示を適用した画像処理装置としての復号装置の一実施の形態の構成例を示すブロック図である。

図７の復号装置１３０は、蓄積バッファ１３１、可逆復号部１３２、逆量子化部１３３、逆直交変換部１３４、加算部１３５、フィルタ１３６、画面並べ替えバッファ１３９およびD/A変換部１４０を有する。また、復号装置１３０は、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、動き補償部１４７、およびスイッチ１４８を有する。

復号装置１３０の蓄積バッファ１３１は、図１の符号化装置７０から符号化ストリームを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化ストリームのうちの各CUの符号化データを順に、カレントブロックの符号化データとして可逆復号部１３２に供給する。なお、符号化ストリームのうちのパラメータセットは、必要に応じて、復号装置１３０の各部に供給され、処理に用いられる。

可逆復号部１３２は、蓄積バッファ１３１からの符号化データに対して、図１の可逆符号化部７６の可逆符号化に対応する、可変長復号や算術復号等の可逆復号を施すことで、量子化された直交変換係数と符号化情報を得る。可逆復号部１３２は、量子化された直交変換係数を逆量子化部１３３に供給する。また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、参照ピクチャ特定情報、動きベクトル、インター予測モード情報などを動き補償部１４７に供給する。

さらに、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４８に供給する。可逆復号部１３２は、符号化情報としてのオフセットフィルタ情報をフィルタ１３６に供給する。

逆量子化部１３３、逆直交変換部１３４、加算部１３５、フィルタ１３６、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、動き補償部１４７は、図１の逆量子化部７９、逆直交変換部８０、加算部８１、フィルタ８２、フレームメモリ８５、スイッチ８６、イントラ予測部８７、動き予測・補償部８９とそれぞれ同様の処理を行い、これにより、カレントブロックが復号される。

具体的には、逆量子化部１３３は、可逆復号部１３２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。

逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対してTU単位で逆直交変換を行う。逆直交変換部１３４は、逆直交変換の結果得られる残差情報を加算部１３５に供給する。

加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４８から供給される予測画像を加算することにより、カレントブロックを復号する。なお、スイッチ１４８から予測画像が供給されない場合、加算部１３５は、逆直交変換部１３４から供給される残差情報を復号結果とする。加算部１３５は、復号の結果得られるカレントブロックをフレームメモリ１４１とフィルタ１３６に供給する。

フィルタ１３６は、加算部１３５から供給されるカレントブロックを、符号化済みのCUとして保持する。フィルタ１３６は、加算部１３５から供給されたカレントブロックと隣接ブロックとを用いて、カレントブロックと隣接ブロックの境界を中心として、境界と垂直な方向に並ぶ最大３画素ずつに対してデブロックフィルタ処理を行う。

フィルタ１３６は、可逆復号部１３２から供給されるオフセットフィルタ情報が表すオフセットを用いて、デブロックフィルタ処理後の画素に対して、オフセットフィルタ情報が表す種類のSAO処理を行う。フィルタ１３６は、SAO処理後の画素をフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。

画面並べ替えバッファ１３９は、フィルタ１３６から供給されるSAO処理後の画素をフレーム単位で記憶する。画面並べ替えバッファ１３９は、記憶した符号化のための順番のフレーム単位のピクチャを、元の表示の順番に並び替え、D/A変換部１４０に供給する。

D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるピクチャをD/A変換し、出力する。

フレームメモリ１４１は、例えば、DRAMにより構成される。フレームメモリ１４１は、加算部１３５から供給されるデブロックフィルタ処理前のカレントブロックの一部とフィルタ１３６から供給されるSAO処理後の画素を記憶する。フレームメモリ１４１に記憶されたデブロックフィルタ処理前の画素のうちのPUに隣接する画素は、周辺画素としてスイッチ１４２を介してイントラ予測部１４３に供給される。

また、フレームメモリ１４１に記憶されたSAO処理後のカレントピクチャと、カレントピクチャより符号化順で前のSAO処理後のピクチャは、参照ピクチャとしてスイッチ１４２を介して動き補償部１４７に出力される。

イントラ予測部１４３は、PU単位で、フレームメモリ１４１からスイッチ１４２を介して読み出された周辺画素を用いて、可逆復号部１３２から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、その結果生成される予測画像をスイッチ１４８に供給する。

動き補償部１４７は、PU単位で、可逆復号部１３２から供給されるインター予測モード情報、参照ピクチャ特定情報、および動きベクトルに基づいて、動き補償処理を行う。

具体的には、動き補償部１４７は、フレームメモリ１４１からスイッチ１４２を介して、参照ピクチャ特定情報により特定される参照ピクチャを読み出す。動き補償部１４７は、参照ピクチャと動きベクトルとを用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１４７は、その結果生成される予測画像をスイッチ１４８に供給する。

スイッチ１４８は、可逆復号部１３２からイントラ予測モード情報が供給された場合、イントラ予測部１４３から供給される予測画像を加算部１３５に供給する。一方、可逆復号部１３２からインター予測モード情報が供給された場合、スイッチ１４８は、動き補償部１４７から供給される予測画像を加算部１３５に供給する。

（復号装置の処理の説明）
図８は、図７の復号装置１３０の復号処理を説明するフローチャートである。

図８のステップＳ１３１において、復号装置１３０の蓄積バッファ１３１は、図１の符号化装置７０から符号化ストリームを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化ストリームのうちの各CUの符号化データを順に、カレントブロックの符号化データとして可逆復号部１３２に供給する。

ステップＳ１３２において、可逆復号部１３２は、蓄積バッファ１３１からの符号化データに対して、図１の可逆符号化部７６の可逆符号化に対応する、可変長復号や算術復号等の可逆復号を施すことで、量子化された直交変換係数と符号化情報を得る。可逆復号部１３２は、量子化された直交変換係数を逆量子化部１３３に供給する。また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、参照ピクチャ特定情報、動きベクトル、インター予測モード情報などを動き補償部１４７に供給する。

ステップＳ１３３において、逆量子化部１３３は、可逆復号部１３２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。

ステップＳ１３４において、逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１３５に供給する。ステップＳ１３６乃至Ｓ１４１およびステップＳ１４８の処理は、PU単位で行われる。

ステップＳ１３５において、動き補償部１４７は、可逆復号部１３２から処理対象のPUのインター予測モード情報が供給されたかどうかを判定する。ステップＳ１３５でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１３６に進む。

ステップＳ１３６において、動き補償部１４７は、処理対象のPUのインター予測モード情報が表す最適インター予測モードは、Intra BC予測を表すモードであるかどうかを判定する。ステップＳ１３６で最適インター予測モードは、Intra BC予測を表すモードであると判定された場合、処理はステップＳ１３７に進む。

ステップＳ１３７において、動き補償部１４７は、可逆復号部１３２から供給される処理対象のPUの参照ピクチャ特定情報に基づいて、参照ピクチャがカレントピクチャであるかどうかを判定する。

ステップＳ１３７で参照ピクチャがカレントピクチャであると判定された場合、ステップＳ１３８において、カレントブロックの処理対象のPUとの間のベクトルが、可逆復号部１３２から供給される動きベクトルである処理対象のPUと同一のサイズのブロックが、参照範囲内にあるかどうかを判定する。参照範囲は、動き補償部１４７により、制限部１０１と同様に、カレントブロックに基づいて決定される。

ステップＳ１３８で、カレントブロックの処理対象のPUとの間のベクトルが、可逆復号部１３２から供給される動きベクトルである処理対象のPUと同一のサイズのブロックが、参照範囲内にあると判定された場合、処理はステップＳ１３９に進む。

ステップＳ１３９において、動き補償部１４７は、処理対象のPUのインター予測モード情報が表すPUモードと動きベクトルに基づいて、フレームメモリ１４１からカレントピクチャを読み出すことにより、処理対象のPUについてIntra BC予測を行う。動き補償部１４７は、その結果生成される予測画像をスイッチ１４８に供給し、処理をステップＳ１４２に進める。
一方、ステップＳ１３６で最適インター予測モードがIntra BC予測を表すモードではないと判定された場合、即ち最適インター予測モードがインター予測を表すモードである場合、処理はステップＳ１４０に進む。

ステップＳ１４０において、動き補償部１４７は、処理対象のPUのインター予測モード情報が表すPUモード、参照ピクチャ特定情報、および動きベクトルに基づいて、フレームメモリ１４１から参照ピクチャを読み出すことにより、処理対象のPUについてインター予測を行う。動き補償部１４７は、その結果生成される予測画像をスイッチ１４８に供給し、処理をステップＳ１４２に進める。

一方、ステップＳ１３５でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１４３に供給された場合、処理はステップＳ１４１に進む。

ステップＳ１４１において、イントラ予測部１４３は、カレントブロックに対して、フレームメモリ１４１からスイッチ１４２を介して読み出された周辺画素を用いて、イントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、イントラ予測処理の結果生成される予測画像を、スイッチ１４８を介して加算部１３５に供給し、処理をステップＳ１４２に進める。

ステップＳ１４２において、加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４８から供給される予測画像を加算することにより、カレントブロックを復号する。加算部１３５は、復号の結果得られるカレントブロックをフレームメモリ１４１とフィルタ１３６に供給する。フィルタ１３６は、加算部１３５から供給されたカレントブロックを、符号化済みのCUとして保持する。

ステップＳ１４３において、フィルタ１３６は、加算部１３５から供給されたカレントブロックと隣接ブロックを用いて、カレントブロックと隣接ブロックの境界を中心として、境界と垂直な方向に並ぶ最大３画素ずつに対してデブロックフィルタ処理を行う。

ステップＳ１４４において、フィルタ１３６は、可逆復号部１３２から供給されるオフセットフィルタ情報が表すオフセットを用いて、デブロックフィルタ処理後の画素に対して、オフセットフィルタ情報が表す種類のSAO処理を行う。フィルタ１３６は、SAO処理後の画素をフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。

ステップＳ１４５において、フレームメモリ１４１は、加算部１３５から供給されるデブロックフィルタ処理前のカレントブロックの一部とフィルタ１３６から供給されるSAO処理後の画素を記憶する。フレームメモリ１４１に記憶されたデブロックフィルタ処理前の画素のうちのPUに隣接する画素は、周辺画素としてスイッチ１４２を介してイントラ予測部１４３に供給される。また、フレームメモリ１４１に記憶されたSAO処理後のカレントピクチャと、カレントピクチャより符号化順で前のSAO処理後のピクチャは、参照ピクチャとしてスイッチ１４２を介して動き補償部１４７に出力される。

ステップＳ１４６において、画面並べ替えバッファ１３９は、フィルタ１３６から供給されるSAO処理後の画素をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位のピクチャの、元の表示の順番への並び替えを行う。画面並べ替えバッファ１３９は、並び替え後のピクチャをD/A変換部１４０に供給する。

ステップＳ１４７において、D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるピクチャをD/A変換し、出力する。そして、処理は終了する。

一方、ステップＳ１３７で参照ピクチャはカレントピクチャではないと判定された場合、または、カレントブロックの処理対象のPUとの間のベクトルが、可逆復号部１３２から供給される動きベクトルである処理対象のPUと同一のサイズのブロックが、参照範囲内にないと判定された場合、処理はステップＳ１４８に進む。ステップＳ１４８において、復号装置１３０は、処理対象のPUに対して所定のエラー処理を行い、処理を終了する。

以上のように、復号装置１３０は、カレントピクチャ内の参照範囲以外の領域がカレントブロックの予測に用いられないように制限されたカレントブロックの動きベクトルを用いて、Intra BC予測を行う。従って、例えば、Intra BC予測において、SAO処理後のピクチャを参照ピクチャとして参照することができる。その結果、Intra BC予測の参照ピクチャ用にキャッシュ等を用意する必要がなくなり、Intra BC予測を行う際のメモリ帯域、処理負荷、および実装コストの増加を防止することができる。

なお、第１実施の形態では、まだ符号化されていないＣＵ群１１３との水平方向または垂直方向の距離が３画素以内である領域１１４を参照範囲から除外したが、４の倍数画素以内である領域を参照範囲から除外するようにしてもよい。この場合、CUまたはPU単位で、符号化処理および復号処理を並列に行う場合であっても、カレントブロックの符号化時に、Intra BC予測で参照可能な範囲の復号が完了しているため、Intra BC予測を行うことができる。従って、CUまたはPU単位で符号化処理および復号処理を並列に行い、処理負荷を低減することができる。

＜第２実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜第３実施の形態＞
（テレビジョン装置の構成例）
図１０は、本開示を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。

チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。

映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。

表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。

音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。

外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。

制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。

なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。

このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、画面内の相関性を利用したIntra BC予測を行う際の処理負荷を低減することができる。

＜第４実施の形態＞
（携帯電話機の構成例）
図１１は、本開示を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。

また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。

携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。

また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。

なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、またはメモリカード等のリムーバブルメディアである。

データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。

多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。

このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、画面内の相関性を利用したIntra BC予測を行う際の処理負荷を低減することができる。

＜第５実施の形態＞
（記録再生装置の構成例）
図１２は、本開示を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。

チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。

外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。

ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。

セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。

デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。

ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。

制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。

制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された記録再生装置では、エンコーダ９４３に本願の符号化装置（符号化方法）の機能が設けられ、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、画面内の相関性を利用したIntra BC予測を行う際の処理負荷を低減することができる。

＜第６実施の形態＞
（撮像装置の構成例）
図１３は、本開示を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。

光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。

カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。

画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。

ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。

外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メディアドライブ９６８から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。

メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触IC（Integrated Circuit）カード等であってもよい。

また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

制御部９７０は、ＣＰＵを用いて構成されている。メモリ部９６７は、制御部９７０により実行されるプログラムや制御部９７０が処理を行う上で必要な各種のデータ等を記憶する。メモリ部９６７に記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングで制御部９７０により読み出されて実行される。制御部９７０は、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、画面内の相関性を利用したIntra BC予測を行う際の処理負荷を低減することができる。

＜第７実施の形態＞
（実施のその他の例）
以上において本開示を適用する装置やシステム等の例を説明したが、本開示は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

（ビデオセットの構成例）
本開示をセットとして実施する場合の例について、図１４を参照して説明する。図１４は、本開示を適用したビデオセットの概略的な構成の一例を示している。

近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。

図１４に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。

図１４に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。

モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。

図１４の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。

プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。

図１４のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。

ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。

ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信に関する処理を行うプロセッサ（若しくはモジュール）である。例えば、ブロードバンドモデム１３３３は、送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。例えば、ブロードバンドモデム１３３３は、ビデオプロセッサ１３３２が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。

RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。

なお、図１４において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。

外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。

パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。

フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図１４に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。

アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。

コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。

例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。

なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。

カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。

センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。

以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。

以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本開示を適用することができる。したがって、ビデオセット１３００は、本開示を適用したセットとして実施することができる。

（ビデオプロセッサの構成例）
図１５は、本開示を適用したビデオプロセッサ１３３２（図１４）の概略的な構成の一例を示している。

図１５の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。

図１５に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。

ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図１４）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１（図１４）等に出力する。

フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。

メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。

エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。

ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。

オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。

オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１（図１４）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１（図１４）等に供給する。

多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。

逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図１４）から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により（図１４）各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。

ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図１４）等に供給する。

また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１（図１４）等に供給し、各種記録媒体に記録させる。

さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図１４）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１（図１４）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１（図１４）等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。

また、コネクティビティ１３２１（図１４）等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。

ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図１４）等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１（図１４）等に出力され、各種記録媒体に記録される。

また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図１４）等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１（図１４）等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。

オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。

このように構成されるビデオプロセッサ１３３２に本開示を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本開示を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、第１乃至第３実施の形態に係る符号化装置や復号装置の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図８を参照して上述した効果と同様の効果を得ることができる。

なお、エンコード・デコードエンジン１４０７において、本開示（すなわち、上述した各実施形態に係る符号化装置や復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

（ビデオプロセッサの他の構成例）
図１６は、本開示を適用したビデオプロセッサ１３３２（図１４）の概略的な構成の他の例を示している。図１６の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。

より具体的には、図１６に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。

制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。

図１６に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。

ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図１４）等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１（図１４）のモニタ装置等に出力する。

ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。

画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。

内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。

コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。

図１６に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。

MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC/H.264方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVCで符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVCでスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVCで多視点符号化したり多視点復号したりする機能ブロックである。

MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。

メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。

多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。

ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１（いずれも図１４）等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２（いずれも図１４）等向けのインタフェースである。

次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図１４）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図１４）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１（図１４）等に出力され、各種記録媒体に記録される。

さらに、例えば、コネクティビティ１３２１（図１４）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図１４）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図１４）等に供給され図示せぬ他の装置に伝送される。

なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。

このように構成されるビデオプロセッサ１３３２に本開示を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本開示を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、第１乃至第３実施の形態に係る符号化装置や復号装置を実現する機能ブロックを有するようにすればよい。コーデックエンジン１５１６が、このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図８を参照して上述した効果と同様の効果を得ることができる。

なお、コーデックエンジン１５１６において、本開示（すなわち、上述した各実施形態に係る符号化装置や復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。

（装置への適用例）
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図１０）、携帯電話機９２０（図１１）、記録再生装置９４０（図１２）、撮像装置９６０（図１３）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図８を参照して上述した効果と同様の効果を得ることができる。

なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本開示を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本開示を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を本開示を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本開示を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図８を参照して上述した効果と同様の効果を得ることができる。

つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図１０）、携帯電話機９２０（図１１）、記録再生装置９４０（図１２）、撮像装置９６０（図１３）等に組み込むことができる。そして、本開示を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図８を参照して上述した効果と同様の効果を得ることができる。

なお、本明細書では、各種情報が、符号化データに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライスやブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、符号化データとは別の伝送路上で伝送されてもよい。また、情報は、符号化データとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と符号化データとは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

本開示は、MPEG,H.26ｘ等のように、離散コサイン変換等の直交変換と動き補償によって圧縮されたビットストリームを、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際、または光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置や復号装置に適用することができる。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

本開示は、以下のような構成もとることができる。

（１）
画面内の相関性を利用した予測に用いられるカレントブロックの動きベクトルを、前記カレントブロックの周辺画素が前記カレントブロックの前記予測に用いられないように制限する制限部
を備える画像処理装置。
（２）
前記制限部により制限された前記動きベクトルに基づいて、前記カレントブロックを含む画面内の前記周辺画素を含まない参照範囲を用いて前記予測を行う予測部
をさらに備える
前記（１）に記載の画像処理装置。
（３）
前記周辺画素は、前記カレントブロックの符号化時にまだ符号化されていない前記画面内の領域との水平方向または垂直方向の距離が所定の範囲内である画素である
ように構成された
前記（２）に記載の画像処理装置。
（４）
前記予測部は、デブロックフィルタ処理およびSAO(Sample adaptive offset)処理後の前記参照範囲の画像を用いて前記予測を行う
ように構成された
前記（３）に記載の画像処理装置。
（５）
前記所定の範囲は、３画素以内である
ように構成された
前記（４）に記載の画像処理装置。
（６）
前記所定の範囲は、４の倍数の画素以内である
ように構成された
前記（３）に記載の画像処理装置。
（７）
前記カレントブロックは、CU（Coding Unit）である
ように構成された
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
画像処理装置が、
画面内の相関性を利用した予測に用いられるカレントブロックの動きベクトルを、前記カレントブロックの周辺画素が前記カレントブロックの前記予測に用いられないように制限する制限ステップ
を含む画像処理方法。

７０符号化装置, １０１制限部, １０３予測部

Claims

画面内の相関性を利用した予測に用いられるカレントブロックの動きベクトルを、前記カレントブロックの周辺画素が前記カレントブロックの前記予測に用いられないように制限する制限部
を備える画像処理装置。
前記制限部により制限された前記動きベクトルに基づいて、前記カレントブロックを含む画面内の前記周辺画素を含まない参照範囲を用いて前記予測を行う予測部
をさらに備える
請求項１に記載の画像処理装置。
前記周辺画素は、前記カレントブロックの符号化時にまだ符号化されていない前記画面内の領域との水平方向または垂直方向の距離が所定の範囲内である画素である
ように構成された
請求項２に記載の画像処理装置。
前記予測部は、デブロックフィルタ処理およびSAO(Sample adaptive offset)処理後の前記参照範囲の画像を用いて前記予測を行う
ように構成された
請求項３に記載の画像処理装置。
前記所定の範囲は、３画素以内である
ように構成された
請求項４に記載の画像処理装置。
前記所定の範囲は、４の倍数の画素以内である
ように構成された
請求項３に記載の画像処理装置。
前記カレントブロックは、CU（Coding Unit）である
ように構成された
請求項１に記載の画像処理装置。
画像処理装置が、
画面内の相関性を利用した予測に用いられるカレントブロックの動きベクトルを、前記カレントブロックの周辺画素が前記カレントブロックの前記予測に用いられないように制限する制限ステップ
を含む画像処理方法。