JPWO2016104179A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JPWO2016104179A1
JPWO2016104179A1 JP2016566104A JP2016566104A JPWO2016104179A1 JP WO2016104179 A1 JPWO2016104179 A1 JP WO2016104179A1 JP 2016566104 A JP2016566104 A JP 2016566104A JP 2016566104 A JP2016566104 A JP 2016566104A JP WO2016104179 A1 JPWO2016104179 A1 JP WO2016104179A1
Authority
JP
Japan
Prior art keywords
unit
picture
reference picture
prediction
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016566104A
Other languages
English (en)
Inventor
央二 中神
央二 中神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016104179A1 publication Critical patent/JPWO2016104179A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、画面内の相関性を利用した予測を行う際の符号化効率を向上させることができるようにする画像処理装置および画像処理方法に関する。予測ベクトル生成部は、画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを符号化する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、候補ブロックをノットアベイラブルに設定し、カレント動きベクトルの予測ベクトルを、リファレンス動きベクトルを用いて生成する。差分ベクトル生成部は、カレント動きベクトルと予測ベクトル生成部により生成された予測ベクトルとの差分ベクトルを生成する。本開示は、例えば、符号化装置等に適用することができる。

Description

本開示は、画像処理装置および画像処理方法に関し、特に、画面内の相関性を利用した予測を行う際の符号化効率を向上させることができるようにした画像処理装置および画像処理方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）などがある。
そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。
また、HEVCにおいて、4:2:2や4:4:4といった色差信号フォーマットの画像や、スクリーンコンテンツ用のプロファイル等、例えばハイエンド向けのフォーマットをサポートするようにレンジエクステンション(HEVC Range Extension)の検討が行われている（例えば、非特許文献１参照）。
ところで、IntraBlockCopy(Intra BC)は、画面内の相関性を利用して画面内で動き補償を行うことにより予測を行う符号化ツールである。Intra BCは、コンピュータ画面やCG画像のような人工画像に対し、符号化効率改善に貢献するツールとして知られている。
ただし、Intra BCは、上述したHEVC Range Extension拡張には技術採用されず、Screen Content Coding(SCC)拡張の標準化で技術検討が続けられている（例えば、非特許文献２参照）。
2014年12月現在、HEVC SCC拡張の標準化では、Intra BCとインター符号化を共通化することが議論されている。Intra BCとインター符号化を共通化する場合、予測ベクトル（MV Predictor）の選択、参照ピクチャのインデックス（RefIdx）の伝送、カレント動きベクトルと予測ベクトルの差分ベクトル（MVD）の伝送等を共通化する必要がある。
しかしながら、Intra BCで用いられる動きベクトルの符号化時に、インター符号化で用いられる動きベクトルを参照して生成された予測ベクトルが用いられる場合、差分ベクトルが大きくなり、符号化効率が低下する。
本開示は、このような状況に鑑みてなされたものであり、画面内の相関性を利用した予測を行う際の符号化効率を向上させることができるようにするものである。
本開示の第１の側面の画像処理装置は、画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを符号化する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、前記リファレンス動きベクトルを用いて生成する予測ベクトル生成部と、前記カレント動きベクトルと前記予測ベクトル生成部により生成された前記予測ベクトルとの差分ベクトルを生成する差分ベクトル生成部とを備える画像処理装置である。
本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
本開示の第１の側面においては、画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを符号化する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックがノットアベイラブルに設定され、前記カレント動きベクトルの予測ベクトルが、前記リファレンス動きベクトルを用いて生成され、前記カレント動きベクトルと前記予測ベクトルとの差分ベクトルが生成される。
本開示の第２の側面の画像処理装置は、画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを復号する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、前記リファレンス動きベクトルを用いて生成する予測ベクトル生成部と、前記カレント動きベクトルと前記予測ベクトルとの差分ベクトルと、前記予測ベクトル生成部により生成された前記予測ベクトルとを加算し、前記カレント動きベクトルを生成する動きベクトル生成部とを備える画像処理装置である。
本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
本開示の第２の側面においては、画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを復号する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックがノットアベイラブルに設定され、前記カレント動きベクトルの予測ベクトルが、前記リファレンス動きベクトルを用いて生成され、前記カレント動きベクトルと前記予測ベクトルとの差分ベクトルと、前記予測ベクトルとが加算され、前記カレント動きベクトルが生成される。
なお、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
第１および第２の側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本開示の第１の側面によれば、画像を符号化することができる。また、本開示の第１の側面によれば、画面内の相関性を利用した予測を行う際の符号化効率を向上させることができる。
本開示の第２の側面によれば、符号化ストリームを復号することができる。また、本開示の第２の側面によれば、画面内の相関性を利用した予測を行う際の符号化効率を向上させた符号化ストリームを復号することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
Intra BCを説明する図である。 Intra BCとインター符号化の違いを説明する図である。 HEVCにおける参照ピクチャのタイプを説明する図である。 HEVCにおける候補ブロックの設定の例を示す図である。 HEVCにおける候補ブロックの設定の例を示す図である。 リファレンス動きベクトルの候補を説明する図である。 第１実施の形態における候補ブロックの設定の例を示す図である。 第１実施の形態における候補ブロックの設定の例を示す図である。 HEVCにおける参照ピクチャの候補の例を示す図である。 HEVCにおける参照ピクチャリストの作成処理を説明する図である。 第１実施の形態における参照ピクチャの候補の例を示す図である。 第１実施の形態における参照ピクチャリストの作成処理を説明する図である。 本開示を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 図１３の符号化部の構成例を示すブロック図である。 図１３の符号化装置のストリーム生成処理を説明するフローチャートである。 図１５の符号化処理の詳細を説明するフローチャートである。 図１５の符号化処理の詳細を説明するフローチャートである。 図１６の参照ピクチャ作成処理の詳細を説明するフローチャートである。 図１６の予測ベクトルリスト生成処理の詳細を説明するフローチャートである。 本開示を適用した復号装置の第１実施の形態の構成例を示すブロック図である。 図２０の復号部の構成例を示すブロック図である。 図２０の復号装置の画像生成処理を説明するフローチャートである。 図２２の復号処理の詳細を説明するフローチャートである。 第２実施の形態における予測ベクトルリストの生成方法を説明する図である。 第２実施の形態における予測ベクトルリストの生成方法を説明する図である。 第２実施の形態における予測ベクトルリストの生成方法を説明する図である。 第２実施の形態における候補ブロックの設定の例を示す図である。 第２実施の形態における参照ピクチャ作成処理の詳細を説明するフローチャートである。 第２実施の形態における予測ベクトルリスト生成処理の詳細を説明するフローチャートである。 第３実施の形態における参照ピクチャリスト作成処理を説明する図である。 第３実施の形態における参照ピクチャリスト作成処理の詳細を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 本開示を適用したテレビジョン装置の概略構成例を示す図である。 本開示を適用した携帯電話機の概略構成例を示す図である。 本開示を適用した記録再生装置の概略構成例を示す図である。 本開示を適用した撮像装置の概略構成例を示す図である。 本開示を適用したビデオセットの概略的な構成の一例を示している。 本開示を適用したビデオプロセッサの概略的な構成の一例を示している。 本開示を適用したビデオプロセッサの概略的な構成の他の例を示している。
以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
０．本開示の前提（図１および図２）
１．第１実施の形態：符号化装置および復号装置（図３乃至図２３）
２．第２実施の形態：符号化装置および復号装置（図２４乃至図２９）
３．第３実施の形態：符号化装置および復号装置（図３０および図３１）
４．第４実施の形態：コンピュータ（図３２）
５．第５実施の形態：テレビジョン装置（図３３）
６．第６実施の形態：携帯電話機（図３４）
７．第７実施の形態：記録再生装置（図３５）
８．第８実施の形態：撮像装置（図３６）
９．第９実施の形態：ビデオセット（図３７乃至図３９）
＜本開示の前提＞
（Intra BCの説明）
図１は、Intra BCを説明する図である。
図１に示すように、Intra BCでは、ピクチャ１０内のＰＵ（Prediction Unit）１１の予測に用いる参照ピクチャが、ピクチャ１０である。従って、ＰＵ１１と同一のピクチャ１０内に含まれる、ＰＵ１１と相関性の高いブロック１２が、ＰＵ１１の参照ブロックとされ、ＰＵ１１とＰＵ１２の間のベクトル１３が動きベクトルとして検出される。
（Intra BCとインター符号化の違いの説明）
図２は、Intra BCとインター符号化の違いを説明する図である。
図２に示すように、Intra BCの動きベクトルの精度は、整数画素精度であるが、インター符号化の動きベクトルの精度は、1/4画素精度である。また、Intra BCでは、同一画面内の符号化済みのブロックが参照ブロックにされるため、動きベクトルの縦方向と横方向の少なくとも一方の長さが長くなる。しかしながら、インター符号化では、異なる画面の符号化済みのブロックが参照ブロックにされるため、動きベクトルの長さは、画面間の動きに依存する。
また、Intra BCでは、参照ピクチャとしてフィルタ処理前のピクチャが用いられるが、インター符号化では、参照ピクチャとしてフィルタ処理後のピクチャが用いられる。一般的に、フィルタ処理前のピクチャは、キャッシュに記憶され、フィルタ処理後のピクチャは、DRAM（Dynamic Random Access Memory）に記憶される。
以上のように、Intra BCとインター符号化の動きベクトルの精度や長さは異なる。従って、Intra BCとインター符号化が共通化され、Intra BCの動きベクトルの符号化時に、インター符号化の動きベクトルを参照して生成された予測ベクトルが用いられると、差分ベクトルが大きくなり、符号化効率が低下する。なお、以下では、予測ベクトルを生成する際に参照される動きベクトルをリファレンス動きベクトルという。
また、Intra BCとインター符号化における参照ピクチャの保存先は異なる。従って、Intra BCとインター符号化が共通化される場合、参照ピクチャの保存先としてキャッシュとDRAMが混在する。しかしながら、復号装置は、参照ピクチャの保存先がどちらなのかわからないため、無駄にDRAMへアクセスすることになる。その結果、DRAMのアクセス帯域が増加する。
＜第１実施の形態＞
（第１実施の形態の概要）
まず、図３乃至図１２を参照して、第１実施の形態の概要について説明する。
図３は、HEVCにおける参照ピクチャのタイプを説明する図である。
図３に示すように、HEVCでは、現在の処理対象のピクチャ（以下、カレントピクチャという）とのPOC（Picture Order Count）の差分が小さい参照ピクチャのタイプが、STRP(Short-Term Reference Picture)とされる。また、カレントピクチャ（Current Pic）とのPOCの差分が大きい参照ピクチャのタイプが、LTRP（Long-Term Reference Picture）とされる。
そして、図４および図５に示すように、カレントピクチャ内の現在の処理対象のＰＵ（以下、カレントブロックという）の参照ピクチャと、リファレンス動きベクトルの候補に対応するＰＵ（以下、候補ブロックという）の参照ピクチャのタイプが異なる場合、候補ブロックがノットアベイラブル（not available）に設定される。
例えば、図３に示すように、カレントブロック２１の参照ピクチャのタイプがSTRPであり、カレント動きベクトル（target MV）のリファレンス動きベクトルの候補（PMV）に対応する候補ブロック２２の参照ピクチャのタイプがLTRPである場合、候補ブロック２２がノットアベイラブルに設定される。これにより、候補ブロック２２の動きベクトルは、リファレンス動きベクトルの候補から除外され、予測ベクトルの生成には用いられない。
なお、候補ブロックは、カレントブロックと同一の時刻の左、左上、左下、上、および右上に隣接するＰＵ、並びに、異なる時刻のカレントブロックと同一の位置および右下に隣接するＰＵである。以下では、候補ブロックのうちのカレントブロックと同一の時刻の候補ブロックを特に区別する場合、空間方向候補ブロックといい、カレントブロックと異なる時刻の候補ブロックを特に区別する場合、時間方向候補ブロックという。
また、図４および図５に示すように、カレントブロックの参照ピクチャと候補ブロックの参照ピクチャのタイプが同一である場合、候補ブロックはアベイラブル（available）に設定される。これにより、候補ブロックの動きベクトルは、リファレンス動きベクトルの候補とされる。
カレントブロックの参照ピクチャと候補ブロックの参照ピクチャのタイプが両方ともSTRPである場合の候補ブロックの動きベクトルが、リファレンス動きベクトルとして選択される場合、予測ベクトルは、カレントブロックの参照ピクチャと候補ブロックの参照ピクチャのPOCの差分に基づいて、リファレンス動きベクトルをスケーリングすることにより生成される。
一方、カレントブロックの参照ピクチャと候補ブロックの参照ピクチャのタイプが両方ともLTRPである場合の候補ブロックの動きベクトルが、リファレンス動きベクトルとして選択される場合、リファレンス動きベクトルが、そのまま予測ベクトルとされる（not scaled）。
なお、現在のHEVCでは、Intra BCとインター符号化が共通化されていないため、参照ピクチャのタイプは、図５に示すように、LTRPとSTRP以外想定されていない。従って、参照ピクチャのタイプが、Intra BCで用いられる参照ピクチャのタイプである「Intra BC」である場合の候補ブロックの設定は未定である。
Intra BCとインター符号化を単純に共通化した場合、Intra BCで用いられる参照ピクチャのタイプは、実際のタイプとは異なり、STRPに設定される。従って、図６に示すように、カレントブロック３１のIntra BCで用いられるカレント動きベクトル（target MV）のリファレンス動きベクトルの候補に、参照ピクチャの実際のタイプがSTRPである候補ブロック３２の動きベクトル(PMV)が含まれる。
しかしながら、図２で示したように、Intra BCとインター符号化の動きベクトルの精度や長さは異なる。従って、カレントブロック３１のカレント動きベクトルのリファレンス動きベクトルとして、候補ブロック３２の動きベクトルが選択されると、カレント動きベクトルと予測ベクトルの差分ベクトルが大きくなる。その結果、符号化効率が低下する。
そこで、第１実施の形態では、Intra BCで用いられる参照ピクチャ、即ち実際のタイプが「Intra BC」である参照ピクチャのタイプが、LTRPに設定される。具体的には、参照ピクチャの候補としてカレントピクチャが新たに定義される（If intra_block_copy_enabled_flag is equal to 1, the following applies.RefPicCurr=CurrPic）。そして、新たに定義されたカレントピクチャが、タイプをLTRPに設定する参照ピクチャの候補に追加される（All reference pictures that are included in RefPicCurr, RefPicSetLtCurr and RefPicSetLtFoll are marked as "used for long-term reference".）。
これにより、参照ピクチャの候補のリストである参照ピクチャリストにカレントピクチャが追加され、“used for long-term reference“としてマーキングされる。その結果、参照ピクチャの実際のタイプが「Intra BC」であるカレントブロックに対する候補ブロックの設定が、参照ピクチャの実際のタイプがLTRPであるカレントブロックに対する候補ブロックの設定と同様に行われる。
具体的には、図７と図８に示すように、カレントブロックの参照ピクチャと候補ブロックの参照ピクチャの実際のタイプのいずれか一方が、「Intra BC」であり、他方がSTRPである場合、候補ブロックがノットアベイラブルに設定される。これにより、候補ブロックの動きベクトルは、リファレンス動きベクトルの候補から除外され、予測ベクトルの生成には用いられない。
また、図７および図８に示すように、カレントブロックの参照ピクチャと候補ブロックの参照ピクチャの実際のタイプが両方とも、「Intra BC」またはLTRPである場合、候補ブロックはアベイラブルに設定される。これにより、候補ブロックの動きベクトルは、リファレンス動きベクトルの候補とされる。
以上により、カレントブロックの参照ピクチャと候補ブロックの参照ピクチャの実際のタイプのいずれか一方が、「Intra BC」であり、他方がSTRPである場合、候補ブロックの動きベクトルは、予測ベクトルの生成に用いられず、符号化効率が向上する。
図９は、HEVCにおける参照ピクチャの候補の例を示す図である。
図９に示すように、HEVCでは、カレントピクチャ（Ｃ）より表示順で前であり、カレントピクチャとのPOCの差分が小さいピクチャ（Short-term before Curr）が、参照ピクチャの候補とされる。また、カレントピクチャ（Ｃ）より表示順で後であり、カレントピクチャとのPOCの差分が小さいピクチャ（Short-term after Curr）が、参照ピクチャの候補とされる。
さらに、カレントピクチャ（Ｃ）より表示順で前であり、カレントピクチャとのPOCの差分が大きいピクチャ（Long-term）が、参照ピクチャの候補とされる。また、カレントピクチャ（Ｃ）と表示順が同一であるが、視点、ビット数、空間解像度、S/N、フレームレート、色差信号フォーマット等が異なるピクチャ（Inter-layer）が、参照ピクチャの候補とされる。
図１０は、図９の参照ピクチャの候補を登録する参照ピクチャリストの作成処理を説明する図である。
図１０に示すように、参照ピクチャリストの作成処理では、まず、参照ピクチャの候補の種類ごとに、参照ピクチャの候補のピクチャを特定する情報(以下、ピクチャ特定情報という)が登録された個別リストが作成される。即ち、ピクチャ（Short-term before Curr）のピクチャ特定情報が、カレントピクチャとのPOCの差分が小さい順に登録されるRefPicSetStCurrBeforeリストが作成される。
同様に、ピクチャ（Short-term after Curr）のRefPicSetStCurrAfterリストと、ピクチャ（Long-term）のRefPicSetLtCurrリストが作成される。また、ピクチャ（Inter-layer）のピクチャ特定情報が所定の順に登録されるRefPicSetIvCurrリストが作成される。
RefPicSetStCurrBeforeリスト、RefPicSetStCurrAfterリスト、およびRefPicSetLtCurrリストに登録される各ピクチャ特定情報には、そのピクチャ特定情報により特定されるピクチャを、カレントピクチャの参照ピクチャの候補として使用するかどうかを表すused_by_currが設定可能になっている。used_by_currは、カレントピクチャの参照ピクチャの候補として使用することを表す場合１であり、使用しないことを表す場合０である。
図１０の例では、RefPicSetStCurrBeforeリストおよびRefPicSetStCurrAfterリストの先頭と先頭から２番目のピクチャ特定情報、並びに、RefPicSetLtCurrリストの先頭のピクチャ特定情報のused_by_currが１に設定されている。
次に、個別リストに基づいて、カレントピクチャより表示順が前の参照ピクチャの候補を優先的に登録するRefPicListTemp0リストと、カレントピクチャより表示順が後の参照ピクチャの候補を優先的に登録するRefPicListTemp1リストの２つのテンポラルリストが作成される。
具体的には、used_by_currが１に設定されたRefPicSetStCurrBeforeリストのピクチャ特定情報、RefPicSetIvCurrリストに登録されたピクチャ特定情報、used_by_currが１に設定されたRefPicSetStCurrAfterリストのピクチャ特定情報、used_by_currが１に設定されたRefPicSetLtCurrリストのピクチャ特定情報が順に登録されたRefPicListTemp0リストが、作成される。
また、used_by_currが１に設定されたRefPicSetStCurrAfterリストのピクチャ特定情報、used_by_currが１に設定されたRefPicSetStCurrBeforeリストのピクチャ特定情報、used_by_currが１に設定されたRefPicSetLtCurrリストのピクチャ特定情報、RefPicSetIvCurrリストに登録されたピクチャ特定情報が順に登録されたRefPicListTemp1リストが、作成される。
次に、RefPicListTemp0リストとRefPicListTemp1リストに登録されているピクチャ特定情報の順番が、必要に応じて変更される（Reference reordering）。
最後に、RefpicListTemp0リストに登録されている、先頭から所定数（図１０の例では５つ）のピクチャ特定情報が、先頭から順に登録された参照ピクチャリストRefPicList0が、作成される。
また、RefpicListTemp1リストに登録されている、先頭から所定数（図１０の例では４つ）のピクチャ特定情報が、先頭から順に登録された参照ピクチャリストRefPicList1が、作成される。
なお、参照ピクチャリストRefPicList0（RefPicList1）に登録されるピクチャ特定情報の数から１を減算した値は、num_ref_idx_l0_active_minus1（num_ref_idx_l1_active_minus1）としてスライスヘッダ等に配置される。
Intra BCとインター符号化を共通化する場合、図１１に示すように、参照ピクチャの候補として、Intra BCの参照ピクチャであるカレントピクチャ（CurrPic）を追加する必要がある。
第１実施の形態では、上述したように、参照ピクチャの候補としてカレントピクチャが定義されるため、参照ピクチャリストの作成処理において、カレントピクチャのピクチャ特定情報が登録されたカレントピクチャリスト（RefPicCurr）を作成することができる。その結果、参照ピクチャリストにカレントピクチャのピクチャ特定情報が登録される。
しかしながら、Intra BCとインター符号化を単純に共通化した場合、カレントピクチャのピクチャ特定情報は、参照ピクチャリストのどの位置に登録されるかわからない。
一方、図２で示したように、Intra BCとインター符号化における参照ピクチャの保存先は異なる。従って、無駄にDRAMへアクセスしないためには、復号装置は、符号化装置から参照ピクチャリスト内の参照ピクチャのピクチャ特定情報のインデックスを取得した際、参照ピクチャがIntra BCとインター符号化のいずれにおける参照ピクチャであるのかを認識する必要がある。即ち、復号装置は、参照ピクチャがカレントピクチャ、または、カレントピクチャとは異なるピクチャのいずれであるのかを認識する必要がある。
そこで、第１実施の形態では、図１２に示すように、RefPicList0リストおよびRefPicList1リストの２つの参照ピクチャリストの先頭に、カレントピクチャリストに登録されるカレントピクチャのピクチャ特定情報が登録される。
これにより、復号装置は、符号化装置から参照ピクチャリストの先頭のインデックスを取得した場合、参照ピクチャがカレントピクチャである、即ちIntra BCにおける参照ピクチャであることを認識することができる。その結果、復号装置は、DRAMにはアクセスせずに、キャッシュからカレントピクチャを参照ピクチャとして読み出すことができる。
なお、カレントピクチャのピクチャ特定情報は、RefPicList0リストにのみ登録されるようにしてもよい。また、カレントピクチャのピクチャ特定情報が登録される位置は、先頭のほか、最後尾などの予め決められた任意の位置にすることができる。
（符号化装置の第１実施の形態の構成例）
図１３は、本開示を適用した画像処理装置としての符号化装置の第１実施の形態の構成例を示すブロック図である。
図１３の符号化装置５０は、設定部５１、符号化部５２、および伝送部５３により構成され、ピクチャをHEVCに準ずる方式で符号化する。
符号化単位は、再帰的な階層構造を有するCoding UNIT(CU)である。具体的には、CUは、ピクチャを固定サイズのCTU（Coding Tree Unit）に分割し、そのCTUを任意の回数だけ水平方向および垂直方向に２分割することにより設定される。CUの最大のサイズはLCU（Largest Coding Unit）であり、最小サイズはSCU(Smallest Coding Unit)である。また、CUは、PUやTU（transform unit）に分割される。
符号化装置５０の設定部５１は、SPS（Sequence Parameter Set）,PPS（Picture Parameter Set），VUI(Video Usability Information),SEI（Supplemental Enhancement Information）などのパラメータセットを設定する。SPSには、LCUとSCUのサイズを指定する情報、参照ピクチャリストを作成するための参照ピクチャリスト情報等が含まれる。
参照ピクチャリスト情報は、例えば、個別リストおよびカレントピクチャリストに登録されるピクチャ特定情報を指定する情報、used_by_curr等からなる。設定部５１は、設定されたパラメータセットを符号化部５２に供給する。
符号化部５２には、フレーム単位のピクチャが入力される。符号化部５２は、入力されたピクチャをHEVCに準ずる方式で符号化する。このとき、必要に応じて、設定部５１から供給されるパラメータセットが用いられる。符号化部５２は、符号化の結果得られる符号化データと設定部５１から供給されるパラメータセットから符号化ストリームを生成し、伝送部５３に供給する。
伝送部５３は、符号化部５２から供給される符号化ストリームを、後述する復号装置に伝送する。
（符号化部の構成例）
図１４は、図１３の符号化部５２の構成例を示すブロック図である。
図１４の符号化部５２は、A/D変換部７１、画面並べ替えバッファ７２、演算部７３、直交変換部７４、量子化部７５、可逆符号化部７６、蓄積バッファ７７、生成部７８、逆量子化部７９、逆直交変換部８０、および加算部８１を有する。また、符号化部５２は、フィルタ８２、フレームメモリ８５、スイッチ８６、イントラ予測部８７、リスト作成部８８、動き予測・補償部８９、予測ベクトル生成部９０、差分ベクトル生成部９１、予測画像選択部９２、およびレート制御部９３を有する。
符号化部５２のA/D変換部７１は、符号化対象として入力されたフレーム単位のピクチャをA/D変換する。A/D変換部７１は、変換後のデジタル信号であるピクチャを画面並べ替えバッファ７２に出力して記憶させる。
画面並べ替えバッファ７２は、記憶した表示の順番のフレーム単位のピクチャを、GOP(Group of Picture)構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ７２は、並べ替え後のピクチャを、カレントピクチャとして、演算部７３、イントラ予測部８７、および動き予測・補償部８９に出力する。
演算部７３は、画面並べ替えバッファ７２から供給されるカレントピクチャから、予測画像選択部９２から供給される予測画像を減算することにより符号化を行う。演算部７３は、その結果得られるピクチャを、残差情報として直交変換部７４に出力する。なお、予測画像選択部９２から予測画像が供給されない場合、演算部７３は、画面並べ替えバッファ７２から読み出されたカレントピクチャをそのまま残差情報として直交変換部７４に出力する。
直交変換部７４は、演算部７３からの残差情報をTU単位で直交変換する。直交変換部７４は、直交変換の結果得られる直交変換係数を量子化部７５に供給する。
量子化部７５は、直交変換部７４から供給される直交変換係数に対して量子化を行う。量子化部７５は、量子化された直交変換係数を可逆符号化部７６に供給する。
可逆符号化部７６は、最適イントラ予測モードを示すイントラ予測モード情報をイントラ予測部８７から取得する。また、可逆符号化部７６は、最適インター予測モードを示すインター予測モード情報と参照ピクチャのインデックスなどを動き予測・補償部８９から取得し、動きベクトル情報を差分ベクトル生成部９１から取得する。さらに、可逆符号化部７６は、フィルタ８２から適応オフセットフィルタ処理に関するオフセットフィルタ情報を取得する。
可逆符号化部７６は、量子化部７５から供給される量子化された直交変換係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。
また、可逆符号化部７６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル情報、および参照ピクチャのインデックス、並びにオフセットフィルタ情報等を、符号化に関する符号化情報として可逆符号化する。可逆符号化部７６は、可逆符号化された符号化情報、参照ピクチャリストの登録数から１を減算した所定数（num_ref_idx_lo_minus1,num_ref_idx_lo_minus1）などをスライスヘッダ等に配置する。
可逆符号化部７６は、量子化部７５から供給される直交変換係数にスライスヘッダを付加し、符号化データとして蓄積バッファ７７に供給する。
蓄積バッファ７７は、可逆符号化部７６から供給される符号化データを、一時的に記憶する。また、蓄積バッファ７７は、記憶している符号化データを生成部７８に供給する。
生成部７８は、図１３の設定部５１から供給されるパラメータセットと蓄積バッファ７７から供給される符号化データから符号化ストリームを生成し、図１３の伝送部５３に供給する。
また、量子化部７５より出力された、量子化された直交変換係数は、逆量子化部７９にも入力される。逆量子化部７９は、量子化部７５により量子化された直交変換係数に対して、量子化部７５における量子化方法に対応する方法で逆量子化を行う。逆量子化部７９は、逆量子化の結果得られる直交変換係数を逆直交変換部８０に供給する。
逆直交変換部８０は、ＴＵ単位で、逆量子化部７９から供給される直交変換係数に対して、直交変換部７４における直交変換方法に対応する方法で逆直交変換を行う。逆直交変換部８０は、その結果得られる残差情報を加算部８１に供給する。
加算部８１は、逆直交変換部８０から供給される残差情報と、予測画像選択部９２から供給される予測画像を加算することにより、カレントピクチャを局所的に復号する。なお、予測画像選択部９２から予測画像が供給されない場合、加算部８１は、逆直交変換部８０から供給される残差情報を復号結果とする。加算部８１は、局所的に復号されたカレントピクチャをフレームメモリ８５に供給する。また、加算部８１は、全ての領域が復号されたカレントピクチャを符号化済みのピクチャとしてフィルタ８２に供給する。
フィルタ８２は、加算部８１から供給される符号化済みのピクチャに対して、フィルタ処理を行う。具体的には、フィルタ８２は、デブロックフィルタ処理と適応オフセットフィルタ(SAO（Sample adaptive offset)）処理を順に行う。フィルタ８２は、フィルタ処理後の符号化済みのピクチャをフレームメモリ８５に供給する。また、フィルタ８２は、行われた適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部７６に供給する。
フレームメモリ８５は、例えば、キャッシュとDRAMにより構成される。フレームメモリ８５は、加算部８１から供給されるカレントピクチャをキャッシュに記憶し、フィルタ８２から供給される符号化済みのピクチャをDRAMに記憶する。キャッシュに記憶されたカレントピクチャのうちのカレントブロックに隣接する画素は、周辺画素としてスイッチ８６を介してイントラ予測部８７に供給される。
また、キャッシュに記憶されたカレントピクチャ、および、DRAMに記憶された符号化済みのピクチャは、参照ピクチャとしてスイッチ８６を介して動き予測・補償部８９に出力される。
イントラ予測部８７は、カレントブロックに対して、フレームメモリ８５からスイッチ８６を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。
また、イントラ予測部８７は、画面並べ替えバッファ７２から読み出されたカレントピクチャと、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部８７は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。
イントラ予測部８７は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部９２に供給する。イントラ予測部８７は、予測画像選択部９２から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部７６に供給する。
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードまたはLow Complexity モードの手法に基づいて算出される。なお、H．264/AVC方式における参照ソフトウエアは、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている。
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に復号までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。
Figure 2016104179
Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ未定乗数である。
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、予測画像の生成、および、符号化情報の符号量の算出が行われ、次の式（２）で表わされるコスト関数Cost(Mode)が各予測モードに対して算出される。
Figure 2016104179
Dは、原画像と予測画像の差分（歪）、Header_Bitは、符号化情報の符号量、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するだけでよく、復号画像を生成する必要がないため、演算量が少なくて済む。
リスト作成部８８は、図１３の設定部５１により設定されるSPSに含まれる参照ピクチャリスト情報、スライスヘッダに配置される情報等に基づいて、例えばスライス単位で、上述した参照ピクチャリスト作成処理を行う。
即ち、リスト作成部８８は、参照ピクチャリスト情報、スライスヘッダに配置される情報等に基づいて、個別リストの作成、テンポラルリストの作成、およびテンポラルリストに登録されているピクチャ特定情報の順番の入れ替えを順に行い、参照ピクチャリストを作成する。その後、リスト作成部８８は、参照ピクチャリストの先頭にカレントピクチャのピクチャ特定情報を登録する。
また、リスト作成部８８は、参照ピクチャリストに登録されている各ピクチャ特定情報に、そのピクチャ特定情報により特定されるピクチャの参照ピクチャとしてのタイプとして、SRTPまたはLTRPを設定する。例えば、リスト作成部８８（設定部）は、カレントピクチャのピクチャ特定情報に、カレントピクチャのタイプとしてLTRP（used for long-term reference）を設定する。リスト作成部８８は、参照ピクチャリストを保持するとともに、動き予測・補償部８９に供給する。
動き予測・補償部８９は、カレントブロックに対して、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部８９は、リスト作成部８８から供給される参照ピクチャリストに基づいて、その参照ピクチャリストに登録されているピクチャ特定情報で特定されるピクチャを、参照ピクチャの候補として、フレームメモリ８５からスイッチ８６を介して読み出す。
動き予測・補償部８９は、画面並べ替えバッファ７２からのカレントピクチャと、参照ピクチャの候補として読み出されたカレントピクチャとに基づいて、候補となる全てのインター予測モードのカレントブロックのIntra BCの動きベクトルを整数画素精度で検出する。また、動き予測・補償部８９は、画面並べ替えバッファ７２からのカレントピクチャと、参照ピクチャの候補として読み出されたカレントピクチャ以外のピクチャとに基づいて、候補となる全てのインター予測モードのカレントブロックのインター符号化の動きベクトルを分数画素精度で検出する。
そして、動き予測・補償部８９は、検出された動きベクトルに基づいて参照ピクチャの候補に補償処理を施し、予測画像を生成する。なお、インター予測モードとは、カレントブロックのサイズ等を表すモードである。
また、動き予測・補償部８９は、画面並べ替えバッファ７２から供給されるカレントピクチャと予測画像とに基づいて、候補となる全てのインター予測モードおよび参照ピクチャの候補に対してコスト関数値を算出する。動き予測・補償部８９は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部８９は、コスト関数値の最小値と、対応する予測画像を予測画像選択部９２に供給する。
動き予測・補償部８９は、予測画像選択部９２から最適インター予測モードで生成された予測画像の選択が通知された場合、その予測画像に対応するカレントブロックの動きベクトルをカレント動きベクトルに決定し、差分ベクトル生成部９１に供給する。また、動き予測・補償部８９は、その予測画像に対応する参照ピクチャの候補を参照ピクチャに決定し、その参照ピクチャのピクチャ特定情報の参照ピクチャリスト内の位置に対応するインデックスを、予測ベクトル生成部９０と可逆符号化部７６に供給する。さらに、動き予測・補償部８９は、インター予測モード情報を、可逆符号化部７６に供給する。
予測ベクトル生成部９０は、動き予測・補償部８９から供給されるインデックスに基づいて、参照ピクチャが登録されている参照ピクチャリストごとに、カレント動きベクトルの予測ベクトルリストを生成する。
具体的には、予測ベクトル生成部９０は、インデックスに基づいて、そのインデックスに対応する参照ピクチャのタイプを、リスト作成部８８に保持されている参照ピクチャリストから読み出し、保持する。予測ベクトル生成部９０は、空間方向候補ブロックを所定の順に処理対象の候補ブロックに設定し、時間方向候補ブロックを所定の順に処理対象の候補ブロックに設定する。
予測ベクトル生成部９０は、自分自身が保持している処理対象の候補ブロックの参照ピクチャのタイプと、リスト作成部８８から読み出されたカレントブロックの参照ピクチャのタイプとを比較する。予測ベクトル生成部９０は、それらが一致する場合、処理対象の候補ブロックをアベイラブルに設定し、一致しない場合、処理対象の候補ブロックをノットアベイラブルに設定する。
予測ベクトル生成部９０は、処理対象の候補ブロックがアベイラブルに設定された場合、処理対象の候補ブロックの動きベクトルであるリファレンス動きベクトルの候補を用いて、カレント動きベクトルの予測ベクトルを生成する。そして、予測ベクトル生成部９０は、生成された所定数の空間方向候補ブロックと時間方向候補ブロックの予測ベクトルを登録した予測ベクトルリストを生成する。なお、生成された予測ベクトルの数が所定数に達しない場合には、０ベクトルなどが予測ベクトルリストに登録される。予測ベクトル生成部９０は、予測ベクトルリストを差分ベクトル生成部９１に供給する。
差分ベクトル生成部９１は、予測ベクトル生成部９０から供給される予測ベクトルリストに登録された所定の数の予測ベクトルのそれぞれと、カレント動きベクトルとの差分ベクトルを生成することにより、カレント動きベクトルを予測符号化する。差分ベクトル生成部９１は、差分ベクトルの最小値と、対応する予測ベクトルの予測ベクトルリスト内の位置に対応するインデックスとを、動きベクトル情報として、可逆符号化部７６に供給する。
予測画像選択部９２は、イントラ予測部８７および動き予測・補償部８９から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部９２は、最適予測モードの予測画像を、演算部７３および加算部８１に供給する。また、予測画像選択部９２は、最適予測モードの予測画像の選択をイントラ予測部８７または動き予測・補償部８９に通知する。
レート制御部９３は、蓄積バッファ７７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部７５の量子化動作のレートを制御する。
（符号化装置の処理の説明）
図１５は、図１３の符号化装置５０のストリーム生成処理を説明するフローチャートである。
図１５のステップＳ１１において、符号化装置５０の設定部５１は、パラメータセットを設定する。設定部５１は、設定されたパラメータセットを符号化部５２に供給する。
ステップＳ１２において、符号化部５２は、外部から入力されたフレーム単位のピクチャをHEVCに準ずる方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図１６および図１７を参照して説明する。
ステップＳ１３において、符号化部５２の生成部７８（図１４）は、設定部５１から供給されるパラメータセットと蓄積している符号化データから符号化ストリームを生成し、伝送部５３に供給する。
ステップＳ１４において、伝送部５３は、設定部５１から供給される符号化ストリームを、後述する復号装置に伝送し、処理を終了する。
図１６および図１７は、図１５のステップＳ１２の符号化処理の詳細を説明するフローチャートである。
図１６のステップＳ３１において、符号化部５２のA/D変換部７１は、符号化対象として入力されたフレーム単位のピクチャをA/D変換し、変換後のデジタル信号であるピクチャを画面並べ替えバッファ７２に出力して記憶させる。
ステップＳ３２において、画面並べ替えバッファ７２は、記憶した表示の順番のフレームのピクチャを、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ７２は、並べ替え後のフレーム単位のピクチャを、カレントピクチャとして、演算部７３、イントラ予測部８７、および動き予測・補償部８９に供給する。
ステップＳ３３において、リスト作成部８８は、SPSに含まれる参照ピクチャリスト情報、スライスヘッダに配置される情報等に基づいて、例えばスライス単位で、参照ピクチャリスト作成処理を行う。参照ピクチャリスト作成処理の詳細は、図１８を参照して後述する。
ステップＳ３４において、イントラ予測部８７は、カレントブロックに対して、フレームメモリ８５からスイッチ８６を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部８７は、画面並べ替えバッファ７２からのカレントピクチャと、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部８７は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部８７は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部９２に供給する。
また、動き予測・補償部８９は、リスト作成部８８から供給される参照ピクチャリストに基づいて、カレントブロックに対して、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部８９は、画面並べ替えバッファ７２からのカレントピクチャと動き予測・補償処理の結果生成される予測画像とに基づいて、候補となる全てのインター予測モードおよび参照ピクチャに対してコスト関数値を算出する。動き予測・補償部８９は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部８９は、コスト関数値の最小値と、対応する予測画像を予測画像選択部９２に供給する。
ステップＳ３５において、予測画像選択部９２は、イントラ予測部８７および動き予測・補償部８９から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部９２は、最適予測モードの予測画像を、演算部７３および加算部８１に供給する。
ステップＳ３６において、予測画像選択部９２は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ３６で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部９２は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部８９に通知する。
動き予測・補償部８９は、この通知に応じて、予測画像に対応するカレントブロックの動きベクトルをカレント動きベクトルに決定し、差分ベクトル生成部９１に供給する。また、動き予測・補償部８９は、予測画像に対応する参照ピクチャの候補を参照ピクチャに決定し、その参照ピクチャのピクチャ特定情報の参照ピクチャリスト内の位置に対応するインデックスを、予測ベクトル生成部９０に供給する。
そして、ステップＳ３７において、予測ベクトル生成部９０は、動き予測・補償部８９から供給されるインデックスに基づいて、カレント動きベクトルの予測ベクトルリストを生成する予測ベクトルリスト生成処理を行う。予測ベクトルリスト生成処理の詳細は、図１９を参照して後述する。
ステップＳ３８において、差分ベクトル生成部９１は、予測ベクトル生成部９０から供給される予測ベクトルリストに登録された所定の数の予測ベクトルのそれぞれと、カレント動きベクトルとの差分ベクトルを生成することにより、カレント動きベクトルを予測符号化する。そして、差分ベクトル生成部９１は、差分ベクトルの最小値と、対応する予測ベクトルの予測ベクトルリスト内の位置に対応するインデックスとを、動きベクトル情報として生成する。
ステップＳ３９において、動き予測・補償部８９は、インター予測モード情報と参照ピクチャのインデックスを可逆符号化部７６に供給し、差分ベクトル生成部９１は、動きベクトル情報を可逆符号化部７６に供給する。そして、処理はステップＳ４１に進む。
一方、ステップＳ３６で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部９２は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部８７に通知する。そして、ステップＳ４０において、イントラ予測部８７は、イントラ予測モード情報を可逆符号化部７６に供給し、処理をステップＳ４１に進める。
ステップＳ４１において、演算部７３は、画面並べ替えバッファ７２から供給されるカレントピクチャから、予測画像選択部９２から供給される予測画像を減算することにより符号化を行う。演算部７３は、その結果得られるピクチャを、残差情報として直交変換部７４に出力する。
ステップＳ４２において、直交変換部７４は、演算部７３からの残差情報に対してＴＵ単位で直交変換を施し、その結果得られる直交変換係数を量子化部７５に供給する。
ステップＳ４３において、量子化部７５は、直交変換部７４から供給される直交変換係数を量子化し、量子化された直交変換係数を可逆符号化部７６と逆量子化部７９に供給する。
図１７のステップＳ４４において、逆量子化部７９は、量子化部７５から供給される量子化された係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部８０に供給する。
ステップＳ４５において、逆直交変換部８０は、逆量子化部７９から供給される直交変換係数に対してＴＵ単位で逆直交変換を施し、その結果得られる残差情報を加算部８１に供給する。
ステップＳ４６において、加算部８１は、逆直交変換部８０から供給される残差情報と、予測画像選択部９２から供給される予測画像を加算し、カレントピクチャを局所的に復号する。加算部８１は、局所的に復号されたカレントピクチャをフレームメモリ８５に供給する。また、加算部８１は、全ての領域が復号されたカレントピクチャを符号化済みのピクチャとしてフィルタ８２に供給する。
ステップＳ４７において、フィルタ８２は、加算部８１から供給される符号化済みのピクチャに対して、デブロックフィルタ処理を行う。
ステップＳ４８において、フィルタ８２は、デブロックフィルタ処理後の符号化済みのピクチャに対して、LCUごとに適応オフセットフィルタ処理を行う。フィルタ８２は、その結果得られる符号化済みのピクチャをフレームメモリ８５に供給する。また、フィルタ８２は、LCUごとに、オフセットフィルタ情報を可逆符号化部７６に供給する。
ステップＳ４９において、フレームメモリ８５は、加算部８１から供給されるカレントピクチャをキャッシュに記憶し、フィルタ８２から供給される符号化済みのピクチャをDRAMに記憶する。キャッシュに記憶されたカレントピクチャのうちのカレントブロックに隣接する画素は、周辺画素としてスイッチ８６を介してイントラ予測部８７に供給される。また、キャッシュに記憶されたカレントピクチャ、および、DRAMに記憶された符号化済みのピクチャは、参照ピクチャとしてスイッチ８６を介して動き予測・補償部８９に出力される。
ステップＳ５０において、可逆符号化部７６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル情報、および参照ピクチャのインデックス、並びにオフセットフィルタ情報を、符号化情報として可逆符号化する。
ステップＳ５１において、可逆符号化部７６は、量子化部７５から供給される量子化された直交変換係数を可逆符号化する。そして、可逆符号化部７６は、ステップＳ５０の処理で可逆符号化された符号化情報と可逆符号化された直交変換係数から、符号化データを生成し、蓄積バッファ７７に供給する。
ステップＳ５２において、蓄積バッファ７７は、可逆符号化部７６から供給される符号化データを、一時的に蓄積する。
ステップＳ５３において、レート制御部９３は、蓄積バッファ７７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部７５の量子化動作のレートを制御する。
ステップＳ５４において、蓄積バッファ７７は、記憶している符号化データを、生成部７８に出力する。そして、処理は、図１５のステップＳ１２に戻り、ステップＳ１３に進む。
なお、図１６および図１７の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。
図１８は、図１６のステップＳ３３の参照ピクチャリスト作成処理の詳細を説明するフローチャートである。
図１８のステップＳ７１において、リスト作成部８８は、参照ピクチャの候補の種類ごとに、RefPicSetStCurrBeforeリスト、RefPicSetStCurrAfterリスト、RefPicSetLtCurrリスト、およびRefPicSetIvCurrリストの４つの個別リストを作成する。各個別リストのピクチャ特定情報には、そのピクチャ特定情報により特定されるピクチャの参照ピクチャとしてのタイプが設定されている。また、RefPicSetStCurrBeforeリスト、RefPicSetStCurrAfterリスト、およびRefPicSetLtCurrリストのピクチャ特定情報には、used_by_currが設定されている。
ステップＳ７２において、リスト作成部８８は、参照ピクチャのタイプとしてLTRPが設定された、カレントピクチャのピクチャ特定情報が登録されるカレントピクチャリストを作成する。
ステップＳ７３において、リスト作成部８８は、個別リストのピクチャ特定情報とused_by_currに基づいて、RefpicListTemp0リストとRefpicListTemp1リストの２つのテンポラルリストを作成する。
ステップＳ７４において、リスト作成部８８は、スライスヘッダに配置される、テンポラルリスト内のピクチャ特定情報の順番を指定するref_pic_list_modificationに基づいて、テンポラルリスト内のピクチャ特定情報の順番を入れ替える。
ステップＳ７５において、リスト作成部８８は、テンポラルリストに基づいて、テンポラルリストに登録されている先頭から所定数のピクチャ特定情報を、先頭から順に登録した参照ピクチャリストを作成する。
ステップＳ７６において、リスト作成部８８は、参照ピクチャリストの先頭に、カレントピクチャリストに登録されているカレントピクチャのピクチャ特定情報を登録する。そして、処理は、図１６のステップＳ３３に戻り、ステップＳ３４に進む。
図１９は、図１６のステップＳ３７の予測ベクトルリスト生成処理の詳細を説明するフローチャートである。この予測ベクトルリスト生成処理は、参照ピクチャが登録されている参照ピクチャリストごとに行われる。
図１９のステップＳ９１において、予測ベクトル生成部９０は、所定の候補ブロックを処理対象の候補ブロックに決定する。最初のステップＳ９１の処理では、所定の空間方向候補ブロックが処理対象の候補ブロックに決定される。
ステップＳ９２において、予測ベクトル生成部９０は、動き予測・補償部８９から供給されるインデックスに基づいて、参照ピクチャリストから、そのインデックスに対応するカレントブロックの参照ピクチャのタイプを読み出し、保持する。そして、予測ベクトル生成部９０は、読み出されたカレントブロックの参照ピクチャのタイプがSTRPであるかどうかを判定する。
ステップＳ９２でカレントブロックの参照ピクチャのタイプがSTRPであると判定された場合、処理はステップＳ９３に進む。ステップＳ９３において、予測ベクトル生成部９０は、保持している処理対象の候補ブロックの参照ピクチャのタイプがSTRPであるかどうかを判定する。
ステップＳ９３で処理対象の候補ブロックの参照ピクチャのタイプがSTRPであると判定された場合、即ち、カレントブロックと候補ブロックの参照ピクチャのタイプが両方ともSTRPである場合、処理はステップＳ９４に進む。
ステップＳ９４において、予測ベクトル生成部９０は、処理対象の候補ブロックをアベイラブルに設定する。ステップＳ９５において、予測ベクトル生成部９０は、カレントブロックの参照ピクチャと候補ブロックの参照ピクチャのPOCの差分に基づいて、処理対象の候補ブロックの動きベクトルであるリファレンス動きベクトルの候補をスケーリングし、予測ベクトルを生成する。そして、予測ベクトル生成部９０は、その予測ベクトルを予測ベクトルリストに登録し、処理をステップＳ１００に進める。
一方、ステップＳ９２でカレントブロックの参照ピクチャのタイプがSTRPではないと判定された場合、即ちカレントブロックの参照ピクチャのタイプがLTRPである場合、処理はステップＳ９６に進む。
ステップＳ９６において、予測ベクトル生成部９０は、ステップＳ９３の処理と同様に、処理対象の候補ブロックの参照ピクチャのタイプがSTRPであるかどうかを判定する。ステップＳ９６で処理対象の候補ブロックの参照ピクチャのタイプがSTRPであると判定された場合、即ちカレントブロックの参照ピクチャのタイプがLTRPであり、かつ、候補ブロックの参照ピクチャのタイプがSTRPである場合、処理はステップＳ９７に進む。
ステップＳ９７において、予測ベクトル生成部９０は、処理対象の候補ブロックをノットアベイラブルに設定し、処理をステップＳ１００に進める。
一方、ステップＳ９３で、処理対象の候補ブロックの参照ピクチャのタイプがSTRPではないと判定された場合、即ち、カレントブロックの参照ピクチャのタイプがSTRPであり、かつ、候補ブロックの参照ピクチャのタイプがLTRPである場合、処理はステップＳ９７に進む。これにより、処理対象の候補ブロックがノットアベイラブルに設定される。
また、ステップＳ９６で処理対象の候補ブロックの参照ピクチャのタイプがSTRPではないと判定された場合、即ち、カレントブロックと候補ブロックの参照ピクチャのタイプが両方ともLTRPである場合、処理はステップＳ９８に進む。
ステップＳ９８において、予測ベクトル生成部９０は、処理対象の候補ブロックをアベイラブルに設定する。ステップＳ９９において、予測ベクトル生成部９０は、処理対象の候補ブロックの動きベクトルであるリファレンス動きベクトルの候補を、そのまま予測ベクトルとして生成する。そして、予測ベクトル生成部９０は、その予測ベクトルを予測ベクトルリストに登録し、処理をステップＳ１００に進める。
ステップＳ１００において、予測ベクトル生成部９０は、所定数の予測ベクトルを予測ベクトルリストに登録したかどうかを判定する。ステップＳ１００でまだ所定数の予測ベクトルを登録していないと判定された場合、処理はステップＳ９１に戻り、まだ処理対象の候補ブロックに決定されていない、所定の空間方向候補ブロックまたは時間方向候補ブロックが、処理対象の候補ブロックに決定され、以降の処理が行われる。
一方、ステップＳ１００で所定数の予測ベクトルを登録したと判定された場合、予測ベクトル生成部９０は、予測ベクトルリストを差分ベクトル生成部９１に供給する。そして、処理は図１６のステップＳ３７に戻り、ステップＳ３８に進む。
以上のように、符号化装置５０は、Intra BCに用いられるカレント動きベクトルを符号化する際に、カレントブロックの参照ピクチャの実際のタイプと、候補ブロックの参照ピクチャの実際のタイプとが異なる場合に、候補ブロックをノットアベイラブルに設定する。これにより、予測ベクトルの生成に、参照ピクチャの実際のタイプが、カレントブロックの参照ピクチャの実際のタイプと異なる候補ブロックの動きベクトルが用いられない。従って、差分ベクトルが小さくなり、符号化効率が向上する。
また、符号化装置５０は、実際のタイプが「Intra BC」であるカレントブロックの参照ピクチャのタイプをLTRPとして設定することにより、候補ブロックの参照ピクチャの実際のタイプがSTRPである場合に、候補ブロックをノットアベイラブルに設定させる。従って、Intra BCとインター符号化を共通化していない場合のHEVCに対して大きな変更を行うことなく、Intra BCとインター符号化を共通化した場合の符号化効率を向上させることができる。
さらに、符号化装置５０は、カレントブロックの参照ピクチャリストの所定の位置にカレントピクチャのピクチャ特定情報を登録する。従って、後述する復号装置は、参照ピクチャのピクチャ特定情報の参照ピクチャリスト内の位置に対応するインデックスに基づいて、参照ピクチャがカレントピクチャであるかどうかを認識することができる。その結果、参照ピクチャがカレントピクチャである場合に無駄にDRAMにアクセスすることを防止することができる。
（復号装置の第１実施の形態の構成例）
図２０は、図１３の符号化装置５０から伝送される符号化ストリームを復号する、本開示を適用した画像処理装置としての復号装置の第１実施の形態の構成例を示すブロック図である。
図２０の復号装置１１０は、受け取り部１１１、抽出部１１２、および復号部１１３により構成される。
復号装置１１０の受け取り部１１１は、図１３の符号化装置５０から伝送されてくる符号化ストリームを受け取り、抽出部１１２に供給する。
抽出部１１２は、受け取り部１１１から供給される符号化ストリームから、パラメータセットと符号化データを抽出し、復号部１１３に供給する。
復号部１１３は、抽出部１１２から供給される符号化データをHEVCに準ずる方式で復号する。このとき、復号部１１３は、必要に応じて、抽出部１１２から供給されるパラメータセットも参照する。復号部１１３は、復号の結果得られるピクチャを出力する。
（復号部の構成例）
図２１は、図２０の復号部１１３の構成例を示すブロック図である。
図２１の復号部１１３は、蓄積バッファ１３１、可逆復号部１３２、逆量子化部１３３、逆直交変換部１３４、加算部１３５、フィルタ１３６、および画面並べ替えバッファ１３９を有する。また、復号部１１３は、D/A変換部１４０、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、予測ベクトル生成部１４４、動きベクトル生成部１４５、リスト作成部１４６、動き補償部１４７、およびスイッチ１４８を有する。
復号部１１３の蓄積バッファ１３１は、図２０の抽出部１１２から符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化データを、カレントピクチャの符号化データとして可逆復号部１３２に供給する。
可逆復号部１３２は、蓄積バッファ１３１からの符号化データに対して、図１４の可逆符号化部７６の可逆符号化に対応する、可変長復号や算術復号等の可逆復号を施すことで、量子化された直交変換係数と符号化情報を得る。可逆復号部１３２は、量子化された直交変換係数を逆量子化部１３３に供給する。また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給する。可逆復号部１３２は、参照ピクチャのインデックスを予測ベクトル生成部１４４に供給し、動きベクトル情報を動きベクトル生成部１４５に供給し、インター予測モード情報と参照ピクチャのインデックスを動き補償部１４７に供給する。
さらに、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４８に供給する。可逆復号部１３２は、符号化情報としてのオフセットフィルタ情報をフィルタ１３６に供給する。
逆量子化部１３３、逆直交変換部１３４、加算部１３５、フィルタ１３６、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、予測ベクトル生成部１４４、リスト作成部１４６、動き補償部１４７は、図１４の逆量子化部７９、逆直交変換部８０、加算部８１、フィルタ８２、フレームメモリ８５、スイッチ８６、イントラ予測部８７、予測ベクトル生成部９０、リスト作成部８８、動き予測・補償部８９とそれぞれ同様の処理を行い、これにより、ピクチャが復号される。
具体的には、逆量子化部１３３は、可逆復号部１３２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。
逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対してＴＵ単位で逆直交変換を行う。逆直交変換部１３４は、逆直交変換の結果得られる残差情報を加算部１３５に供給する。
加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４８から供給される予測画像を加算することにより、カレントピクチャを局所的に復号する。なお、スイッチ１４８から予測画像が供給されない場合、加算部１３５は、逆直交変換部１３４から供給される残差情報を復号結果とする。加算部１３５は、復号の結果得られる局所的に復号されたカレントピクチャをフレームメモリ１４１に供給する。また、加算部１３５は、全ての領域が復号されたカレントピクチャを復号済みのピクチャとしてフィルタ１３６に供給する。
フィルタ１３６は、加算部１３５から供給される復号済みのピクチャに対してフィルタ処理を行う。具体的には、フィルタ１３６は、まず、復号済みのピクチャに対してデブロックフィルタ処理を行う。次に、フィルタ１３６は、LCUごとに、可逆復号部１３２からのオフセットフィルタ情報が表すオフセットを用いて、デブロックフィルタ処理後の復号済みのピクチャに対して、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。フィルタ１３６は、適応オフセットフィルタ処理後の復号済みのピクチャをフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。
画面並べ替えバッファ１３９は、フィルタ１３６から供給される復号済みのピクチャをフレーム単位で記憶する。画面並べ替えバッファ１３９は、記憶した符号化のための順番のフレーム単位の復号済みのピクチャを、元の表示の順番に並び替え、D/A変換部１４０に供給する。
D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるフレーム単位の復号済みのピクチャをD/A変換し、出力する。
フレームメモリ１４１は、例えば、キャッシュとDRAMにより構成される。フレームメモリ１４１は、加算部１３５から供給されるカレントピクチャをキャッシュに記憶し、フィルタ１３６から供給される復号済みのピクチャをDRAMに記憶する。キャッシュに記憶されたカレントピクチャのうちのカレントブロックに隣接する画素は、周辺画素としてスイッチ１４２を介してイントラ予測部１４３に供給される。
また、キャッシュに記憶されたカレントピクチャ、または、DRAMに記憶された復号済みのピクチャは、参照ピクチャとしてスイッチ１４２を介して動き補償部１４７に出力される。
イントラ予測部１４３は、カレントブロックに対して、フレームメモリ１４１からスイッチ１４２を介して読み出された周辺画素を用いて、可逆復号部１３２から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、その結果生成される予測画像をスイッチ１４８に供給する。
予測ベクトル生成部１４４は、可逆復号部１３２から供給されるインデックスと、リスト作成部１４６に保持されている参照ピクチャリストに基づいて、図１４の予測ベクトル生成部９０と同様に、カレント動きベクトルの予測ベクトルリストを生成する。予測ベクトル生成部１４４は、予測ベクトルリストを動きベクトル生成部１４５に供給する。
動きベクトル生成部１４５は、可逆復号部１３２から供給される動きベクトル情報のうちのインデックスに基づいて、予測ベクトル生成部１４４から供給される予測ベクトルリストから、そのインデックスに対応する予測ベクトルを読み出す。動きベクトル生成部１４５は、その予測ベクトルと、動きベクトル情報のうちの差分ベクトルとを加算することにより、カレント動きベクトルを予測復号する。動きベクトル生成部１４５は、その結果生成されるカレント動きベクトルを、動き補償部１４７に供給する。
リスト作成部１４６は、図２０の抽出部１１２により抽出されるSPSに含まれる参照ピクチャリスト情報、スライスヘッダに配置される情報等に基づいて、図１４のリスト作成部８８と同様に、参照ピクチャリスト作成処理を行う。リスト作成部１４６は、その結果作成される参照ピクチャリストを、保持するとともに、動き補償部１４７に供給する。
動き補償部１４７は、可逆復号部１３２からのインター予測モード情報および参照ピクチャのインデックス、並びに動きベクトル生成部１４５からのカレント動きベクトルに基づいて、カレントブロックに対して動き補償処理を行う。
具体的には、動き補償部１４７は、リスト作成部１４６に保持されているピクチャリストに登録されているピクチャ特定情報のうちの、参照ピクチャのインデックスのピクチャ特定情報を読み出す。動き補償部１４７は、フレームメモリ１４１からスイッチ１４２を介して、読み出されたピクチャ特定情報により特定される参照ピクチャを読み出す。動き補償部１４７は、参照ピクチャとカレント動きベクトルとを用いて、インター予測モード情報が示す最適インター予測モードのカレントブロックの動き補償処理を行う。動き補償部１４７は、その結果生成される予測画像をスイッチ１４８に供給する。
スイッチ１４８は、可逆復号部１３２からイントラ予測モード情報が供給された場合、イントラ予測部１４３から供給される予測画像を加算部１３５に供給する。一方、可逆復号部１３２からインター予測モード情報が供給された場合、スイッチ１４８は、動き補償部１４７から供給される予測画像を加算部１３５に供給する。
（復号装置の処理の説明）
図２２は、図２０の復号装置１１０の画像生成処理を説明するフローチャートである。
図２２のステップＳ１１１において、復号装置１１０の受け取り部１１１は、図１３の符号化装置５０から伝送されてくる符号化ストリームを受け取り、抽出部１１２に供給する。
ステップＳ１１２において、抽出部１１２は、受け取り部１１１から供給される符号化ストリームから、符号化データとパラメータセットを抽出し、復号部１１３に供給する。
ステップＳ１１３において、復号部１１３は、必要に応じて抽出部１１２から供給されるパラメータセットを用いて、抽出部１１２から供給される符号化データをHEVCに準ずる方式で復号する復号処理を行う。この復号処理の詳細は、後述する図２３を参照して説明する。そして、処理は終了する。
図２３は、図２２のステップＳ１１３の復号処理の詳細を説明するフローチャートである。
図２３のステップＳ１３１において、復号部１１３の蓄積バッファ１３１（図２１）は、抽出部１１２からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化データをカレントピクチャの符号化データとして、可逆復号部１３２に供給する。
ステップＳ１３２において、可逆復号部１３２は、蓄積バッファ１３１からの符号化データを可逆復号し、量子化された直交変換係数と符号化情報を得る。可逆復号部１３２は、量子化された直交変換係数を逆量子化部１３３に供給する。
また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給する。可逆復号部１３２は、参照ピクチャのインデックスを予測ベクトル生成部１４４に供給し、動きベクトル情報を動きベクトル生成部１４５に供給し、インター予測モード情報と参照ピクチャのインデックスを動き補償部１４７に供給する。
さらに、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４８に供給する。可逆復号部１３２は、符号化情報としてのオフセットフィルタ情報をフィルタ１３６に供給する。
ステップＳ１３３において、リスト作成部１４６は、抽出部１１２により抽出されるSPSに含まれる参照ピクチャリスト情報、スライスヘッダに配置される情報等に基づいて、図１８の参照ピクチャ作成処理と同様の参照ピクチャリスト作成処理を行う。
ステップＳ１３４において、逆量子化部１３３は、可逆復号部１３２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。
ステップＳ１３５において、逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１３５に供給する。
ステップＳ１３６において、動き補償部１４７は、可逆復号部１３２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ１３６でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１３７に進む。
ステップＳ１３７において、予測ベクトル生成部１４４は、可逆復号部１３２から供給されるインデックスと、リスト作成部１４６に保持されている参照ピクチャリストに基づいて、図１９の予測ベクトルリスト生成処理と同様の予測ベクトルリスト生成処理を行う。
ステップＳ１３８において、動きベクトル生成部１４５は、動きベクトル情報のうちのインデックスに基づいて、予測ベクトルリストから、そのインデックスに対応する予測ベクトルを読み出す。動きベクトル生成部１４５は、その予測ベクトルと、動きベクトル情報のうちの差分ベクトルとを加算することにより、カレント動きベクトルを予測復号する。動きベクトル生成部１４５は、その結果生成されるカレント動きベクトルを、動き補償部１４７に供給する。
ステップＳ１３９において、動き補償部１４７は、可逆復号部１３２からのインター予測モード情報および参照ピクチャのインデックス、並びに動きベクトル生成部１４５からのカレント動きベクトルに基づいて、カレントブロックに対して動き補償処理を行う。動き補償部１４７は、その結果生成される予測画像をスイッチ１４８に供給し、処理をステップＳ１４１に進める。
一方、ステップＳ１３６でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１４３に供給された場合、処理はステップＳ１４０に進む。
ステップＳ１４０において、イントラ予測部１４３は、カレントブロックに対して、フレームメモリ１４１からスイッチ１４２を介して読み出された周辺画素を用いて、イントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、イントラ予測処理の結果生成される予測画像を、スイッチ１４８を介して加算部１３５に供給し、処理をステップＳ１４１に進める。
ステップＳ１４１において、加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４８から供給される予測画像を加算することにより、カレントピクチャを局所的に復号する。加算部１３５は、復号の結果得られる局所的に復号されたカレントピクチャをフレームメモリ１４１に供給する。また、加算部１３５は、全ての領域が復号されたカレントピクチャを復号済みのピクチャとしてフィルタ１３６に供給する。
ステップＳ１４２において、フィルタ１３６は、加算部１３５から供給される復号済みのピクチャに対してデブロックフィルタ処理を行い、ブロック歪を除去する。
ステップＳ１４３において、フィルタ１３６は、可逆復号部１３２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ処理後の復号済みのピクチャに対して、LCUごとに適応オフセットフィルタ処理を行う。フィルタ１３６は、適応オフセットフィルタ処理後の画像を、画面並べ替えバッファ１３９とフレームメモリ１４１に供給する。
ステップＳ１４４において、フレームメモリ１４１は、加算部８１から供給されるカレントピクチャをキャッシュに記憶し、フィルタ１３６から供給される復号済みのピクチャをDRAMに記憶する。キャッシュに記憶されたカレントピクチャのうちのカレントブロックに隣接する画素は、周辺画素としてスイッチ１４２を介してイントラ予測部１４３に供給される。また、キャッシュに記憶されたカレントピクチャ、または、DRAMに記憶された復号済みのピクチャは、参照ピクチャとしてスイッチ１４２を介して動き補償部１４７に出力される。
ステップＳ１４５において、画面並べ替えバッファ１３９は、フィルタ１３６から供給される復号済みのピクチャをフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位のピクチャを、元の表示の順番に並び替え、D/A変換部１４０に供給する。
ステップＳ１４６において、D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるフレーム単位のピクチャをD/A変換し、出力する。そして、処理は、図２２のステップＳ１１３に戻り、終了する。
以上のように、復号装置１１０は、Intra BCに用いられるカレント動きベクトルを復号する際に、カレントブロックの参照ピクチャの実際のタイプと、候補ブロックの参照ピクチャの実際のタイプとが異なる場合に、候補ブロックをノットアベイラブルに設定する。これにより、予測ベクトルの生成に、参照ピクチャの実際のタイプが、カレントブロックの参照ピクチャの実際のタイプと異なる候補ブロックの動きベクトルが用いられない。
従って、予測ベクトルの生成に、参照ピクチャの実際のタイプが、カレントブロックの参照ピクチャの実際のタイプと異なる候補ブロックのリファレンス動きベクトルを用いないことにより符号化効率を向上させた符号化ストリームを復号することができる。
また、復号装置１１０は、実際のタイプが「Intra BC」であるカレントブロックの参照ピクチャのタイプをLTRPとして設定することにより、候補ブロックの参照ピクチャの実際のタイプがSTRPである場合に、候補ブロックをノットアベイラブルに設定させる。従って、Intra BCとインター符号化を共通化していない場合のHEVCに対して大きな変更を行うことなく、Intra BCとインター符号化を共通化した場合の符号化効率を向上させた符号化ストリームを復号することができる。
さらに、復号装置１１０は、カレントブロックの参照ピクチャリストの所定の位置にカレントピクチャのピクチャ特定情報を登録する。従って、復号装置１１０は、参照ピクチャのピクチャ特定情報の参照ピクチャリスト内の位置に対応するインデックスに基づいて、参照ピクチャがカレントピクチャであるかどうかを認識することができる。その結果、参照ピクチャがカレントピクチャである場合に無駄にDRAMにアクセスすることを防止することができる。
＜第２実施の形態＞
（第２実施の形態の概要）
まず、図２４乃至図２７を参照して、第２実施の形態の概要について説明する。
第２実施の形態では、Intra BCにおける参照ピクチャであるカレントピクチャのタイプをLTRPに設定するのではなく、参照ピクチャの実際のタイプが「Intra BC」である場合の予測ベクトルリストの生成方法を変更することにより、Intra BCとインター符号化を共通化した場合の符号化効率を向上させる。
図２４乃至図２６は、第２実施の形態における参照ピクチャの実際のタイプが「Intra BC」である場合の予測ベクトルリストの生成方法を説明する図である。
なお、DiffPicOrderCnt(X,Y)は、ピクチャXとピクチャYのPOCの差分（X-Y）を表す。また、RefPicListX［refIdxLX］およびLX[refIdxLX](X=0またはX=1)は、カレントブロックを含むスライスの符号化に用いられる参照ピクチャリストRefPicListXに登録されているピクチャ特定情報のうちの、カレントブロックの参照ピクチャのインデックスrefIdxLXのピクチャ特定情報により特定される参照ピクチャを表す。
また、CurrPicは、カレントピクチャを表し、ColPicは、時間方向候補ブロックのピクチャを表す。さらに、xNbAK,yNbAKは、それぞれ、カレントブロックの左、左上、または左下に隣接する空間方向候補ブロック（以下、左候補ブロックという）のｘ方向の位置とy方向の位置を表す。xNbBK,yNbBKは、それぞれ、カレントブロックの上または右上に隣接する空間方向候補ブロック（以下、上候補ブロックという）のｘ方向の位置とy方向の位置を表す。
listCol[refIdxCol]は、時間方向候補ブロックを含むスライスの符号化に用いられる参照ピクチャリストRefPicListXに登録されているピクチャ特定情報のうちの、時間方向候補ブロックの参照ピクチャのインデックスrefIdxColのピクチャ特定情報により特定される参照ピクチャを表す。
図２４に示すように、第２実施の形態では、処理対象の候補ブロックが左候補ブロックである場合、DiffPicOrderCnt(RefPicListX[refIdxLX], CurrPic) = 0であり、かつ、DiffPicOrderCnt( RefPicListX[refIdxLX], CurrPic)とDiffPicOrderCnt( RefPicListX[RefIdxLX [xNbAK][yNbAK]], CurrPic)が等しいとき、処理対象の候補ブロックは、アベイラブルに設定される。
即ち、カレントピクチャの参照ピクチャと左候補ブロックの参照ピクチャがカレントピクチャである場合、つまり、カレントピクチャの参照ピクチャと左候補ブロックの参照ピクチャの実際のタイプが「Intra BC」である場合、左候補ブロックは、アベイラブルに設定される。そして、左候補ブロックの動きベクトルであるリファレンス動きベクトルの候補が、そのまま予測ベクトルとして生成される。
同様に、第２実施の形態では、図２５に示すように、処理対象の候補ブロックが上候補ブロックである場合、DiffPicOrderCnt(RefPicListX[refIdxLX], CurrPic) = 0であり、かつ、DiffPicOrderCnt(RefPicListX[refIdxLX], CurrPic)とDiffPicOrderCnt(RefPicListX[RefIdxLX [xNbBK][yNbBK]], CurrPic)が等しいとき、処理対象の候補ブロックは、アベイラブルに設定される。
即ち、カレントピクチャの参照ピクチャと上候補ブロックの参照ピクチャの実際のタイプが「Intra BC」である場合、上候補ブロックは、アベイラブルに設定される。そして、上候補ブロックの動きベクトルであるリファレンス動きベクトルの候補が、そのまま予測ベクトルとして生成される。この予測ベクトルの生成は、参照ピクチャが登録されている参照ピクチャリストごとに行われる。
また、第２実施の形態では、図２６に示すように、処理対象の候補ブロックが時間方向候補ブロックである場合、DiffPicOrderCnt(LX[refIdxLX], CurrPic) = 0であり、かつ、DiffPicOrderCnt(LX[refIdxLX], CurrPic)とDiffPicOrderCnt(listCol[refIdxCol],ColPic)for colPbが等しいとき、処理対象の候補ブロックは、アベイラブルに設定される。
即ち、カレントピクチャの参照ピクチャと時間方向候補ブロックの参照ピクチャの実際のタイプが「Intra BC」である場合、時間方向候補ブロックは、アベイラブルに設定される。そして、時間方向候補ブロックの動きベクトルであるリファレンス動きベクトルの候補が、そのまま予測ベクトルとして生成される。
その結果、図２７に示すように、カレントピクチャの参照ピクチャの実際のタイプが「Intra BC」である場合、候補ブロックの参照ピクチャの実際のタイプが「Intra BC」である場合にのみ、候補ブロックの動きベクトルが、そのまま予測ベクトルとして生成される。一方、それ以外の場合、候補ブロックがノットアベイラブルに設定される。なお、実際のタイプが「Intra BC」である参照ピクチャの候補のタイプは、STRPに設定される。
第２実施の形態の符号化装置および復号装置の構成は、リスト作成部８８およびリスト作成部１４６で行われる参照ピクチャリスト作成処理と、予測ベクトル生成部９０および予測ベクトル生成部１４４で行われる予測ベクトルリスト生成処理を除いて、図１３の符号化装置５０および図２０の復号装置１１０の構成と同様である。従って、以下では、図１３の符号化装置５０および図２０の復号装置１１０の各部を、第２実施の形態の符号化装置および復号装置の各部として用いて、参照ピクチャリスト作成処理と予測ベクトル生成処理についてのみ説明する。
（符号化装置の処理の説明）
図２８は、第２実施の形態の符号化装置５０のリスト作成部８８の参照ピクチャリスト作成処理を説明するフローチャートである。
図２８のステップＳ１６１において、リスト作成部８８は、図１８のステップＳ７１の処理と同様に、４つの個別リストを作成する。各個別リストのピクチャ特定情報には、STRPまたはLTRPが設定されている。
ステップＳ１６２において、リスト作成部８８は、参照ピクチャのタイプとしてSTRPが設定された、カレントピクチャのピクチャ特定情報が登録されるカレントピクチャリストを作成する。
ステップＳ１６３乃至Ｓ１６６の処理は、図１８のステップＳ７３乃至Ｓ７６の処理と同様であるので、説明は省略する。
なお、図示は省略するが、第２実施の形態の復号装置１１０のリスト作成部１４６の参照ピクチャリスト作成処理も、図２８の参照ピクチャリスト作成処理と同様に行われる。
図２９は、第２実施の形態の符号化装置５０の予測ベクトル生成部９０の予測ベクトルリスト生成処理の詳細を説明するフローチャートである。この予測ベクトルリスト生成処理は、参照ピクチャが登録されている参照ピクチャリストごとに行われる。
図２９のステップＳ１８１乃至Ｓ１８３の処理は、図１９のステップＳ９１乃至Ｓ９３の処理と同様であるので、説明は省略する。ステップＳ１８３で処理対象の候補ブロックの参照ピクチャのタイプがSTRPであると判定された場合、処理はステップＳ１８４に進む。
ステップＳ１８４において、予測ベクトル生成部９０は、カレントブロックと候補ブロックの参照ピクチャの実際のタイプが、両方ともSTRPであるかどうかを判定する。具体的には、例えば、予測ベクトル生成部９０は、カレントブロックの参照ピクチャとカレントピクチャのPOCの差分、および、候補ブロックの参照ピクチャと候補ブロックのピクチャのPOCの差分が、両方とも１以上であるかどうかを判定する。
そして、予測ベクトル生成部９０は、カレントブロックの参照ピクチャとカレントピクチャのPOCの差分、および、候補ブロックの参照ピクチャと候補ブロックのピクチャのPOCの差分が、両方とも１以上であると判定した場合、カレントブロックと候補ブロックの参照ピクチャの実際のタイプが、両方ともSTRPであると判定し、処理をステップＳ１８５に進める。
ステップＳ１８５およびＳ１８６の処理は、図１９のステップＳ９４およびＳ９５の処理と同様であるので、説明は省略する。
一方、予測ベクトル生成部９０は、カレントブロックの参照ピクチャとカレントピクチャのPOCの差分、および、候補ブロックの参照ピクチャと候補ブロックのピクチャのPOCの差分の少なくとも一方が０である場合、ステップＳ１８４で、カレントブロックと候補ブロックの参照ピクチャの実際のタイプの少なくとも一方がSTRPではないと判定する。
そして、ステップＳ１８７において、予測ベクトル生成部９０は、カレントブロックと候補ブロックの参照ピクチャの実際のタイプが、両方とも「Intra BC」であるかどうかを判定する。具体的には、予測ベクトル生成部９０は、カレントブロックの参照ピクチャとカレントピクチャのPOCの差分、および、候補ブロックの参照ピクチャと候補ブロックのピクチャのPOCが０であるかどうかを判定する。
そして、予測ベクトル生成部９０は、カレントブロックの参照ピクチャとカレントピクチャのPOCの差分、または、候補ブロックの参照ピクチャと候補ブロックのピクチャのPOCが０ではないと判定した場合、カレントブロックと候補ブロックの参照ピクチャの実際のタイプのいずれか一方が、「Intra BC」ではないと判定し、処理をステップＳ１８８に進める。
即ち、カレントブロックの参照ピクチャがカレントピクチャであるが、候補ブロックのピクチャと候補ブロックの参照ピクチャとが異なる場合、および、候補ブロックのピクチャと候補ブロックの参照ピクチャとが同一であるが、カレントブロックの参照ピクチャがカレントピクチャではない場合、予測ベクトル生成部９０は、カレントブロックの参照ピクチャの実際のタイプと、候補ブロックの参照ピクチャの実際のタイプとが異なると判定し、処理をステップＳ１８８に進める。
ステップＳ１８８において、予測ベクトル生成部９０は、処理対象の候補ブロックをノットアベイラブルに設定する。
また、ステップＳ１８２でカレントブロックの参照ピクチャのタイプがSTRPではないと判定された場合、即ちカレントブロックの参照ピクチャのタイプがLTRPである場合、処理はステップＳ１８９に進む。
ステップＳ１８９において、予測ベクトル生成部９０は、ステップＳ１８３の処理と同様に、処理対象の候補ブロックの参照ピクチャのタイプがSTRPであるかどうかを判定する。ステップＳ１８９で処理対象の候補ブロックの参照ピクチャのタイプがSTRPであると判定された場合、即ちカレントブロックの参照ピクチャのタイプがLTRPであり、かつ、候補ブロックの参照ピクチャのタイプがSTRPである場合、処理はステップＳ１８８に進む。これにより、処理対象の候補ブロックはノットアベイラブルに設定される。
一方、ステップＳ１８９で処理対象の候補ブロックの参照ピクチャのタイプがSTRPではないと判定された場合、即ち、カレントブロックと候補ブロックの参照ピクチャのタイプが両方ともLTRPである場合、処理はステップＳ１９０に進む。ステップＳ１９０およびＳ１９１の処理は、図１９のステップＳ９８およびＳ９９の処理と同様であるので、説明は省略する。
一方、予測ベクトル生成部９０は、カレントブロックの参照ピクチャとカレントピクチャのPOCの差分、および、候補ブロックの参照ピクチャと候補ブロックのピクチャのPOCの差分が０であると判定した場合、ステップＳ１８７で、カレントブロックと候補ブロックの参照ピクチャの実際のタイプが、両方とも「Intra BC」であると判定する。
そして、予測ベクトル生成部９０は、処理をステップＳ１９０に進める。これにより、処理対象の候補ブロックはアベイラブルに設定され、処理対象の候補ブロックのリファレンス動きベクトルの候補は、予測ベクトルとして生成される。
ステップＳ１８６，Ｓ１８８、またはＳ１９１の処理後、処理はステップＳ１９２に進む。ステップＳ１９２の処理は、図１９のステップＳ１００の処理と同様であるので、説明は省略する。
なお、図示は省略するが、第２実施の形態の復号装置１１０の予測ベクトル生成部１４４の予測ベクトルリスト生成処理も、図２９の予測ベクトルリスト生成処理と同様に行われる。
＜第３実施の形態＞
（第３実施の形態の概要）
第３実施の形態では、参照ピクチャリストではなく、テンポラルリストの先頭にカレントピクチャのピクチャ特定情報が登録される。
即ち、第３実施の形態では、図３０に示すように、図１０の個別リストに基づいて、RefpicListTemp0リストとRefpicListTemp1リストの２つのテンポラルリストが作成された後、テンポラルリストの先頭にカレントピクチャのピクチャ特定情報が登録される。
次に、RefpicListTemp0リストとRefpicListTemp1リストに登録されているピクチャ特定情報の順番が、必要に応じて変更される（Reference reordering）。但し、カレントピクチャのピクチャ特定情報の順番の変更は禁止される。
最後に、RefpicListTemp0リストに登録されている、先頭のピクチャ特定情報と、num_ref_idx_l0_active_minus1に１を加算した数（図３０の例では５つ）のピクチャ特定情報とが、先頭から順に登録された参照ピクチャリストRefpicList0が作成される。
また、RefpicListTemp1リストに登録されている、先頭のピクチャ特定情報と、num_ref_idx_l1_active_minus1に１を加算した数（図３０の例では４つ）のピクチャ特定情報とが、先頭から順に登録された参照ピクチャリストRefpicList1が作成される。
第３実施の形態の符号化装置および復号装置の構成は、リスト作成部８８およびリスト作成部１４６で行われる参照ピクチャリスト作成処理を除いて、図１３の符号化装置５０および図２０の復号装置１１０の構成と同様である。従って、以下では、図１３の符号化装置５０および図２０の復号装置１１０の各部を、第３実施の形態の符号化装置および復号装置の各部として用いて、参照ピクチャリスト作成処理についてのみ説明する。
（符号化装置の処理の説明）
図３１は、第３実施の形態の符号化装置５０のリスト作成部８８の参照ピクチャリスト作成処理を説明するフローチャートである。
図３１のステップＳ２０１乃至Ｓ２０３の処理は、図１８のステップＳ７１乃至Ｓ７３の処理と同様であるので、説明は省略する。
ステップＳ２０４において、リスト作成部８８は、テンポラルリストの先頭に、カレントピクチャリストに登録されているカレントピクチャのピクチャ特定情報を登録する。
ステップＳ２０５において、リスト作成部８８は、スライスヘッダに配置されるref_pic_list_modificationに基づいて、カレントピクチャのピクチャ特定情報以外のテンポラルリスト内のピクチャ特定情報の順番を入れ替える。
ステップＳ２０６において、リスト作成部８８は、テンポラルリストに基づいて参照ピクチャリストを作成する。即ち、リスト作成部８８は、テンポラルリストに登録されている、先頭のピクチャ特定情報と、スライスヘッダに配置されるnum_ref_idx_l0_active_minus1（num_ref_idx_l1_active_minus1）に１を加算した数のピクチャ特定情報とを、先頭から順に登録した参照ピクチャリストを作成する。
なお、図示は省略するが、第３実施の形態の復号装置１１０のリスト作成部１４６の参照ピクチャリスト作成処理も、図３１の参照ピクチャリスト作成処理と同様に行われる。
＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
＜第５実施の形態＞
（テレビジョン装置の構成例）
図３３は、本開示を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、画面内の相関性を利用した予測を行う際の符号化効率を向上させた符号化ストリームを復号することができる。
＜第６実施の形態＞
（携帯電話機の構成例）
図３４は、本開示を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、画面内の相関性を利用した予測を行う際の符号化効率を向上させることができる。また、画面内の相関性を利用した予測を行う際の符号化効率を向上させた符号化ストリームを復号することができる。
＜第７実施の形態＞
（記録再生装置の構成例）
図３５は、本開示を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、エンコーダ９４３に本願の符号化装置（符号化方法）の機能が設けられ、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、画面内の相関性を利用した予測を行う際の符号化効率を向上させることができる。また、画面内の相関性を利用した予測を行う際の符号化効率を向上させた符号化ストリームを復号することができる。
＜第８実施の形態＞
（撮像装置の構成例）
図３６は、本開示を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メディアドライブ９６８から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触IC（Integrated Circuit）カード等であってもよい。
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部９７０は、ＣＰＵを用いて構成されている。メモリ部９６７は、制御部９７０により実行されるプログラムや制御部９７０が処理を行う上で必要な各種のデータ等を記憶する。メモリ部９６７に記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングで制御部９７０により読み出されて実行される。制御部９７０は、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、画面内の相関性を利用した予測を行う際の符号化効率を向上させることができる。また、画面内の相関性を利用した予測を行う際の符号化効率を向上させた符号化ストリームを復号することができる。
＜第９実施の形態＞
（実施のその他の例）
以上において本開示を適用する装置やシステム等の例を説明したが、本開示は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
（ビデオセットの構成例）
本開示をセットとして実施する場合の例について、図３７を参照して説明する。図３７は、本開示を適用したビデオセットの概略的な構成の一例を示している。
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
図３７に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図３７に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
図３７の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。
プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
図３７のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。
ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信に関する処理を行うプロセッサ（若しくはモジュール）である。例えば、ブロードバンドモデム１３３３は、送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。例えば、ブロードバンドモデム１３３３は、ビデオプロセッサ１３３２が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。
RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
なお、図３７において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図３７に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。
アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。
コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本開示を適用することができる。したがって、ビデオセット１３００は、本開示を適用したセットとして実施することができる。
（ビデオプロセッサの構成例）
図３８は、本開示を適用したビデオプロセッサ１３３２（図３７）の概略的な構成の一例を示している。
図３８の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
図３８に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。
ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図３７）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１（図３７）等に出力する。
フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。
メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。
ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１（図３７）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１（図３７）等に供給する。
多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図３７）から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により（図３７）各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３７）等に供給する。
また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１（図３７）等に供給し、各種記録媒体に記録させる。
さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図３７）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１（図３７）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１（図３７）等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。
また、コネクティビティ１３２１（図３７）等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。
ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３７）等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１（図３７）等に出力され、各種記録媒体に記録される。
また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３７）等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１（図３７）等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。
オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
このように構成されるビデオプロセッサ１３３２に本開示を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本開示を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、第１乃至第３実施の形態に係る符号化装置や復号装置の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図３１を参照して上述した効果と同様の効果を得ることができる。
なお、エンコード・デコードエンジン１４０７において、本開示（すなわち、上述した各実施形態に係る符号化装置や復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
（ビデオプロセッサの他の構成例）
図３９は、本開示を適用したビデオプロセッサ１３３２（図３７）の概略的な構成の他の例を示している。図３９の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。
より具体的には、図３９に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。
制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
図３９に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。
ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図３７）等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１（図３７）のモニタ装置等に出力する。
ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。
図３９に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。
MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVCで符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVCでスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVCで多視点符号化したり多視点復号したりする機能ブロックである。
MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。
メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。
多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１（いずれも図３７）等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２（いずれも図３７）等向けのインタフェースである。
次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３７）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図３７）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１（図３７）等に出力され、各種記録媒体に記録される。
さらに、例えば、コネクティビティ１３２１（図３７）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図３７）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３７）等に供給され図示せぬ他の装置に伝送される。
なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
このように構成されるビデオプロセッサ１３３２に本開示を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本開示を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、第１乃至第３実施の形態に係る符号化装置や復号装置を実現する機能ブロックを有するようにすればよい。コーデックエンジン１５１６が、このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図３１を参照して上述した効果と同様の効果を得ることができる。
なお、コーデックエンジン１５１６において、本開示（すなわち、上述した各実施形態に係る符号化装置や復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
（装置への適用例）
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図３３）、携帯電話機９２０（図３４）、記録再生装置９４０（図３５）、撮像装置９６０（図３６）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図３１を参照して上述した効果と同様の効果を得ることができる。
なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本開示を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本開示を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を本開示を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本開示を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図３１を参照して上述した効果と同様の効果を得ることができる。
つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図３３）、携帯電話機９２０（図３４）、記録再生装置９４０（図３５）、撮像装置９６０（図３６）等に組み込むことができる。そして、本開示を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図３１を参照して上述した効果と同様の効果を得ることができる。
なお、本明細書では、各種情報が、符号化データに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライスやブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、符号化データとは別の伝送路上で伝送されてもよい。また、情報は、符号化データとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と符号化データとは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
本開示は、MPEG,H.26ｘ等のように、離散コサイン変換等の直交変換と動き補償によって圧縮されたビットストリームを、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際、または光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置や復号装置に適用することができる。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、第１および第２実施の形態において、参照ピクチャリストに登録されるカレントピクチャのピクチャ特定情報の位置は固定されていなくてもよい。また、第１および第３実施の形態において、参照ピクチャリストに設定されるカレントピクチャのピクチャタイプはSTRPであってもよい。
また、第２実施の形態において、第３実施の形態のように、参照ピクチャリストではなく、テンポラルリストにカレントピクチャのピクチャ特定情報が登録されるようにしてもよい。
さらに、第３実施の形態において、第２実施の形態のように、カレントピクチャの参照ピクチャのタイプがIntra BCである場合の予測ベクトルリストの生成方法を変更することにより、Intra BCとインター符号化を共通化した場合の符号化効率を向上させるようにしてもよい。
また、例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
本開示は、以下のような構成もとることができる。
（１）
画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを符号化する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、前記リファレンス動きベクトルを用いて生成する予測ベクトル生成部と、
前記カレント動きベクトルと前記予測ベクトル生成部により生成された前記予測ベクトルとの差分ベクトルを生成する差分ベクトル生成部と
を備える画像処理装置。
（２）
前記カレントブロックの参照ピクチャのタイプをlong-term参照ピクチャに設定する設定部
をさらに備える
前記（１）に記載の画像処理装置。
（３）
前記予測ベクトル生成部は、前記候補ブロックのピクチャと前記候補ブロックの参照ピクチャとが異なる場合、前記カレントブロックの参照ピクチャのタイプと、前記候補ブロックの参照ピクチャのタイプとが異なると判定する
前記（１）に記載の画像処理装置。
（４）
前記カレントブロックの参照ピクチャの候補のリストの所定の位置に前記カレントブロックのピクチャを登録するリスト作成部
をさらに備える
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記所定の位置は先頭である
前記（４）に記載の画像処理装置。
（６）
前記リスト作成部は、前記リスト内の前記参照ピクチャの候補の順番の入れ替えを、前記カレントブロックのピクチャの登録前に行う
前記（４）または（５）に記載の画像処理装置。
（７）
前記リスト作成部は、前記リスト内の前記カレントブロックのピクチャ以外の前記参照ピクチャの候補の順番の入れ替えを、前記カレントブロックのピクチャの登録後に行う
前記（４）または（５）に記載の画像処理装置。
（８）
画像処理装置が、
画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを符号化する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、前記リファレンス動きベクトルを用いて生成する予測ベクトル生成ステップと、
前記カレント動きベクトルと前記予測ベクトル生成ステップの処理により生成された前記予測ベクトルとの差分ベクトルを生成する差分ベクトル生成ステップと
を含む画像処理方法。
（９）
画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを復号する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、前記リファレンス動きベクトルを用いて生成する予測ベクトル生成部と、
前記カレント動きベクトルと前記予測ベクトルとの差分ベクトルと、前記予測ベクトル生成部により生成された前記予測ベクトルとを加算し、前記カレント動きベクトルを生成する動きベクトル生成部と
を備える画像処理装置。
（１０）
前記カレントブロックの参照ピクチャのタイプをlong-term参照ピクチャに設定する設定部
をさらに備える
前記（９）に記載の画像処理装置。
（１１）
前記予測ベクトル生成部は、前記候補ブロックのピクチャと前記候補ブロックの参照ピクチャとが異なる場合、前記カレントブロックの参照ピクチャのタイプと、前記候補ブロックの参照ピクチャのタイプとが異なると判定する
前記（９）に記載の画像処理装置。
（１２）
前記カレントブロックの参照ピクチャの候補のリストの所定の位置に前記カレントブロックのピクチャを登録するリスト作成部
をさらに備える
前記（９）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記所定の位置は先頭である
前記（１２）に記載の画像処理装置。
（１４）
前記リスト作成部は、前記リスト内の前記参照ピクチャの候補の順番の入れ替えを、前記カレントブロックのピクチャの登録前に行う
前記（１２）または（１３）に記載の画像処理装置。
（１５）
前記リスト作成部は、前記リスト内の前記カレントブロックのピクチャ以外の前記参照ピクチャの候補の順番の入れ替えを、前記カレントブロックのピクチャの登録後に行う
前記（１２）または（１３）に記載の画像処理装置。
（１６）
画像処理装置が、
画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを復号する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、前記リファレンス動きベクトルを用いて生成する予測ベクトル生成ステップと、
前記カレント動きベクトルと前記予測ベクトルとの差分ベクトルと、前記予測ベクトル生成ステップの処理により生成された前記予測ベクトルとを加算し、前記カレント動きベクトルを生成する動きベクトル生成ステップと
を含む画像処理方法。
５０ 符号化装置, ８８ リスト作成部, ９０ 予測ベクトル生成部, ９１ 差分ベクトル生成部, １１０ 復号装置, １４４ 予測ベクトル生成部, １４５ 動きベクトル生成部, １４６ リスト作成部

Claims (16)

  1. 画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを符号化する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、前記リファレンス動きベクトルを用いて生成する予測ベクトル生成部と、
    前記カレント動きベクトルと前記予測ベクトル生成部により生成された前記予測ベクトルとの差分ベクトルを生成する差分ベクトル生成部と
    を備える画像処理装置。
  2. 前記カレントブロックの参照ピクチャのタイプをlong-term参照ピクチャに設定する設定部
    をさらに備える
    請求項１に記載の画像処理装置。
  3. 前記予測ベクトル生成部は、前記候補ブロックのピクチャと前記候補ブロックの参照ピクチャとが異なる場合、前記カレントブロックの参照ピクチャのタイプと、前記候補ブロックの参照ピクチャのタイプとが異なると判定する
    請求項１に記載の画像処理装置。
  4. 前記カレントブロックの参照ピクチャの候補のリストの所定の位置に前記カレントブロックのピクチャを登録するリスト作成部
    をさらに備える
    請求項１に記載の画像処理装置。
  5. 前記所定の位置は先頭である
    請求項４に記載の画像処理装置。
  6. 前記リスト作成部は、前記リスト内の前記参照ピクチャの候補の順番の入れ替えを、前記カレントブロックのピクチャの登録前に行う
    請求項４に記載の画像処理装置。
  7. 前記リスト作成部は、前記リスト内の前記カレントブロックのピクチャ以外の前記参照ピクチャの候補の順番の入れ替えを、前記カレントブロックのピクチャの登録後に行う
    請求項４に記載の画像処理装置。
  8. 画像処理装置が、
    画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを符号化する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、前記リファレンス動きベクトルを用いて生成する予測ベクトル生成ステップと、
    前記カレント動きベクトルと前記予測ベクトル生成ステップの処理により生成された前記予測ベクトルとの差分ベクトルを生成する差分ベクトル生成ステップと
    を含む画像処理方法。
  9. 画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを復号する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、前記リファレンス動きベクトルを用いて生成する予測ベクトル生成部と、
    前記カレント動きベクトルと前記予測ベクトルとの差分ベクトルと、前記予測ベクトル生成部により生成された前記予測ベクトルとを加算し、前記カレント動きベクトルを生成する動きベクトル生成部と
    を備える画像処理装置。
  10. 前記カレントブロックの参照ピクチャのタイプをlong-term参照ピクチャに設定する設定部
    をさらに備える
    請求項９に記載の画像処理装置。
  11. 前記予測ベクトル生成部は、前記候補ブロックのピクチャと前記候補ブロックの参照ピクチャとが異なる場合、前記カレントブロックの参照ピクチャのタイプと、前記候補ブロックの参照ピクチャのタイプとが異なると判定する
    請求項９に記載の画像処理装置。
  12. 前記カレントブロックの参照ピクチャの候補のリストの所定の位置に前記カレントブロックのピクチャを登録するリスト作成部
    をさらに備える
    請求項９に記載の画像処理装置。
  13. 前記所定の位置は先頭である
    請求項１２に記載の画像処理装置。
  14. 前記リスト作成部は、前記リスト内の前記参照ピクチャの候補の順番の入れ替えを、前記カレントブロックのピクチャの登録前に行う
    請求項１２に記載の画像処理装置。
  15. 前記リスト作成部は、前記リスト内の前記カレントブロックのピクチャ以外の前記参照ピクチャの候補の順番の入れ替えを、前記カレントブロックのピクチャの登録後に行う
    請求項１２に記載の画像処理装置。
  16. 画像処理装置が、
    画面内の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを復号する際に、カレントブロックの参照ピクチャのタイプと、カレント動きベクトルの予測ベクトルを生成する際に参照するリファレンス動きベクトルの候補に対応する候補ブロックの参照ピクチャのタイプとが異なる場合に、前記候補ブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、前記リファレンス動きベクトルを用いて生成する予測ベクトル生成ステップと、
    前記カレント動きベクトルと前記予測ベクトルとの差分ベクトルと、前記予測ベクトル生成ステップの処理により生成された前記予測ベクトルとを加算し、前記カレント動きベクトルを生成する動きベクトル生成ステップと
    を含む画像処理方法。
JP2016566104A 2014-12-26 2015-12-11 画像処理装置および画像処理方法 Pending JPWO2016104179A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014265786 2014-12-26
JP2014265786 2014-12-26
PCT/JP2015/084763 WO2016104179A1 (ja) 2014-12-26 2015-12-11 画像処理装置および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020080740A Division JP2020123984A (ja) 2014-12-26 2020-04-30 画像処理装置、画像処理方法、記録媒体、およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2016104179A1 true JPWO2016104179A1 (ja) 2017-10-05

Family

ID=56150209

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016566104A Pending JPWO2016104179A1 (ja) 2014-12-26 2015-12-11 画像処理装置および画像処理方法
JP2020080740A Pending JP2020123984A (ja) 2014-12-26 2020-04-30 画像処理装置、画像処理方法、記録媒体、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020080740A Pending JP2020123984A (ja) 2014-12-26 2020-04-30 画像処理装置、画像処理方法、記録媒体、およびプログラム

Country Status (7)

Country Link
US (3) US10735762B2 (ja)
EP (2) EP3240290B1 (ja)
JP (2) JPWO2016104179A1 (ja)
KR (1) KR20170098827A (ja)
CN (3) CN111491165B (ja)
TW (3) TWI734525B (ja)
WO (1) WO2016104179A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI640957B (zh) * 2017-07-26 2018-11-11 聚晶半導體股份有限公司 影像處理晶片與影像處理系統
US10904559B2 (en) * 2018-07-13 2021-01-26 Tencent America LLC Block vector prediction in intra block copy mode
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
JP7241870B2 (ja) 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
WO2021134631A1 (zh) * 2019-12-31 2021-07-08 深圳市大疆创新科技有限公司 视频处理的方法与装置
CN115668934A (zh) * 2020-05-21 2023-01-31 Lg电子株式会社 具有基于层间预测确定的运动信息的图像编码/解码方法和设备及发送比特流的方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4978575B2 (ja) * 2008-06-25 2012-07-18 富士通株式会社 シンクライアントシステムにおける画像符号化方法及び画像符号化プログラム
JP2012023597A (ja) * 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
HUE056367T2 (hu) * 2011-03-21 2022-02-28 Lg Electronics Inc Eljárás mozgásvektor elõrejelzõk kiválasztására
US9485518B2 (en) * 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
WO2013024588A1 (ja) * 2011-08-12 2013-02-21 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
JP2013059023A (ja) * 2011-08-12 2013-03-28 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
MX2013008894A (es) * 2011-10-27 2013-08-21 Panasonic Corp Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, y aparato de decodificacion de imagenes.
TWI556648B (zh) * 2011-11-08 2016-11-01 三星電子股份有限公司 解碼影像的方法
EP3796651A1 (en) * 2012-05-09 2021-03-24 Sun Patent Trust Method of performing motion vector prediction, encoding and decoding methods, and apparatuses thereof
JP2015525547A (ja) * 2012-07-02 2015-09-03 サムスン エレクトロニクス カンパニー リミテッド ビデオ符号化またはビデオ復号化のための動きベクトル予測方法及びその装置
US9854234B2 (en) * 2012-10-25 2017-12-26 Qualcomm Incorporated Reference picture status for video coding
TWI669950B (zh) 2012-12-21 2019-08-21 日商新力股份有限公司 影像處理裝置及方法
JP5983430B2 (ja) * 2013-01-25 2016-08-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
GB201409634D0 (en) * 2014-05-30 2014-07-16 Canon Kk Intra block copy mode encoding choice
EP3198872A1 (en) * 2014-09-26 2017-08-02 VID SCALE, Inc. Intra block copy coding with temporal block vector prediction
EP3389276B1 (en) * 2014-09-30 2021-01-13 Microsoft Technology Licensing, LLC Hash-based encoder decisions for video coding
GB2531003A (en) * 2014-10-06 2016-04-13 Canon Kk Method and apparatus for vector encoding in video coding and decoding
GB2531271A (en) * 2014-10-14 2016-04-20 Nokia Technologies Oy An apparatus, a method and a computer program for image sequence coding and decoding

Also Published As

Publication number Publication date
WO2016104179A1 (ja) 2016-06-30
CN107113443A (zh) 2017-08-29
US20210218983A1 (en) 2021-07-15
TW202041028A (zh) 2020-11-01
US20180270498A1 (en) 2018-09-20
CN111491165A (zh) 2020-08-04
CN111491164A (zh) 2020-08-04
TW202005395A (zh) 2020-01-16
KR20170098827A (ko) 2017-08-30
US20200260109A1 (en) 2020-08-13
EP4020991A1 (en) 2022-06-29
TWI682660B (zh) 2020-01-11
JP2020123984A (ja) 2020-08-13
EP3240290A4 (en) 2018-06-27
EP3240290A1 (en) 2017-11-01
CN111491164B (zh) 2024-04-30
CN107113443B (zh) 2020-04-28
EP3240290B1 (en) 2022-03-23
TWI701944B (zh) 2020-08-11
CN111491165B (zh) 2024-03-15
TWI734525B (zh) 2021-07-21
TW201635795A (zh) 2016-10-01
US10735762B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
US20210218983A1 (en) Image processing apparatus and image processing method
JP6555541B2 (ja) 画像符号化装置および方法
KR20190045904A (ko) 화상 처리 장치 및 화상 처리 방법
JP6287035B2 (ja) 復号装置および復号方法
JP6711353B2 (ja) 画像処理装置および画像処理方法
JPWO2015098561A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
JP2015076861A (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
JP2015005899A (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
JP6233655B2 (ja) 画像処理装置および方法
WO2015098559A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
KR102338766B1 (ko) 화상 부호화 장치 및 방법, 및 기록 매체
JP6477930B2 (ja) 符号化装置および符号化方法
WO2016199574A1 (ja) 画像処理装置および画像処理方法
JP6402802B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2015050738A (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2014203762A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200227