JP6274527B2 - 画像処理装置および方法 - Google Patents

Description

本開示は、画像処理装置および方法に関し、特に、処理量を削減することができるようにした画像処理装置および方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及した。

特に、MPEG2（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission） 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。

標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。

しかしながら、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；4000画素×2000画素）といった大きな画枠に対しては、最適ではない恐れがあった。

そこで、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている（例えば、非特許文献１参照）。

このHEVC符号化方式においては、AVCにおけるマクロブロックと同様の処理単位としてコーディングユニット（CU（Coding Unit））が定義されている。このCUは、AVCのマクロブロックのようにサイズが16×16画素に固定されず、それぞれのシーケンスにおいて、画像圧縮情報中において指定される。

ところで、AVCにおいて定義されているメジアン予測を用いた動きベクトルの符号化を改善するため、”Spatial Predictor”だけでなく、”Temporal Predictor”及び”Spatio-Temporal Predictor”も予測動きベクトルの候補にすることができるようにする方法が考えられた。

また、動き情報の符号化方式の１つとして、Merge_FlagとMerge_Left_Flagが伝送される、Motion Partition Mergingと呼ばれる手法が提案されている。

しかしながら、同一視点内における処理しか示されておらず、多視点符号化の場合に、視点間を跨るベクトルの予測ができず、符号化効率が低減する恐れがあった。

そこで、多視点符号化時のマージのTMVP(Temporal motion vector prediction)について、各種の提案がなされている（例えば、非特許文献２参照）。

非特許文献２の発明では、カレントブロックの参照インデックス０が指し示す参照ピクチャ(参照画像)の参照ピクチャタイプがShort-termで、コロケーテッドブロックの参照ピクチャタイプがLong-termであるとき、参照画像のリストの中から、参照ピクチャタイプがLong-termである参照ピクチャを指し示す０以外の参照インデックスが選択される。

また、カレントブロックの参照インデックス０が指し示す参照ピクチャの参照ピクチャタイプがLong-termで、コロケーテッドブロックの参照ピクチャタイプがShort-termであるとき、参照画像のリストの中から、参照ピクチャタイプがShort-termである参照ピクチャを指し示す０以外の参照インデックスが選択される。

従って、CU（Coding Unit）レベルの符号化をする前に、参照インデックス０のピクチャタイプとは異なるピクチャタイプを持つ参照インデックスを１つ見つけておく必要がある。

Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand," High efficiency video coding (HEVC) text specification draft 8 ", JCTVC-J1003_d7, 2012.7.28 Ying Chen,Li Zhang,Vadim Seregin,Marta Karczewicz,"Temporal modion vector prediction hook for MV-HEVC",JCTVC-K0239,2012.10.10-19

しかしながら、参照インデックスの探索の処理量は多いため、処理量の削減が求められている。

本開示は、このような状況に鑑みてなされたものであり、処理量を削減することを目的とする。

本開示の第１の側面の画像処理装置は、カレントピクチャの参照ピクチャを特定する参照ピクチャ特定情報のリストである参照リストが前記カレントピクチャ内で共通に用いられる場合にのみ、ピクチャ単位で、前記カレントピクチャの参照ピクチャタイプと異なる参照ピクチャタイプのインデックスの最小値を探索し、前記参照リストに含まれる前記参照ピクチャ特定情報が表す前記参照ピクチャから参照ピクチャタイプが異なる複数の参照ピクチャを選択する選択部と、前記カレントピクチャと異なる時刻のコロケーテッドピクチャの動きベクトルと、前記選択部により選択された前記複数の参照ピクチャのうちの前記コロケーテッドピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャとに基づいて、前記カレントピクチャの予測画像を生成する予測画像生成部と
を備える画像処理装置である。

本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。

本開示の第１の側面においては、カレントピクチャの参照ピクチャを特定する参照ピクチャ特定情報のリストである参照リストが前記カレントピクチャ内で共通に用いられる場合にのみ、ピクチャ単位で、前記カレントピクチャの参照ピクチャタイプと異なる参照ピクチャタイプのインデックスの最小値が探索され、前記参照リストに含まれる前記参照ピクチャ特定情報が表す前記参照ピクチャから参照ピクチャタイプが異なる複数の参照ピクチャが選択され、前記カレントピクチャと異なる時刻のコロケーテッドピクチャの動きベクトルと、選択された前記複数の参照ピクチャのうちの前記コロケーテッドピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャとに基づいて、前記カレントピクチャの予測画像が生成される。

本開示によれば、画像を処理することができる。特に、処理量を削減することができる。

本開示を適用した画像符号化装置の第１実施の形態の構成例を示すブロック図である。 図１の符号化部の構成例を示すブロック図である。 図２の動き視差予測・補償部のマージインター予測部の構成例を示すブロック図である。 図１の画像符号化装置のストリーム生成処理を説明するフローチャートである。 図４の符号化処理の詳細を説明するフローチャートである。 図５のインター予測処理のうちのマージインター予測処理を説明するフローチャートである。 本開示を適用した画像復号装置の第１実施の形態の構成例を示すブロック図である。 図７の復号部の構成例を示すブロック図である。 図８の動き視差補償部のマージインター予測部の構成例を示すブロック図である。 図７の画像復号装置の画像生成処理を説明するフローチャートである。 図１０の復号処理の詳細を説明するフローチャートである。 図１１の予測処理のうちのマージインター予測処理を説明するフローチャートである。 本開示を適用した画像符号化装置の第２実施の形態の構成例を示すブロック図である。 図１３の符号化部のマージインター予測部の構成を示すブロック図である。 図１３の画像符号化装置のストリーム生成処理を説明するフローチャートである。 図１３の符号化装置のマージインター予測処理を説明するフローチャートである。 図１６の参照インデックス特定処理の詳細を説明するフローチャートである。 参照インデックスを説明する図である。 本開示を適用した画像復号装置の第２実施の形態の構成例を示すブロック図である。 図１９の復号部のマージインター予測部の構成を示すブロック図である。 図１９の画像復号装置の画像生成処理を説明するフローチャートである。 図２０のマージインター予測部により実行されるマージインター予測処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置・画像復号装置）
２．第２の実施の形態（画像符号化装置・画像復号装置）
３．第３の実施の形態（コンピュータ）
４．第４の実施の形態（応用例）

＜１．第１の実施の形態＞
（画像符号化装置の構成例）
図１は、本開示を適用した画像処理装置としての画像符号化装置の第１実施の形態の構成例を示すブロック図である。

図１の画像符号化装置１０００は、符号化部１００１、設定部１００２、および伝送部１００３により構成される。画像符号化装置１０００は、複数の視点（ビュー）の画像からなる多視点画像に対して動き予測または視差予測によるインター符号化を行う。

具体的には、画像符号化装置１０００の符号化部１００１は、外部から入力される多視点画像に対して、イントラ符号化、または、動き予測または視差予測によるインター符号化を行う。インター符号化時、符号化部１００１は、設定部１００２から供給される制限識別情報（restricted_ref_pic_lists_flag）を参照する。

制限識別情報とは、ピクチャ内の全てのスライスの、参照画像を特定する参照画像特定情報のリストである参照リストが、同一の参照リストに制限されることを識別する情報である。即ち、制限識別情報は、参照リストがピクチャ内で共通に用いられることを識別する情報である。制限識別情報は、ピクチャ内の全てのスライスの参照リストが同一の参照リストに制限されることを表す場合１であり、制限されないことを表す場合０である。

符号化部１００１は、制限識別情報が１である場合、マージモード時に、非特許文献２に記載されている方法でマージのTMVPを行う。符号化部１００１は、多視点画像の符号化データを設定部１００２に供給する。

設定部１００２は、ユーザ入力等に基づいて制限識別情報を設定し、符号化部１００１に供給する。設定部１００２は、制限識別情報を含むSPS，PPS（Picture Parameter Set）等のパラメータセットを設定する。設定部１００２は、符号化部１００１から供給される符号化データにパラメータセットを付加して符号化ストリームを生成し、伝送部１００３に供給する。

伝送部１００３は、設定部１００２から供給される符号化ストリームを後述する復号装置に伝送する。

（符号化部の構成例）
図２は、図１の符号化部１００１の構成例を示すブロック図である。

図２の符号化部１００１は、例えばAVCやHEVC等の符号化方式のように、予測処理を用いて、多視点画像を視点ごとに符号化する。

図２の符号化部１００１は、A/D変換部１０１１、画面並べ替えバッファ１０１２、演算部１０１３、直交変換部１０１４、量子化部１０１５、可逆符号化部１０１６、および蓄積バッファ１０１７を有する。また、符号化部１００１は、逆量子化部１０１８、逆直交変換部１０１９、演算部１０２０、ループフィルタ１０２１、デコードピクチャバッファ１０２２、選択部１０２３、イントラ予測部１０２４、動き視差予測・補償部１０２５、予測画像選択部１０２６、および多視点デコードピクチャバッファ１０２７を有する。

A/D変換部１０１１は、入力された１視点の画像をA/D変換し、画面並べ替えバッファ１０１２に出力して記憶させる。画面並べ替えバッファ１０１２は、記憶した表示の順番のフレーム単位の画像を、GOP（Group Of Picture）構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１０１２は、並び替えた画像を、その画像のビューIDおよびPOC（Picture Order Count）とともに、演算部１０１３、イントラ予測部１０２４、および動き視差予測・補償部１０２５に供給する。なお、ビューIDは、視点を識別するための情報であり、POCは、時刻を識別するための情報である。

演算部１０１３は、画面並べ替えバッファ１０１２から読み出された画像から、予測画像選択部１０２６を介してイントラ予測部１０２４または動き視差予測・補償部１０２５から供給される予測画像を減算し、その差分情報を直交変換部１０１４に出力する。

直交変換部１０１４は、演算部１０１３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１０１４は、その直交変換係数を量子化部１０１５に供給する。

量子化部１０１５は、直交変換部１０１４から供給される直交変換係数を量子化する。量子化部１０１５は、符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部１０１５は、量子化された直交変換係数を可逆符号化部１０１６に供給する。

可逆符号化部１０１６は、量子化部１０１５において量子化された直交変換係数を、任意の符号化方式で可逆符号化し、符号化画像を生成する。また、可逆符号化部１０１６は、最適なイントラ予測モードを示す情報等を含むイントラ予測情報をイントラ予測部１０２４から取得する。可逆符号化部１０１６は、最適なインター予測モードを示す情報や、動きベクトルまたは視差ベクトルを表す動き視差ベクトル情報などを含むインター予測情報を、動き視差予測・補償部１０２５から取得する。さらに、可逆符号化部１０１６は、ループフィルタ１０２１において使用されたフィルタ係数等を取得する。

可逆符号化部１０１６は、これらの各種情報を任意の符号化方式で符号化し、符号化画像のヘッダ情報の一部とする。可逆符号化部１０１６は、符号化して得られた符号化画像とヘッダ情報からなる符号化データを、蓄積バッファ１０１７に供給して蓄積させる。

可逆符号化部１０１６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。

蓄積バッファ１０１７は、可逆符号化部１０１６から供給された符号化データを、一時的に保持する。蓄積バッファ１０１７は、所定のタイミングにおいて、保持している符号化データを、図１の設定部１００２に供給する。

また、量子化部１０１５において量子化された直交変換係数は、逆量子化部１０１８にも供給される。逆量子化部１０１８は、その量子化された直交変換係数を、量子化部１０１５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部１０１５による量子化に対応する方法であればどのような方法であってもよい。逆量子化部１０１８は、得られた直交変換係数を、逆直交変換部１０１９に供給する。

逆直交変換部１０１９は、逆量子化部１０１８から供給された直交変換係数を、直交変換部１０１４による直交変換に対応する方法で逆直交変換し、局所的に復元された差分情報を得る。この逆直交変換の方法は、直交変換部１０１４による直交変換に対応する方法であればどのようなものであってもよい。差分情報は、演算部１０２０に供給される。

演算部１０２０は、逆直交変換部１０１９から供給された局所的に復元された差分情報に、予測画像選択部１０２６を介してイントラ予測部１０２４または動き視差予測・補償部１０２５から供給される予測画像を加算する。これにより、局所的に再構成（復号）された画像（以下、再構成画像と称する）が生成される。その再構成画像は、ループフィルタ１０２１またはデコードピクチャバッファ１０２２に供給される。

ループフィルタ１０２１は、デブロックフィルタ、適応オフセットフィルタ(SAO（Sample adaptive offset)）、適応ループフィルタ（ALF(Adaptive Loop Filter)）等を含み、演算部１０２０から供給される再構成画像に対して適宜フィルタ処理を行う。

例えば、ループフィルタ１０２１は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ１０２１は、そのデブロックフィルタ処理結果に対して、ウィナーフィルタ（Wiener Filter）を用いて適応ループフィルタ処理を行うことにより画質改善を行う。

なお、ループフィルタ１０２１が、再構成画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１０２１は、フィルタ処理に用いたフィルタ係数等を可逆符号化部１０１６に供給する。

ループフィルタ１０２１は、フィルタ処理結果（以下、復号画像と称する）をデコードピクチャバッファ１０２２に供給する。

デコードピクチャバッファ１０２２は、演算部１０２０から供給される再構成画像と、ループフィルタ１０２１から供給される復号画像とをそれぞれ記憶する。また、デコードピクチャバッファ１０２２は、その画像のビューIDおよびPOCを記憶する。

デコードピクチャバッファ１０２２は、所定のタイミングにおいて、若しくは、イントラ予測部１０２４等の外部からの要求に基づいて、記憶している再構成画像並びに、その画像のビューIDおよびPOCを、選択部１０２３を介して、イントラ予測部１０２４に供給する。また、デコードピクチャバッファ１０２２は、所定のタイミングにおいて、若しくは、動き視差予測・補償部１０２５等の外部からの要求に基づいて、記憶している復号画像、並びに、その画像のビューIDおよびPOCを、選択部１０２３を介して、動き視差予測・補償部１０２５に供給する。

選択部１０２３は、デコードピクチャバッファ１０２２から出力される画像の供給先を示す。例えば、イントラ予測の場合、選択部１０２３は、デコードピクチャバッファ１０２２からフィルタ処理されていない再構成画像を読み出し、予測処理対象領域の周辺に位置する周辺領域の画像である周辺画像として、イントラ予測部１０２４に供給する。

また、例えば、インター予測の場合、選択部１０２３は、デコードピクチャバッファ１０２２からフィルタ処理された復号画像を読み出し、参照画像として、それを動き視差予測・補償部１０２５に供給する。

イントラ予測部１０２４は、デコードピクチャバッファ１０２２から周辺画像を取得すると、その周辺画像の画素値を用いて、基本的にプレディクションユニット（PU）を処理単位として予測画像を生成するイントラ予測を行う。イントラ予測部１０２４は、このイントラ予測を予め用意された複数のイントラ予測モードで行う。

イントラ予測部１０２４は、各イントラ予測モードの予測画像と、画面並べ替えバッファ１０１２から供給される画像とを用いて、各予測画像のコスト関数値を評価し、最適なイントラ予測モードを選択する。イントラ予測部１０２４は、最適なイントラ予測モードを選択すると、その最適なイントラ予測モードで生成された予測画像とコスト関数値を、予測画像選択部１０２６に供給する。

また、イントラ予測部１０２４は、予測画像選択部１０２６によりイントラ予測部１０２４により生成された予測画像が選択された場合、最適なイントラ予測に関するイントラ予測情報を、可逆符号化部１０１６に供給する。

動き視差予測・補償部１０２５は、画面並べ替えバッファ１０１２からの画像と、デコードピクチャバッファ１０２２からの参照画像とを用いて、基本的にPUを処理単位として、動き予測または視差予測（インター予測）を行う。

具体的には、動き視差予測・補償部１０２５は、マージモードではない場合、画面並べ替えバッファ１０１２からの画像と参照画像とを用いて、動きベクトルまたは視差ベクトルを検出する。なお、以下では、動きベクトルと視差ベクトルを特に区別する必要がない場合、それらをまとめて動き視差ベクトルという。動き視差予測・補償部１０２５は、検出された動き視差ベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。

マージモードである場合、動き視差予測・補償部１０２５は、図１の設定部１００２から供給される制限識別情報に基づいて、マージのTMVPを行い、予測画像を生成する。動き視差予測・補償部１０２５は、このようなインター予測を予め用意された複数のインター予測モードで行う。

動き視差予測・補償部１０２５は、各インター予測モードの予測画像と、画面並べ替えバッファ１０１２から供給される画像とを用いて、各予測画像のコスト関数値を評価し、最適なインター予測モードを選択する。動き視差予測・補償部１０２５は、最適なインター予測モードを選択すると、その最適なインター予測モードで生成された予測画像とコスト関数値を、予測画像選択部１０２６に供給する。

また、動き視差予測・補償部１０２５は、予測画像選択部１０２６により動き視差予測・補償部１０２５により生成された予測画像が選択された場合、最適なインター予測に関するインター予測情報を可逆符号化部１０１６に供給する。

予測画像選択部１０２６は、イントラ予測部１０２４と動き視差予測・補償部１０２５から供給されるコスト関数値に基づいて、演算部１０１３や演算部１０２０に供給する予測画像の供給元を選択する。

例えば、イントラ予測部１０２４からのコスト関数値が、動き視差予測・補償部１０２５からのコスト関数値より小さい場合、予測画像選択部１０２６は、予測画像の供給元としてイントラ予測部１０２４を選択する。そして、予測画像選択部１０２６は、イントラ予測部１０２４から供給される予測画像を演算部１０１３や演算部１０２０に供給する。

また、例えば、動き視差予測・補償部１０２５からのコスト関数値が、イントラ予測部１０２４からのコスト関数値より小さい場合、予測画像選択部１０２６は、予測画像の供給元として動き視差予測・補償部１０２５を選択する。そして、予測画像選択部１０２６は、動き視差予測・補償部１０２５から供給される予測画像を演算部１０１３や演算部１０２０に供給する。

デコードピクチャバッファ１０２２は、処理対象の視点の画像、並びに、その画像のビューIDおよびPOCのみを記憶するが、多視点デコードピクチャバッファ１０２７は、各視点の画像、並びに、その画像のビューIDおよびPOCを記憶する。つまり、多視点デコードピクチャバッファ１０２７は、デコードピクチャバッファ１０２２に供給された復号画像、並びに、その復号画像のビューIDおよびPOCを取得し、デコードピクチャバッファ１０２２とともに記憶する。

デコードピクチャバッファ１０２２は、処理対象の視点が変わると、前の処理対象の視点の復号画像を消去するが、多視点デコードピクチャバッファ１０２７は、そのまま保持する。そして、デコードピクチャバッファ１０２２などの要求に従って、記憶している復号画像、並びに、その画像のビューIDおよびPOCを、「処理対象ではない視点の復号画像、並びに、その復号画像のビューIDおよびPOC」として、デコードピクチャバッファ１０２２に供給する。デコードピクチャバッファ１０２２は、多視点デコードピクチャバッファ１０２７から読み出した「処理対象ではない視点の復号画像、並びに、その復号画像のビューIDおよびPOC」を、選択部１０２３を介して動き視差予測・補償部１０２５に供給する。

（マージインター予測部の構成例）
図３は、図２の動き視差予測・補償部１０２５のうちの、マージモードでインター予測を行うマージインター予測部１０３０の構成例を示すブロック図である。

図３のマージインター予測部１０３０は、参照リスト生成部１０３１、選択部１０３２、マージ候補リスト生成部１０３３、予測画像生成部１０３４、算出部１０３５、および最適モード決定部１０３６により構成される。

マージインター予測部１０３０の参照リスト生成部１０３１は、図１の設定部１００２から供給される制限識別情報に基づいて、参照リストを生成する。

具体的には、参照リスト生成部１０３１は、符号化対象の画像より表示順で前または後の画像を用いてインター予測を行う場合、即ち一方向予測を行う場合、その画像、および、符号化対象の画像と同一の時刻で視点の異なる画像を参照画像として特定する参照画像特定情報を登録する参照リストＬ０を生成する。

一方、符号化対象の画像より表示順で前および後の画像を用いてインター予測を行う場合、即ち双方向予測を行う場合、参照リスト生成部１０３１は、符号化対象の画像より表示順で前の画像を参照画像として特定する参照画像特定情報を登録する参照リストＬ０を生成する。また、この場合、参照リスト生成部１０３１は、符号化対象の画像より表示順で後の画像を参照画像として特定する参照画像特定情報を登録する参照リストＬ１も生成する。なお、この参照リストＬ０と参照リストＬ１には、符号化対象の画像と同一の時刻で視点の異なる画像を参照画像として特定する参照画像特定情報も登録される。

このような参照リストは、参照画像特定情報が１である場合ピクチャ単位で生成され、参照画像特定情報が０である場合スライス単位で生成される。

参照リストの各エントリには、そのエントリを識別する情報として参照インデックスが付与されている。参照インデックス「０」のエントリには、符号化対象の画像の現在の処理対象の予測ブロックであるカレントブロックの参照ピクチャタイプと同一の参照ピクチャタイプの参照画像の参照画像特定情報が含まれる。

参照画像特定情報は、例えば、参照画像が符号化対象の画像と同一の視点で異な時間の画像である場合参照画像のPOCを表す情報であり、参照画像が符号化対象の画像と同一の時間で異なる視点の画像である場合参照画像のビューＩＤである。

また、参照ピクチャタイプには、Short-term(短時間参照ピクチャ)とLong-term(長時間参照ピクチャ)の２つのタイプがある。Short-termは、符号化対象の画像と時間的に近い同一の視点の参照画像のタイプである。一方、Long-termは、符号化対象の画像と時間的に遠い同一の視点の参照画像、または、符号化対象の画像と視点の異なる同一の時刻の参照画像のタイプである。

参照リストは、参照リスト生成部１０３１に保持される。参照リストを生成するための情報は、例えば、図２の可逆符号化部１０１６により符号化され、ヘッダ情報の一部として符号化データに含まれる。

選択部１０３２は、設定部１００２からの制限識別情報に基づいて、参照リスト生成部１０３１に保持されている参照リストから、参照インデックス「０」の参照ピクチャタイプとは異なる参照ピクチャタイプの参照インデックスの最小値を選択する。即ち、選択部１０３２は、参照リストに登録されている、カレントブロックの参照ピクチャタイプとは異なる参照ピクチャタイプの参照画像の参照画像特定情報を含むエントリに付与された参照インデックスを選択する。選択部１０３２は、選択された参照インデックスの参照画像特定情報と参照インデックス「０」の参照画像特定情報を予測画像生成部１０３４に供給する。

マージ候補リスト生成部１０３３は、設定部１００２からの制限識別情報に基づいてマージ候補リストを生成する。マージ候補リストには、コロケーテッドブロック（詳細は後述する）の参照ピクチャタイプがエントリに登録されるとともに、そのコロケーテッドブロックの動き視差ベクトルが予測ベクトルの候補としてエントリに登録される。但し、参照ピクチャタイプがShort-termである場合、動き視差ベクトルは、参照画像と符号化対象の画像の時間的な距離または視点間距離に基づいてスケーリング処理され、予測ベクトルの候補とされる。

コロケーテッドブロックとは、カレントブロックと同一の位置の異なる時刻または視点の予測ブロックである。また、説明の簡単のため、ここでは、コロケーテッドブロックの動き視差ベクトルのみが予測ベクトルの候補とされるが、実際には、カレントブロックの周辺の予測ブロックの動き視差ベクトルも予測ベクトルの候補とされる。

マージ候補リストの各エントリには、そのエントリを識別するベクトルインデックスが付与される。マージ候補リスト生成部１０３３は、生成されたマージ候補リストを保持する。

予測画像生成部１０３４は、マージ候補リスト生成部１０３３からマージ候補リストを読み出す。予測画像生成部１０３４は、マージ候補リストのエントリごとに、コロケーテッドピクチャの動き視差ベクトルと、選択部１０３２から供給される、そのコロケーテッドピクチャと同一の参照ピクチャタイプの参照画像特定情報で特定される参照画像とに基づいて、予測画像を生成する。

具体的には、予測画像生成部１０３４は、エントリに含まれる参照ピクチャタイプがカレントブロックの参照ピクチャタイプと同一である場合、カレントブロックと同一の参照ピクチャタイプの参照画像特定情報である、参照インデックス「０」の参照画像特定情報を選択部１０３２から取得する。

一方、エントリに含まれる参照ピクチャタイプがカレントブロックの参照ピクチャタイプと異なる場合、予測画像生成部１０３４は、カレントブロックとは異なる参照ピクチャタイプの参照画像特定情報である、参照インデックス「０」以外の参照インデックスの参照画像特定情報を選択部１０３２から取得する。

予測画像生成部１０３４は、取得された参照画像特定情報で特定される参照画像を、選択部１０２３を介してデコードピクチャバッファ１０２２から取得する。そして、予測画像生成部１０３４は、エントリに含まれる動き視差ベクトルに基づいて、読み出された参照画像に補償処理を施し、予測画像を生成する。

以上のようにして予測画像を生成する処理は、予め用意された全てのインター予測モードで行われる。即ち、サイズの異なるカレントブロックの予測画像が生成される。予測画像生成部１０３４は、生成された予測画像を、対応するインター予測モードおよびベクトルインデックスとともに算出部１０３５に供給する。

算出部１０３５は、予測画像生成部１０３４から供給される予測画像、インター予測モード、およびベクトルインデックス、並びに、画面並べ替えバッファ１０１２から供給される画像に基づいて、予測画像ごとにコスト関数値を算出する。算出部１０３５は、予測画像、対応するコスト関数値、インター予測モード、およびベクトルインデックスを最適モード決定部１０３６に供給する。

最適モード決定部１０３６は、算出部１０３５から供給されるコスト関数値が最小となる予測画像のインター予測モードを最適なインター予測モードに決定する。最適モード決定部１０３６は、最適なインター予測モードの予測画像とコスト関数値を予測画像選択部１０２６に供給する。

また、最適モード決定部１０３６は、予測画像選択部１０２６によりマージインター予測部１０３０により生成された予測画像が選択された場合、最適なインター予測モードを示す情報と、動き視差ベクトル情報としてのベクトルインデックスとを含むインター予測情報を、可逆符号化部１０１６に供給する。

（画像符号化装置の処理の説明）
図４は、図１の画像符号化装置１０００のストリーム生成処理を説明するフローチャートである。このストリーム生成処理は、多視点画像が入力されたとき、開始される。

ステップＳ１１において、画像符号化装置１０００の符号化部１００１は、設定部１００２から供給されるユーザ入力等に基づいて設定された制限識別情報に基づいて、各視点の画像を符号化する符号化処理を行う。この符号化処理の詳細は、後述する図５を参照して説明する。

ステップＳ１２において、設定部１００２は、制限識別情報を含むSPS，PPS等のパラメータセットを設定する。ステップＳ１３において、設定部１００２は、符号化部１００１から供給される符号化データにパラメータセットを付加して符号化ストリームを生成し、伝送部１００３に供給する。

ステップＳ１４において、伝送部１００３は、設定部１００２から供給される符号化ストリームを後述する復号装置に伝送する。

図５は、図４のステップＳ１１の符号化処理の詳細を説明するフローチャートである。この符号化処理は、多視点画像に対して視点ごとに行われる。

ステップＳ１０１において、A/D変換部１０１１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０１２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１０３において、イントラ予測部１０２４は、予め用意された複数のイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。また、イントラ予測部１０２４は、イントラ予測モードごとに、予測画像と画面並べ替えバッファ１０１２から供給される画像とに基づいてコスト関数値を算出する。そして、イントラ予測部１０２４は、コスト関数値が最小となるイントラ予測モードを最適なイントラ予測モードとして選択する。イントラ予測部１０２４は、その最適なイントラ予測モードで生成された予測画像とコスト関数値を、予測画像選択部１０２６に供給する。

ステップＳ１０４において、動き視差予測・補償部１０２５は、設定部１００２から供給される制限識別情報に基づいて、予め用意された複数のインター予測モードのインター予測処理を行い、予測画像を生成する。また、動き視差予測・補償部１０２５は、インター予測モードごとに予測画像と画面並べ替えバッファ１０１２から供給される画像とに基づいてコスト関数値を算出する。そして、動き視差予測・補償部１０２５は、コスト関数値が最小となるインター予測モードを最適なインター予測モードとして選択する。動き視差予測・補償部１０２５は、その最適なインター予測モードで生成された予測画像とコスト関数値を、予測画像選択部１０２６に供給する。

ステップＳ１０５において、予測画像選択部１０２６は、イントラ予測部１０２４から供給される予測画像と、動き視差予測・補償部１０２５から供給される予測画像のうち、コスト関数値の小さい方を選択する。イントラ予測部１０２４から供給される予測画像が選択された場合、イントラ予測部１０２４は、イントラ予測情報を可逆符号化部１０１６に供給する。一方、動き視差予測・補償部１０２５から供給される予測画像が選択された場合、動き視差予測・補償部１０２５は、インター予測情報を可逆符号化部１０１６に供給する。

ステップＳ１０６において、演算部１０１３は、ステップＳ１０２の処理により並び替えられた画像と、ステップＳ１０５の処理により選択された予測画像との差分を演算する。生成された差分情報は元の画像に較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。

ステップＳ１０７において、直交変換部１０１４は、ステップＳ１０６の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、直交変換係数が出力される。ステップＳ１０８において、量子化部１０１５は、ステップＳ１０７の処理により得られた直交変換係数を量子化する。

ステップＳ１０８の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０９において、逆量子化部１０１８は、ステップＳ１０８の処理により生成された量子化された直交変換係数を量子化部１０１５の特性に対応する特性で逆量子化する。ステップＳ１１０において、逆直交変換部１０１９は、ステップＳ１０９の処理により得られた直交変換係数を、直交変換部１０１４の特性に対応する特性で逆直交変換する。これにより差分情報が復元される。

ステップＳ１１１において、演算部１０２０は、ステップＳ１０５において選択された予測画像を、ステップＳ１１０において生成された差分情報に加算し、再構成画像を生成する。

ステップＳ１１２において、ループフィルタ１０２１は、ステップＳ１１１の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むフィルタ処理を適宜行い、復号画像を生成する。ループフィルタ１０２１は、フィルタ処理に用いられたフィルタ係数等を可逆符号化部１０１６に供給する。

ステップＳ１１３において、デコードピクチャバッファ１０２２は、ステップＳ１１２の処理により生成された復号画像等、および、ステップＳ１１１の処理により生成された再構成画像等を記憶する。多視点デコードピクチャバッファ１０２７は、ステップＳ１１２の処理により生成された復号画像等を記憶する。

ステップＳ１１４において、可逆符号化部１０１６は、ステップＳ１０８の処理により量子化された直交変換係数を可逆符号化し、符号化画像を生成する。また、可逆符号化部１０１６は、イントラ予測情報またはインター予測情報、フィルタ係数等を符号化し、ヘッダ情報を生成する。そして、可逆符号化部１０１６は、符号化画像とヘッダ情報から符号化データを生成する。

ステップＳ１１５において、蓄積バッファ１０１７は、ステップＳ１１４の処理により得られた符号化データを蓄積する。蓄積バッファ１０１７に蓄積された符号化データは、適宜読み出され、図１の設定部１００２に供給される。

ステップＳ１１６において、量子化部１０１５は、ステップＳ１１５の処理により蓄積バッファ１０１７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化動作のレートを制御する。

ステップＳ１１６の処理が終了すると、処理は図４のステップＳ１１に戻り、ステップＳ１２の処理が行われる。

図６は、図５のステップＳ１０４のインター予測処理のうちのマージモードのインター予測処理であるマージインター予測処理を説明するフローチャートである。このマージインター予測処理は、マージモードで多視点画像を符号化するときにピクチャ単位で行われる。

ステップＳ１２０１において、マージインター予測部１０３０の参照リスト生成部１０３１（図３）は、設定部１００２から供給される制限識別情報（restricted_ref_pic_lists_flag）が１であるかどうかを判定する。ステップＳ１２０１で制限識別情報が１であると判定された場合、処理はステップＳ１２０２に進む。

ステップＳ１２０２において、参照リスト生成部１０３１は、ピクチャ単位の参照リストを生成し、保持する。この参照リストを生成するための情報は、例えば、図２の可逆符号化部１０１６により符号化され、ヘッダ情報の一部として符号化データに含まれる。

ステップＳ１２０３において、選択部１０３２は、参照リスト生成部１０３１により生成された参照リストＬ０の中で、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの参照インデックスの最小値を探索する。

具体的には、選択部１０３２は、参照リストＬ０に対して、１以上の参照インデックスを昇順に探索し、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの参照画像の参照画像特定情報が見つかるまで、探し続ける。

例えば、参照インデックス「０」の参照ピクチャタイプがShort-termであるとき、選択部１０３２は、参照ピクチャタイプがLong-termである参照画像の参照画像特定情報をエントリに含む参照インデックスが見つかるまで、１以上の参照インデックスを昇順に探し続ける。

一方、参照インデックス「０」に対応する参照ピクチャタイプがLong-termであるとき、選択部１０３２は、参照ピクチャタイプがShort-termである参照画像の参照画像特定情報をエントリに含む参照インデックスが見つかるまで、１以上の参照インデックスを昇順に探し続ける。選択部１０３２は、探索された参照インデックスのエントリに含まれる参照画像特定情報を予測画像生成部１０３４に供給する。

ステップＳ１２０４において、選択部１０３２は、参照リスト生成部１０３１により参照リストＬ１が生成された場合、参照リストＬ０の場合と同様に、参照リストＬ１の中で、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの参照インデックスの最小値を探索する。選択部１０３２は、探索された参照インデックスのエントリに含まれる参照画像特定情報を予測画像生成部１０３４に供給する。また、選択部１０３２は、参照インデックス「０」のエントリに含まれる参照画像特定情報を予測画像生成部１０３４に供給する。

以降のステップＳ１２０５，Ｓ１２０６、およびＳ１２０９乃至Ｓ１２１２の処理は、各インター予測モードの予測ブロックごとに行われる。

ステップＳ１２０５において、マージ候補リスト生成部１０３３は、全てのコロケーテッドブロックの参照ピクチャタイプとともに、対応する動き視差ベクトルを予測ベクトルの候補としてエントリに登録するマージ候補リストを生成し、保持する。

ステップＳ１２０６において、予測画像生成部１０３４は、マージ候補リストのエントリごとに、カレントブロックの参照ピクチャタイプと、そのエントリに含まれるコロケーテッドブロックの参照ピクチャタイプとが、一致するかどうかを判定する。そして、予測画像生成部１０３４は、参照ピクチャタイプが異なる場合、選択部１０３２から供給される参照画像特定情報のうちの０以外の参照インデックスの参照画像特定情報を、カレントブロックの参照画像特定情報として選択する。

一方、参照ピクチャタイプが同一である場合、予測画像生成部１０３４は、選択部１０３２から供給される参照画像特定情報のうちの参照インデックス「０」の参照画像特定情報を、カレントブロックの参照画像特定情報として選択する。そして、処理は、ステップＳ１２１０に進む。

一方、ステップＳ１２０１で、制限識別情報が１ではないと判定された場合、即ち、制限識別情報が０である場合、ステップＳ１２０７において、参照リスト生成部１０３１は、スライス単位の参照リストを生成し、保持する。この参照リストを生成するための情報は、例えば、可逆符号化部１０１６により符号化され、ヘッダ情報の一部として符号化データに含まれる。

ステップＳ１２０８において、選択部１０３２は、生成された参照リストの参照インデックス「０」の参照画像特定情報を予測画像生成部１０３４に供給する。予測画像生成部１０３４は、その参照画像特定情報をカレントブロックの参照画像特定情報とする。

ステップＳ１２０９において、マージ候補リスト生成部１０３３は、カレントブロックの参照ピクチャタイプと各コロケーテッドブロックの参照ピクチャタイプが一致するかどうかを判定する。そして、マージ候補リスト生成部１０３３は、コロケーテッドブロックの参照ピクチャタイプがカレントブロックの参照ピクチャタイプと異なるときに、そのコロケーテッドブロックの動き視差ベクトルを、予測ベクトルの候補から除外して、マージ候補リストを生成し、保持する。そして、処理はステップＳ１２１０に進む。

ステップＳ１２１０において、予測画像生成部１０３４は、カレントブロックの参照画像特定情報で特定される参照画像と、マージ候補リストの各エントリに含まれる予測ベクトルとに基づいて、予測画像を生成する。予測画像生成部１０３４は、生成された予測画像を、対応するインター予測モードおよびベクトルインデックスとともに算出部１０３５に供給する。

ステップＳ１２１１において、算出部１０３５は、予測画像生成部１０３４からの予測画像、インター予測モード、およびベクトルインデックス、並びに、画面並べ替えバッファ１０１２から供給される画像に基づいて、予測画像ごとにコスト関数値を算出する。算出部１０３５は、予測画像、対応するコスト関数値、インター予測モード、およびベクトルインデックスを最適モード決定部１０３６に供給する。

ステップＳ１２１２において、最適モード決定部１０３６は、算出部１０３５から供給されるコスト関数値が最小となる予測画像のインター予測モードを最適なインター予測モードとして選択する。最適モード決定部１０３６は、最適なインター予測モードの予測画像とコスト関数値を予測画像選択部１０２６に供給する。そして、処理は終了する。

（画像復号装置の構成例）
図７は、図１の画像符号化装置１０００から伝送されてくる符号化ストリームを復号する、本開示を適用した画像処理装置としての画像復号装置の第１実施の形態の構成例を示すブロック図である。

図７の画像復号装置１１００は、受け取り部１１０１、抽出部１１０２、および復号部１１０３により構成される。

画像復号装置１１００の受け取り部１１０１は、画像符号化装置１０００から伝送されてくる符号化ストリームを受け取り、抽出部１１０２に供給する。

抽出部１１０２は、受け取り部１１０１から供給される符号化ストリームから、制限識別情報を含むＳＰＳ，ＰＰＳ等のパラメータセットと多視点画像の符号化データを抽出し、復号部１１０３に供給する。

復号部１１０３は、抽出部１１０２から供給される符号化データに対して、画像符号化装置１０００に対応する方式で、イントラ復号、または、動き予測または視差予測によるインター復号を行う。具体的には、復号部１１０３は、抽出部１１０２から供給されるＳＰＳに含まれる制限識別情報が１である場合、マージモード時に、非特許文献２に記載されている方法でマージのTMVPを行う。復号部１１０３は、復号の結果得られる多視点画像を出力する。

（復号部の構成例）
図８は、図７の復号部１１０３の構成例を示すブロック図である。

図８の復号部１１０３は、図２の符号化部１００１に対応する方式で、多視点画像を視点ごとに復号する。

復号部１１０３は、蓄積バッファ１１２１、可逆復号部１１２２、逆量子化部１１２３、逆直交変換部１１２４、演算部１１２５、ループフィルタ１１２６、画面並べ替えバッファ１１２７、およびD/A変換部１１２８を有する。また、復号部１１０３は、デコードピクチャバッファ１１２９、選択部１１３０、イントラ予測部１１３１、動き視差補償部１１３２、選択部１１３３、および多視点デコードピクチャバッファ１１３４を有する。

蓄積バッファ１１２１は、図７の抽出部１１０２から供給される符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部１１２２に供給する。可逆復号部１１２２は、蓄積バッファ１１２１より供給された符号化データを、可逆符号化部１０１６の符号化方式に対応する方式で復号する。可逆復号部１１２２は、復号して得られた量子化された直交変換係数を、逆量子化部１１２３に供給する。

また、可逆復号部１１２２は、符号化データを復号して得られたイントラ予測情報をイントラ予測部１１３１に供給し、インター予測情報等を動き視差補償部１１３２に供給する。可逆復号部１１２２は、符号化データを復号して得られたフィルタ係数等をループフィルタ１１２６に供給する。

逆量子化部１１２３は、可逆復号部１１２２から供給される量子化された直交変換係数を、図２の量子化部１０１５の量子化方式に対応する方式で逆量子化し、得られた直交変換係数を逆直交変換部１１２４に供給する。逆直交変換部１１２４は、図２の直交変換部１０１４の直交変換方式に対応する方式で逆量子化部１１２３から供給される直交変換係数を逆直交変換する。

逆直交変換されて得られた差分情報は、演算部１１２５に供給される。また、演算部１１２５には、選択部１１３３を介して、イントラ予測部１１３１または動き視差補償部１１３２から予測画像が供給される。

演算部１１２５は、差分情報と予測画像とを加算し再構成画像を得る。演算部１１２５は、その再構成画像をループフィルタ１１２６とデコードピクチャバッファ１１２９に供給する。

ループフィルタ１１２６は、可逆復号部１１２２から供給されるフィルタ係数等を用いて、演算部１１２５からの再構成画像に対して、図２のループフィルタ１０２１と同様にフィルタ処理を施し、復号画像を生成する。

ループフィルタ１１２６は、復号画像を画面並べ替えバッファ１１２７およびデコードピクチャバッファ１１２９に供給する。

画面並べ替えバッファ１１２７は、供給された復号画像の並べ替えを行う。すなわち、図２の画面並べ替えバッファ１０１２により符号化の順番に並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部１１２８は、画面並べ替えバッファ１１２７から供給された復号画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

デコードピクチャバッファ１１２９は、供給される再構成画像、並びに、その画像のビューIDおよびPOCと、復号画像、並びに、その画像のビューIDおよびPOCとを記憶する。また、デコードピクチャバッファ１１２９は、所定のタイミングにおいて、若しくは、イントラ予測部１１３１等の外部の要求に基づいて、記憶している再構成画像、並びに、その画像のビューIDおよびPOCを、選択部１１３０を介してイントラ予測部１１３１に供給する。

また、デコードピクチャバッファ１１２９は、所定のタイミングにおいて、若しくは、動き視差補償部１１３２等の外部の要求に基づいて、記憶している復号画像、並びに、その画像のビューIDおよびPOCを、選択部１１３０を介して動き視差補償部１１３２に供給する。

イントラ予測部１１３１は、可逆復号部１１２２から供給されるイントラ予測モード情報が示すイントラ予測情報に基づいて、デコードピクチャバッファ１１２９から選択部１１３０を介して再構成画像を周辺画像として取得し、予測画像とする。イントラ予測部１１３１は、予測画像を、選択部１１３３を介して演算部１１２５に供給する。

動き視差補償部１１３２は、可逆復号部１１２２から供給されるインター予測情報と抽出部１１０２から供給される制限識別情報とに基づいて、復号画像を参照画像として読み出し、補償処理を施す。動き視差補償部１１３２は、その結果生成される予測画像を、選択部１１３３を介して演算部１１２５に供給する。

選択部１１３３は、イントラ予測部１１３１から供給される予測画像、または、動き視差補償部１１３２から供給される予測画像を演算部１１２５に供給する。

デコードピクチャバッファ１１２９は、処理対象の視点の画像、並びに、その画像のビューIDおよびPOCのみを記憶するが、多視点デコードピクチャバッファ１１３４は、各視点の画像、並びに、その画像のビューIDおよびPOCを記憶する。つまり、多視点デコードピクチャバッファ１１３４は、デコードピクチャバッファ１１２９に供給された復号画像、並びに、その復号画像のビューIDおよびPOCを取得し、デコードピクチャバッファ１１２９とともに記憶する。

デコードピクチャバッファ１１２９は、処理対象の視点が変わると、その復号画像を消去するが、多視点デコードピクチャバッファ１１３４は、そのまま保持する。そして、デコードピクチャバッファ１１２９などの要求に従って、記憶している復号画像、並びに、その復号画像のビューIDおよびPOCを、「処理対象ではない視点の復号画像」として、デコードピクチャバッファ１１２９に供給する。デコードピクチャバッファ１１２９は、多視点デコードピクチャバッファ１１３４から読み出した「処理対象ではない視点の復号画像、並びに、その復号画像のビューIDおよびPOC」を、選択部１１３０を介して動き視差補償部１１３２に供給する。

（マージインター予測部の構成例）
図９は、図８の動き視差補償部１１３２のうちの、マージモードでインター予測を行うマージインター予測部１１５０の構成例を示すブロック図である。

図９のマージインター予測部１１５０は、参照リスト生成部１１５１、選択部１１５２、マージ候補リスト生成部１１５３、および予測画像生成部１１５４により構成される。

マージインター予測部１１５０の参照リスト生成部１１５１は、可逆復号部１１２２から供給される参照リストを生成するための情報と制限識別情報とに基づいて、図３の参照リスト生成部１０３１で生成される参照リストと同一の参照リストを生成する。参照リストは、参照リスト生成部１１５１に保持される。

選択部１１５２は、抽出部１１０２からの制限識別情報に基づいて、図３の選択部１０３２と同様に、参照リストから参照インデックス「０」の参照ピクチャタイプとは異なる参照ピクチャタイプの参照インデックスの最小値を選択する。選択部１１５２は、選択された参照インデックスの参照画像特定情報と参照インデックス「０」の参照画像特定情報を予測画像生成部１１５４に供給する。

マージ候補リスト生成部１１５３は、図８の可逆復号部１１２２からのインター予測情報が示すインター予測モードの予測ブロックについて、図３のマージ候補リスト生成部１０３３と同様に、制限識別情報に基づいてマージ候補リストを生成する。マージ候補リスト生成部１１５３は、生成されたマージ候補リストを保持する。

予測画像生成部１１５４は、インター予測情報に含まれるベクトルインデックスのエントリを、マージ候補リストから読み出す。予測画像生成部１１５４は、読み出されたエントリに含まれる参照ピクチャタイプがカレントブロックの参照ピクチャタイプと同一である場合、選択部１１５２から参照インデックス「０」の参照画像特定情報を取得する。

一方、エントリに含まれる参照ピクチャタイプがカレントブロックの参照ピクチャタイプと異なる場合、予測画像生成部１１５４は、選択部１１５２から参照インデックス「０」以外の参照インデックスの参照画像特定情報を取得する。予測画像生成部１１５４は、取得された参照画像特定情報で特定される参照画像を、選択部１１３０を介してデコードピクチャバッファ１０２２から取得する。

予測画像生成部１１５４は、エントリに含まれる動き視差ベクトルに基づいて、読み出された参照画像に補償処理を施し、予測画像を生成する。予測画像生成部１１５４は、生成された予測画像を選択部１１３３に供給する。

（画像復号装置の処理の説明）
図１０は、図７の画像復号装置１１００の画像生成処理を説明するフローチャートである。この画像生成処理は、例えば、画像符号化装置１０００から符号化ストリームが送信されてきたとき、開始される。

ステップＳ１２２１において、画像復号装置１１００の受け取り部１１０１は、画像符号化装置１０００から伝送されてくる符号化ストリームを受け取り、抽出部１１０２に供給する。

ステップＳ１２２２において、抽出部１１０２は、受け取り部１１０１から供給される符号化ストリームから、制限識別情報を含むＳＰＳ，ＰＰＳ等のパラメータセットと符号化データを抽出し、復号部１１０３に供給する。

ステップＳ１２２３において、復号部１１０３は、抽出部１１０２から供給される符号化データに対して、視点ごとに画像符号化装置１０００に対応する方式で復号処理を行う。この復号処理の詳細は、後述する図１１を参照して説明する。ステップＳ１２２３の処理後、処理は終了する。

図１１は、図１０のステップＳ１２２３の復号処理の詳細を説明するフローチャートである。この復号処理は、多視点画像の符号化データに対して視点ごとに行われる。

ステップＳ１２４１において、蓄積バッファ１１２１は、抽出部１１０２から供給される符号化データを蓄積する。ステップＳ１２４２において、可逆復号部１１２２は、蓄積バッファ１１２１から供給される符号化データを可逆復号する。可逆復号部１１２２は、復号して得られた量子化された直交変換係数を、逆量子化部１１２３に供給する。

また、可逆復号部１１２２は、符号化データを復号して得られたイントラ予測情報をイントラ予測部１１３１に供給し、インター予測情報等を動き視差補償部１１３２に供給する。可逆復号部１１２２は、符号化データを復号して得られたフィルタ係数等をループフィルタ１１２６に供給する。

ステップＳ１２４３において、逆量子化部１１２３は、可逆復号部１１２２から供給される量子化された直交変換係数を、図２の量子化部１０１５の量子化方式に対応する方式で逆量子化し、得られた直交変換係数を逆直交変換部１１２４に供給する。

ステップＳ１２４４において、逆直交変換部１１２４は、図２の直交変換部１０１４の直交変換方式に対応する方式で逆量子化部１１２３から供給される直交変換係数を逆直交変換する。逆直交変換部１１２４は、この逆直交変換により差分情報を得て、演算部１１２５に供給する。

ステップＳ１２４５において、イントラ予測部１１３１は、可逆復号部１１２２からイントラ予測情報が供給されたとき、イントラ予測情報に基づいてイントラ予測処理を行う。また、動き視差補償部１１３２は、可逆復号部１１２２からインター予測情報が供給されたとき、インター予測情報と抽出部１１０２からの制限識別情報に基づいてインター予測処理を行う。イントラ予測処理またはインター予測処理の結果得られる予測画像は、選択部１１３３を介して演算部１１２５に供給される。

ステップＳ１２４６において、演算部１１２５は、差分情報を予測画像と加算し、再構成画像を生成する。

ステップＳ１２４７において、ループフィルタ１１２６は、可逆復号部１１２２から供給されるフィルタ係数等を用いて、演算部１１２５により生成された再構成画像に対してフィルタ処理を行う。これにより、復号画像が生成される。

ステップＳ１２４８において、画面並べ替えバッファ１１２７は、ループフィルタ１１２６により生成された復号画像の並べ替えを行う。すなわち符号化部１００１の画面並べ替えバッファ１０１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ１２４９において、D/A変換部１１２８は、画面並べ替えバッファ１１２７により並べ替えられた復号画像をD/A変換する。この復号画像が図示せぬディスプレイに出力され、表示される。

ステップＳ１２５０において、デコードピクチャバッファ１１２９と多視点デコードピクチャバッファ１１３４は、ループフィルタ１１２６により生成された復号画像等を記憶する。この復号画像は、インター予測処理において参照画像として利用される。また、デコードピクチャバッファ１１２９は、演算部１１２５により生成された再構成画像等を記憶する。この再構成画像は、イントラ予測処理において周辺画像として利用される。

ステップＳ１２５０の処理が終了すると、処理は図１０のステップＳ１２２３に戻り、処理は終了する。

図１２は、図１１のステップＳ１２４５の予測処理のうちのマージモードのインター予測処理であるマージインター予測処理を説明するフローチャートである。このマージインター予測処理は、マージモードで多視点画像を復号するときにピクチャ単位で行われる。

図１２のステップＳ１３０１において、マージインター予測部１１５０の参照リスト生成部１１５１（図９）は、抽出部１１０２から供給される制限識別情報（restricted_ref_pic_lists_flag）が１であるかどうかを判定する。ステップＳ１３０１で制限識別情報が１であると判定された場合、処理はステップＳ１３０２に進む。

ステップＳ１３０２において、参照リスト生成部１１５１は、可逆復号部１１２２から供給される参照リストを生成するための情報に基づいて、ピクチャ単位の参照リストを生成し、保持する。

ステップＳ１３０３において、選択部１１５２は、参照リスト生成部１１５１により生成された参照リストＬ０の中で、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの参照インデックスの最小値を探索する。

ステップＳ１３０４において、選択部１１５２は、参照リスト生成部１０３１により参照リストＬ１が生成された場合、参照リストＬ０の場合と同様に、参照リストＬ１の中で、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの参照インデックスの最小値を探索する。

以降のステップＳ１３０５，Ｓ１３０６，Ｓ１３０９、およびＳ１３１０の処理は、インター予測情報が示す最適なインター予測モードの予測ブロック単位で行われる。

ステップＳ１３０５において、マージ候補リスト生成部１１５３は、全てのコロケーテッドブロックの参照ピクチャタイプとともに、対応する動き視差ベクトルを予測ベクトルの候補としてエントリに登録するマージ候補リストを生成し、保持する。

ステップＳ１３０６において、予測画像生成部１１５４は、カレントブロックの参照ピクチャタイプと、インター予測情報に含まれるベクトルインデックスのマージ候補リストのエントリに含まれるコロケーテッドブロックの参照ピクチャタイプとが、一致するかどうかを判定する。そして、予測画像生成部１０３４は、参照ピクチャタイプが異なる場合、選択部１１５２から供給される参照画像特定情報のうちの０以外の参照インデックスの参照画像特定情報を、カレントブロックの参照画像特定情報として選択する。

一方、参照ピクチャタイプが同一である場合、予測画像生成部１１５４は、選択部１１５２から供給される参照画像特定情報のうちの、参照インデックス「０」の参照画像特定情報を、カレントブロックの参照画像特定情報として選択する。

そして、処理は、ステップＳ１３１０に進む。

一方、ステップＳ１３０１で、制限識別情報が１ではないと判定された場合、即ち、制限識別情報が０である場合、ステップＳ１３０７において、参照リスト生成部１１５１は、可逆復号部１１２２から供給される参照リストを生成するための情報に基づいて、スライス単位の参照リストを生成し、保持する。

ステップＳ１３０８において、選択部１１５２は、生成された参照リストの参照インデックス「０」の参照画像特定情報を予測画像生成部１１５４に供給する。予測画像生成部１１５４は、その参照画像特定情報をカレントブロックの参照画像特定情報とする。

ステップＳ１３０９において、マージ候補リスト生成部１１５３は、カレントブロックの参照ピクチャタイプと、各コロケーテッドブロックの参照ピクチャタイプが一致するかどうかを判定する。そして、マージ候補リスト生成部１１５３は、コロケーテッドブロックの参照ピクチャタイプがカレントブロックの参照ピクチャタイプと異なるときに、そのコロケーテッドブロックの動き視差ベクトルを、予測ベクトルの候補から除外して、マージ候補リストを生成し、保持する。そして、処理はステップＳ１３１０に進む。

ステップＳ１３１０において、予測画像生成部１１５４は、カレントブロックの参照画像特定情報で特定される参照画像と、インター予測情報に含まれるベクトルインデックスのマージ候補リストのエントリに含まれる予測ベクトルとに基づいて、予測画像を生成する。そして、処理を終了する。

非特許文献２の発明では、スライス単位で、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの最小の参照インデックスの探索が行われる。HEVC規格では、スライスは最大で６００スライスまで分割できる。また、参照インデックスの数は、各リストで最大で１６枚指定することができる。従って、非特許文献２の探索処理における探索回数は、Worst caseで、600(スライス枚数)x [15(L0の参照インデックス１６枚-1(インデックス1から探索するため))+15((L1の参照インデックス１６枚-1(インデックス1から探索するため)))]=18,000回となる。

これに対して、第１の実施の形態では、制限識別情報が１である場合にのみ、ピクチャ単位で、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの最小の参照インデックスの探索を行う。これにより、ワーストケースの探索回数が、1/600倍の30回に削減できる。

＜２．第２の実施の形態＞
（画像符号化装置の構成例）
図１３は、本開示を適用した画像処理装置としての画像符号化装置の第２実施の形態の構成例を示すブロック図である。

図１３の画像符号化装置１３００は、符号化部１３０１、設定部１３０２、および伝送部１３０３により構成される。画像符号化装置１３００は、参照リストが変更されることを識別する変更識別情報（lists_modification_present_flag）に基づいて、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの最小の参照インデックスの探索を行う。

具体的には、画像符号化装置１３００の符号化部１３０１は、外部から入力される多視点画像に対して、イントラ符号化、または、動き予測または視差予測によるインター符号化を行う。インター符号化時、符号化部１３０１は、設定部１３０２から供給される変更識別情報を参照する。

より詳細には、変更識別情報が、参照リストが変更されることを表す１である場合、符号化部１３０１は、マージモード時に、非特許文献２に記載されている方法でマージのTMVPを行う。即ち、符号化部１３０１は、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの参照インデックスの最小値の探索を行う。

一方、変更識別情報が、参照リストが変更されないことを表す０である場合、符号化部１３０１は、マージモード時に、参照インデックスの最小値の探索を行わず、所定の参照インデックスを、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの参照インデックスとする。符号化部１３０１は、符号化の結果得られる符号化データを設定部１３０２に供給する。

設定部１３０２は、ユーザ入力等に基づいて、変更識別情報、Short-termピクチャの数を含むRPS（Reference Picture Set）、Long-termピクチャの数、参照画像の数等を設定し、符号化部１３０１に供給する。Short-termピクチャとは、参照ピクチャタイプがShort-termである参照画像であり、Long-termピクチャとは、参照ピクチャタイプがLong-termである参照画像である。

設定部１３０２は、Long-termピクチャの数、参照画像の数等を含むSPS、変更識別情報を含むPPS等を設定する。設定部１３０２は、符号化部１３０１から供給される符号化データに、SPS,PPS，RPS等のパラメータセットを付加して符号化ストリームを生成し、伝送部１３０３に供給する。

伝送部１３０３は、設定部１３０２から供給される符号化ストリームを後述する復号装置に伝送する。

（符号化部の構成例）
図１３の符号化部１３０１の構成は、動き視差予測・補償部１０２５のマージインター予測部を除いて、図２の符号化部１００１の構成と同一である。従って、ここでは、符号化部１３０１のマージインター予測部の構成についてのみ説明する。

（マージインター予測部の構成例）
図１４は、図１３の符号化部１３０１のマージインター予測部１３２０の構成を示すブロック図である。

図１４に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１４のマージインター予測部１３２０の構成は、参照リスト生成部１０３１、選択部１０３２、マージ候補リスト生成部１０３３の代わりに、参照リスト生成部１３２１、選択部１３２２、マージ候補リスト生成部１３２３が設けられる点が、図３のマージインター予測部１０３０の構成と異なる。

マージインター予測部１３２０の参照リスト生成部１３２１は、スライス単位で参照リストを生成し、保持する。参照リストの生成方法としては、参照リスト生成部１０３１と同様の方法を用いることができる。

選択部１３２２は、参照リスト生成部１３２１に保持されている参照リストから、参照インデックス「０」の参照画像特定情報を検出し、予測画像生成部１０３４に供給する。また、選択部１３２２は、設定部１３０２からの変更識別情報が１である場合、参照リストから、参照インデックス「０」の参照ピクチャタイプとは異なる参照ピクチャタイプの参照インデックスの最小値を選択する。選択部１０３２は、その参照インデックスの参照画像特定情報を予測画像生成部１０３４に供給する。

一方、変更識別情報が０である場合、選択部１３２２は、設定部１３０２からのRPS、Long-termピクチャの数、参照画像の数等に基づいて、参照インデックス「０」と異なる参照ピクチャタイプに対応する参照インデックスの最小値を決定する。選択部１０３２は、その参照インデックスの参照画像特定情報を参照リストから検出し、予測画像生成部１０３４に供給する。

マージ候補リスト生成部１３２３は、全てのコロケーテッドブロックの参照ピクチャタイプとともに、対応する動き視差ベクトルを予測ベクトルの候補としてエントリに登録するマージ候補リストを生成する。マージ候補リスト生成部１０３３は、生成されたマージ候補リストを保持する。

（画像符号化装置の処理の説明）
図１５は、図１３の画像符号化装置１３００のストリーム生成処理を説明するフローチャートである。このストリーム生成処理は、多視点画像が入力されたとき、開始される。

ステップＳ１３２１において、画像符号化装置１３００の符号化部１３０１は、設定部１３０２から供給される変更識別情報に基づいて各視点の画像を符号化する符号化処理を行う。この符号化処理の詳細は後述する。

ステップS１３２２において、設定部１３０２は、ユーザ入力等に基づいて、変更識別情報を設定して符号化部１３０１に供給するとともに、変更識別情報を含むPPSを設定する。また、設定部１３０２は、Long-termピクチャの数、参照画像の数を設定して符号化部１３０１に供給するとともに、Long-termピクチャの数、参照画像の数等を含むSPSを設定する。さらに、設定部１３０２は、Short-termピクチャの数を含むRPSを設定し、符号化部１３０１に供給する。

ステップＳ１３２３において、設定部１３０２は、符号化部１３０１から供給される符号化データに、SPS,PPS,RPS等のパラメータセットを付加して符号化ストリームを生成し、伝送部１３０３に供給する。

ステップＳ１３２４において、伝送部１３０３は、設定部１３０２から供給される符号化ストリームを後述する復号装置に伝送し、処理を終了する。

図１５のステップＳ１３２１の符号化処理は、マージインター予測処理を除いて図５の符号化処理と同様である。従って、以下では、マージインター予測処理についてのみ説明する。

図１６は、画像符号化装置１３００のマージインター予測部１３２０（図１４）により実行されるマージインター予測処理を説明するフローチャートである。このマージインター予測処理は、マージモードで多視点画像を符号化するときにスライス単位で行われる。

図１６のステップＳ１４００において、マージインター予測部１３２０の参照リスト生成部１３２１は、参照リストを生成し、保持する。この参照リストを生成するための情報は、例えば、符号化され、ヘッダ情報の一部として符号化データに含まれる。

ステップＳ１４０１において、選択部１３２２は、設定部１３０２から供給される変更識別情報（lists_modification_present_flag）が、参照リストが変更されないことを表す０であるかどうかを判定する。

ステップＳ１４０１で変更識別情報が０であると判定された場合、処理はステップＳ１４０２に進む。ステップＳ１４０２において、選択部１３２２は、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの参照インデックスの最小値を特定する参照インデックス特定処理を行う。この参照インデックス特定処理の詳細は、図１７を参照して後述する。ステップＳ１４０２の処理後、処理は、ステップＳ１４０５に進む。

一方、ステップＳ１４０１で変更識別情報が０ではないと判定された場合、即ち変更識別情報が１である場合、処理はステップＳ１４０３に進む。ステップＳ１４０３乃至Ｓ１４０９の処理は、図６のＳ１２０３乃至Ｓ１２０６およびＳ１２１０乃至Ｓ１２１２の処理と同様であるので、説明は省略する。ステップＳ１４０９の処理後、処理は終了する。

図１７は、図１６のステップＳ１４０２の参照インデックス特定処理の詳細を説明するフローチャートである。

図１７のステップＳ１４５１において、選択部１３２２は、設定部１３０２から供給されるRPSに含まれるShort-termピクチャの数を取得する。ステップＳ１４５２において、選択部１３２２は、設定部１３０２から供給されるSPSに含まれるLong-termピクチャの数を取得する。なお、Long-termピクチャの数は、スライスヘッダに含まれてもよい。

ステップＳ１４５３において、選択部１３２２は、設定部１３０２から供給されるPPSに含まれる参照画像の数を取得する。なお、参照画像の数は、スライスヘッダに含まれてもよい。また、以降のステップＳ１４５４乃至Ｓ１４５７の処理は、参照リストＬ０と参照リストＬ１のそれぞれについて行われる。

ステップＳ１４５４において、選択部１３２２は、参照画像の枚数が２枚以上であるかどうかを判定する。ステップＳ１４５４で参照画像の枚数が２枚以上であると判定された場合、ステップＳ１４５５において、選択部１３２２は、Long-termピクチャの枚数が１枚以上であるかどうかを判定する。

ステップＳ１４５５でLong-termピクチャの枚数が１枚以上であると判定された場合、ステップＳ１４５６において、選択部１３２２は、Short-termピクチャの数が１枚以上であるかどうかを判定する。

ステップＳ１４５６でShort-termピクチャの数が１枚以上であると判定された場合、ステップＳ１４５７において、選択部１３２２は、Short-termピクチャの総数が、参照画像の枚数より小さいかどうかを判定する。

ステップＳ１４５７でShort-termピクチャの総数が、参照画像の枚数より小さいと判定された場合、即ち、参照リストにShort-termピクチャとLong-termピクチャの両方の参照画像特定情報が登録されている場合、処理はステップＳ１４５８に進む。ステップＳ１４５８において、選択部１３２２は、最初のLong-termピクチャの参照インデックスを取得する。

ここで、変更識別情報が０である場合、図１８に示すように、Short-term、Long-termの順で、小さな参照インデックスが割り当てられている。従って、参照インデックス０は必ずShort-termであるので、選択部１３２２は、最初のLong-termピクチャの参照インデックスを検索すればよい。RPSから参照リスト内のShort-termピクチャの数が分かるので、選択部１３２２は、その数を、一番小さな参照インデックスを持つ最初のLong-termピクチャの参照インデックスとして取得する。選択部１３２２は、その参照インデックスと参照インデックス「０」の参照画像特定情報を予測画像生成部１０３４に供給する。そして、処理は、図１６のステップＳ１４０２に戻り、ステップＳ１４０５に進む。

一方、ステップＳ１４５４乃至Ｓ１４５７の処理でNoと判定された場合、処理は、ステップＳ１４５９に進む。

ステップＳ１４５９において、選択部１３２２は、生成された参照リストの参照インデックス「０」の参照画像特定情報を予測画像生成部１０３４に供給する。予測画像生成部１０３４は、その参照画像特定情報をカレントブロックの参照画像特定情報とする。

ステップＳ１４６０において、マージ候補リスト生成部１３２３は、参照インデックス「０」の参照ピクチャタイプと各コロケーテッドブロックの参照ピクチャタイプが一致するかどうかを判定する。そして、マージ候補リスト生成部１３２３は、コロケーテッドブロックの参照ピクチャタイプが参照インデックス「０」の参照ピクチャタイプと異なるときに、そのコロケーテッドブロックの動き視差ベクトルを、予測ベクトルの候補から除外して、マージ候補リストを生成する。そして、処理は図１６のステップＳ１４０７に進み、以降の処理が行われる。

（復号装置の構成例）
図１９は、図１３の画像符号化装置１３００から伝送されてくる符号化ストリームを復号する、本開示を適用した画像処理装置としての画像復号装置の第２実施の形態の構成例を示すブロック図である。

図１９の画像復号装置１４００は、受け取り部１４０１、抽出部１４０２、および復号部１４０３により構成される。

画像復号装置１４００の受け取り部１４０１は、画像符号化装置１３００から伝送されてくる符号化ストリームを受け取り、抽出部１４０２に供給する。

抽出部１４０２は、受け取り部１４０１から供給される符号化ストリームから、ＳＰＳ，変更識別情報を含むＰＰＳ，ＲＰＳ等のパラメータセットと符号化データを抽出し、復号部１４０３に供給する。

復号部１４０３は、抽出部１４０２から供給される符号化データに対して、画像符号化装置１３００に対応する方式で、イントラ復号、または、動き予測または視差予測によるインター復号を行う。具体的には、復号部１１０３は、抽出部１１０２から供給されるＰＰＳに含まれる変更識別情報が１である場合、マージモード時に、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの参照インデックスの探索を行う。

一方、変更識別情報が０である場合、符号化部１３０１は、マージモード時に、参照インデックスの探索を行わず、所定の参照インデックスを、参照インデックス「０」の参照ピクチャタイプと異なる参照ピクチャタイプの参照インデックスとする。復号部１４０３は、復号の結果得られる多視点画像を出力する。

（復号部の構成例）
図１９の復号部１４０３の構成は、動き視差補償部１１３２のマージインター予測部を除いて、図８の復号部１１０３の構成と同一である。従って、ここでは、復号部１４０３のマージインター予測部の構成についてのみ説明する。

（マージインター予測部の構成例）
図２０は、図１９の復号部１４０３のマージインター予測部１４２０の構成を示すブロック図である。

図２０に示す構成のうち、図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２０のマージインター予測部１４２０の構成は、参照リスト生成部１１５１、選択部１１５２、マージ候補リスト生成部１１５３の代わりに、参照リスト生成部１４２１、選択部１４２２、マージ候補リスト生成部１４２３が設けられる点が、図９のマージインター予測部１１５０の構成と異なる。

マージインター予測部１４２０の参照リスト生成部１４２１は、可逆復号部１１２２から供給される参照リストを生成するための情報に基づいて、図１４の参照リスト生成部１３２１で生成される参照リストと同一の参照リストをスライス単位で生成する。参照リストは、参照リスト生成部１４２１に保持される。

選択部１４２２は、抽出部１１０２からの変更識別情報に基づいて、図１４の選択部１３２２と同様に、参照リストから参照インデックス「０」の参照ピクチャタイプとは異なる参照ピクチャタイプの参照インデックスの最小値を選択する。選択部１４２２は、選択された参照インデックスの参照画像特定情報と参照インデックス「０」の参照画像特定情報を予測画像生成部１１５４に供給する。

マージ候補リスト生成部１４２３は、可逆復号部１１２２からのインター予測情報が示すインター予測モードの予測ブロックについて、図１４のマージ候補リスト生成部１３２３と同様にマージ候補リストを生成する。マージ候補リスト生成部１４２３は、生成されたマージ候補リストを保持する。

（画像復号装置の処理の説明）
図２１は、図１９の画像復号装置１４００の画像生成処理を説明するフローチャートである。この画像生成処理は、例えば、画像符号化装置１３００から符号化ストリームが送信されてきたとき、開始される。

ステップＳ１４７１において、画像復号装置１４００の受け取り部１４０１は、画像符号化装置１３００から伝送されてくる符号化ストリームを受け取り、抽出部１４０２に供給する。

ステップＳ１４７２において、抽出部１４０２は、受け取り部１４０１から供給される符号化ストリームから、ＳＰＳ，変更識別情報を含むＰＰＳ，ＲＰＳ等のパラメータセットと符号化データを抽出し、復号部１４０３に供給する。

ステップＳ１４７３において、復号部１４０３は、抽出部１４０２から供給される符号化データに対して、視点ごとに画像符号化装置１３００に対応する方式で復号処理を行う。この復号処理の詳細は後述する。ステップＳ１４７３の処理後、処理は終了する。

図２１のステップＳ１４７３の復号処理は、マージインター予測処理を除いて図１１の復号処理と同様である。従って、以下では、マージインター予測処理についてのみ説明する。

図２２は、図２０のマージインター予測部１４２０により実行されるマージインター予測処理を説明するフローチャートである。このマージインター予測処理は、マージモードで多視点画像を復号するときにスライス単位で行われる。

図２２のステップＳ１５００において、マージインター予測部１４２０の参照リスト生成部１４２１は、可逆復号部１１２２から供給される参照リストを生成するための情報に基づいて参照リストを生成し、保持する。

ステップＳ１４０１において、選択部１４２２は、抽出部１４０２から供給される変更識別情報（lists_modification_present_flag）が０であるかどうかを判定する。ステップＳ１５０１で変更識別情報が０であると判定された場合、処理はステップＳ１５０２に進む。

ステップＳ１５０２において、選択部１４２２は、図１７の参照インデックス特定処理を行う。但し、ステップＳ１４６０の処理は、インター予測情報が示す最適なインター予測モードの予測ブロック単位で行われる。ステップＳ１５０２の処理後、処理はステップＳ１５０５に進む。

ステップＳ１５０１で変更識別情報が１であると判定された場合、処理はステップＳ１５０３に進む。ステップＳ１５０３乃至Ｓ１５０７の処理は、図１２のステップＳ１３０３乃至Ｓ１３０６およびＳ１３１０の処理と同様であるので、説明は省略する。ステップＳ１５０７の処理後、処理は終了する。

以上のように、第２実施の形態では、変更識別情報が０である場合、参照インデックスを探索せずに、参照インデックス特定処理により参照インデックスを特定するので、処理量を削減することができる。

なお、第１実施の形態と第２実施の形態を組み合わせることもできる。この場合、制限識別情報と変更識別情報に基づいてマージインター予測処理が行われる。また、第２実施の形態において、参照リストはピクチャ単位で生成されるようにしてもよい。

また、上述した一連の処理は、階層画像符号化(空間スケーラビリティ)・階層画像復号（マルチレイヤのエンコーダ・デコーダ）にも適用することができる。つまり、階層画像符号化・階層画像復号を行う場合においても、処理量を削減することができる。

また、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本技術は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。

＜３．第３の実施の形態＞
（コンピュータの構成例）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

図２３において、パーソナルコンピュータ１７００のCPU（Central Processing Unit）１７０１は、ROM（Read Only Memory）１７０２に記憶されているプログラム、または記憶部１７１３からRAM（Random Access Memory）１７０３にロードされたプログラムに従って各種の処理を実行する。RAM１７０３にはまた、CPU１７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１７０１、ROM１７０２、およびRAM１７０３は、バス１７０４を介して相互に接続されている。このバス１７０４にはまた、入出力インタフェース１７１０も接続されている。

入出力インタフェース１７１０には、キーボード、マウスなどよりなる入力部１７１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部１７１２、ハードディスクなどより構成される記憶部１７１３、モデムなどより構成される通信部１７１４が接続されている。通信部１７１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース１７１０にはまた、必要に応じてドライブ１７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１７１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア１７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM１７０２や、記憶部１７１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

＜４．第４の実施の形態＞
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

（第１の応用例：テレビジョン受像機）
図２４は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置１９００は、アンテナ１９０１、チューナ１９０２、デマルチプレクサ１９０３、デコーダ１９０４、映像信号処理部１９０５、表示部１９０６、音声信号処理部１９０７、スピーカ１９０８、外部インタフェース１９０９、制御部１９１０、ユーザインタフェース１９１１、及びバス１９１２を備える。

チューナ１９０２は、アンテナ１９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ１９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ１９０３へ出力する。即ち、チューナ１９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置１９００における伝送部としての役割を有する。

デマルチプレクサ１９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ１９０４へ出力する。また、デマルチプレクサ１９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部１９１０に供給する。なお、デマルチプレクサ１９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ１９０４は、デマルチプレクサ１９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ１９０４は、復号処理により生成される映像データを映像信号処理部１９０５へ出力する。また、デコーダ１９０４は、復号処理により生成される音声データを音声信号処理部１９０７へ出力する。

映像信号処理部１９０５は、デコーダ１９０４から入力される映像データを再生し、表示部１９０６に映像を表示させる。また、映像信号処理部１９０５は、ネットワークを介して供給されるアプリケーション画面を表示部１９０６に表示させてもよい。また、映像信号処理部１９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部１９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部１９０６は、映像信号処理部１９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部１９０７は、デコーダ１９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ１９０８から音声を出力させる。また、音声信号処理部１９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース１９０９は、テレビジョン装置１９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース１９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ１９０４により復号されてもよい。即ち、外部インタフェース１９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置１９００における伝送部としての役割を有する。

制御部１９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置１９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース１９１１から入力される操作信号に応じて、テレビジョン装置１９００の動作を制御する。

ユーザインタフェース１９１１は、制御部１９１０と接続される。ユーザインタフェース１９１１は、例えば、ユーザがテレビジョン装置１９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース１９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１９１０へ出力する。

バス１９１２は、チューナ１９０２、デマルチプレクサ１９０３、デコーダ１９０４、映像信号処理部１９０５、音声信号処理部１９０７、外部インタフェース１９０９及び制御部１９１０を相互に接続する。

このように構成されたテレビジョン装置１９００において、デコーダ１９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置１９００での画像の復号に際して、処理量を削減することができる。

（第２の応用例：携帯電話機）
図２５は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機１９２０は、アンテナ１９２１、通信部１９２２、音声コーデック１９２３、スピーカ１９２４、マイクロホン１９２５、カメラ部１９２６、画像処理部１９２７、多重分離部１９２８、記録再生部１９２９、表示部１９３０、制御部１９３１、操作部１９３２、及びバス１９３３を備える。

アンテナ１９２１は、通信部１９２２に接続される。スピーカ１９２４及びマイクロホン１９２５は、音声コーデック１９２３に接続される。操作部１９３２は、制御部１９３１に接続される。バス１９３３は、通信部１９２２、音声コーデック１９２３、カメラ部１９２６、画像処理部１９２７、多重分離部１９２８、記録再生部１９２９、表示部１９３０、及び制御部１９３１を相互に接続する。

携帯電話機１９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン１９２５により生成されるアナログ音声信号は、音声コーデック１９２３に供給される。音声コーデック１９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック１９２３は、圧縮後の音声データを通信部１９２２へ出力する。通信部１９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部１９２２は、生成した送信信号を、アンテナ１９２１を介して基地局（図示せず）へ送信する。また、通信部１９２２は、アンテナ１９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部１９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック１９２３へ出力する。音声コーデック１９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック１９２３は、生成した音声信号をスピーカ１９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部１９３１は、操作部１９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部１９３１は、文字を表示部１９３０に表示させる。また、制御部１９３１は、操作部１９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部１９２２へ出力する。通信部１９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部１９２２は、生成した送信信号を、アンテナ１９２１を介して基地局（図示せず）へ送信する。また、通信部１９２２は、アンテナ１９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部１９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部１９３１へ出力する。制御部１９３１は、表示部１９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部１９２９の記憶媒体に記憶させる。

記録再生部１９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部１９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部１９２７へ出力する。画像処理部１９２７は、カメラ部１９２６から入力される画像データを符号化し、符号化ストリームを記録再生部１９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部１９２８は、画像処理部１９２７により符号化された映像ストリームと、音声コーデック１９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部１９２２へ出力する。通信部１９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部１９２２は、生成した送信信号を、アンテナ１９２１を介して基地局（図示せず）へ送信する。また、通信部１９２２は、アンテナ１９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部１９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部１９２８へ出力する。多重分離部１９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部１９２７、音声ストリームを音声コーデック１９２３へ出力する。画像処理部１９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部１９３０に供給され、表示部１９３０により一連の画像が表示される。音声コーデック１９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック１９２３は、生成した音声信号をスピーカ１９２４に供給して音声を出力させる。

このように構成された携帯電話機１９２０において、画像処理部１９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機１９２０での画像の符号化及び復号に際して、処理量を削減することができる。

（第３の応用例：記録再生装置）
図２６は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置１９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置１９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置１９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置１９４０は、音声データ及び映像データを復号する。

記録再生装置１９４０は、チューナ１９４１、外部インタフェース部１９４２、エンコーダ１９４３、HDD（Hard Disk Drive）１９４４、ディスクドライブ１９４５、セレクタ１９４６、デコーダ１９４７、OSD（On-Screen Display）部１９４８、制御部１９４９、及びユーザインタフェース部１９５０を備える。

チューナ１９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ１９４１は、復調により得られた符号化ビットストリームをセレクタ１９４６へ出力する。即ち、チューナ１９４１は、記録再生装置１９４０における伝送部としての役割を有する。

外部インタフェース部１９４２は、記録再生装置１９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース部１９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部１９４２を介して受信される映像データ及び音声データは、エンコーダ１９４３へ入力される。即ち、外部インタフェース部１９４２は、記録再生装置１９４０における伝送部としての役割を有する。

エンコーダ１９４３は、外部インタフェース部１９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ１９４３は、符号化ビットストリームをセレクタ１９４６へ出力する。

HDD１９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD１９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ１９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ１９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ１９４６は、映像及び音声の記録時には、チューナ１９４１又はエンコーダ１９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD１９４４又はディスクドライブ１９４５へ出力する。また、セレクタ１９４６は、映像及び音声の再生時には、HDD１９４４又はディスクドライブ１９４５から入力される符号化ビットストリームをデコーダ１９４７へ出力する。

デコーダ１９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ１９４７は、生成した映像データをOSD部１９４８へ出力する。また、デコーダ１９０４は、生成した音声データを外部のスピーカへ出力する。

OSD部１９４８は、デコーダ１９４７から入力される映像データを再生し、映像を表示する。また、OSD部１９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部１９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置１９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部１９５０から入力される操作信号に応じて、記録再生装置１９４０の動作を制御する。

ユーザインタフェース部１９５０は、制御部１９４９と接続される。ユーザインタフェース部１９５０は、例えば、ユーザが記録再生装置１９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部１９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１９４９へ出力する。

このように構成された記録再生装置１９４０において、エンコーダ１９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ１９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置１９４０での画像の符号化及び復号に際して、処理量を削減することができる。

（第４の応用例：撮像装置）
図２７は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置１９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置１９６０は、光学ブロック１９６１、撮像部１９６２、信号処理部１９６３、画像処理部１９６４、表示部１９６５、外部インタフェース１９６６、メモリ１９６７、メディアドライブ１９６８、OSD１９６９、制御部１９７０、ユーザインタフェース１９７１、及びバス１９７２を備える。

光学ブロック１９６１は、撮像部１９６２に接続される。撮像部１９６２は、信号処理部１９６３に接続される。表示部１９６５は、画像処理部１９６４に接続される。ユーザインタフェース１９７１は、制御部１９７０に接続される。バス１９７２は、画像処理部１９６４、外部インタフェース１９６６、メモリ１９６７、メディアドライブ１９６８、OSD１９６９、及び制御部１９７０を相互に接続する。

光学ブロック１９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック１９６１は、被写体の光学像を撮像部１９６２の撮像面に結像させる。撮像部１９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部１９６２は、画像信号を信号処理部１９６３へ出力する。

信号処理部１９６３は、撮像部１９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部１９６３は、カメラ信号処理後の画像データを画像処理部１９６４へ出力する。

画像処理部１９６４は、信号処理部１９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部１９６４は、生成した符号化データを外部インタフェース１９６６又はメディアドライブ１９６８へ出力する。また、画像処理部１９６４は、外部インタフェース１９６６又はメディアドライブ１９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部１９６４は、生成した画像データを表示部１９６５へ出力する。また、画像処理部１９６４は、信号処理部１９６３から入力される画像データを表示部１９６５へ出力して画像を表示させてもよい。また、画像処理部１９６４は、OSD１９６９から取得される表示用データを、表示部１９６５へ出力する画像に重畳してもよい。

OSD１９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部１９６４へ出力する。

外部インタフェース１９６６は、例えばUSB入出力端子として構成される。外部インタフェース１９６６は、例えば、画像の印刷時に、撮像装置１９６０とプリンタとを接続する。また、外部インタフェース１９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置１９６０にインストールされ得る。さらに、外部インタフェース１９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース１９６６は、撮像装置１９６０における伝送部としての役割を有する。

メディアドライブ１９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ１９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部１９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置１９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース１９７１から入力される操作信号に応じて、撮像装置１９６０の動作を制御する。

ユーザインタフェース１９７１は、制御部１９７０と接続される。ユーザインタフェース１９７１は、例えば、ユーザが撮像装置１９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース１９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１９７０へ出力する。

このように構成された撮像装置１９６０において、画像処理部１９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置１９６０での画像の符号化及び復号に際して、処理量を削減することができる。

なお、本明細書では、制限識別情報や変更識別情報などの様々な情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本開示は、以下のような構成もとることができる。

（１）
カレントピクチャの参照ピクチャを特定する参照ピクチャ特定情報のリストである参照リストが前記カレントピクチャ内で共通に用いられることを識別する制限識別情報に基づいて、前記参照リストに含まれる前記参照ピクチャ特定情報が表す前記参照ピクチャから参照ピクチャタイプが異なる複数の参照ピクチャを選択する選択部と、
前記カレントピクチャと異なる時刻のコロケーテッドピクチャの動きベクトルと、前記選択部により選択された前記複数の参照ピクチャのうちの前記コロケーテッドピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャとに基づいて、前記カレントピクチャの予測画像を生成する予測画像生成部と
を備える画像処理装置。
（２）
前記選択部は、前記制限識別情報が、前記参照リストが前記カレントピクチャ内で共通に用いられることを表す場合、前記カレントピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャと、前記カレントピクチャの参照ピクチャタイプとは異なる参照ピクチャタイプの参照ピクチャとを選択する
前記（１）に記載の画像処理装置。
（３）
前記選択部は、前記参照リストのインデックスが０である参照ピクチャ特定情報が表す、前記カレントピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャと、前記参照リストのインデックスが０以外である参照ピクチャ特定情報が表す、前記カレントピクチャの参照ピクチャタイプとは異なる参照ピクチャタイプの参照ピクチャとを選択する
前記（２）に記載の画像処理装置。
（４）
前記選択部は、前記参照リストのインデックスが０以外である参照ピクチャ特定情報が表す、前記カレントピクチャの参照ピクチャタイプとは異なる参照ピクチャタイプの参照ピクチャのうちの、前記インデックスが最小となる参照ピクチャを選択する
前記（３）に記載の画像処理装置。
（５）
前記選択部は、前記参照リストが変更されることを識別する変更識別情報に基づいて、前記参照リストのインデックスが０である参照ピクチャ特定情報が表す、参照ピクチャタイプがShort-termである参照ピクチャと、前記参照リストに登録されている参照ピクチャタイプがShort-termである参照ピクチャの参照ピクチャ特定情報の数をインデックスとする参照ピクチャ特定情報が表す、参照ピクチャタイプがLong-termである参照ピクチャとを選択する
前記（４）に記載の画像処理装置。
（６）
前記変更識別情報は、lists_modification_present_flagである
前記（５）に記載の画像処理装置。
（７）
前記参照ピクチャタイプは、Long-termまたはShort-termである
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記制限識別情報は、restricted_ref_pic_lists_flagである
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
画像処理装置が、
カレントピクチャの参照ピクチャを特定する参照ピクチャ特定情報のリストである参照リストが前記カレントピクチャ内で共通に用いられることを識別する制限識別情報に基づいて、前記参照リストに含まれる前記参照ピクチャ特定情報が表す前記参照ピクチャから参照ピクチャタイプが異なる複数の参照ピクチャを選択する選択ステップと、
前記カレントピクチャと異なる時刻のコロケーテッドピクチャの動きベクトルと、前記選択ステップの処理により選択された前記複数の参照ピクチャのうちの前記コロケーテッドピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャとに基づいて、前記カレントピクチャの予測画像を生成する予測画像生成ステップと
画像処理方法。
（１０）
カレントピクチャの参照ピクチャを特定する参照ピクチャ特定情報のリストである参照リストが変更されることを識別する変更識別情報に基づいて、前記参照リストに含まれる前記参照ピクチャ特定情報が表す前記参照ピクチャから参照ピクチャタイプが異なる複数の参照ピクチャを選択する選択部と、
前記カレントピクチャと異なる時刻のコロケーテッドピクチャの動きベクトルと、前記選択部により選択された前記複数の参照ピクチャのうちの前記コロケーテッドピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャとに基づいて、前記カレントピクチャの予測画像を生成する予測画像生成部と
を備える画像処理装置。
（１１）
前記選択部は、前記変更識別情報が、前記参照リストが変更されないことを表す場合、前記参照リストのインデックスが０である参照ピクチャ特定情報が表す、参照ピクチャタイプがShort-termである参照ピクチャと、前記参照リストに登録されている参照ピクチャタイプがShort-termである参照ピクチャの参照ピクチャ特定情報の数をインデックスとする参照ピクチャ特定情報が表す、参照ピクチャタイプがLong-termである参照ピクチャとを選択する
前記（１０）に記載の画像処理装置。
（１２）
前記選択部は、前記参照リストに参照ピクチャタイプがLong-termである参照ピクチャの参照ピクチャ特定情報が登録されている場合、前記参照リストのインデックスが０である参照ピクチャ特定情報が表す、参照ピクチャタイプがShort-termである参照ピクチャと、前記参照リストに登録されている参照ピクチャタイプがShort-termである参照ピクチャの参照ピクチャ特定情報の数をインデックスとする参照ピクチャ特定情報が表す、参照ピクチャタイプがLong-termである参照ピクチャを選択する
前記（１１）に記載の画像処理装置。
（１３）
画像処理装置が、
カレントピクチャの参照ピクチャを特定する参照ピクチャ特定情報のリストである参照リストが変更されることを識別する変更識別情報に基づいて、前記参照リストに含まれる前記参照ピクチャ特定情報が表す前記参照ピクチャから参照ピクチャタイプが異なる複数の参照ピクチャを選択する選択ステップと、
前記カレントピクチャと異なる時刻のコロケーテッドピクチャの動きベクトルと、前記選択ステップの処理により選択された前記複数の参照ピクチャのうちの前記コロケーテッドピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャとに基づいて、前記カレントピクチャの予測画像を生成する予測画像生成ステップと
画像処理方法。

１０００ 画像符号化装置， １０３２ 選択部， １０３４ 予測画像生成部， １１００ 画像復号装置， １１５２ 選択部， １１５４ 予測画像生成部， １３００ 画像符号化装置， １３２２ 選択部， １４００ 画像復号装置， １４２２ 選択部

Claims (7)

1. カレントピクチャの参照ピクチャを特定する参照ピクチャ特定情報のリストである参照リストが前記カレントピクチャ内で共通に用いられる場合にのみ、ピクチャ単位で、前記カレントピクチャの参照ピクチャタイプと異なる参照ピクチャタイプのインデックスの最小値を探索し、前記参照リストに含まれる前記参照ピクチャ特定情報が表す前記参照ピクチャから参照ピクチャタイプが異なる複数の参照ピクチャを選択する選択部と、
   前記カレントピクチャと異なる時刻のコロケーテッドピクチャの動きベクトルと、前記選択部により選択された前記複数の参照ピクチャのうちの前記コロケーテッドピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャとに基づいて、前記カレントピクチャの予測画像を生成する予測画像生成部と
   を備える画像処理装置。
2. 前記選択部は、前記参照リストが前記カレントピクチャ内で共通に用いられる場合、前記カレントピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャと、前記カレントピクチャの参照ピクチャタイプとは異なる参照ピクチャタイプの参照ピクチャとを選択する
   請求項１に記載の画像処理装置。
3. 前記選択部は、前記参照リストのインデックスが０である参照ピクチャ特定情報が表す、前記カレントピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャと、前記参照リストのインデックスが０以外である参照ピクチャ特定情報が表す、前記カレントピクチャの参照ピクチャタイプとは異なる参照ピクチャタイプの参照ピクチャとを選択する
   請求項２に記載の画像処理装置。
4. 前記選択部は、前記参照リストのインデックスが０以外である参照ピクチャ特定情報が表す、前記カレントピクチャの参照ピクチャタイプとは異なる参照ピクチャタイプの参照ピクチャのうちの、前記インデックスが最小となる参照ピクチャを選択する
   請求項３に記載の画像処理装置。
5. 前記参照ピクチャタイプは、Long-termまたはShort-termである
   請求項１に記載の画像処理装置。
6. 前記参照リストが前記カレントピクチャ内で共通に用いられるかの識別には、restricted_ref_pic_lists_flagが用いられる
   請求項１に記載の画像処理装置。
7. 画像処理装置が、
   カレントピクチャの参照ピクチャを特定する参照ピクチャ特定情報のリストである参照リストが前記カレントピクチャ内で共通に用いられる場合にのみ、ピクチャ単位で、前記カレントピクチャの参照ピクチャタイプと異なる参照ピクチャタイプのインデックスの最小値を探索し、前記参照リストに含まれる前記参照ピクチャ特定情報が表す前記参照ピクチャから参照ピクチャタイプが異なる複数の参照ピクチャを選択する選択ステップと、
   前記カレントピクチャと異なる時刻のコロケーテッドピクチャの動きベクトルと、前記選択ステップの処理により選択された前記複数の参照ピクチャのうちの前記コロケーテッドピクチャの参照ピクチャタイプと同一の参照ピクチャタイプの参照ピクチャとに基づいて、前記カレントピクチャの予測画像を生成する予測画像生成ステップと
   画像処理方法。

Images