JP6229895B2 - 符号化装置および符号化方法、並びに、復号装置および復号方法 - Google Patents

Description

本技術は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、複数の視点の画像の符号化効率を向上させることができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。

近年、HEVC（High Efficiency Video Coding）方式を基にした３Ｄ画像の符号化方式（以下、３Ｄ符号化方式という）の規格化が進んでいる（例えば、非特許文献１および２参照）。

図１は、３Ｄ符号化方式のVPS(Video Parameter Set)のシンタックスの一例を示す図である。

図１の１０行目に示すように、VPSでは、そのVPSに対応する画像の各視点（ビュー）を一意に識別するビューＩＤ（view_id）が設定される。また、１１行目乃至１４行目に示すように、VPSでは、各視点の画像の参照画像の数（num_direct_ref_layers）と、その参照画像を特定する参照画像特定情報（ref_layer_id）とが設定される。

ビューＩＤは、例えば、視点間の参照関係を表す際に用いられ、参照画像特定情報と対応する。また、ビューＩＤは、カメラの配列とは無関係に付与することができる。具体的には、例えば、図２に示すように、３Ｄ画像が５つの視点の画像から構成され、その３Ｄ画像を撮影するカメラ１１乃至１５が、カメラ１３を中心として斜め方向に1つずつ配置される場合、ビューＩＤは、例えば、図２のＡや図２のＢに示すように付与することができる。

即ち、図２のＡに示すように、中心のカメラ１３にビューＩＤ「０」を付与し、カメラ１３の左上のカメラ１１、右上のカメラ１２、左下のカメラ１４、右下のカメラ１５に順にビューＩＤ「１」、「２」、「３」、「４」を付与することができる。また、図２のＢに示すように、カメラ１１乃至１５にラスタスキャン順にビューＩＤ「０」乃至「４」を付与することもできる。

また、図３に示すように、３Ｄ画像が５つの視点の画像から構成され、その３Ｄ画像を撮影するカメラ３１乃至３５が水平方向に左から順に並んでいる場合、ビューＩＤは、例えば、図３のＡや図３のＢに示すように付与することができる。

即ち、図３のＡに示すように、カメラ３１乃至３５の左端から順にビューＩＤ「０」乃至「４」を付与することができる。また、図３のＢに示すように、中央のカメラ３３にビューＩＤ「０」を付与し、残りのカメラに対してカメラ３３に近い順から左、右の順に、ビューＩＤ「１」乃至「４」を付与することができる。

以上のように、ビューＩＤは、カメラの配列とは無関係に付与することができるため、ユーザは、カメラの配列を意識せずに自由にビューＩＤを付与することができる。また、カメラの配列を、ビューＩＤを規則的に付与することが困難な配列にすることができる。

しかしながら、カメラの配列が１次元配列である場合であっても、端から順にビューＩＤが付与されるとは限らないため、ビューＩＤに基づいてカメラの配列を認識することはできない。従って、ビューＩＤを各視点の位置を表す情報として用いて複数の視点の画像を符号化することにより符号化効率を向上させることができなかった。

Gerhard Tech,Krzysztof Wegner,Ying Chen,Miska Hannuksela,"MV-HEVC Working Draft 1",JCT3V-A1004（version 1）,2012.8.21 Gerhard Tech,Krzysztof Wegner,Ying Chen,Miska Hannuksela,"MV-HEVC Working Draft 2",JCT3V-B1004（version 1）,2012.11.7

ところで、３Ｄ符号化方式では、予測対象の画像とは視点の異なる画像を参照画像とすることが考案されている。この場合、予測対象の画像よりPOC（Picture Order Count）が前の参照画像のリストであるリストＬ０と、予測対象の画像よりPOCが後の参照画像のリストであるリストＬ１の両方に、同一の順番で、予測対象の画像とは視点の異なる参照画像が登録（設定）される。その結果、符号化効率を十分に向上させることはできなかった。

本技術は、このような状況に鑑みてなされたものであり、複数の視点の画像の符号化効率を向上させることができるようにするものである。

本技術の第１の側面の符号化装置は、符号化対象の画像の視点より第１の方向に存在する視点の第１の画像、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像、および、前記符号化対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与された前記視点を識別する識別情報に基づいて、前記符号化対象の画像の前記識別情報より小さい識別情報が付与された視点の画像を前記第１の画像とし、前記符号化対象の画像の前記識別情報より大きい識別情報が付与された視点の画像を第２の画像として、前記第１の画像を特定する第１の画像特定情報と、前記第２の画像を特定する第２の画像特定情報とを、前記第１の画像特定情報、前記第２の画像特定情報の順に第１の参照リストに設定し、前記第２の画像特定情報、前記第１の画像特定情報の順に第２の参照リストに設定する設定部と、前記設定部により設定された前記第１の参照リストと前記第２の参照リストとに基づいて、前記符号化対象の画像を符号化し、符号化データを生成する符号化部とを備える符号化装置である。

本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。

本技術の第１の側面においては、符号化対象の画像の視点より第１の方向に存在する視点の第１の画像、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像、および、前記符号化対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与された前記視点を識別する識別情報に基づいて、前記符号化対象の画像の前記識別情報より小さい識別情報が付与された視点の画像を前記第１の画像とし、前記符号化対象の画像の前記識別情報より大きい識別情報が付与された視点の画像を第２の画像として、前記第１の画像を特定する第１の画像特定情報と、前記第２の画像を特定する第２の画像特定情報とが、前記第１の画像特定情報、前記第２の画像特定情報の順に第１の参照リストに設定され、前記第２の画像特定情報、前記第１の画像特定情報の順に第２の参照リストに設定され、前記第１の参照リストと前記第２の参照リストとに基づいて、前記符号化対象の画像が符号化され、符号化データが生成される。

本技術の第２の側面の復号装置は、復号対象の画像の視点より第１の方向に存在する視点の第１の画像、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像、および、前記復号対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与された前記視点を識別する識別情報に基づいて、前記復号対象の画像の前記識別情報より小さい識別情報が付与された視点の画像を前記第１の画像とし、前記復号対象の画像の前記識別情報より大きい識別情報が付与された視点の画像を第２の画像として、前記第１の画像を特定する第１の画像特定情報と、前記第２の画像を特定する第２の画像特定情報とを、前記第１の画像特定情報、前記第２の画像特定情報の順に第１の参照リストに設定し、前記第２の画像特定情報、前記第１の画像特定情報の順に第２の参照リストに設定する設定部と、前記設定部により設定された前記第１の参照リストと前記第２の参照リストとに基づいて、前記復号対象の画像の符号化データを復号する復号部とを備える復号装置である。

本技術の第２の側面の復号方法は、本技術の第２の側面の復号装置に対応する。

本技術の第２の側面においては、復号対象の画像の視点より第１の方向に存在する視点の第１の画像、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像、および、前記復号対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与された前記視点を識別する識別情報に基づいて、前記復号対象の画像の前記識別情報より小さい識別情報が付与された視点の画像を前記第１の画像とし、前記復号対象の画像の前記識別情報より大きい識別情報が付与された視点の画像を第２の画像として、前記第１の画像を特定する第１の画像特定情報と、前記第２の画像を特定する第２の画像特定情報とが、前記第１の画像特定情報、前記第２の画像特定情報の順に第１の参照リストに設定され、前記第２の画像特定情報、前記第１の画像特定情報の順に第２の参照リストに設定され、前記第１の参照リストと前記第２の参照リストとに基づいて、前記復号対象の画像の符号化データが復号される。

なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

第１の側面の符号化装置および第２の側面の復号装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術の第１の側面によれば、複数の視点の画像の符号化効率を向上させることができる。

また、本技術の第２の側面によれば、複数の視点の画像の符号化効率を向上させた符号化データを復号することができる。

３Ｄ符号化方式のVPSのシンタックスの一例を示す図である。 カメラとビューＩＤの関係の例を示す図である。 カメラとビューＩＤの関係の例を示す図である。 本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 図４の設定部により設定されるVPSのシンタックスの例を示す図である。 ビューＩＤとカメラの位置の関係の例を示す図である。 図４の符号化部の構成例を示すブロック図である。 時間スケーリング処理と視差スケーリング処理の演算を説明する図である。 従来のリストの登録方法を説明する図である。 従来のリストの登録方法を説明する図である。 図７の動き視差予測・補償部によるリストの登録方法を説明する図である。 図７の動き視差予測・補償部によるリストの登録方法を説明する図である。 符号化装置の生成処理を説明するフローチャートである。 図１３の符号化処理の詳細を説明するフローチャートである。 図１４の設定処理の詳細を説明するフローチャートである。 図１５のリスト登録処理の詳細を説明するフローチャートである。 本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。 図１７の復号部の構成例を示すブロック図である。 図１７の復号装置の画像生成処理を説明するフローチャートである。 図１９の復号処理の詳細を説明するフローチャートである。 本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。 図２１の設定部により設定されるVPSのシンタックスの例を示す図である。 図２１の符号化部の構成例を示すブロック図である。 図２１の符号化装置の生成処理を説明するフローチャートである。 図２４の符号化処理における設定処理の詳細を説明するフローチャートである。 本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。 図２６の復号部の構成例を示すブロック図である。 図２６の復号装置の画像生成処理を説明するフローチャートである。 本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。 図２９の設定部により設定されるVPSのシンタックスの例を示す図である。 図２９の符号化部の構成例を示すブロック図である。 図２９の符号化装置の生成処理を説明するフローチャートである。 図３２の符号化処理の詳細を説明するフローチャートである。 図３３の登録処理の詳細を説明するフローチャートである。 本技術を適用した復号装置の第３実施の形態の構成例を示すブロック図である。 図３５の復号部の構成例を示すブロック図である。 図３５の復号装置の画像生成処理を説明するフローチャートである。 図３７の復号処理の詳細を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 本技術を適用したテレビジョン装置の概略構成を例示している。 本技術を適用した携帯電話機の概略構成を例示している。 本技術を適用した記録再生装置の概略構成を例示している。 本技術を適用した撮像装置の概略構成を例示している。 本技術を適用したビデオセットの概略的な構成の一例を示すブロック図である。 本技術を適用したビデオプロセッサの概略的な構成の一例を示すブロック図である。 本技術を適用したビデオプロセッサの概略的な構成の他の例を示すブロック図である。

＜第１実施の形態＞
（符号化装置の第１実施の形態の構成例）
図４は、本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。

図４の符号化装置５０は、設定部５１と符号化部５２により構成される。符号化装置５０は、１次元配列で並ぶ複数の撮影部としてのカメラにより撮影された複数の視点の画像（以下、多視点画像という）を３Ｄ符号化方式で符号化して符号化ストリームを生成し、伝送する。

具体的には、符号化装置５０の設定部５１は、SPS（Sequence Parameter Set），PPS（Picture Parameter Set）等を設定する。また、設定部５１は、１次元配列で並ぶ複数のカメラのうちの端のカメラの視点から順にビューＩＤ（視点識別情報）を付与する。さらに、設定部５１は、ビューＩＤが１次元配列で並ぶ複数のカメラのうちの端のカメラの視点から順に付与されていることを識別する順序信頼フラグ（順序信頼情報）を生成する。そして、設定部５１は、ビューＩＤと順序信頼フラグを含むVPSを設定する。設定部５１は、SPS,PPS,VPS等のパラメータセットを符号化部５２に供給する。

符号化部５２は、設定部５１から供給されるVPSに含まれる順序信頼フラグとビューＩＤに基づいて、外部から入力される多視点画像を３Ｄ符号化方式で符号化し、符号化データを生成する。符号化部５２は、符号化データに、設定部５１から供給されるパラメータセットを付加して符号化ストリームを生成する。符号化部５２は、伝送部として機能し、生成された符号化ストリームを伝送する。

（VPSのシンタックスの構成例）
図５は、図４の設定部５１により設定されるVPSのシンタックスの例を示す図である。

図５の６行目に示すように、VPSには、順序信頼フラグ（view_order_idc）が含まれる。順序信頼フラグは、ビューＩＤが１次元配列で並ぶ複数のカメラのうちの端のカメラの視点から順に大きくなるように付与されていることを表す場合０であり、順に小さくなるように付与されていることを表す場合１である。また、順序信頼フラグは、ビューＩＤが１次元配列で並ぶ複数のカメラのうちの端のカメラの視点から順に付与されていないことを表す場合０である。

例えば、カメラが水平方向に並び、左端のカメラから順に、右端のカメラの視点のビューＩＤが最も大きくなるようにビューＩＤが付与されている場合、順序信頼フラグは０となる。また、カメラが水平方向に並び、左端のカメラから順に、右端のカメラの視点のビューＩＤが最も小さくなるようにビューＩＤが付与されている場合、順序信頼フラグは１となる。

また、１１行目乃至１５行目に示すように、VPSには、図１の場合と同様に、ビューＩＤ（view_id）、参照画像の数（num_direct_ref_layers）、および参照画像特定情報（ref_layer_id）が含まれる。

（ビューＩＤの説明）
図６は、ビューＩＤとカメラの位置の関係の例を示す図である。

なお、図６において、横軸はカメラの位置を表し、縦軸はビューＩＤを表している。

図６に示すように、ビューＩＤは、端のカメラから単調増加する。具体的には、図６の例では、５個のカメラが存在し、各カメラの位置は、中央のカメラの位置を０としたとき、それぞれ、-n´-m´,-n´,0,n,n+mである。この場合、最も端の位置、即ち位置-n´-m´のカメラのビューＩＤがv-2とされ、そのカメラの隣の位置-n´のカメラのビューＩＤがv-1とされる。また、中央のカメラのビューＩＤがvとされ、位置nのカメラのビューＩＤがv+1とされ、位置n+mのカメラのビューＩＤはv+2とされる。

このように、ビューＩＤは端のカメラから単調増加するため、符号化部５２は、ビューＩＤを各視点の位置を表す情報として用いることができる。

（符号化部の構成例）
図７は、図４の符号化部５２の構成例を示すブロック図である。

図７の符号化部５２は、A/D変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、符号化部５２は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、フィルタ１１１、デコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、予測画像選択部１１６、および多視点デコードピクチャバッファ１２１を有する。符号化部５２は、外部から入力される多視点画像を視点ごとに順に符号化する。

具体的には、符号化部５２のA/D変換部１０１は、入力された所定の視点の画像をA/D変換し、変換後のデジタルデータである画像を画面並べ替えバッファ１０２に供給し、記憶させる。画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、その画像のビューIDおよびPOC（Picture Order Count）とともに、演算部１０３に供給する。

また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、その画像のビューIDおよびPOCとともに、イントラ予測部１１４および動き視差予測・補償部１１５にも供給する。

演算部１０３は、符号化部として機能し、画面並べ替えバッファ１０２から読み出された画像から、予測画像選択部１１６を介してイントラ予測部１１４または動き視差予測・補償部１１５から供給される予測画像を減算することにより符号化を行う。演算部１０３は、その結果得られる差分情報を直交変換部１０４に出力する。

例えば、イントラ符号化が行われる場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１４から供給される予測画像を減算する。また、インター符号化が行われる場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き視差予測・補償部１１５から供給される予測画像を減算する。

直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１０４は、その変換係数を量子化部１０５に供給する。

量子化部１０５は、直交変換部１０４から供給される変換係数を量子化する。量子化部１０５は、符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。

可逆符号化部１０６は、量子化部１０５において量子化された変換係数を任意の符号化方式で可逆符号化し、符号化データを生成する。また、可逆符号化部１０６は、イントラ予測のモードを示す情報等を含むイントラ予測情報をイントラ予測部１１４から取得し、インター予測のモードを示す情報や動き視差ベクトル情報などを含むインター予測情報を動き視差予測・補償部１１５から取得する。さらに、可逆符号化部１０６は、フィルタ１１１において使用されたフィルタ係数等を取得する。

可逆符号化部１０６は、これらの各種情報を任意の符号化方式で可逆符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、ヘッダ情報が多重化された符号化データを蓄積バッファ１０７に供給して蓄積させる。

可逆符号化部１０６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。

蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持する。蓄積バッファ１０７は、所定のタイミングにおいて、保持している符号化データを、図４の設定部５１から供給されるパラメータセットとともに符号化ストリームとして、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。つまり、符号化ストリームが復号側に供給される。

また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部１０５による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。

逆直交変換部１０９は、逆量子化部１０８から供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部１０４による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力（局所的に復元された差分情報）は、演算部１１０に供給される。

演算部１１０は、逆直交変換部１０９から供給された逆直交変換結果、すなわち、局所的に復元された差分情報に、予測画像選択部１１６を介してイントラ予測部１１４若しくは動き視差予測・補償部１１５から供給される予測画像を加算し、局所的に復号された画像（以下、再構成画像と称する）を得る。その再構成画像は、フィルタ１１１またはデコードピクチャバッファ１１２に供給される。

フィルタ１１１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１１０から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、フィルタ１１１は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、フィルタ１１１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。

なお、フィルタ１１１は、再構成画像に対して任意のフィルタ処理を行うようにしてもよい。また、フィルタ１１１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１０６に供給し、可逆符号化させるようにすることもできる。

フィルタ１１１は、フィルタ処理結果（以下、復号画像と称する）をデコードピクチャバッファ１１２に供給する。

デコードピクチャバッファ１１２は、演算部１１０から供給される再構成画像と、フィルタ１１１から供給される復号画像とをそれぞれ記憶する。また、デコードピクチャバッファ１１２は、再構成画像と復号画像のビューIDおよびPOCを記憶する。

デコードピクチャバッファ１１２は、所定のタイミングにおいて、若しくは、イントラ予測部１１４等の外部からの要求に基づいて、記憶している再構成画像、並びに、その再構成画像のビューIDおよびPOCを、選択部１１３を介してイントラ予測部１１４に供給する。また、デコードピクチャバッファ１１２は、所定のタイミングにおいて、若しくは、動き視差予測・補償部１１５等の外部からの要求に基づいて、記憶している復号画像、並びに、その復号画像のビューIDおよびPOCを、選択部１１３を介して動き視差予測・補償部１１５に供給する。

選択部１１３は、デコードピクチャバッファ１１２から出力される再構成画像または復号画像の供給先を示す。具体的には、イントラ符号化が行われる場合、選択部１１３は、デコードピクチャバッファ１１２からフィルタ処理されていない再構成画像を読み出し、予測対象領域の周辺に位置する周辺領域の画像（周辺画像）として、イントラ予測部１１４に供給する。

また、インター符号化が行われる場合、選択部１１３は、デコードピクチャバッファ１１２からフィルタ処理された復号画像を読み出し、参照画像として、それを動き視差予測・補償部１１５に供給する。

イントラ予測部１１４は、デコードピクチャバッファ１１２から、周辺画像を取得すると、その周辺画像の画素値を用いて、基本的にプレディクションユニット（PU）を処理単位として予測画像を生成するイントラ予測を行う。イントラ予測部１１４は、候補となる全てのイントラ予測モードで、このイントラ予測を行う。

イントラ予測部１１４は、候補となる全てのイントラ予測モードのイントラ予測により生成された予測画像と、画面並べ替えバッファ１０２から供給される入力画像とを用いて各予測画像のコスト関数値を評価し、最適なイントラ予測モードを選択する。そして、イントラ予測部１１４は、最適なイントラ予測モードで生成された予測画像とコスト関数値を、予測画像選択部１１６に供給する。

また、イントラ予測部１１４は、予測画像選択部１１６から選択が通知された場合、最適なイントラ予測モード等のイントラ予測に関する情報を含むイントラ予測情報を、適宜可逆符号化部１０６に供給し、符号化させる。

動き視差予測・補償部１１５は、図４の設定部５１から供給されるVPSに含まれる順序信頼フラグに基づいて、VPSに含まれる参照画像特定情報をリストに登録することにより、リストを生成する。

具体的には、動き視差予測・補償部１１５は、予測対象の画像よりPOCが前の同一視点の画像を参照画像とする参照画像特定情報を、VPSに設定されている順にリストＬ０に登録する。また、動き視差予測・補償部１１５は、予測対象の画像よりPOCが後の同一視点の画像を参照画像とする参照画像特定情報を、VPSに設定されている順にリストＬ１に登録する。また、動き視差予測・補償部１１５は、設定部として機能し、順序信頼フラグに基づいて、予測対象の画像と異なる視点の画像を参照画像とする参照画像特定情報をリストＬ０とリストＬ１に登録（設定）する。

動き視差予測・補償部１１５は、リストに登録されている参照画像特定情報により特定される復号画像を、リストに登録されている順にデコードピクチャバッファ１１２から参照画像として読み出す。動き視差予測・補償部１１５は、画面並べ替えバッファ１０２から供給される入力画像と参照画像とを用いて、基本的にPUを処理単位として、動き予測や視差予測をインター予測として行う。

動き予測とは、時間方向の相関性を利用した予測であり、視差予測とは、視差方向の相関性を利用した予測である。動き視差予測・補償部１１５は、動き予測の結果動きベクトルを検出し、視差予測の結果視差ベクトルを検出する。なお、以下では、動きベクトルと視差ベクトルを特に区別する必要がない場合、それらをまとめて動き視差ベクトルという。

動き視差予測・補償部１１５は、インター予測の結果検出された動き視差ベクトルに応じて補償処理を行い、予測画像を生成する。動き視差予測・補償部１１５は、候補となる全てのインター予測モードで、このようなインター予測と補償処理を行う。

動き視差予測・補償部１１５は、候補となる全てのインター予測モードの予測画像と、画面並べ替えバッファ１０２から供給される入力画像とを用いて、各予測画像のコスト関数値を評価し、最適なインター予測モードを選択する。そして、動き視差予測・補償部１１５は、最適なインター予測モードで生成された予測画像とコスト関数値を、予測画像選択部１１６に供給する。

また、動き視差予測・補償部１１５は、予測画像選択部１１６から選択が通知された場合、順序信頼フラグに基づいて、最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの予測ベクトルを生成する。

具体的には、動き視差ベクトルが動きベクトルである場合、動き視差予測・補償部１１５は、予測対象の画像とその画像の参照画像のPOCの差分と、予測対象の画像の時間的な周辺領域の画像（以下、時間周辺領域画像という）とその画像の参照画像のPOCの差分とに基づいて、時間周辺領域画像の動きベクトルを補正し、予測ベクトルとする時間スケーリング処理を行う。

一方、動き視差ベクトルが視差ベクトルである場合、動き視差予測・補償部１１５は、順序信頼フラグに基づいて、視差スケーリング処理を行う。視差スケーリング処理とは、ビューＩＤを各視点の位置を表す情報として用いて、視点間の距離(カメラ間の距離)に基づいて、予測対象の画像の視差的な周辺領域の画像（以下、視差周辺領域画像という）の視差ベクトルを補正し、予測ベクトルとする処理である。具体的には、視差スケーリング処理では、予測対象の画像とその画像の参照画像のビューＩＤの差分と、視差周辺領域画像と視差周辺領域画像の参照画像のビューＩＤの差分とに基づいて、視差周辺領域画像の視差ベクトルが補正され、予測ベクトルとされる。

動き視差予測・補償部１１５は、生成された予測ベクトルと、最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの差分を演算し、動き視差ベクトル情報とする。また、動き視差予測・補償部１１５は、動き視差ベクトル情報、最適なインター予測モード等のインター予測に関する情報を含むインター予測情報を可逆符号化部１０６に供給し、可逆符号化させる。

予測画像選択部１１６は、イントラ予測部１１４と動き視差予測・補償部１１５から供給されるコスト関数値に基づいて、演算部１０３と演算部１１０に供給する予測画像の供給元を選択する。

具体的には、イントラ予測部１１４から供給されるコスト関数値が動き視差予測・補償部１１５から供給されるコスト関数値より小さい場合、予測画像選択部１１６は、予測画像の供給元としてイントラ予測部１１４を選択する。これにより、イントラ予測部１１４から供給される予測画像が演算部１０３と演算部１１０に供給され、イントラ符号化が行われる。

一方、動き視差予測・補償部１１５から供給されるコスト関数値がイントラ予測部１１４から供給されるコスト関数値より小さい場合、予測画像選択部１１６は、予測画像の供給元として動き視差予測・補償部１１５を選択する。これにより、動き視差予測・補償部１１５から供給される予測画像が演算部１０３と演算部１１０に供給され、インター符号化が行われる。動き視差予測・補償部１１５は、選択した供給元に選択を通知する。

デコードピクチャバッファ１１２は、処理対象の視点の復号画像および再構成画像、並びに、復号画像および再構成画像のビューIDとPOCを記憶するが、多視点デコードピクチャバッファ１２１は、各視点の復号画像、並びに、復号画像のビューIDとPOCを記憶する。つまり、多視点デコードピクチャバッファ１２１は、デコードピクチャバッファ１１２に供給された復号画像、並びに、復号画像のビューIDおよびPOCを取得し、デコードピクチャバッファ１１２とともに記憶する。

デコードピクチャバッファ１１２は、処理対象の視点が変わると、前の処理対象の視点の復号画像を消去するが、多視点デコードピクチャバッファ１２１は、そのまま保持する。そして、デコードピクチャバッファ１１２などの要求に従って、記憶している復号画像、並びに、復号画像のビューIDおよびPOCを、「処理対象ではない視点の復号画像、並びに、復号画像のビューIDおよびPOC」として、デコードピクチャバッファ１１２に供給する。デコードピクチャバッファ１１２は、多視点デコードピクチャバッファ１２１から読み出した「処理対象ではない視点の復号画像、並びに、復号画像のビューIDおよびPOC」を、選択部１１３を介して動き視差予測・補償部１１５に供給する。

（時間スケーリング処理と視差スケーリング処理の説明）
図８は、時間スケーリング処理と視差スケーリング処理の演算を説明する図である。

時間スケーリング処理では、時間周辺領域画像の予測ベクトルに対して係数distScaleFactorが乗算されることにより、時間周辺領域画像の予測ベクトルが補正される。この係数distScaleFactorは、図８の１行目および２行目に示すように、係数tbと係数tdに基づいて求められる。

そして、係数tbは、７行目に示すように、予測対象の画像のPOC(PicOrderCntVal)とその画像の参照画像のPOC（PicOrderCnt(refpicListA[refIdxA])）の差分に基づいて求められる。また、係数tdは、８行目に示すように、時間周辺領域画像のPOC(PicOrderCntVal)と、時間周辺領域画像の参照画像のPOC（PicOrderCnt(RefpicListX[refIdxLX])）との差分に基づいて求められる。

一方、視差スケーリング処理では、視差周辺領域画像の予測ベクトルに対して係数distScaleFactorが乗算されることにより、視差周辺領域画像の予測ベクトルが補正される。この係数distScaleFactorは、時間スケーリング処理の場合と同様に、図８の１行目および２行目に示すように、係数tbと係数tdに基づいて求められる。

但し、このときの係数tbは、１０行目に示すように、予測対象の画像のビューＩＤ(ViewOrderIdx Val)とその画像の参照画像のビューＩＤ（ViewOrderIdx(refpicListA[refIdxA])との差分に基づいて求められる。また、係数tdは、１１行目に示すように、視差周辺領域画像のビューＩＤ(ViewOrderIdx Val)と視差周辺領域画像の予測画像のビューＩＤ（ViewOrderIdx (RefpicListX[refIdxLX])）との差分に基づいて求められる。

（リストの登録方法の説明）
図９と図１０は、従来のリストの登録方法を説明する図であり、図１１と図１２は、図７の動き視差予測・補償部１１５によるリストの登録方法を説明する図である。

図９に示すように、従来のリストの登録方法では、Ｌ０リスト(RefPicListTemp0[rIdx])とＬ１リスト(RefPicListTemp0[rIdx])は、VPSで設定される順の参照画像特定情報（RefPicSetIvCurr）である。

従って、例えば、図１０に示すように、Ｉピクチャ、Ｂピクチャ、Ｐピクチャの視点にそれぞれ、ビューＩＤ「０」、「１」、「２」が付与され、符号化順（view order index）が、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順である場合、例えば、Ｂピクチャの参照画像特定情報として、Ｉピクチャ、Ｐピクチャを参照画像とする参照画像特定情報が順にVPSに設定されると、Ｌ０リストとＬ１リストの両方に、Ｉピクチャ、Ｐピクチャを参照画像とする参照画像特定情報が順に登録される。

一方、動き視差予測・補償部１１５によるリストの登録方法では、図１１の５行目と６行目に示すように、予測対象の画像のビューＩＤより小さいビューＩＤの画像を参照画像とする参照画像特定情報が、予測対象の画像のビューＩＤとビューＩＤが近い順にRefPicSetIvCurrBeforeに設定される。また、７行目と８行目に示すように、予測対象の画像のビューＩＤより大きいビューＩＤの画像を参照画像とする参照画像特定情報が、予測対象の画像のビューＩＤとビューＩＤが近い順にRefPicSetIvCurrAfterに設定される。

このように、動き視差予測・補償部１１５は、ビューＩＤを各視点の位置を表す情報として用いて、予測対象の画像の視点より所定の方向に存在する視点の画像を参照画像とする参照画像特定情報を、予測対象の画像の視点から近い順にRefPicSetIvCurrBeforeとする。また、動き視差予測・補償部１１５は、ビューＩＤを各視点の位置を表す情報として用いて、予測対象の画像の視点より所定の方向と逆の方向に存在する視点の画像を参照画像とする参照画像特定情報を、予測対象の画像の視点から近い順にRefPicSetIvCurrAfterとする。

そして、１９行目乃至２２行目に示すように、Ｌ０リスト(RefPicListTemp0[rIdx])として、RefPicSetIvCurrBeforeが設定された後、RefPicSetIvCurrAfterが設定される。また、３３行目乃至３６行目に示すように、Ｌ１リスト(RefPicListTemp0[rIdx])として、RefPicSetIvCurrAfterが設定された後、RefPicSetIvCurrBeforeが設定される。

従って、例えば、図１２に示すように、Ｉピクチャ、２つのＢピクチャ、Ｐピクチャの視点にそれぞれ、ビューＩＤ「０」乃至「３」が順に付与され、符号化順が、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャの順である場合、例えば、符号化順で後方のＢピクチャの参照画像特定情報として、符号化順で前方のＢピクチャ、Ｉピクチャ、ＰピクチャがVPSに設定されると、動き視差予測・補償部１１５によるリストの登録方法では、図１１に示すように、まず、符号化順で後方のＢピクチャのビューＩＤ「２」より小さいピクチャを参照画像とする参照画像特定情報が、ビューＩＤ「２」から近い順にＬ０リストに登録される。

即ち、ビューＩＤが「２」より小さい「０」であるＩピクチャと「１」であるＢピクチャを参照画像とする参照画像特定情報が、ビューＩＤ「１」、「０」の順にリストＬ０に登録される。その後、ビューＩＤが「２」より大きい「３」であるＰピクチャを参照画像とする参照画像特定情報がリストＬ０に登録される。

また、図１１に示すように、リストＬ１には、まず、ビューＩＤが符号化順で後方のＢピクチャのビューＩＤ「２」より大きい「３」であるＰピクチャを参照画像とする参照画像特定情報が登録される。その後、リストＬ１には、ビューＩＤが「２」より小さい「０」であるＩピクチャと「１」であるＢピクチャを参照画像とする参照画像特定情報が、ビューＩＤ「２」に近いビューＩＤ「１」、「０」の順に登録される。

以上のように、動き視差予測・補償部１１５によるリストの登録方法では、リストＬ０とリストＬ１で、予測対象の画像と異なる視点の参照画像（視点方向の参照ピクチャ）の登録順が異なる。従って、リストに登録可能な参照画像特定情報の数が制限される場合であっても、より多くの異なる参照画像特定情報をリストＬ０またはリストＬ１に登録することができ、符号化効率を向上させることができる。

＜符号化装置の処理の説明＞
図１３は、符号化装置の生成処理を説明するフローチャートである。

図１３のステップＳ１１において、符号化装置５０の設定部５１は、SPSを設定する。ステップＳ１２において、設定部５１は、PPSを設定する。ステップＳ１３において、設定部５１は、ビューＩＤと順序信頼フラグを含むVPSを設定する。設定部５１は、SPS,PPS,VPS等のパラメータセットを符号化部５２に供給する。

ステップＳ１４において、符号化部５２は、設定部５１から供給されるVPSに含まれる順序信頼フラグとビューＩＤに基づいて、外部から入力される多視点画像を３Ｄ符号化方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図１４を参照して説明する。

ステップＳ１５において、符号化部５２は、蓄積バッファ１０７に蓄積される符号化データに、設定部５１から供給されるパラメータセットを付加して符号化ストリームを生成し、伝送する。そして、処理は終了する。

図１４は、図１３のステップＳ１４の符号化処理の詳細を説明するフローチャートである。

図１４のステップＳ１０１において、符号化部５２のA/D変換部１０１は、入力された所定の視点の画像をA/D変換し、変換後のデジタルデータである画像を画面並べ替えバッファ１０２に供給し、記憶させる。

ステップＳ１０２において、画面並べ替えバッファ１０２は、GOPに応じて、記憶した表示の順番のフレームの画像の、符号化のためのフレームの順番への並べ替えを行う。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、その画像のビューIDおよびPOCとともに、演算部１０３、イントラ予測部１１４、および動き視差予測・補償部１１５にも供給する。

ステップＳ１０３において、イントラ予測部１１４は、デコードピクチャバッファ１１２から選択部１１３を介して供給される周辺画像を用いて、基本的にＰＵを処理単位として予測画像を生成するイントラ予測を行う。イントラ予測部１１４は、候補となる全てのイントラ予測モードで、このイントラ予測を行う。

また、イントラ予測部１１４は、候補となる全てのイントラ予測モードのイントラ予測により生成された予測画像と、画面並べ替えバッファ１０２から供給される入力画像とを用いて各予測画像のコスト関数値を評価し、最適なイントラ予測モードを選択する。そして、イントラ予測部１１４は、最適なイントラ予測モードで生成された予測画像とコスト関数値を、予測画像選択部１１６に供給する。

ステップＳ１０４において、動き視差予測・補償部１１５は、図４の設定部５１から供給されるVPSに含まれる順序信頼フラグに基づいて、リストＬ０およびリストＬ１を登録し、視差スケーリング処理の有無を設定する設定処理を行う。この設定処理の詳細は、後述する図１５を参照して説明する。

ステップＳ１０５において、動き視差予測・補償部１１５は、リストＬ０およびリストＬ１に基づく参照画像と、画面並べ替えバッファ１０２から供給される入力画像とを用いて、基本的にＰＵを処理単位としてインター予測を行う。そして、動き視差予測・補償部１１５は、インター予測の結果検出された動き視差ベクトルに応じて補償処理を行い、予測画像を生成する。動き視差予測・補償部１１５は、候補となる全てのインター予測モードで、このようなインター予測と補償処理を行う。

また、動き視差予測・補償部１１５は、候補となる全てのインター予測モードの予測画像と、画面並べ替えバッファ１０２から供給される入力画像とを用いて、各予測画像のコスト関数値を評価し、最適なインター予測モードを選択する。そして、動き視差予測・補償部１１５は、最適なインター予測モードで生成された予測画像とコスト関数値を、予測画像選択部１１６に供給する。

ステップＳ１０６において、予測画像選択部１１６は、イントラ予測部１１４と動き視差予測・補償部１１５から供給されるコスト関数値に基づいて、演算部１０３と演算部１１０に供給する予測画像の供給元としてイントラ予測部１１４を選択するかどうかを判定する。

ステップＳ１０６でイントラ予測部１１４を選択すると判定された場合、予測画像選択部１１６は、イントラ予測部１１４から供給される予測画像を演算部１０３と演算部１１０に供給し、イントラ予測部１１４に選択を通知する。そして、ステップＳ１０７において、イントラ予測部１１４は、イントラ予測情報を可逆符号化部１０６に供給し、処理をステップＳ１０９に進める。

一方、ステップＳ１０６でイントラ予測部を選択しないと判定された場合、予測画像選択部１１６は、動き視差予測・補償部１１５から供給される予測画像を演算部１０３と演算部１１０に供給し、動き視差予測・補償部１１５に選択を通知する。そして、ステップＳ１０８において、動き視差予測・補償部１１５は、最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの予測ベクトルを生成する。

具体的には、動き視差予測・補償部１１５は、視差スケーリング処理が有効である場合、時間スケーリング処理または視差スケーリング処理を行い、予測ベクトルを生成する。一方、動き視差予測・補償部１１５は、視差スケーリング処理が無効である場合、時間スケーリング処理を行い予測ベクトルを生成するか、または、視差周辺領域画像の視差ベクトルをそのまま予測ベクトルとする。

そして、動き視差予測・補償部１１５は、予測ベクトルと最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの差分を動き視差ベクトル情報として求める。そして、動き視差予測・補償部１１５は、動き視差ベクトル情報、最適なインター予測モード等を含むインター予測情報を可逆符号化部１０６に供給し、処理をステップＳ１０９に進める。

ステップＳ１０９において、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像と、予測画像選択部１１６を介してイントラ予測部１１４または動き視差予測・補償部１１５から供給される予測画像の差分を演算する。演算部１０３は、その結果得られる差分情報を直交変換部１０４に出力する。

ステップＳ１１０において、直交変換部１０４は、演算部１０３から供給される差分情報を直交変換し、その結果得られる変換係数を量子化部１０５に供給する。

ステップＳ１１１において、量子化部１０５は、直交変換部１０４から供給される変換係数を量子化し、量子化された変換係数を可逆符号化部１０６と逆量子化部１０８に供給する。

ステップＳ１１２において、逆量子化部１０８は、量子化部１０５から供給される量子化された変換係数を量子化部１０５による量子化に対応する方法で逆量子化し、得られた変換係数を逆直交変換部１０９に供給する。

ステップＳ１１３において、逆直交変換部１０９は、逆量子化部１０８から供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換し、その結果得られる局所的に復元された差分情報を、演算部１１０に供給する。

ステップＳ１１４において、演算部１１０は、逆直交変換部１０９から供給される局所的に復元された差分情報を、予測画像選択部１１６を介してイントラ予測部１１４または動き視差予測・補償部１１５から供給される予測画像と加算し、再構成画像を得る。その再構成画像は、フィルタ１１１またはデコードピクチャバッファ１１２に供給される。

ステップＳ１１５において、フィルタ１１１は、演算部１１０から供給される再構成画像に対して適宜フィルタ処理を行い、その結果得られる復号画像をデコードピクチャバッファ１１２に供給する。

ステップＳ１１６において、デコードピクチャバッファ１１２は、演算部１１０から供給される再構成画像、並びに、その再構成画像のビューIDおよびPOCを記憶する。また、デコードピクチャバッファ１１２と多視点デコードピクチャバッファ１２１は、フィルタ１１１から供給される復号画像、並びに、その復号画像のビューIDおよびPOCを記憶する。

デコードピクチャバッファ１１２に記憶されている再構成画像並びに再構成画像のビューIDおよびPOCは、イントラ符号化が行われる場合、選択部１１３を介して読み出され、周辺画像並びに周辺画像のビューIDおよびPOCとしてイントラ予測部１１４に供給される。また、デコードピクチャバッファ１１２に記憶されている復号画像並びに復号画像のビューIDおよびPOCは、インター符号化が行われる場合、選択部１１３を介して読み出され、参照画像並びに参照画像のビューIDおよびPOCとして動き視差予測・補償部１１５に供給される。

また、多視点デコードピクチャバッファ１２１に記憶されている復号画像、並びに、その復号画像のビューIDおよびPOCは、必要に応じて、デコードピクチャバッファ１１２に供給され、記憶される。

ステップＳ１１７において、可逆符号化部１０６は、量子化部１０５からの量子化された変換係数を可逆符号化し、符号化データを得る。また、可逆符号化部１０６は、イントラ予測部１１４からのイントラ予測情報または動き視差予測・補償部１１５からのインター予測情報、フィルタ１１１において使用されたフィルタ係数等を可逆符号化し、符号化データのヘッダ情報の一部とする。可逆符号化部１０６は、符号化データを蓄積バッファ１０７に供給する。

ステップＳ１１８において、蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に蓄積する。そして、処理は、図１３のステップＳ１４に戻り、ステップＳ１５に進む。

図１５は、図１４のステップＳ１０４の設定処理の詳細を説明するフローチャートである。

図１５のステップＳ１３１において、動き視差予測・補償部１１５は、設定部５１から供給されるVPSに含まれる順序信頼フラグが１以下であるかどうかを判定する。ステップＳ１３１で順序信頼フラグが１以下であると判定された場合、即ち、ビューＩＤが端のカメラの視点から順に付与されている場合、処理はステップＳ１３２に進む。

ステップＳ１３２において、動き視差予測・補償部１１５は、視差スケーリング処理を有効にする。ステップＳ１３３において、動き視差予測・補償部１１５は、ビューＩＤを各視点の位置を表す情報として用いて参照画像特定情報をリストに登録するリスト登録処理を行う。このリスト登録処理の詳細は、後述する図１６を参照して説明する。ステップＳ１３２の処理後、処理は図１４のステップＳ１０４に戻り、ステップＳ１０５に進む。

一方、ステップＳ１３１で順序信頼フラグが１以下ではないと判定された場合、即ちビューＩＤが端のカメラの視点から順に付与されていない場合、処理はステップＳ１３４に進む。

ステップＳ１３４において、動き視差予測・補償部１１５は、視差スケーリング処理を無効にする。ステップＳ１３５において、動き視差予測・補償部１１５は、VPSで設定されている順に参照画像特定情報をＬ０リストとＬ１リストに登録する。そして、処理は図１４のステップＳ１０４に戻り、ステップＳ１０５に進む。

図１６は、図１５のステップＳ１３３のリスト登録処理の詳細を説明するフローチャートである。

図１６のステップＳ１５１において、動き視差予測・補償部１１５は、VPSに含まれる参照特定情報のうちの、予測対象の画像のビューＩＤより小さいビューＩＤの画像を参照画像とする参照画像特定情報を、予測対象の画像のビューＩＤに近い順（ビューＩＤが大きい順）にRefPicSetIvCurrBeforeに設定する。

ステップＳ１５２において、動き視差予測・補償部１１５は、VPSに含まれる参照特定情報のうちの、予測対象の画像のビューＩＤより大きいビューＩＤの画像を参照画像とする参照画像特定情報を、予測対象の画像のビューＩＤに近い順（ビューＩＤが小さい順）にRefPicSetIvCurrAfterに設定する。

ステップＳ１５３において、動き視差予測・補償部１１５は、Ｌ０リストにRefPicSetIvCurrBefore，RefPicSetIvCurrAfterの順に登録する。ステップＳ１５４において、動き視差予測・補償部１１５は、Ｌ１リストにRefPicSetIvCurrAfter，RefPicSetIvCurrBeforeの順に登録する。そして、処理は、図１５のステップＳ１３３に戻り、図１４のステップＳ１０４に戻り、ステップＳ１０５に進む。

以上のように、符号化装置５０は、順序信頼フラグに基づいて多視点画像を符号化するので、ビューＩＤが端のカメラの視点から順に付されている場合にのみ、リスト登録処理や視差スケーリング処理を行うことができる。その結果、リストＬ０とリストＬ１で、予測対象の画像と異なる視点の参照画像（視点方向の参照ピクチャ）の登録順を異ならせることができる。また、正確に視差スケーリング処理を行うことができる。従って、符号化効率を向上させることができる。

また、ビューＩＤが端のカメラの視点から順に付されていない場合に、リスト登録処理や視差スケーリング処理が行われることにより、符号化効率が悪化することを防止することができる。

（復号装置の第１実施の形態の構成例）
図１７は、図４の符号化装置５０から伝送される符号化ストリームを復号する、本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。

図１７の復号装置２００は、抽出部２０１と復号部２０２により構成される。復号装置２００は、符号化装置５０から伝送される符号化ストリームを符号化装置５０の符号化方法に対応する復号方法で復号し、多視点画像を生成する。

具体的には、復号装置２００の抽出部２０１は、受け取り部として機能し、符号化装置５０から伝送されてくる符号化ストリームを受け取る。抽出部２０１は、符号化ストリームから、SPS,PPS,VPS等のパラメータセットと符号化データを抽出し、復号部２０２に供給する。

復号部２０２は、抽出部２０１から供給されるVPSに含まれる順序信頼フラグとビューＩＤに基づいて、抽出部２０１から供給される符号化データを復号し、多視点画像を生成する。このとき、復号部２０２は、必要に応じて、SPS,PPS等も参照する。復号部２０２は、多視点画像を出力する。

（復号部の構成例）
図１８は、図１７の復号部２０２の構成例を示すブロック図である。

図１８の復号部２０２は、蓄積バッファ３０１、可逆復号部３０２、逆量子化部３０３、逆直交変換部３０４、演算部３０５、ループフィルタ３０６、画面並べ替えバッファ３０７、およびD/A変換部３０８を有する。また、復号部２０２は、デコードピクチャバッファ３０９、選択部３１０、イントラ予測部３１１、動き視差補償部３１２、および選択部３１３を有する。

さらに、復号部２０２は、多視点デコードピクチャバッファ３２１を有する。復号部２０２は、図１７の抽出部２０１から供給される多視点画像の符号化データを視点ごとに順に復号する。

蓄積バッファ３０１は、抽出部２０１から供給される所定の視点の符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部３０２に供給する。可逆復号部３０２は、蓄積バッファ３０１より供給された符号化データを、図７の可逆符号化部１０６の符号化方式に対応する方式で可逆復号する。可逆復号部３０２は、可逆復号して得られた量子化された変換係数を、その変換係数に対応する画像のビューIDおよびPOCとともに逆量子化部３０３に供給する。

また、可逆復号部３０２は、符号化データを復号することにより、イントラ予測情報が得られた場合、そのイントラ予測情報をイントラ予測部３１１に供給し、インター予測情報が得られた場合、そのインター予測情報を動き視差補償部３１２に供給する。

逆量子化部３０３は、可逆復号部３０２から供給される量子化された変換係数を、図７の量子化部１０５の量子化方式に対応する方式で逆量子化し、得られた変換係数を逆直交変換部３０４に供給する。逆直交変換部３０４は、図７の直交変換部１０４の直交変換方式に対応する方式で逆量子化部３０３から供給される変換係数を逆直交変換し、差分情報を得る。

逆直交変換されて得られた差分情報は、演算部３０５に供給される。また、演算部３０５には、選択部３１３を介して、イントラ予測部３１１または動き視差補償部３１２から予測画像が供給される。

演算部３０５は、復号部として機能し、差分情報と予測画像とを加算することにより復号を行い、再構成画像を得る。演算部３０５は、その再構成画像をループフィルタ３０６またはデコードピクチャバッファ３０９に供給する。

ループフィルタ３０６は、演算部３０５から供給された再構成画像に対して、図７のフィルタ１１１と同様に、フィルタ処理を適宜施して復号画像を生成する。なお、ループフィルタ３０６は、可逆復号部３０２による可逆復号でフィルタ係数が得られる場合、そのフィルタ係数を用いてフィルタ処理を行う。

ループフィルタ３０６は、フィルタ処理結果である復号画像を画面並べ替えバッファ３０７およびデコードピクチャバッファ３０９に供給する。

画面並べ替えバッファ３０７は、ループフィルタ３０６から供給される復号画像の並べ替えを行う。すなわち、図７の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部３０８は、画面並べ替えバッファ３０７から供給された多視点の復号画像をD/A変換する。D/A変換部３０８は、その結果得られる多視点画像を図示せぬディスプレイに出力し、表示させる。

デコードピクチャバッファ３０９は、演算部３０５から供給される再構成画像並びに再構成画像のビューIDおよびPOCを記憶する。また、デコードピクチャバッファ３０９は、ループフィルタ３０６から供給される復号画像並びに復号画像のビューIDおよびPOCを記憶する。

また、デコードピクチャバッファ３０９は、所定のタイミングにおいて、若しくは、イントラ予測部３１１や動き視差補償部３１２等の外部の要求に基づいて、記憶している再構成画像、並びに、その再構成画像のビューIDおよびPOCを、選択部３１０を介してイントラ予測部３１１に供給する。また、デコードピクチャバッファ３０９は、所定のタイミングにおいて、若しくは、動き視差予測・補償部１１５等の外部からの要求に基づいて、記憶している復号画像、並びに、その復号画像のビューIDおよびPOCを、選択部３１０を介して動き視差補償部３１２に供給する。

イントラ予測部３１１は、図７のイントラ予測部１１４と基本的に同様の処理を行う。ただし、イントラ予測部３１１は、符号化の際にイントラ予測により予測画像が生成された領域に対してのみ、可逆復号部３０２から供給されるイントラ予測情報の最適なイントラ予測モードのイントラ予測を行う。イントラ予測部３１１は、イントラ予測の結果得られる予測画像を選択部３１３に供給する。

動き視差補償部３１２は、設定部として機能し、図１７の抽出部２０１から供給されるVPSに含まれる順序信頼フラグに基づいて、図７の動き視差予測・補償部１１５と同様に、VPSに含まれる参照画像特定情報をリスト(参照リスト)に登録する。そして、動き視差補償部３１２は、リストに登録されている参照画像特定情報により特定される画像を、リストに登録されている順にデコードピクチャバッファ３０９から参照画像として読み出す。

また、動き視差補償部３１２は、動き視差予測・補償部１１５と同様に、順序信頼フラグに基づいて、可逆復号部３０２から供給されるインター予測情報の最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの予測ベクトルを生成する。そして、動き視差補償部３１２は、生成された予測ベクトルと可逆復号部３０２から供給されるインター予測情報の動き視差ベクトル情報とを加算し、動き視差ベクトルを生成する。

動き視差補償部３１２は、生成された動き視差ベクトルと参照画像とに基づいて、基本的にPUを処理単位として、最適なインター予測モードの補償処理を行い、予測画像を生成する。なお、動き視差補償部３１２は、可逆復号部３０２から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対してのみ、補償処理を行う。動き視差補償部３１２は、生成した予測画像を、選択部３１３を介して演算部３０５に供給する。

選択部３１３は、イントラ予測部３１１から供給される予測画像、または、動き視差補償部３１２から供給される予測画像を演算部３０５に供給する。

デコードピクチャバッファ３０９は、処理対象の視点の復号画像および再構成画像、並びに、復号画像および再構成画像のビューIDとPOCを記憶するが、多視点デコードピクチャバッファ３２１は、各視点の復号画像、並びに、復号画像のビューIDとPOCを記憶する。つまり、多視点デコードピクチャバッファ３２１は、デコードピクチャバッファ３０９に供給された復号画像、並びに、復号画像のビューIDおよびPOCを取得し、デコードピクチャバッファ３０９とともに記憶する。

デコードピクチャバッファ３０９は、処理対象の視点が変わると、前の処理対象の視点の復号画像を消去するが、多視点デコードピクチャバッファ３２１は、そのまま保持する。そして、デコードピクチャバッファ３０９などの要求に従って、記憶している復号画像、並びに、復号画像のビューIDおよびPOCを、「処理対象ではない視点の復号画像、並びに、復号画像のビューIDおよびPOC」として、デコードピクチャバッファ３０９に供給する。デコードピクチャバッファ３０９は、多視点デコードピクチャバッファ３２１から読み出した「処理対象ではない視点の復号画像、並びに、復号画像のビューIDおよびPOC」を、選択部３１０を介して動き視差補償部３１２に供給する。

（復号装置の処理の説明）
図１９は、図１７の復号装置２００の画像生成処理を説明するフローチャートである。

図１９のステップＳ１７０において、復号装置２００の抽出部２０１は、符号化装置５０から伝送されてくる符号化ストリームを受け取る。ステップＳ１７１において、抽出部２０１は、符号化ストリームからSPSを抽出し、復号部２０２に供給する。ステップＳ１７２において、抽出部２０１は、符号化ストリームからPPSを抽出し、復号部２０２に供給する。ステップＳ１７３において、抽出部２０１は、符号化ストリームからビューＩＤと順序信頼フラグを含むVPSを抽出し、復号部２０２に供給する。

ステップＳ１７４において、抽出部２０１は、符号化ストリームから符号化データを抽出し、復号部２０２に供給する。ステップＳ１７５において、復号部２０２は、抽出部２０１から供給されるVPSに含まれる順序信頼フラグとビューＩＤに基づいて、抽出部２０１から供給される符号化データを復号する復号処理を行い、処理は終了する。

図２０は、図１９のステップＳ１７５の復号処理の詳細を説明するフローチャートである。

図２０のステップＳ３００において、動き視差補償部３１２は、図１５の設定処理と同様の設定処理を行う。ステップＳ３０１において、蓄積バッファ３０１は、図１７の抽出部２０１から供給される所定の視点の符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部３０２に供給する。

ステップＳ３０２において、可逆復号部３０２は、蓄積バッファ３０１より供給された符号化データを、図７の可逆符号化部１０６の符号化方式に対応する方式で可逆復号する。可逆復号部３０２は、可逆復号して得られた量子化された変換係数を、その変換係数に対応する画像のビューIDおよびPOCとともに逆量子化部３０３に供給する。

また、可逆復号部３０２は、符号化データを復号することにより、イントラ予測情報が得られた場合、そのイントラ予測情報をイントラ予測部３１１に供給し、インター予測情報が得られた場合、そのインター予測情報を動き視差補償部３１２に供給する。

ステップＳ３０３において、逆量子化部３０３は、可逆復号部３０２から供給される量子化された変換係数を、図７の量子化部１０５の量子化方式に対応する方式で逆量子化し、得られた変換係数を逆直交変換部３０４に供給する。ステップＳ３０４において、逆直交変換部３０４は、図７の直交変換部１０４の直交変換方式に対応する方式で逆量子化部３０３から供給される変換係数を逆直交変換し、差分情報を得る。逆直交変換されて得られた差分情報は、演算部３０５に供給される。

ステップＳ３０５において、イントラ予測部３１１は、可逆復号部３０２からイントラ予測情報が供給されたかどうかを判定する。ステップＳ３０５でイントラ予測情報が供給されたと判定された場合、ステップＳ３０６において、イントラ予測部３１１は、図７のイントラ予測部１１４と基本的に同様のイントラ予測を行う。イントラ予測部３１１は、イントラ予測の結果得られる予測画像を選択部３１３に供給し、処理をステップＳ３０９に進める。

一方、ステップＳ３０５でイントラ予測情報が供給されていないと判定された場合、即ち動き視差補償部３１２がインター予測情報を取得した場合、処理はステップＳ３０７に進む。ステップＳ３０７において、動き視差補償部３１２は、可逆復号部３０２から供給されるインター予測モード情報の最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルを生成する。

ステップＳ３０８において、動き視差補償部３１２は、生成された動き視差ベクトルと参照画像とに基づいて、基本的にPUを処理単位として、最適なインター予測モードの補償処理を行い、予測画像を生成する。動き視差補償部３１２は、生成した予測画像を、選択部３１３を介して演算部３０５に供給する。

ステップＳ３０９において、演算部３０５は、逆直交変換部３０４から供給される差分情報と、選択部３１３から供給される予測画像とを加算し、再構成画像を得る。演算部３０５は、その再構成画像をループフィルタ３０６またはデコードピクチャバッファ３０９に供給する。

ステップＳ３１０において、ループフィルタ３０６は、演算部３０５から供給された再構成画像に対して、図７のフィルタ１１１と同様に、フィルタ処理を適宜施して復号画像を生成する。なお、ループフィルタ３０６は、可逆復号部３０２による可逆復号でフィルタ係数が得られる場合、そのフィルタ係数を用いてフィルタ処理を行う。ループフィルタ３０６は、フィルタ処理結果である復号画像を画面並べ替えバッファ３０７およびデコードピクチャバッファ３０９に供給する。

ステップＳ３１１において、画面並べ替えバッファ３０７は、ループフィルタ３０６から供給される復号画像の並べ替えを行う。ステップＳ３１２において、D/A変換部３０８は、画面並べ替えバッファ３０７から供給された多視点の復号画像をD/A変換し、その結果得られる多視点画像を図示せぬディスプレイに出力して、表示させる。

ステップＳ３１３において、デコードピクチャバッファ３０９は、演算部３０５から供給される再構成画像、並びに、その再構成画像のビューIDおよびPOCを記憶する。また、デコードピクチャバッファ３０９と多視点デコードピクチャバッファ３２１は、ループフィルタ３０６から供給される復号画像、並びに、その復号画像のビューIDおよびPOCを記憶する。さらに、デコードピクチャバッファ３０９は、多視点デコードピクチャバッファ３２１に記憶されている復号画像、並びに、その復号画像のビューIDおよびPOCを、「処理対象ではない視点の復号画像、並びに、その復号画像のビューIDおよびPOC」として読み出し、記憶する。

デコードピクチャバッファ３０９に記憶されている再構成画像、並びに、その再構成画像のビューIDおよびPOCは、選択部３１０を介してイントラ予測部３１１に供給される。また、デコードピクチャバッファ３０９に記憶されている復号画像、並びに、その復号画像のビューIDおよびPOCは、選択部３１０を介して動き視差補償部３１２に供給される。そして、処理は、図１９のステップＳ１７５に戻り、処理は終了する。

以上のように、復号装置２００は、順序信頼フラグを受け取り、順序信頼フラグに基づいて多視点画像を復号するので、符号化装置５０から伝送されてくる符号化ストリームを復号することができる。

＜第２実施の形態＞
（符号化装置の第２実施の形態の構成例）
図２１は、本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。

図２１の符号化装置４００は、設定部４０１と符号化部４０２により構成される。符号化装置４００は、順序信頼フラグの代わりに、図１６のリスト登録処理を行うことを識別するリストフラグと視差スケーリング処理を行うことを識別するスケーリングフラグをVPSに含めて伝送する。

具体的には、符号化装置４００の設定部４０１は、図４の設定部５１と同様に、SPS，PPS等を設定する。また、設定部４０１は、設定部５１と同様に、１次元配列で並ぶ複数のカメラのうちの端のカメラの視点から順にビューＩＤを付与する。さらに、設定部４０１は、ビューＩＤが１次元配列で並ぶ複数のカメラのうちの端のカメラの視点から順に付与され、かつ、リスト登録処理を行うことを識別するリストフラグ（順序信頼情報）を生成する。

また、設定部４０１は、ビューＩＤが１次元配列で並ぶ複数のカメラのうちの端のカメラの視点から順に付与され、かつ、視差スケーリング処理を行うことを識別するスケーリングフラグ（順序信頼情報）を生成する。そして、設定部４０１は、ビューＩＤ、リストフラグ、およびスケーリングフラグを含むVPSを設定する。設定部４０１は、SPS,PPS,VPS等のパラメータセットを符号化部４０２に供給する。

符号化部４０２は、設定部４０１から供給されるVPSに含まれるリストフラグ、スケーリングフラグ、およびビューＩＤに基づいて、外部から入力される多視点画像を３Ｄ符号化方式で符号化し、符号化データを生成する。符号化部４０２は、符号化データに、設定部４０１から供給されるパラメータセットを付加して符号化ストリームを生成する。符号化部４０２は、生成された符号化ストリームを伝送する。

（VPSのシンタックスの構成例）
図２２は、図２１の設定部４０１により設定されるVPSのシンタックスの例を示す図である。

図２２の１０行目に示すように、VPSには、図１の場合と同様に、ビューＩＤ（view_id）が含まれる。また、１１行目に示すように、VPSには、リストフラグ（inter_view_default_reference_flag）が含まれる。リストフラグは、リスト登録処理を行うことを表す場合１であり、行わないことを表す場合０である。

さらに、１２行目に示すように、VPSには、スケーリングフラグ（inter_view_scaling_flag）が含まれる。スケーリングフラグは、視差スケーリング処理を行うことを表す場合１であり、行わないことを表す場合０である。

また、１３行目乃至１６行目に示すように、VPSには、図１の場合と同様に、参照画像の数（num_direct_ref_layers）と参照画像特定情報（ref_layer_id）が含まれる。

（符号化部の構成例）
図２３は、図２１の符号化部４０２の構成例を示すブロック図である。

図２３に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２３の符号化部４０２の構成は、動き視差予測・補償部１１５の代わりに動き視差予測・補償部４１１が設けられる点が図４の符号化部５２の構成と異なる。

符号化部４０２の動き視差予測・補償部４１１は、図２１の設定部４０１から供給されるVPSに含まれるリストフラグに基づいて、VPSに含まれる参照画像特定情報をリストに登録する。

動き視差予測・補償部４１１は、図７の動き視差予測・補償部１１５と同様に、リストに登録されている参照画像特定情報により特定される画像を、リストに登録されている順にデコードピクチャバッファ１１２から参照画像として読み出す。動き視差予測・補償部４１１は、動き視差予測・補償部１１５と同様に、画面並べ替えバッファ１０２から供給される入力画像と参照画像とを用いてインター予測を行い、その結果検出された動き視差ベクトルに応じて補償処理を行い、予測画像を生成する。動き視差予測・補償部４１１は、候補となる全てのインター予測モードで、このようなインター予測と補償処理を行う。

動き視差予測・補償部４１１は、動き視差予測・補償部１１５と同様に、各予測画像のコスト関数値を評価し、最適なインター予測モードを選択する。そして、動き視差予測・補償部４１１は、動き視差予測・補償部１１５と同様に、最適なインター予測モードで生成された予測画像とコスト関数値を、予測画像選択部１１６に供給する。

また、動き視差予測・補償部４１１は、予測画像選択部１１６から選択が通知された場合、スケーリングフラグに基づいて、最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの予測ベクトルを生成する。そして、動き視差予測・補償部４１１は、生成された予測ベクトルと、最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの差分を演算し、動き視差ベクトル情報とする。動き視差予測・補償部４１１は、動き視差ベクトル情報、最適なインター予測モード等を含むインター予測情報を可逆符号化部１０６に供給し、可逆符号化させる。

（符号化装置の処理の説明）
図２４は、図２１の符号化装置４００の生成処理を説明するフローチャートである。

図２４のステップＳ３３１およびＳ３３２の処理は、図１３のステップＳ１１およびＳ１２の処理と同様であるので、説明は省略する。

ステップＳ３３２の処理後、ステップＳ３３３において、設定部４０１は、ビューＩＤ、スケーリングフラグ、およびリストフラグを含むVPSを設定する。設定部４０１は、SPS,PPS,VPS等のパラメータセットを符号化部４０２に供給する。

ステップＳ３３４において、符号化部４０２は、設定部４０１から供給されるVPSに含まれるビューＩＤ、スケーリングフラグ、およびリストフラグに基づいて、外部から入力される多視点画像を３Ｄ符号化方式で符号化する符号化処理を行う。この符号化処理の詳細は、図１４のステップＳ１０４の設定処理を除いて図１４の符号化処理と同様である。従って、設定処理の詳細についてのみ、後述する図２５を参照して説明する。

ステップＳ３３５において、符号化部４０２は、蓄積バッファ１０７に蓄積される符号化データに、設定部４０１から供給されるパラメータセットを付加して符号化ストリームを生成し、伝送する。そして、処理は終了する。

図２５は、図２４のステップＳ３３４の符号化処理における設定処理の詳細を説明するフローチャートである。

図２５のステップＳ３５１において、動き視差予測・補償部４１１は、設定部４０１から供給されるVPSに含まれるスケーリングフラグが１であるかどうかを判定する。ステップＳ３５１でスケーリングフラグが１であると判定された場合、ステップＳ３５２において、動き視差予測・補償部４１１は、視差スケーリング処理を有効にし、処理をステップＳ３５４に進める。

一方、ステップＳ３５１でスケーリングフラグが１ではないと判定された場合、ステップＳ３５３において、動き視差予測・補償部４１１は、視差スケーリング処理を無効にし、処理をステップＳ３５４に進める。

ステップＳ３５４において、動き視差予測・補償部４１１は、設定部４０１から供給されるVPSに含まれるリストフラグが１であるかどうかを判定する。ステップＳ３５４でリストフラグが１であると判定された場合、ステップＳ３５５において、動き視差予測・補償部４１１は、図１６のリスト登録処理を行う。そして、設定処理は終了する。

一方、ステップＳ３５４でリストフラグが１ではないと判定された場合、ステップＳ３５６において、動き視差予測・補償部４１１は、VPSで設定されている順に参照画像特定情報をＬ０リストとＬ１リストに登録する。そして、設定処理は終了する。

以上のように、符号化装置４００は、リストフラグとスケーリングフラグに基づいて多視点画像を符号化するので、ビューＩＤが端のカメラの視点から順に付される場合にのみ、リスト登録処理や視差スケーリング処理を行うことができる。その結果、リストＬ０とリストＬ１で、予測対象の画像と異なる視点の参照画像（視点方向の参照ピクチャ）の登録順を異ならせることができる。また、正確に視差スケーリング処理を行うことができる。従って、符号化効率を向上させることができる。

また、ビューＩＤが端のカメラの視点から順に付されていない場合に、リスト登録処理や視差スケーリング処理が行われることにより、符号化効率が悪化することを防止することができる。

（復号装置の第２実施の形態の構成例）
図２６は、図２１の符号化装置４００から伝送される符号化ストリームを復号する、本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。

図２６に示す構成のうち、図１７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２６の復号装置５００の構成は、復号部２０２の代わりに復号部５０１が設けられる点が図１７の復号装置２００の構成と異なる。復号装置５００は、符号化装置４００から伝送される符号化ストリームを符号化装置４００の符号化方法に対応する復号方法で復号し、多視点画像を生成する。

具体的には、復号装置５００の復号部５０１は、抽出部２０１から供給されるVPSに含まれるリストフラグ、スケーリングフラグ、およびビューＩＤに基づいて、抽出部２０１から供給される符号化データを復号し、多視点画像を生成する。このとき、復号部５０１は、必要に応じて、SPS,PPS等も参照する。復号部５０１は、多視点画像を出力する。

（復号部の構成例）
図２７は、図２６の復号部５０１の構成例を示すブロック図である。

図２７に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２７の復号部５０１の構成は、動き視差補償部３１２の代わりに動き視差補償部５１１が設けられる点が図１８の復号部２０２の構成と異なる。

動き視差補償部５１１は、図２６の抽出部２０１から供給されるVPSに含まれるリストフラグに基づいて、図２３の動き視差予測・補償部４１１と同様に、VPSに含まれる参照画像特定情報をリストに登録する。そして、動き視差補償部５１１は、リストに登録されている参照画像特定情報により特定される画像を、リストに登録されている順にデコードピクチャバッファ３０９から参照画像として読み出す。

また、動き視差補償部５１１は、動き視差予測・補償部４１１と同様に、スケーリングフラグに基づいて、可逆復号部３０２から供給されるインター予測情報の最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの予測ベクトルを生成する。そして、動き視差補償部５１１は、生成された予測ベクトルと可逆復号部３０２から供給されるインター予測情報の動き視差ベクトル情報とを加算し、動き視差ベクトルを生成する。

動き視差補償部５１１は、生成された動き視差ベクトルと参照画像とに基づいて、基本的にPUを処理単位として、最適なインター予測モードの補償処理を行い、予測画像を生成する。なお、動き視差補償部５１１は、可逆復号部３０２から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対してのみ、動き視差補償を行う。動き視差補償部５１１は、生成した予測画像を、選択部３１３を介して演算部３０５に供給する。

（復号装置の処理の説明）
図２８は、図２６の復号装置５００の画像生成処理を説明するフローチャートである。

図２８のステップＳ３７０乃至Ｓ３７２の処理は、図１９のステップＳ１７０乃至Ｓ１７２の処理と同様であるので、説明は省略する。ステップＳ３７３において、抽出部２０１は、符号化ストリームからビューＩＤ、リストフラグ、およびスケーリングフラグを含むVPSを抽出し、復号部５０１に供給する。

ステップＳ３７４において、抽出部２０１は、符号化ストリームから符号化データを抽出し、復号部５０１に供給する。ステップＳ３７５において、復号部５０１は、抽出部２０１から供給されるVPSに含まれるビューＩＤ、リストフラグ、およびスケーリングフラグに基づいて、抽出部２０１から供給される符号化データを復号する復号処理を行う。この復号処理の詳細は、図２０のステップＳ３００の設定処理が図２５の設定処理と同様の設定処理に代わる点を除いて図２０の復号処理と同様である。ステップＳ３７５の処理後、処理は終了する。

以上のように、復号装置５００は、リストフラグとスケーリングフラグを受け取り、リストフラグとスケーリングフラグに基づいて多視点画像を復号するので、符号化装置４００から伝送されてくる符号化ストリームを復号することができる。

＜第３実施の形態＞
（符号化装置の第３実施の形態の構成例）
図２９は、本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。

図２９の符号化装置６００は、設定部６０１と符号化部６０２により構成される。符号化装置６００は、スケーリングフラグの代わりに視差スケーリング処理における係数tbと係数tdを表す係数情報をVPSに含めて伝送する。

具体的には、符号化装置６００の設定部６０１は、図４の設定部５１と同様に、SPS，PPS等を設定する。また、設定部６０１は、設定部５１と同様に、１次元配列で並ぶ複数のカメラのうちの端のカメラの視点から順にビューＩＤを付与する。さらに、設定部６０１は、リストフラグと係数情報を生成する。

なお、ビューＩＤが１次元配列で並ぶ複数のカメラのうちの端のカメラの視点から順に付与されている場合、図８で説明したように係数情報が生成されるが、順に付与されていない場合、係数情報として所定値が生成される。

設定部６０１は、ビューＩＤ、リストフラグ、および係数情報を含むVPSを設定する。設定部６０１は、SPS,PPS,VPS等のパラメータセットを符号化部６０２に供給する。

符号化部６０２は、設定部６０１から供給されるVPSに含まれるリストフラグ、係数情報、およびビューＩＤに基づいて、外部から入力される多視点画像を３Ｄ符号化方式で符号化し、符号化データを生成する。符号化部６０２は、符号化データに、設定部６０１から供給されるパラメータセットを付加して符号化ストリームを生成する。符号化部６０２は、生成された符号化ストリームを伝送する。

（VPSのシンタックスの構成例）
図３０は、図２９の設定部６０１により設定されるVPSのシンタックスの例を示す図である。

図３０の１０行目に示すように、VPSには、図１の場合と同様に、ビューＩＤ（view_id）が含まれる。また、１１行目に示すように、VPSには、図２２の場合と同様に、リストフラグ（inter_view_default_reference_flag）が含まれる。

また、１２行目乃至１６行目に示すように、VPSには、参照画像の数（num_direct_ref_layers）、参照画像特定情報（ref_layer_id）、および係数情報（inter_view_scaling_factor）が含まれる。

（符号化部の構成例）
図３１は、図２９の符号化部６０２の構成例を示すブロック図である。

図３１に示す構成のうち、図２３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３１の符号化部６０２の構成は、動き視差予測・補償部４１１の代わりに動き視差予測・補償部６１１が設けられる点が図２３の符号化部４０２の構成と異なる。

符号化部６０２の動き視差予測・補償部６１１は、動き視差予測・補償部４１１と同様に、図２９の設定部６０１から供給されるVPSに含まれるリストフラグに基づいて参照画像特定情報をリストに登録する。

動き視差予測・補償部６１１は、動き視差予測・補償部４１１と同様に、リストに登録されている参照画像特定情報により特定される画像を、リストに登録されている順にデコードピクチャバッファ１１２から参照画像として読み出す。動き視差予測・補償部６１１は、動き視差予測・補償部４１１と同様に、画面並べ替えバッファ１０２から供給される入力画像と参照画像とを用いてインター予測を行い、その結果検出された動き視差ベクトルに応じて補償処理を行い、予測画像を生成する。動き視差予測・補償部６１１は、候補となる全てのインター予測モードで、このようなインター予測と補償処理を行う。

動き視差予測・補償部６１１は、動き視差予測・補償部４１１と同様に、各予測画像のコスト関数値を評価し、最適なインター予測モードを選択する。そして、動き視差予測・補償部６１１は、動き視差予測・補償部４１１と同様に、最適なインター予測モードで生成された予測画像とコスト関数値を、予測画像選択部１１６に供給する。

また、動き視差予測・補償部６１１は、予測画像選択部１１６から選択が通知された場合、係数情報を用いて、最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの予測ベクトルを生成する。具体的には、最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルが動きベクトルである場合、動き視差予測・補償部６１１は、時間スケーリング処理を行う。一方、最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルが動きベクトルである場合、動き視差予測・補償部６１１は、係数情報を用いて視差スケーリング処理を行う。

そして、動き視差予測・補償部６１１は、生成された予測ベクトルと、最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの差分を演算し、動き視差ベクトル情報とする。動き視差予測・補償部６１１は、動き視差ベクトル情報、最適なインター予測モード等を含むインター予測情報を可逆符号化部１０６に供給し、符号化させる。

（符号化装置の処理の説明）
図３２は、図２９の符号化装置６００の生成処理を説明するフローチャートである。

図３２のステップＳ４０１およびＳ４０２の処理は、図２４のステップＳ３３１およびＳ３３２の処理と同様であるので、説明は省略する。

ステップＳ４０２の処理後、ステップＳ４０３において、設定部６０１は、ビューＩＤ、係数情報、およびリストフラグを含むVPSを設定する。設定部６０１は、SPS,PPS,VPS等のパラメータセットを符号化部６０２に供給する。

ステップＳ４０４において、符号化部６０２は、設定部６０１から供給されるVPSに含まれるビューＩＤ、係数情報、およびリストフラグに基づいて、外部から入力される多視点画像を３Ｄ符号化方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図３３を参照して説明する。

ステップＳ４０５において、符号化部６０２は、蓄積バッファ１０７に蓄積される符号化データに、設定部６０１から供給されるパラメータセットを付加して符号化ストリームを生成し、伝送する。そして、処理は終了する。

図３３は、図３２のステップＳ４０４の符号化処理の詳細を説明するフローチャートである。

図３３のステップＳ４２１乃至Ｓ４２３の処理は、図１４のステップＳ１０１乃至Ｓ１０３の処理と同様であるので、説明は省略する。

ステップＳ４２４において、動き視差予測・補償部６１１は、図２９の設定部６０１から供給されるVPSに含まれるリストフラグに基づいてリストＬ０およびリストＬ１を登録する登録処理を行う。この登録処理の詳細は、後述する図３４を参照して説明する。

ステップＳ４２５乃至Ｓ４２７の処理は、図１４のステップＳ１０５乃至Ｓ１０７の処理と同様であるので、説明は省略する。

ステップＳ４２６でイントラ予測部を選択しないと判定された場合、予測画像選択部１１６は、動き視差予測・補償部６１１から供給される予測画像を演算部１０３と演算部１１０に供給し、動き視差予測・補償部６１１に選択を通知する。そして、ステップＳ４２８において、動き視差予測・補償部６１１は、設定部６０１から供給されるVPSに含まれる係数情報を用いて、最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの予測ベクトルを生成する。

そして、動き視差予測・補償部６１１は、予測ベクトルと最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの差分を動き視差ベクトル情報として求める。そして、動き視差予測・補償部６１１は、動き視差ベクトル情報、最適なインター予測モード等を含むインター予測情報を可逆符号化部１０６に供給し、処理をステップＳ４２９に進める。

ステップＳ４２９乃至Ｓ４３８の処理は、図１４のステップＳ１０９乃至Ｓ１１８の処理と同様である。

図３４は、図３３のステップＳ４２４の登録処理の詳細を説明するフローチャートである。

図３４のステップＳ４５１乃至Ｓ４５３の処理は、図２５のステップＳ３５４乃至Ｓ３５６の処理と同様であるので、説明は省略する。

以上のように、符号化装置６００は、係数情報を用いて多視点画像を符号化するので、ビューＩＤが端のカメラの視点から順に付されているかどうかによらず、正確に視差スケーリング処理を行うことができる。従って、符号化効率を向上させることができる。

（復号装置の第３実施の形態の構成例）
図３５は、図２９の符号化装置６００から伝送される符号化ストリームを復号する、本技術を適用した復号装置の第３実施の形態の構成例を示すブロック図である。

図３５に示す構成のうち、図２６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３５の復号装置７００の構成は、復号部５０１の代わりに復号部７０１が設けられる点が図２６の復号装置５００の構成と異なる。復号装置７００は、符号化装置６００から伝送される符号化ストリームを符号化装置６００の符号化方法に対応する復号方法で復号し、多視点画像を生成する。

具体的には、復号装置７００の復号部７０１は、抽出部２０１から供給されるVPSに含まれるリストフラグ、係数情報、およびビューＩＤに基づいて、抽出部２０１から供給される符号化データを復号し、多視点画像を生成する。このとき、復号部７０１は、必要に応じて、SPS,PPS等も参照する。復号部７０１は、多視点画像を出力する。

（復号部の構成例）
図３６は、図３５の復号部７０１の構成例を示すブロック図である。

図３６に示す構成のうち、図２７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３６の復号部７０１の構成は、動き視差補償部５１１の代わりに動き視差補償部７１１が設けられる点が図２７の復号部５０１の構成と異なる。

動き視差補償部７１１は、図３５の抽出部２０１から供給されるVPSに含まれるリストフラグに基づいて、図３１の動き視差予測・補償部６１１と同様に、VPSに含まれる参照画像特定情報をリストに登録する。そして、動き視差補償部７１１は、リストに登録されている参照画像特定情報により特定される画像を、リストに登録されている順にデコードピクチャバッファ３０９から参照画像として読み出す。

また、動き視差補償部７１１は、動き視差予測・補償部６１１と同様に、係数情報を用いて、可逆復号部３０２から供給されるインター予測情報の最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルの予測ベクトルを生成する。そして、動き視差補償部７１１は、生成された予測ベクトルと可逆復号部３０２から供給されるインター予測情報の動き視差ベクトル情報とを加算し、動き視差ベクトルを生成する。

動き視差補償部７１１は、生成された動き視差ベクトルと参照画像とに基づいて、基本的にPUを処理単位として、最適なインター予測モードの補償処理を行い、予測画像を生成する。なお、動き視差補償部７１１は、可逆復号部３０２から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対してのみ、動き視差補償を行う。動き視差補償部７１１は、生成した予測画像を、選択部３１３を介して演算部３０５に供給する。

（復号装置の処理の説明）
図３７は、図３５の復号装置７００の画像生成処理を説明するフローチャートである。

図３７のステップＳ４７０乃至Ｓ４７２の処理は、図２８のステップＳ３７０乃至Ｓ３７２の処理と同様であるので、説明は省略する。ステップＳ４７３において、抽出部２０１は、符号化ストリームからビューＩＤ、リストフラグ、および係数情報を含むVPSを抽出し、復号部７０１に供給する。

ステップＳ４７４において、抽出部２０１は、符号化ストリームから符号化データを抽出し、復号部７０１に供給する。ステップＳ４７５において、復号部７０１は、抽出部２０１から供給されるVPSに含まれるリストフラグ、係数情報、およびビューＩＤに基づいて、抽出部２０１から供給される符号化データを復号する復号処理を行う。この復号処理の詳細は、後述する図３８を参照して説明する。ステップＳ４７５の処理後、処理は終了する。

図３８は、図３７のステップＳ４７５の復号処理の詳細を説明するフローチャートである。

図３８のステップＳ４９０において、動き視差補償部７１１は、図３４の登録処理と同様の登録処理を行う。ステップＳ４９１乃至Ｓ４９６の処理は、図２０のステップＳ３０１乃至Ｓ３０６の処理と同様であるので、説明は省略する。

ステップＳ４９５でイントラ予測情報が供給されていないと判定された場合、処理はステップＳ４９７に進む。ステップＳ４９７において、動き視差補償部７１１は、図３５の抽出部２０１から供給されるVPSに含まれる係数情報を用いて、可逆復号部３０２から供給される最適なインター予測モードで生成された予測画像に対応する動き視差ベクトルを生成する。そして、処理はステップＳ４９８に進む。

ステップＳ４９８乃至Ｓ５０３の処理は、図２０のステップＳ３０８乃至Ｓ３１３の処理と同様であるので、説明は省略する。

以上のように、復号装置７００は、リストフラグと係数情報を受け取り、リストフラグと係数情報に基づいて多視点画像を復号するので、符号化装置６００から伝送されてくる符号化ストリームを復号することができる。

なお、第３実施の形態では、ビューＩＤが端のカメラの視点から順に付されていない場合にも係数情報が生成されたが、係数情報は生成されず、視差スケーリング処理が行われないようにしてもよい。

また、第３実施の形態では、リストフラグが符号化ストリームに含められるようにしたが、リストフラグの代わりに順序信頼フラグが符号化ストリームに含められるようにしてもよい。この場合、順序信頼フラグに基づいてリスト登録処理が行われる。

＜第４実施の形態＞
（本技術を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。

バス８０４には、さらに、入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、入力部８０６、出力部８０７、記憶部８０８、通信部８０９、及びドライブ８１０が接続されている。

入力部８０６は、キーボード、マウス、マイクロホンなどよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記憶部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインタフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８１１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インタフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インタフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜第５実施の形態＞
（テレビジョン装置の構成例）
図４０は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。

チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。

映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。

表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。

音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。

外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。

制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。

なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。

このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、複数の視点の画像の符号化効率を向上させた符号化ストリームを復号することができる。

＜第６実施の形態＞
（携帯電話機の構成例）
図４１は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。

また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。

携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。

また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。

なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、またはメモリカード等のリムーバブルメディアである。

データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。

多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。

このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、複数の視点の画像の符号化効率を向上させることができる。また、複数の視点の画像の符号化効率を向上させた符号化ストリームを復号することができる。

＜第７実施の形態＞
（記録再生装置の構成例）
図４２は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。

チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。

外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。

ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。

セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。

デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。

ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。

制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。

制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された記録再生装置では、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、複数の視点の画像の符号化効率を向上させた符号化ストリームを復号することができる。

＜第８実施の形態＞
（撮像装置の構成例）
図４３は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。

光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。

カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。

画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。

ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。

外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メディアドライブ９６８から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。

メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触IC（Integrated Circuit）カード等であってもよい。

また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

制御部９７０は、ＣＰＵを用いて構成されている。メモリ部９６７は、制御部９７０により実行されるプログラムや制御部９７０が処理を行う上で必要な各種のデータ等を記憶する。メモリ部９６７に記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングで制御部９７０により読み出されて実行される。制御部９７０は、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、複数の視点の画像の符号化効率を向上させることができる。また、複数の視点の画像の符号化効率を向上させた符号化ストリームを復号することができる。

＜第９実施の形態＞
（実施のその他の例）
以上において本技術を適用する装置の例を説明したが、本技術は、これに限らず、このような装置を構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

（ビデオセットの構成例）
本技術をセットとして実施する場合の例について、図４４を参照して説明する。図４４は、本技術を適用したビデオセットの概略的な構成の一例を示している。

近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。

図４４に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。

図４４に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。

モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。

図４４の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。

プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。

図４４のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。

ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。

ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信に関する処理を行うプロセッサ（若しくはモジュール）である。例えば、ブロードバンドモデム１３３３は、送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。例えば、ブロードバンドモデム１３３３は、ビデオプロセッサ１３３２が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。

RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。

なお、図４４において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。

外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。

パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。

フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図４４に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。

アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。

コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。

例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。

なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。

カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。

センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。

以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。

以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。

（ビデオプロセッサの構成例）
図４５は、本技術を適用したビデオプロセッサ１３３２（図４４）の概略的な構成の一例を示している。

図４５の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。

図４５に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。

ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図４４）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１（図４４）等に出力する。

フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。

メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。

エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。

ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。

オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。

オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１（図４４）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１（図４４）等に供給する。

多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。

逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図４４）から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により（図４４）各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。

ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４４）等に供給する。

また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１（図４４）等に供給し、各種記録媒体に記録させる。

さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図４４）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１（図４４）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１（図４４）等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。

また、コネクティビティ１３２１（図４４）等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。

ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４４）等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１（図４４）等に出力され、各種記録媒体に記録される。

また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４４）等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１（図４４）等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。

オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、第１乃至第３実施の形態に係る符号化装置や復号装置の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図３８を参照して上述した効果と同様の効果を得ることができる。

なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

（ビデオプロセッサの他の構成例）
図４６は、本技術を適用したビデオプロセッサ１３３２（図４４）の概略的な構成の他の例を示している。図４６の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。

より具体的には、図４６に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。

制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。

図４６に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。

ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図４４）等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１（図４４）のモニタ装置等に出力する。

ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。

画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。

内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。

コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。

図４６に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。

MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。

MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。

メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。

多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。

ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１（いずれも図４４）等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２（いずれも図４４）等向けのインタフェースである。

次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４４）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図４４）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１（図４４）等に出力され、各種記録媒体に記録される。

さらに、例えば、コネクティビティ１３２１（図４４）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図４４）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４４）等に供給され図示せぬ他の装置に伝送される。

なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、第１乃至第３実施の形態に係る符号化装置や復号装置を実現する機能ブロックを有するようにすればよい。さらに、例えば、コーデックエンジン１５１６が、このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図３８を参照して上述した効果と同様の効果を得ることができる。

なお、コーデックエンジン１５１６において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。

（装置への適用例）
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図４０）、携帯電話機９２０（図４１）、記録再生装置９４０（図４２）、撮像装置９６０（図４３）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図３８を参照して上述した効果と同様の効果を得ることができる。

なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図３８を参照して上述した効果と同様の効果を得ることができる。

つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図３８を参照して上述した効果と同様の効果を得ることができる。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成もとることができる。

（１）
符号化対象の画像の視点より第１の方向に存在する視点の第１の画像を特定する第１の画像特定情報と、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像を特定する第２の画像特定情報とを、第１の順に第１の参照リストに設定し、前記第１の順とは異なる第２の順に第２の参照リストに設定する設定部と、
前記設定部により設定された前記第１の参照リストと前記第２の参照リストとに基づいて、前記符号化対象の画像を符号化し、符号化データを生成する符号化部と
を備える符号化装置。
（２）
前記設定部は、前記第１の画像特定情報と前記第２の画像特定情報を、前記第１の画像特定情報、前記第２の画像特定情報の順に前記第１の参照リストに設定し、前記第２の画像特定情報、前記第１の画像特定情報の順に前記第２の参照リストに設定する
前記（１）に記載の符号化装置。
（３）
前記第１の画像、前記第２の画像、および前記符号化対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与された前記視点を識別する識別情報と、前記符号化部により生成された前記符号化データとを伝送する伝送部
をさらに備え、
前記設定部は、前記識別情報に基づいて、前記符号化対象の画像の前記識別情報より小さい識別情報が付与された視点の画像を前記第１の画像とし、前記符号化対象の画像の前記識別情報より大きい識別情報が付与された視点の画像を第２の画像とする
前記（１）または（２）に記載の符号化装置。
（４）
前記設定部は、前記視点識別情報が、前記第１の画像、前記第２の画像、および前記符号化対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与されたことを識別する順序信頼情報に基づいて、前記第１の参照リストおよび前記第２の参照リストを設定する
前記（３）に記載の符号化装置。
（５）
前記設定部は、前記識別情報が大きい順に前記第１の画像特定情報を前記第１の参照リストおよび前記第２の参照リストに設定し、前記識別情報が小さい順に前記第２の画像特定情報を前記第１の参照リストおよび前記第２の参照リストに設定する
前記（３）または（４）に記載の符号化装置。
（６）
符号化装置が、
符号化対象の画像の視点より第１の方向に存在する視点の第１の画像を特定する第１の画像特定情報と、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像を特定する第２の画像特定情報とを、第１の順に第１の参照リストに設定し、前記第１の順とは異なる第２の順に第２の参照リストに設定する設定ステップと、
前記設定ステップの処理により設定された前記第１の参照リストと前記第２の参照リストとに基づいて、前記符号化対象の画像を符号化し、符号化データを生成する符号化ステップと
を含む符号化方法。
（７）
復号対象の画像の視点より第１の方向に存在する視点の第１の画像を特定する第１の画像特定情報と、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像を特定する第２の画像特定情報とを、第１の順に第１の参照リストに設定し、前記第１の順とは異なる第２の順に第２の参照リストに設定する設定部と、
前記設定部により設定された前記第１の参照リストと前記第２の参照リストとに基づいて、前記復号対象の画像の符号化データを復号する復号部と
を備える復号装置。
（８）
前記設定部は、前記第１の画像特定情報と前記第２の画像特定情報を、前記第１の画像特定情報、前記第２の画像特定情報の順に前記第１の参照リストに設定し、前記第２の画像特定情報、前記第１の画像特定情報の順に前記第２の参照リストに設定する
前記（７）に記載の復号装置。
（９）
前記設定部は、前記第１の画像、前記第２の画像、および前記復号対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与された前記視点を識別する識別情報に基づいて、前記復号対象の画像の前記識別情報より小さい識別情報が付与された視点の画像を前記第１の画像とし、前記復号対象の画像の前記識別情報より大きい識別情報が付与された視点の画像を第２の画像とする
前記（７）または（８）に記載の復号装置。
（１０）
前記設定部は、前記視点識別情報が、前記第１の画像、前記第２の画像、および前記復号対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与されたことを識別する順序信頼情報に基づいて、前記第１の参照リストおよび前記第２の参照リストを設定する
前記（９）に記載の復号装置。
（１１）
前記設定部は、前記識別情報が大きい順に前記第１の画像特定情報を前記第１の参照リストおよび前記第２の参照リストに設定し、前記識別情報が小さい順に前記第２の画像特定情報を前記第１の参照リストおよび前記第２の参照リストに設定する
前記（９）または（１０）に記載の復号装置。
（１２）
復号装置が、
復号対象の画像の視点より第１の方向に存在する視点の第１の画像を特定する第１の画像特定情報と、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像を特定する第２の画像特定情報とを、第１の順に第１の参照リストに設定し、前記第１の順とは異なる第２の順に第２の参照リストに設定する設定ステップと、
前記設定ステップの処理により設定された前記第１の参照リストと前記第２の参照リストとに基づいて、前記復号対象の画像の符号化データを復号する復号ステップと
を含む復号方法。

５０ 符号化装置， ５１ 設定部， ５２ 符号化部， ２００ 復号装置， ２０１ 抽出部， ２０２ 復号部， ４００ 符号化装置， ４０１ 設定部， ４０２ 符号化部， ５００ 復号装置， ５０１ 復号部， ６００ 符号化装置， ６０１ 設定部， ６０２ 符号化部， ７００ 復号装置， ７０１ 復号部

Claims (9)

1. 符号化対象の画像の視点より第１の方向に存在する視点の第１の画像、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像、および、前記符号化対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与された前記視点を識別する識別情報に基づいて、前記符号化対象の画像の前記識別情報より小さい識別情報が付与された視点の画像を前記第１の画像とし、前記符号化対象の画像の前記識別情報より大きい識別情報が付与された視点の画像を第２の画像として、前記第１の画像を特定する第１の画像特定情報と、前記第２の画像を特定する第２の画像特定情報とを、前記第１の画像特定情報、前記第２の画像特定情報の順に第１の参照リストに設定し、前記第２の画像特定情報、前記第１の画像特定情報の順に第２の参照リストに設定する設定部と、
   前記設定部により設定された前記第１の参照リストと前記第２の参照リストとに基づいて、前記符号化対象の画像を符号化し、符号化データを生成する符号化部と
   を備える符号化装置。
2. 前記識別情報と、前記符号化部により生成された前記符号化データとを伝送する伝送部
   をさらに備える
   請求項１に記載の符号化装置。
3. 前記設定部は、前記識別情報が、前記第１の画像、前記第２の画像、および前記符号化対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与されたことを識別する順序信頼情報に基づいて、前記第１の参照リストおよび前記第２の参照リストを設定する
   請求項１に記載の符号化装置。
4. 前記設定部は、前記識別情報が大きい順に前記第１の画像特定情報を前記第１の参照リストおよび前記第２の参照リストに設定し、前記識別情報が小さい順に前記第２の画像特定情報を前記第１の参照リストおよび前記第２の参照リストに設定する
   請求項１に記載の符号化装置。
5. 符号化装置が、
   符号化対象の画像の視点より第１の方向に存在する視点の第１の画像、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像、および、前記符号化対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与された前記視点を識別する識別情報に基づいて、前記符号化対象の画像の前記識別情報より小さい識別情報が付与された視点の画像を前記第１の画像とし、前記符号化対象の画像の前記識別情報より大きい識別情報が付与された視点の画像を第２の画像として、前記第１の画像を特定する第１の画像特定情報と、前記第２の画像を特定する第２の画像特定情報とを、前記第１の画像特定情報、前記第２の画像特定情報の順に第１の参照リストに設定し、前記第２の画像特定情報、前記第１の画像特定情報の順に第２の参照リストに設定する設定ステップと、
   前記設定ステップの処理により設定された前記第１の参照リストと前記第２の参照リストとに基づいて、前記符号化対象の画像を符号化し、符号化データを生成する符号化ステップと
   を含む符号化方法。
6. 復号対象の画像の視点より第１の方向に存在する視点の第１の画像、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像、および、前記復号対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与された前記視点を識別する識別情報に基づいて、前記復号対象の画像の前記識別情報より小さい識別情報が付与された視点の画像を前記第１の画像とし、前記復号対象の画像の前記識別情報より大きい識別情報が付与された視点の画像を第２の画像として、前記第１の画像を特定する第１の画像特定情報と、前記第２の画像を特定する第２の画像特定情報とを、前記第１の画像特定情報、前記第２の画像特定情報の順に第１の参照リストに設定し、前記第２の画像特定情報、前記第１の画像特定情報の順に第２の参照リストに設定する設定部と、
   前記設定部により設定された前記第１の参照リストと前記第２の参照リストとに基づいて、前記復号対象の画像の符号化データを復号する復号部と
   を備える復号装置。
7. 前記設定部は、前記識別情報が、前記第１の画像、前記第２の画像、および前記復号対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与されたことを識別する順序信頼情報に基づいて、前記第１の参照リストおよび前記第２の参照リストを設定する
   請求項６に記載の復号装置。
8. 前記設定部は、前記識別情報が大きい順に前記第１の画像特定情報を前記第１の参照リストおよび前記第２の参照リストに設定し、前記識別情報が小さい順に前記第２の画像特定情報を前記第１の参照リストおよび前記第２の参照リストに設定する
   請求項６に記載の復号装置。
9. 復号装置が、
   復号対象の画像の視点より第１の方向に存在する視点の第１の画像、前記第１の方向とは反対の第２の方向に存在する視点の第２の画像、および、前記復号対象の画像の視点に対して、最も前記第１の方向に存在する視点から順に値が大きくなるように付与された前記視点を識別する識別情報に基づいて、前記復号対象の画像の前記識別情報より小さい識別情報が付与された視点の画像を前記第１の画像とし、前記復号対象の画像の前記識別情報より大きい識別情報が付与された視点の画像を第２の画像として、前記第１の画像を特定する第１の画像特定情報と、前記第２の画像を特定する第２の画像特定情報とを、前記第１の画像特定情報、前記第２の画像特定情報の順に第１の参照リストに設定し、前記第２の画像特定情報、前記第１の画像特定情報の順に第２の参照リストに設定する設定ステップと、
   前記設定ステップの処理により設定された前記第１の参照リストと前記第２の参照リストとに基づいて、前記復号対象の画像の符号化データを復号する復号ステップと
   を含む復号方法。

Images