WO2013073316A1

WO2013073316A1 - 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム

Info

Publication number: WO2013073316A1
Application number: PCT/JP2012/076045
Authority: WO
Inventors: 妹尾　孝憲; 保之市橋; 久幸佐々木; 健詞山本; 隆太朗大井; 栗田　泰市郎
Original assignee: 独立行政法人情報通信研究機構
Priority date: 2011-11-14
Filing date: 2012-10-05
Publication date: 2013-05-23
Also published as: JPWO2013073316A1; EP2797327A4; TWI549475B; JP6095067B2; US20140376635A1; EP2797327A1; CN104041024A; TW201322736A; KR20140092910A; CN104041024B

Abstract

　立体映像符号化装置（１）は、基準視点映像（Ｃ）及び左視点映像（Ｌ）と、これらに付随する奥行値のマップである基準視点奥行マップ（Ｃｄ）及び左視点奥行マップ（Ｌｄ）とを入力する。立体映像符号化装置（１）は、奥行マップ合成手段（１２）により、２つの奥行マップから中間視点における左合成奥行マップ（Ｍｄ）を生成し、射影映像予測手段（１５）により、基準視点映像を他の視点に射影したときにオクルージョンホールとなる画素領域の画素を左視点映像（Ｌ）から抽出して左残差映像（Ｌｖ）を生成し、基準視点映像（Ｃ）と左合成奥行マップ（Ｍｄ）と左残差映像（Ｌｖ）とをそれぞれ符号化して伝送する。

Description

立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム

　本発明は、立体映像を符号化する立体映像符号化装置、立体映像符号化方法及び立体映像符号化プログラム、並びに、符号化された立体映像を復号化する立体映像復号化装置、立体映像復号化方法及び立体映像復号化プログラムに関する。

　近年、２眼式立体テレビや２眼式立体映画が普及しつつあるが、一部の立体視要因を実現するのみであり、運動視差がないため不自然であったり、眼鏡をかけることに起因する眼性疲労等があったりする。このため、より自然な裸眼立体映像の実用化が望まれている。

　裸眼立体映像は多視点映像で実現されるが、多数の視点映像を伝送・蓄積する必要があり、データ量が多く、実用化が困難であった。そこで、多視点映像に、その視点映像について、被写体の奥行情報として、他の視点映像との間の各画素における視差（同じ被写体点の映像内での画素位置のずれ量）のマップである奥行マップを付加することで視点数を間引いて伝送・蓄積し、得られた少数の視点映像を奥行マップで射影することにより、間引かれた視点映像を補間して、多視点映像を復元する方法が知られている。

　このような、少数の視点映像と奥行マップとを用いて多視点映像を復元する方法が、例えば、特許文献１に開示されている。特許文献１には、多視点映像（画像信号）とその奥行マップ（デプス信号）とを符号化・復号化する方法が記載されている。図３５を参照して、特許文献１に記載の画像符号化装置について説明する。図３５に示したように、特許文献１に記載の画像符号化装置は、符号管理部１０１、画像信号符号化部１０７、デプス信号符号化部１０８、ユニット化部１０９及びパラメータ情報符号化部１１０を備えて構成されている。この画像符号化装置では、各視点映像（画像信号）は、画像信号符号化部１０７で、視点映像間の予測符号化を行い、１つ以上の視点の奥行マップ（デプス信号）は、デプス信号符号化部１０８で、同様に視点間予測符号化される。

特開２０１０－１５７８２１号公報

　特許文献１に記載された方法では、すべての符号化された視点映像は、元の映像と同じサイズを有するものである。しかしながら、現在実用化されつつある多視点立体ディスプレイは、その製造コストを抑えるために、従来普及しているディスプレイと同じ画素数のディスプレイを用い、各視点映像は、（視点数）分の１に画素数を間引いて表示しているので、符号化・伝送された画素データの大半を捨てることとなり、符号化効率が低いものである。また、特許文献１には、伝送される視点映像に付随した奥行マップを使って、間引かれた視点映像を合成する方法が記載されているが、視点数と同数の奥行マップを符号化・伝送する必要があり、符号化効率が低いという問題があった。

　また、特許文献１に記載された方法では、多視点映像と奥行マップとは、それぞれ個別に視点間予測符号化される。しかしながら、従来の視点間予測符号化方法は、視点映像間で、対応する画素位置を探索して、その画素位置のずれ量を視差ベクトルとして抽出し、抽出した視差ベクトルを用いて視点間予測符号化・復号化するものである。このため、視差ベクトルの探索に時間が掛かるとともに、予測精度が悪く、符号化・復号化速度が遅いという問題があった。

　本発明は、このような問題に鑑みてなされたものであり、立体映像を効率よく符号化して伝送する立体映像符号化装置、立体映像符号化方法及び立体映像符号化プログラム、並びに、その符号化された立体映像を復号化する立体映像復号化装置、立体映像復号化方法及び立体映像復号化プログラムを提供することを課題とする。

　前記した課題を解決するために、請求項１に記載の立体映像符号化装置は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化装置であって、基準視点映像符号化手段と、中間視点奥行マップ合成手段と、奥行マップ符号化手段と、奥行マップ復号化手段と、射影映像予測手段と、残差映像符号化手段と、を備え、前記射影映像予測手段は、オクルージョンホール検出手段と残差映像切出手段とを有する構成とした。

　かかる構成によれば、立体映像符号化装置は、基準視点映像符号化手段によって、前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する。また、立体映像符号化装置は、中間視点奥行マップ合成手段によって、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップとを用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを合成する。そして、立体映像符号化装置は、奥行マップ符号化手段によって、前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する。
　これによって、符号化する奥行マップについてのデータ量は元の奥行マップが２つの場合で、半分に削減されることとなる。

　また、立体映像符号化装置は、奥行マップ復号化手段によって、前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する。次に、立体映像符号化装置は、射影映像予測手段によって、前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する。このとき、立体映像符号化装置は、残差映像を生成するために、オクルージョンホール検出手段によって、前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときにオクルージョンホールとなる画素を検出し、残差映像切出手段によって、前記オクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する。ここで、立体映像符号化装置は、符号化される前の中間視点奥行マップではなく、符号化・復号化を経た中間視点奥行マップを用いるものである。特に高い圧縮率で符号化した場合は、復号化された奥行マップは、元の奥行マップに対して多くの誤差を含むこととなる。そこで、立体映像復号化装置で前記したビットストリームを復号化して多視点映像を生成する際に用いる中間視点における奥行マップと同じ奥行マップを用いることで、オクルージョンホールとなる画素を正確に検出することができる。そして、立体映像符号化装置は、残差映像符号化手段によって、前記残差映像を符号化して、残差映像ビットストリームとして出力する。
　これによって、副視点映像についてのデータの内で、残差映像として切出された分だけが符号化対象となり、符号化されるデータ量が削減される。

　請求項２に記載の立体映像符号化装置は、請求項１に記載の立体映像符号化装置において、前記オクルージョンホール検出手段は、副視点射影手段とホール画素検出手段とを有する構成とした。

　かかる構成によれば、立体映像符号化装置は、副視点射影手段によって、前記復号化中間視点奥行マップを前記副視点に射影して、前記副視点における奥行マップである副視点射影奥行マップを生成する。また、立体映像符号化装置は、ホール画素検出手段によって、前記副視点射影奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出する。すなわち、立体映像符号化装置は、基準視点から遠く離れた副視点における奥行マップを用いてオクルージョンホールとなる画素を検出する。
　これによって、立体映像符号化装置は、オクルージョンホールとなることが予測される画素領域を漏れが少なく検出する。

　請求項３に記載の立体映像符号化装置は、請求項２に記載の立体映像符号化装置において、前記オクルージョンホール検出手段は、オクルージョンホールの画素位置を示す穴マスクを膨張させる穴マスク膨張手段を有する構成とした。

　かかる構成によれば、前記オクルージョンホール検出手段は、穴マスク膨張手段によって、前記ホール画素検出手段による検出結果である、検出された画素からなる穴マスクを、所定の画素数だけ膨張させる。そして、立体映像符号化装置は、前記残差映像切出手段によって、前記穴マスク膨張手段によって膨張させた穴マスク（第１穴マスク）に含まれる画素を前記副視点映像から切出して前記残差映像を生成する。
　これによって、立体映像符号化装置は、特に圧縮率の高い符号化方式を用いて奥行マップを符号化した場合に多く含まれる元の奥行マップに対する復号化された奥行マップの誤差による、オクルージョンホールとなる画素の検出漏れを吸収することができる。

　請求項４に記載の立体映像符号化装置は、請求項２又は請求項３に記載の立体映像符号化装置において、前記オクルージョンホール検出手段は、第２ホール画素検出手段と検出された穴位置を副視点に射影する第２副視点射影手段と、生成された複数の穴マスクを統合する穴マスク合成手段とを更に有する構成とした。

　かかる構成によれば、立体映像符号化装置は、第２ホール画素検出手段によって、前記復号化中間視点奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出して穴マスクを生成する。次に、立体映像符号化装置は、第２副視点射影手段によって、第２ホール画素検出手段により生成した穴マスクを副視点に射影した穴マスク（第２穴マスク）を生成する。そして、立体映像符号化装置は、穴マスク合成手段によって、前記ホール画素検出手段による検出結果である第１穴マスク及び前記第２ホール画素検出手段による検出結果を副視点に射影した第２穴マスクの論理和を前記オクルージョンホール検出手段の検出結果とする。
　すなわち、立体映像符号化装置は、副視点における奥行マップを用いたオクルージョンホールの検出に加えて、中間視点における奥行マップである中間視点奥行マップを用いたオクルージョンホールの検出を行い、より適切にオクルージョンホールとなる画素を検出する。

　請求項５に記載の立体映像符号化装置は、請求項４に記載の立体映像符号化装置において、前記オクルージョンホール検出手段は、指定視点射影手段と第３ホール画素検出手段と第３副視点射影手段とを更に有する構成とした。

　かかる構成によれば、立体映像符号化装置は、指定視点射影手段によって、前記復号化中間視点奥行マップを任意の指定視点位置に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。また、立体映像符号化装置は、第３ホール画素検出手段によって、前記指定視点奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出し、穴マスクを生成する。次に、立体映像符号化装置は、第３副視点射影手段によって、第３ホール画素検出手段により生成した穴マスクを副視点に射影した穴マスク（第３穴マスク）を生成する。そして、立体映像符号化装置は、前記穴マスク合成手段によって、前記ホール画素検出手段による検出結果である第１穴マスク、前記第２ホール画素検出手段による検出結果を副視点に射影した第２穴マスク及び前記第３ホール画素検出手段による検出結果を副視点に射影した第３穴マスクの論理和を前記オクルージョンホール検出手段の検出結果とする。
　すなわち、立体映像符号化装置は、副視点における奥行マップを用いたオクルージョンホールの検出に加えて、復号側で符号化データを復号して多視点映像を生成する際の指定視点における奥行マップを用いたオクルージョンホールの検出を行い、より適切にオクルージョンホールを検出する。

　請求項６に記載の立体映像符号化装置は、請求項１乃至請求項５の何れか一項に記載の立体映像符号化装置において、奥行マップフレーム化手段と奥行マップ分離手段と残差映像フレーム化手段とを更に備える構成とした。

　かかる構成によれば、立体映像符号化装置は、奥行マップフレーム化手段によって、前記多視点映像において、前記基準視点と複数の前記副視点とについての複数の前記中間視点奥行マップを縮小して結合し、１つのフレーム画像にフレーム化したフレーム化奥行マップを生成する。また、立体映像符号化装置は、奥行マップ分離手段によって、前記フレーム化奥行マップから、フレーム化された複数の縮小された前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの複数の前記合成奥行マップを生成する。更にまた、立体映像符号化装置は、残差映像フレーム化手段によって、前記多視点映像において、前記基準視点と複数の前記副視点とについての複数の前記残差映像を縮小して結合し、１つのフレーム画像にフレーム化したフレーム化残差映像を生成する。

　ここで、立体映像符号化装置は、前記中間視点奥行マップ合成手段によって、前記基準視点と、複数の前記副視点のそれぞれとの間の中間視点における複数の前記中間視点奥行マップを生成する。立体映像符号化装置は、前記奥行マップフレーム化手段によって、前記奥行マップ合成手段によって生成された複数の中間視点奥行マップを縮小して結合することで前記フレーム化奥行マップを生成する。そして、立体映像符号化装置は、前記奥行マップ符号化手段によって、前記フレーム化奥行マップを符号化して、前記奥行マップビットストリームとして出力する。
　これによって、立体映像符号化装置は、複数組の視点間において生成された複数の中間視点奥行マップについてのデータ量を低減して符号化を行うこととなる。

　また、立体映像符号化装置は、前記奥行マップ復号化手段によって、前記奥行マップ符号化手段によって符号化されたフレーム化奥行マップを復号化して復号化フレーム化奥行マップを生成する。立体映像符号化装置は、前記奥行マップ分離手段によって、前記復号化フレーム化奥行マップから縮小された複数の前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの前記復号化中間視点奥行マップを生成する。次に、立体映像符号化装置は、前記射影映像予測手段によって、前記奥行マップ分離手段によって分離された復号化中間視点奥行マップを用いて、それぞれの前記復号化中間視点奥行マップに対応する前記副視点における前記副視点映像から前記残差映像を生成する。次に、立体映像符号化装置は、前記残差映像フレーム化手段によって、前記射影映像予測手段によって生成した複数の前記残差映像を縮小して結合することで前記フレーム化残差映像を生成する。そして、立体映像符号化装置は、前記残差映像符号化手段によって、前記フレーム化残差映像を符号化して、前記残差映像ビットストリームとして出力する。
　これによって、立体映像符号化装置は、複数組の視点間において生成された複数の残差映像についてのデータ量を低減して符号化を行うこととなる。

　請求項７に記載の立体映像復号化装置は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像符号化装置であって、基準視点映像復号化手段と、奥行マップ復号化手段と、残差映像復号化手段と、奥行マップ射影手段と、射影映像合成手段と、を備え、前記射影映像合成手段は、基準視点映像射影手段と残差映像射影手段とを有する構成とした。

　かかる構成によれば、立体映像復号化装置は、基準視点映像復号化手段によって、前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する。また、立体映像復号化装置は、奥行マップ復号化手段によって、前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する。また、立体映像復号化装置は、残差映像復号化手段によって、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する。次に、立体映像復号化装置は、奥行マップ射影手段によって、前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。そして、立体映像復号化装置は、射影映像合成手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。このとき、立体映像復号化装置は、基準視点映像射影手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする。そして、立体映像復号化装置は、残差映像射影手段によって、前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする。
　これによって、立体映像復号化装置は、基準視点映像と、基準視点と副視点との中間視点における奥行マップと、副視点映像から切出された残差映像と、を用いて任意の視点における映像を生成する。

　請求項８に記載の立体映像復号化装置は、請求項７に記載の立体映像復号化装置において、前記基準視点映像射影手段は、ホール画素検出手段を有する構成とした。

　かかる構成によれば、立体映像復号化装置は、ホール画素検出手段によって、前記指定視点奥行マップにおいて、画素ごとに、オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素をオクルージョンホールとなる画素として検出する。すなわち、立体映像復号化装置は、映像を生成する視点である指定視点における奥行マップを用いるため、適切にオクルージョンホールとなる画素を検出する。そして、立体映像復号化装置は、その検出結果に応じて、基準視点映像を指定視点に射影した映像及び残差映像を指定視点に射影した映像から画素を選択して指定視点映像を生成するため、適切な画素を選択して指定視点映像を生成する。
　すなわち、立体映像復号化装置は、実際に映像を生成する視点である指定視点における奥行マップを用いてオクルージョンホールとなる画素を検出した結果を用いて、基準視点映像を指定視点に射影した映像及び残差映像を指定視点に射影した映像から適切な画素を選択して指定視点映像を生成する。

　請求項９に記載の立体映像復号化装置は、請求項８に記載の立体映像復号化装置において、前記基準視点映像射影手段は、オクルージョンホールの画素位置を示す穴マスクを膨張させる穴マスク膨張手段を有する構成とした。

　かかる構成によれば、立体映像復号化装置は、穴マスク膨張手段によって、前記ホール画素検出手段で検出した画素位置を示す穴マスクを、所定の画素数だけ膨張させる。そして、立体映像復号化装置は、前記残差映像射影手段によって、前記穴マスク膨張手段によって膨張させた穴マスクにおける画素について、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする。そして、立体映像復号化装置は、指定視点における奥行マップを用いて検出した穴マスクを膨張した結果に応じて、基準視点映像を指定視点に射影した映像及び残差映像を指定視点に射影した映像から画素を選択して指定視点映像を生成する。
　これによって、特に復号化中間視点奥行マップが高い圧縮率で符号化されていた場合に、立体映像復号化装置は、復号化した中間視点奥行マップに含まれる誤差によるオクルージョンホールの検出漏れを吸収する。

　請求項１０に記載の立体映像復号化装置は、請求項９に記載の立体映像復号化装置において、前記残差映像射影手段は、穴埋め処理手段を有する構成とした。

　かかる構成によれば、立体映像復号化装置は、穴埋め処理手段によって、前記指定視点映像において、前記残差映像に含まれなかった画素を検出し、当該含まれなかった画素の周囲の画素値で当該含まれなかった画素の画素値を補間する。
　これによって、立体映像復号化装置は、穴のない指定視点映像を生成する。

　請求項１１に記載の立体映像復号化装置は、請求項７乃至請求項１０の何れか一項に記載の立体映像復号化装置において、奥行マップ分離手段と残差映像分離手段とを更に備える構成とした。

　かかる構成によれば、立体映像復号化装置は、奥行マップ分離手段によって、前記基準視点と複数の前記副視点のそれぞれとの間の中間視点における複数の前記中間視点奥行マップを縮小して結合した１つのフレーム画像であるフレーム化奥行マップを、複数の前記中間視点ごとに分離して、前記基準視点映像と同じ大きさの中間視点奥行マップを生成する。また、立体映像復号化装置は、残差映像分離手段によって、前記複数の副視点についての複数の前記残差映像を縮小して結合した１つのフレーム画像であるフレーム化残差映像を分離して、前記基準視点映像と同じ大きさの前記復号化残差映像を生成する。

　ここで、立体映像復号化装置は、前記奥行マップ復号化手段によって、前記フレーム化奥行マップが符号化された前記奥行マップビットストリームを復号化して、復号化フレーム化奥行マップを生成する。また、立体映像復号化装置は、前記残差映像復号化手段によって、前記フレーム化残差映像が符号化された前記残差映像ビットストリームを復号化して、復号化フレーム化残差映像を生成する。また、立体映像復号化装置は、前記奥行マップ分離手段によって、前記復号化フレーム化奥行マップから、複数の縮小された前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの複数の前記復号化中間視点奥行マップを生成する。また、立体映像復号化装置は、前記残差映像分離手段によって、前記復号化フレーム化残差映像から、複数の縮小された前記残差映像を分離して、前記基準視点映像と同じ大きさの複数の前記復号化残差映像を生成する。また、立体映像復号化装置は、前記奥行マップ射影手段によって、複数の前記指定視点ごとに、それぞれ対応する前記復号化中間視点奥行マップを前記指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。また、立体映像復号化装置は、前記射影映像合成手段によって、複数の前記指定視点ごとに、それぞれ対応する前記指定視点奥行マップを用いて、それぞれ対応する前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。
　これによって、立体映像復号化装置は、基準視点映像と、複数の中間視点奥行マップがフレーム化された奥行マップと、複数の残差映像がフレーム化された残差映像と、を用いて任意の視点における映像を生成する。

　請求項１２に記載の立体映像符号化方法は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化方法であって、基準視点映像符号化処理ステップと、中間視点奥行マップ合成処理ステップと、奥行マップ符号化処理ステップと、奥行マップ復号化処理ステップと、射影映像予測処理ステップと、残差映像符号化処理ステップと、を含み、前記射影映像予測処理ステップは、オクルージョンホール検出処理ステップと残差映像切出処理ステップとを手順として含む。

　かかる手順の立体映像符号化方法によれば、基準視点映像符号化処理ステップにおいて、前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する。また、中間視点奥行マップ合成処理ステップにおいて、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップとを用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを生成する。そして、奥行マップ符号化処理ステップにおいて、前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する。
　これによって、符号化する奥行マップについてのデータ量は元の奥行マップが２つの場合で、半分に削減されることとなる。

　また、奥行マップ復号化処理ステップにおいて、前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する。次に、射影映像予測処理ステップにおいて、前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する。このとき、残差映像を生成するために、オクルージョンホール検出処理ステップにおいて、前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときにオクルージョンホールとなる画素を検出し、残差映像切出処理ステップにおいて、前記オクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する。ここで、符号化される前の中間視点奥行マップではなく、符号化・復号化を経た中間視点奥行マップを用いるものである。特に高い圧縮率で符号化した場合は、復号化された奥行マップは、元の奥行マップに対して多くの誤差を含むこととなる。そこで、前記したビットストリームを復号化して多視点映像を生成する際に用いる中間視点における奥行マップと同じ奥行マップを用いることで、オクルージョンホールとなる画素を正確に検出することができる。そして、残差映像符号化処理ステップにおいて、前記残差映像を符号化して、残差映像ビットストリームとして出力する。
　これによって、副視点映像についてのデータの内で、残差映像として切出された分だけが符号化対象となり、符号化されるデータ量が削減される。

　請求項１３に記載の立体映像復号化方法は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像符号化方法であって、基準視点映像復号化処理ステップと、奥行マップ復号化処理ステップと、残差映像復号化処理ステップと、奥行マップ射影処理ステップと、射影映像合成処理ステップと、を含み、前記射影映像合成処理ステップは、基準視点映像射影処理ステップと残差映像射影処理ステップとを含む手順とした。

　かかる手順の立体映像復号化方法によれば、基準視点映像復号化処理ステップにおいて、前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する。また、奥行マップ復号化処理ステップにおいて、前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する。また、残差映像復号化処理ステップにおいて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する。次に、奥行マップ射影処理ステップにおいて、前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。そして、射影映像合成処理ステップにおいて、前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。このとき、基準視点映像射影処理ステップにおいて、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする。そして、残差映像射影処理ステップにおいて、前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする。
　これによって、基準視点映像と、基準視点と副視点との中間視点における奥行マップと、副視点映像から切出された残差映像と、を用いて任意の視点における映像を生成する。

　請求項１４に記載の立体映像符号化プログラムは、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化するために、コンピュータを、基準視点映像符号化手段、中間視点奥行マップ合成手段、奥行マップ符号化手段、奥行マップ復号化手段、射影映像予測手段、残差映像符号化手段、オクルージョンホール検出手段、残差映像切出手段、として機能させるためのプログラムである。

　かかる構成によれば、立体映像符号化プログラムは、基準視点映像符号化手段によって、前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する。また、立体映像符号化プログラムは、中間視点奥行マップ合成手段によって、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップとを用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを合成する。そして、立体映像符号化プログラムは、奥行マップ符号化手段によって、前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する。
　これによって、符号化する奥行マップについてのデータ量は元の奥行マップが２つの場合で、半分に削減されることとなる。

　また、立体映像符号化プログラムは、奥行マップ復号化手段によって、前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する。次に、立体映像符号化プログラムは、射影映像予測手段によって、前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する。このとき、立体映像符号化プログラムは、残差映像を生成するために、オクルージョンホール検出手段によって、前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときにオクルージョンホールとなる画素を検出し、残差映像切出手段によって、前記オクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する。ここで、立体映像符号化プログラムは、符号化される前の中間視点奥行マップではなく、符号化・復号化を経た中間視点奥行マップを用いるものである。特に高い圧縮率で符号化した場合は、復号化された奥行マップは、元の奥行マップに対して多くの誤差を含むこととなる。そこで、前記したビットストリームを復号化して多視点映像を生成する際に用いる中間視点における奥行マップと同じ奥行マップを用いることで、オクルージョンホールとなる画素を正確に検出することができる。そして、立体映像符号化プログラムは、残差映像符号化手段によって、前記残差映像を符号化して、残差映像ビットストリームとして出力する。
　これによって、副視点映像についてのデータの内で、残差映像として切出された分だけが符号化対象となり、符号化されるデータ量が削減される。

　請求項１５に記載の立体映像復号化プログラムは、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成するために、コンピュータを、基準視点映像復号化手段、奥行マップ復号化手段、残差映像復号化手段、奥行マップ射影手段、射影映像合成手段、基準視点映像射影手段、残差映像射影手段、として機能させるためのプログラムである。

　かかる構成によれば、立体映像復号化プログラムは、基準視点映像復号化手段によって、前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する。また、立体映像復号化プログラムは、奥行マップ復号化手段によって、前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する。また、立体映像復号化プログラムは、残差映像復号化手段によって、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する。次に、立体映像復号化プログラムは、奥行マップ射影手段によって、前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。そして、立体映像復号化プログラムは、射影映像合成手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。このとき、立体映像復号化プログラムは、基準視点映像射影手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする。そして、立体映像復号化プログラムは、残差映像射影手段によって、前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする。
　これによって、立体映像復号化プログラムは、基準視点映像と、基準視点と副視点との中間視点における奥行マップと、副視点映像から切出された残差映像と、を用いて任意の視点における映像を生成する。

　請求項１６に記載の立体映像符号化装置は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化装置であって、基準視点映像符号化手段と、奥行マップ合成手段と、奥行マップ符号化手段と、奥行マップ復号化手段と、射影映像予測手段と、残差映像符号化手段と、を備える構成とした。

　かかる構成によれば、立体映像符号化装置は、基準視点映像符号化手段によって、前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する。また、立体映像符号化装置は、奥行マップ合成手段によって、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを所定の視点に射影して合成し、前記所定の視点における奥行マップである合成奥行マップを生成する。
　これによって、符号化する奥行マップについてのデータ量が低減される。

　また、立体映像符号化装置は、奥行マップ符号化手段によって、前記合成奥行マップを符号化して、奥行マップビットストリームとして出力する。次に、立体映像符号化装置は、奥行マップ復号化手段によって、前記符号化された合成奥行マップを復号化して、復号化合成奥行マップを生成する。次に、立体映像符号化装置は、射影映像予測手段によって、前記復号化合成奥行マップを用いて、前記基準視点映像から他の視点における映像を予測したときの予測残差である残差映像を生成する。そして、立体映像符号化装置は、残差映像符号化手段によって、前記残差映像を符号化して、残差映像ビットストリームとして出力する。
　これによって、他の視点についての映像のデータ量が低減される。

　請求項１７に記載の立体映像符号化装置は、請求項１６に記載の立体映像符号化装置において、前記奥行マップ合成手段は、前記基準視点奥行マップと複数の前記副視点奥行マップとを共通視点に射影して合成することで前記共通視点における１つの合成奥行マップを生成し、更に、残差映像フレーム化手段を更に備える構成とした。

　かかる構成によれば、立体映像符号化装置は、奥行マップ合成手段によって、基準視点奥行マップを含めて３つ以上の奥行マップを、共通視点における１つの合成奥行マップに合成する。
　これによって、奥行マップについてのデータ量が１／３以下に低減される。

　また、立体映像符号化装置は、残差映像フレーム化手段によって、前記基準視点と複数の前記副視点とについての複数の前記残差映像を縮小して結合し、１つのフレーム画像にフレーム化したフレーム化残差映像を生成する。そして、立体映像符号化装置は、前記残差映像符号化手段によって、前記フレーム化残差映像を符号化して、前記残差映像ビットストリームとして出力する。
　これによって、残差映像についてのデータ量が、１／２以下に低減される。

　請求項１８に記載の立体映像符号化装置は、請求項１６又は請求項１７に記載の立体映像符号化装置において、前記射影映像予測手段は、前記復号化合成奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成するように構成した。

　かかる構成によれば、立体映像符号化装置は、射影映像予測手段によって、オクルージョンホールとなる画素のデータのみを切り出すという論理演算を行って残差映像を生成する。
　これによって、残差映像についてのデータ量が大きく低減される。

　請求項１９に記載の立体映像符号化装置は、請求項１６又は請求項１７に記載の立体映像符号化装置において、前記射影映像予測手段は、前記復号化合成奥行マップを用いて、前記基準視点映像を前記副視点に射影した映像と、前記副視点映像との画素ごとの差を算出して残差映像を生成する。

　かかる構成によれば、立体映像符号化装置は、射影映像予測手段によって、映像全体についての２つの映像間の減算を行うことで残差映像を生成する。
　これによって、立体映像復号装置側では、この残差映像を用いて、高品質な立体映像を合成することができる。

　請求項２０に記載の立体映像符号化装置は、請求項１６に記載の立体映像符号化装置において、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームとは、それぞれ、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有しており、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報と、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、を多重化して、多重化ビットストリームとして出力するビットストリーム多重化手段を更に備える構成とした。

　かかる構成によれば、立体映像符号化装置は、ビットストリーム多重化手段によって、前記基準視点映像ビットストリームについてはそのまま出力し、前記奥行マップビットストリームについては、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で挿入して出力し、前記残差映像ビットストリームについては、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で挿入して出力し、前記補助情報については、前記開始コードと、前記第２識別情報と、前記補助情報であることを識別する第５識別情報とをこの順で含むヘッダを前記補助情報に付加して出力する。
　これによって、立体映像についてのビットストリームが多重化されて立体映像復号化装置に伝送される。このときに、基準視点映像は１視点映像のビットストリームとして伝送され、他の情報は１視点映像とは異なる立体映像に関するビットストリームとして伝送される。

　請求項２１に記載の立体映像復号化装置は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化装置であって、基準視点映像復号化手段と、奥行マップ復号化手段と、残差映像復号化手段と、奥行マップ射影手段と、射影映像合成手段と、を備える構成として。

　かかる構成によれば、立体映像復号化装置は、基準視点映像復号化手段によって、前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する。また、立体映像復号化装置は、奥行マップ復号化手段によって、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを合成して生成された所定の視点における奥行マップである合成奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する。また、立体映像復号化装置は、残差映像復号化手段によって、前記基準視点映像から前記基準視点から離れた他の視点における映像を前記復号化合成奥行マップを用いて予測したときの予測残差である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する。次に、立体映像復号化装置は、奥行マップ射影手段によって、前記復号化合成奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。そして、立体映像復号化装置は、射影映像合成手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。
　これによって、基準視点と指定視点とにおける映像からなる多視点映像が生成される。

　請求項２２に記載の立体映像復号化装置は、請求項２１に記載の立体映像復号化装置において、前記合成奥行マップは、前記基準視点奥行マップと複数の前記副視点奥行マップとを共通視点に射影して合成された前記共通視点における１つの奥行マップであり、前記複数の副視点についての複数の前記残差映像を縮小して結合した１つのフレーム画像であるフレーム化残差映像を分離して、前記基準視点映像と同じ大きさの前記復号化残差映像を生成する残差映像分離手段を更に備える構成とした。

　かかる構成によれば、立体映像復号化装置は、前記残差映像復号化手段によって、前記フレーム化残差映像が符号化された前記残差映像ビットストリームを復号化して、復号化フレーム化残差映像を生成し、前記残差映像分離手段によって、前記復号化フレーム化残差映像から、複数の縮小された前記残差映像を分離して、前記基準視点映像と同じ大きさの複数の前記復号化残差映像を生成する。そして、立体映像復号化装置は、前記射影映像合成手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像と、複数の前記復号化残差映像の何れか１つとを前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。
　これによって、フレーム化によってデータ量が低減された残差映像を用いて、多視点映像が生成される。

　請求項２３に記載の立体映像復号化装置は、請求項２１又は請求項２２に記載の立体映像復号化装置において、前記残差映像ビットストリームは、前記基準視点映像を前記基準視点から離れた他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出すことで生成した残差映像が符号化されており、前記射影映像合成手段は、基準視点映像射影手段と、残差映像射影手段と、を有する構成とした。

　かかる構成によれば、立体映像復号化装置は、基準視点映像射影手段によって、前記復号化基準視点映像を前記指定視点に射影したときに、前記指定視点奥行マップを用いて、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする。また、立体映像復号化装置は、残差映像射影手段によって、前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする。
　これによって、基準視点についての映像と、副視点についての映像である残差映像とが合成された指定視点映像が生成される。

　請求項２４に記載の立体映像復号化装置は、請求項２１又は請求項２２に記載の立体映像復号化装置において、前記残差映像ビットストリームは、前記復号化合成奥行マップを用いて前記基準視点映像を前記副視点に射影した映像と、前記副視点映像との画素ごとの差を算出することで生成した残差映像が符号化されており、前記射影映像合成手段は、残差加算手段を有する構成とした。

　かかる構成によれば、立体映像復号化装置は、残差加算手段によって、前記指定視点奥行マップを用いて前記復号化基準視点映像を前記指定視点に射影した映像に、前記指定視点奥行マップを用いて前記復号化残差映像を前記指定視点に射影した映像を、画素ごとに加算して前記指定視点映像を生成する。
　これによって、基準視点についての映像と、副視点についての映像である残差映像とが合成された指定視点映像が生成される。

　請求項２５に記載の立体映像復号化装置は、請求項２１に記載の立体映像復号化装置において、前記基準視点映像ビットストリームは、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有し、前記奥行マップビットストリームは、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で含むヘッダを有し、前記残差映像ビットストリームは、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で含むヘッダを有し、前記補助情報ビットストリームは、前記開始コードと、前記第２識別情報と、前記補助情報ビットストリームであることを識別する第５識別情報とをこの順で含むヘッダを有し、ビットストリーム分離手段を更に備え、前記ビットストリーム分離手段は、基準視点映像ビットストリーム分離手段と、奥行マップビットストリーム分離手段と、残差映像ビットストリーム分離手段と、補助情報分離手段と、を有する構成とした。

　かかる構成によれば、立体映像復号化装置は、分離するビットストリーム分離手段によって、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報を含むビットストリームと、が多重化された多重化ビットストリームを、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記補助情報と、に分離する。

　このとき、立体映像復号化装置は、基準視点映像ビットストリーム分離手段によって、前記多重化ビットストリームから前記開始コードの直後に前記第１識別情報を有するビットストリームを前記基準視点映像ビットストリームとして分離し、分離した基準視点映像ビットストリームを前記基準視点映像復号化手段に出力する。また、立体映像復号化装置は、奥行マップビットストリーム分離手段によって、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第３識別情報とをこの順で有するビットストリームを前記奥行マップビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第３識別情報を除去したビットストリームを前記奥行マップ復号化手段に出力する。また、立体映像復号化装置は、残差映像ビットストリーム分離手段によって、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第４識別情報とをこの順で有するビットストリームを前記残差映像ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第４識別情報を除去したビットストリームを前記残差映像復号化手段に出力する。そして、立体映像復号化装置は、補助情報分離手段によって、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第５識別情報とをこの順で有するビットストリームを前記補助情報ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第５識別情報を除去したビットストリームを補助情報として前記射影映像合成手段に出力する。
　これによって、立体映像復号化装置は、多重化ビットストリームを受信して、多視点映像を生成する。

　請求項２６に記載の立体映像符号化方法は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化方法であって、基準視点映像符号化処理ステップと、奥行マップ合成処理ステップと、奥行マップ符号化処理ステップと、奥行マップ復号化処理ステップと、射影映像予測処理ステップと、残差映像符号化処理ステップと、を含む手順とした。

　かかる手順の立体映像符号化方法によれば、基準視点映像符号化処理ステップにおいて、前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する。また、奥行マップ合成処理ステップにおいて、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを所定の視点に射影して合成し、前記所定の視点における奥行マップである合成奥行マップを生成する。
　これによって、符号化する奥行マップについてのデータ量が低減される。

　次に、奥行マップ符号化処理ステップにおいて、前記合成奥行マップを符号化して、奥行マップビットストリームとして出力する。次に、奥行マップ復号化処理ステップにおいて、前記符号化された合成奥行マップを復号化して、復号化合成奥行マップを生成する。次に、射影映像予測処理ステップにおいて、前記復号化合成奥行マップを用いて、前記基準視点映像から他の視点における映像を予測したときの予測残差である残差映像を生成する。そして、残差映像符号化処理ステップにおいて、前記残差映像を符号化して、残差映像ビットストリームとして出力する。
　これによって、他の視点についての映像のデータ量が低減される。

　請求項２７に記載の立体映像符号化方法は、請求項２６に記載の立体映像符号化方法において、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームとは、それぞれ、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有しており、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報と、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、を多重化して、多重化ビットストリームとして出力するビットストリーム多重化処理ステップを更に含む手順とした。

　かかる手順の立体映像符号化方法によれば、前記ビットストリーム多重化処理ステップにおいて、前記基準視点映像ビットストリームについてはそのまま出力し、前記奥行マップビットストリームについては、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で挿入して出力し、前記残差映像ビットストリームについては、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で挿入して出力し、前記補助情報については、前記開始コードと、前記第２識別情報と、前記補助情報であることを識別する第５識別情報とをこの順で含むヘッダを前記補助情報に付加して出力する。
　これによって、立体映像についてのビットストリームが多重化されて立体映像復号化装置に伝送される。このときに、基準視点映像は１視点映像のビットストリームとして伝送され、他の情報は、１視点映像とは異なる立体映像に関するビットストリームとして伝送される。

　請求項２８に記載の立体映像復号化方法は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化方法であって、基準視点映像復号化処理ステップと、奥行マップ復号化処理ステップと、残差映像復号化処理ステップと、奥行マップ射影処理ステップと、射影映像合成処理ステップと、を含む手順とした。

　かかる手順の立体映像復号化方法によれば、基準視点映像復号化処理ステップにおいて、前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する。また、奥行マップ復号化処理ステップにおいて、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを合成して生成された所定の視点における奥行マップである合成奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する。また、残差映像復号化処理ステップにおいて、前記基準視点映像から前記基準視点から離れた他の視点における映像を前記復号化合成奥行マップを用いて予測したときの予測残差である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する。また、奥行マップ射影処理ステップにおいて、前記復号化合成奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。そして、射影映像合成処理ステップにおいて、前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。
　これによって、基準視点と指定視点とにおける映像からなる多視点映像が生成される。

　請求項２９に記載の立体映像復号化方法は、請求項２８に記載の立体映像復号化方法において、前記基準視点映像ビットストリームは、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有し、前記奥行マップビットストリームは、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で含むヘッダを有し、前記残差映像ビットストリームは、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で含むヘッダを有し、前記補助情報ビットストリームは、前記開始コードと、前記第２識別情報と、前記補助情報ビットストリームであることを識別する第５識別情報とをこの順で含むヘッダを有し、ビットストリーム分離処理ステップを更に含む手順とした。

　かかる手順の立体映像復号化方法によれば、前記ビットストリーム分離ステップにおいて、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報を含むビットストリームと、が多重化された多重化ビットストリームを、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記補助情報と、に分離する。

　ここで、前記多重化ビットストリームから前記開始コードの直後に前記第１識別情報を有するビットストリームを前記基準視点映像ビットストリームとして分離し、分離した基準視点映像ビットストリームを前記基準視点映像復号化処理ステップで用い、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第３識別情報とをこの順で有するビットストリームを前記奥行マップビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第３識別情報を除去したビットストリームを前記奥行マップ復号化処理ステップで用い、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第４識別情報とをこの順で有するビットストリームを前記残差映像ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第４識別情報を除去したビットストリームを前記残差映像復号化処理ステップで用い、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第５識別情報とをこの順で有するビットストリームを前記補助情報ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第５識別情報を除去したビットストリームを補助情報として前記射影映像合成処理ステップで用いる。
　これによって、多重化ビットストリームを用いて、立体映像が生成される。

　また、請求項１６に記載の立体映像符号化装置は、一般的なコンピュータが備えるＣＰＵ（中央演算装置）、メモリなどのハードウェア資源を、基準視点映像符号化手段、奥行マップ合成手段、奥行マップ符号化手段、奥行マップ復号化手段、射影映像予測手段、残差映像符号化手段、として機能させるための請求項３０に記載の立体映像符号化プログラムによって実現することもできる。

　また、請求項２０に記載の立体映像符号化装置は、一般的なコンピュータを、ビットストリーム多重化手段として更に機能させるための請求項３１に記載の立体映像符号化プログラムによって実現することもできる。

　また、請求項２１に記載の立体映像復号化装置は、一般的なコンピュータが備えるＣＰＵ、メモリなどのハードウェア資源を、基準視点映像復号化手段、奥行マップ復号化手段、残差映像復号化手段、奥行マップ射影手段、射影映像合成手段、として機能させるための請求項３２に記載の立体映像復号化プログラムによって実現することもできる。

　また、請求項２５に記載の立体映像復号化装置は、一般的なコンピュータが備えるＣＰＵ、メモリなどのハードウェア資源を、ビットストリーム分離手段として更に機能させるための請求項３３に記載の立体映像復号化プログラムによって実現することもできる。

　請求項１、請求項１２又は請求項１４に記載の発明によれば、基準視点映像と副視点映像とこれらの映像のそれぞれに付随する奥行マップについて、符号化する対象データとして、奥行マップについてのデータは、基準視点と副視点との中間視点における奥行マップとし、副視点映像についてのデータは、基準視点映像から射影できずにオクルージョンホールとなる画素のみを抽出した残差映像として、それぞれデータ量を低減したため、元のデータ量に対して高い効率で符号化することができる。

　請求項２に記載の発明によれば、オクルージョンホールとなる画素を漏れが少なく検出するため、この検出結果を用いて副視点映像の画素を切出して残差映像を生成する際に、立体映像復号装置において任意の視点における映像を生成する際に必要となる画素を適切に切出すことができる。

　請求項３に記載の発明によれば、オクルージョンホールの画素位置を示す穴マスクの膨張処理により、オクルージョンホールとなる画素の検出漏れを少なくできるため、この検出結果を用いて副視点映像の画素を切出して残差映像を生成する際に、立体映像復号化装置において任意の視点における映像を生成する際に必要となる画素を更に適切に切出すことができる。

　請求項４に記載の発明によれば、副視点における奥行マップを用いたオクルージョンホールの検出に加えて、中間視点における奥行マップである中間視点奥行マップを用いたオクルージョンホールの検出を行い、より適切にオクルージョンとなる画素を検出するため、その検出結果を用いて、より適切な残差映像を生成することができる。

　請求項５に記載の発明によれば、副視点における奥行マップを用いたオクルージョンホールの検出に加えて、復号側で符号化データを復号して多視点映像を生成する際の指定視点における奥行マップを用いたオクルージョンホールの検出を行うため、その検出結果を用いて、より適切な残差映像を生成することができる。

　請求項６に記載の発明によれば、複数の視点間における中間視点奥行マップ及び残差映像を、それぞれフレーム化することでデータ量を低減するため、立体映像符号化装置はこれらのデータを高い効率で符号化することができる。

　請求項７、請求項１３又は請求項１５に記載の発明によれば、奥行マップと副視点映像とについてのデータ量が低減され、高い効率で符号化されたデータを復号して多視点映像を生成することができる。また、奥行マップとして、基準視点と副視点との中間視点における奥行マップである合成奥行マップを用いることができ、生成する映像の視点の位置が、基準視点又は副視点における奥行マップのみを用いる場合に比べて近くなるため、良好な画質の指定視点映像を生成することができる。

　請求項８に記載の発明によれば、実際に映像を生成する視点である指定視点における奥行マップを用いてオクルージョンホールとなる画素を検出した結果を用いて、基準視点映像を指定視点に射影した映像及び残差映像を指定視点に射影した映像から画素を適切に選択して指定視点映像を生成するため、良好な画質の指定視点映像を生成することができる。

　請求項９に記載の発明によれば、復号化した中間視点奥行マップに含まれる誤差によるオクルージョンホールの検出漏れを吸収した検出結果を用いて、基準視点映像を指定視点に射影した映像及び残差映像を指定視点に射影した映像から画素を選択して指定視点映像を生成するため、良好な画質の指定視点映像を生成することができる。

　請求項１０に記載の発明によれば、穴のない映像を生成するため、良好な画質の指定視点映像を生成することができる。

　請求項１１に記載の発明によれば、フレーム化された奥行マップ及び残差映像を分離して元のサイズの奥行マップ及び残差映像を生成することができるため、複数の系統の多視点映像を符号化する際に、複数の系統における奥行マップ及び残差映像を縮小してそれぞれのフレーム画像にフレーム化してデータ量が低減され、高い効率で符号化されたデータを復号して多視点映像を生成することができる。

　請求項１６、請求項２６又は請求項３０に記載の発明によれば、奥行マップについて、基準視点奥行マップと副視点奥行マップとを合成してデータ量を低減するとともに、副視点映像について、残差映像を生成してデータ量を低減するため、多視点映像を高い効率で符号化することができる。
　請求項１７に記載の発明によれば、３以上の奥行マップを１つに合成してデータ量を更に低減するとともに、２以上の残差映像を縮小してフレーム化してデータ量を更に低減するため、符号化効率を更に向上することができる。
　請求項１８に記載の発明によれば、副視点映像についてオクルージョンホールとなる画素のみを切り出してデータ低減するため、符号化効率を向上することができる。
　請求項１９に記載の発明によれば、副視点映像について基準視点映像を副視点に射影した映像との映像全体の差を算出することにより残差映像を生成したため、立体映像復号装置側では、この残差映像を用いて、高品質な多視点映像を合成することができる。
　請求項２０、請求項２７又は請求項３１に記載の発明によれば、立体映像を多重化ビットストリームとして出力する際に、基準視点についての映像は１視点映像のビットストリームとして伝送され、他の情報は立体映像に関するビットストリームとして伝送されるため、１視点映像を復号化する既存の立体映像復号化装置では、誤動作することなく多重化ビットストリームを１視点映像として復号化することができる。

　請求項２１、請求項２８又は請求項３２に記載の発明によれば、奥行マップと副視点映像とについてのデータ量が低減され、高い効率で符号化されたデータを復号化して多視点映像を生成することができる。
　請求項２２に記載の発明によれば、奥行マップと副視点映像とについてのデータ量が更に低減され、更に高い効率で符号化されたデータを復号化して多視点映像を生成することができる。
　請求項２３に記載の発明によれば、副視点映像についてのデータ量が更に低減され、更に高い効率で符号化されたデータを復号化して多視点映像を生成することができる。
　請求項２４に記載の発明によれば、副視点映像について、高品質な残差映像が符号化されたデータを復号化して多視点映像を高品質に生成することができる。
　請求項２５、請求項２９又は請求項３３に記載の発明によれば、多重化ビットストリームを分離したビットストリームを復号化して、多視点映像を生成することができる。

本発明の第１実施形態及び２実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムの構成を示すブロック図である。本発明の第１実施形態に係る立体映像符号化装置の構成を示すブロック図である。本発明の第１実施形態に係る立体映像符号化装置の詳細な構成を示すブロック図であり、（ａ）は奥行マップ合成手段、（ｂ）はオクルージョンホール検出手段の構成を示す。本発明の第１実施形態に係る立体映像符号化装置における符号化処理の概要を説明するための説明図である。本発明における奥行マップの合成の手順を説明するための説明図であり、（ａ）は基準視点及び左視点における奥行マップを用いる場合、（ｂ）は基準視点及び右視点における奥行マップを用いる場合を示す。本発明におけるオクルージョンホール検出の手順を説明するための説明図である。本発明の第１実施形態に係る立体映像復号化装置の構成を示すブロック図である。本発明の第１実施形態に係る立体映像復号化装置における射影映像合成手段の構成を示すブロック図である。本発明の第１実施形態に係る立体映像復号化装置における復号化処理の概要を説明するための説明図である。本発明の第１実施形態に係る立体映像符号化装置の動作を示すフローチャートである。本発明の第１実施形態に係る立体映像復号化装置の動作を示すフローチャートである。本発明の第２実施形態に係る立体映像符号化装置の構成を示すブロック図である。本発明の第２実施形態に係る立体映像符号化装置における符号化処理の概要を説明するための説明図である。本発明の第２実施形態に係る立体映像復号化装置の構成を示すブロック図である。本発明の第２実施形態に係る立体映像復号化装置における復号化処理の概要を説明するための説明図である。本発明の第２実施形態に係る立体映像符号化装置の動作を示すフローチャートである。本発明の第２実施形態に係る立体映像復号化装置の動作を示すフローチャートである。本発明の第２実施形態の変形例に係る立体映像符号化装置におけるフレーム化処理の概要を説明するための説明図であり、（ａ）は奥行マップのフレーム化、（ｂ）は残差映像のフレーム化を示す。本発明の第３実施形態に係る立体映像符号化装置の構成を示すブロック図である。本発明の第３実施形態に係る立体映像符号化装置における符号化処理の概要を説明するための説明図である。（ａ）は本発明の第３実施形態に係る立体映像符号化装置における射影映像予測手段の詳細な構成を示すブロック図であり、（ｂ）はその変形例における射影映像予測手段の構成を示すブロック図である。本発明の第３実施形態に係る立体映像復号化装置の構成を示すブロック図である。本発明の第３実施形態に係る立体映像復号化装置における復号化処理の概要を説明するための説明図である。（ａ）は本発明の第３実施形態に係る立体映像復号化装置における射影映像予測手段の詳細な構成を示すブロック図であり、（ｂ）はその変形例における射影映像予測手段の構成を示すブロック図である。本発明の第３実施形態に係る立体映像符号化装置の動作を示すフローチャートである。本発明の第３実施形態に係る立体映像復号化装置の動作を示すフローチャートである。本発明の第４実施形態に係る立体映像符号化装置の構成を示すブロック図である。本発明の第４実施形態に係る立体映像符号化装置におけるビットストリーム多重化手段の詳細な構成を示すブロック図である。本発明の第４実施形態におけるデータ構造を示す図であり、（ａ）は従来のビットストリーム、（ｂ）は基準視点映像ビットストリーム、（ｃ）は奥行マップビットストリーム、（ｄ）は残差映像ビットストリーム、（ｅ）は補助情報を示す。本発明の第４実施形態における補助情報の内容を説明するための図である。本発明の第４実施形態に係る立体映像復号化装置の構成を示すブロック図である。本発明の第４実施形態に係る立体映像復号化装置におけるビットストリーム分離手段の詳細な構成を示すブロック図である。本発明の第４実施形態に係る立体映像符号化装置の動作を示すフローチャートである。本発明の第４実施形態に係る立体映像復号化装置の動作を示すフローチャートである。従来の立体映像符号化装置の構成を示すブロック図である。

　以下、本発明の実施形態について図面を参照して説明する。
＜第１実施形態＞
［立体映像伝送システム］
　まず、図１を参照して、本発明の第１実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムＳについて説明する。

　立体映像伝送システムＳは、カメラなどで撮影された立体映像を奥行マップとともに符号化して伝送し、伝送先において多視点映像を生成するものである。ここでは、立体映像伝送システムＳは、立体映像符号化装置１と、立体映像復号化装置２と、立体映像作成装置３と、立体映像表示装置４と、を備えている。

　立体映像符号化装置１は、立体映像作成装置３で作成した立体映像を符号化して、ビットストリームとして伝送路に出力し、立体映像復号化装置２に送信するものである。また、立体映像復号化装置２は、立体映像符号化装置１から送信されるビットストリームを復号化し、多視点映像を生成して、立体映像表示装置４に出力し、立体映像を表示させるものである。

　なお、立体映像符号化装置１から立体映像復号化装置２に伝送されるビットストリームは、例えば、複数種類の信号のそれぞれに対応して、複数本のビットストリームとしてもよい。また、後記する第４実施形態のように、これらの信号を多重化して、１本のビットストリームとして伝送するようにしてもよい。後記する他の実施形態についても同様である。

　また、立体映像作成装置３は、立体映像を撮影できるカメラやＣＧ（コンピュータグラフィックス）作成装置などであり、立体映像（多視点映像）と、それに付随する奥行マップとを生成し、立体映像符号化装置１に出力するものである。立体映像表示装置４は、立体映像復号化装置２によって生成された多視点映像を入力し、立体映像を表示するものである。

［立体映像符号化装置の構成］
　次に、図２から図４を参照（適宜図１参照）して、第１実施形態に係る立体映像符号化装置１の構成について説明する。
　図２に示すように、第１実施形態に係る立体映像符号化装置１（以下、適宜に「符号化装置」と呼ぶ）は、基準視点映像符号化手段１１と、奥行マップ合成手段１２と、奥行マップ符号化手段１３と、奥行マップ復号化手段１４と、射影映像予測手段１５と、残差映像符号化手段１６と、を備えている。また、射影映像予測手段１５は、オクルージョンホール検出手段１５１と、残差映像切出手段１５２とを有して構成されている。

　符号化装置１は、立体映像として、基準となる視点からみた映像である基準視点映像Ｃと、基準視点から水平に左方向に離れた視点である左視点（副視点）からみた映像である左視点映像（副視点映像）Ｌと、これらの映像にそれぞれ対応する基準視点奥行マップＣｄと、左視点奥行マップ（副視点奥行マップ）Ｌｄと、立体映像復号化装置２で生成される多視点映像において映像の生成が指定される視点である左指定視点１～ｎ（指定視点）と、を入力する。

　なお、本実施形態では、被写体に向かって右側の視点を基準視点とし、左側の視点を左視点（副視点）とするものであるが、これに限定されるものではない。例えば、左側の視点を基準視点とし、右側の視点を副視点としてもよい。また、基準視点と副視点とは、水平方向に離れる場合に限定されず、垂直方向や斜め方向など、視点から被写体を観察する角度が変化するような、任意の方向に離れていてもよい。

　そして、符号化装置１は、これらの入力データに基づいて、基準視点映像Ｃを符号化した符号化基準視点映像ｃを、基準視点映像ビットストリームとして出力し、基準視点と左視点との中間の視点である左合成視点（中間視点）における奥行マップである左合成奥行マップ（中間視点奥行マップ）Ｍｄを符号化した符号化奥行マップｍｄを、奥行ビットマップストリームとして出力し、基準視点映像Ｃと左視点映像Ｌとの差分である左残差映像（残差映像）Ｌｖを符号化した符号化残差映像ｌｖを、残差映像ビットストリームとして出力する。

　また、符号化装置１から出力された各ビットストリームは、伝送路を介して立体映像復号化装置２（図１参照）に伝送される。

　以下、各構成要素について、図４に示した映像及び奥行マップの例を参照しながら説明する。なお、説明を簡単にするため、図４において、基準視点映像Ｃ及び左視点映像Ｌなどに示すように、各映像は、円形の前景にある被写体と、その他の背景となる被写体とから構成されているものとする。

　また、図４の基準視点奥行マップＣｄや左視点奥行マップＬｄに示すように、各奥行マップにおいて、前景にある被写体に対応する画素（円形の領域）は、奥行値が大きな値を有しており、図面において明るく示している。また、背景にある被写体に対応する画素は、奥行値が小さな値を有しており、図面において暗く示している。

　なお、各視点の映像に付随する奥行マップは、基準視点映像Ｃ及び左視点映像Ｌの中に映っている同じ被写体点に対応する画素位置のずれ量に対応する値である奥行値が画素ごとに定められたマップとして、それぞれの視点の映像の画素ごとに、予め与えられているものとする。

　基準視点映像符号化手段１１は、基準視点映像Ｃを外部から入力し、所定の符号化方式によって符号化して符号化基準視点映像ｃを生成し、基準視点映像ビットストリームとして伝送路に出力するものである。

　ここで用いる符号化方式としては、２Ｄ（２次元）映像符号化方式として普及している符号化方式を用いることが好ましい。具体的には、現在放送に用いられているＭＰＥＧ－２（Moving Picture Experts Group-2）規格の符号化方式や、光ディスクレコーダに用いられているＨ．２６４｜ＭＰＥＧ－４　ＡＶＣ（Moving Picture Experts Group-4 Advanced Video Coding）規格の符号化方式を挙げることができる。これによって、普及している従来の２Ｄデコーダのみを備えた復号化装置であっても、立体映像の一部である基準視点映像Ｃを、平面映像として見ることができるという利点がある。

　奥行マップ合成手段（中間視点奥行マップ合成手段）１２は、基準視点奥行マップＣｄと左視点奥行マップＬｄとを外部から入力し、それぞれ、基準視点と左視点との中間の視点である中間視点に射影して、中間視点における奥行マップを生成する。そして、奥行マップ合成手段１２は、生成した中間視点における２つの奥行マップを合成して、左合成奥行マップ（中間視点奥行マップ）Ｍｄを生成し、奥行マップ符号化手段１３に出力する。

　なお、本実施形態で用いる奥行マップは、何れの奥行マップも、基準視点映像Ｃなどの映像と同じ形式の画像データとして取り扱うこととする。例えば、ハイビジョン規格の形式を用いる場合は、輝度成分（Ｙ）として奥行値を設定し、色差成分（Ｐｂ，Ｐｒ）としてそれぞれ所定値（１成分当たり８ビット信号の場合、例えば「１２８」）を設定する。これによって、奥行マップ符号化手段１３によって、左合成奥行マップＭｄを、映像と同様の符号化方式を用いて符号化する場合でも、奥行マップとして有効な情報を有さない色差成分（Ｐｂ，Ｐｒ）による符号化効率の低下を防止することができる。

　また、奥行マップ合成手段１２は、図３（ａ）に示すように、中間視点射影手段１２１、１２２と、マップ合成手段１２３とを有して構成されている。

　中間視点射影手段１２１は、基準視点奥行マップＣｄについて、各画素を、その画素値である奥行値の１／２に対応する画素数だけ、基準視点から見て中間視点の方向と反対側である右方向にシフトさせることにより、中間視点における奥行マップＭ^Ｃｄを生成する。その結果、奥行マップＭ^Ｃｄ内に、画素をシフトすることによって生じた奥行値（画素値）のない画素が生じ、これをオクルージョンホールと呼ぶ。奥行値がない画素については、その画素位置の所定範囲の近傍の有効な画素における奥行値を、その画素の奥行値とする。この場合において、所定範囲の近傍の画素の奥行値の中で最小の奥行値を、その画素の奥行値とすることが好ましい。これによって、オクルージョンによって前景の被写体の後ろに隠れていた後景（背景）の被写体に対応する画素の奥行値を、ほぼ正しく補間することができる。
　中間視点射影手段１２１は、生成した奥行マップＭ^Ｃｄをマップ合成手段１２３に出力する。

　ここで、図５（ａ）を参照して、奥行マップの射影について説明する。
　図５（ａ）に示すように、基準視点から左視点までの距離をｂ、基準視点から任意の視点である左指定視点までの距離をｃ、左中間視点から左指定視点までの距離をａ、左指定視点から左視点までの距離をｄとする。また、基準視点から左中間視点までの距離及び左中間視点から左視点までの距離は、何れもｂ／２である。

　奥行値とは、基準視点と左視点との距離である距離ｂだけ離れた視点に奥行マップ又は映像を射影する場合に、その画素を、視点のシフト方向と反対側である右方向にシフトさせる画素数（視差量）に対応するものであり、通常は、映像中の最大視差量を最大奥行値に対応させて用いられる。また、この画素数のシフト量は、視点のシフト量に比例する。従って、基準視点における奥行マップを、基準視点からｃだけ離れた指定視点に射影する場合は、各画素を、その奥行値の（ｃ／ｂ）倍に対応する画素数だけ、右側にシフトさせることとなる。なお、視点のシフト方向が右方向の場合は、画素は反対側である右方向にシフトさせる。

　従って、中間視点射影手段１２１において、基準視点における奥行マップを中間視点に射影する場合は、前記したように、奥行値の（（ｂ／２）／ｂ）＝１／２倍に対応する画素数だけ右方向にシフトさせることとなる。

　また、次に説明する中間視点射影手段１２２に示すように、左視点における奥行マップを左視点から見て右方向にある中間視点に射影する場合は、左視点における奥行マップの各画素を、その画素の奥行値の（（ｂ／２）／ｂ）＝１／２倍に対応する画素数だけ左方向にシフトさせることとなる。

　図３（ａ）に戻って、説明を続ける。
　中間視点射影手段１２２は、左視点奥行マップＬｄについて、その各画素を、その画素値である奥行値の１／２に対応する画素数だけ、左視点から見て中間視点の方向と反対側である左方向にシフトさせることにより、中間視点における奥行マップＭ^Ｌｄを生成する。その結果、奥行マップＭ^Ｌｄ内に、オクルージョンホールが生じるので、前記した中間視点射影手段１２１と同様に、これをその画素の周囲の有効な画素の画素値で埋める。
　中間視点射影手段１２２は、生成した奥行マップＭ^Ｌｄをマップ合成手段１２３に出力する。

　なお、中間視点射影手段１２１，１２２が、それぞれ中間視点における奥行マップＭ^Ｃｄ、Ｍ^Ｌｄを生成するときに、各奥行マップにおける各画素の奥行値の違いから、元の奥行マップ（基準視点奥行マップＣｄ、左視点奥行マップＬｄ）において異なる位置の画素が、シフト後に同じ位置となることがある。画素位置をシフト後に、同じ位置に複数の画素が重なる場合は、その中で最も大きな奥行値を有する画素を、その画素における奥行値とする。これによって、射影後の奥行マップ（中間視点における奥行マップＭ^Ｃｄ、Ｍ^Ｌｄ）において、前景の被写体の奥行値が残り、被写体の重なり関係であるオクルージョン関係を正しく保つことができる。

　マップ合成手段１２３は、中間視点射影手段１２１、１２２から入力した２つの中間視点における奥行マップＭ^Ｃｄ、Ｍ^Ｌｄを１つに合成して、左合成奥行マップＭｄを生成し、奥行マップ符号化手段１３に出力する。

　マップ合成手段１２３は、２つの奥行マップＭ^Ｃｄ、Ｍ^Ｌｄを１つに合成して、左合成奥行マップＭｄを生成するときに、両方の奥行マップＭ^Ｃｄ、Ｍ^Ｌｄについて、同じ画素位置の奥行値の平均値を、その画素における奥行値とする。

　次に、マップ合成手段１２３は、左合成奥行マップＭｄに、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５、及び１７×１７の画素サイズのメディアンフィルタ処理を順に施す。これによって、フィルタ処理前の奥行マップの品質が悪く、誤った奥行値を多く含む滑らかでない奥行マップであっても、周囲の画素領域内の各画素の奥行値の中央値で置換えられることにより、より滑らかな奥行マップが得られ、立体映像復号化装置２で合成される指定視点映像の品質が改善される。なお、メディアンフィルタ処理を施しても、奥行値が大きく変化する部分は保存されるので、前景と背景の奥行値が混ざり合うことはない。

　奥行マップ符号化手段１３は、奥行マップ合成手段１２から入力した左合成奥行マップＭｄを所定の符号化方式で符号化して符号化奥行マップｍｄを生成し、奥行マップビットストリームとして伝送路に出力する。

　ここで用いる符号化方式は、前記した基準視点映像を符号化した符号化方式と同じでもよいし、例えば、ＨＥＶＣ（High Efficiency Video Coding）のような、より符号化効率の高い符号化方式を用いてもよい。

　奥行マップ復号化手段１４は、奥行マップ符号化手段１３によって生成された符号化奥行マップｍｄである奥行マップビットストリームを、その符号化方式に基づいて復号化し、中間視点における奥行マップである復号化左合成奥行マップ（復号化中間視点奥行マップ）Ｍ’ｄを生成する。奥行マップ復号化手段１４は、生成した復号化左合成奥行マップＭ’ｄをオクルージョンホール検出手段１５１に出力する。

　射影映像予測手段１５は、図２に示すように、基準視点映像Ｃ、左視点映像Ｌ及び左指定視点Ｐｔ_１～Ｐｔ_ｎを外部から入力し、奥行マップ復号化手段１４から復号化左合成奥行マップＭ’ｄを入力し、左残差映像Ｌｖを生成して、残差映像符号化手段１６に出力する。また、射影映像予測手段１５は、オクルージョンホール検出手段１５１と残差映像切出手段１５２とを有して構成されている。

　オクルージョンホール検出手段１５１は、基準視点映像Ｃ及び左指定視点Ｐｔ_１～Ｐｔ_ｎを外部から入力し、奥行マップ復号化手段１４から復号化左合成奥行マップＭ’ｄを入力し、基準視点映像Ｃを左視点、中間視点及び左指定視点Ｐｔ_１～Ｐｔ_ｎに射影したときに発生が予測されるオクルージョンホールとなる画素領域を検出するものである。オクルージョンホール検出手段１５１は、オクルージョンホールとなる画素領域を示す穴マスクＬｈを検出結果として生成し、残差映像切出手段１５２に出力する。

　なお、本実施形態における穴マスクＬｈは、基準視点映像Ｃなどの映像と同じサイズの２値データ（０，１）であり、基準視点映像Ｃを左視点などにオクルージョンホールとならずに射影できた画素については、値「０」が設定され、オクルージョンホールとなる画素については、値「１」に設定するものとする。

　ここで、オクルージョンホールＯＨについて説明する。なお、図４に示すように、基準視点映像Ｃを、左視点における奥行マップである左視点射影奥行マップＬ’ｄを用いて、左視点に射影する場合を例として説明する。

　映像を撮影するカメラの設置場所などである視点位置に近い前景となる被写体の画素は、視点位置のシフトによって、大きくずれた位置に射影される。また、視点位置から遠く離れた背景となる被写体の画素は、視点位置のシフトによって、殆どずれない位置に射影される。このため、図４の左視点射影映像Ｌ^Ｃとして示したように、前景となる円形の被写体が右方向にずれた後には、前景に隠れていて基準視点映像Ｃには対応する画素がなかった黒く示した三日月状の領域が、画素が射影されない領域として残ることとなる。この画素が射影されない領域がオクルージョンホールＯＨである。

　なお、この説明の例に限らず、映像を、その映像に関する奥行マップ（視点は映像と同じでなくてもよい）を用いて任意の視点に射影する場合に、一般的にオクルージョンホールが発生する。

　一方、前景の被写体が右方向にずれて撮影されている左視点映像Ｌには、このオクルージョンホールＯＨにおける画素が撮影されている。そこで、本実施形態においては、後記する残差映像切出手段１５２によって、左視点映像Ｌから、このオクルージョンホールＯＨにおける画素領域の画素を抽出して左残差映像Ｌｖを生成する。

　これによって、左視点映像Ｌの全部ではなく、基準視点映像Ｃから射影可能な画素領域を除いた残差映像のみを符号化するため、符号化効率がよく、伝送するデータ量を低減することができる。なお、オクルージョンホール検出手段１５１の詳細については後記する。

　なお、左合成奥行マップＭｄが符号化及び復号化により可逆変換される符号化方式を用いる場合は、オクルージョンホールとなる画素領域の検出のため、復号化左合成奥行マップＭ’ｄの代わりに、左合成奥行マップＭｄを用いることもできる。この場合は、奥行マップ復号化手段１４は不要である。しかし、高い圧縮率が得られる符号化方式は、一般的には非逆変換であるため、本実施形態のように、復号化左合成奥行マップＭ’ｄを用いることが好ましい。これによって、立体映像復号化装置２（図１参照）で、復号化左合成奥行マップＭ’ｄを用いて多視点映像を生成する際に発生するオクルージョンホールを正確に予測することができる。

　残差映像切出手段１５２は、外部から左視点映像Ｌを入力し、オクルージョンホール検出手段１５１から穴マスクＬｈを入力し、穴マスクＬｈに示されたオクルージョンホールとなる画素領域における画素を左視点映像Ｌから抽出して左残差映像Ｌｖを生成するものである。残差映像切出手段１５２は、生成した左残差映像Ｌｖを残差映像符号化手段１６に出力する。

　なお、左残差映像Ｌｖは、基準視点映像Ｃや左視点映像Ｌと同じ形式の画像データとする。このとき、オクルージョンホールとならない画素領域の画素については、所定の画素値とする。所定値は、例えば、１成分当たり８ビットの画素データの場合、輝度成分（Ｙ）、色差成分（Ｐｂ，Ｐｒ）とも、中間の画素値である１２８とすることが好ましい。このようにすることで、残差映像がある部分と、残差映像がない部分との変化量を少なくし、左残差映像Ｌｖの符号化処理での歪を小さくすることができる。また、立体映像復号化装置２（図１参照）で左指定視点Ｐｔにおける映像を生成する際に、左残差映像Ｌｖから適切な画素が得られない場合に、左残差映像Ｌｖにおいて、オクルージョンホールとならなかった部分の画素を検出して、その画素について、残差映像のある有効な周囲の画素で補間することが可能となる。

　残差映像符号化手段１６は、残差映像切出手段１５２から左残差映像Ｌｖを入力し、所定の符号化方式で左残差映像Ｌｖを符号化して符号化残差映像ｌｖを生成し、残差映像ビットストリームとして伝送路に出力する。

　ここで用いる符号化方式は、前記した基準視点映像Ｃを符号化した符号化方式と同じでもよいし、ＨＥＶＣのような、より符号化効率の高い符号化方式を用いてもよい。

　次に、図３（ｂ）を参照（適宜図２及び図４参照）して、オクルージョンホール検出手段１５１について、更に詳細に説明する。
　オクルージョンホール検出手段１５１は、図３（ｂ）に示すように、第１穴マスク生成手段１５１１と、第２穴マスク生成手段１５１２と、第３穴マスク生成手段１５１３（１５１３_１～１５１３_ｎ）と、穴マスク合成手段１５１４と、穴マスク膨張手段１５１５と、を有して構成されている。

　第１穴マスク生成手段１５１１は、基準視点映像Ｃを左視点に射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、当該画素領域を示す穴マスクＬｈ_１を生成して穴マスク合成手段１５１４に出力するものである。このために、第１穴マスク生成手段１５１１は、左視点射影手段１５１１ａと、第１ホール画素検出手段１５１１ｂとを有して構成されている。

　左視点射影手段（副視点射影手段）１５１１ａは、奥行マップ復号化手段１４から復号化左合成奥行マップＭ’ｄを入力し、この復号化左合成奥行マップＭ’ｄを左視点に射影して、左視点における奥行マップである左視点射影奥行マップＬ’ｄを生成し、第１ホール画素検出手段１５１１ｂに出力する。

　なお、左視点射影奥行マップＬ’ｄは、中間視点の奥行マップである復号化左合成奥行マップＭ’ｄの各画素について、その画素の奥行値の１／２の値に対応する画素数だけ右方向にシフトすることで生成することができる。すべての画素をシフト後に、同じ画素に複数の画素が重なる場合は、前記した中間視点射影手段１２１，１２２（図３（ａ）参照）により中間視点における奥行マップを生成する場合と同様に、複数の画素の奥行値の中で最大の奥行値を、その画素位置の奥行値とする。また、有効な画素がない場合は、前記したマップ合成手段１２３により中間視点における奥行マップを生成する場合と同様に、その画素位置の所定範囲の近傍の有効な画素における奥行値を、その画素の奥行値とする。この場合において、所定範囲の近傍の画素の奥行値の中で最小の奥行値を、その画素の奥行値としてもよい。

　次に、第１ホール画素検出手段（ホール画素検出手段）１５１１ｂは、外部から基準視点映像Ｃを入力し、左視点射影手段１５１１ａから左視点射影奥行マップＬ’ｄを入力し、左視点射影奥行マップＬ’ｄを用いて、基準視点映像Ｃを左視点に射影した場合に、オクルージョンホールＯＨとなる画素領域を予測して、当該画素領域を示す穴マスクＬｈ_１を生成し、穴マスク合成手段１５１４に出力する。

　なお、第１ホール画素検出手段１５１１ｂは、左視点射影手段１５１１ａから入力した左視点射影奥行マップＬ’ｄに、３×３及び５×５画素のメディアンフィルタ処理を順に施して、符号化、復号化、及び射影によって生じた奥行値の誤差を軽減させる。そして、メディアンフィルタ処理を施した後の左視点射影奥行マップＬ’ｄを用いて、オクルージョンホールＯＨとなる画素領域を検出する。

　ここで、左視点射影奥行マップＬ’ｄを用いて、オクルージョンホールＯＨとなる画素領域を予測する方法について図６を参照して説明する。
　図６に示すように、奥行マップ（左視点射影奥行マップＬ’ｄ）において、オクルージョンホールとなる画素かどうかの判定対象となっている着目画素（図において×印で示した画素）の右近傍画素（図において●で示した画素）が、着目画素における奥行値よりも大きな奥行値を有している場合は、その着目画素はオクルージョンホールとなる画素であると判定し、オクルージョンホールとなる画素であることを示す穴マスクＬｈを生成する。なお、図６に示した穴マスクＬｈにおいて、オクルージョンホールとなる画素は白で示し、他の画素は黒で示している。

　オクルージョンホールとなる画素の検出方法について、更に詳細に説明する。着目画素における奥行値をｘ、着目画素から右方向に所定の画素数Ｐｍａｘだけ離れた画素における奥行値をｙとする。ここで、右方向に離れた所定の画素数Ｐｍａｘとは、例えば、対応する映像内における最大の視差量に相当する画素数、すなわち、最大の奥行値に対応する視差量とする。次に、着目画素から右方向に奥行値の差ｇ＝（ｙ－ｘ）に対応する視差量となる画素数だけ離れた画素を右近傍画素とする。このとき、右近傍画素における奥行値をｚとする。そして、
（ｚ－ｘ）≧ｋ×ｇ＞（所定値）　　・・・式（１）
となる場合に、着目画素をオクルージョンホールとなる画素であると判定する。

　なお、式（１）において、ｋは所定の係数であり、例えば、「０．８」～「０．６」程度の値とすることができる。このように「１」未満の係数ｋを乗ずることにより、被写体の形状や奥行値の不正確さのために、前景となる被写体の奥行値が若干変動する場合であっても、正しくオクルージョンホールを検出することができる。

　なお、以上の判定でオクルージョンホールが検出されなかった場合、細い前景被写体を見逃している可能性があるので、更に、前記したＰｍａｘを半分にしながら、前記したオクルージョンホール検出を繰り返すのが好ましい。繰り返し回数は、例えば４回とすることで、見逃しを殆どなくすことができる。

　また、式（１）において、「所定値」は、例えば、「４」とすることができる。着目画素と右近傍画素との間の奥行値の差が所定値より大きいという条件を加えることにより、実質的に殆どオクルージョンが生じない小さな奥行値の不連続部分を検出することがなく、左残差映像Ｌｖとして抽出される画素数を抑制でき、符号化残差映像ｌｖのデータ量を抑制することができる。

　第２穴マスク生成手段１５１２は、図３（ｂ）に示すように、基準視点映像Ｃを中間視点に射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、当該画素領域を示す穴マスクＬｈ_２を生成して穴マスク合成手段１５１４に出力するものである。このために、第２穴マスク生成手段１５１２は、第２ホール画素検出手段１５１２ａと、左視点射影手段１５１２ｂと、を有して構成されている。

　第２ホール画素検出手段１５１２ａは、外部から基準視点映像Ｃを入力し、奥行マップ復号化手段１４から復号化左合成奥行マップＭ’ｄを入力し、基準視点映像Ｃを中間視点に射影した場合に、オクルージョンホールとなる画素領域を検出して、当該画素領域を示す中間視点における穴マスクを生成し、左視点射影手段１５１２ｂに出力する。

　このとき、第２ホール画素検出手段１５１２ａは、復号化左合成奥行マップＭ’ｄに、３×３と５×５画素のメディアンフィルタ処理を順に施して、符号化、復号化によって生じた奥行値の誤差を軽減させてから、オクルージョンホールとなる画素領域を検出する。

　なお、第２ホール画素検出手段１５１２ａにおける穴マスクの生成は、用いる奥行マップが異なるだけで、前記した第１ホール画素検出手段１５１１ｂにおける穴マスクＬｈ_１の生成と同様に行うことができる。

　左視点射影手段（第２副視点射影手段）１５１２ｂは、第２ホール画素検出手段１５１２ａから中間視点における穴マスクを入力し、この穴マスクを、左視点に射影した穴マスクＬｈ_２を生成する。左視点射影手段１５１２ｂは、生成した穴マスクＬｈ_２を穴マスク合成手段１５１４に出力する。

　なお、中間視点における穴マスクの左視点への射影は、中間視点における穴マスクの
各画素について、復号化左合成奥行マップＭ’ｄの対応する画素における奥行値の１／２倍に対応する画素数だけ右方向にシフトすることで生成することができる。

　第３穴マスク生成手段１５１３_１～１５１３_ｎ（１５１３）は、図３（ｂ）に示すように、基準視点映像Ｃを、それぞれ左指定視点Ｐｔ_１～Ｐｔ_ｎに射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、それぞれ当該画素領域を示す穴マスクＬｈ_３１～Ｌｈ_３ｎを生成して穴マスク合成手段１５１４に出力するものである。このために、各第３穴マスク生成手段１５１３（１５１３_１～１５１３_ｎ）は、指定視点射影手段１５１３ａと、第３ホール画素検出手段１５１３ｂと、左視点射影手段１５１３ｃと、を有して構成されている。

　指定視点射影手段（指定視点射影手段）１５１３ａは、奥行マップ復号化手段１４から復号化左合成奥行マップＭ’ｄを入力し、この復号化左合成奥行マップＭ’ｄを左指定視点Ｐｔ（Ｐｔ_１～Ｐｔ_ｎ）に射影して、左指定視点Ｐｔ（Ｐｔ_１～Ｐｔ_ｎ）における奥行マップである左指定視点奥行マップを生成し、第３ホール画素検出手段１５１３ｂに出力する。

　なお、左指定視点Ｐｔ_１～Ｐｔ_ｎにおける奥行マップは、図５（ａ）に示したように、中間視点から左指定視点までの距離をａ、基準視点から左視点までの距離をｂとすると、中間視点における奥行マップである復号化左合成奥行マップＭ’ｄの各画素について、その画素における奥行値を（ａ／ｂ）倍した値に対応する画素数だけ、中間視点から見て左指定視点と反対側の方向（図５（ａ）の例では右方向）にシフトさせることで生成することができる。

　第３ホール画素検出手段１５１３ｂは、外部から基準視点映像Ｃを入力し、指定視点射影手段１５１３ａから左指定視点奥行マップを入力し、基準視点映像Ｃを対応する左指定視点Ｐｔ_１～Ｐｔ_ｎに射影した場合に、オクルージョンホールとなる画素領域を検出して、当該画素領域を示すその左指定視点Ｐｔ_１～Ｐｔ_ｎにおける穴マスクを生成し、左視点射影手段１５１３ｃに出力する。

　なお、第３ホール画素検出手段１５１３ｂは、指定視点射影手段１５１３ａから入力した左指定視点射影奥行マップに生じるオクルージョンホールを周囲の有効な画素で補間した後、更に、３×３と５×５画素のメディアンフィルタ処理を順に施して、符号化、復号化、及び射影によって生じた奥行値の誤差を軽減させる。その後、第３ホール画素検出手段１５１３ｂは、左指定視点射影奥行マップを用いてオクルージョンホールとなる画素領域を検出する。

　なお、第３ホール画素検出手段１５１３ｂにおける穴マスクの生成は、用いる奥行マップが異なるだけで、前記した第１ホール画素検出手段１５１１ｂにおける穴マスクＬｈ_１の生成と同様に行うことができる。

　左視点射影手段（第３副視点射影手段）１５１３ｃは、第３ホール画素検出手段１５１３ｂから対応する左指定視点Ｐｔ_１～Ｐｔ_ｎにおける穴マスクを入力し、この穴マスクを、左視点に射影した穴マスクＬｈ_３１～Ｌｈ_３ｎを生成する。左視点射影手段１５１３ｃは、生成した穴マスクＬｈ_３１～Ｌｈ_３ｎを穴マスク合成手段１５１４に出力する。

　なお、左視点における穴マスクＬｈ_３１～Ｌｈ_３ｎは、図５（ａ）に示したように、左指定視点から左視点までの距離をｄ、基準視点から左視点までの距離をｂとすると、左指定視点における穴マスクの各画素について、その画素に対応する左指定視点における奥行マップの画素の奥行値を（ｄ／ｂ）倍した値に対応する画素数だけ、右方向にシフトさせることで生成することができる。

　また、左指定視点Ｐｔ_１～Ｐｔ_ｎは、立体映像復号化装置２（図１参照）で生成される多視点映像における視点として、立体映像復号化装置２に入力するものと同じ視点を用いるのが好ましいが、不明な場合は、基準視点位置と副視点（左、又は右視点）位置との間を等間隔に分割した視点を用いてもよい。左指定視点Ｐｔ_１～Ｐｔ_ｎは１つでもよく、２つ以上であってもよい。本実施形態のように、第３穴マスク生成手段１５１３（１５１３_１～１５１３_ｎ）を設け、実際に立体映像復号化装置２（図１参照）で指定される左指定視点Ｐｔ_１～Ｐｔ_ｎに射影したときに予測されるオクルージョンホールとなる画素領域の穴マスクＬｈ_３１～Ｌｈ_３ｎを追加することにより、より適切な左残差映像Ｌｖを生成することができるため好ましい。

　穴マスク合成手段１５１４は、第１穴マスク生成手段１５１１から穴マスクＬｈ_１を、第２穴マスク生成手段１５１２から穴マスクＬｈ_２を、第３穴マスク生成手段１５１３_１～１５１３_ｎから穴マスクＬｈ_３１～Ｌｈ_３ｎを、それぞれオクルージョンホールとなる画素領域の検出結果として入力し、入力したこれらの穴マスク（検出結果）を合成して、１つの穴マスクＬｈ_０を生成し、穴マスク膨張手段１５１５に出力する。

　なお、穴マスク合成手段１５１４は、入力した複数の穴マスクＬｈ_１、Ｌｈ_２、Ｌｈ_３１～Ｌｈ_３ｎについて、オクルージョンホールとなる画素領域の論理和を演算し、少なくとも一つの穴マスクにおいて、オクルージョンホールとなる画素は、オクルージョンホールとなる画素とするものである。

　穴マスク膨張手段１５１５は、穴マスク合成手段１５１４から穴マスクＬｈ_０を入力し、この穴マスクＬｈ_０におけるオクルージョンホールとなる画素領域を、所定の画素数だけ、すべての方向について膨張させるものである。穴マスク膨張手段１５１５は、膨張後の穴マスクＬｈを、残差映像切出手段１５２（図２参照）に出力する。

　ここで、膨張させる所定の画素数とは、例えば、１６画素とすることができる。穴マスクＬｈ_０を所定画素数だけ膨張させた穴マスクＬｈを、左残差映像Ｌｖの抽出に用いることによって、立体映像復号化装置２（図１参照）において、多視点映像を生成する際に、視点（指定視点）の違いによるオクルージョンホールの相違をカバーし、適切な画素を左残差映像Ｌｖから複写して用いることができる。
　なお、穴マスク膨張手段１５１５は、穴マスク合成手段１５１４の前においてもよい。すなわち、個々の穴マスクを膨張させた後に、論理和演算をしても同じ効果が得られる。

［立体映像復号化装置の構成］
　次に、図７から図９を参照（適宜図１参照）して、第１実施形態に係る立体映像復号化装置２の構成について説明する。立体映像復号化装置２は、図２に示した立体映像符号化装置１から伝送路を介して伝送されるビットストリームを復号化して、多視点映像を生成するものである。

　図７に示すように、第１実施形態に係る立体映像復号化装置２（以下、適宜に「復号化装置」と呼ぶ）は、基準視点映像復号化手段２１と、奥行マップ復号化手段２２と、奥行マップ射影手段２３と、残差映像復号化手段２４と、射影映像合成手段２５と、を備えている。また、射影映像合成手段２５は、基準視点映像射影手段２５１と、残差映像射影手段２５２とを有して構成されている。

　復号化装置２は、符号化装置１から、基準視点映像ビットストリームとして出力される符号化基準視点映像ｃと、奥行ビットマップストリームとして出力される符号化奥行マップｍｄと、残差映像ビットマップストリームとして出力される符号化残差映像ｌｖと、を入力し、これらの入力データを加工して、基準視点における映像である基準視点映像（復号化基準視点映像）Ｃ’と左指定視点（指定視点）Ｐｔにおける映像である左指定視点映像（指定視点映像）Ｐとを生成し、立体映像表示装置４に出力して、立体映像を表示させるものである。なお、復号化装置２が生成する左指定視点映像Ｐは、１つでもよく、２以上であってもよい。

　以下、各構成要素について、図９に示した映像及び奥行マップの例を参照しながら説明する。

　基準視点映像復号化手段２１は、符号化装置１から、基準視点映像ビットストリームとして出力される符号化基準視点映像ｃを入力し、その符号化方式で符号化基準視点映像ｃを復号化して基準視点映像（復号化基準視点映像）Ｃ’を生成するものである。基準視点映像復号化手段２１は、生成した基準視点映像Ｃ’を、射影映像合成手段２５の基準視点映像射影手段２５１に出力するとともに、立体映像表示装置４に多視点映像の一つの映像（基準視点映像）として出力する。

　奥行マップ復号化手段２２は、符号化装置１から、奥行ビットマップストリームとして出力される符号化奥行マップｍｄを入力し、その符号化方式で符号化奥行マップｍｄを復号化して、中間視点における奥行マップである復号化左合成奥行マップ（復号化中間視点奥行マップ）Ｍ’ｄを生成する。この復号化左合成奥行マップＭ’ｄは、符号化装置１の奥行マップ復号化手段１４（図２参照）で生成される復号化左合成奥行マップＭ’ｄと同じものである。奥行マップ復号化手段２２は、生成した復号化左合成奥行マップＭ’ｄを、奥行マップ射影手段２３に出力する。

　奥行マップ射影手段２３は、奥行マップ復号化手段２２から中間視点における奥行マップである復号化左合成奥行マップＭ’ｄを入力し、入力した復号化左合成奥行マップＭ’ｄを左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける奥行マップである左指定視点奥行マップＰｄを生成するものである。奥行マップ射影手段２３は、射影した左指定視点奥行マップＰｄのオクルージョンホールを周囲の画素値で補間した後、更に、３×３及び５×５画素のメディアンフィルタ処理を順に施して、符号化、復号化、及び射影によって生じた誤差を軽減させてから、生成した左指定視点奥行マップＰｄを、射影映像合成手段２５の基準視点映像射影手段２５１及び残差映像射影手段２５２に出力する。

　なお、左指定視点Ｐｔは、復号化装置２で生成する多視点映像における左指定視点Ｐｔであり、復号化装置２において予め定められた設定手段（不図示）から入力してもよく、外部からキーボードなどの入力手段を介したユーザの操作によって入力されるようにしてもよい。また、左指定視点Ｐｔは、１つでも、２以上であってもよい。左指定視点Ｐｔが２以上の場合は、左指定視点Ｐｔごとに、順次に、それぞれの左指定視点Ｐｔにおける左指定視点奥行マップＰｄを生成して、順次に射影映像合成手段２５に出力するものとする。

　残差映像復号化手段２４は、符号化装置１から残差映像ビットストリームとして出力される符号化残差映像ｌｖを入力して、その符号化方式で符号化残差映像ｌｖを復号化して左残差映像（復号化残差映像）Ｌ’ｖを生成し、射影映像合成手段２５の残差映像射影手段２５２に出力するものである。

　射影映像合成手段２５は、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像復号化手段２４から左残差映像Ｌ’ｖを、奥行マップ射影手段２３から左指定視点奥行マップＰｄを、それぞれ入力し、これらの入力データを用いて、左指定視点Ｐｔにおける映像である左指定視点映像Ｐを生成し、多視点映像の一つとして立体映像表示装置４に出力するものである。そのために、射影映像合成手段２５は、基準視点映像射影手段２５１と、残差映像射影手段２５２とを有して構成されている。

　射影映像合成手段２５を構成する基準視点映像射影手段２５１は、基準視点映像復号化手段２１から基準視点映像Ｃ’を、奥行マップ射影手段２３から左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点Ｐｔにおける映像として、基準視点映像Ｃ’を当該左指定視点Ｐｔに射影することができる画素についての左指定視点映像Ｐ^Ｃを生成する。基準視点映像射影手段２５１は、生成した左指定視点映像Ｐ^Ｃを残差映像射影手段２５２に出力する。なお、基準視点映像射影手段２５１の詳細な構成については後記する。

　射影映像合成手段２５を構成する残差映像射影手段２５２は、残差映像復号化手段２４から左残差映像Ｌ’ｖを、奥行マップ射影手段２３から左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点Ｐｔにおける映像として、基準視点映像Ｃ’を射影することができない画素、すなわち、オクルージョンホールとなる画素を、左指定視点映像Ｐ^Ｃに補完して左指定視点映像Ｐを生成する。残差映像射影手段２５２は、生成した左指定視点映像Ｐを立体映像表示装置４（図１参照）に出力する。なお、残差映像射影手段２５２の詳細な構成については後記する。

　続いて、基準視点映像射影手段２５１の詳細な構成について説明する。
　基準視点映像射影手段２５１は、図８に示すように、ホール画素検出手段２５１ａと、指定視点映像射影手段２５１ｂと、基準視点映像画素複写手段２５１ｃと、メディアンフィルタ２５１ｄと、穴マスク膨張手段２５１ｅと、を備えて構成されている。

　ホール画素検出手段２５１ａは、奥行マップ射影手段２３から左指定視点奥行マップＰｄを入力し、基準視点映像復号化手段２１から入力した基準視点映像Ｃ’を、この左指定視点奥行マップＰｄを用いて、左指定視点Ｐｔに射影したときにオクルージョンホールとなる画素を検出し、検出した画素領域を示す穴マスクＰ_１ｈを検出結果として生成して基準視点映像画素複写手段２５１ｃに出力する。

　ここで、左指定視点奥行マップＰｄを用いて、オクルージョンホールとなる画素を検出する方法について説明する。ホール画素検出手段２５１ａにおけるオクルージョンホールとなる画素の検出方法は、前記した符号化装置１の第１ホール画素検出手段１５１１ｂ（図３（ａ）参照）における左視点射影奥行マップＬ’ｄに代えて、左指定視点奥行マップＰｄを用いて、オクルージョンホールとなる画素かどうかの判定対象となっている着目画素の右近傍画素が、着目画素における奥行値よりも大きな奥行値を有している場合は、その着目画素はオクルージョンホールとなる画素として検出するものである。このとき、それぞれの奥行マップの視点位置及び射影先の視点位置が異なるため、その調整が必要となる。

　図５（ａ）に示したように、基準視点から左視点までの距離をｂ、基準視点から左指定視点までの距離をｃとする。
　また、オクルージョンホールとなる画素かどうかの判定対象となっている着目画素における奥行値をｘ、着目画素から右方向に所定の画素数Ｐｍａｘだけ離れた画素における奥行値をｙとする。

　次に、所定の画素数Ｐｍａｘだけ離れた画素における奥行値であるｙと、着目画素における奥行値であるｘとの差ｇ＝（ｙ－ｘ）を（ｃ／ｂ）倍した「（ｙ－ｘ）×（ｃ／ｂ）」に対応する画素数だけ右方向に離れた画素における奥行値をｚとする。このとき、
（ｚ－ｘ）≧ｋ×ｇ＞（所定値）　　・・・式（２）
となる場合に、着目画素をオクルージョンホールとなる画素であると判定する。

　なお、式（２）において、ｋは所定の係数であり、例えば、「０．８」～「０．６」程度の値とすることができる。このように「１」未満の係数ｋを乗ずることにより、被写体の形状や奥行値の不正確さのために、前景となる被写体の奥行値が若干変動する場合であっても、正しくオクルージョンホールを検出することができる。

　また、式（２）において、「所定値」は、例えば、「４」とすることができる。着目画素と右近傍画素との間の奥行値の差が所定値より大きいという条件を加えることにより、実質的に殆どオクルージョンが生じない小さな奥行値の不連続部分を検出することがなく、後記する基準視点映像画素複写手段２５１ｃによって、基準視点映像Ｃ’を射影した映像である左指定視点射影映像Ｐ_１ ^Ｃから適切な画素を複写することができる。

　なお、本実施形態では、右方向に離れた所定の画素数は、４段階に設定して、各段階ごとに同様の判定を行い、少なくとも１つの段階でオクルージョンホールとなる画素であると判定された場合は、その着目画素をオクルージョンホールとなる画素であると判定するものである。

　また、４段階に設定する右方向に離れた所定の画素数Ｐｍａｘとしては、例えば、第１段階として、対応する映像内における最大の視差量に相当する画素数、すなわち、最大の奥行値に対応する画素数とする。第２段階としては、第１段階において設定した画素数の１／２とする。第３段階としては、第１段階において設定した画素数の１／４とする。そして、第４段階としては、第１段階において設定した画素数の１／８とする。

　このように、複数の段階の画素数だけ離れた位置における画素との奥行値の差を参照してオクルージョンホールとなる画素の検出をすることにより、大きな視差量を設定したときにはオクルージョンホールが見逃されていた、幅の狭い前景となる被写体によるオクルージョンホールを適切に検出することができて好ましい。なお、右方向に離れた所定の画素数Ｐｍａｘを設定する段階数は、４段階に限定されず、２～３段階や、５段階以上としてもよい。

　なお、前記ホール画素検出手段２５１aは、オクルージョンホールを検出する際に、左残差映像（残差映像）Ｌ’ｖに含まれない領域である、画面の右端から所定の範囲では、オクルージョンホール不検出領域として、オクル―ジョンホール検出を行わず、この部分に生じたオクルージョンホールは、穴埋め処理手段２５２ｃで埋めるようにする。これにより、残差映像に含まれないオクル―ジョンホールが、穴マスク膨張手段２５１eにより拡大されるのを防ぎ、合成映像の品質が低下するのを防ぐ。オクルージョンホール不検出領域とする所定の範囲は、例えば、図９に示したように、映像の右端から最大視差量に相当する画素範囲とする。

　指定視点映像射影手段２５１ｂは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、奥行マップ射影手段２３から左指定視点奥行マップＰｄを、それぞれ入力し、基準視点映像Ｃ’を左指定視点Ｐｔに射影した映像である左指定視点射影映像Ｐ_１ ^Ｃを生成して、基準視点映像画素複写手段２５１ｃに出力する。

　図５（ａ）に示したように、基準視点から左視点までの距離をｂ、基準視点から左指定視点までの距離をｃとする。このとき、指定視点映像射影手段２５１ｂは、左指定視点奥行マップＰｄの各画素について、その画素位置における奥行値を（ｃ／ｂ）倍した値に対応する画素数だけ左方向にシフトした位置における画素を、基準視点映像Ｃ’から抽出し、抽出した画素値を、参照した奥行値の画素位置における画素値とすることによって、左指定視点射影映像Ｐ_１ ^Ｃを生成する。

　基準視点映像画素複写手段２５１ｃは、指定視点映像射影手段２５１ｂから左指定視点射影映像Ｐ_１ ^Ｃを、ホール画素検出手段２５１ａから穴マスクＰ_１ｈを、それぞれ入力し、これらの入力データから、オクルージョンホールとならずに基準視点映像Ｃ’を左指定視点Ｐｔに射影することができる画素を複写して、左指定視点映像Ｐ_２ ^Ｃを生成するものである。
　また、基準視点映像画素複写手段２５１ｃは、生成した左指定視点映像Ｐ_２ ^Ｃと、入力した穴マスクＰ_１ｈとを、メディアンフィルタ２５１ｄに出力する。

　なお、基準視点映像画素複写手段２５１ｃは、左指定視点映像Ｐ_２ ^Ｃを生成する際に、左指定視点映像Ｐ_２ ^Ｃのすべての画素値について所定値を設定する初期化処理を行う。この所定値とは、前記した符号化装置１の残差映像切出手段１５２（図２参照）において、残差映像のない画素に設定した画素値と同じものとする（例えば、１成分当たり８ビットの場合、輝度成分（Ｙ）、色差成分（Ｐｂ，Ｐｒ）とも、「１２８」）。これによって、オクルージョンホールとなる画素として、この所定値が設定された左指定視点映像Ｐ_２ ^Ｃが生成される。

　メディアンフィルタ２５１ｄは、基準視点映像画素複写手段２５１ｃから左指定視点映像Ｐ_２ ^Ｃ及び穴マスクＰ_１ｈを入力し、それぞれの入力データにメディアンフィルタ処理を施して、それぞれ左指定視点映像Ｐ^Ｃ及び穴マスクＰ_２ｈを生成し、生成した左指定視点映像Ｐ^Ｃを残差映像射影手段２５２の残差映像画素複写手段２５２ｂに、穴マスクＰ_２ｈを穴マスク膨張手段２５１ｅにそれぞれ出力する。

　左指定視点映像Ｐ_２ ^Ｃに施すメディアンフィルタ処理は、例えば、３×３の画素サイズのフィルタを用いることができる。これによって、左指定視点射影映像Ｐ_１ ^Ｃ中に対応する有効な画素がないにも関わらず、ホール画素検出手段２５１aで検出されなかった孤立したオクルージョンホールとなる画素が、その周囲である３×３の画素領域内の各画素値の中央値で補間される。

　なお、このメディアンフィルタ処理によって、処理前に有効な画素であった画素が、オクルージョンホールとなる画素を示す画素値に置き換わる場合は、この画素についてはメディアンフィルタ処理の結果を適用せずに、メディアンフィルタ処理前の画素値を維持する。

　穴マスク膨張手段２５１ｅは、メディアンフィルタ２５１ｄから穴マスクＰ_２ｈを入力し、穴マスクＰ_２ｈにおけるオクルージョンホールとなる画素領域を、所定の画素数だけ膨張させた穴マスクＰｈを生成し、生成した穴マスクＰｈを残差映像射影手段２５２の残差映像画素複写手段２５２ｂに出力する。

　ここで、膨張させる所定の画素数とは、例えば、８画素とすることができる。この膨張処理によって、前記した基準視点映像画素複写手段２５１ｃによって、左指定視点奥行マップＰｄの生成誤差のために誤って左指定視点射影映像Ｐ_１ ^Ｃから複写した画素について、実質的にオクルージョンホールとなる画素である「画素なし」の状態に戻すことができる。なお、この画素については、後記する残差映像射影手段２５２によって適切な画素値が複写される。

　次に、残差映像射影手段２５２の詳細な構成について説明する。
　残差映像射影手段２５２は、図８に示すように、指定視点映像射影手段２５２ａと、残差映像画素複写手段２５２ｂと、穴埋め処理手段２５２ｃと、を有して構成されている。

　指定視点映像射影手段２５２ａは、残差映像復号化手段２４から左残差映像Ｌ’ｖを、奥行マップ射影手段２３から左指定視点奥行マップＰｄを、それぞれ入力し、左残差映像Ｌ’ｖを左指定視点Ｐｔに射影した映像である左指定視点射影残差映像Ｐ^Ｌｖを生成し、残差映像画素複写手段２５２ｂに出力する。

　図５（ａ）に示したように、基準視点から左視点までの距離をｂ、左視点から左指定視点までの距離をｄとする。このとき、指定視点映像射影手段２５２ａは、左指定視点奥行マップＰｄの各画素について、その画素位置における奥行値を（ｄ／ｂ）倍した値に対応する画素数だけ右方向にシフトした位置における画素を、左残差映像Ｌ’ｖから抽出し、抽出した画素値を、参照した奥行値の画素位置における画素値とすることによって、左指定視点射影残差映像Ｐ^Ｌｖを生成する。

　残差映像画素複写手段２５２ｂは、基準視点映像射影手段２５１のメディアンフィルタ２５１ｄから左指定視点映像Ｐ^Ｃを、穴マスク膨張手段２５１ｅから穴マスクＰｈを、指定視点映像射影手段２５２ａから左指定視点射影残差映像Ｐ^Ｌｖを、それぞれ入力し、これらの入力データから、オクルージョンホールとなった画素について、左指定視点射影残差映像Ｐ^Ｌｖから画素値を抽出して、左指定視点映像Ｐ^Ｃに複写し、左指定視点Ｐｔにおける映像である左指定視点映像Ｐ_１を生成するものである。残差映像画素複写手段２５２ｂは、生成した左指定視点映像Ｐ_１を穴埋め処理手段２５２ｃに出力する。

　穴埋め処理手段２５２ｃは、残差映像画素複写手段２５２ｂから左指定視点映像Ｐ_１を入力し、この左指定視点映像Ｐ_１において、基準視点映像画素複写手段２５１ｃ及び残差映像画素複写手段２５２ｂによって、有効な画素が複写されなかった画素について適切な画素値を設定することで左指定視点映像Ｐを生成し、多視点映像における１つの映像として立体映像表示装置４（図１参照）に出力する。

　穴埋め処理手段２５２ｃは、左指定視点映像Ｐ_１の各画素の画素値を調べ、基準視点映像画素複写手段２５１ｃによって初期値として設定した画素値に一致する画素及び画素値が所定の範囲内で初期値と一致する画素を検出し、かかる画素領域であることを示す穴マスクを生成する。ここで、画素値が所定の範囲内で初期値と一致するとは、例えば、各成分の初期値を「１２８」とした場合に、それぞれの成分の値が、１２７から１２９の間の値となることである。これによって、符号化処理などでかかる画素値が初期値から僅かに変化した場合でも、適切に検出することができる。

　穴埋め処理手段２５２ｃは、生成した穴マスクに示された画素領域を、所定の画素数だけ膨張させる。ここで、所定の画素数とは、例えば、１画素とすることができる。穴埋め処理手段２５２ｃは、膨張後のこの画素領域の画素について、その画素の周囲の有効な画素の有効な画素値によって補間することで、左指定視点映像Ｐ_１の穴となる画素の適切な画素値を設定する。

　このように、穴マスクに示された画素領域を膨張させて穴埋めを行うことで、左残差映像Ｌ’ｖに含まれなかった画素について、周辺の画素と違和感がないように画素値を設定することができる。また、メディアンフィルタ２５１ｄによるメディアンフィルタ処理によって穴マスクＰ_１ｈの画素にずれが発生した場合でも、適切に穴マスクの画素領域となる画素の穴埋めを行うことができる。

　なお、膨張させる画素数として、１画素よりも大きな画素数を設定することにより、より周辺の画素と違和感が少なく穴埋めを行うことができる。この場合は、生成される左指定視点映像Ｐにおける解像度が低下するが、奥行マップの非可逆な符号化・復号化による誤差を吸収して、周辺画素との違和感の少ない穴埋めをすることができる。また、この符号化・復号化による誤差を良好に吸収するために、符号化における圧縮率の大きさに応じて、圧縮率が高いほど膨張させる画素数を大きくするようにしてもよい。

［立体映像符号化装置の動作］
　次に、図１０を参照（適宜図１及び図２参照）して、第１実施形態に係る立体映像符号化装置１の動作について説明する。

（基準視点映像符号化処理）
　符号化装置１は、まず、基準視点映像符号化手段１１によって、外部から入力した基準視点映像Ｃを、所定の符号化方式で符号化して符号化基準視点映像ｃを生成し、基準視点映像ビットストリームとして出力する（ステップＳ１１）。

（奥行マップ合成処理（中間視点奥行マップ合成処理））
　次に、符号化装置１は、奥行マップ合成手段１２によって、外部から入力した基準視点奥行マップＣｄ及び左視点奥行マップＬｄを用いて、基準視点と左視点との中間の視点である中間視点における奥行マップである左合成奥行マップＭｄを合成する（ステップＳ１２）。

（奥行マップ符号化処理）
　次に、符号化装置１は、奥行マップ符号化手段１３によって、ステップＳ１２で合成した左合成奥行マップＭｄを、所定の符号化方式で符号化して符号化奥行マップｍｄを生成し、奥行マップビットストリームとして出力する（ステップＳ１３）。

（奥行マップ復号化処理）
　次に、符号化装置１は、奥行マップ復号化手段１４によって、ステップＳ１３で生成した符号化奥行マップｍｄを復号化して復号化左合成奥行マップＭ’ｄを生成する（ステップＳ１４）。

（射影映像予測処理）
　次に、符号化装置１は、射影映像予測手段１５によって、ステップＳ１４で生成した復号化左合成奥行マップＭ’ｄと、外部から入力した左視点映像Ｌとを用いて、左残差映像Ｌｖを生成する（ステップＳ１５）。

　なお、このステップＳ１５において、符号化装置１は、オクルージョンホール検出手段１５１によって、復号化左合成奥行マップＭ’ｄを用いて、オクルージョンホールとなる画素を検出する（オクルージョンホール検出処理）。そして、符号化装置１は、残差映像切出手段１５２によって、左視点映像Ｌからオクルージョンホール検出手段１５１が検出した画素領域の画素を抽出して（切出して）、左残差映像Ｌｖを生成する（残差映像切出処理）。

（残差映像符号化処理）
　次に、符号化装置１は、残差映像符号化手段１６によって、ステップＳ１５で生成した左残差映像Ｌｖを、所定の符号化方式で符号化して符号化残差映像ｌｖを生成し、残差映像ビットストリームとして出力する（ステップＳ１６）。

［立体映像復号化装置の動作］
　次に、図１１を参照（適宜図１及び図７参照）して、第１実施形態に係る立体映像復号化装置２の動作について説明する。

（基準視点映像復号化処理）
　復号化装置２は、まず、基準視点映像復号化手段２１によって、基準視点映像ビットストリームを復号化して、基準視点映像Ｃ’を生成し、多視点映像の１つの映像として出力する（ステップＳ２１）。

（奥行マップ復号化処理）
　次に、復号化装置２は、奥行マップ復号化手段２２によって、奥行マップビットストリームを復号化して、復号化左合成奥行マップＭ’ｄを生成する（ステップＳ２２）。

（奥行マップ射影処理）
　次に、復号化装置２は、奥行マップ射影手段２３によって、ステップＳ２２で生成した復号化左合成奥行マップＭ’ｄを左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける奥行マップである左指定視点奥行マップＰｄを生成する（ステップＳ２３）。

（残差映像復号化処理）
　次に、復号化装置２は、残差映像復号化手段２４によって、残差映像ビットストリームを復号化して、左残差映像Ｌ’ｖを生成する（ステップＳ２４）。

（射影映像合成処理）
　次に、復号化装置２は、射影映像合成手段２５によって、ステップＳ２３で生成した左指定視点奥行マップＰｄを用いて、ステップＳ２１で生成した基準視点映像Ｃ’と、ステップＳ２４で生成した左残差映像Ｌ’ｖとを、それぞれ左指定視点Ｐｔに射影した映像を合成して、左指定視点Ｐｔにおける映像である左指定視点映像Ｐを生成する（ステップＳ２５）。

　なお、ステップＳ２５において、復号化装置２は、まず、基準視点映像射影手段２５１によって、左指定視点奥行マップＰｄを用いて、基準視点映像Ｃ’を左指定視点Ｐｔに射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、オクルージョンホールとならない画素領域について、基準視点映像Ｃ’を左指定視点Ｐｔに射影した映像の画素を、左指定視点映像の画素として複写する。

　次に、復号化装置２は、残差映像射影手段２５２によって、オクルージョンホールとなる画素領域について、左指定視点奥行マップＰｄを用いて左残差映像Ｌ’ｖを左指定視点Ｐｔに射影した映像の画素を、左指定視点映像の画素として複写する。これによって、左指定視点映像Ｐが完成する。

　以上説明したように、第１実施形態に係る符号化装置１は、基準視点映像Ｃと、基準視点と左視点との中間の視点である中間視点における奥行マップである左合成奥行マップＭｄと、基準視点映像Ｃから他の視点に射影したときにオクルージョンホールとなる画素領域からなる左残差映像Ｌｖとを符号化して、ビットストリームとして伝送するようにしたため、高い符号化効率で符号化することができる。また、第１実施形態に係る復号化装置２は、その符号化装置１から伝送されてくるこれらの符号化データを復号化し、多視点映像を生成することができる。

＜第２実施形態＞
　次に、本発明の第２実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
　第２実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムは、図１に示した立体映像伝送システムＳにおいて、立体映像符号化装置１及び立体映像復号化装置２に代えて、それぞれ立体映像符号化装置１Ａ（図１２参照）及び立体映像復号化装置２Ａ（図１４参照）を含むこと以外は同様であるから、詳細な説明は省略する。

［立体映像符号化装置の構成］
　次に、図１２及び図１３を参照して、第２実施形態に係る立体映像符号化装置１Ａの構成について説明する。
　図１２に示すように、第２実施形態に係る立体映像符号化装置１Ａ（以下、適宜に「符号化装置」と呼ぶ）は、基準視点映像符号化手段１１と、奥行マップ合成手段１２Ａと、奥行マップ符号化手段１３Ａと、奥行マップ復号化手段１４Ａと、射影映像予測手段１５Ａと、残差映像符号化手段１６Ａと、奥行マップフレーム化手段１７と、奥行マップ分離手段１８と、残差映像フレーム化手段１９と、を備えている。

　また、第２実施形態に係る符号化装置１Ａは、基準視点における映像である基準視点映像Ｃ及び左視点における映像である左視点映像（副視点映像）Ｌ、並びにこれらの付随する奥行マップである基準視点奥行マップＣｄ及び左視点奥行マップ（副視点奥行マップ）Ｌｄに加えて、右視点における映像である右視点映像（副視点映像）Ｒ及びこれに付随する奥行マップである右視点奥行（副視点奥行マップ）マップＲｄを入力することが、第１実施形態に係る符号化装置１（図２参照）と異なる。すなわち、第２実施形態に係る符号化装置１Ａは、複数系統（２系統）の立体映像を符号化するものである。

　第２実施形態に係る符号化装置１Ａは、第１実施形態に係る符号化装置１（図２参照）と同様に、基準視点映像Ｃ、左視点映像Ｌ、基準視点奥行マップＣｄ及び左視点奥行マップＬｄを用いて、基準視点と左視点との中間視点である左中間視点における奥行マップである左合成奥行マップ（中間視点奥行マップ）Ｍｄと、左残差映像（残差映像）Ｌｖとを生成する。符号化装置１Ａは、このほかに更に、基準視点映像Ｃ、右視点映像Ｒ、基準視点奥行マップＣｄ及び右視点奥行マップ（副視点奥行マップ）Ｒｄを用いて、基準視点と右視点との中間視点である右中間視点における奥行マップである右合成奥行マップ（中間視点奥行マップ）Ｎｄと、右残差映像Ｒｖとを生成する。

　そして、符号化装置１Ａは、左合成奥行マップＭｄ及び右合成奥行マップＮｄ、並びに左残差映像Ｌｖ及び右残差映像Ｒｖを、それぞれ縮小して結合することにより１つの画像にフレーム化し、それぞれ所定の符号化方式で符号化して、奥行マップビットストリーム及び残差映像ビットストリームとして出力するものである。なお、基準視点映像Ｃについては、第１実施形態に係る符号化装置１（図２参照）と同様に、所定の符号化方式で符号化して、基準視点映像ビットストリームとして出力する。

　なお、基準視点及び右視点における映像及び奥行マップから、右合成奥行マップＮｄ及び右残差映像Ｒｖを生成する方法は、基準視点及び左視点における映像及び奥行マップから、左合成奥行マップＭｄ及び左残差映像Ｌｖを生成する方法において、左右の位置関係を入れ替えるものであるから、詳細な説明は適宜省略する。また、第１実施形態と同様の構成要素については、説明を適宜省略する。

　以下、符号化装置１Ａの構成要素について、図１３に示した映像及び奥行マップの例を参照しながら説明する。なお、第２実施形態では、被写体に向かって３つの視点が水平方向に延伸する直線上に等間隔に離れた位置に設定されている。また、中央の視点を基準視点とし、左側の視点である左視点と、右側の視点である右視点とを副視点とするものである。但し、これに限定されるものではなく、３つの視点は異なる間隔で配置されてもよく、また、基準視点と副視点とは、水平方向に離れる場合に限定されず、垂直方向や斜め方向など、任意の方向に離れていてもよい。

　また、説明を簡単にするため、図１３においては、図４に示した例と同様に、基準視点映像Ｃ、左視点映像Ｌ及び右視点映像Ｒなどに示すように、各映像は、円形の前景にある被写体と、その他の背景となる被写体とから構成されているものとする。

　図１２に示した基準視点映像符号化手段１１は、図２に示した基準視点映像符号化手段１１と同様であるので説明は省略する。

　奥行マップ合成手段（中間視点奥行マップ合成手段）１２Ａは、左奥行マップ合成手段１２_Ｌ及び右奥行マップ合成手段１２_Ｒを備え、それぞれ基準視点と左視点との中間視点である左中間視点における奥行マップである左合成奥行マップＭｄ及び基準視点と右視点との中間視点である右中間視点における奥行マップである右合成奥行マップＮｄを合成する。奥行マップ合成手段１２Ａは、合成した左合成奥行マップＭｄ及び右合成奥行マップＮｄを、それぞれ奥行マップフレーム化手段１７の縮小手段１７ａ及び縮小手段１７ｂに出力する。

　なお、左奥行マップ合成手段１２_Ｌは、図２に示した奥行マップ合成手段１２と同様の構成である。また、右奥行マップ合成手段１２_Ｒは、左視点奥行マップＬｄに代えて、右視点奥行マップＲｄを入力し、図５（ｂ）に示したように、基準視点奥行マップＣｄとの間の左右の位置関係が逆になること以外は、左奥行マップ合成手段１２_Ｌと同様であるので、詳細な説明は省略する。

　奥行マップフレーム化手段１７は、左奥行マップ合成手段１２_Ｌ及び右奥行マップ合成手段１２_Ｒから入力した左合成奥行マップＭｄ及び右合成奥行マップＮｄを１つの画像にフレーム化して、フレーム化奥行マップＦｄを生成し、生成したフレーム化奥行マップＦｄを奥行マップ符号化手段１３Ａに出力する。このために、奥行マップフレーム化手段１７は、縮小手段１７ａ，１７ｂと結合手段１７ｃとを有して構成されている。

　縮小手段１７ａ及び縮小手段１７ｂは、それぞれ左奥行マップ合成手段１２_Ｌ及び右奥行マップ合成手段１２_Ｒから、左合成奥行マップＭｄ及び右合成奥行マップＮｄをそれぞれ入力し、それぞれが入力した奥行マップを縦方向に間引きすることで縮小し、高さ（縦方向の画素数）が１／２となった、左縮小合成奥行マップＭ_２ｄ及び右縮小合成奥行マップＮ_２ｄを生成し、結合手段１７ｃに出力する。

　なお、縮小手段１７ａ及び縮小手段１７ｂは、それぞれ対応する奥行マップの高さを１／２にする際には、低域通過フィルタによるフィルタ処理を施してから、１ライン置きにデータを間引きするようにするのが好ましい。これによって、間引きによる高域成分の折り返し歪みの発生を防止することができる。

　結合手段１７ｃは、縮小手段１７ａ及び縮小手段１７ｂから、それぞれ左縮小合成奥行マップＭ_２ｄ及び右縮小合成奥行マップＮ_２ｄを入力し、２つの奥行マップを縦方向に結合して、縮小前の奥行マップと同じ高さの奥行マップとなるフレーム化奥行マップＦｄを生成する。結合手段１７ｃは、生成したフレーム化奥行マップＦｄを、奥行マップ符号化手段１３Ａに出力する。

　奥行マップ符号化手段１３Ａは、奥行マップフレーム化手段１７の結合手段１７ｃからフレーム化奥行マップＦｄを入力し、このフレーム化奥行マップＦｄを所定の符号化方式で符号化して符号化奥行マップｆｄを生成し、奥行マップビットストリームとして伝送路に出力する。

　奥行マップ符号化手段１３Ａは、図２に示した奥行マップ符号化手段１３において、符号化する奥行マップが、単一の奥行マップに代えて、フレーム化された奥行マップであること以外は同様であるから、詳細な説明は省略する。

　奥行マップ復号化手段１４Ａは、奥行マップ符号化手段１３Ａによって生成された符号化奥行マップｆｄである奥行マップビットストリームを、その符号化方式に基づいて復号化し、フレーム化されている奥行マップであるフレーム化奥行マップ（復号化フレーム化奥行マップ）Ｆ’ｄを生成する。奥行マップ復号化手段１４Ａは、生成したフレーム化奥行マップＦ’ｄを奥行マップ分離手段１８の分離手段１８ａに出力する。

　奥行マップ復号化手段１４Ａは、図２に示した奥行マップ復号化手段１４において、復号化する奥行マップが、単一の奥行マップに代えて、フレーム化されている奥行マップであること以外は同様であるから、詳細な説明は省略する。

　奥行マップ分離手段１８は、奥行マップ復号化手段１４Ａから復号化されたフレーム化奥行マップＦ’ｄを入力し、フレーム化されている２つの縮小奥行マップである復号化左縮小合成奥行マップＭ_２’ｄ及び復号化右縮小合成奥行マップＮ_２’ｄを分離し、元の高さに拡大して復号化左合成奥行マップ（復号化中間視点奥行マップ）Ｍ’ｄ及び復号化右合成奥行マップ（復号化中間視点奥行マップ）Ｎ’ｄを生成し、それぞれ射影映像予測手段１５Ａの左射影映像予測手段１５_Ｌ及び右射影映像予測手段１５_Ｒに出力する。このために、奥行マップ分離手段１８は、分離手段１８ａと、拡大手段１８ｂ，１８ｃとを有して構成されている。

　分離手段１８ａは、奥行マップ復号化手段１４Ａから、フレーム化奥行マップＦ’ｄを入力し、フレーム化されている復号化左縮小合成奥行マップＭ_２’ｄ及び復号化右縮小合成奥行マップＮ_２’ｄを分離して、それぞれ拡大手段１８ｂ及び拡大手段１８ｃに出力する。

　拡大手段１８ｂ及び拡大手段１８ｃは、分離手段１８ａから、それぞれ復号化左縮小合成奥行マップＭ_２’ｄ及び復号化右縮小合成奥行マップＮ_２’ｄを入力し、高さをそれぞれ２倍に拡大して、元の高さの奥行マップである復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを生成する。拡大手段１８ｂ及び拡大手段１８ｃは、生成した復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを、それぞれ左射影映像予測手段１５_Ｌ及び右射影映像予測手段１５_Ｒに出力する。

　なお、縮小された奥行マップの拡大は、各ラインについて、同じラインデータを複製して挿入する単純拡大でもよいが、１ラインごとに挿入される画素の値を、周辺の画素の値にバイキュービックフィルタを掛けて滑らかにつながるように補間すると、縮小された際の画素間引き効果が補正されて好ましい。

　射影映像予測手段１５Ａは、奥行マップ分離手段１８の拡大手段１８ｂ及び拡大手段１８ｃから入力した復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを用いて、基準視点映像Ｃを、それぞれ左視点など及び右視点などに射影したときにオクルージョンホールとなる画素領域における画素を左視点映像Ｌ及び右視点映像Ｒから抽出して、左残差映像（残差映像）Ｌｖ及び右残差映像（残差映像）Ｒｖを生成するものである。射影映像予測手段１５Ａは、生成した左残差映像Ｌｖ及び右残差映像Ｒｖを、それぞれ残差映像フレーム化手段１９の縮小手段１９ａ及び縮小手段１９ｂに出力する。

　左射影映像予測手段１５_Ｌは、基準視点映像Ｃ、左視点映像Ｌ及び左指定視点Ｐｔを外部から入力するとともに、拡大手段１８ｂから復号化された復号化左合成奥行マップＭ’ｄを入力し、左残差映像Ｌｖを生成して、生成した左残差映像Ｌｖを残差映像フレーム化手段１９の縮小手段１９ａに出力する。また、左射影映像予測手段１５_Ｌは、図２に示した射影映像予測手段１５と、データの入出力先が異なる以外は、同様の構成であるので、詳細な説明は省略する。なお、図１２に示した例では、外部から入力する左指定視点Ｐｔを１つとしたが、図２に示した例のように、複数の左指定視点Ｐｔを入力するようにしてもよい。

　また、右射影映像予測手段１５_Ｒは、左射影映像予測手段１５_Ｌにおいて、左視点映像Ｌ、復号化左合成奥行マップＭ’ｄ及び左指定視点Ｐｔに代えて、それぞれ右視点映像Ｒ、復号化右合成奥行マップＮ’ｄ及び右指定視点Ｑｔを入力し、左残差映像Ｌｖに代えて右残差映像Ｒｖを出力することと、基準視点映像Ｃなどと、奥行マップとの左右の位置関係が逆になること以外は、同様の構成であるから、詳細な説明は省略する。

　残差映像フレーム化手段１９は、左射影映像予測手段１５_Ｌ及び右射影映像予測手段１５_Ｒから入力した左残差映像Ｌｖ及び右残差映像Ｒｖを１つの画像にフレーム化して、フレーム化残差映像Ｆｖを生成し、生成したフレーム化残差映像Ｆｖを残差映像符号化手段１６Ａに出力する。このために、残差映像フレーム化手段１９は、縮小手段１９ａ，１９ｂと結合手段１９ｃとを有して構成されている。

　縮小手段１９ａ及び縮小手段１９ｂは、それぞれ左射影映像予測手段１５_Ｌ及び右射影映像予測手段１５_Ｒから、左残差映像Ｌｖ及び右残差映像Ｒｖを、それぞれ入力し、入力した残差映像を縦方向に画素間引きすることで縮小し、高さ（縦方向の画素数）が１／２となった、左縮小残差映像Ｌ_２ｖ及び右縮小残差映像Ｒ_２ｖを生成し、結合手段１９ｃに出力する。
　なお、縮小手段１９ａ及び縮小手段１９ｂは、縮小手段１７ａ及び縮小手段１７ｂと同様の構成であるから、詳細な説明は省略する。

　結合手段１９ｃは、縮小手段１９ａ及び縮小手段１９ｂから、それぞれ左縮小残差映像Ｌ_２ｖ及び右縮小残差映像Ｒ_２ｖを入力し、２つの残差映像を縦方向に結合して、縮小前の１つの残差映像と同じ高さの残差映像となるフレーム化残差映像Ｆｖを生成する。結合手段１９ｃは、生成したフレーム化残差映像Ｆｖを、残差映像符号化手段１６Ａに出力する。

　残差映像符号化手段１６Ａは、残差映像フレーム化手段１９の結合手段１９ｃからフレーム化残差映像Ｆｖを入力し、このフレーム化残差映像Ｆｖを所定の符号化方式で符号化して符号化残差映像ｆｖを生成し、残差映像ビットストリームとして伝送路に出力する。

　残差映像符号化手段１６Ａは、図２に示した残差映像符号化手段１６において、符号化する残差映像が、単一の残差映像に代えて、フレーム化された残差映像であること以外は同様であるから、詳細な説明は省略する。

［立体映像復号化装置の構成］
　次に、図１４及び図１５を参照して、第２実施形態に係る立体映像復号化装置２Ａの構成について説明する。立体映像復号化装置２Ａは、図１２に示した立体映像符号化装置１Ａから伝送路を介して伝送されるビットストリームを復号化して、多視点映像を生成するものである。

　図１４に示すように、第２実施形態に係る立体映像復号化装置２Ａ（以下、適宜に「復号化装置」と呼ぶ）は、基準視点映像復号化手段２１と、奥行マップ復号化手段２２Ａと、奥行マップ射影手段２３Ａと、残差映像復号化手段２４Ａと、射影映像合成手段２５Ａと、奥行マップ分離手段２６と、残差映像分離手段２７と、を備えている。

　また、第２実施形態に係る復号化装置２Ａは、奥行マップビットストリーム及び残差映像ビットストリームとして、複数系統（２系統）の奥行マップ及び残差映像がそれぞれフレーム化された符号化奥行マップｆｄ及び符号化残差映像ｆｖを入力し、フレーム化された奥行マップ及び残差映像を分離して、複数系統の指定視点映像として、左指定視点映像Ｐ及び右指定視点映像Ｑを生成することが、第１実施形態に係る復号化装置２（図７参照）と異なる。

　基準視点映像復号化手段２１は、図７に示した基準視点映像復号化手段２１と同様であるから説明は省略する。

　奥行マップ復号化手段２２Ａは、奥行ビットストリームを復号化して、フレーム化奥行マップ（復号化フレーム化奥行マップ）Ｆ’ｄを生成し、奥行マップ分離手段２６の分離手段２６ａに出力する。
　奥行マップ復号化手段２２Ａは、符号化装置１Ａにおける奥行マップ復号化手段１４Ａ（図１２参照）と同様の構成であるので、詳細な説明は省略する。

　奥行マップ分離手段２６は、奥行マップ復号化手段２２Ａから復号化されたフレーム化奥行マップＦ’ｄを入力し、フレーム化されている２つの縮小奥行マップである復号化左縮小合成奥行マップＭ_２’ｄ及び復号化右縮小合成奥行マップＮ_２’ｄを分離し、元の高さに拡大して復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを生成する。奥行マップ分離手段２６は、生成した復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを、それぞれ奥行マップ射影手段２３Ａの左奥行マップ射影手段２３_Ｌ及び右奥行マップ射影手段２３_Ｒに出力する。このために、奥行マップ分離手段２６は、分離手段２６ａと拡大手段２６ｂ，２６ｃとを有して構成されている。

　なお、奥行マップ分離手段２６は、図１２に示した符号化装置１Ａにおける奥行マップ分離手段１８と同様の構成であるので、詳細な説明は省略する。なお、分離手段２６ａ、拡大手段２６ｂ及び拡大手段２６ｃは、それぞれ図１２に示した分離手段１８ａ、拡大手段１８ｂ及び拡大手段１８ｃに対応する。

　奥行マップ射影手段２３Ａは、左奥行マップ射影手段２３_Ｌ及び右奥行マップ射影手段２３_Ｒを有して構成され、左右２系統の中間視点における奥行マップを、それぞれの系統の指定視点である左指定視点Ｐｔ及び右指定視点Ｑｔに射影して、それぞれの指定視点における奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成する。奥行マップ射影手段２３Ａは、生成した左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを、それぞれ射影映像合成手段２５Ａの左射影映像合成手段２５_Ｌ及び右射影映像合成手段２５_Ｒに出力する。

　なお、左指定視点（指定視点）Ｐｔ及び右指定視点（指定視点）Ｑｔは、復号化装置２Ａで生成する多視点映像における左指定視点及び右指定視点であり、復号化装置２Ａにおいて予め定められた設定手段（不図示）から入力してもよく、外部からキーボードなどの入力手段を介したユーザの操作によって入力されるようにしてもよい。また、左指定視点Ｐｔ及び右指定視点Ｑｔは、それぞれ１つでも、２以上であってもよい。左指定視点Ｐｔ及び右指定視点Ｑｔが２以上の場合は、それぞれ左指定視点Ｐｔ及び右指定視点Ｑｔごとに、順次に、それぞれの指定視点における左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成して、順次に射影映像合成手段２５Ａの左射影映像合成手段２５_Ｌ及び右射影映像合成手段２５_Ｒに出力するものとする。

　左奥行マップ射影手段２３_Ｌは、拡大手段２６ｂから復号化された奥行マップである復号化左合成奥行マップＭ’ｄを入力し、この復号化左合成奥行マップＭ’ｄを左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける左指定視点奥行マップ（指定視点奥行マップ）Ｐｄを生成する。左奥行マップ射影手段２３_Ｌは、生成した左指定視点奥行マップＰｄを左射影映像合成手段２５_Ｌに出力する。

　また、右奥行マップ射影手段２３_Ｒは、拡大手段２６ｃから復号化された奥行マップである復号化右合成奥行マップＮ’ｄを入力し、この復号化右合成奥行マップＮ’ｄを右指定視点Ｑｔに射影して、右指定視点Ｑｔにおける右指定視点奥行マップ（指定視点奥行マップ）Ｑｄを生成する。右奥行マップ射影手段２３_Ｒは、生成した右指定視点奥行マップＱｄを右射影映像合成手段２５_Ｒに出力する。

　なお、左奥行マップ射影手段２３_Ｌは、図７に示した奥行マップ射影手段２３と同様の構成であるから、詳細な説明は省略する。また、右奥行マップ射影手段２３_Ｒは、左奥行マップ射影手段２３_Ｌとは、基準視点との左右の位置関係が逆であること以外は同様の構成であるから、詳細な説明は省略する。

　残差映像復号化手段２４Ａは、残差映像ビットストリームを復号化して、フレーム化残差映像（復号化フレーム化残差映像）Ｆ’ｖを生成し、残差映像分離手段２７の分離手段２７ａに出力する。
　残差映像復号化手段２４Ａは、復号化装置２における残差映像復号化手段２４（図７参照）と、復号化する対象が単一の残差映像かフレーム化された残差映像かが異なるだけで、同様の構成であるので、詳細な説明は省略する。

　残差映像分離手段２７は、残差映像復号化手段２４Ａから復号化されたフレーム化残差映像Ｆ’ｖを入力し、フレーム化されている２つの縮小残差映像である左縮小残差映像Ｌ_２’ｖ及び右縮小残差映像Ｒ_２’ｖを分離し、元の高さに拡大して左残差映像（復号化残差映像）Ｌ’ｖ及び右残差映像（復号化残差映像）Ｒ’ｖを生成する。残差映像分離手段２７は、生成した左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを、それぞれ射影映像合成手段２５Ａの左射影映像合成手段２５_Ｌ及び右射影映像合成手段２５_Ｒに出力する。このために、残差映像分離手段２７は、分離手段２７ａと拡大手段２７ｂ，２７ｃとを有して構成されている。

　なお、残差映像分離手段２７は、分離する対象が残差映像か奥行マップかが異なるだけで、奥行マップ分離手段２６と同様の構成であるので、詳細な説明は省略する。なお、分離手段２７ａ、拡大手段２７ｂ及び拡大手段２７ｃは、それぞれ分離手段２６ａ、拡大手段２６ｂ及び拡大手段２６ｃに対応する。

　射影映像合成手段２５Ａは、基準視点映像復号化手段２１から入力した基準視点映像Ｃ’と、残差映像分離手段２７から入力した左右２系統の残差映像である左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖと、奥行マップ射影手段２３Ａから入力した左右２系統の奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄとから、左右２系統の指定視点である左指定視点Ｐｔ及び右指定視点Ｑｔにおける指定視点映像である左指定視点映像Ｐ及び右指定視点映像Ｑを生成するものである。このために、射影映像合成手段２５Ａは、左射影映像合成手段２５_Ｌ及び右射影映像合成手段２５_Ｒを有して構成されている。

　左射影映像合成手段２５_Ｌは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像分離手段２７の拡大手段２７ｂから左残差映像Ｌ’ｖを、奥行マップ射影手段２３Ａの左奥行マップ射影手段２３_Ｌから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点映像Ｐを生成する。

　また、右射影映像合成手段２５_Ｒは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像分離手段２７の拡大手段２７ｃから右残差映像Ｒ’ｖを、奥行マップ射影手段２３Ａの右奥行マップ射影手段２３_Ｒから右指定視点奥行マップＱｄを、それぞれ入力し、右指定視点映像Ｑを生成する。

　なお、左射影映像合成手段２５_Ｌは、図７に示した復号化装置２における射影映像合成手段２５と同様の構成であるから、詳細な説明は省略する。
　また、右射影映像合成手段２５_Ｒは、左射影映像合成手段２５_Ｌとは、基準視点との左右の位置関係が逆であること以外は同様の構成であるから、詳細な説明は省略する。

　以上説明したように、第２実施形態に係る符号化装置１Ａは、複数の系統の立体映像について、奥行マップと残差映像とを、それぞれフレーム化して符号化し、ビットストリームとして出力するため、高い符号化効率で立体映像を符号化することができる。
　また、復号化装置２Ａは、その符号化装置１Ａで符号化した立体映像を復号化して、多視点映像を生成することができる。

［立体映像符号化装置の動作］
　次に、図１６を参照（適宜図１２及び図１３参照）して、第２実施形態に係る立体映像符号化装置１Ａの動作について説明する。

（基準視点映像符号化処理）
　符号化装置１Ａは、まず、基準視点映像符号化手段１１によって、外部から入力した基準視点映像Ｃを、所定の符号化方式で符号化して符号化基準視点映像ｃを生成し、基準視点映像ビットストリームとして出力する（ステップＳ３１）。

（奥行マップ合成処理（中間視点奥行マップ合成処理））
　次に、符号化装置１Ａは、奥行マップ合成手段１２Ａによって、外部から入力した基準視点奥行マップＣｄ及び左視点奥行マップＬｄを用いて、基準視点と左視点との中間の視点である左中間視点における奥行マップである左合成奥行マップＭｄを合成するとともに、外部から入力した基準視点奥行マップＣｄ及び右視点奥行マップＲｄを用いて、基準視点と右視点との中間の視点である右中間視点における奥行マップである右合成奥行マップＮｄを合成する（ステップＳ３２）。

（奥行マップフレーム化処理）
　次に、符号化装置１Ａは、奥行マップフレーム化手段１７によって、ステップＳ３２で合成した２つの奥行マップである左合成奥行マップＭｄ及び右合成奥行マップＮｄを縮小して結合することで、１つの画像にフレーム化してフレーム化奥行マップＦｄを生成する（ステップＳ３３）。

（奥行マップ符号化処理）
　次に、符号化装置１Ａは、奥行マップ符号化手段１３Ａによって、ステップＳ３３で生成したフレーム化奥行マップＦｄを、所定の符号化方式で符号化して符号化奥行マップｆｄを生成し、奥行マップビットストリームとして出力する（ステップＳ３４）。

（奥行マップ復号化処理）
　次に、符号化装置１Ａは、奥行マップ復号化手段１４Ａによって、ステップＳ３４で生成した符号化奥行マップｆｄを復号化してフレーム化奥行マップＦ’ｄを生成する（ステップＳ３５）。

（奥行マップ分離処理）
　次に、符号化装置１Ａは、奥行マップ分離手段１８によって、ステップＳ３５で生成した復号化されたフレーム化奥行マップＦ’ｄに結合されている２つの奥行マップを分離し、それぞれ元のサイズに拡大して、復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを生成する（ステップＳ３６）。

（射影映像予測処理）
　次に、符号化装置１Ａは、射影映像予測手段１５Ａによって、ステップＳ３６で生成した復号化左合成奥行マップＭ’ｄと、外部から入力した左視点映像Ｌとを用いて、左残差映像Ｌｖを生成するとともに、ステップＳ３６で生成した復号化右合成奥行マップＮ’ｄと、外部から入力した右視点映像Ｒとを用いて、右残差映像Ｒｖを生成する（ステップＳ３７）。

（残差映像フレーム化処理）
　次に、符号化装置１Ａは、残差映像フレーム化手段１９によって、ステップＳ３７で生成した２つの残差映像である左残差映像Ｌｖ及び右残差映像Ｒｖを縮小して結合することで、１つの画像にフレーム化してフレーム化残差映像Ｆｖを生成する（ステップＳ３８）。

（残差映像符号化処理）
　そして、符号化装置１Ａは、残差映像符号化手段１６Ａによって、ステップＳ３８で生成したフレーム化残差映像Ｆｖを、所定の符号化方式で符号化して符号化残差映像ｆｖを生成し、残差映像ビットストリームとして出力する（ステップＳ３９）。

［立体映像復号化装置の動作］
　次に、図１７を参照（適宜図１４及び図１５参照）して、第２実施形態に係る立体映像復号化装置２Ａの動作について説明する。

（基準視点映像復号化処理）
　復号化装置２Ａは、まず、基準視点映像復号化手段２１によって、基準視点映像ビットストリームを復号化して、基準視点映像Ｃ’を生成し、多視点映像の１つの映像として出力する（ステップＳ５１）。

（奥行マップ復号化処理）
　次に、復号化装置２Ａは、奥行マップ復号化手段２２Ａによって、奥行マップビットストリームを復号化して、フレーム化奥行マップＦ’ｄを生成する（ステップＳ５２）。

（奥行マップ分離処理）
　次に、復号化装置２Ａは、奥行マップ分離手段２６によって、ステップＳ５２で生成した復号化されたフレーム化奥行マップＦ’ｄに結合されている２つの奥行マップを分離し、それぞれ元のサイズに拡大して、復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを生成する（ステップＳ５３）。

（奥行マップ射影処理）
　次に、復号化装置２Ａは、奥行マップ射影手段２３Ａによって、ステップＳ５３で生成した復号化左合成奥行マップＭ’ｄを、左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける奥行マップである左指定視点奥行マップＰｄを生成するとともに、ステップＳ５３で生成した復号化右合成奥行マップＮ’ｄを、右指定視点Ｑｔに射影して、右指定視点Ｑｔにおける奥行マップである右指定視点奥行マップＱｄを生成する（ステップＳ５４）。

（残差映像復号化処理）
　また、復号化装置２Ａは、残差映像復号化手段２４Ａによって、残差映像ビットストリームを復号化して、フレーム化残差映像Ｆ’ｖを生成する（ステップＳ５５）。

（残差映像分離処理）
　次に、復号化装置２Ａは、残差映像分離手段２７によって、ステップＳ５５で生成した復号化されたフレーム化残差映像Ｆ’ｖに結合されている２つの残差映像を分離し、それぞれ元のサイズに拡大して、左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを生成する（ステップＳ５６）。

（射影映像合成処理）
　そして、復号化装置２Ａは、左射影映像合成手段２５_Ｌによって、ステップＳ５４で生成した左指定視点奥行マップＰｄを用いて、ステップＳ５１で生成した基準視点映像Ｃ’と、ステップＳ５５で生成した左残差映像Ｌ’ｖとを、それぞれ左指定視点Ｐｔに射影した映像を合成して、左指定視点Ｐｔにおける映像である左指定視点映像Ｐを生成するとともに、右射影映像合成手段２５_Ｒによって、ステップＳ５４で生成した右指定視点奥行マップＱｄを用いて、ステップＳ５１で生成した基準視点映像Ｃ’と、ステップＳ５５で生成した右残差映像Ｒ’ｖとを、それぞれ右指定視点Ｑｔに射影した映像を合成して、右指定視点Ｑｔにおける映像である右指定視点映像Ｑを生成する（ステップＳ５７）。

＜第２実施形態の変形例＞
　次に、本発明の第２実施形態の変形例に係る立体映像符号化装置及び立体映像復号化装置について説明する。

　本変形例に係る立体映像符号化装置は、図１２に示した第２実施形態に係る符号化装置１Ａの奥行マップフレーム化手段１７及び残差映像フレーム化手段１９において、奥行マップ及び残差映像を縮小する際に、図１８（ａ）及び図１８（ｂ）に示すように、横方向に画素を間引いて１／２の幅に縮小し、横方向に並べて結合して、１つの画像にフレーム化するものである。

　このため、変形例に係る立体映像符号化装置は、符号化装置１Ａの奥行マップ分離手段１８において、横方向に縮小して結合されたフレーム化奥行マップＦ’ｄを分離するように構成する。

　また、本変形例に係る立体映像復号化装置は、図１４に示した第２実施形態に係る復号化装置２Ａの奥行マップ分離手段２６及び残差映像分離手段２７において、横方向に縮小して結合されたフレーム化奥行マップＦ’ｄ及びフレーム化残差映像Ｆ’ｖを分離するように構成する。

　本変形例に係る立体映像符号化装置及び立体映像復号化装置の構成及び動作は、奥行マップ及び残差映像を横方向に縮小結合し、また分離拡大すること以外は、第２実施形態に係る符号化装置１Ａ及び復号化装置２Ａと同様であるから、詳細な説明は省略する。

　また、第１実施形態、第２実施形態で用いた奥行マップは、基準視点映像Ｃなどの映像と同じ形式の画像データに、輝度成分（Ｙ）として奥行値を設定し、色差成分（Ｐｂ，Ｐｒ）には所定値を設定して取り扱ったが、輝度成分（Ｙ）のみを持つモノクロ画像データとして取り扱ってもよい。これによって、色差成分（Ｐｂ，Ｐｒ）による符号化効率の低下を完全にゼロにすることができる。

＜第３実施形態＞
　次に、本発明の第３実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
　第３実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムは、図１に示した立体映像伝送システムＳにおいて、立体映像符号化装置１及び立体映像復号化装置２に代えて、それぞれ立体映像符号化装置１Ｂ（図１９参照）及び立体映像復号化装置２Ｂ（図２２参照）を含むこと以外は同様であるから、詳細な説明は省略する。

［立体映像符号化装置の構成］
　次に、図１９及び図２０を参照して、第３実施形態に係る立体映像符号化装置１Ｂの構成について説明する。

　図１９に示すように、第３実施形態に係る立体映像符号化装置１Ｂ（以下、適宜に「符号化装置１Ｂ」と呼ぶ）は、基準視点映像符号化手段１１と、奥行マップ合成手段１２Ｂと、奥行マップ符号化手段１３Ｂと、射影映像予測手段１５Ｂと、残差映像符号化手段１６Ｂと、残差映像フレーム化手段１９Ｂと、奥行マップ復元手段３０と、を備えている。

　また、第３実施形態に係る符号化装置１Ｂは、図１２に示した第２実施形態に係る符号化装置１Ａと同様に、基準視点における映像である基準視点映像Ｃ、左視点における映像である左視点映像（副視点映像）Ｌ及び右視点における映像である右視点映像（副視点映像）Ｒ、並びにこれらの映像に付随する奥行マップである基準視点奥行マップＣｄ、左視点奥行マップ（副視点奥行マップ）Ｌｄ及び右視点奥行マップ（副視点奥行マップ）Ｒｄを入力し、それぞれ所定の符号化方式で符号化した符号化基準視点映像ｃ及び符号化残差映像ｆｖを、それぞれ基準視点映像ビットストリーム及び残差映像ビットストリームとして出力する。ここで、符号化装置１Ｂは、入力した３視点における奥行マップＣｄ，Ｌｄ，Ｒｄを、所定の１つの共通視点における奥行マップである合成奥行マップＧｄに合成して符号化し、奥行マップビットストリームとして出力することが、第２実施形態に係る符号化装置１Ａ（図１２参照）と異なる。
　なお、第１実施形態又は第２実施形態と同様の構成要素については、同じ符号を付して説明を適宜省略する。

　以下、符号化装置１Ｂの構成要素について、図２０に示した映像及び奥行マップの例を参照しながら説明する。なお、第３実施形態では、第２実施形態と同様に、被写体に向かって３つの視点が水平方向に延伸する直線上に等間隔に離れた位置に設定されている。また、中央の視点を基準視点とし、左側の視点である左視点と、右側の視点である右視点とを副視点とするものである。但し、これに限定されるものではなく、３つの視点は異なる間隔で配置されてもよく、また、基準視点と副視点とは、水平方向に離れる場合に限定されず、垂直方向や斜め方向など、任意の方向に離れていてもよい。

　また、説明を簡単にするため、図２０においては、図１３に示した例と同様に、基準視点映像Ｃ、左視点映像Ｌ及び右視点映像Ｒなどに示すように、各映像は、円形の前景にある被写体と、その他の背景となる被写体とから構成されているものとする。

　図１９に示した基準視点映像符号化手段１１は、図２に示した基準視点映像符号化手段１１と同様であるので説明は省略する。

　奥行マップ合成手段１２Ｂは、左奥行マップ射影手段１２１Ｂ、右奥行マップ射影手段１２２Ｂ、マップ合成手段１２３Ｂ及び縮小手段１２４を備えて構成されている。
　左奥行マップ射影手段１２１Ｂ及び右奥行マップ射影手段１２２Ｂは、それぞれ左視点奥行マップＬｄ及び右視点奥行マップＲｄを入力し、それぞれ所定の１つの共通視点に射影した奥行マップである共通視点奥行マップＣ^Ｌｄ及び共通視点奥行マップＣ^Ｒｄを生成し、マップ合成手段１２３Ｂに出力する。

　本例では、基準視点を共通視点とするため、左奥行マップ射影手段１２１Ｂは、左視点奥行マップＬｄを基準視点に射影するために、各画素について、各画素の奥行値に一致する画素数だけ左方向にシフトさせることで、共通視点奥行マップＣ^Ｌｄを生成する。
　左視点奥行マップＬｄの射影において、複数の画素値が射影された画素がある場合は、射影された画素値の内の最大値を、その画素の奥行値とする。最大値を共通視点奥行マップＣ^Ｌｄの奥行値とすることにより、前景の被写体の奥行値が保存されるため、オクルージョン関係を正しく保って射影することができる。
　また、射影されなかった画素がある場合は、その部分は、その画素の左右に近接する射影された画素の内で、小さい方の奥行値を当該画素の奥行値として穴埋めする。これによって、元の視点位置では前景に隠れて見えなかった背景の奥行値が正しく補間される。

　右奥行マップ射影手段１２２Ｂも同様に、右視点奥行マップＲｄを基準視点に射影するために、各画素について、各画素の奥行値に一致する画素数だけ右方向にシフトさせることで、共通視点奥行マップＣ^Ｒｄを生成する。右奥行マップ射影手段１２２Ｂについても、左奥行マップ射影手段１２１Ｂと同様に、右視点奥行マップＲｄの射影において、複数の画素値が射影された画素がある場合は、射影された画素値の内の最大値を、その画素の奥行値とする。また、射影されなかった画素がある場合は、その部分は、その画素の左右に近接する射影された画素の内で、小さい方の奥行値を当該画素の奥行値として穴埋めする。

　なお、本例では、外部から入力される３つの視点の重心である基準視点を共通視点としている。このため、基準視点奥行マップＣｄは、射影するする必要がない。
　但し、これに限定されるものではなく、任意の視点を共通視点とすることができる。基準視点以外を共通視点とする場合は、基準視点奥行マップＣｄに代えて、基準視点奥行マップＣｄを、その共通視点に射影した奥行マップをマップ合成手段１２３Ｂに入力するように構成すればよい。また、左奥行マップ射影手段１２１Ｂ及び右奥行マップ射影手段１２２Ｂについても、基準視点から共通視点までの距離に応じて、適宜に射影時の画素のシフト量を調整するようにすればよい。

　マップ合成手段１２３Ｂは、左奥行マップ射影手段１２１Ｂ及び右奥行マップ射影手段１２２Ｂから、それぞれ共通視点奥行マップＣ^Ｌｄ及び共通視点奥行マップＣ^Ｒｄを入力するとともに、外部（例えば、立体映像作成装置３（図１参照））から基準視点奥行マップＣｄを入力し、これらの３つの奥行マップを１つに合成して、共通視点である基準視点における１つの合成奥行きマップＧｄを生成する。
　マップ合成手段１２３Ｂは、生成した合成奥行マップＧｄを、縮小手段１２４に出力する。

　本例では、マップ合成手段１２３Ｂは、画素毎に、３つの奥行マップの画素値を平滑化して合成奥行マップＧｄの画素値とすることで、合成奥行マップＧｄを生成する。ここで、画素値の平滑化としては、３つの画素値の算術平均やメディアンフィルタを用いた中央値の算出を挙げることができる。
　このように、３つの奥行マップを合成することにより、個々の奥行マップ中に含まれる奥行の誤差が平滑化されて、復号化装置側で立体映像を構成するための多数の視点の映像を合成する際に、合成される視点映像の品質を改善することができる。

　縮小手段１２４は、マップ合成手段１２３Ｂから合成奥行マップＧｄを入力し、入力した合成奥行マップＧｄを縮小した縮小合成奥行マップＧ_２ｄを生成する。そして、縮小手段１２４は、生成した縮小合成奥行マップＧ_２ｄを奥行マップ符号化手段１３Ｂに出力する。
　ここで、縮小手段１２４は、合成奥行マップＧｄの画素を、縦方向及び横方向にそれぞれ１画素置きに間引くことで、縦横それぞれ１／２に縮小した縮小合成奥行マップＧ_２ｄを生成する。

　なお、縮小手段１２４は、奥行マップの間引き処理する際には、低域通過フィルタによるフィルタ処理を施さず、直接データを間引くようにするのが好ましい。これによって、フィルタ処理による、元の奥行マップになかったレベルの奥行値の発生を防止することができ、合成映像の品質が保たれる。

　また、縮小率は１／２に限定されるものではなく、１／２の間引き処理を複数回繰り返すことで、１／４、１／８などの縮小率で縮小してもよく、１／３、１／５などの縮小率としてもよい。更に、縦方向と横方向とで縮小率を異なるようにしてもよい。更にまた、縮小手段１２４を省略して、マップ合成手段１２３Ｂから等倍データのままの合成奥行マップＧｄを奥行マップ符号化手段１３Ｂに出力するようにしてもよい。

　奥行マップ符号化手段１３Ｂは、奥行マップ合成手段１２Ｂの縮小手段１２４から縮小合成奥行マップＧ_２ｄを入力し、この縮小合成奥行マップＧ_２ｄを所定の符号化方式で符号化して符号化奥行マップｇ_２ｄを生成し、奥行マップビットストリームとして伝送路に出力する。
　本実施形態では、奥行マップビットストリームとして伝送される奥行マップは、３つの視点における奥行マップを１つに合成し、更に縮小されているため、奥行マップのデータ量が低減され、符号化効率が改善される。

　奥行マップ符号化手段１３Ｂは、図２に示した奥行マップ符号化手段１３において、符号化する奥行マップが、等倍サイズの単一の奥行マップに代えて、縮小された奥行マップであること以外は同様であるから、詳細な説明は省略する。

　奥行マップ復元手段３０は、奥行マップ符号化手段１３Ｂによって生成された符号化奥行マップｇ_２ｄである奥行マップビットストリームを、その符号化方式に基づいて復号化するとともに、拡大して元のサイズの復号化合成奥行マップＧ’ｄを復元するものである。このために、奥行マップ復元手段３０は、奥行マップ復号化手段３０ａと拡大手段３０ｂとを備えて構成されている。
　また、奥行マップ復元手段３０は、復元した復号化合成奥行マップＧ’ｄを射影映像予測手段１５Ｂの左射影映像予測手段１５Ｂ_Ｌ及び右射影映像予測手段１５Ｂ_Ｒに出力する。

　奥行マップ復号化手段３０ａは、奥行マップ符号化手段１３Ｂから符号化奥行マップｇ_２ｄを入力し、その符号化方式に基づいて復号化して復号化縮小合成奥行マップＧ’_２ｄを生成する。奥行マップ復号化手段３０ａは、生成した復号化縮小合成奥行マップＧ’_２ｄを拡大手段３０ｂに出力する。奥行マップ復号化手段３０ａは、図２に示した奥行マップ復号化手段１４と同様のものを用いることができるため、詳細な説明は省略する。

　拡大手段３０ｂは、奥行マップ復号化手段３０ａから復号化縮小合成奥行マップＧ’_２ｄを入力し、合成奥行マップＧｄと同じサイズの復号化合成奥行マップＧ’ｄを生成する。拡大手段３０ｂは、生成した復号化合成奥行マップＧ’ｄを左射影映像予測手段１５Ｂ_Ｌ及び右射影映像予測手段１５Ｂ_Ｒに出力する。

　なお、拡大手段３０ｂは、拡大処理として、縮小手段１２４による縮小処理によって間引かれていた画素を補間するときに、その画素の近傍に存在する複数の画素の画素値（奥行値）の差が小さい場合には、その近傍画素の画素値の平均値をその画素の画素値とする。また、その画素の近傍に存在する複数の画素の画素値の差が大きい場合には、その近傍画素の画素値の最も大きい値をその画素の画素値とする。これによって、前景と背景との境界部分で、前景の奥行値が復元されるため、復号化装置２Ｂ（図２２参照）で合成される多視点映像の品質を保つことができる。

　なお、拡大処理の際に、拡大後の奥行マップに、2次元メディアンフィルタを掛ける。これによって、前景の被写体の奥行値の輪郭部分を滑らかにつなげることができ、この合成奥行マップを用いて生成される合成映像の品質を向上することができる。

　射影映像予測手段１５Ｂは、奥行マップ復元手段３０の拡大手段３０ｂから入力した復号化合成奥行マップＧ’ｄを用いて、基準視点映像Ｃを、それぞれ左視点など及び右視点などに射影したときにオクルージョンホールとなる画素領域における画素を左視点映像Ｌ及び右視点映像Ｒから抽出して、左残差映像（残差映像）Ｌｖ及び右残差映像（残差映像）Ｒｖを生成するものである。射影映像予測手段１５Ｂは、生成した左残差映像Ｌｖ及び右残差映像Ｒｖを、それぞれ残差映像フレーム化手段１９Ｂの縮小手段１９Ｂａ及び縮小手段１９Ｂｂに出力する。

　左射影映像予測手段１５Ｂ_Ｌは、左視点映像Ｌ及び左指定視点Ｐｔを外部から入力するとともに、拡大手段３０ｂから復号化された復号化合成奥行マップＧ’ｄを入力し、左残差映像Ｌｖを生成して、生成した左残差映像Ｌｖを残差映像フレーム化手段１９Ｂの縮小手段１９Ｂａに出力する。

　ここで、本実施形態における左射影映像予測手段１５Ｂ_Ｌの詳細な構成について、図２１（ａ）を参照（適宜図１９及び図２０参照）して説明する。
　図２１（ａ）に示すように、本実施形態における左射影映像予測手段１５Ｂ_Ｌは、オクルージョンホール検出手段１５１Ｂと、残差映像切出手段１５２とを備えて構成されている。本実施形態における左射影映像予測手段１５Ｂ_Ｌは、図２に示した第１実施形態における射影映像予測手段１５とは、オクルージョンホール検出手段１５１に代えて、オクルージョンホール検出手段１５１Ｂを備えることが異なる。

　また、本実施形態におけるオクルージョンホール検出手段１５１Ｂは、第１穴マスク生成手段１５１１Ｂと、第２穴マスク生成手段１５１２Ｂと、第３穴マスク生成手段１５１３Ｂ（１５１３Ｂ_１～１５１３Ｂ_ｎ）と、穴マスク合成手段１５１４と、穴マスク膨張手段１５１５と、を有して構成されている。本実施形態におけるオクルージョンホール検出手段１５１Ｂは、図３（ｂ）に示した第１実施形態におけるオクルージョンホール検出手段１５１とは、第１穴マスク生成手段１５１１、第２穴マスク生成手段１５１２及び第３穴マスク生成手段１５１３（１５１３_１～１５１３_ｎ）に代えて、それぞれ第１穴マスク生成手段１５１１Ｂ、第２穴マスク生成手段１５１２Ｂ及び第３穴マスク生成手段１５１３Ｂ（１５１３Ｂ_１～１５１３Ｂ_ｎ）を備えることが異なる。
　なお、第１実施形態における射影映像予測手段１５及びオクルージョンホール検出手段１５１と同じ構成要素については、同じ符号を付して、説明は適宜省略する。

　本実施形態における第１穴マスク生成手段１５１１Ｂ、第２穴マスク生成手段１５１２Ｂ及び第３穴マスク生成手段１５１３Ｂは、オクルージョンホール検出のための奥行マップとして、共通視点である基準視点における復号化合成奥行マップＧ’ｄを用いる。このため、基準視点と左視点との中間視点における奥行マップである復号化左合成奥行マップＭ’ｄを用いる第１実施形態における第１穴マスク生成手段１５１１、第２穴マスク生成手段１５１２及び第３穴マスク生成手段１５１３とは、それぞれ第１ホール画素検出手段１５１１ｂ、第２ホール画素検出手段１５１２Ｂｂ及び第３ホール画素検出手段１５１３ｂに入力する奥行マップの射影手段（１５１１Ｂａ，１５１２Ｂａ，１５１３Ｂａ）による射影の際のシフト量が異なる。このシフト量が異なる以外は、第１穴マスク生成手段１５１１Ｂ、第２穴マスク生成手段１５１２Ｂ及び第３穴マスク生成手段１５１３Ｂは、第１実施形態における第１穴マスク生成手段１５１１、第２穴マスク生成手段１５１２及び第３穴マスク生成手段１５１３と同様の機能を有する。

　すなわち、第１穴マスク生成手段１５１１Ｂ、第２穴マスク生成手段１５１２Ｂ及び第３穴マスク生成手段１５１３Ｂは、入力した奥行マップを用いて基準視点映像Ｃを、それぞれ左視点に射影したとき、左中間視点に射影したとき、及び左指定視点に射影したときにオクルージョンホールＯＨとなる領域を予測する。そして、それぞれが予測した領域を左視点に射影し、その射影した領域を示す穴マスクＬｈ_１，Ｌｈ_２，Ｌｈ_３１～Ｌｈ_３ｎを生成して穴マスク合成手段１５１４に出力する。

　なお、オクルージョンホールＯＨの検出は復号化合成奥行マップＧ’ｄのみを用いて行うことができるため、基準視点映像Ｃは不要である。図３（ｂ）に示した第１実施形態におけるオクルージョンホール検出手段１５１においても同様に、基準視点映像Ｃの入力は省略することができる。

　第１穴マスク生成手段１５１１Ｂは、基準視点映像Ｃを左視点に射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、当該画素領域を示す穴マスクＬｈ_１を生成して穴マスク合成手段１５１４に出力するものである。このために、第１穴マスク生成手段１５１１Ｂは、左視点射影手段１５１１Ｂａと、第１ホール画素検出手段１５１１ｂとを有して構成されている。

　左視点射影手段１５１１Ｂａは、奥行マップ復元手段３０から復号化合成奥行マップＧ’ｄを入力し、この復号化合成奥行マップＧ’ｄを左視点に射影して、左視点における奥行マップである左視点射影奥行マップＬ’ｄを生成し、第１ホール画素検出手段１５１１ｂに出力する。
　左視点射影手段１５１１Ｂａは、図３（ｂ）に示した左視点射影手段１５１１ａとは、奥行マップを射影する際のシフト量が異なるだけで、同様のものを用いることができるため詳細な説明は省略する。

　第２穴マスク生成手段１５１２Ｂは、基準視点映像Ｃを基準視点と左視点との中間の視点である左中間視点に射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、当該画素領域を示す穴マスクＬｈ_２を生成して穴マスク合成手段１５１４に出力するものである。このために、第２穴マスク生成手段１５１２Ｂは、左中間視点射影手段１５１２Ｂａと、第２ホール画素検出手段１５１２Ｂｂと、左視点射影手段１５１２Ｂｃと、を有して構成されている。

　左中間視点射影手段１５１２Ｂａは、奥行マップ復元手段３０から復号化合成奥行マップＧ’ｄを入力し、この復号化合成奥行マップＧ’ｄを左中間視点に射影して、左中間視点における奥行マップである復号化左合成奥行マップＭ’ｄを生成し、第２ホール画素検出手段１５１２Ｂｂに出力する。
　左中間視点射影手段１５１２Ｂａは、図３（ｂ）に示した左視点射影手段１５１１ａとは、奥行マップを射影する際のシフト量が異なるだけで、同様のものを用いることができるため詳細な説明は省略する。

　また、第２ホール画素検出手段１５１２Ｂｂ及び左視点射影手段１５１２Ｂｃは、それぞれ図３（ｂ）に示した第２ホール画素検出手段１５１２ａ及び左視点射影手段１５１２ｂと同様であるから説明は省略する。
　なお、第２穴マスク生成手段１５１２Ｂは、省略してもよい。

　第３穴マスク生成手段１５１３Ｂ_１～１５１３Ｂ_ｎ（１５１３Ｂ）は、基準視点映像Ｃを、それぞれ左指定視点Ｐｔ_１～Ｐｔ_ｎに射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、それぞれ当該画素領域を示す穴マスクＬｈ_３１～Ｌｈ_３ｎを生成して穴マスク合成手段１５１４に出力するものである。このために、各第３穴マスク生成手段１５１３Ｂ（１５１３Ｂ_１～１５１３Ｂ_ｎ）は、左指定視点射影手段１５１３Ｂａと、第３ホール画素検出手段１５１３ｂと、左視点射影手段１５１３ｃと、を有して構成されている。

　左指定視点射影手段１５１３Ｂａは、奥行マップ復元手段３０から復号化合成奥行マップＧ’ｄを入力し、この復号化合成奥行マップＧ’ｄを左指定視点Ｐｔ（Ｐｔ_１～Ｐｔ_ｎ）に射影して、左指定視点Ｐｔ（Ｐｔ_１～Ｐｔ_ｎ）における奥行マップである左指定視点奥行マップＰ’ｄを生成し、第３ホール画素検出手段１５１３ｂに出力する。
　左指定視点射影手段１５１３Ｂａは、図３（ｂ）に示した左視点射影手段１５１１ａとは、奥行マップを射影する際のシフト量が異なるだけで、同様のものを用いることができるため詳細な説明は省略する。
　また、第３穴マスク生成手段１５１３Ｂは、図２１（ａ）に示すように、１又は複数の左指定視点Ｐｔ（Ｐｔ_１～Ｐｔ_ｎ）に射影する際にオクルージョンホールＯＨとなる領域を検出するようにしてもよいし、省略してもよい。

　穴マスク合成手段１５１４、穴マスク膨張手段１５１５及び残差映像切出手段１５２は、第１実施形態と同様のものを用いることができる。
　なお、残差映像切出手段１５２において、左視点映像から穴マスクＬｈで示されたオクルージョンホールＯＨとなる領域以外の画素値として、１２８などの固定値とする他に、左視点映像Ｌの全画素値の平均値を用いるようにしてもよい。このようにすることで、残差映像の有効な画素値がある部分（すなわち、オクルージョンホールＯＨとなる領域）と、ない部分（他の領域）との変化量をより少なくし、残差映像の符号化処理における歪を低減することができる。
　また、第１実施形態の残差映像切出手段１５２においても、有効な画素値がない領域の画素値として、残差映像の全画素地の平均値を用いるようにしてもよい。

　また、右射影映像予測手段１５Ｂ_Ｒは、左射影映像予測手段１５Ｂ_Ｌにおいて、左視点映像Ｌ及び左指定視点Ｐｔに代えて、それぞれ右視点映像Ｒ及び右指定視点Ｑｔを入力し、左残差映像Ｌｖに代えて右残差映像Ｒｖを出力することと、基準視点と奥行マップの視点位置との左右の位置関係が逆になること以外は、同様の構成であるから、説明は省略する。

　図１９及び図２０に戻って、符号化装置１Ｂの構成について説明を続ける。
　残差映像フレーム化手段１９Ｂは、左射影映像予測手段１５Ｂ_Ｌ及び右射影映像予測手段１５Ｂ_Ｒから入力した左残差映像Ｌｖ及び右残差映像Ｒｖを１つの画像にフレーム化して、フレーム化残差映像Ｆｖを生成し、生成したフレーム化残差映像Ｆｖを残差映像符号化手段１６Ｂに出力する。このために、残差映像フレーム化手段１９Ｂは、縮小手段１９Ｂａ，１９Ｂｂと結合手段１９Ｂｃとを有して構成されている。

　縮小手段１９Ｂａ及び縮小手段１９Ｂｂは、それぞれ左射影映像予測手段１５Ｂ_Ｌ及び右射影映像予測手段１５Ｂ_Ｒから、左残差映像Ｌｖ及び右残差映像Ｒｖを、それぞれ入力し、入力した残差映像を縦方向及び横方向に画素間引きすることで縮小し、高さ（縦方向の画素数）及び幅（横方向の画素数）がそれぞれ１／２となった、左縮小残差映像Ｌ_２ｖ及び右縮小残差映像Ｒ_２ｖを生成し、結合手段１９Ｂｃに出力する。

　一般的に、残差映像が用いられる領域は、復号化装置２Ｂ（図２２参照）側で合成される多視点映像のごく一部であるため、画素間引きを行っても、合成画像の画質は大きく低下しない。従って、残差映像の間引き（縮小処理）を行うことにより、画質を大きく劣化させることなく、符号化効率を向上させることができる。

　また、縮小手段１９Ｂａ及び縮小手段１９Ｂｂは、左残差映像Ｌｖ及び右残差映像Ｒｖを縮小処理する際に、例えば、係数（１，２，１）の３タップフィルタなどを用いた低域通過フィルタ処理を行った後に、間引き処理を施すことが好ましい。これによって、間引きによる高域成分の折り返し歪みの発生を防止することができる。
　なお、低域通過フィルタ処理は、縦方向及び横方向について、それぞれの方向に間引く前に前記した係数の１次元フィルタを用いて行うようにすることが、処理量を低減できるため好ましい。但し、これに限定されず、２次元の低域通過フィルタ処理を行った後に、縦方向及び横方向の間引き処理を行うようにしてもよい。

　更に、左縮小残差映像Ｌ_２ｖと右縮小残差映像R_２ｖの、オクルージョンホールＯＨとなる領域（有効な画素がある領域）とその他の領域との境界部に低域通過フィルタ処理を施すことが好ましい。これによって、有効な画素がある領域とない領域との境界における画素値の変化が平滑化され、符号化処理の効率を向上させることができる。

　また、縮小手段１９Ｂａ及び縮小手段１９Ｂｂは、縦横の縮小率が１／２に限定されず、１／４、１／３など他の縮小率でもよく、縦方向と横方向とで縮小率が異なるようしてもよい。また、サイズを元のままとし、縮小手段１９Ｂａ，１９Ｂｂを省略するようにしてもよい。

　結合手段１９Ｂｃは、縮小手段１９Ｂａ及び縮小手段１９Ｂｂから、それぞれ左縮小残差映像Ｌ_２ｖ及び右縮小残差映像Ｒ_２ｖを入力し、２つの残差映像を縦方向に結合して、縮小前の元のサイズに対して、縦方向に等倍、横方向に１／２となる１つの映像フレームであるフレーム化残差映像Ｆｖを生成する。結合手段１９Ｂｃは、生成したフレーム化残差映像Ｆｖを、残差映像符号化手段１６Ｂに出力する。
　なお、結合手段１９Ｂｃは、２つの残差映像を横方向に結合するようにしてもよい。

　残差映像符号化手段１６Ｂは、残差映像フレーム化手段１９Ｂの結合手段１９Ｂｃからフレーム化残差映像Ｆｖを入力し、このフレーム化残差映像Ｆｖを所定の符号化方式で符号化して符号化残差映像ｆｖを生成し、残差映像ビットストリームとして伝送路に出力する。
　残差映像符号化手段１６Ｂは、図２に示した残差映像符号化手段１６において、符号化する残差映像が、単一の残差映像に代えて、フレーム化された残差映像であること以外は同様であるから、詳細な説明は省略する。

［立体映像復号化装置の構成］
　次に、図２２及び図２３を参照して、第３実施形態に係る立体映像復号化装置２Ｂの構成について説明する。立体映像復号化装置２Ｂは、図１９に示した立体映像符号化装置１Ｂから伝送路を介して伝送されるビットストリームを復号化して、多視点映像を生成するものである。

　図２２に示すように、第３実施形態に係る立体映像復号化装置２Ｂ（以下、適宜に「復号化装置２Ｂ」と呼ぶ）は、基準視点映像復号化手段２１と、奥行マップ復元手段２８と、奥行マップ射影手段２３Ｂと、残差映像復号化手段２４Ｂと、射影映像合成手段２５Ｂと、残差映像分離手段２７Ｂと、を備えている。

　また、第３実施形態に係る復号化装置２Ｂは、奥行マップビットストリームとして１系統の奥行マップが符号化された符号化奥行マップｇ_２ｄと、残差映像ビットストリームとして複数系統（２系統）の残差映像がフレーム化された符号化残差映像ｆｖとを入力し、フレーム化された残差映像を分離して、複数系統の指定視点映像として、左指定視点映像Ｐ及び右指定視点映像Ｑを生成するものである。
　本実施形態に係る復号化装置２Ｂは、３視点における奥行マップＣｄ，Ｌｄ，Ｒｄを、所定の１つの共通視点における奥行マップである合成奥行マップＧｄに合成された１系統の奥行マップを、更に縮小し符号化した符号化縮小合成奥行マップｇ_２ｄを入力して用いることが、第２実施形態に係る復号化装置２Ａ（図１４参照）と異なる。

　奥行マップ復元手段２８は、奥行ビットストリームを復号化して、復号化縮小合成奥行マップＧ_２’ｄを生成し、更に元のサイズの復号化合成奥行マップＧ’ｄを生成して、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３Ｂ_Ｌ及び右奥行マップ射影手段２３Ｂ_Ｒに出力する。このために、奥行マップ復元手段２８は、奥行マップ復号化手段２８ａと拡大手段２８ｂとを有して構成されている。
　奥行マップ復元手段２８は、符号化装置１Ｂにおける奥行マップ復元手段３０（図１９参照）と同様の構成であるので、詳細な説明は省略する。なお、奥行マップ復号化手段２８ａ及び拡大手段２８ｂは、それぞれ図１９に示した奥行マップ復号化手段３０ａ及び拡大手段３０ｂに対応する。

　奥行マップ射影手段２３Ｂは、左奥行マップ射影手段２３Ｂ_Ｌ及び右奥行マップ射影手段２３Ｂ_Ｒを有して構成され、共通視点である基準視点における奥行マップを、それぞれの系統の指定視点である左指定視点Ｐｔ及び右指定視点Ｑｔに射影して、それぞれの指定視点における奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成する。奥行マップ射影手段２３Ｂは、生成した左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを、それぞれ射影映像合成手段２５Ｂの左射影映像合成手段２５Ｂ_Ｌ及び右射影映像合成手段２５Ｂ_Ｒに出力する。

　なお、本実施形態における奥行マップ射影手段２３Ｂは、図１４に示した奥行マップ射影手段２３Ａと同様に、１つ又は複数の左指定視点（指定視点）Ｐｔ及び右指定視点（指定視点）Ｑｔを入力し、それぞれの指定視点に対応する左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成して、射影映像合成手段２５Ｂの左射影映像合成手段２５Ｂ_Ｌ及び右射影映像合成手段２５Ｂ_Ｒに出力する。

　左奥行マップ射影手段２３Ｂ_Ｌは、復号化された基準視点における奥行マップである復号化合成奥行マップＧ’ｄを入力し、この復号化合成奥行マップＧ’ｄを左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける左指定視点奥行マップ（指定視点奥行マップ）Ｐｄを生成する。左奥行マップ射影手段２３Ｂ_Ｌは、生成した左指定視点奥行マップＰｄを左射影映像合成手段２５Ｂ_Ｌに出力する。
　なお、本実施形態における左奥行マップ射影手段２３Ｂ_Ｌは、図１４に示した第２実施形態における左奥行マップ射影手段２３Ｂ_Ｌとは、入力する奥行マップの視点位置の違いにより、射影時のシフト量が異なること以外は同様であるから、詳細な説明は省略する。

　また、右奥行マップ射影手段２３Ｂ_Ｒは、復号化された基準視点における奥行マップである復号化合成奥行マップＧ’ｄを入力し、この復号化合成奥行マップＧ’ｄを右指定視点Ｑｔに射影して、右指定視点Ｑｔにおける右指定視点奥行マップ（指定視点奥行マップ）Ｑｄを生成する。右奥行マップ射影手段２３Ｂ_Ｒは、生成した右指定視点奥行マップＱｄを右射影映像合成手段２５Ｂ_Ｒに出力する。
　なお、右奥行マップ射影手段２３Ｂ_Ｒは、左奥行マップ射影手段２３Ｂ_Ｌとは、基準視点に対する左右の位置関係が逆であること以外は同様の構成であるから、詳細な説明は省略する。

　残差映像復号化手段２４Ｂは、残差映像ビットストリームを復号化して、フレーム化残差映像（復号化フレーム化残差映像）Ｆ’ｖを生成し、残差映像分離手段２７Ｂの分離手段２７Ｂａに出力する。
　残差映像復号化手段２４Ｂは、図１４に示した第２実施形態における残差映像復号化手段２４Ａと、復号化する対象のフレーム化残差映像のサイズが異なること以外は同様の構成であるので、詳細な説明は省略する。

　残差映像分離手段２７Ｂは、残差映像復号化手段２４Ｂから復号化されたフレーム化残差映像Ｆ’ｖを入力し、フレーム化されている２つの縮小残差映像である左縮小残差映像Ｌ_２’ｖ及び右縮小残差映像Ｒ_２’ｖを分離し、元のサイズに拡大して左残差映像（復号化残差映像）Ｌ’ｖ及び右残差映像（復号化残差映像）Ｒ’ｖを生成する。残差映像分離手段２７Ｂは、生成した左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを、それぞれ射影映像合成手段２５Ｂの左射影映像合成手段２５Ｂ_Ｌ及び右射影映像合成手段２５Ｂ_Ｒに出力する。

　なお、残差映像分離手段２７Ｂは、図１４に示した第２実施形態における残差映像分離手段２７と、分離する対象のフレーム化残差映像のサイズが異なること以外は同様の構成であるので、詳細な説明は省略する。なお、残差映像分離手段２７Ｂにおける分離手段２７Ｂａ、拡大手段２７Ｂｂ及び拡大手段２７Ｂｃは、それぞれ残差映像分離手段２７における分離手段２７ａ、拡大手段２７ｂ及び拡大手段２７ｃに対応する。

　射影映像合成手段２５Ｂは、基準視点映像復号化手段２１から入力した基準視点映像Ｃ’と、残差映像分離手段２７Ｂから入力した左右２系統の残差映像である左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖと、奥行マップ射影手段２３Ｂから入力した左右２系統の奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄとから、左右２系統の指定視点である左指定視点Ｐｔ及び右指定視点Ｑｔにおける指定視点映像である左指定視点映像Ｐ及び右指定視点映像Ｑを生成するものである。このために、射影映像合成手段２５Ｂは、左射影映像合成手段２５Ｂ_Ｌ及び右射影映像合成手段２５Ｂ_Ｒを有して構成されている。

　左射影映像合成手段２５Ｂ_Ｌは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像分離手段２７Ｂの拡大手段２７Ｂｂから左残差映像Ｌ’ｖを、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３Ｂ_Ｌから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点映像Ｐを生成する。

　また、右射影映像合成手段２５Ｂ_Ｒは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像分離手段２７Ｂの拡大手段２７Ｂｃから右残差映像Ｒ’ｖを、奥行マップ射影手段２３Ｂの右奥行マップ射影手段２３Ｂ_Ｒから右指定視点奥行マップＱｄを、それぞれ入力し、右指定視点映像Ｑを生成する。

　ここで、左射影映像合成手段２５Ｂ_Ｌの詳細な構成について、図２４（ａ）を参照（適宜図２２及び図２３参照）して説明する。
　図２４（ａ）に示すように、本実施形態における左射影映像合成手段２５Ｂ_Ｌは、基準視点映像射影手段２５１Ｂと、残差映像射影手段２５２Ｂとを有して構成されている。

　基準視点映像射影手段２５１Ｂは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、奥行マップ射影手段２３Ｂから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点Ｐｔにおける映像として、基準視点映像Ｃ’を当該左指定視点Ｐｔに射影することができる画素についての左指定視点映像Ｐ^Ｃを生成する。基準視点映像射影手段２５１Ｂは、生成した左指定視点映像Ｐ^Ｃを残差映像射影手段２５２Ｂに出力する。
　このために、基準視点映像射影手段２５１Ｂは、ホール画素検出手段２５１Ｂａと、指定視点映像射影手段２５１Ｂｂと、基準視点映像画素複写手段２５１Ｂｃと、穴マスク膨張手段２５１Ｂｄと、を備えて構成されている。

　ホール画素検出手段２５１Ｂａは、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３Ｂ_Ｌから左指定視点奥行マップＰｄを入力し、この左指定視点奥行マップＰｄを用いて、基準視点映像Ｃ’を左指定視点Ｐｔに射影したときにオクルージョンホールとなる画素を検出し、検出した画素領域を示す穴マスクＰ_１ｈを検出結果として生成して穴マスク膨張手段２５１Ｂｄに出力する。
　ホール画素検出手段２５１Ｂａによるオクルージョンホールとなる画素の検出方法は、図８に示した第１実施形態におけるホール画素検出手段２５１ａと同様であるから、詳細な説明は省略する。

　指定視点映像射影手段２５１Ｂｂは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３Ｂ_Ｌから左指定視点奥行マップＰｄを、それぞれ入力し、基準視点映像Ｃ’を左指定視点Ｐｔに射影した映像である左指定視点射影映像Ｐ_１ ^Ｃを生成して、基準視点映像画素複写手段２５１Ｂｃに出力する。
　なお、指定視点映像射影手段２５１Ｂｂは、図８に示した第１実施形態における指定視点映像射影手段２５１ｂと同様であるから、詳細な説明は省略する。

　基準視点映像画素複写手段２５１Ｂｃは、指定視点映像射影手段２５１Ｂｂから左指定視点射影映像Ｐ_１ ^Ｃを、穴マスク膨張手段２５１Ｂｄから穴マスクＰ_２ｈを、それぞれ入力し、これらの入力データから、オクルージョンホールとならずに基準視点映像Ｃ’を左指定視点Ｐｔに射影することができる画素を複写して、左指定視点映像Ｐ^Ｃを生成するものである。
　また、基準視点映像画素複写手段２５１Ｂｃは、生成した左指定視点映像Ｐ^Ｃを、残差映像射影手段２５２Ｂの残差映像画素複写手段２５２Ｂｂに出力する。
　なお、基準視点映像画素複写手段２５１Ｂｃは、図８に示した第１実施形態における基準視点映像画素複写手段２５１ｃと同様であるから、詳細な説明は省略する。

　穴マスク膨張手段２５１Ｂｄは、ホール画素検出手段２５１Ｂａから穴マスクＰ_１ｈを入力し、穴マスクＰ_１ｈにおけるオクルージョンホールとなる画素領域を、所定の画素数だけ膨張させた穴マスクＰ_２ｈを生成し、生成した穴マスクＰ_２ｈを基準視点映像画素複写手段２５１Ｂｃと、残差映像射影手段２５２Ｂの共通穴検出手段２５２Ｂｅに出力する。

　ここで、膨張させる所定の画素数とは、例えば、２画素とすることができる。この膨張処理によって、左指定視点奥行マップＰｄの生成誤差のために、基準視点映像画素複写手段２５１Ｂｃが誤って左指定視点射影映像Ｐ_１ ^Ｃから画素を複写することを防止することができる。

　残差映像射影手段２５２Ｂは、残差映像復号化手段２４Ｂから左残差映像Ｌ’ｖを、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３Ｂ_Ｌから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点Ｐｔにおける映像として、基準視点映像Ｃ’を射影することができない画素、すなわち、オクルージョンホールとなる画素を、左指定視点映像Ｐ^Ｃに補完して左指定視点映像Ｐを生成する。残差映像射影手段２５２Ｂは、生成した左指定視点映像Ｐを立体映像表示装置４（図１参照）に出力する。
　このために、残差映像射影手段２５２Ｂは、指定視点映像射影手段２５２Ｂａと、残差映像画素複写手段２５２Ｂｂと、穴埋め処理手段２５２Ｂｃと、ホール画素検出手段２５２Ｂｄと、共通穴検出手段２５２Ｂｅと、を有して構成されている。

　指定視点映像射影手段２５２Ｂａは、残差映像分離手段２７Ｂの拡大手段２７Ｂｂから左残差映像Ｌ’ｖを、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３Ｂ_Ｌから左指定視点奥行マップＰｄを、それぞれ入力し、左残差映像Ｌ’ｖを左指定視点Ｐｔに射影した映像である左指定視点射影残差映像Ｐ^Ｌｖを生成し、残差映像画素複写手段２５２Ｂｂに出力する。

　残差映像画素複写手段２５２Ｂｂは、基準視点映像射影手段２５１Ｂの基準視点映像画素複写手段２５１Ｂｃから左指定視点映像Ｐ^Ｃを、穴マスク膨張手段２５１Ｂｄから穴マスクＰ_２ｈを、指定視点映像射影手段２５２Ｂａから左指定視点射影残差映像Ｐ^Ｌｖを、ホール画素検出手段２５２Ｂｄから穴マスクＰ_３ｈを、それぞれ入力する。そして、残差映像画素複写手段２５２Ｂｂは、穴マスクＰ_２ｈを参照して、左指定視点映像Ｐ^Ｃにおいてオクルージョンホールとなっている画素について、左指定視点射影残差映像Ｐ^Ｌｖから画素値を抽出して左指定視点映像Ｐ^Ｃに複写し、左指定視点Ｐｔにおける映像である左指定視点映像Ｐ_１を生成する。このとき、残差映像画素複写手段２５２Ｂｂは、左残差映像Ｌ’ｖを左指定視点奥行マップＰｄを用いて左指定視点Ｐｔにおける映像として射影することができない画素領域（オクルージョンホール）を示す穴マスクＰ_３ｈを参照して、穴マスクＰ_３ｈにおいてオクルージョンホールとなる画素については左指定視点射影残差映像Ｐ^Ｌｖから画素を複写しない。
　残差映像画素複写手段２５２Ｂｂは、生成した左指定視点映像Ｐ_１を穴埋め処理手段２５２Ｂｃに出力する。

　穴埋め処理手段２５２Ｂｃは、残差映像画素複写手段２５２Ｂｂから左指定視点映像Ｐ_１を、共通穴検出手段２５２Ｂｅから穴マスクＰ_４ｈを、それぞれ入力する。穴埋め処理手段２５２Ｂｃは、この左指定視点映像Ｐ_１において、基準視点映像画素複写手段２５１Ｂｃ又は残差映像画素複写手段２５２Ｂｂの何れによっても有効な画素が複写されなかった画素を示す穴マスクＰ_４ｈを参照して、これらの穴となっている画素について、その画素の周囲の有効な画素値を用いて穴埋めして左指定視点映像Ｐを生成する。穴埋め処理手段２５２Ｂｃは、生成した左指定視点映像Ｐを、多視点映像における１つの映像として立体映像表示装置４（図１参照）に出力する。

　ホール画素検出手段２５２Ｂｄは、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３Ｂ_Ｌから左指定視点奥行マップＰｄを入力し、この左指定視点奥行マップＰｄを用いて、左視点における映像である左残差映像Ｌ’ｖを左指定視点Ｐｔに射影したときにオクルージョンホールとなる画素を検出し、検出した画素領域を示す穴マスクＰ_３ｈを検出結果として生成して残差映像画素複写手段２５２Ｂｂに出力する。

　ホール画素検出手段２５２Ｂｄは、左指定視点が左視点よりも右側に位置することを仮定して、オクルージョンホールとなる画素を検出するものである。このため、ホール画素検出手段２５２Ｂｄによるオクルージョンホールとなる画素の検出方法は、図８に示した第１実施形態におけるホール画素検出手段２５１ａにおいて、着目画素の左近傍に位置する画素の画素値（奥行値）が、着目画素の画素値よりも大きく、所定の条件を満たす場合にオクルージョンホールとなる画素であると判定するものである。
　なお所定の条件とは、左右の関係が入れ替わること以外は、ホール画素検出手段２５１ａによる判定条件と同様である。

　共通穴検出手段２５２Ｂｅは、穴マスク膨張手段２５１Ｂｄから穴マスクＰ_２ｈを、ホール画素検出手段２５２Ｂｄから穴マスクＰ_３ｈを、それぞれ入力する。そして、共通穴検出手段２５２Ｂｅは、画素毎に穴マスクＰ_２ｈと穴マスクＰ_３ｈとの論理積を算出して、穴マスクＰ_４ｈを生成し、穴埋め処理手段２５２Ｂｃに出力する。
　なお、穴マスクＰ_４ｈは、前記したように、左指定視点映像Ｐ_１において基準視点映像画素複写手段２５１Ｂｃ又は残差映像画素複写手段２５２Ｂｂの何れによっても有効な画素が複写されずに、有効な画素値を有さない穴となっている画素を示すものである。

　図２２に戻って、右射影映像合成手段２５Ｂ_Ｒは、左射影映像合成手段２５Ｂ_Ｌとは、基準視点に対する左右の位置関係が逆であること以外は同様の構成であるから、詳細な説明は省略する。

　以上説明したように、第３実施形態に係る符号化装置１Ｂは、複数の系統の立体映像について、奥行マップを共通視点である基準視点における１つの奥行マップに合成して符号化するとともに、残差映像をフレーム化して符号化し、ビットストリームとして出力するため、高い符号化効率で立体映像を符号化することができる。
　また、復号化装置２Ｂは、その符号化装置１Ｂで符号化した立体映像を復号化して、多視点映像を生成することができる。

［立体映像符号化装置の動作］
　次に、図２５を参照（適宜図１９参照）して、第３実施形態に係る立体映像符号化装置１Ｂの動作について説明する。

（基準視点映像符号化処理）
　符号化装置１Ｂは、まず、基準視点映像符号化手段１１によって、外部から入力した基準視点映像Ｃを、所定の符号化方式で符号化して符号化基準視点映像ｃを生成し、基準視点映像ビットストリームとして出力する（ステップＳ７１）。

（奥行マップ合成処理）
　次に、符号化装置１Ｂは、奥行マップ合成手段１２Ｂによって、外部から入力した基準視点奥行マップＣｄ、左視点奥行マップＬｄ及び右視点奥行マップＲｄを合成し、基準視点を共通視点として、共通視点における１つの奥行マップを生成する（ステップＳ７２）。本実施形態においては、このステップＳ７２は、次に示す３つのサブステップから構成される。

　まず、符号化装置１Ｂは、左奥行マップ射影手段１２１Ｂ及び右奥行マップ射影手段１２２Ｂによって、それぞれ左視点奥行マップＬｄ及び右視点奥行マップＲｄを、共通視点である基準視点に射影して、共通視点奥行マップＣ^Ｌｄ及び共通視点奥行マップＣ^Ｒｄを生成する。
　次に、符号化装置１Ｂは、マップ合成手段１２３Ｂによって、共通視点（基準視点）における３つの奥行きマップである基準視点奥行マップＣｄ、共通視点奥行マップＣ^Ｌｄ及び共通視点奥行マップＣ^Ｒｄを１つに合成して、合成奥行マップＧｄを生成する。
　最後に、符号化装置１Ｂは、縮小手段１２４によって、合成奥行マップＧｄを縮小して縮小合成奥行マップＧ_２ｄを生成する。

（奥行マップ符号化処理）
　次に、符号化装置１Ｂは、奥行マップ符号化手段１３Ｂによって、ステップＳ７２で生成した縮小合成奥行マップＧ_２ｄを、所定の符号化方式で符号化して符号化奥行マップｇ_２ｄを生成し、奥行マップビットストリームとして出力する（ステップＳ７３）。

（奥行マップ復元処理）
　次に、符号化装置１Ｂは、奥行マップ復元手段３０によって、ステップＳ７３で生成した符号化奥行マップｇ_２ｄを復元して復号化合成奥行マップＧ’ｄを生成する（ステップＳ７４）。本実施形態においては、このステップＳ７４は、次に示す２つのサブステップから構成される。

　まず、符号化装置１Ｂは、奥行マップ復号化手段３０ａによって、符号化奥行マップｇ_２ｄを復号化して復号化縮小合成奥行マップＧ_２’ｄを生成する。
　そして、符号化装置１Ｂは、拡大手段３０ｂによって、復号化縮小合成奥行マップＧ_２’ｄを元のサイズに拡大して復号化合成奥行マップＧ’ｄを生成する。

（射影映像予測処理）
　次に、符号化装置１Ｂは、射影映像予測手段１５Ｂの左射影映像予測手段１５Ｂ_Ｌによって、ステップＳ７４で生成した復号化合成奥行マップＧ’ｄと、外部から入力した左視点映像Ｌとを用いて、左残差映像Ｌｖを生成するとともに、射影映像予測手段１５Ｂの右射影映像予測手段１５Ｂ_Ｒによって、復号化合成奥行マップＧ’ｄと、外部から入力した右視点映像Ｒとを用いて、右残差映像Ｒｖを生成する（ステップＳ７５）。

（残差映像フレーム化処理）
　次に、符号化装置１Ｂは、残差映像フレーム化手段１９Ｂによって、ステップＳ７５で生成した２つの残差映像である左残差映像Ｌｖ及び右残差映像Ｒｖを縮小して結合することで、１つの画像にフレーム化してフレーム化残差映像Ｆｖを生成する（ステップＳ７６）。

（残差映像符号化処理）
　そして、符号化装置１Ｂは、残差映像符号化手段１６Ｂによって、ステップＳ７６で生成したフレーム化残差映像Ｆｖを、所定の符号化方式で符号化して符号化残差映像ｆｖを生成し、残差映像ビットストリームとして出力する（ステップＳ７７）。

［立体映像復号化装置の動作］
　次に、図２６を参照（適宜図２２参照）して、第３実施形態に係る立体映像復号化装置２Ｂの動作について説明する。

（基準視点映像復号化処理）
　復号化装置２Ｂは、まず、基準視点映像復号化手段２１によって、基準視点映像ビットストリームを復号化して、基準視点映像Ｃ’を生成し、多視点映像の１つの映像として出力する（ステップＳ９１）。

（奥行マップ復元処理）
　次に、復号化装置２Ｂは、奥行マップ復元手段２８によって、奥行マップビットストリームを復号化して、復号化合成奥行マップＧ’ｄを生成する（ステップＳ９２）。本実施形態においては、このＳ９２は、次に示す２つのサブステップから構成される。

　まず、復号化装置２Ｂは、奥行マップ復号化手段２８ａによって、奥行マップビットストリームとして伝送される符号化奥行マップｇ_２ｄを復号化して復号化縮小合成奥行マップＧ_２’ｄを生成する。
　そして、復号化装置２Ｂは、拡大手段２８ｂによって、復号化縮小合成奥行マップＧ_２’ｄを元のサイズに拡大して復号化合成奥行マップＧ’ｄを生成する。

（奥行マップ射影処理）
　次に、復号化装置２Ｂは、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３Ｂ_Ｌによって、ステップＳ９２で生成した復号化合成奥行マップＧ’ｄを、左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける奥行マップである左指定視点奥行マップＰｄを生成するとともに、右奥行マップ射影手段２３Ｂ_Ｒによって、復号化合成奥行マップＧ’ｄを、右指定視点Ｑｔに射影して、右指定視点Ｑｔにおける奥行マップである右指定視点奥行マップＱｄを生成する（ステップＳ９３）。

（残差映像復号化処理）
　また、復号化装置２Ｂは、残差映像復号化手段２４Ｂによって、残差映像ビットストリームを復号化して、フレーム化残差映像Ｆ’ｖを生成する（ステップＳ９４）。

（残差映像分離処理）
　次に、復号化装置２Ｂは、残差映像分離手段２７Ｂの分離手段２７Ｂａによって、ステップＳ９４で生成した復号化されたフレーム化残差映像Ｆ’ｖに結合されている２つの残差映像を分離し、更に拡大手段２７Ｂｂ及び拡大手段２７Ｂｃによって、それぞれ元のサイズに拡大して、左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを生成する（ステップＳ９５）。

（射影映像合成処理）
　そして、復号化装置２Ｂは、左射影映像合成手段２５Ｂ_Ｌによって、ステップＳ９３で生成した左指定視点奥行マップＰｄを用いて、ステップＳ９１で生成した基準視点映像Ｃ’と、ステップＳ９５で生成した左残差映像Ｌ’ｖとを、それぞれ左指定視点Ｐｔに射影した映像を合成して、左指定視点Ｐｔにおける映像である左指定視点映像Ｐを生成するとともに、右射影映像合成手段２５Ｂ_Ｒによって、ステップＳ９３で生成した右指定視点奥行マップＱｄを用いて、ステップＳ９１で生成した基準視点映像Ｃ’と、ステップＳ９５で生成した右残差映像Ｒ’ｖとを、それぞれ右指定視点Ｑｔに射影した映像を合成して、右指定視点Ｑｔにおける映像である右指定視点映像Ｑを生成する（ステップＳ９６）。

　復号化装置２Ｂによって、ステップＳ９１で生成された基準視点映像Ｃ’と、ステップ９６で生成された左指定視点映像Ｐ及び右指定視点映像Ｑとは、多視点映像として、例えば、図１に示した立体映像表示装置４に出力され、多視点立体映像が表示される。

＜第３実施形態の変形例＞
　次に、本発明の第３実施形態の変形例に係る立体映像符号化装置及び立体映像復号化装置について説明する。

［立体映像符号化装置の構成］
　まず、図１９及び図２１（ｂ）を参照して、本変形例に係る立体映像符号化装置の構成について説明する。
　本変形例に係る立体映像符号化装置（全体構成は図示しないが、以下、適宜に「符号化装置１Ｃ」と呼ぶ）は、図１９に示した第３実施形態に係る符号化装置１Ｂの射影映像予測手段１５Ｂにおいて、左視点映像Ｌからオクルージョンホールとなる領域の画素を切出すこと（論理演算型）により左残差映像Ｌｖを生成することに代えて、左視点映像Ｌと符号化基準視点映像ｃを復号化した復号化基準視点映像Ｃ’を左視点に射影した映像との画素値の差を画素毎に映像全体について算出すること（減算型）により左残差映像Ｌｖを生成するものである。また、右残差映像Ｒｖの生成についても同様に、右視点映像Ｒと復号化基準視点映像Ｃ’を右視点に射影した映像との画素値の差を画素毎に映像全体について算出することにより右残差映像Ｒｖを生成する。

　なお、右残差映像Ｒｖの生成は、左残差映像Ｌｖの生成において、左視点映像Ｌに代えて右視点映像Ｒを用い、復号化基準視点映像Ｃ’を左視点に射影した映像を用いることに代えて復号化基準視点映像Ｃ’を右視点に射影した映像を用いること以外は同様であるから、説明は適宜省略する。

　本変形例に係る符号化装置１Ｃは、左残差映像Ｌｖを生成するために、図２１（ａ）に示した第３実施形態における左射影映像予測手段１５Ｂ_Ｌに代えて、図２１（ｂ）に示した左射影映像予測手段１５Ｃ_Ｌを備える。なお、右射影映像予測手段についても、同様である。
　また、符号化装置１Ｃは、図１９に示した第３実施形態に係る符号化装置１Ｂにおいて、更に基準視点映像符号化手段１１が生成した符号化基準視点映像ｃを復号化する基準視点映像復号化手段（不図示）を備えるものとする。なお、この基準視点映像復号化手段は、図２２に示した基準視点映像復号化手段２１と同じものである。

　図２１（ｂ）に示すように、本変形例における左射影映像予測手段１５Ｃ_Ｌは、左視点射影手段１５３と、残差算出手段１５４とを備えて構成されている。
　左射影映像予測手段１５Ｃ_Ｌは、不図示の基準視点映像復号化手段から復号化基準視点映像Ｃ’を、奥行マップ復元手段３０の拡大手段３０ｂから復号化合成奥行マップＧ’ｄを、それぞれ入力し、左残差映像Ｌｖを残差映像フレーム化手段１９Ｂの縮小手段１９Ｂａに出力する。

　左視点射影手段１５３は、不図示の基準視点映像復号化手段から復号化基準視点映像Ｃ’を入力し、復号化基準視点映像Ｃ’を左視点に射影して左視点映像Ｌ’^Ｃを生成する。左視点射影手段１５３は、生成した左視点映像Ｌ’^Ｃを残差算出手段１５４に出力する。このとき、左視点映像Ｌ’^Ｃにおいて復号化基準視点映像Ｃ’から射影されない画素、すなわちオクルージョンホールとなる画素がある場合は、その画素の画素値として、所定の値を設定する。この所定の値は、例えば、各成分８ビットのデータの場合、各成分を、ともに画素値の取り得る範囲の中央値である「１２８」とすることが好ましい。これによって、左視点映像Ｌの画素値との差が各成分ともに符号を含めて８ビット以下のデータとなるため、符号化の効率を向上することができる。

　残差算出手段１５４は、左視点射影手段１５３から左視点映像Ｌ’^Ｃを入力するとともに、外部から左視点映像Ｌを入力し、左視点映像Ｌと左視点映像Ｌ’^Ｃとの間の差分である左残差映像Ｌｖを生成する。具体的には、残差算出手段１５４は、各画素の成分ごとに、映像全体について左視点映像Ｌの画素値から左視点映像Ｌ’^Ｃの画素値を減算した値である差を画素値とする左残差映像Ｌｖを生成する。
　残差算出手段１５４は、生成した左残差映像Ｌｖを残差映像フレーム化手段１９Ｂの縮小手段１９Ｂａに出力する。

　本変形例では、残差映像を生成する際に、復号化基準視点映像Ｃ’を用いるようにしたため、復号化装置側で残差映像を加算して指定視点映像を復元する際と、基準視点映像が同じ条件となり、より高品質な多視点映像とすることができる。
　なお、残差映像を生成する際に、復号化基準視点映像Ｃ’に代えて基準視点映像Ｃを用いるようにしてもよい。これによって、基準視点映像復号化手段（不図示）を省略することができる。

　本変形例に係る符号化装置１Ｃのその他の構成については、第３実施形態に係る符号化装置１Ｂと同様であるから説明は省略する。

［立体映像復号化装置の構成］
　次に、図２２及び図２４（ｂ）を参照して、本変形例に係る立体映像復号化装置の構成について説明する。本変形例に係る立体映像復号化装置は、前記した変形例に係る符号化装置１Ｃから伝送路を介して伝送されるビットストリームを復号化して、多視点映像を生成するものである。

　すなわち、本変形例に係る立体映像復号化装置（全体構成は図示しないが、以下、適宜に「復号化装置２Ｃ」と呼ぶ）は、図２２に示した第３実施形態に係る復号化装置２Ｂの射影映像合成手段２５Ｂにおいて、前記した論理演算型により生成した左残差映像Ｌｖを用いて左指定視点映像Ｐを生成することに代えて、前記した減算型により生成した左残差映像Ｌｖを用いて左指定視点映像Ｐを生成するものである。

　また、右指定視点映像Ｑの生成についても同様に、右視点映像Ｒと復号化基準視点映像Ｃ’を右視点に射影した映像との画素毎の画素値の差を算出することにより生成した右残差映像Ｒｖを用いて生成する。
　なお、右指定視点映像Ｑの生成は、左指定視点映像Ｐの生成において、左残差映像Ｌｖに代えて右残差映像Ｒｖを用い、射影する方向が、基準視点に対して左右逆となること以外は同様であるから、説明は適宜省略する。

　本変形例に係る復号化装置２Ｃは、左指定視点映像Ｐを生成するために、図２４（ａ）に示した第３実施形態における左射影映像合成手段２５Ｂ_Ｌに代えて、図２４（ｂ）に示した左射影映像合成手段２５Ｃ_Ｌを備える。なお、右射影映像合成手段についても、同様である。

　図２４（ｂ）に示すように、本変形例における左射影映像合成手段２５Ｃ_Ｌは、図２４（ａ）に示した左射影映像合成手段２５Ｂ_Ｌと同様に、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像分離手段２７Ｂの拡大手段２７Ｂｂから左残差映像Ｌ’ｖを、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３Ｂ_Ｌから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点映像Ｐを生成する。
　このために、左射影映像合成手段２５Ｃ_Ｌは、基準視点映像射影手段２５１Ｃと、残差映像射影手段２５２Ｃとを有して構成されている。

　基準視点映像射影手段２５１Ｃは、図２４（ａ）に示した基準視点映像射影手段２５１Ｂとは、穴マスク膨張手段２５１Ｂｄを有さないことと、基準視点映像画素複写手段２５１Ｂｃに代えて基準視点映像画素複写手段２５１Ｃｃを有することと、ホール画素検出手段２５１Ｂａが生成した穴マスクＰ_１ｈを基準視点映像画素複写手段２５１Ｃｃ及び共通穴検出手段２５２Ｂｅに出力することと、が異なる。
　なお、第３実施形態と同様の構成については、同じ符号を付して適宜説明を省略する。

　なお、減算型で残差映像を生成する場合は、論理演算型で残差映像を生成する場合と異なり、残差映像は全画素が有効な画素値を有するので、論理演算型のように有効画素が無い部分が指定視点映像の合成に使われる恐れはなく、穴マスクＰ_１ｈを膨張する必要がない。

　基準視点映像画素複写手段２５１Ｃｃは、指定視点映像射影手段２５１Ｂｂから左指定視点射影映像Ｐ_１ ^Ｃを、ホール画素検出手段２５１Ｂａから穴マスクＰ_１ｈを、それぞれ入力する。そして、基準視点映像画素複写手段２５１Ｃｃは、穴マスクＰ_１ｈを参照して、左指定視点射影映像Ｐ_１ ^Ｃにおいてオクルージョンホールとならない領域の画素を、左指定視点射影映像Ｐ_１ ^Ｃから複写して左指定視点映像Ｐ^Ｃを生成する。

　このとき、基準視点映像画素複写手段２５１Ｃｃは、オクルージョンホールとなる領域の画素については、前記した左視点射影手段１５３（図２１（ｂ）参照）がオクルージョンホールとなる画素に対して設定した所定の値を、その画素の画素値として設定する。これによって、左指定視点映像Ｐ^Ｃにおいてオクルージョンホールとなっている画素についても、後記する残差加算手段２５２ｆによって、当該画素に左指定視点射影残差映像Ｐ^Ｌｖの画素が加算されることで、適切な画素値が復元される。
　また、基準視点映像画素複写手段２５１Ｃｃは、生成した左指定視点映像Ｐ^Ｃを残差映像射影手段２５２Ｃの残差加算手段２５２ｆに出力する。

　残差映像射影手段２５２Ｃは、図２４（ａ）に示した残差映像射影手段２５２Ｂとは、指定視点映像射影手段２５２Ｂａ及び残差映像画素複写手段２５２Ｂｂに代えて、それぞれ指定視点映像射影手段２５２Ｃａ及び残差加算手段２５２ｆを有することと、穴マスクＰ_２ｈに代えて、穴マスクＰ_１ｈを共通穴検出手段２５２Ｂｅに入力することとが異なる。
　なお、第３実施形態と同様の構成については、同じ符号を付して適宜説明を省略する。

　本変形例における指定視点映像射影手段２５２Ｃａは、第３実施形態における指定視点映像射影手段２５２Ｂａとは、射影する対象である左残差映像Ｌ’ｖが論理演算型で生成したものに代えて、減算型で生成したものであることが異なる。
　指定視点映像射影手段２５２Ｃａは、左指定視点奥行マップＰｄを用いて、左残差映像Ｌ’ｖを左指定視点に射影することで左指定視点射影残差映像Ｐ^Ｌｖを生成し、生成した左指定視点射影残差映像Ｐ^Ｌｖを残差加算手段２５２ｆに出力する。

　また、指定視点映像射影手段２５２Ｃａは、左残差映像Ｌ’ｖを左指定視点に射影したときにオクルージョンホールとなる画素については、所定の値を設定する。ここで、所定の値として、画素の全成分について「０」を設定する。これによって、この射影により生成された左指定視点射影残差映像Ｐ^Ｌｖにおいてオクルージョンホールとなっている画素が、後記する残差加算手段２５２ｆによって、左指定視点映像Ｐ^Ｃの画素に加算された場合でも、通常は残差映像内でオクルージョンホールとなる画素部分は、基準視点映像内にこの画素に対応する有効な画素が存在するので、適切な画素値が復元される。
　なお、指定視点映像射影手段２５２Ｃａのその他の構成は、第３実施形態における指定視点映像射影手段２５２Ｂａと同様であるから、詳細な説明は省略する。

　残差加算手段２５２ｆは、基準視点映像画素複写手段２５１Ｃｃから左指定視点映像Ｐ^Ｃを、指定視点映像射影手段２５２Ｃａから左指定視点射影残差映像Ｐ^Ｌｖを、それぞれ入力する。そして、残差加算手段２５２ｆは、左指定視点射影残差映像Ｐ^Ｌｖと、左指定視点映像Ｐ^Ｃとの対応する各画素同士を加算し、左指定視点Ｐｔにおける映像である左指定視点映像Ｐ_１を生成する。
　残差加算手段２５２ｆは、生成した左指定視点映像Ｐ_１を穴埋め処理手段２５２Ｂｃに出力する。

　共通穴検出手段２５２Ｂｅは、ホール画素検出手段２５１Ｂａから左指定視点映像Ｐｃについての穴マスクＰ_１ｈを、ホール画素検出手段２５２Ｂｄから左指定視点射影残差映像Ｐ^Ｌｖについての穴マスクＰ_３ｈを、それぞれ入力する。そして、共通穴検出手段２５２Ｂｅは、画素毎に穴マスクＰ_１ｈと穴マスクＰ_３ｈとの論理積を算出して共通穴マスクである穴マスクＰ_４ｈを生成し、穴埋め処理手段２５２Ｂｃに出力する。

　穴埋め処理手段２５２Ｂｃは、この左指定視点映像Ｐ_１において、基準視点映像画素複写手段２５１Ｃｃによって有効な画素が複写されず、かつ、残差加算手段２５２ｆによって有効な残差が加算されなかった画素を示す穴マスクＰ_４ｈを参照して、これらの穴となっている画素について、その画素の周囲の有効な画素値を用いて穴埋めして左指定視点映像Ｐを生成する。穴埋め処理手段２５２Ｂｃは、生成した左指定視点映像Ｐを、多視点映像における１つの映像として立体映像表示装置４（図１参照）に出力する。

　本変形例における共通穴検出手段２５２Ｂｅは、ホール画素検出手段２５１Ｂａから穴マスクＰ_１ｈを、ホール画素検出手段２５２Ｂｄから穴マスクＰ_３ｈを、それぞれ入力する。そして、共通穴検出手段２５２Ｂｅは、画素毎に穴マスクＰ_１ｈと穴マスクＰ_３ｈとの論理積を算出して、穴マスクＰ_４ｈを生成し、穴埋め処理手段２５２Ｂｃに出力する。
　なお、穴マスクＰ_４ｈは、前記したように、左指定視点映像Ｐ_１において基準視点映像画素複写手段２５１Ｃｃによって有効な画素が複写されず、かつ、残差加算手段２５２ｆによって有効な残差が加算されなかったため、有効な画素値を有さずに穴となっている画素を示すものである。

　本変形例に係る符号化装置１Ｃの動作は、図２５に示した第３実施形態に係る符号化装置１Ｂの動作において、基準視点映像符号化処理ステップＳ７１と射影映像予測処理ステップＳ７５との間に、基準視点映像復号化手段（不図示）によって、ステップＳ７１で生成された符号化基準視点映像ｃを復号化して復号化基準視点映像Ｃ’を生成するステップを行うことと、射影映像予測処理ステップＳ７５において、図２１（ｂ）に示した左射影映像予測手段１５Ｃ_Ｌ及びこれと同様の構成を有する右射影映像予測手段（不図示）を備えた射影映像予測手段（不図示）によって、減算型の左残差映像Ｌｖ及び右残差映像Ｒｖを生成することが異なる。その他の処理は第３実施形態に係る符号化装置１Ｂと同様であるから、説明は省略する。

　また、本変形例に係る復号化装置２Ｃの動作は、図２６に示した第３実施形態に係る復号化装置２Ｂの射影映像合成処理ステップＳ９６において、図２４（ｂ）に示した左射影映像合成手段２５Ｃ_Ｌ及びこれと同様の構成を有する右射影映像合成手段（不図示）を備えた射影映像合成手段（不図示）によって、減算型の左残差映像Ｌｖ及び右残差映像Ｒｖを用いて左指定視点映像Ｐ及び右指定視点映像Ｑを生成することが異なる。その他の処理は第３実施形態に係る復号化装置２Ｂと同様であるから、説明は省略する。

　本変形例のように、減算型で残差映像を生成することにより、論理演算型で残差映像を生成する場合に比べ、残差映像のデータ量は増加するが、復号化装置側で、基準視点映像の射影では近似しきれない微妙な色の違いなどを、残差信号で補正することができるので、より高品質の多視点映像を生成することができる。
　また、減算型で残差映像を生成する射影映像予測手段についての本変形例の構成は、第１実施形態における射影映像予測手段１５及び第２実施形態における射影映像予測手段１５Ａに適用することもできる。同様に、減算型の残差映像を用いて指定視点映像を生成する射影映像合成手段についての本変形例の構成は、第１実施形態における射影映像合成手段２５及び第２実施形態における射影映像合成手段２５Ａに適用することもできる。

＜第４実施形態＞
　次に、本発明の第４実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
　第４実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムは、図１に示した立体映像伝送システムＳにおいて、立体映像符号化装置１及び立体映像復号化装置２に代えて、それぞれ立体映像符号化装置５（図２７参照）及び立体映像復号化装置６（図３１参照）を含むものである。また、立体映像符号化装置５から立体映像復号化装置６へ伝送されるビットストリームは、基準視点映像ビットストリーム、奥行マップビットストリーム、残差映像ビットストリーム及び指定視点映像を合成する際に必要な補助情報が多重化された多重化ビットストリームである。
　なお、ビットストリームが多重化されること以外は、前記した各実施形態における立体映像伝送システムと同様であるから、共通する構成についての詳細な説明は適宜省略する。

［立体映像符号化装置の構成］
　次に、図２７を参照して、第４実施形態に係る立体映像符号化装置５の構成について説明する。
　図２７に示すように、第４実施形態に係る立体映像符号化装置５（以下、適宜に「符号化装置５」と呼ぶ）は、ビットストリーム多重化手段５０と符号化処理部５１とを備えて構成されている。

　符号化処理部５１は、前記した第１実施形態、第２実施形態、第３実施形態及びその変形例に係る符号化装置１，１Ａ，１Ｂ，１Ｃ（以下、適宜「符号化装置１等」と呼ぶ）に相当し、外部（例えば、図１に示した立体映像作成装置３）から複数の視点映像Ｃ，Ｌ，Ｒ及びこれらに付随する奥行マップＣｄ，Ｌｄ，Ｒｄを入力して、基準視点映像ビットストリーム、奥行マップビットストリーム及び残差映像ビットストリームをビットストリーム多重化手段５０に出力するものである。
　また、ビットストリーム多重化手段５０は、符号化処理部５１から出力される各ビットストリーム及び外部から入力した補助情報ｈを多重化した多重化ビットストリームを生成し、復号化装置６（図３１参照）に出力するものである。

　符号化処理部５１は、前記したように符号化装置１等に相当するものであり、基準視点映像符号化手段５１１と、奥行マップ合成手段５１２と、奥行マップ符号化手段５１３と、奥行マップ復元手段５１４と、射影映像予測手段５１５と、残差映像符号化手段５１６と、を備えている。
　以下、符号化処理部５１の各構成要素について図２７を参照（適宜図２、図１２及び図１９参照）して説明する。なお、符号化処理部５１の各構成要素は、符号化装置１等における１又は２以上の構成要素によって構成することができるため、両者の構成要素の対応関係を示し、詳細な説明は適宜省略する。

　基準視点映像符号化手段５１１は、外部から基準視点映像Ｃを入力して、基準視点映像Ｃを所定の符号化方式で符号化した符号化基準視点映像ｃを生成し、ビットストリーム多重化手段５０に出力する。
　基準視点映像符号化手段５１１は、符号化装置１等における基準視点映像符号化手段１１に相当するものである。

　奥行マップ合成手段５１２は、外部から基準視点奥行マップＣｄ、左視点奥行マップＬｄ及び右視点奥行マップＲｄを入力して、これらの奥行マップを適宜合成して合成奥行マップＧ_２ｄを生成し、奥行マップ符号化手段５１３に出力する。外部から入力する奥行マップは、３つの限定されるものではなく、２又は４以上であってもよい。また、合成奥行マップは、縮小されたものでもよく、２以上の合成奥行マップがフレーム化され、更に縮小されたものでもよい。

　なお、図２７においては、説明の便宜上、各構成要素間に入出力されるデータの符号は、符号化処理部５１の構成として図１９に示した第３実施形態に係る符号化装置１Ｂを用いた場合の符号（Ｇ_２ｄ，ｇ_２ｄ、Ｇ_２’ｄ，Ｆｖ，ｆｖ，ｃ）を例として示している。他の実施形態に係る符号化装置１等を用いる場合は、適宜符号を読み替えるものとする。後記する図２８についても同様である。

　奥行マップ合成手段５１２は、符号化装置１の奥行マップ合成手段１２、符号化装置１Ａの奥行マップ合成手段１２Ａ及び奥行マップフレーム化手段１７、又は符号化装置１Ｂ，１Ｃの奥行マップ合成手段１２Ｂ、に相当するものである。

　奥行マップ符号化手段５１３は、奥行マップ合成手段５１２から合成奥行マップＧ_２ｄを入力して、所定の符号化方式で符号化して符号化奥行マップｇ_２ｄを生成し、奥行マップ復元手段５１４及びビットストリーム多重化手段５０に出力する。
　奥行マップ符号化手段５１３は、符号化装置１の奥行マップ符号化手段１３、符号化装置１Ａの奥行マップ符号化手段１３Ａ、又は符号化装置１Ｂ，１Ｃの奥行マップ符号化手段１３Ｂ、に相当するものである。

　奥行マップ復元手段５１４は、奥行マップ符号化手段５１３から符号化奥行マップｇ_２ｄを入力し、符号化奥行マップｇ_２ｄを復号化し、復号化合成奥行マップＧ’ｄを生成する。奥行マップ復元手段５１４は、生成した復号化合成奥行マップＧ’ｄを射影映像予測手段５１５に出力する。

　ここで、奥行マップ復元手段５１４に入力される符号化奥行マップは、単一の合成奥行マップに限定されず、複数の奥行マップがフレーム化され、更に縮小されているものであってもよい。奥行マップ復元手段５１４は、入力された符号化奥行マップがフレーム化されている場合は、復号化の後に個々の合成奥行マップに分離し、また縮小されている場合は、復号化の後に又は分離した後に元のサイズに拡大して出力するものとする。

　奥行マップ復元手段５１４は、符号化装置１の奥行マップ復号化手段１４、符号化装置１Ａの奥行マップ復号化手段１４Ａ及び奥行マップ分離手段１８、又は符号化装置１Ｂ，１Ｃの奥行マップ復元手段３０、に相当するものである。

　射影映像予測手段５１５は、奥行マップ復元手段５１４から復号化合成奥行マップＧ’ｄを、外部から左視点映像Ｌ、右視点映像Ｒ及び必要に応じて指定視点Ｐｔ，Ｑｔの情報を、それぞれ入力して、残差映像Ｆｖを生成する。射影映像予測手段５１５は、生成した残差映像Ｆｖを残差映像符号化手段５１６に出力する。
　ここで、生成する残差映像は、１つの残差映像であってもよく、基準視点と複数の他の視点との間における残差映像が１つにフレーム化されたものでもよく、更に縮小されたものでもよい。何れの場合も、生成された残差映像は、１視点映像として残差映像符号化手段５１６に出力される。

　射影映像予測手段５１５は、符号化装置１の射影映像予測手段１５、符号化装置１Ａの射影映像予測手段１５Ａ及び残差映像フレーム化手段１９、符号化装置１Ｂの射影映像予測手段１５Ｂ及び残差映像フレーム化手段１９Ｂ、又は符号化装置１Ｃの射影映像予測手段１５Ｃ（不図示）、に相当するものである。

　なお、符号化処理部５１として、第３実施形態の変形例に係る符号化装置１Ｃを用いる場合は、符号化処理部５１は、更に基準視点映像復号化手段（不図示）を備えるものとする。この基準視点映像復号化手段（不図示）は、基準視点映像符号化手段５１１から出力される符号化基準視点映像ｃを復号化して復号化基準視点映像Ｃ’を生成し、生成した復号化基準視点映像Ｃ’を射影映像予測手段５１５に出力するものである。
　この基準視点映像復号化手段（不図示）は、図７に示した基準視点映像復号化手段２１と同様のものを用いることができる。
　なお、基準視点映像復号化手段を備えず、射影映像予測手段５１５は、基準視点映像Ｃを入力して用いるようにしてもよい。

　残差映像符号化手段５１６は、射影映像予測手段５１５から残差映像Ｆｖを入力し、所定の符号化方式により符号化して符号化残差映像ｆｖを生成する。残差映像符号化手段５１６は、生成した符号化残差映像ｆｖをビットストリーム多重化手段５０に出力する。
　残差映像符号化手段５１６は、符号化装置１の残差映像符号化手段１６、符号化装置１Ａの残差映像符号化手段１６Ａ、又は符号化装置１Ｂ，１Ｃの残差映像符号化手段１６Ｂ、に相当するものである。

　次に、図２８及び図２９を参照（適宜図２７参照）して、ビットストリーム多重化手段５０の構成について説明する。
　図２８に示すように、ビットストリーム多重化手段５０は、スイッチ（切替手段）５０１と、補助情報ヘッダ付加手段５０２と、奥行ヘッダ付加手段５０３と、残差ヘッダ付加手段５０４と、を備えて構成されている。
　なお、図２８においては、説明の便宜上、符号化処理部５１として、符号化装置１Ｂを用いた場合を想定して、各ビットストリームについて説明するが、これに限定されるものではない。他の実施形態における符号化装置１等を用いる場合は、残差映像Ｆｖなどの信号名を、適宜読み替えるものとする。

　ビットストリーム多重化手段５０は、符号化処理部５１から基準視点映像ビットストリーム、奥行マップビットストリーム及び残差映像ビットストリームを入力するとともに、これらのビットストリームに含まれる映像についての属性を示す補助情報ｈを外部（例えば、図１に示した立体映像作成装置３）から入力し、これらのビットストリーム及び補助情報ｈをそれぞれ識別できるように識別情報を付加して、多重化ビットストリームを生成するものである。

　スイッチ（切替手段）５０１は、４つの入力端子Ａ１～Ａ４と１つの出力端子Ｂとの接続を切り替えて、入力端子Ａ１～Ａ４に入力される信号の１つを選択して出力端子Ｂから出力することにより、４つの入力端子Ａ１～Ａ４に入力されたビットストリームを多重化して出力するものである。

　ここで、入力端子Ａ１には、補助情報ヘッダ付加手段５０２から所定のヘッダが付加された補助情報のビットストリームが入力される。入力端子Ａ２には、符号化処理部５１の基準視点映像符号化手段５１１から基準視点映像ビットストリームとして符号化基準視点映像ｃが入力される。入力端子Ａ３には、奥行ヘッダ付加手段５０３から所定のヘッダが付加された奥行マップビットストリームが入力される。入力端子Ａ４には、残差ヘッダ付加手段５０４から所定のヘッダが付加された残差映像ビットストリームが入力される。

　ここで、ビットストリームのデータ構造について説明する。
　まず、本実施形態に係る符号化装置５において、基準視点映像符号化手段５１１、奥行マップ符号化手段５１３及び残差映像符号化手段５１６が生成するビットストリームは、何れも、１視点映像として符号化されたことを示すヘッダを有するものとする。

　基準視点映像符号化手段５１１、奥行マップ符号化手段５１３及び残差映像符号化手段５１６が、例えば、ＭＰＥＧ－４　ＡＶＣ符号化方式において、１視点映像として符号化した場合は、図２９（ａ）に示すように、これらの符号化手段が出力するビットストリーム７０は、その符号化方式の仕様書に規定されている「１視点映像」ビットストリーム構造に準じて、何れも同じヘッダを有している。

　具体的には、これらの先頭にユニークな開始コード７０１（例えば、３バイト長のデータ「００１」）があり、続いて１視点映像のビットストリームであることを示す１視点映像ヘッダ（第１識別情報）７０２（例えば、１バイトデータであって、下位５ビットが「００００１」）があり、その後に、１視点映像のビットストリーム本体７０３が続いている。ビットストリームの終了は、例えば、３バイト以上の「０」が連続する終了コードを検出することで認識することがきる。
　なお、ビットストリーム本体７０３には、開始コード及び終了コードと一致するビット列は含まれないように符号化されているものとする。

　なお、この例の場合、ビットストリームの最後に終了コードとして３バイト長の「０００」をフッタとして付加してもよいが、１バイトの「０」を付加するようにしてもよい。１バイトの「０」を付加することにより、このビットストリームの後ろに続くビットストリームにおけるヘッダの開始コードの先頭の２バイトの「００」と合わせて、３バイトの「０００」が出現するため、ビットストリームの終了を認識することができる。

　また、開始コードを４バイトとし、上位の３バイトを「０００」、下位の１バイトを「１」とすることにより、ビットストリームの終端に「０」を付加することなく、後ろに続くビットストリームのヘッダの開始コードの先頭の３バイトの「０００」によって、前のビットストリームの終了を認識することができる。

　符号化処理部５１からビットストリーム多重化手段５０に入力される３系統のビットストリームは、何れも図２９（ａ）に示したビットストリーム７０の構造を有するものである。そこで、ビットストリーム多重化手段５０は、符号化手段によって付与された既存のヘッダに、符号化処理部５１から入力する３系統のビットストリームが、それぞれ、基準視点映像のものか、奥行マップのものか、残差映像のものかを識別するための識別情報としてヘッダ及びフラグを追加する。また、ビットストリーム多重化手段５０は、これらのビットストリームの他に、本実施形態に係る復号化装置６（図３１参照）で、多視点映像を合成するために必要な補助情報について、立体映像に関する補助情報であること識別するための識別情報としてヘッダ及びフラグを付加して出力する。

　具体的には、ビットストリーム多重化手段５０は、基準視点映像符号化手段５１１が出力するビットストリームについて、図２９（ｂ）に示すように、ビットストリーム７１の構造を変えることなく、そのまま、基準視点映像ビットストリームとして、スイッチ５０１を介して出力する。これにより、このビットストリームを受信するのが、１視点映像を復号化する既存の復号化装置である場合は、このビットストリームを、１視点映像として従来通り復号化することができ、映像の復号化装置としての互換性を保つことができる。

　奥行ヘッダ付加手段５０３は、符号化処理部５１の奥行マップ符号化手段５１３から奥行ビットストリームとして符号化奥行マップｇ_２ｄを入力し、既存のヘッダに所定の識別情報を挿入することで、図２９（ｃ）に示すビットストリーム７２の構造を有するビットストリームを生成してスイッチ５０１に出力する。

　具体的には、奥行ヘッダ付加手段５０３は、奥行マップ符号化手段５１３から入力した奥行マップビットストリームに含まれる１視点映像ビットストリームの開始コード７０１を検出し、その直後に、この奥行マップビットストリームが、立体映像に関するデータであることを示す１バイトの「立体映像ヘッダ（第２識別情報）７０４」を挿入する。立体映像ヘッダ７０４の値は、下位５ビットの値を、例えば、ＭＰＥＧ－４　ＡＶＣの規格で、これまでに規定されてないヘッダ値である、例えば「１１０００」とする。これによって、立体映像ヘッダ７０４以降のビットストリームが、本発明による立体映像に関するビットストリームであることが示される。また、このように立体映像ヘッダ７０４としてユニークな値を割当てることで、１視点映像を復号化する既存の復号化装置が、立体映像ヘッダ７０４を有するビットストリームを受信した場合は、以降のビットストリームを、不明なデータとして無視することができる。このため、既存の復号化装置の誤動作を防止することができる。

　更に、奥行ヘッダ付加手段５０３は、立体映像ヘッダ７０４以降のビットストリームが奥行マップビットストリームであることを示すために、立体映像ヘッダ７０４の後ろに、更に１バイトの奥行フラグ（第３識別情報）７０５を挿入し、スイッチ５０１を介して、他のビットストリームと多重化して出力する。奥行フラグ７０５としては、例えば８ビットの「１００００００００」の値を割当てることができる。
　これによって、本発明の復号化装置６（図３１参照）は、このビットストリームが、奥行マップビットストリームであることを識別することができる。

　残差ヘッダ付加手段５０４は、符号化処理部５１の残差映像符号化手段５１６から残差映像ビットストリームとして符号化残差映像ｆｖを入力し、既存のヘッダに所定の識別情報を挿入することで、図２９（ｄ）に示すビットストリーム７３の構造を有するビットストリームを生成してスイッチ５０１に出力する。

　具体的には、残差ヘッダ付加手段５０４は、残差映像符号化手段５１６から入力した残差映像ビットストリームに含まれる１視点映像ビットストリームの開始コード７０１を、奥行ヘッダ付加手段５０３と同様にして検出し、その直後に、この残差映像ビットストリームが立体映像に関するデータであることを示す１バイトの立体映像ヘッダ７０４（例えば、下位５ビットの値が「１１０００」）と、更に残差映像であることを示す１バイトの残差フラグ（第４識別情報）７０６とを挿入し、スイッチ５０１を介して、他のビットストリームと多重化して出力する。
　なお、残差フラグ７０６としては、奥行フラグ７０５とは異なる値、例えば８ビットの「１０１０００００」の値を割当てることができる。

　前記した奥行マップビットストリームの場合と同様に、立体映像ヘッダ７０４を挿入することによって、１視点映像を復号化する既存の復号化装置の誤動作を防止することができる。また、残差フラグ７０６を挿入することにより、本発明の復号化装置６（図３１参照）は、このビットストリームが、残差映像マップビットストリームであることを識別することができる。

　補助情報ヘッダ付加手段５０２は、外部（例えば、図１に示した立体映像作成装置３）から復号化装置６が多視点映像を合成するために必要な補助情報ｈを入力し、所定のヘッダを付加して、図２９（ｅ）に示すビットストリーム７４の構造を有するビットストリームを生成してスイッチ５０１に出力するものである。

　補助情報ヘッダ付加手段５０２は、外部から入力した補助情報ｈの先頭に、前記した開始コード７０１（例えば、３バイトのデータ「００１」）を付加し、その直後に、以降のビット列が立体映像に関するデータであることを示す立体映像ヘッダ７０４（例えば、下位５ビットの値が「１１０００」）を付加する。更に、補助情報ヘッダ付加手段５０２は、立体映像ヘッダ７０４の後ろに、以降のデータが、補助情報であること示す１バイトの補助情報フラグ（第５識別情報）７０７を付加する。
　なお、補助情報フラグ７０７としては、奥行フラグ７０５でも残差フラグ７０６でもない値、例えば８ビットの「１１００００００」の値を割当てることができる。

　このように、補助情報ヘッダ付加手段５０２は、開始コード７０１と立体映像ヘッダ７０４と補助情報フラグ７０７とを補助情報本体に付加した後に、スイッチ５０１を介して、他のビットストリームと多重化して出力する。
　前記した奥行マップビットストリーム及び残差映像ビットストリームの場合と同様に、立体映像ヘッダ７０４を挿入することによって、１視点映像を復号化する既存の復号化装置の誤動作を防止することができる。また、補助情報フラグ７０７を挿入することにより、本発明の復号化装置６（図３１参照）は、このビットストリームが、多視点映像の合成に必要な補助情報ビットストリームであることを識別することができる。

　スイッチ５０１は、補助情報ビットストリーム、基準視点映像ビットストリーム、奥行マップビットストリーム、及び残差映像ビットストリームが、この順に選択されるように切り替えることにより、これらのビットストリームを多重化ビットストリームとして出力する。

　次に、図３０を参照して、補助情報の構成の具体例について説明する。
　補助情報は、符号化装置５で符号化されて出力される多視点映像についての属性を示す情報である。補助情報には、例えば、モード、最近距離、最遠距離、焦点距離、並びに基準視点及び副視点の各位置を示す情報が含まれ、多視点映像に付随して符号化装置５から復号化装置６に出力される。
　復号化装置６は、符号化装置５から入力したビットストリームを復号化して得られた奥行マップ、基準視点映像及び残差映像を用いて、これらの映像を指定視点に射影して指定視点における射影映像を合成する際に、必要に応じて補助情報を参照する。

　また、補助情報は、前記した他の実施形態に係る復号化装置２等においても、奥行マップや映像を他の視点に射影する際に適宜参照されるものである。
　例えば、図５に示したような、各視点の位置を示す情報が補助情報に含まれ、奥行マップや映像を射影する際のシフト量を算出するときに用いられる。

　本発明の復号化装置６（図３１参照）が多視点映像の合成に必要な補助情報は、図２９（ｅ）に示した補助情報本体７０８として、例えば、図３０に示したパラメータの名前とその値とをスペースで区切り、並べて構成する。また、各パラメータの順番を固定にし、その値のみを順にスペースで区切り、並べて構成してもよい。更にまた、パラメータのデータ長と並び順とを予め定めておき、パラーメタの値をその順に並べて構成し、先頭からのバイト数でパラメータの種類を識別するようにしてもよい。
　以下、図３０に示したパラメータについて説明する。

　「モード」は、符号化された残差映像及び合成奥行マップが、例えば、第１実施形態に係る符号化装置１により生成された「２ビュー１デプス」のものか、第２実施形態に係る符号化装置１Ａにより生成された「３ビュー２デプス」のものか、第３実施形態に係る符号化装置１Ｂにより生成された「３ビュー１デプス」のものか、などの立体映像データの生成モードを示すものである。例えば、前記した各実施形態に対応して、それぞれ、値「０」、「１」、「２」などを割当てて区別することができる。
　なお、ここで「ビュー」とは、基準視点映像ビットストリームと残差映像ビットストリームに含まれる映像の視点数の合計を示すものである。また「デプス」とは、奥行マップビットストリームに含まれる合成奥行マップの視点数を示すものである。

　「最近距離」は、外部から入力される多視点映像に映っている被写体の内、最もカメラに近い被写体までの距離を示す。また、「最遠距離」は、外部から入力される多視点映像に映っている被写体の内、最もカメラから遠い被写体までの距離を示し、ともに復号化装置６（図３１参照）において指定視点映像を合成する際に、奥行マップの値を視差量に変換する時に使い、画素をシフトさせる量を決めるために用いられる。

　「焦点距離」は、入力される多視点映像を撮影したカメラの焦点距離を示し、復号化装置６（図３１参照）で合成する指定視点映像の位置を決めるために用いられる。なお、焦点距離は、多視点映像を撮影したカメラの撮像素子や立体映像表示装置の画素サイズを単位として定めることができる。但し、これに限定されるものではない。

　「左視点座標値」、「基準視点座標値」及び「右視点座標値」は、それぞれ、左視点映像、中央である基準視点映像及び右視点映像を撮影したカメラのＸ座標を表わし、復号化装置６（図３１参照）で合成する指定視点映像の位置を決めるために用いられる。

　補助情報は、以上に説明したパラメータに限らず、他のパラメータを含んでもよい。例えば、カメラ内の撮像素子の中心位置が、カメラの光軸からずれている場合に、そのずれ量を示す値を更に含んでもよい。この値は、合成映像の位置を補正するために用いることができる。

　なお、補助情報は、ビットストリームのフレーム毎に変化するパラメータがある場合、変化するパラメータと変化しないパラメータを、別々の補助情報として多重化ビットストリームに挿入してもよい。例えば、モード、焦点距離などのように、一連の立体映像についてのビットストリーム全体で変わらないパラメータを含む補助情報は、この一連のビットストリームの先頭に1回のみ挿入する。そして、フレーム毎に変わる可能性のある最近距離、最遠距離、左視点座標、右視点座標などのパラメータは、別の補助情報として、フレーム毎にビットストリームに挿入してもよい。

　この場合は、ビットストリームの中の開始コード７０１（図２９参照）は、フレーム毎に付いているものとし、補助情報の種類を区別するために、複数種類の補助情報フラグ７０７として、例えば８ビットの「１１００００００」の値と、「１１０００００１」の値とを定義し、前記したのと同じ手順で、途中で変化するパラメータを含む補助情報をフレーム毎に挿入する。このようにすることで、補助情報の重複を防ぐことができ、符号化効率を改善することができる。

　なお、途中で変化する補助情報を一連のビットストリーム中に、フレーム毎に挿入する場合は、各フレームに属する基準視映像ビットストリーム、奥行マップビットストリーム、残差映像ビットストリーム及び補助情報の内で、補助情報を最初に多重化ビットストリームに出力することが好ましい。これによって、復号化装置６（図３１参照）において、この補助情報を用いて多視点映像を生成する際の遅延時間を小さくすることができる。

［立体映像復号化装置の構成］
　次に、図３１を参照して、第４実施形態に係る立体映像復号化装置６の構成について説明する。立体映像復号化装置６は、図２７に示した立体映像符号化装置５から伝送路を介して伝送されるビットストリームを復号化して、多視点映像を生成するものである。
　図３１に示すように、第４実施形態に係る立体映像復号化装置６（以下、適宜に「復号化装置６」と呼ぶ）は、ビットストリーム分離手段６０と復号化処理部６１とを備えて構成されている。

　ビットストリーム分離手段６０は、符号化装置５（図２７参照）から多重化ビットストリームを入力し、入力した多重化ビットストリームを、基準視点映像ビットストリームと、奥行マップビットストリームと、残差映像ビットストリームと、補助情報とに分離する。ビットストリーム分離手段６０は、分離した、基準視点映像ビットストリームを基準視点映像復号化手段６１１に、奥行マップビットストリームを奥行マップ復元手段６１２に、残差映像ビットストリームを残差映像復元手段６１４に、補助情報を奥行マップ射影手段６１３及び射影映像合成手段６１５に、それぞれ出力する。

　また、復号化処理部６１は、ビットストリーム分離手段６０から基準視点映像ビットストリーム、奥行マップビットストリーム及び残差映像ビットストリームを、外部（例えば、図１に示した立体映像表示装置４）から合成する多視点についいての指定視点Ｐｔ，Ｑｔを、それぞれ入力し、基準視点映像Ｃ’を復号化するとともに、左指定視点映像Ｐ及び右指定視点映像Ｑを合成することで多視点映像（Ｃ’，Ｐ，Ｑ）を生成するものである。
　また、復号化処理部６１は、生成した多視点映像を、例えば、図１に示した立体映像表示装置４に出力する。そして、立体映像表示装置４は、この多視点映像を視認可能に表示する。

　なお、本実施形態に係る復号化装置６おいて、入力する基準視点映像ビットストリーム、奥行マップビットストリーム及び残差映像ビットストリームは、前記した符号化装置５に対応して、ＭＰＥＧ－４　ＡＶＣ符号化方式で符号化され、図２９に示したビットストリーム構造を有するものとして説明する。

　まず、復号化処理部６１について説明する。
　復号化処理部６１は、前記した第１実施形態、第２実施形態、第３実施形態及びその変形例に係る復号化装置２，２Ａ，２Ｂ，２Ｃ（以下、適宜「復号化装置２等」と呼ぶ）に相当するものであり、基準視点映像復号化手段６１１と、奥行マップ復元手段６１２と、奥行マップ射影手段６１３と、残差映像復元手段６１４と、射影映像合成手段６１５と、を備えている。

　以下、復号化処理部６１の各構成要素について、図３１を参照（適宜図７、図１４及び図２２参照）して説明する。なお、復号化処理部６１の各構成要素は、復号化装置２等における１又は２以上の構成要素によって構成することができるため、両者の構成要素の対応関係を示し、詳細な説明は適宜省略する。

　基準視点映像復号化手段６１１は、ビットストリーム分離手段６０から基準視点映像ビットストリームとして符号化基準視点映像ｃを入力して、その符号化方式で復号化して復号化基準視点映像Ｃ’を生成し、生成した復号化基準視点映像Ｃ’を多視点映像の基準視点映像として外部（例えば、図１に示した立体映像表示装置４）に出力する。
　基準視点映像復号化手段６１１は、復号化装置２等における基準視点映像復号化手段２１に相当するものである。

　奥行マップ復元手段６１２は、ビットストリーム分離手段６０から奥行マップビットストリームとして符号化奥行マップｇ_２ｄを入力して、その符号化方式で復号化して復号化合成奥行マップＧ’ｄを生成し、生成した復号化合成奥行マップＧ’ｄを奥行マップ射影手段６１３に出力する。
　なお、奥行マップ復元手段６１２は、入力した符号化合成奥行きマップがフレーム化されている場合は、復号化した後にフレーム化されている奥行マップを分離し、符号化合成奥行きマップが縮小されている場合は、復号化した後に又は分離した後に元のサイズに拡大して、奥行マップ射影手段６１３に出力するものとする。

　奥行マップ復元手段６１２は、復号化装置２における奥行マップ復号化手段２２、復号化装置２Ａにおける奥行マップ復号化手段２２Ａ及び奥行マップ分離手段２６、又は復号化装置２Ｂ，２Ｃにおける奥行マップ復元手段２８、に相当するものである。

　奥行マップ射影手段６１３は、奥行マップ復元手段６１２から復号化合成奥行マップＧ’ｄを、ビットストリーム分離手段６０から補助情報ｈを、外部（例えば、図１に示した立体映像表示装置４）から左指定視点Ｐｔ及び右指定視点Ｑｔを、それぞれ入力して、左指定視点Ｐｔ及び右指定視点Ｑｔにおける奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成し、生成した左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを射影映像合成手段６１５に出力する。

　なお、奥行マップ射影手段６１３は、外部から入力する指定視点は２つに限定されるものではなく、１つでもよく、３つ以上でもよい。また、奥行マップ射影手段６１３は、奥行マップ復元手段６１２から入力する復号化合成奥行マップは１つに限定されるものではなく、２以上であってもよい。また、奥行マップ射影手段６１３は、入力したそれぞれの指定視点に対応して指定視点奥行マップを生成して、射影映像合成手段６１５に出力するものとする。

　奥行マップ射影手段６１３は、復号化装置２における奥行マップ射影手段２３、復号化装置２Ａにおける奥行マップ射影手段２３Ａ、復号化装置２Ｂ，２Ｃにおける奥行マップ射影手段２３Ｂ、に相当するものである。

　残差映像復元手段６１４は、ビットストリーム分離手段６０から残差映像ビットストリームとして符号化残差映像ｆｖを入力して、その符号化方式で復号化して左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを生成し、生成した左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを射影映像合成手段６１５に出力する。
　なお、残差映像復元手段６１４は、符号化残差映像がフレーム化されている場合は、復号化した後にフレーム化されている残差映像を分離し、符号化残差映像が縮小されている場合は、復号化した後に又は分離した後に元のサイズに拡大して、射影映像合成手段６１５に出力するものとする。

　残差映像復元手段６１４は、復号化装置２における残差映像復号化手段２４、復号化装置２Ａにおける残差映像復号化手段２４Ａ及び残差映像分離手段２７、又は復号化装置２Ｂ，２Ｃにおける残差映像復号化手段２４Ｂ及び残差映像分離手段２７Ｂ、に相当するものである。

　射影映像合成手段６１５は、基準視点映像復号化手段６１１から復号化基準視点映像Ｃ’を、奥行マップ射影手段６１３から左右の指定視点奥行マップＰｄ，Ｑｄを、残差映像復元手段６１４から左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを、ビットストリーム分離手段から補助情報ｈを、それぞれ入力して、左右の指定視点Ｐｔ，Ｑｔにおける指定視点映像Ｐ，Ｑを生成する。射影映像合成手段６１５は、生成した指定視点映像Ｐ，Ｑを多視点映像の指定視点映像として外部（例えば、図１に示した立体映像表示装置４）に出力する。

　射影映像合成手段６１５は、復号化装置２における射影映像合成手段２５、復号化装置２Ａにおける射影映像合成手段２５Ａ、復号化装置２Ｂ，２Ｃにおける射影映像合成手段２５Ｂ、に相当するものである。

　次に、図３２を参照（適宜図２９及び図３１参照）して、ビットストリーム分離手段６０について説明する。
　ビットストリーム分離手段６０は、符号化装置５（図２７参照）から入力した多重化ビットストリームを、指定視点映像ビットストリームと、奥行マップビットストリームと、残差映像ビットストリームと、補助情報とに分離して、復号化処理部６１の各部に出力するものである。このために、ビットストリーム分離手段６０は、図３２に示すように、基準視点映像ビットストリーム分離手段６０１と、奥行マップビットストリーム分離手段６０２と、残差映像ビットストリーム分離手段６０３と、補助情報分離手段６０４と、を備えて構成されている。

　基準視点映像ビットストリーム分離手段６０１は、符号化装置５（図２７参照）から多重化ビットストリームを入力して、多重化ビットストリームから基準視点映像ビットストリームを分離し、基準視点映像ビットストリームとして分離した符号化基準視点映像ｃを基準視点映像復号化手段６１１に出力する。
　また、基準視点映像ビットストリーム分離手段６０１は、入力した多重化ビットストリームが基準視点映像ビットストリーム以外のビットストリームの場合は、多重化ビットストリームを奥行マップビットストリーム分離手段６０２に転送する。

　具体的には、基準視点映像ビットストリーム分離手段６０１は、入力した多重化ビットストリームの先頭から、その値を調べ、ＭＰＥＧ－４　ＡＶＣ符号化方式で規定されている開始コード７０１である、３バイトの値「００１」を探す。基準視点映像ビットストリーム分離手段６０１は、開始コード７０１を検出すると、その直後にある1バイトのヘッダの値を調べ、立体映像ヘッダ７０４であることを示す値（例えば、下位５ビットが、「１１０００」）かどうかを確認する。

　このヘッダが立体映像ヘッダ７０４でない場合は、基準視点映像ビットストリーム分離手段６０１は、この開始コード７０１から終了コードである３バイトの「０００」が検出されるまでのビット列を、基準視点映像ビットストリームとして、基準視点映像復号化手段６１１に出力する。

　一方、開始コード７０１の直後のヘッダが立体映像ヘッダ７０４である場合は、基準視点映像ビットストリーム分離手段６０１は、この開始コード７０１も含めて以降のビットストリームを、終了コード（例えば３バイトの「０００」）が検出されるまで、奥行マップビットストリーム分離手段６０２に転送する。

　奥行マップビットストリーム分離手段６０２は、基準視点映像ビットストリーム分離手段６０１から多重化ビットストリームを入力し、入力した多重化ビットストリームから奥行ビットマップストリームを分離し、奥行マップビットストリームとして分離した符号化奥行マップｇ_２ｄを奥行マップ復元手段６１２に出力する。
　また、奥行マップビットストリーム分離手段６０２は、入力した多重化ビットストリームが奥行マップビットストリーム以外のビットストリームの場合は、多重化ビットストリームを残差映像ビットストリーム分離手段６０３に転送する。

　具体的には、奥行マップビットストリーム分離手段６０２は、前記した基準視点映像ビットストリーム分離手段６０１と同様に、多重化ビットストリームの中の開始コード７０１を検出し、その直後の１バイトのヘッダが、立体映像ヘッダ７０４であれば、更にその直後の１バイトのフラグが奥行フラグ７０５かどうかを確認する。

　このフラグが、奥行フラグ７０５を示す値（例えば、８ビットの「１０００００００」）の場合は、奥行マップビットストリーム分離手段６０２は、開始コード７０１はそのままにして、１バイトの立体映像ヘッダ７０４と１バイトの奥行フラグ７０５とを削除したビットストリームを、終了コード（例えば、３バイトの「０００」）が検出されるまで、奥行マップビットストリームとして、奥行マップ復元手段６１２に出力する。

　すなわち、奥行マップビットストリーム分離手段６０２は、多重化ビットストリームから分離した奥行マップビットストリームから、符号化装置５（図２７参照）のビットストリーム多重化手段５０によって挿入された立体映像ヘッダ７０４と奥行フラグ７０５とを削除して、図２９（ａ）に示した、１視点映像のビットストリームの構造を有するビットストリームに戻して、奥行マップ復元手段６１２に出力する。
　これによって、奥行マップ復元手段６１２は、奥行マップビットストリーム分離手段６０２から入力される奥行マップビットストリームを１視点映像として復号化することができる。

　一方、立体映像ヘッダ７０４の直後のフラグが奥行フラグ７０５でない場合は、奥行マップビットストリーム分離手段６０２は、開始コード７０１から終了コードが検出されるまでのビットストリームを、終了コードまで含めて、残差映像ビットストリーム分離手段６０３に転送する。

　残差映像ビットストリーム分離手段６０３は、奥行マップビットストリーム分離手段６０２から多重化ビットストリームを入力し、入力した多重化ビットストリームから残差映像ビットマップストリームを分離し、残差映像ビットストリームとして分離した符号化残差映像ｆｖを残差映像復元手段６１４に出力する。
　また、残差映像ビットストリーム分離手段６０３は、入力した多重化ビットストリームが残差映像ビットストリーム以外のビットストリームの場合は、多重化ビットストリームを補助情報分離手段６０４に転送する。

　具体的には、残差映像ビットストリーム分離手段６０３は、前記した基準視点映像ビットストリーム分離手段６０１と同様に、多重化ビットストリームの中の開始コード７０１を検出し、その直後の１バイトのヘッダが、立体映像ヘッダ７０４であれば、更にその直後の１バイトのフラグが残差フラグ７０６かどうかを確認する。

　このフラグが、残差フラグ７０６を示す値（例えば、８ビットの「１０１０００００」）の場合は、残差映像ビットストリーム分離手段６０３は、開始コード７０１はそのままにして、１バイトの立体映像ヘッダ７０４と１バイトの残差フラグ７０６とを削除したビットストリームを、終了コード（例えば、３バイトの「０００」）が検出されるまで、残差映像ビットストリームとして、残差映像復元手段６１４に出力する。

　すなわち、残差映像ビットストリーム分離手段６０３は、多重化ビットストリームから分離した残差映像ビットストリームから、符号化装置５（図２７参照）のビットストリーム多重化手段５０によって挿入された立体映像ヘッダ７０４と残差フラグ７０６とを削除して、図２９（ａ）に示した、１視点映像のビットストリームの構造を有するビットストリームに戻して、残差映像復元手段６１４に出力する。
　これによって、残差映像復元手段６１４は、残差映像ビットストリーム分離手段６０３から入力される残差映像ビットストリームを１視点映像として復号化することができる。

　一方、立体映像ヘッダ７０４の直後のフラグが残差フラグ７０６でない場合は、残差映像ビットストリーム分離手段６０３は、開始コード７０１から終了コードが検出されるまでのビットストリームを、終了コードまで含めて、補助情報分離手段６０４に転送する。

　補助情報分離手段６０４は、残差映像ビットストリーム分離手段６０３から多重化ビットストリームを入力し、入力した多重化ビットストリームから補助情報ｈを分離し、分離した補助情報ｈを奥行マップ射影手段６１３及び射影映像合成手段６１５に出力する。
　また、補助情報分離手段６０４は、入力した多重化ビットストリームが補助情報以外のビットストリームの場合は、不明なデータとして無視する。

　具体的には、補助情報分離手段６０４は、前記した基準視点映像ビットストリーム分離手段６０１と同様に、多重化ビットストリームの中の開始コード７０１を検出し、その直後の１バイトのヘッダが、立体映像ヘッダ７０４であれば、更にその直後の１バイトのフラグが補助情報フラグ７０７かどうかを確認する。

　このフラグが、補助情報フラグ７０７を示す値（例えば、８ビットの「１１００００００」）の場合は、補助情報分離手段６０４は、補助情報フラグ７０７の次のビットから終了コードが検出されるまでのビット列を補助情報ｈとして分離する。
　補助情報分離手段６０４は、分離した補助情報ｈを、奥行マップ射影手段６１３及び射影映像合成手段６１５に出力する。
　また、補助情報分離手段６０４は、入力した多重化ビットストリームが補助情報以外のビットストリームの場合は、不明なデータとして無視する。

　なお、ビットストリーム分離手段６０において、基準視点映像ビットストリーム分離手段６０１、奥行マップビットストリーム分離手段６０２、残差映像ビットストリーム分離手段６０３及び補助情報分離手段６０４によって、各ビットストリームを分離する順は図３２に示した例に限定されず、任意に変更することができる。また、これらの分離処理を並列に行うようにしてもよい。

［立体映像符号化装置の動作］
　次に、図３３を参照（適宜図２７～図２９参照）して、符号化装置５の動作について説明する。

（基準視点映像符号化処理）
　図３３に示すように、まず、符号化装置５は、基準視点映像符号化手段５１１によって、外部から基準視点映像Ｃを入力して、基準視点映像Ｃを所定の符号化方式で符号化した符号化基準視点映像ｃを生成し、生成した符号化基準視点映像ｃを基準視点映像ビットストリームとしてビットストリーム多重化手段５０に出力する（ステップＳ１１１）。

（奥行マップ合成処理）
　次に、符号化装置５は、奥行マップ合成手段５１２によって、外部から基準視点奥行マップＣｄ、左視点奥行マップＬｄ及び右視点奥行マップＲｄを入力して、これらの奥行マップを適宜合成して合成奥行マップＧ_２ｄを生成し、奥行マップ符号化手段５１３に出力する（ステップＳ１１２）。

（奥行マップ符号化処理）
　次に、符号化装置５は、奥行マップ符号化手段５１３によって、奥行マップ合成手段５１２から合成奥行マップＧ_２ｄを入力して、所定の符号化方式で符号化して符号化奥行マップｇ_２ｄを生成し、生成した符号化奥行マップｇ_２ｄを奥行マップビットストリームとして奥行マップ復元手段５１４及びビットストリーム多重化手段５０に出力する（ステップＳ１１３）。

（奥行マップ復元処理）
　次に、符号化装置５は、奥行マップ復元手段５１４によって、奥行マップ符号化手段５１３から符号化奥行マップｇ_２ｄを入力し、符号化奥行マップｇ_２ｄを復号化し、復号化合成奥行マップＧ’ｄを生成する。奥行マップ復元手段５１４は、生成した復号化合成奥行マップＧ’ｄを射影映像予測手段５１５に出力する（ステップＳ１１４）。

（射影映像予測処理）
　次に、符号化装置５は、射影映像予測手段５１５によって、奥行マップ復元手段５１４から復号化合成奥行マップＧ’ｄを、外部から左視点映像Ｌ、右視点映像Ｒ及び必要に応じて指定視点Ｐｔ，Ｑｔの情報を、それぞれ入力して、残差映像Ｆｖを生成する。射影映像予測手段５１５は、生成した残差映像Ｆｖを残差映像符号化手段５１６に出力する（ステップＳ１１５）。

（残差映像符号化処理）
　次に、符号化装置５は、残差映像符号化手段５１６によって、射影映像予測手段５１５から残差映像Ｆｖを入力し、所定の符号化方式により符号化して符号化残差映像ｆｖを生成する。残差映像符号化手段５１６は、生成した符号化残差映像ｆｖを残差映像ビットストリームとしてビットストリーム多重化手段５０に出力する（ステップＳ１１６）。

（ビットストリーム多重化処理）
　次に、符号化装置５は、ビットストリーム多重化手段５０によって、ステップＳ１１１で生成した符号化基準視点映像ｃである基準視点映像ビットストリームと、ステップＳ１１３で生成した符号化奥行マップｇ_２ｄである奥行マップビットストリームと、ステップＳ１１６で生成した符号化残差映像ｆｖである残差映像ビットストリームと、外部から基準視点映像Ｃなどとともに入力した補助情報ｈと、を多重化して、多重化ビットストリームとして復号化装置６（図３１参照）に出力する（ステップＳ１１７）。

　なお、ビットストリーム多重化手段５０は、基準視点映像ビットストリームについて、既存のヘッダを改変することなくそのまま多重化する。
　また、ビットストリーム多重化手段５０は、奥行ヘッダ付加手段５０３によって、奥行マップビットストリームについて、既存のヘッダの開始コード７０１の直後に立体映像ヘッダ７０４と奥行フラグ７０５とを挿入して多重化する。
　また、ビットストリーム多重化手段５０は、残差ヘッダ付加手段５０４によって、残差映像ビットストリームについて、既存のヘッダの開始コード７０１の直後に立体映像ヘッダ７０４と残差フラグ７０６とを挿入して多重化する。
　また、ビットストリーム多重化手段５０は、補助情報ヘッダ付加手段５０２によって、補助情報ｈについて、ヘッダとして開始コード７０１と立体映像ヘッダ７０４と補助情報フラグ７０７とを付加して多重化する。

　以上のようにして、符号化装置５は、基準視点映像ビットストリームと、奥行マップビットストリームと、残差映像ビットストリームと、これらに付随する補助情報のビットストリームとが多重化された、多重化ビットストリームを復号化装置６（図３１参照）に出力する。

［立体映像復号化装置の動作］
　次に、図３４を参照（適宜図２９、図３１及び図３２参照）して、復号化装置６の動作について説明する。

（ビットストリーム分離処理）
　図３４に示すように、まず、復号化装置６は、ビットストリーム分離手段６０によって、符号化装置５（図２７参照）から多重化ビットストリームを入力し、入力した多重化ビットストリームを、基準視点映像ビットストリームと、奥行マップビットストリームと、残差映像ビットストリームと、補助情報ｈとに分離する。ビットストリーム分離手段６０は、分離した、基準視点映像ビットストリームを基準視点映像復号化手段６１１に、奥行マップビットストリームを奥行マップ復元手段６１２に、残差映像ビットストリームを残差映像復元手段６１４に、補助情報ｈを奥行マップ射影手段６１３及び射影映像合成手段６１５に、それぞれ出力する（ステップＳ１２１）。

　なお、ビットストリーム分離手段６０は、基準視点映像ビットストリーム分離手段６０１によって、開始コード７０１の直後のヘッダが立体映像ヘッダ７０４でないビットストリームを基準視点映像ビットストリームとして分離する。

　また、ビットストリーム分離手段６０は、奥行マップビットストリーム分離手段６０２によって、開始コード７０１の直後のヘッダが立体映像ヘッダ７０４であり、かつ、更にその直後のフラグが奥行フラグ７０５であるビットストリームを奥行マップビットストリームとして分離し、立体映像ヘッダ７０４と奥行フラグ７０５とを除去したビットストリームを出力する。

　また、ビットストリーム分離手段６０は、残差映像ビットストリーム分離手段６０３によって、開始コード７０１の直後のヘッダが立体映像ヘッダ７０４であり、かつ、更にその直後のフラグが残差フラグ７０６であるビットストリームを残差映像ビットストリームとして分離し、立体映像ヘッダ７０４と残差フラグ７０６とを除去したビットストリームを出力する。

　また、ビットストリーム分離手段６０は、補助情報分離手段６０４によって、開始コード７０１の直後のヘッダが立体映像ヘッダ７０４であり、かつ、更にその直後のフラグが補助情報フラグ７０７であるビットストリームを補助情報ストリームとして分離し、補助情報本体７０８を補助情報ｈとして出力する。

（基準視点映像復号化処理）
　次に、復号化装置６は、基準視点映像復号化手段６１１によって、ビットストリーム分離手段６０から基準視点映像ビットストリームとして符号化基準視点映像ｃを入力して、その符号化方式で復号化して復号化基準視点映像Ｃ’を生成し、生成した復号化基準視点映像Ｃ’を多視点映像の基準視点映像として外部に出力する（ステップＳ１２２）。

（奥行マップ復元処理）
　次に、復号化装置６は、奥行マップ復元手段６１２によって、ビットストリーム分離手段６０から奥行マップビットストリームとして符号化奥行マップｇ_２ｄを入力して、その符号化方式で復号化して復号化合成奥行マップＧ’ｄを生成し、生成した復号化合成奥行マップＧ’ｄを奥行マップ射影手段６１３に出力する（ステップＳ１２３）。

（奥行マップ射影処理）
　次に、復号化装置６は、奥行マップ射影手段６１３によって、奥行マップ復元手段６１２から復号化合成奥行マップＧ’ｄを、ビットストリーム分離手段６０から補助情報ｈを、外部から左指定視点Ｐｔ及び右指定視点Ｑｔを、それぞれ入力して、左指定視点Ｐｔ及び右指定視点Ｑｔにおける奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成し、生成した左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを射影映像合成手段６１５に出力する（ステップＳ１２４）。

（残差映像復元処理）
　次に、復号化装置６は、残差映像復元手段６１４によって、ビットストリーム分離手段６０から残差映像ビットストリームとして符号化残差映像ｆｖを入力して、その符号化方式で復号化して左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを生成し、生成した左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを射影映像合成手段６１５に出力する（ステップＳ１２５）。

（射影映像合成処理）
　次に、復号化装置６は、射影映像合成手段６１５によって、基準視点映像復号化手段６１１から復号化基準視点映像Ｃ’を、奥行マップ射影手段６１３から左右の指定視点奥行マップＰｄ，Ｑｄを、残差映像復元手段６１４から左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを、ビットストリーム分離手段から補助情報ｈを、それぞれ入力して、左右の指定視点Ｐｔ，Ｑｔにおける指定視点映像Ｐ，Ｑを生成する。射影映像合成手段６１５は、生成した指定視点映像Ｐ，Ｑを多視点映像の指定視点映像として外部に出力する（ステップＳ１２６）。

　以上のようにして、復号化装置６は、符号化装置５（図２７参照）から入力した多重化ビットストリームから、基準視点映像ビットストリームと、奥行マップビットストリームと、残差映像ビットストリームと、補助情報ｈとを分離し、これらの分離したデータを用いて立体映像を生成する。

　以上、第１実施形態、第２実施形態、第３実施形態、第４実施形態及びこれらの変形例に係る立体映像符号化装置１，１Ａ，１Ｂ，１Ｃ，５及び立体映像復号化装置２，２Ａ，２Ｂ，２Ｃ，６について、これらの装置は、各構成手段を専用のハードウェアを用いて構成することができるが、これに限定されるものではない。例えば、これらの装置は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（立体映像符号化プログラム及び立体映像復号化プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ－ＲＯＭなどの記録媒体に書き込んで配布することも可能である。

　また、本発明によれば、多数の視点映像を必要とする裸眼立体映像を、少数の視点映像と、その奥行マップとして、効率良く圧縮符号化して伝送でき，高能率かつ高品質な立体映像を低コストで提供することが可能となる。従って、本発明を用いた立体映像蓄積・伝送装置やサービスは、多数の視点映像を必要とする裸眼立体映像であっても、容易にデータを蓄積・伝送可能であるとともに，高品質な立体映像を提供することができる。

　また、本発明は、立体テレビ放送や立体映像レコーダ、立体映画、立体映像を用いた教育機器や展示機器、インターネットサービスなどに広く用いて、その効果を発揮することができる。更に、本発明は、視聴者が自由に視点位置を変えられる自由視点テレビや自由視点映画に用いても、その効果を発揮することができる。

　また、本発明の立体映像符号化装置で生成された多視点映像は、多視点映像を復号化できない既存の復号化装置であっても、１視点映像として利用することができる。

　１、１Ａ、１Ｂ　立体映像符号化装置
　１１　　基準視点映像符号化手段
　１２、１２Ａ、１２Ｂ　奥行マップ合成手段
　１２１、１２２　中間視点射影手段
　１２３　マップ合成手段
　１３、１３Ａ、１３Ｂ　奥行マップ符号化手段
　１４、１４Ａ、３０ａ　奥行マップ復号化手段
　１５、１５Ａ、１５Ｂ、１５Ｃ　射影映像予測手段
　１５１、１５１Ｂ　オクルージョンホール検出手段
　１５１１　第１穴マスク生成手段
　１５１１ａ　左視点射影手段（副視点射影手段）
　１５１１ｂ　第１ホール画素検出手段（ホール画素検出手段）
　１５１２　第２穴マスク生成手段
　１５１２ａ　第２ホール画素検出手段
　１５１２ｂ　左視点射影手段（第２副視点射影手段）
　１５１３　第３穴マスク生成手段
　１５１３ａ　指定視点射影手段
　１５１３ｂ　第３ホール画素検出手段
　１５１３ｃ　左視点射影手段（第３副視点射影手段）
　１５１４　穴マスク合成手段
　１５１５　穴マスク膨張手段
　１５２　残差映像切出手段
　１５３　左視点射影手段（副視点射影手段）
　１５４　残差算出手段
　１６、１６Ａ、１６Ｂ　残差映像符号化手段
　１７　　奥行マップフレーム化手段
　１８　　奥行マップ分離手段
　１９、１９Ｂ　　残差映像フレーム化手段
　２、２Ａ、２Ｂ　立体映像復号化装置
　２１　　基準視点映像復号化手段
　２２、２２Ａ、２８ａ　奥行マップ復号化手段
　２３、２３Ａ、２３Ｂ　奥行マップ射影手段
　２４、２４Ａ、２４Ｂ　残差映像復号化手段
　２５、２５Ａ、２５Ｂ、２５Ｃ　射影映像合成手段
　２５１、２５１Ｂ、２５１Ｃ　基準視点映像射影手段
　２５１ａ　ホール画素検出手段
　２５１ｂ　指定視点映像射影手段
　２５１ｃ　基準視点映像画素複写手段
　２５１ｄ　メディアンフィルタ
　２５１ｅ　穴マスク膨張手段
　２５２、２５２Ｂ、２５２Ｃ　残差映像射影手段
　２５２ａ　指定視点映像射影手段
　２５２ｂ　残差映像画素複写手段
　２５２ｃ　穴埋め処理手段
　２５２ｆ　残差加算手段
　２６　　奥行マップ分離手段
　２７、２７Ｂ　残差映像分離手段
　２８　　奥行マップ復元手段
　３０　　奥行マップ復元手段
　５　　　立体映像符号化装置
　５０　　ビットストリーム多重化手段
　５０１　スイッチ（切替手段）
　５０２　補助情報ヘッダ付加手段
　５０３　奥行ヘッダ付加手段
　５０４　残差ヘッダ付加手段
　５１　　符号化処理部
　５１１　基準視点映像符号化手段
　５１２　奥行マップ合成手段
　５１３　奥行マップ符号化手段
　５１４　奥行マップ復元手段
　５１５　射影映像予測手段
　５１６　残差映像符号化手段
　６　　　立体映像復号化装置
　６０　　ビットストリーム分離手段
　６０１　基準視点映像ビットストリーム分離手段
　６０２　奥行マップビットストリーム分離手段
　６０３　残差映像ビットストリーム分離手段
　６０４　補助情報分離手段
　６１　　復号化処理部
　６１１　基準視点映像復号化手段
　６１２　奥行マップ復元手段
　６１３　奥行マップ射影手段
　６１４　残差映像復元手段
　６１５　射影映像合成手段
　７０１　開始コード
　７０２　１視点映像ヘッダ（第１識別情報）
　７０３　ビットストリーム本体
　７０４　立体映像ヘッダ（第２識別情報）
　７０５　奥行フラグ（第３識別情報）
　７０６　残差フラグ（第４識別情報）
　７０７　補助情報フラグ（第５識別情報）
　７０８　補助情報本体

Claims

　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化装置であって、
　前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化手段と、
　前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップとを用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを生成する中間視点奥行マップ合成手段と、
　前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化手段と、
　前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する奥行マップ復号化手段と、
　前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する射影映像予測手段と、
　前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化手段と、を備え、
　前記射影映像予測手段は、
　前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときにオクルージョンホールとなる画素を検出するオクルージョンホール検出手段と、
　前記オクルージョンホール検出手段が検出したオクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する残差映像切出手段と、を有することを特徴とする立体映像符号化装置。
　前記オクルージョンホール検出手段は、
　前記復号化中間視点奥行マップを前記副視点に射影して、前記副視点における奥行マップである副視点射影奥行マップを生成する副視点射影手段と、
　前記副視点射影奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出するホール画素検出手段と、を有することを特徴とする請求項１に記載の立体映像符号化装置。
　前記オクルージョンホール検出手段は、前記ホール画素検出手段によって検出された画素位置を示す穴マスクを、所定の画素数だけ膨張させる穴マスク膨張手段を有し、前記残差映像切出手段は、前記穴マスク膨張手段によって膨張させた穴マスクに含まれる画素を前記副視点映像から切出して前記残差映像を生成することを特徴とする請求項２に記載の立体映像符号化装置。
　前記オクルージョンホール検出手段は、
　前記復号化中間視点奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出する第２ホール画素検出手段と、
　前記第２ホール画素検出手段による検出結果を、前記副視点に射影する第２副視点射影手段と、
　前記ホール画素検出手段による検出結果及び前記第２副視点射影手段により射影された前記第２ホール画素検出手段による検出結果の論理和を前記オクルージョンホール検出手段の検出結果とする穴マスク合成手段と、を更に有することを特徴とする請求項２又は請求項３に記載の立体映像符号化装置。
　前記オクルージョンホール検出手段は、
　前記復号化中間視点奥行マップを任意の指定視点位置に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する指定視点射影手段と、
　前記指定視点奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出する第３ホール画素検出手段と、
　前記第３ホール画素検出手段による検出結果を、前記副視点に射影する第３副視点射影手段と、を更に有し、
　前記穴マスク合成手段は、前記ホール画素検出手段による検出結果、前記第２副視点射影手段により射影された前記第２ホール画素検出手段による検出結果及び前記第３副視点射影手段により射影された前記第３ホール画素検出手段による検出結果の論理和を前記オクルージョンホール検出手段の検出結果とすることを特徴とする請求項４に記載の立体映像符号化装置。
　前記多視点映像において、前記基準視点と複数の前記副視点とについての複数の前記中間視点奥行マップを縮小して結合し、１つのフレーム画像にフレーム化したフレーム化奥行マップを生成する奥行マップフレーム化手段と、
　前記フレーム化奥行マップから、フレーム化された複数の縮小された前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの複数の前記中間視点奥行マップを生成する奥行マップ分離手段と、
　前記多視点映像において、前記基準視点と複数の前記副視点とについての複数の前記残差映像を縮小して結合し、１つのフレーム画像にフレーム化したフレーム化残差映像を生成する残差映像フレーム化手段と、を更に備え、
　前記中間視点奥行マップ合成手段は、前記基準視点と、複数の前記副視点のそれぞれとの間の中間視点における複数の前記中間視点奥行マップを生成し、
　前記奥行マップフレーム化手段は、前記中間視点奥行マップ合成手段によって生成された複数の中間視点奥行マップを縮小して結合することで前記フレーム化奥行マップを生成し、
　前記奥行マップ符号化手段は、前記フレーム化奥行マップを符号化して、前記奥行マップビットストリームとして出力し、
　前記奥行マップ復号化手段は、前記奥行マップ符号化手段によって符号化されたフレーム化奥行マップを復号化して復号化フレーム化奥行マップを生成し、
　前記奥行マップ分離手段は、前記復号化フレーム化奥行マップから縮小された複数の前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの前記復号化中間視点奥行マップを生成し、
　前記射影映像予測手段は、前記奥行マップ分離手段によって生成された復号化中間視点奥行マップを用いて、それぞれの前記復号化中間視点奥行マップに対応する前記副視点における前記副視点映像から前記残差映像を生成し、
　前記残差映像フレーム化手段は、前記射影映像予測手段によって生成した複数の前記残差映像を縮小して結合することで前記フレーム化残差映像を生成し、
　前記残差映像符号化手段は、前記フレーム化残差映像を符号化して、前記残差映像ビットストリームとして出力することを特徴とする請求項１乃至請求項５の何れか一項に記載の立体映像符号化装置。
　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化装置であって、
　前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化手段と、
　前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化中間視点奥行マップを生成する奥行マップ復号化手段と、
　前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化手段と、
　前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影手段と、
　前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成手段と、を備え、
　前記射影映像合成手段は、
　前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする基準視点映像射影手段と、
　前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする残差映像射影手段と、を有することを特徴とする立体映像復号化装置。
　前記基準視点映像射影手段は、前記指定視点奥行マップにおいて、画素ごとに、オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素をオクルージョンホールとなる画素として検出するホール画素検出手段を有することを特徴とする請求項７に記載の立体映像復号化装置。
　前記基準視点映像射影手段は、前記ホール画素検出手段で検出した画素からなるオクルージョンホールを、所定の画素数だけ膨張させる穴マスク膨張手段を有し、
　前記残差映像射影手段は、前記穴マスク膨張手段によって膨張させたオクルージョンホールにおける画素について、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とすることを特徴とする請求項８に記載の立体映像復号化装置。
　前記残差映像射影手段は、前記指定視点映像において、前記残差映像に含まれなかった画素を検出し、当該含まれなかった画素の周囲の画素値で当該含まれなかった画素の画素値を補間する穴埋め処理手段を備えることを特徴とする請求項９に記載の立体映像復号化装置。
　前記基準視点と複数の前記副視点のそれぞれとの間の中間視点における複数の前記中間視点奥行マップを縮小して結合した１つのフレーム画像であるフレーム化奥行マップを、複数の前記中間視点ごとに分離して、前記基準視点映像と同じ大きさの中間視点奥行マップを生成する奥行マップ分離手段と、
　前記複数の副視点についての複数の前記残差映像を縮小して結合した１つのフレーム画像であるフレーム化残差映像を分離して、前記基準視点映像と同じ大きさの前記復号化残差映像を生成する残差映像分離手段と、を更に備え、
　前記奥行マップ復号化手段は、前記フレーム化奥行マップが符号化された前記奥行マップビットストリームを復号化して、復号化フレーム化奥行マップを生成し、
　前記残差映像復号化手段は、前記フレーム化残差映像が符号化された前記残差映像ビットストリームを復号化して、復号化フレーム化残差映像を生成し、
　前記奥行マップ分離手段は、前記復号化フレーム化奥行マップから、複数の縮小された前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの複数の前記復号化中間視点奥行マップを生成し、
　前記残差映像分離手段は、前記復号化フレーム化残差映像から、複数の縮小された前記残差映像を分離して、前記基準視点映像と同じ大きさの複数の前記復号化残差映像を生成し、
　前記奥行マップ射影手段は、複数の前記指定視点ごとに、それぞれ対応する前記復号化中間視点奥行マップを前記指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成し、
　前記射影映像合成手段は、複数の前記指定視点ごとに、それぞれ対応する前記指定視点奥行マップを用いて、それぞれ対応する前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成することを特徴とする請求項７乃至請求項１０の何れか一項に記載の立体映像復号化装置。
　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化方法であって、
　前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化処理ステップと、
　前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップとを用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを生成する中間視点奥行マップ合成処理ステップと、
　前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化処理ステップと、
　前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する奥行マップ復号化処理ステップと、
　前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する射影映像予測処理ステップと、
　前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化処理ステップと、を含み、
　前記射影映像予測処理ステップは、
　前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときにオクルージョンホールとなる画素を検出するオクルージョンホール検出処理ステップと、
　前記オクルージョンホール検出処理ステップで検出したオクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する残差映像切出処理ステップと、を含むことを特徴とする立体映像符号化方法。
　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化方法であって、
　前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化処理ステップと、
　前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化中間視点奥行マップを生成する奥行マップ復号化処理ステップと、
　前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化処理ステップと、
　前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影処理ステップと、
　前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成処理ステップと、を含み、
　前記射影映像合成処理ステップは、
　前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする基準視点映像射影処理ステップと、
　前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする残差映像射影処理ステップと、を含むことを特徴とする立体映像復号化方法。
　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化するために、コンピュータを、
　前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化手段、
　前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップと用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを生成する中間視点奥行マップ合成手段、
　前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化手段、
　前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する奥行マップ復号化手段、
　前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する射影映像予測手段、
　前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化手段、
　前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出するオクルージョンホール検出手段、
　前記オクルージョンホール検出手段が検出したオクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する残差映像切出手段、
　として機能させることを特徴とする立体映像符号化プログラム。
　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成するために、コンピュータを、
　前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化手段、
　前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化中間視点奥行マップを生成する奥行マップ復号化手段、
　前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化手段、
　前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影手段、
　前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成手段、
　前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする基準視点映像射影手段、
　前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする残差映像射影手段、
　として機能させることを特徴とする立体映像復号化プログラム。
　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化装置であって、
　前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化手段と、
　前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを所定の視点に射影して合成し、前記所定の視点における奥行マップである合成奥行マップを生成する奥行マップ合成手段と、
　前記合成奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化手段と、
　前記符号化された合成奥行マップを復号化して、復号化合成奥行マップを生成する奥行マップ復号化手段と、
　前記復号化合成奥行マップを用いて、前記基準視点映像から他の視点における映像を予測したときの予測残差である残差映像を生成する射影映像予測手段と、
　前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化手段と、
　を備えることを特徴とする立体映像符号化装置。
　前記奥行マップ合成手段は、前記基準視点奥行マップと複数の前記副視点奥行マップとを共通視点に射影して合成することで前記共通視点における１つの合成奥行マップを生成し、
　前記基準視点と複数の前記副視点とについての複数の前記残差映像を縮小して結合し、１つのフレーム画像にフレーム化したフレーム化残差映像を生成する残差映像フレーム化手段を更に備え、
　前記残差映像符号化手段は、前記フレーム化残差映像を符号化して、前記残差映像ビットストリームとして出力することを特徴とする請求項１６に記載の立体映像符号化装置。
　前記射影映像予測手段は、前記復号化合成奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成することを特徴とする請求項１６又は請求項１７に記載の立体映像符号化装置。
　前記射影映像予測手段は、前記復号化合成奥行マップを用いて、前記基準視点映像を前記副視点に射影した映像と、前記副視点映像との画素ごとの差を算出して残差映像を生成することを特徴とする請求項１６又は請求項１７に記載の立体映像符号化装置。
　前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームとは、それぞれ、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有しており、
　前記基準視点及び前記副視点の各位置を示す情報を含む補助情報と、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、を多重化して、多重化ビットストリームとして出力するビットストリーム多重化手段を更に備え、
　前記ビットストリーム多重化手段は、
　前記基準視点映像ビットストリームについてはそのまま出力し、
　前記奥行マップビットストリームについては、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で挿入して出力し、
　前記残差映像ビットストリームについては、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で挿入して出力し、
　前記補助情報については、前記開始コードと、前記第２識別情報と、前記補助情報であることを識別する第５識別情報とをこの順で含むヘッダを前記補助情報に付加して出力することを特徴とする請求項１６に記載の立体映像符号化装置。
　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化装置であって、
　前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化手段と、
　前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを合成して生成された所定の視点における奥行マップである合成奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する奥行マップ復号化手段と、
　前記基準視点映像から前記基準視点から離れた他の視点における映像を前記復号化合成奥行マップを用いて予測したときの予測残差である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化手段と、
　前記復号化合成奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影手段と、
　前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成手段と、
　を備えることを特徴とする立体映像復号化装置。
　前記合成奥行マップは、前記基準視点奥行マップと複数の前記副視点奥行マップとを共通視点に射影して合成された前記共通視点における１つの奥行マップであり、
　前記複数の副視点についての複数の前記残差映像を縮小して結合した１つのフレーム画像であるフレーム化残差映像を分離して、前記基準視点映像と同じ大きさの前記復号化残差映像を生成する残差映像分離手段を更に備え、
　前記残差映像復号化手段は、前記フレーム化残差映像が符号化された前記残差映像ビットストリームを復号化して、復号化フレーム化残差映像を生成し、
　前記残差映像分離手段は、前記復号化フレーム化残差映像から、複数の縮小された前記残差映像を分離して、前記基準視点映像と同じ大きさの複数の前記復号化残差映像を生成し、
　前記射影映像合成手段は、前記指定視点奥行マップを用いて、前記復号化基準視点映像と、複数の前記復号化残差映像の何れか１つとを前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成することを特徴とする請求項２１に記載の立体映像復号化装置。
　前記残差映像ビットストリームは、前記基準視点映像を前記基準視点から離れた他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出すことで生成した残差映像が符号化されており、
　前記射影映像合成手段は、
　前記復号化基準視点映像を前記指定視点に射影したときに、前記指定視点奥行マップを用いて、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする基準視点映像射影手段と、
　前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする残差映像射影手段と、を有することを特徴とする請求項２１又は請求項２２に記載の立体映像復号化装置。
　前記残差映像ビットストリームは、前記復号化合成奥行マップを用いて前記基準視点映像を前記副視点に射影した映像と、前記副視点映像との画素ごとの差を算出することで生成した残差映像が符号化されており、
　前記射影映像合成手段は、
　前記指定視点奥行マップを用いて前記復号化基準視点映像を前記指定視点に射影した映像に、前記指定視点奥行マップを用いて前記復号化残差映像を前記指定視点に射影した映像を、画素ごとに加算して前記指定視点映像を生成する残差加算手段を有することを特徴とする請求項２１又は請求項２２に記載の立体映像復号化装置。
　前記基準視点映像ビットストリームは、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有し、
　前記奥行マップビットストリームは、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で含むヘッダを有し、
　前記残差映像ビットストリームは、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で含むヘッダを有し、
　前記補助情報ビットストリームは、前記開始コードと、前記第２識別情報と、前記補助情報ビットストリームであることを識別する第５識別情報とをこの順で含むヘッダを有し、
　前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報を含むビットストリームと、が多重化された多重化ビットストリームを、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記補助情報と、に分離するビットストリーム分離手段を更に備え、
　前記ビットストリーム分離手段は、
　前記多重化ビットストリームから前記開始コードの直後に前記第１識別情報を有するビットストリームを前記基準視点映像ビットストリームとして分離し、分離した基準視点映像ビットストリームを前記基準視点映像復号化手段に出力する基準視点映像ビットストリーム分離手段と、
　前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第３識別情報とをこの順で有するビットストリームを前記奥行マップビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第３識別情報を除去したビットストリームを前記奥行マップ復号化手段に出力する奥行マップビットストリーム分離手段と、
　前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第４識別情報とをこの順で有するビットストリームを前記残差映像ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第４識別情報を除去したビットストリームを前記残差映像復号化手段に出力する残差映像ビットストリーム分離手段と、
　前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第５識別情報とをこの順で有するビットストリームを前記補助情報ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第５識別情報を除去したビットストリームを補助情報として前記射影映像合成手段に出力する補助情報分離手段と、
　を有することを特徴とする請求項２１に記載の立体映像復号化装置。
　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化方法であって、
　前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化処理ステップと、
　前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを所定の視点に射影して合成し、前記所定の視点における奥行マップである合成奥行マップを生成する奥行マップ合成処理ステップと、
　前記合成奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化処理ステップと、
　前記符号化された合成奥行マップを復号化して、復号化合成奥行マップを生成する奥行マップ復号化処理ステップと、
　前記復号化合成奥行マップを用いて、前記基準視点映像から他の視点における映像を予測したときの予測残差である残差映像を生成する射影映像予測処理ステップと、
　前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化処理ステップと、
　を含むことを特徴とする立体映像符号化方法。
　前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームとは、それぞれ、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有しており、
　前記基準視点及び前記副視点の各位置を示す情報を含む補助情報と、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、を多重化して、多重化ビットストリームとして出力するビットストリーム多重化処理ステップを更に含み、
　前記ビットストリーム多重化処理ステップは、
　前記基準視点映像ビットストリームについてはそのまま出力し、
　前記奥行マップビットストリームについては、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で挿入して出力し、
　前記残差映像ビットストリームについては、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で挿入して出力し、
　前記補助情報については、前記開始コードと、前記第２識別情報と、前記補助情報であることを識別する第５識別情報とをこの順で含むヘッダを前記補助情報に付加して出力することを特徴とする請求項２６に記載の立体映像符号化方法。
　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化方法であって、
　前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化処理ステップと、
　前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを合成して生成された所定の視点における奥行マップである合成奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する奥行マップ復号化処理ステップと、
　前記基準視点映像から前記基準視点から離れた他の視点における映像を前記復号化合成奥行マップを用いて予測したときの予測残差である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化処理ステップと、
　前記復号化合成奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影処理ステップと、
　前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成処理ステップと、
　を含むことを特徴とする立体映像復号化方法。
　前記基準視点映像ビットストリームは、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有し、
　前記奥行マップビットストリームは、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で含むヘッダを有し、
　前記残差映像ビットストリームは、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で含むヘッダを有し、
　前記補助情報ビットストリームは、前記開始コードと、前記第２識別情報と、前記補助情報ビットストリームであることを識別する第５識別情報とをこの順で含むヘッダを有し、
　前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報を含むビットストリームと、が多重化された多重化ビットストリームを、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記補助情報と、に分離するビットストリーム分離処理ステップを更に含み、
　前記ビットストリーム分離ステップは、
　前記多重化ビットストリームから前記開始コードの直後に前記第１識別情報を有するビットストリームを前記基準視点映像ビットストリームとして分離し、分離した基準視点映像ビットストリームを前記基準視点映像復号化処理ステップで用い、
　前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第３識別情報とをこの順で有するビットストリームを前記奥行マップビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第３識別情報を除去したビットストリームを前記奥行マップ復号化処理ステップで用い、
　前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第４識別情報とをこの順で有するビットストリームを前記残差映像ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第４識別情報を除去したビットストリームを前記残差映像復号化処理ステップで用い、
　前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第５識別情報とをこの順で有するビットストリームを前記補助情報ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第５識別情報を除去したビットストリームを補助情報として前記射影映像合成処理ステップで用いることを特徴とする請求項２８に記載の立体映像復号化方法。
　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化するために、コンピュータを、
　前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化手段、
　前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを所定の視点に射影して合成し、前記所定の視点における奥行マップである合成奥行マップを生成する奥行マップ合成手段、
　前記合成奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化手段、
　前記符号化された合成奥行マップを復号化して、復号化合成奥行マップを生成する奥行マップ復号化手段、
　前記復号化合成奥行マップを用いて、前記基準視点映像から他の視点における映像を予測したときの予測残差である残差映像を生成する射影映像予測手段、
　前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化手段、
　として機能させる立体映像符号化プログラム。
　前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームとは、それぞれ、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有しており、
　前記基準視点及び前記副視点の各位置を示す情報を含む補助情報と、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、を多重化して、多重化ビットストリームとして出力するビットストリーム多重化手段として更に機能させ、
　前記ビットストリーム多重化手段は、
　前記基準視点映像ビットストリームについてはそのまま出力し、
　前記奥行マップビットストリームについては、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で挿入して出力し、
　前記残差映像ビットストリームについては、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で挿入して出力し、
　前記補助情報については、前記開始コードと、前記第２識別情報と、前記補助情報であることを識別する第５識別情報とをこの順で含むヘッダを前記補助情報に付加して出力することを特徴とする請求項３０に記載の立体映像符号化プログラム。
　多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成するために、コンピュータを、
　前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化手段、
　前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを合成して生成された所定の視点における奥行マップである合成奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する奥行マップ復号化手段、
　前記基準視点映像から前記基準視点から離れた他の視点における映像を前記復号化合成奥行マップを用いて予測したときの予測残差である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化手段、
　前記復号化合成奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影手段、
　前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成手段、
　として機能させる立体映像復号化プログラム。
　前記基準視点映像ビットストリームは、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有し、
　前記奥行マップビットストリームは、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で含むヘッダを有し、
　前記残差映像ビットストリームは、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で含むヘッダを有し、
　前記補助情報ビットストリームは、前記開始コードと、前記第２識別情報と、前記補助情報ビットストリームであることを識別する第５識別情報とをこの順で含むヘッダを有し、
　前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報を含むビットストリームと、が多重化された多重化ビットストリームを、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記補助情報と、に分離するビットストリーム分離手段として更に機能させ、
　前記ビットストリーム分離手段は、
　前記多重化ビットストリームから前記開始コードの直後に前記第１識別情報を有するビットストリームを前記基準視点映像ビットストリームとして分離し、分離した基準視点映像ビットストリームを前記基準視点映像復号化手段に出力し、
　前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第３識別情報とをこの順で有するビットストリームを前記奥行マップビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第３識別情報を除去したビットストリームを前記奥行マップ復号化手段に出力し、
　前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第４識別情報とをこの順で有するビットストリームを前記残差映像ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第４識別情報を除去したビットストリームを前記残差映像復号化手段に出力し、
　前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第５識別情報とをこの順で有するビットストリームを前記補助情報ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第５識別情報を除去したビットストリームを補助情報として前記射影映像合成手段に出力することを特徴とする請求項３２に記載の立体映像復号化プログラム。