WO2014106915A1

WO2014106915A1 - 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム

Info

Publication number: WO2014106915A1
Application number: PCT/JP2013/078095
Authority: WO
Inventors: 妹尾　孝憲; 保之市橋; 久幸佐々木; 健詞山本
Original assignee: 独立行政法人情報通信研究機構
Priority date: 2013-01-07
Filing date: 2013-10-16
Publication date: 2014-07-10
Also published as: EP2942953A4; JP2014132721A; CN104904205A; US20150341614A1; JP6150277B2; KR20150105321A; CN104904205B; EP2942953A1

Abstract

　立体映像符号化装置（１）は、基準視点映像（Ｃ）、左視点映像（Ｌ）及び右視点映像（Ｒ）からなる多視点映像と、多視点映像に付随する奥行値のマップである基準視点奥行マップ（Ｃｄ）、左視点奥行マップ（Ｌｄ）及び右視点奥行マップ（Ｒｄ）と、を入力する。立体映像符号化装置（１）は、奥行型（Ｈｄ）で指定された合成方法で、映像合成手段（１１）により複数の映像を、奥行マップ合成手段（１３）により複数の奥行マップをそれぞれ合成し、合成映像（Ｇ）、合成奥行マップ（Ｇｄ）及び奥行型（Ｈｄ）を含むパラメータを、それぞれ映像符号化手段（１２）、奥行マップ符号化手段（１４）及びパラメータ符号化手段（１５）により個別の単位で符号化し、多重化手段（１６）により符号化ビット列に多重化して伝送する。

Description

立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム

　本発明は、立体映像を符号化する立体映像符号化装置、立体映像符号化方法及び立体映像符号化プログラム、並びに、符号化された立体映像を復号化する立体映像復号化装置、立体映像復号化方法及び立体映像復号化プログラムに関する。

　近年、２眼式立体テレビや２眼式立体映画が普及しつつあるが、一部の立体視要因を実現するのみであり、運動視差がないため不自然であったり、眼鏡をかけることに起因する眼性疲労等があったりする。このため、より自然な裸眼立体映像の実用化が望まれている。

　裸眼立体映像は多視点映像で実現されるが、多数の視点映像を伝送・蓄積する必要があり、データ量が多く、実用化が困難であった。そこで、多視点映像に、その視点映像について、被写体の奥行情報として、他の視点映像との間の各画素における視差（同じ被写体点の映像内での画素位置のずれ量）のマップである奥行マップを付加することで視点数を間引いて伝送・蓄積し、得られた少数の視点映像を奥行マップで射影することにより、間引かれた視点映像を補間して、多視点映像を復元する方法が知られている。

　このような、少数の視点映像と奥行マップとを用いて多視点映像を復元する方法が、例えば、特許文献１に開示されている。特許文献１には、多視点映像（画像信号）とその奥行マップ（デプス信号）とを符号化・復号化する方法が記載されている。図２４を参照して、特許文献１に記載の画像符号化装置について説明する。図２４に示したように、特許文献１に記載の画像符号化装置は、符号化管理部１０１、画像信号符号化部１０７、デプス信号符号化部１０８、ユニット化部１０９及びパラメータ情報符号化部１１０を備えて構成されている。この画像符号化装置では、各視点映像（画像信号）は、画像信号符号化部１０７で視点映像間の予測符号化を行い、１つ以上の視点の奥行マップ（デプス信号）は、デプス信号符号化部１０８で同様に視点間予測符号化される。符号化されたこれらの信号は、ユニット化部１０９で符号化ビット列に構成され、蓄積・伝送される。

特開２０１０－１５７８２１号公報

　特許文献１に記載された方法では、すべての符号化された視点映像は、元の映像と同じサイズを有するものである。しかしながら、現在実用化されつつある多視点立体ディスプレイは、その製造コストを抑えるために、従来普及しているディスプレイと同じ画素数のディスプレイを用い、各視点映像は、（視点数）分の１に画素数を間引いて表示しているので、符号化・伝送された画素データの大半を捨てることとなり、符号化効率が低いものである。また、特許文献１には、伝送される視点映像に付随した奥行マップを使って、間引かれた視点映像を合成する方法が記載されているが、視点数と同数の奥行マップを符号化・伝送する必要があり、符号化効率が低いという問題があった。

　また、特許文献１に記載された方法では、多視点映像と奥行マップとは、それぞれ個別に視点間予測符号化される。しかしながら、従来の視点間予測符号化方法は、視点映像間で、対応する画素位置を探索して、その画素位置のずれ量を視差ベクトルとして抽出し、抽出した視差ベクトルを用いて視点間予測符号化・復号化するものである。このため、視差ベクトルの探索に時間が掛かるとともに、予測精度が悪く、符号化・復号化速度が遅いという問題があった。

　そこで、複数の映像及び複数の奥行マップについて、それぞれ合成してデータ量を低減した後に符号化して伝送する方法が考えられる。しかし、一般的には、合成によってデータ量を低減できるが、合成による画質劣化が生じることとなる。このため、合成せず複数の映像及び複数の奥行マップを符号化する場合を含めて、種々の合成方法を用途に応じて選択可能とすることが考えられる。

　一方、多視点映像の符号化方式については、例えば、国際標準化機構（ＩＳＯ：International Organization for Standardization）傘下の動画像符号化専門家グループ（ＭＰＥＧ：Moving Picture Expert Group）が、ＭＶＣ（Multiview Video Coding）を、携帯電話向けＴＶ放送や高密度光ディスク等に使われているＭＰＥＧ－４　Ｖｉｄｅｏ　Ｐａｒｔ１０　ＡＶＣ（Advanced Video Coding）符号化標準（ISO/IEC 14496-10/ITU-T H.264：以下、適宜に「ＭＰＥＧ－４　ＡＶＣ符号化規格」と略す）のＡｎｎｅｘ　Ｈ（Multiview video coding）として標準化している。更にまた、映像の奥行情報を利用して、符号化効率の更なる改善を目指す３ＤＶ／ＦＴＶ（3-Dimensional Video / Free-viewpoint TV）符号化標準の策定が進められている。

　ここで、多視点映像及び奥行マップについて、複数の合成方法を選択可能とする仕様を従来の規格に組込む際には、旧システムと並存でき、かつ旧システムで誤動作を起こさないようにする必要がある。このために、符号化ビット列の信号体系を極力変更せずに、データの一部が旧システムで利用できる前方互換性を保つことが好ましい。更に、旧システムと共通のリソース（符号化ツール）を使用できることが好ましい。

　本発明は、このような問題に鑑みてなされたものであり、旧システムとの互換性を保ちつつ、立体映像を効率よく符号化して伝送する立体映像符号化装置、立体映像符号化方法及び立体映像符号化プログラム、並びに、その符号化された立体映像を復号化する立体映像復号化装置、立体映像復号化方法及び立体映像復号化プログラムを提供することを課題とする。

　前記した課題を解決するために、請求項１に記載の立体映像符号化装置は、複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか１つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成した合成奥行マップと、を符号化し、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して、一連の符号化ビット列を生成する立体映像符号化装置であって、映像合成手段と、映像符号化手段と、奥行マップ合成手段と、奥行マップ符号化手段と、パラメータ符号化手段と、多重化手段と、を備える構成とした。

　かかる構成によれば、立体映像符号化装置は、映像合成手段によって、前記多視点映像を、前記複数種類の所定の映像合成方式の内の何れか１つの方式によって合成することで、符号化の対象である前記合成映像を生成する。また、立体映像符号化装置は、映像符号化手段によって、前記合成映像を符号化し、符号化された合成映像であることを識別する第１識別情報を付加した符号化合成映像を生成する。また、立体映像符号化装置は、奥行マップ合成手段によって、前記多視点映像に付随する複数の奥行マップを、前記複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成することで、符号化の対象である前記合成奥行マップを生成する。また、立体映像符号化装置は、奥行マップ符号化手段によって、前記合成奥行マップを符号化し、符号化された合成奥行マップであることを識別する第２識別情報を付加して符号化合成奥行マップを生成する。また、立体映像符号化装置は、パラメータ符号化手段によって、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第３識別情報を、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化し、符号化された前記補助情報であることを識別する第４識別情報を付加して符号化パラメータを生成する。そして、立体映像符号化装置は、多重化手段によって、前記符号化合成奥行マップと、前記符号化合成映像と、前記符号化パラメータとを多重化して前記一連の符号化ビット列を生成する。
　これによって、立体映像符号化装置は、複数の映像を合成した合成映像と、複数の奥行マップを合成した合成奥行マップと、映像及び奥行マップを合成した合成方式を示す第３識別情報とを、それぞれ別個の単位情報として符号化して伝送する。

　請求項２に記載の立体映像符号化装置は、請求項１に記載の立体映像符号化装置において、前記映像符号化手段は、前記複数の視点の内から基準視点として定めた映像である基準視点映像と、前記基準視点以外の視点における映像である非基準視点映像とについて、それぞれ異なる前記所定単位として符号化し、前記第１識別情報として、前記基準視点映像についての所定単位と、前記非基準視点映像についての所定単位とで、互いに異なる固有値を付加するように構成した。

　かかる構成によれば、立体映像符号化装置は、基準視点映像と非基準視点映像とを、互いに識別可能な単位情報として符号化する。
　これによって、符号化ビット列を受信した立体映像復号化装置側では、第１識別情報を確認して、基準視点映像が含まれるか非基準視点映像が含まれるかを識別することができる。

　請求項３に記載の立体映像符号化装置は、請求項１又は請求項２に記載の立体映像符号化装置において、前記パラメータ符号化手段は、前記合成奥行マップ及び前記合成映像を符号化した際に用いた符号化ツールの組を識別する第５識別情報を、前記補助情報の更なるパラメータとして符号化するように構成した。

　かかる構成によれば、立体映像符号化装置は、前記パラメータ符号化手段によって、符号化ツールの組を識別する第５識別情報を補助情報として、合成映像及び合成奥行マップとは別個の単位情報として符号化する。
　これによって、符号化ビット列を受信した立体映像復号化装置側では、補助情報中の第５識別情報を確認して、符号化合成映像及び符号化合成奥行マップが復号化可能かどうかを識別することができる。

　請求項４に記載の立体映像符号化装置は、請求項１又は請求項２に記載の立体映像符号化装置において、前記第３識別情報は、前記所定単位に１種類の情報及びこの情報に付随する情報のみが含まれる第１型の補助情報として符号化され、前記第４識別情報として、前記第１型の補助情報であることを識別する第６識別情報と、前記第３識別情報が含まれることを識別する第７識別情報と、を付加して符号化されるように構成した。

　かかる構成によれば、立体映像符号化装置は、映像及び奥行マップの合成方式を示す第３識別情報を、他のパラメータとは別個の単位情報として符号化して伝送する。
　これによって、符号化ビット列を受信した立体映像復号化装置側では、第６識別情報と第７識別情報とを有する単位情報を検出して、当該単位情報から第３識別情報を抽出する。

　請求項５に記載の立体映像符号化装置は、請求項３に記載の立体映像符号化装置において、前記第３識別情報は、前記所定単位に１種類の情報及びこの情報に付随する情報のみが含まれる第１型の補助情報として符号化され、前記第４識別情報として、前記第１型の補助情報であることを識別する第６識別情報と、前記第３識別情報が含まれることを識別する第７識別情報と、を付加して符号化され、前記第５識別情報は、前記所定単位に所定の複数種類の情報が含まれる第２型の補助情報に含めて符号化され、前記第２型の補助情報であることを識別する第８識別情報を付加して符号化されるように構成した。

　かかる構成によれば、立体映像符号化装置は、映像及び奥行マップの合成方式を識別する第３識別情報を、他のパラメータとは別個の単位情報として符号化するとともに、映像及び奥行マップの符号化ツールの組を示す第５識別情報を、複数のパラメータとともに単位情報として符号化して伝送する。
　これによって、符号化ビット列を受信した立体映像復号化装置側では、第６識別情報と第７識別情報とを有する単位情報を検出して、当該単位情報から第３識別情報を抽出するとともに、第８識別情報を有する単位情報を検出して、当該単位情報から第５識別情報を抽出する。

　請求項６に記載の立体映像復号化装置は、複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか１つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成した合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する情報を含む補助情報と、が符号化され、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して多重化された符号化ビット列を復号化して得られる復号化合成映像、復号化合成奥行マップ、及び前記補助情報を用いて、多視点映像を合成する立体映像復号化装置であって、前記符号化ビット列は、前記所定単位毎に、符号化された前記合成映像に、前記符号化された合成映像であることを識別する第１識別情報が付加された符号化合成映像と、符号化された前記合成奥行マップに、前記符号化された合成奥行マップであることを識別する第２識別情報が付加された符号化合成奥行マップと、前記合成映像の合成に用いた合成方式及び前記合成奥行マップの合成に用いた合成方式を識別する第３識別情報が、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化され、符号化された前記補助情報であることを識別する第４識別情報が付加された符号化パラメータと、が多重化されており、分離手段と、パラメータ復号化手段と、映像復号化手段と、奥行マップ復号化手段と、多視点映像合成手段と、を備える構成とした。

　かかる構成によれば、立体映像復号化装置は、分離手段によって、前記所定単位毎に、前記第１識別情報を有する単位を前記符号化合成映像として、前記第２識別情報を有する単位を前記符号化合成奥行マップとして、前記第４識別情報を有する単位を前記符号化パラメータとして、それぞれ分離する。また、立体映像復号化装置は、パラメータ復号化手段によって、前記符号化パラメータから、前記第３識別情報を復号化する。また、立体映像復号化装置は、映像復号化手段によって、前記符号化合成映像を復号化して、前記復号化合成映像を生成する。また、立体映像復号化装置は、奥行マップ復号化手段によって、前記符号化合成奥行マップを復号化して、前記復号化合成奥行マップを生成する。そして、立体映像復号化装置は、多視点映像合成手段によって、前記パラメータ復号化手段が生成した前記第３識別情報に従って、前記復号化合成映像及び前記復号化合成奥行マップを用いて、複数の視点における映像を合成する。
　これによって、立体映像復号化装置は、符号化合成映像及び符号化合成奥行マップとは別個の単位情報を復号化して、映像及び奥行マップの合成方式を示す第３識別情報を抽出することができる。

　請求項７に記載の立体映像復号化装置は、請求項６に記載の立体映像復号化装置において、前記符号化映像は、前記複数の視点の内から基準視点として定めた映像である基準視点映像と、前記基準視点以外の視点における映像である非基準視点映像とについて、それぞれ異なる前記所定単位として符号化され、前記第１識別情報として、前記基準視点映像についての所定単位と、前記非基準視点映像についての所定単位とで、互いに異なる固有値が付加されているように構成した。

　かかる構成によれば、立体映像復号化装置は、符号化された単位情報に、基準視点映像が含まれるか、非基準視点映像が含まれるかを、第１識別情報を確認することで識別することができる。

　請求項８に記載の立体映像復号化装置は、請求項６又は請求項７に記載の立体映像復号化装置において、前記符号化パラメータは、前記合成奥行マップ及び前記合成映像を符号化した際に用いた符号化ツールの組を識別する第５識別情報が、前記補助情報の更なるパラメータとして符号化されており、前記パラメータ復号化手段は、前記符号化パラメータから、更に前記第５識別情報を復号化し、前記映像復号化手段は、前記パラメータ復号化手段が復号化した前記第５識別情報が、前記合成映像が復号化可能な符号化ツールの組によって符号化されたことを示す場合は、前記符号化合成映像を復号化し、前記第５識別情報が、前記合成映像が復号化可能な符号化ツールの組によって符号化されたことを示さない場合は、前記符号化合成映像を復号化しないように構成した。

　かかる構成によれば、立体映像復号化装置は、合成映像及び合成奥行マップとは別個の単位情報として符号化された補助情報中の第５識別情報を確認して、符号化合成映像及び符号化合成奥行マップが復号化可能かどうかを識別する。
　これによって、符号化合成映像及び符号化合成奥行マップの復号化に先立って、これらの情報が復号化可能かどうかを識別することができる。

　請求項９に記載の立体映像復号化装置は、請求項６又は請求項７に記載の立体映像復号化装置において、前記第３識別情報は、前記所定単位に１種類の情報及びこの情報に付随する情報のみが含まれる第１型の補助情報として符号化され、前記第４識別情報として、前記第１型の補助情報であることを識別する第６識別情報と、前記第３識別情報が含まれることを識別する第７識別情報と、が付加されて符号化されており、前記分離手段は、前記所定単位が前記第６識別情報を有する場合に、当該所定単位を前記符号化パラメータとして分離し、前記パラメータ復号化手段は、前記第６識別情報を有する符号化パラメータが、前記第７識別情報を有する場合に、当該符号化パラメータから前記第３識別情報を復号化するように構成した。

　かかる構成によれば、立体映像復号化装置は、第６識別情報と第７識別情報とを有する単位情報を検出して、当該単位情報から第３識別情報を抽出する。
　これによって、立体映像復号化装置は、映像及び奥行マップの合成方式を示す第３識別情報を、当該第３識別情報が個別に符号化された単位情報から迅速に抽出することができる。

　請求項１０に記載の立体映像復号化装置は、請求項８に記載の立体映像復号化装置において、前記第３識別情報は、前記所定単位に１種類の情報及びこの情報に付随する情報のみが含まれる第１型の補助情報として符号化され、前記第４識別情報として、前記第１型の補助情報であることを識別する第６識別情報と、前記第３識別情報が含まれることを識別する第７識別情報と、が付加されて符号化され、前記第５識別情報は、前記所定単位に所定の複数種類の情報が含まれる第２型の補助情報として符号化され、かつ、前記第２型の補助情報であることを識別する第８識別情報が付加されて符号化されており、前記分離手段は、前記所定単位が前記第６識別情報又は前記第８識別情報を有する場合に、当該所定単位を前記符号化パラメータとして分離し、前記パラメータ復号化手段は、前記第６識別情報を有する符号化パラメータが、前記第７識別情報を有する場合に、当該符号化パラメータから前記第３識別情報を復号化し、前記第８識別情報を有する符号化パラメータから前記第５識別情報を復号化するように構成した。

　かかる構成によれば、立体映像復号化装置は、第６識別情報と第７識別情報とを有する単位情報を検出して、当該単位情報から第３識別情報を抽出するとともに、第８識別情報を有する単位情報を検出して、当該単位情報から第５識別情報を抽出する。
　これによって、立体映像復号化装置は、映像及び奥行マップの合成方式を示す第３識別情報を、当該第３識別情報が個別に符号化された単位情報から迅速に抽出することができるとともに、符号化合成映像及び符号化合成奥行マップが復号化可能かどうかを識別することができる。

　請求項１１に記載の立体映像符号化方法は、複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか１つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成した合成奥行マップと、を符号化し、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して、一連の符号化ビット列を生成する立体映像符号化方法であって、映像合成処理ステップと、映像符号化処理ステップと、奥行マップ合成処理ステップと、奥行マップ符号化処理ステップと、パラメータ符号化処理ステップと、多重化処理ステップと、を含む手順とした。

　かかる手順の立体映像符号化方法によれば、映像合成処理ステップにおいて、前記多視点映像を、前記複数種類の所定の映像合成方式の内の何れか１つの方式によって合成することで、符号化の対象である前記合成映像を生成する。また、映像符号化処理ステップにおいて、前記合成映像を符号化し、符号化された合成映像であることを識別する第１識別情報を付加した符号化合成映像を生成する。また、奥行マップ合成処理ステップにおいて、前記多視点映像に付随する複数の奥行マップを、前記複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成することで、符号化の対象である前記合成奥行マップを生成する。また、奥行マップ符号化処理ステップにおいて、前記合成奥行マップを符号化し、符号化された合成奥行マップであることを識別する第２識別情報を付加して符号化合成奥行マップを生成する。また、パラメータ符号化処理ステップにおいて、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第３識別情報を、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化し、符号化された前記補助情報であることを識別する第４識別情報を付加して符号化パラメータを生成する。そして、多重化処理ステップにおいて、前記符号化合成奥行マップと、前記符号化合成映像と、前記符号化パラメータとを多重化して前記一連の符号化ビット列を生成する。
　これによって、複数の映像を合成した合成映像と、複数の奥行マップを合成した合成奥行マップと、映像及び奥行マップを合成した合成方式を示す第３識別情報とを、それぞれ別個の単位の情報として符号化して伝送する。

　請求項１２に記載の立体映像復号化方法は、複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか１つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成した合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する情報を含む補助情報と、が符号化され、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して多重化された符号化ビット列を復号化して得られる復号化合成映像、復号化合成奥行マップ、及び前記補助情報を用いて、多視点映像を合成する立体映像復号化方法であって、前記符号化ビット列は、前記所定単位毎に、符号化された前記合成映像に、前記符号化された合成映像であることを識別する第１識別情報が付加された符号化合成映像と、符号化された前記合成奥行マップに、前記符号化された合成奥行マップであることを識別する第２識別情報が付加された符号化合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第３識別情報が、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化され、符号化された前記補助情報であることを識別する第４識別情報が付加された符号化パラメータと、が多重化されており、分離処理ステップと、パラメータ復号化処理ステップと、映像復号化処理ステップと、奥行マップ復号化処理ステップと、多視点映像合成処理ステップと、を含む手順とした。

　かかる手順の立体映像復号化方法によれば、分離処理ステップにおいて、前記所定単位毎に、前記第１識別情報を有する単位を前記符号化合成映像として、前記第２識別情報を有する単位を前記符号化合成奥行マップとして、前記第４識別情報を有する単位を前記符号化パラメータとして、それぞれ分離する。また、パラメータ復号化処理ステップにおいて、前記符号化パラメータから、前記第３識別情報を復号化する。また、映像復号化処理ステップにおいて、前記符号化合成映像を復号化して、前記復号化合成映像を生成する。また、奥行マップ復号化処理ステップにおいて、前記符号化合成奥行マップを復号化して、前記復号化合成奥行マップを生成する。そして、多視点映像合成処理ステップにおいて、前記パラメータ復号化手段が生成した前記第３識別情報に従って、前記復号化合成映像及び前記復号化合成奥行マップを用いて、複数の視点における映像を合成する。
　これによって、合成映像及び合成奥行マップとは別個に符号化された単位情報を復号化して、合成映像及び合成奥行マップの合成方式を示す第３識別情報を抽出することができる。

　また、請求項１に記載の立体映像符号化装置は、一般的なコンピュータが備えるＣＰＵ（中央演算装置）、メモリなどのハードウェア資源を、映像合成手段、映像符号化手段、奥行マップ合成手段、奥行マップ符号化手段、パラメータ符号化手段、多重化手段、として機能させるための請求項１３に記載の立体映像符号化プログラムによって実現することもできる。

　また、請求項６に記載の立体映像復号化装置は、一般的なコンピュータが備えるＣＰＵ、メモリなどのハードウェア資源を、分離手段、パラメータ復号化手段、映像復号化手段、奥行マップ復号化手段、多視点映像合成手段、として機能させるための請求項１４に記載の立体映像復号化プログラムによって実現することもできる。

　請求項１、請求項１１又は請求項１３に記載の発明によれば、合成映像及び合成奥行マップの合成方法を示す第３識別情報を、合成映像及び合成奥行マップとは別個の単位情報として符号化するため、合成映像及び合成奥行マップを、従来と同じ符号化方式で符号化することができる。
　請求項２に記載の発明によれば、かかる立体映像符号化装置から伝送された符号化ビット列を受信した立体映像復号化装置側では、第１識別情報を確認して、基準視点映像か非基準視点映像かを識別することができるため、多視点映像をサポートしない旧システムの立体映像復号化装置においては、非基準視点映像についての符号化情報を無視して、基準視点映像のみを利用することができる。
　請求項３に記載の発明によれば、かかる立体映像符号化装置から伝送された符号化ビット列を受信した立体映像復号化装置側では、補助情報中の第５識別情報を確認して、符号化合成映像及び符号化合成奥行マップが復号化可能かどうかを識別することができるため、復号化できない場合は、符号化合成映像及び符号化合成奥行マップを復号化しないことで、誤動作を防止することができる。
　請求項４に記載の発明によれば、かかる立体映像符号化装置から伝送された符号化ビット列を受信した立体映像復号化装置側では、第６識別情報と第７識別情報とを有する単位情報を検出して、当該単位情報から第３識別情報を迅速に抽出することができる。
　請求項５に記載の発明によれば、かかる立体映像符号化装置から伝送された符号化ビット列を受信した立体映像復号化装置側では、第６識別情報と第７識別情報とを有する単位情報を検出して、当該単位情報から第３識別情報を迅速に抽出することができるとともに、第８識別情報を有する単位情報を検出して、当該単位情報から第５識別情報を抽出することで、符号化合成映像及び符号化合成奥行マップが復号化可能かどうかを識別して、復号化できない場合は、符号化合成映像及び符号化合成奥行マップを復号化しないことで、誤動作を防止することができる。

　請求項６、請求項１２又は請求項１４に記載の発明によれば、合成映像及び合成奥行マップの合成方法を示す第３識別情報が、合成映像及び合成奥行マップとは別個の単位情報として符号化されるため、合成映像及び合成奥行マップを、従来と同じ符号化方式で復号化することができる。
　請求項７に記載の発明によれば、第１識別情報を確認して、基準視点映像か非基準視点映像かを識別することができるため、多視点映像をサポートしない旧システムの立体映像復号化装置においては、非基準視点映像についての符号化情報を無視して、基準視点映像のみを利用することができる。
　請求項８に記載の発明によれば、立体映像復号化装置は、補助情報中の第５識別情報を確認して、符号化合成映像及び符号化合成奥行マップを復号化可能かどうかを識別することができるため、復号化できない場合は、符号化合成映像及び符号化合成奥行マップを復号化しないことで、誤動作を防止することができる。
　請求項９に記載の発明によれば、立体映像復号化装置は、第６識別情報と第７識別情報とを有する単位情報を検出して、当該単位情報から第３識別情報を迅速に抽出することができる。
　請求項１０に記載の発明によれば、立体映像復号化装置側では、第６識別情報と第７識別情報とを有する単位情報を検出して、当該単位情報から第３識別情報を迅速に抽出することができる。また、立体映像復号化装置側では、第８識別情報を有する単位情報を検出して、当該単位情報から第５識別情報を抽出し、符号化合成映像及び符号化合成奥行マップが復号化可能かどうかを識別して、復号化できない場合は、符号化合成映像及び符号化合成奥行マップを復号化しないことで、誤動作を防止することができる。

本発明の第１実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムの構成を示すブロック図である。本発明の第１実施形態に係る立体映像符号化装置の構成を示すブロック図である。本発明の第１実施形態に係る立体映像符号化装置における奥行マップ合成手段の構成を示すブロック図であり、（ａ）は方式Ａ、（ｂ）は方式Ｂ、（ｃ）は方式Ｃによるものを示す。本発明の第１実施形態に係る立体映像符号化装置における奥行マップ合成手段の構成を示すブロック図であり、（ａ）は方式Ｄ、（ｂ）は方式Ｅによるものを示す。本発明の第１実施形態に係る立体映像符号化装置において選択可能な奥行マップの合成方式の概要を説明するための説明図である。本発明の第１実施形態に係る立体映像符号化装置において、合成した奥行マップを縮小処理する様子を説明するための説明図であり、（ａ）は全体奥行マップ、（ｂ）は残差奥行マップ、（ｃ）はワープデータについて示す。本発明の第１実施形態に係る立体映像符号化装置において、奥行マップを合成する様子を説明するための説明図である。本発明の第１実施形態に係る立体映像符号化装置における映像合成手段の構成を示すブロック図であり、（ａ）は方式Ａ及び方式Ｂ、（ｂ）は方式Ｃ及び方式Ｄ、（ｃ）は方式Ｅによるものを示す。本発明の第１実施形態に係る立体映像符号化装置において選択可能な多視点映像の合成方式の概要を説明するための説明図である。本発明の第１実施形態に係る立体映像符号化装置において、合成した多視点映像を縮小処理する様子を説明するための説明図であり、（ａ）は１つの残差映像を縮小する場合、（ｂ）は２つの残差映像を縮小する場合を示す。本発明の第１実施形態に係る立体映像符号化装置において、残差映像を生成する様子を説明するための説明図である。本発明の第１実施形態に係る立体映像符号化装置において、穴マスクを生成する様子を説明するための説明図である。本発明の第１実施形態の変形例に係る立体映像符号化装置における多視点映像及び奥行マップの合成方式を説明するための説明図であり、（ａ）は奥行マップ、（ｂ）は多視点映像を示す。本発明の第１実施形態に係る立体映像符号化装置において、符号化された多視点映像及び奥行マップのデータ構造を示す図であり、（ａ）は符号化基準視点映像、（ｂ）は符号化残差映像、（ｃ）は符号化全体奥行マップ、（ｄ）は符号化残差奥行マップ、（ｅ）は符号化全体奥行マップ、（ｆ）は符号化残差奥行マップを示す。第１実施形態及び第２実施形態に係る立体映像符号化装置において、符号化されたパラメータのデータ構造を示す図であり、（ａ）は基準視点映像又は中央視点映像についての符号化管理情報、（ｂ）は非基準視点映像についての符号化管理情報、（ｃ）はカメラパラメータ、（ｄ）は第１実施形態における奥行型、（ｅ）は第２実施形態における奥行型を示す。第１実施形態に係る立体映像符号化装置において、奥行型の値と合成方式との対応関係を示す図である。本発明の第１実施形態に係る立体映像復号化装置の構成を示すブロック図である。本発明の第１実施形態に係る立体映像復号化装置において、指定視点映像を合成する様子を説明するための説明図である。本発明の第１実施形態に係る立体映像復号化装置における多視点映像合成手段の構成を示すブロック図であり、（ａ）は方式Ａ、（ｂ）は方式Ｂによるものを示す。本発明の第１実施形態に係る立体映像復号化装置における多視点映像合成手段の構成を示すブロック図であり、方式Ｃによるものを示す。本発明の第１実施形態に係る立体映像復号化装置における多視点映像合成手段の構成を示すブロック図であり、（ａ）は方式Ｄ、（ｂ）は方式Ｅによるものを示す。本発明の第１実施形態に係る立体映像符号化装置の処理の流れを示すフローチャートである。本発明の第１実施形態に係る立体映像符号化装置におけるパラメータ符号化手段の処理の流れを示すフローチャートである。本発明の第１実施形態に係る立体映像復号化装置の処理の流れを示すフローチャートである。本発明の第１実施形態に係る立体映像復号化装置におけるパラメータ復号化手段の処理の流れを示すフローチャートである。本発明の第２実施形態に係る立体映像復号化装置におけるパラメータ復号化手段の処理の流れを示すフローチャートである。従来の立体映像符号化装置の構成を示すブロック図である。

　以下、本発明の実施形態について図面を参照して説明する。
＜第１実施形態＞
［立体映像伝送システム］
　まず、図１を参照して、本発明の第１実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムＳについて説明する。

　立体映像伝送システムＳは、カメラなどで撮影された多視点映像を奥行マップとともに符号化して伝送し、伝送先において多視点映像を生成するものである。ここでは、立体映像伝送システムＳは、立体映像符号化装置１と、立体映像復号化装置２と、立体映像作成装置３と、立体映像表示装置４と、を備えている。

　立体映像符号化装置１は、立体映像作成装置３で作成した多視点映像を符号化して、符号化ビット列（ビットストリーム）として伝送路に出力し、立体映像復号化装置２に送信するものである。また、立体映像復号化装置２は、立体映像符号化装置１から送信される符号化ビット列を復号化し、多視点映像を生成して、立体映像表示装置４に出力するものである。

　また、立体映像作成装置３は、立体映像を撮影できるカメラやＣＧ（コンピュータグラフィックス）作成装置などであり、立体映像（多視点映像）と、それに付随する奥行マップとを生成し、立体映像符号化装置１に出力するものである。立体映像表示装置４は、立体映像復号化装置２によって生成された多視点映像を入力し、立体映像を表示するものである。

　本発明において、符号化ビット列は多重化されており、符号化された映像と、符号化された奥行マップと、立体映像復号化装置２でこれらの符号化情報を復号化したり映像を合成又は表示したりするために必要なパラメータが符号化された符号化パラメータと、が含まれる。
　また、本発明において、符号化ビット列は、所定単位毎に当該所定単位の情報種別を識別する識別情報が付加されて多重化され、立体映像符号化装置１から立体映像復号化装置２に一連の符号化ビット列として伝送される。

　なお、本実施形態においては、ＭＰＥＧ－４　ＡＶＣ符号化規格に準拠した方式で符号化ビット列が伝送される場合を例として説明する。従って、前記した所定単位は、ＭＰＥＧ－４　ＡＶＣ符号化規格におけるＮＡＬＵ（Network Abstraction Layer Unit：ネットワーク抽象化層ユニット）が相当し、ＮＡＬＵを単位として各種情報が伝送される。
　また、符号化方式は、ＭＰＥＧ－４　ＭＶＣ＋Ｄｅｐｔｈ符号化規格や３Ｄ－ＡＶＣ符号化規格に準拠するものであってもよい。

［立体映像符号化装置の構成］
　次に、図２を参照（適宜図１参照）して、第１実施形態に係る立体映像符号化装置１の構成について説明する。
　図２に示すように、第１実施形態に係る立体映像符号化装置１（以下、適宜に「符号化装置１」という）は、映像合成手段１１と、映像符号化手段１２と、奥行マップ合成手段１３と、奥行マップ符号化手段１４と、パラメータ符号化手段１５と、多重化手段１６と、を備えて構成されている。

　符号化装置１は、立体映像として、基準となる視点（基準視点）からみた映像である基準視点映像Ｃ、基準視点から水平に左方向に離れた視点である左視点（非基準視点）からみた映像である左視点映像Ｌ、及び基準視点から水平に右方向に離れた視点である右視点（非基準視点）からみた映像である右視点映像Ｒと、これらの映像のそれぞれに対応する基準視点奥行マップＣｄ、左視点奥行マップＬｄ、及び右視点奥行マップＲｄと、符号化管理情報Ｈｋ、カメラパラメータＨｃ、及び奥行型Ｈｄを含むパラメータと、が外部から入力される。
　ここで、外部とは、例えば、立体映像作成装置３を指すものであり、多視点映像及び奥行マップの合成方式を指定する奥行型Ｈｄ、符号化方式を指定する符号化管理情報Ｈｋの一部については、不図示のユーザインターフェース（入力手段）を介して入力するようにしてもよい。
　また、符号化装置１は、これらの入力情報を用いて符号化ビット列ＢＳを生成し、立体映像復号化装置２（以下、適宜に「復号化装置２」という）に伝送する。

　なお、符号化管理情報Ｈｋは、符号化に関する情報であり、例えば、フレームレート、フレーム数などのシーケンスの管理情報や、符号化に使用するツールの組を示すプロファイルＩＤ（Identification：識別子）などのパラメータが含まれる。
　また、カメラパラメータＨｃは、入力した各視点の映像を撮影したカメラについてのパラメータであり、被写体の最近距離、被写体の最遠距離、焦点距離、左視点の座標値、基準視点の座標値、右視点の座標値などが含まれる。カメラパラメータＨｃは、例えば、奥行マップを用いて奥行マップ又は映像を他の視点に射影する際に、奥行マップの画素値として与えられる奥行値を、画素のシフト量に換算するための係数情報として用いられる。
　また、奥行型Ｈｄは、符号化装置１が入力した映像Ｃ，Ｌ，Ｒ及び奥行マップＣｄ，Ｌｄ，Ｒｄを合成する方式を示すパラメータである。

　なお、本実施形態では、中央視点を基準視点とし、被写体に向かって左側の視点を左視点（非基準視点）とし、右側の視点を右視点（非基準視点）とするものであるが、これに限定されるものではない。例えば、左側の視点を基準視点とし、中央視点及び右視点を非基準視点としてもよい。また、基準視点と非基準視点とは、水平方向に離れる場合に限定されず、垂直方向や斜め方向など、視点から被写体を観察する角度が変化するような、任意の方向に離れていてもよい。また、非基準視点映像は２つに限定されず、基準視点映像Ｃの他に、少なくとも１つの非基準視点映像があればよく、３つ以上であってもよい。また、多視点映像の視点数と奥行マップの視点数とは同数でなくともよい。
　本実施形態では、多視点映像として、基準視点（中央視点）映像Ｃ、左視点映像Ｌ及び右視点映像Ｒからなる３視点映像が、これらに付随する奥行マップＣｄ，Ｌｄ，Ｒｄとともに入力されるものとして説明する。

　符号化装置１は、入力したこれらの映像及び奥行マップを、奥行型Ｈｄで指定された合成方式で合成し、更に合成した映像及び奥行マップと、符号化管理情報Ｈｋ、カメラパラメータＨｃ及び奥行型Ｈｄを含むパラメータとを符号化して、符号化ビット列ＢＳに多重化して立体映像復号化装置２に伝送する。

　映像合成手段１１は、図２に示すように、基準視点映像Ｃ、左視点映像Ｌ、右視点映像Ｒ、カメラパラメータＨｃ及び奥行型Ｈｄを外部から入力し、奥行マップ符号化手段１４から復号化合成奥行マップＧ’ｄを入力し、合成映像Ｇを生成して、映像符号化手段１２に出力する。なお、奥行マップ符号化手段１４については後記するが、符号化された奥行マップを復号化する機能も有するものである。

　なお、映像合成手段１１に入力される信号及び映像合成手段１１から出力される信号は、映像及び奥行マップの合成方式を示す奥行型Ｈｄに応じて異なるものであるが、図２では、多視点映像として符号Ｃ，Ｌ，Ｒで表わされる信号が入力され、復号化合成奥行マップとして符号Ｇ’ｄで代表される信号が入力され、合成映像として符号Ｇで代表される信号が出力されるものとする。

　映像符号化手段１２は、符号化管理情報Ｈｋを外部から、合成映像Ｇを映像合成手段１１から、それぞれ入力し、符号化管理情報Ｈｋで指定された符号化方式で合成映像Ｇを符号化することで、符号化合成映像ｇを生成する。映像符号化手段１２は、生成した符号化合成映像ｇを多重化手段１６に出力する。
　なお、本実施形態における映像符号化手段１２は、合成映像Ｇを符号化する際に、基準視点についての映像情報と、非基準視点についての映像情報とを、それぞれ別個に符号化して、それぞれ異なる単位（ＮＡＬＵ）の符号化データとして多重化手段１６に出力する。また、基準視点映像Ｃについては、前方互換性を保つように、そのまま加工せずに符号化するものとする。
　映像の符号化データの構造については後記する。

　本実施形態において、映像符号化手段１２は、予め定められた複数の符号化方式の中から符号化管理情報Ｈｋで指定された符号化方式を用いて、合成映像Ｇを符号化することができるように構成されている。

　なお、多視点映像を加工せずに複数の視点映像のまま合成映像Ｇとして符号化する場合は、基準視点映像Ｃと非基準視点映像Ｌ，Ｒとの間の相関が高いので、符号化管理情報Ｈｋにおいて、基準視点映像Ｃと非基準視点映像Ｌ，Ｒとの間の視点映像間予測を許可するように設定することが好ましい。これによって、合成映像Ｇの符号化効率が改善される。
　また、非基準視点について残差映像を合成映像Ｇとして符号化する場合は、基準視点映像と残差映像との間には相関がないため、符号化管理情報Ｈｋにおいて、視点間映像予測を禁止するように設定することが好ましい。これによって、合成映像Ｇの符号化効率が改善される。なお、残差映像については後記する。

　奥行マップ合成手段１３は、奥行マップＣｄ，Ｌｄ，Ｒｄ、カメラパラメータＨｃ及び奥行型Ｈｄを外部から入力し、奥行型Ｈｄで指定された合成方式で奥行マップＣｄ，Ｌｄ，Ｒｄを用いて合成奥行マップＧｄを生成し、生成した合成奥行マップＧｄを、奥行マップ符号化手段１４に出力する。奥行マップの合成方式については後記する。
　なお、本実施形態では、各視点における奥行マップＣｄ，Ｌｄ，Ｒｄは、例えば、立体映像作成装置３（図１参照）によって予め作成され、各視点の映像Ｃ，Ｌ，Ｒに付随して入力されるものとしたが、映像Ｃ，Ｌ，Ｒを用いて奥行マップＣｄ，Ｌｄ，Ｒｄを生成して用いるようにしてもよい。

　奥行マップ符号化手段１４は、符号化管理情報Ｈｋを外部から、合成奥行マップＧｄを奥行マップ合成手段１３からそれぞれ入力し、合成奥行マップＧｄを、符号化管理情報Ｈｋで指定された符号化方式で符号化することで符号化合成奥行マップｇｄを生成して、多重化手段１６に出力する。また、奥行マップ符号化手段１４は、生成した符号化合成奥行マップｇｄを、その符号化方式に基づいて復号化することで復号化合成奥行マップＧ’ｄを生成し、映像合成手段１１に出力する。
　なお、本実施形態における奥行マップ符号化手段１４は、合成奥行マップＧｄが複数のフレームから構成される場合には、フレーム毎に符号化して、それぞれ異なる単位（ＮＡＬＵ）の符号化データとして多重化手段１６に出力する。
　なお、奥行マップの符号化データの構造については後記する。

　奥行マップ符号化手段１４は、映像符号化手段１２と同様に、予め定められた複数の符号化方式の中から符号化管理情報Ｈｋで指定された符号化方式を用いて、合成奥行マップＧｄを符号化するように構成されている。更に、奥行マップ符号化手段１４は、符号化合成奥行マップｇｄを復号化する復号化機能も備えている。
　符号化方式は、映像符号化手段１２と同様の方式を用いることができる。なお、一連の立体映像符号化処理において、映像符号化手段１２と奥行マップ符号化手段１４とで、同じ符号化方式が選択されるようにしてもよいし、異なる符号化方式が選択されるようにしてもよい。

　パラメータ符号化手段１５は、外部から符号化管理情報Ｈｋ、カメラパラメータＨｃ及び奥行型Ｈｄを入力し、所定の符号化方式でこれらのパラメータを符号化することで符号化パラメータｈを生成し、多重化手段１６に出力する。
　なお、パラメータ符号化手段１５は、符号化するパラメータの種別に応じて、パラメータをそれぞれ別個の単位（ＮＡＬＵ）として符号化する。
　なお、パラメータの符号化データの構造については後記する。

　多重化手段１６は、パラメータ符号化手段１５から符号化パラメータｈを、映像符号化手段１２から符号化合成映像ｇを、奥行マップ符号化手段１４から符号化合成奥行マップｇｄをそれぞれ入力し、入力したこれらの符号化情報を多重化して、一連の符号化ビット列ＢＳとして立体映像復号化装置２に伝送する。

（奥行マップの合成方式）
　次に、図３Ａから図６を参照（適宜図１及び図２参照）して、奥行マップ合成手段１３における奥行マップの合成方式について説明する。
　本実施形態においては、図４において、２本の２点鎖線で挟まれた段の内で、最上段に示すように、外部（立体映像作成装置３（図１参照））から原データとして、中央視点、左視点及び右視点の３視点における映像Ｃ，Ｌ，Ｒと、これらに付随する奥行マップＣｄ，Ｌｄ，Ｒｄとを入力する。ここで、中央視点を基準視点とし、左視点及び右視点を非基準視点とする。
　なお、図４に示した映像Ｃ，Ｌ，Ｒは、正方形の被写体像Ｆと、その他の領域である被写体像Ｂとが撮影され、被写体像Ｆを前景とし、被写体像Ｂを背景とするものである。また、奥行マップＣｄ，Ｌｄ，Ｒｄは、前景の被写体像Ｆに対応する奥行ｆと、背景の被写体像Ｂに対応する奥行ｂとから構成されている。図４において、明るく示した領域ほど奥行値が大きく、従って、手前に位置する（視点に近い）ことを示している。

　なお、本実施形態で用いる奥行マップは、何れの奥行マップも、基準視点映像Ｃなどの映像と同じ形式の画像データとして取り扱うこととする。例えば、ハイビジョン規格の形式を用いる場合は、輝度成分（Ｙ）として奥行値を設定し、色差成分（Ｐｂ，Ｐｒ）としてそれぞれ所定値（１成分当たり８ビット信号の場合、例えば「１２８」）を設定する。これによって、奥行マップ符号化手段１４によって、合成奥行マップＧｄを、映像と同様の符号化方式を用いて符号化する場合でも、奥行マップとして有効な情報を有さない色差成分（Ｐｂ，Ｐｒ）による符号化効率の低下を防止することができる。

　また、本実施形態では、奥行マップを、方式Ａから方式Ｅの５つの方式と、複数の奥行マップを加工せずにそのまま符号化する方式とを合わせた全部で６方式の中から合成方式を選択できるように構成されている。また、図３Ａ（ａ）から図３Ａ（ｃ）、図３Ｂ（ａ）及び図３Ｂ（ｂ）に、それぞれ方式Ａから方式Ｅに対応する奥行マップ合成手段１３の構成例を示す。
　以下、各方式について順次に説明する。

（方式Ａ：２視点１型）
　方式Ａは、図４の２段目に示すように、中央視点を基準視点とし、左視点を非基準視点とする２視点における奥行マップである基準視点奥行マップＣｄ及び左視点奥行マップＬｄを、それぞれ所定の共通視点に射影し、当該共通視点に射影された２つの奥行マップを１つに合成する方式である。本実施形態は、中央視点と左視点との丁度中間の視点である左中間視点を前記した共通視点とするものである。また、中央視点と左視点を両端とする範囲内の何処を共通視点としてもよい。
　なお、方式Ａで合成される奥行マップは、共通視点における映像の全画素に対応する奥行値を有する「全体奥行マップ」である。

　方式Ａにより奥行マップを合成する奥行マップ合成手段１３Ａは、図３Ａ（ａ）に示すように、射影手段１３１ａと、射影手段１３１ｂと、合成手段１３１ｃと、縮小手段１３１ｄと、を備えて構成されている。

　射影手段１３１ａは、外部から入力した中央視点における奥行マップである基準視点奥行マップＣｄを、共通視点である左中間視点に射影し、左中間視点における奥行マップＺ^Ｃｄを生成するものである。射影手段１３１ａは、生成した左中間視点奥行マップＺ^Ｃｄを合成手段１３１ｃに出力する。
　ここで、図６を参照して、奥行マップの射影について説明する。
　図６に示すように、基準視点から左視点までの距離をｂ、基準視点から任意の視点である左指定視点までの距離をｃ、左中間視点から左指定視点までの距離をａ、左指定視点から左視点までの距離をｄとする。また、基準視点から左中間視点までの距離及び左中間視点から左視点までの距離は、何れもｂ／２である。

　奥行値とは、基準視点と左視点との距離である距離ｂだけ離れた視点に奥行マップ又は映像を射影する場合に、その画素を、視点のシフト方向と反対側である右方向にシフトさせる画素数（視差量）に対応するものであり、通常は、映像中の最大視差量を最大奥行値に対応させて用いられる。また、この画素数のシフト量は、視点のシフト量に比例する。従って、基準視点における奥行マップを、基準視点からｃだけ離れた左指定視点に射影する場合は、各画素を、その奥行値の（ｃ／ｂ）倍に対応する画素数だけ、右側にシフトさせることとなる。なお、視点のシフト方向が右方向の場合は、画素は反対側である左側にシフトさせる。

　従って、図３Ａ（ａ）に示した射影手段１３１ａにおいて、基準視点における奥行マップを左中間視点に射影する場合は、前記したように、奥行値の（（ｂ／２）／ｂ）＝１／２倍に対応する画素数だけ右方向にシフトさせることとなる。

　また、次に説明する射影手段１３１ｂに示すように、左視点における奥行マップを左視点から見て右方向にある左中間視点に射影する場合は、左視点における奥行マップの各画素を、その画素の奥行値の（（ｂ／２）／ｂ）＝１／２倍に対応する画素数だけ左方向にシフトさせることとなる。

　なお、本実施形態では、射影手段１３１ａは、前記した射影により、同じ画素位置に複数の画素値（奥行値）が射影される場合は、その中で最も大きな画素値の値を射影後の奥行マップである左中間視点奥行マップＺ^Ｃｄの画素値とする。また、有効な画素値が射影されなかった画素については、当該画素の左右に位置する画素値の内で、小さい方の画素値を左中間視点奥行マップＺ^Ｃｄの画素値とする。

　以上は、奥行マップを用いて、当該奥行マップを他の視点における奥行マップに射影する場合について説明したが、奥行マップを用いて、映像を他の視点に射影する場合も、同様の手順で行うことができる。

　図３Ａ（ａ）に戻って、説明を続ける。
　射影手段１３１ｂは、外部から入力した左視点における奥行マップである左視点奥行マップＬｄを、共通視点である左中間視点に射影変換し、左中間視点における奥行マップＺ^Ｌｄを生成するものである。なお、射影手段１３１ｂは、射影手段１３１ａとシフトする方向が異なるだけで同様の手順で射影変換することができる。また、射影手段１３１ｂは、生成した左中間視点奥行マップＺ^Ｌｄを合成手段１３１ｃに出力する。

　合成手段１３１ｃは、射影手段１３１ａから左中間視点奥行マップＺ^Ｃｄを、射影手段１３１ｂから左中間視点奥行マップＺ^Ｌｄを、それぞれ入力し、２つの奥行マップを合成することで、合成奥行マップＺｄを生成する。ここで、合成手段１３１ｃは、２つの奥行マップについて、画素毎に奥行値である画素値の平均値を算出し、算出した平均値を合成奥行マップＺｄの画素値とすることで、２つの奥行マップを合成する。合成手段１３１ｃは、生成した合成奥行マップＺｄを縮小手段１３１ｄに出力する。

　縮小手段１３１ｄは、合成奥行マップＺｄを合成手段１３１ｃから入力し、入力した合成奥行マップＺｄを、図５（ａ）に示すように、垂直方向（縦）及び水平方向（横）についてそれぞれ１／２に間引きすることで縮小し、縮小合成奥行マップＺ_２ｄを生成する。奥行マップ合成手段１３Ａは、生成した縮小合成奥行マップＺ_２ｄを合成奥行マップＧｄとして、奥行マップ符号化手段１４（図２参照）に出力する。

　ここで、奥行マップは縮小しても、復号側で合成される映像の画質に与える影響が少なく、伝送するデータ量を低減して符号化効率を改善することができる。
　なお、奥行マップの縮小処理は、縦横１／２に縮小することに限定されず、１／３、１／４など、他の縮小率であってもよい。また、縦横の縮小率を異なるようにしてもよい。更にまた、縮小処理を行わないようにしてもよい。この場合は、縮小手段１３１ｄは省略することができる。
　また、後記する他の合成方式においても、奥行マップを縮小することとしたが、縮小しないようにしてもよい。この場合は、各合成方式において縮小手段を省略することができる。

（方式Ｂ：２視点２型）
　方式Ｂは、図４の最上段及び３段目に示すように、中央視点を基準視点とし、左視点を非基準視点とする２視点における奥行マップである基準視点奥行マップＣｄ及び左視点奥行マップＬｄを用い、基準視点における全体奥行マップＺｄと、左視点における左残差奥行マップＸｄとを合成するものである。

　ここで、「残差奥行マップ」とは、基準視点における奥行マップＣｄを左視点に射影した場合に、オクルージョンホールとなり、射影されない画素についての奥行値を、左視点奥行マップＬｄから切り出して生成した奥行マップのことである。また、オクルージョンホールとは、基準視点における奥行マップＣｄの中では、前景被写体の後ろに隠れていたり、基準視点における奥行マップＣｄの外にはみ出していて、基準視点における奥行マップＣｄの中には存在しない画素を指すものである。すなわち、方式Ｂでは、全体奥行マップである左視点奥行マップＬｄの中から、基準視点奥行マップＣｄと重複しない奥行情報のみを抽出し、左残差奥行マップＸｄを生成することでデータ量を削減するものである。

　方式Ｂにより奥行マップを合成する奥行マップ合成手段１３Ｂは、図３Ａ（ｂ）に示すように、射影手段１３２ａと、オクルージョンホール検出手段１３２ｂと、合成手段１３２ｃと、残差切出手段１３２ｄと、縮小手段１３２ｅと、縮小手段１３２ｆとを備えて構成されている。

　射影手段１３２ａは、外部から入力した左視点奥行マップＬｄを、基準視点に射影し、基準視点における奥行マップＣ^Ｌｄを生成するものである。射影手段１３２ａは、生成した基準視点奥行マップＣ^Ｌｄを合成手段１３２ｃに出力する。

　オクルージョンホール検出手段１３２ｂは、外部から基準視点奥行マップＣｄを入力し、基準視点奥行マップＣｄを左視点に射影する際に、画素値が射影されない領域であるオクルージョンホールを検出するものである。オクルージョンホール検出手段１３２ｂは、オクルージョンホールとなる領域を示す穴マスクＬｈを生成し、残差切出手段１３２ｄに出力する。
　なお、オクルージョンホールとなる領域の検出方法については後記する。

　合成手段１３２ｃは、外部から基準視点奥行マップＣｄを、射影手段１３２ａから基準視点奥行マップＣ^Ｌｄを、それぞれ入力し、基準視点における２つの奥行マップを１つの全体奥行マップＺｄに合成し、合成した全体奥行マップＺｄを縮小手段１３２ｅに出力する。ここで、合成手段１３２ｃは、入力する２つの奥行マップについて、画素毎に奥行値である画素値の平均値を算出し、算出した平均値を全体奥行マップＺｄの画素値とすることで、２つの奥行マップを合成する。
　なお、方式Ｂにおいて、基準視点における全体奥行マップＺｄとして、基準視点奥行マップＣｄをそのまま用いるようにしてもよい。この場合は、射影手段１３２ａ及び合成手段１３２ｃは省略することができる。

　残差切出手段１３２ｄは、外部から左視点奥行マップＬｄを、オクルージョンホール検出手段１３２ｂから穴マスクＬｈを、それぞれ入力し、左視点奥行マップＬｄから穴マスクＬｈで示されたオクルージョンホールとなる領域の画素値を切り出し、オクルージョンホールとなる領域の画素値のみを有する奥行マップである左残差奥行マップＸｄを生成する。残差切出手段１３２ｄは、生成した左残差奥行マップＸｄを、縮小手段１３２ｆに出力する。

　なお、残差切出手段１３２ｄは、オクルージョンホールとならない領域の画素値として、一定値を設定することが好ましい。これによって、左残差奥行マップＸｄの符号化効率を向上させることができる。また、この一定値としては、例えば、１画素当たり８ビットデータの場合は、中央値である１２８とすることができる。

　縮小手段１３２ｅは、合成手段１３２ｃから全体奥行マップＺｄを入力し、前記した方式Ａの縮小手段１３１ｄと同様にして画素を間引くことで、所定の縮小率で縮小した縮小全体奥行マップＺ_２ｄを生成し、生成した縮小全体奥行マップＺ_２ｄを合成奥行マップＧｄの一部として、奥行マップ符号化手段１４（図２参照）に出力する。
　また、縮小手段１３２ｆは、残差切出手段１３２ｄから左残差奥行マップＸｄを入力し、前記した方式Ａの縮小手段１３１ｄと同様にして画素を間引くことで、所定の縮小率で縮小した縮小残差奥行マップＸ_２ｄを生成し、生成した縮小残差奥行マップＸ_２ｄを合成奥行マップＧｄの一部として、奥行マップ符号化手段１４（図２参照）に出力する。
　すなわち、方式Ｂにおける合成奥行マップＧｄは、縮小全体奥行マップＺ_２ｄと縮小残差奥行マップＸ_２ｄとを合わせたものである。

（方式Ｃ：３視点１型）
　方式Ｃは、図４の最上段及び４段目に示すように、中央視点を基準視点とし、左視点及び右視点を非基準視点とする３視点における奥行マップである基準視点奥行マップＣｄ、左視点奥行マップＬｄ及び右視点奥行マップＲｄを、それぞれ所定の共通視点に射影し、当該共通視点に射影された３つの奥行マップを１つに合成するものである。本実施形態では、中央視点を共通視点とするものである。なお、左視点と右視点とを両端とする範囲内であれば、何処を共通視点としてもよい。
　また、方式Ｃで合成される奥行マップは、共通視点における全体奥行マップＺｄである。

　方式Ｃにより奥行マップを合成する奥行マップ合成手段１３Ｃは、図３Ａ（ｃ）に示すように、射影手段１３３ａと、射影手段１３３ｂと、合成手段１３３ｃと、縮小手段１３３ｄと、を備えて構成されている。

　射影手段１３３ａは、外部から入力した右視点奥行マップＲｄを、共通視点である中央視点、すなわち基準視点に射影し、基準視点奥行マップＣ^Ｒｄを生成するものである。射影手段１３３ａは、生成した基準視点奥行マップＣ^Ｒｄを合成手段１３３ｃに出力する。
　射影手段１３３ｂは、外部から入力した左視点奥行マップＬｄを、共通視点である中央視点、すなわち基準視点に射影し、基準視点奥行マップＣ^Ｌｄを生成するものである。射影手段１３３ｂは、生成した基準視点奥行マップＣ^Ｌｄを合成手段１３３ｃに出力する。

　合成手段１３３ｃは、外部から基準視点奥行マップＣｄを、射影手段１３３ａから基準視点奥行マップＣ^Ｒｄを、射影手段１３３ｂから基準視点奥行マップＣ^Ｌｄを、それぞれ入力し、入力した３つの奥行マップを合成することで、全体奥行マップＺｄを生成する。ここで、合成手段１３３ｃは、３つの奥行マップについて、画素毎に奥行値である画素値の平均値を算出し、算出した平均値を全体奥行マップＺｄの画素値とすることで、奥行マップを合成する。なお、平均値に代えて、３つの画素値の中央値を用いるようにしてもよい。合成手段１３３ｃは、生成した全体奥行マップＺｄを縮小手段１３３ｄに出力する。
　また、共通視点を基準視点以外とする場合には、基準視点奥行マップＣｄを、その共通視点に射影し、左視点奥行マップＬｄ及び右視点奥行マップＲｄをそれぞれその共通視点に射影した奥行マップと合成するようにして、全体奥行マップＺｄを生成することができる。

　縮小手段１３３ｄは、全体奥行マップＺｄを、前記した方式Ａの縮小手段１３１ｄと同様にして画素を間引くことで、所定の縮小率で縮小し、縮小全体奥行マップＺ_２ｄを生成する。奥行マップ合成手段１３Ｃは、生成した縮小全体奥行マップＺ_２ｄを合成奥行マップＧｄとして、奥行マップ符号化手段１４（図２参照）に出力する。

（方式Ｄ：３視点２型）
　方式Ｄは、図４の最上段及び５段目に示すように、中央視点を基準視点とし、左視点及び右視点を非基準視点とする３視点における奥行マップである基準視点奥行マップＣｄ、左視点奥行マップＬｄ及び右視点奥行マップＲｄを用い、中央視点である基準視点における全体奥行マップＺｄと、左視点における残差奥行マップＸｄと、右視点における残差奥行マップＹｄと、を合成するものである。

　ここで、右視点における残差奥行マップとは、基準視点における奥行マップＣｄを右視点に射影した場合に、オクルージョンホールとなり、射影されない画素についての奥行値を、右視点奥行マップＲｄから切り出して生成した奥行マップのことである。すなわち、方式Ｄでは、２つの非基準視点における奥行マップについて、それぞれ基準視点奥行マップＣｄと重複しない奥行情報のみを抽出し、左残差奥行マップＸｄ及び右残差奥行マップＹｄを生成することでデータ量を削減するものである。

　方式Ｄにより奥行マップを合成する奥行マップ合成手段１３Ｄは、図３Ｂ（ａ）に示すように、射影手段１３４_Ｌａ，１３４_Ｒａと、オクルージョンホール検出手段１３４_Ｌｂ，１３４_Ｒｂと、合成手段１３４ｃと、残差切出手段１３４_Ｌｄ，１３４_Ｒｄと、縮小手段１３４ｅと、縮小手段１３４ｆとを備えて構成されている。

　射影手段１３４_Ｌａは、外部から入力した左視点奥行マップＬｄを、基準視点に射影し、基準視点における奥行マップＣ^Ｌｄを生成するものである。射影手段１３４_Ｌａは、生成した基準視点奥行マップＣ^Ｌｄを合成手段１３４ｃに出力する。
　射影手段１３４_Ｒａは、外部から入力した右視点奥行マップＲｄを、基準視点に射影し、基準視点における奥行マップＣ^Ｒｄを生成するものである。射影手段１３４_Ｒａは、生成した基準視点奥行マップＣ^Ｒｄを合成手段１３４ｃに出力する。

　オクルージョンホール検出手段１３４_Ｌｂは、外部から基準視点奥行マップＣｄを入力し、基準視点奥行マップＣｄを左視点に射影する際に、画素値が射影されない領域となるオクルージョンホールを検出するものである。オクルージョンホール検出手段１３４_Ｌｂは、オクルージョンホールとなる領域を示す穴マスクＬｈを生成し、残差切出手段１３４_Ｌｄに出力する。

　オクルージョンホール検出手段１３４_Ｒｂは、外部から基準視点奥行マップＣｄを入力し、基準視点奥行マップＣｄを右視点に射影する際に、画素値が射影されない領域となるオクルージョンホールを検出するものである。オクルージョンホール検出手段１３４_Ｒｂは、オクルージョンホールとなる領域を示す穴マスクＲｈを生成し、残差切出手段１３４_Ｒｄに出力する。

　合成手段１３４ｃは、外部から基準視点奥行マップＣｄを、射影手段１３４_Ｌａから基準視点奥行マップＣ^Ｌｄを、射影手段１３４_Ｒａから基準視点奥行マップＣ^Ｒｄを、それぞれ入力し、基準視点における３つの奥行マップを１つの全体奥行マップＺｄに合成し、合成した全体奥行マップＺｄを縮小手段１３４ｅに出力する。ここで、合成手段１３４ｃは、前記した方式Ｃの合成手段１３３ｃと同様にして、３つの奥行マップを合成する。
　なお、方式Ｄにおいて、基準視点における全体奥行マップＺｄとして、基準視点奥行マップＣｄをそのまま用いるようにしてもよい。この場合は、合成手段１３４ｃは省略することができる。

　残差切出手段１３４_Ｌｄは、外部から左視点奥行マップＬｄを、オクルージョンホール検出手段１３４_Ｌｂから穴マスクＬｈを、それぞれ入力し、左視点奥行マップＬｄから穴マスクＬｈで示されたオクルージョンホールとなる領域の画素値を切り出し、オクルージョンホールとなる領域の画素値のみを有する奥行マップである左残差奥行マップＸｄを生成する。残差切出手段１３４_Ｌｄは、生成した左残差奥行マップＸｄを、縮小手段１３４ｆに出力する。

　残差切出手段１３４_Ｒｄは、外部から右視点奥行マップＲｄを、オクルージョンホール検出手段１３４_Ｒｂから穴マスクＲｈを、それぞれ入力し、右視点奥行マップＲｄから穴マスクＲｈで示されたオクルージョンホールとなる領域の画素値を切り出し、オクルージョンホールとなる領域の画素値のみを有する奥行マップである右残差奥行マップＹｄを生成する。残差切出手段１３４_Ｒｄは、生成した右残差奥行マップＹｄを、縮小手段１３４ｆに出力する。
　なお、残差切出手段１３４_Ｌｄ、１３４_Ｒｄは、前記した方式Ｂの残差切出手段１３２ｄと同様に、オクルージョンホールとならない領域の画素値として、一定値を設定することが好ましい。

　縮小手段１３４ｅは、合成手段１３４ｃから全体奥行マップＺｄを入力し、前記した方式Ａの縮小手段１３１ｄと同様にして、所定の縮小率で縮小した縮小全体奥行マップＺ_２ｄを生成し、生成した縮小全体奥行マップＺ_２ｄを合成奥行マップＧｄの一部として、奥行マップ符号化手段１４（図２参照）に出力する。
　また、縮小手段１３４ｆは、残差切出手段１３４_Ｌｄから左残差奥行マップＸｄを、残差切出手段１３４_Ｒｄから右残差奥行マップＹｄをそれぞれ入力し、それぞれ、所定の縮小率（例えば、縦横ともに１／２）で縮小するとともに、更に、縦又は横方向に１／２に縮小した左縮小残差奥行マップＸ_２ｄと右縮小残差奥行マップＹ_２ｄとを、図５（ｂ）に示すように、１つのフレームに合成した縮小残差奥行マップＸＹ_２ｄを生成する。縮小手段１３４ｆは、生成した縮小残差奥行マップＸＹ_２ｄを合成奥行マップＧｄの一部として、奥行マップ符号化手段１４（図２参照）に出力する。
　すなわち、方式Ｄにおける合成奥行マップＧｄは、縮小全体奥行マップＺ_２ｄと縮小残差奥行マップＸＹ_２ｄとを合わせたものである。

　なお、図５（ｂ）は、縦方向に１／２に縮小して、縦方向に２つの残差奥行マップを接続してフレーム化した場合の例である。また、フレーム化せずに、左右の残差奥行マップＸｄ，Ｙｄをそれぞれ縮小して、又は等倍のまま奥行マップ符号化手段１４（図２参照）に出力するようにしてもよい。

（方式Ｅ：３型）
　方式Ｅは、図４の最上段及び６段目に示すように、中央視点を基準視点とし、左視点を非基準視点とする２視点における奥行マップである基準視点奥行マップＣｄ及び左視点奥行マップＬｄを用い、それぞれの奥行マップについて、奥行値が急激に変化する部分（エッジ部分）において、奥行値が小さい背景側の奥行値を滑らかに変化させた奥行マップ（以下、ワープデータという）を生成するものである。

　このような、奥行値が急激に変化する部分を滑らかに変化させたワープデータを用いて射影した映像にはオクルージョンが生じない。このため、立体映像復号化装置２（図１参照）で、奥行マップとして中央ワープデータＣｗ又は左ワープデータＬｗの何れを用いて映像を合成しても、滑らかな映像を合成することができる。

　方式Ｅにより奥行マップを合成する奥行マップ合成手段１３Ｅは、図３Ｂ（ｂ）に示すように、ワープ化手段１３５ａと、ワープ化手段１３５ｂと、縮小手段１３５ｃとを備えて構成されている。

　ワープ化手段１３５ａは、外部から基準視点奥行マップＣｄを入力し、奥行値が急激に変化する部分（エッジ部分）において、奥行値が小さい背景側の奥行値を滑らかに変化させる「ワープ化」した中央ワープデータＣｗを生成するものである。ワープ化手段１３５ａは、生成した中央ワープデータＣｗを縮小手段１３５ｃに出力する。

　ここで、基準視点奥行マップＣｄについて、奥行値を滑らかに変化させる範囲は、中央視点における奥行マップである基準視点奥行マップＣｄを左視点に射影した場合に画素が重なる領域、すなわち、前景の被写体像Ｆの奥行ｆの右側のエッジよりも右側の領域と、前景の被写体像Ｆの奥行ｆの左側のエッジよりも左側の所定幅の領域とが該当する。この所定幅は適宜に定めることができるが、例えば、右側のエッジよりも右側において奥行値を滑らかに変化させる領域幅と同程度とすることができる。

　また、前記した範囲内で奥行値を滑らかに変化させる方法としては、当該範囲の左右両端の奥行値を用いて直線補間するようにしてもよいし、スプライン関数などを用いた曲線補間をしてもよい。
　更に、基準視点奥行マップＣｄに対応する映像である基準視点映像Ｃから、映像中のテキスチャのエッジを検出し、エッジの検出された部分の奥行値に重み付けして中央ワープデータＣｗを生成するようにしてもよい。これによって、映像中のエッジと中央ワープデータＣｗの奥行値との間の位置ずれを軽減することができる。

　ワープ化手段１３５ｂは、外部から左視点奥行マップＬｄを入力し、入力した左視点奥行マップＬｄをワープ化して、左ワープデータＬｗを生成する。ワープ化手段１３５ｂは、生成した左ワープデータＬｗを縮小手段１３５ｃに出力する。

　左視点奥行マップＬｄについて、奥行値を滑らかに変化させる範囲は、前記した方式Ｂの左残差奥行マップＸｄにおいて有効な画素値を有する範囲（前景の被写体像Ｆに対応する奥行ｆの左側のエッジよりも左側の領域）と、前景の被写体像Ｆに対応する奥行ｆの右側のエッジよりも右側の所定幅の領域とが該当する。この手順により生成されるのが左ワープデータＬｗである。この所定幅は適宜に定めることができるが、例えば、左側のエッジよりも左側において奥行値を滑らかに変化させる領域幅と同程度とすることができる。
　なお、奥行値を滑らかに変化させる方法は、前記した中央ワープデータＣｗの場合と同様であるから説明は省略する。

　縮小手段１３５ｃは、ワープ化手段１３５ａから中央ワープデータＣｗを、ワープ化手段１３５ｂから左ワープデータＬｗを、それぞれ入力し、所定の縮小率（例えば、１／４）で縦横に縮小し、更に、縦方向又は横方向に１／２に縮小して、図５（ｃ）に示すように、縦又は横方向に接続することで１つのフレームに合成した縮小ワープデータＣＬ_２ｗを生成する。縮小手段１３５ｃは、生成した縮小ワープデータＣＬ_２ｗを合成奥行マップＧｄとして、奥行マップ符号化手段１４（図２参照）に出力する。

　なお、図５（ｃ）は、前記した更なる縮小として、縦方向に１／２に縮小して、縦方向に接続してフレーム化した場合の例である。ワープ化した奥行マップは、奥行値の変化が滑らかであるため、例えば１／４のように、より小さく縮小しても失われる情報が少ない。このため、縮小率を小さくしてデータ量を低減することができる。

　また、ワープデータを縮小する所定の縮小率は、１／２、１／３など他の縮小率であってもよく、等倍であってもよい。更にまた、中央ワープデータＣｗと左ワープデータＬｗとをフレーム化せずに、縮小して、又はそのまま個別データとして奥行マップ符号化手段１４（図２参照）に出力するようにしてもよい。

（映像の合成方式）
　次に、図７から図１１を参照（適宜図１、図２及び図４参照）して、映像合成手段１１における映像の合成方式について説明する。
　本実施形態においては、前記したように、外部から原データ（図４の最上段を参照）として、中央視点、左視点及び右視点の３視点における映像Ｃ，Ｌ，Ｒと、これらに付随する奥行マップＣｄ，Ｌｄ，Ｒｄとを入力する。また、中央視点を基準視点とし、左視点及び右視点を非基準視点とする。
　また、前記した奥行マップの５種類の合成方式である方式Ａ～方式Ｅに対応して、図８に示すように、３種類の映像の合成方式の何れかが選択される。

（方式Ａ：２視点１型、方式Ｂ：２視点２型）
　方式Ａ及び方式Ｂに対応した映像合成では、図８の最上段に示すように、中央視点映像Ｃ及び左視点映像Ｌを用いて、中央視点映像Ｃをそのまま基準視点映像として用いるとともに、左視点映像Ｌから残差映像を切り出した左残差映像Ｘを生成する。すなわち、中央視点における１つの基準視点映像と、左視点における１つの残差映像と、を合成映像Ｇとして生成するものである。

　ここで「残差映像」とは、基準視点映像Ｃを左視点に射影した場合にオクルージョンホールとなる領域の画素を、左視点映像Ｌから切り出して生成した映像のことである。すなわち、方式Ａ及び方式Ｂでは、合成映像Ｇ中の左視点映像Ｌの中から、基準視点映像Ｃと重複しない画素情報のみを抽出し、左残差映像Ｘを生成することでデータ量を削減するものである。

　ここで、図１０を参照して、残差映像の生成方法の概要について説明する。
　なお、図１０は、図２に示した符号化装置１の映像合成手段１１において、残差映像の生成を説明するために必要な構成を抜粋したブロック図である。
　また、図１０に示す例において、基準視点映像Ｃ及び左視点映像Ｌなどは、円形の前景にある被写体と、その他の背景となる被写体とから構成されているものとする。

　まず、オクルージョンホールＯＨについて説明する。なお、図１０に示すように、基準視点映像Ｃを、基準視点奥行マップＣｄを左視点に射影した左視点奥行マップＬ^Ｃｄを用いて、左視点に射影する場合を例として説明する。

　映像を撮影するカメラの設置場所などである視点位置に近い前景となる被写体の画素は、視点位置のシフトによって、大きくずれた位置に射影される。また、視点位置から遠く離れた背景となる被写体の画素は、視点位置のシフトによって、ほとんどずれない位置に射影される。このため、図１０に左視点射影映像Ｌ^Ｃとして模式的に示したように、前景となる円形の被写体が右方向にずれた後には、前景に隠れていて基準視点映像Ｃには対応する画素がなく、三日月状に黒く示した領域が、画素が射影されない領域として残ることとなる。この画素が射影されない領域がオクルージョンホールＯＨである。

　なお、この説明の例に限らず、映像を、その映像に関する奥行マップ（視点は映像と同じでなくてもよい）を用いて任意の視点に射影する場合に、一般的にオクルージョンホールが発生する。

　一方、前景の被写体が右方向にずれて撮影されている左視点映像Ｌには、このオクルージョンホールＯＨにおける画素が撮影されている。そこで、本実施形態においては、残差切出手段１１１ｄによって、左視点映像Ｌから、このオクルージョンホールＯＨにおける画素領域の画素を抽出して左残差映像Ｘを生成する。
　これによって、左視点映像Ｌの全部ではなく、基準視点映像Ｃから射影可能な画素領域を除いた残差映像のみを符号化するため、符号化効率がよく、伝送するデータ量を低減することができる。

　なお、図１０においては、簡単のために、背景の奥行値は「０」、すなわち無限遠にあるものと仮定した。その結果、左視点映像Ｌの画素の内で、基準視点映像Ｃの外にはみ出す画素は存在しない。また、背景の奥行値が「０」でなく、基準視点映像Ｃの外にはみ出す画素がある場合は、そのような画素も残差映像に含めることとする。

　図１０に示した例では、映像合成手段１１は、オクルージョンホール検出手段１１１ｃによって、左視点奥行マップＬ^Ｃｄを用いて、オクルージョンホールＯＨとなる領域を検出し、オクルージョンホールＯＨとなる領域を示す穴マスクＬｈを生成する。図１０に示した穴マスクＬｈにおいて、白い領域がオクルージョンホールＯＨとなる領域を示している。
　そして、映像合成手段１１は、残差切出手段１１１ｄによって、穴マスクＬｈで示されたオクルージョンホールＯＨとなる領域の画素を左視点映像Ｌから抽出して、左残差映像Ｘを生成する。

　なお、図１０では、左視点射影映像Ｌ^Ｃを生成する際に、オクルージョンホールＯＨができる様子を説明するために、便宜的に基準視点映像Ｃを図示したが、オクルージョンホールの検出は左視点奥行マップＬ^Ｃｄを用いて行うことができるため、検出には基準視点映像Ｃは不要である。

　次に、図１１を参照して、左視点奥行マップＬ^Ｃｄを用いて、オクルージョンホールとなる画素領域を検出（予測）する方法について説明する。
　図１１に示すように、左視点奥行マップＬ^Ｃｄにおいて、オクルージョンホールとなる画素かどうかの判定対象となっている着目画素（図において×印で示した画素）の右近傍画素（図において●で示した画素）が、着目画素における奥行値よりも大きな奥行値を有している場合は、その着目画素はオクルージョンホールとなる画素であると判定し、オクルージョンホールとなる画素であることを示す穴マスクＬｈを生成する。なお、図１１に示した穴マスクＬｈにおいて、オクルージョンホールとなる画素は白で示し、他の画素は黒で示している。

　オクルージョンホールとなる画素の検出方法について、更に詳細に説明する。着目画素における奥行値をｘ、着目画素から右方向に所定の画素数Ｐｍａｘだけ離れた画素における奥行値をｙとする。ここで、右方向に離れた所定の画素数Ｐｍａｘとは、例えば、対応する映像内における最大の視差量に相当する画素数、すなわち、最大の奥行値に対応する視差量とする。次に、着目画素から右方向に奥行値の差ｇ＝（ｙ－ｘ）に対応する視差量となる画素数だけ離れた画素を右近傍画素とする。このとき、右近傍画素における奥行値をｚとする。そして、
（ｚ－ｘ）≧ｋ×ｇ＞（所定値）　　・・・式（１）
となる場合に、着目画素をオクルージョンホールとなる画素であると判定する。

　なお、式（１）において、ｋは所定の係数であり、例えば、「０．８」～「０．６」程度の値とすることができる。このように「１」未満の係数ｋを乗ずることにより、被写体の形状や奥行値の不正確さのために、前景となる被写体の奥行値が若干変動する場合であっても、正しくオクルージョンホールを検出することができる。

　なお、以上の判定でオクルージョンホールが検出されなかった場合、細い前景被写体を見逃している可能性があるので、更に、前記したＰｍａｘを減少しながら、前記したオクルージョンホール検出を繰り返すのが好ましい。繰り返し回数は、例えば８回とすることで、見逃しをほとんどなくすことができる。

　また、式（１）において、「所定値」は、例えば、「４」とすることができる。着目画素と右近傍画素との間の奥行値の差が所定値より大きいという条件を加えることにより、実質的にほとんどオクルージョンが生じない小さな奥行値の不連続部分を検出することがなく、左残差映像として抽出される画素数を抑制でき、後記する符号化残差映像のデータ量を抑制することができる。
　なお、図４に示した方式Ｂ、方式Ｃ及び方式Ｄのように、全体奥行マップが基準視点にある場合は、全体奥行マップを左視点又は右視点に射影したときに、画素が射影されなかった領域をオクルージョンホールとするようにしてもよい。

　図７を参照して説明を続ける。
　方式Ａ及び方式Ｂに対応して映像を合成する映像合成手段１１Ａは、図７（ａ）に示すように、サイズ復元手段１１１ａと、射影手段１１１ｂと、オクルージョンホール検出手段１１１ｃと、残差切出手段１１１ｄと、縮小手段１１１ｅとを備えて構成されている。

　サイズ復元手段１１１ａは、奥行マップ符号化手段１４（図２参照）から、復号化合成奥行マップＧ’ｄを入力し、方式Ａによる奥行マップ合成手段１３Ａの縮小手段１３１ｄ（図３Ａ（ａ）参照）又は方式Ｂによる奥行マップ合成手段１３Ｂの縮小手段１３２ｅ（図３Ａ（ｂ）参照）によって縮小された復号化合成奥行マップＧ’ｄ中の縮小全体奥行マップＺ’_２ｄを、それぞれの方式に対応した拡大率で拡大することで、元のサイズに復元した全体奥行マップＺ’ｄを生成する。サイズ復元手段１１１ａは、生成した全体奥行マップＺ’ｄを射影手段１１１ｂに出力する。

　射影手段１１１ｂは、サイズ復元手段１１１ａから全体奥行マップＺ’ｄを入力し、入力した全体奥行マップＺ’ｄを左視点に射影して左視点奥行マップＬ’ｄを生成する。射影手段１１１ｂは、生成した左視点奥行マップＬ’ｄをオクルージョンホール検出手段１１１ｃに出力する。
　なお、方式Ａの場合には、全体奥行マップＺ’ｄは、左中間視点における奥行マップであるから、射影手段１１１ｂは、左中間視点から左視点への射影変換を行う。また、方式Ｂの場合は、全体奥行マップＺ’ｄは、基準視点における奥行マップであるから、射影手段１１１ｂは、基準視点から左視点への射影変換を行う。

　本実施形態では、オクルージョンホール検出のために、復号化合成奥行マップＧ’ｄを、サイズを復元して用いたが、これによって、立体映像復号化装置２（図１参照）側でオクルージョンホールとなる領域をより適切に予測することができるため好ましい。
　また、オクルージョンホール検出のために、復号化合成奥行マップＧ’ｄに代えて、奥行マップ合成手段１３が生成した合成奥行マップＧｄを、サイズを復元して用いるようにしてもよい。
　なお、後記する方式Ｃ及び方式Ｄによる映像合成手段１１Ｂのオクルージョンホール検出についても同様である。

　オクルージョンホール検出手段１１１ｃは、射影手段１１１ｂから左視点奥行マップＬ’ｄを入力し、入力した左視点奥行マップＬ’ｄを用いて、基準視点映像Ｃを左視点に射影した場合にオクルージョンホールとなる領域を、前記した方法により検出（予測）して、当該領域を示す穴マスクＬｈを生成する。オクルージョンホール検出手段１１１ｃは、生成した穴マスクＬｈを残差切出手段１１１ｄに出力する。

　残差切出手段１１１ｄは、外部から左視点映像Ｌを、オクルージョンホール検出手段１１１ｃから穴マスクＬｈを、それぞれ入力し、穴マスクＬｈでオクルージョンホールとなる領域として示された画素を左視点映像Ｌから抽出して左残差映像Ｘを生成する。なお、図８の最上段に示したように、左視点映像Ｌの左端部近傍の画素も、奥行値に応じた範囲が、基準視点映像Ｃに含まれない画素情報であるから、左残差映像Ｘに追加する。また、残差切出手段１１１ｄは、生成した左残差映像Ｘを縮小手段１１１ｅに出力する。

　また、左残差映像Ｘにおいて、画素が抽出されない領域については、画素値として所定の値か、左残差映像Ｘの全画素についての平均値を画素値として設定することが好ましい。これによって左残差映像Ｘの符号化効率を向上することができる。
　更に、有効な画素値がある部分と、前記した所定の値を設定した領域との境界をローパスフィルタで平滑化することが好ましい。これによって、符号化効率が更に向上する。

　縮小手段１１１ｅは、残差切出手段１１１ｄから左残差映像Ｘを入力し、入力した残差映像Ｘを、図９（ａ）に示すように、所定の縮小率で縮小することで左縮小残差映像Ｘ_２を生成する。縮小手段１１１ｅは、生成した左縮小残差映像Ｘ_２を合成映像Ｇの一部として、映像符号化手段１２（図２参照）に出力する。
　また、方式Ａ又は方式Ｂに対応した映像合成手段１１Ａは、基準視点映像Ｃをそのままで、合成映像Ｇの一部として、映像符号化手段１２（図２参照）に出力する。

　なお、左残差映像Ｘを縮小する際の所定の縮小率としては、例えば、縦横ともに１／２とすることができる。
　また、左残差映像Ｘを縮小し、元のサイズのフレームにはめ込むようにしてもよい。この場合、左縮小残差映像Ｘ_２がない余白領域については、左残差映像Ｘの画素抽出領域外に設定された所定の画素値を設定するようにすればよい。
　また、左残差映像Ｘの縮小処理は、縦横１／２に縮小することに限定されず、１／３、１／４など、他の縮小率であってもよい。また、縦横の縮小率を異なるようにしてもよい。更にまた、縮小処理を行わないようにしてもよい。この場合は、縮小手段１１１ｅは省略することができる。

（方式Ｃ：３視点１型、方式Ｄ：３視点２型）
　方式Ｃ及び方式Ｄに対応した映像合成では、図８の２段目に示すように、中央視点映像Ｃ、左視点映像Ｌ及び右視点映像Ｒを用いて、中央視点映像Ｃをそのまま基準視点映像として用いるとともに、左視点映像Ｌから残差映像を切り出した左残差映像Ｘと、右視点映像Ｒから残差映像を切り出した右残差映像Ｙと、を生成する。すなわち、中央視点における１つの基準視点映像と、左視点及び右視点における２つの残差映像と、を合成映像Ｇとして生成するものである。

　なお、左残差映像Ｘは、方式Ａ及び方式Ｂに対応した合成映像の左残差映像Ｘと同じものである。また、右残差映像Ｙは、基準視点映像Ｃを右視点に射影した場合にオクルージョンホールとなる領域の画素を、右視点映像Ｒから切り出して生成した映像のことである。右残差映像Ｙは、基準視点に対して左右の位置関係が異なるだけで、左残差映像Ｘと同様にして生成することができる。
　すなわち、方式Ｃ及び方式Ｄでは、非基準視点映像である左視点映像Ｌ及び右視点映像Ｒの中から、基準視点映像Ｃと重複しない画素情報のみを抽出し、左残差映像Ｘ及び右残差映像Ｙを生成することでデータ量を削減するものである。

　方式Ｃ及び方式Ｄに対応して映像を合成する映像合成手段１１Ｂは、図７（ｂ）に示すように、サイズ復元手段１１２ａと、射影手段１１２_Ｌｂ，１１２_Ｒｂと、オクルージョンホール検出手段１１２_Ｌｃ，１１２_Ｒｃと、残差切出手段１１２_Ｌｄ，１１２_Ｒｄと、縮小手段１１２ｅとを備えて構成されている。

　サイズ復元手段１１２ａは、奥行マップ符号化手段１４（図２参照）から、復号化合成奥行マップＧ’ｄを入力し、方式Ｃによる奥行マップ合成手段１３Ｃの縮小手段１３３ｄ（図３Ａ（ｃ）参照）又は方式Ｄによる奥行マップ合成手段１３Ｄの縮小手段１３４ｅ（図３Ｂ（ａ）参照）によって縮小された復号化合成奥行マップＧ’ｄ中の縮小全体奥行マップＺ’_２ｄを、それぞれの方式に対応した拡大率で拡大することで、元のサイズに復元した全体奥行マップＺ’ｄを生成する。サイズ復元手段１１２ａは、生成した全体奥行マップＺ’ｄを射影手段１１２_Ｌｂ及び射影手段１１２_Ｒｂに出力する。

　ここで、射影手段１１２_Ｌｂ、オクルージョンホール検出手段１１２_Ｌｃ及び残差切出手段１１２_Ｌｄは、それぞれ図７（ａ）に示した射影手段１１１ｂ、オクルージョンホール検出手段１１１ｃ及び残差切出手段１１１ｄと同様であるから、詳細な説明は省略する。また、射影手段１１２_Ｒｂ、オクルージョンホール検出手段１１２_Ｒｃ及び残差切出手段１１２_Ｒｄは、それぞれ図７（ａ）に示した射影手段１１１ｂ、オクルージョンホール検出手段１１１ｃ及び残差切出手段１１１ｄとは、基準視点に対する左右の位置関係が異なるだけで同様であるから、詳細な説明は省略する。
　なお、射影手段１１２_Ｒｂは右視点奥行マップＲ’ｄをオクルージョンホール検出手段１１２_Ｒｃへ出力し、オクルージョンホール検出手段１１２_Ｒｃは穴マスクＲｈを残差切出手段１１２_Ｒｄへ出力する。
　また、残差切出手段１１２_Ｌｄは、生成した左残差映像Ｘを縮小手段１１２ｅに出力し、残差切出手段１１２_Ｒｄは、生成した右残差映像Ｙを縮小手段１１２ｅに出力する。

　縮小手段１１２ｅは、残差切出手段１１２_Ｌｄから左残差映像Ｘを、残差切出手段１１２_Ｒｄから右残差映像Ｙをそれぞれ入力し、それぞれ、所定の縮小率（例えば、縦横ともに１／２）で縮小した左縮小残差映像Ｘ_２と右縮小残差映像Ｙ_２とを、図９（ｂ）に示すように、１つのフレームに合成したフレーム化縮小残差映像ＸＹ_２を生成する。縮小手段１１２ｅは、生成したフレーム化縮小残差映像ＸＹ_２を合成映像Ｇの一部として、映像符号化手段１２（図２参照）に出力する。

　なお、図９（ｂ）は、縦方向に接続してフレーム化した場合の例である。また、フレーム化せずに、左右の残差映像Ｘ，Ｙをそれぞれ縮小して、又はそのまま映像符号化手段１２（図２参照）に出力するようにしてもよい。また、縦方向と横方向との縮小率を異なるようにしてもよい。

（方式Ｅ：３型）
　方式Ｅに対応した映像合成では、図８の３段目に示すように、基準視点映像Ｃ及び左視点映像Ｌを、それぞれそのまま用いるものである。すなわち、図７（ｃ）に示すように、方式Ｅに対応した映像合成手段１１Ｃは、基準視点の映像と、非基準視点である左視点における映像と、を合成映像Ｇとするものである。従って、２つの映像は加工されることなく、映像符号化手段１２（図２参照）に出力される。

（その他の方式）
　以上、奥行マップ及び映像についての５種類の合成方式を説明したが、合成方式はこれらに限定されるものではなく、これらの方式の一部又は全部に代えて、若しくはこれらの方式に加えて、他の方式を選択可能に構成することもできる。
　また、５種類すべての合成方式を選択可能に備えることに限定されず、これらの内の１以上を用いることができるように構成してもよい。

　例えば、前記した方式Ａ（２視点１型）を３視点の映像及び奥行マップを用いた合成方式に拡張することもできる。
　ここで、図１２を参照（適宜図４及び図８参照）して、方式Ａを３視点に拡張した場合について説明する。

　奥行マップについては、図１２（ａ）に示すように、方式Ａと同様にして、基準視点奥行マップＣｄと左視点奥行マップＬｄとを用いて、基準視点と左視点との中間視点における奥行マップである左合成奥行マップＭｄを生成する。また、同様にして、基準視点奥行マップＣｄと右視点奥行マップＲｄとを用いて、基準視点と右視点との中間視点における奥行マップである右合成奥行マップＮｄを生成する。そして、左合成奥行マップＭｄ及び右合成奥行マップＮｄを、それぞれ所定の縮小率（例えば、横方向に１／２、縦方向に縮小しない）で縮小した左縮小合成奥行マップＭ_２ｄ及び右縮小合成奥行マップＮ_２ｄを生成し、例えば横方向に接合して１つのフレームに合成したフレーム化縮小合成奥行マップＭＮ_２ｄを生成する。そして、このフレーム化縮小合成奥行マップＭＮ_２ｄを合成奥行マップＧｄとして符号化するようにしてもよい。

　また、映像については、図１２（ｂ）に示すように、まず、方式Ｃ及び方式Ｄと同様にして、左残差映像Ｘ及び右残差映像Ｙを生成する。次に、方式Ａの奥行マップと同様に、それぞれ所定の縮小率で縮小した左縮小残差映像Ｘ_２及び右縮小残差映像Ｙ_２を生成する。そして、これらを１つのフレームに合成したフレーム化縮小残差映像ＸＹ_２を生成する。
　すなわち、基準視点映像Ｃと、２つの視点における残差映像をフレーム化したフレーム化縮小残差映像ＸＹ_２とからなる合成映像Ｇを生成することができる。
　なお、図１２（ｂ）は、背景の奥行値が「０」の場合の残差映像を示す。

（データ構造）
　次に、図１３から図１５を参照して、本実施形態において、多重化手段１６によって符号化ビット列に多重化されるデータの構造について説明する。
　前記したように、本実施形態においては、ＭＰＥＧ－４　ＡＶＣ符号化規格に準拠した方式で符号化ビット列が伝送される。従って、データの単位は、ＭＰＥＧ－４　ＡＶＣ符号化規格におけるＮＡＬＵを単位として各種情報が構成される。

　まず、図１３を参照して、映像及び奥行マップについてのデータ構造について説明する。
（符号化基準視点映像）
　図１３（ａ）に示すように、基準視点又は中央視点についての映像を符号化したデータである符号化基準視点映像のデータ構造Ｄ１０は、先頭に開始コードＤ１００を有し、次に基準視点についての映像であることを識別する識別情報として、値が「５」又は「１」のＮＡＬＵ型Ｄ１０１を有する。そして、その後に符号化基準視点映像（又は符号化中央視点映像）Ｄ１０２を有する。ＮＡＬＵ型Ｄ１０１の値「５」は、基準視点映像の内で、フレーム内符号化された符号化映像に付加され、値「１」は、フレーム間符号化された符号化映像に付加される。

　なお、開始コードＤ１００は、３バイトの所定値として「００１」が割当てられ、すべての種別のＮＡＬＵが先頭に有するものである。また、すべてのＮＡＬＵは、開始コードＤ１００の後には、情報の種別を識別するための識別情報であるＮＡＬＵ型を有し、情報の種別に対応してそれぞれ固有の値が割当てられている。また、ＮＡＬＵ型は１バイトの情報である。

（符号化残差映像）
　図１３（ｂ）に示すように、非基準視点についての映像を符号化したデータである符号化残差映像のデータ構造Ｄ１１は、先頭に開始コードＤ１００を有し、次に非基準視点についての映像であることを識別する識別情報として、値が「２０」のＮＡＬＵ型Ｄ１１１を有する。

　次に、ＳＶＣ（Scalable Video Coding）拡張フラグＤ１１２として、値「０」が割当てられる。
　なお、ＳＶＣ拡張フラグは、１ビット長の情報であり、その値が「１」の場合は、映像を基準解像度映像とその残差解像度映像との複数の解像度映像に分解して符号化したことを示すフラグである。複数の視点映像を、基準視点映像とその残差映像として符号化する場合は、ＳＶＣ拡張フラグの値として「０」を設定することで、多視点映像の残差映像として符号化したことを示すものである。

　次に、非基準視点の視点位置を示す情報としてビューＩＤ（Ｄ１１３）を有する。本実施形態では、ビューＩＤ（Ｄ１１３）は、値「０」が基準視点を、値「１」が左視点を、値「２」が右視点を示す。また、前記した方式Ｃ又は方式Ｄのように、複数の視点における残差奥行マップが１つにフレーム化されている場合は、ビューＩＤ（Ｄ１１３）として値「１」が設定される。
　そして、その後に符号化残差映像（又は符号化非基準視点映像）Ｄ１１４を有する。

（符号化全体奥行マップ）
　奥行マップ符号化手段１４に、ＭＰＥＧ－４　ＭＶＣ＋Ｄｅｐｔｈ符号化規格や３Ｄ－ＡＶＣ符号化規格に準拠するものを用いる場合は、図１３（ｃ）に示すように、全体奥行マップを符号化したデータである符号化全体奥行マップのデータ構造Ｄ１２は、先頭に開始コードＤ１００を有し、次に全体奥行マップであることを識別する識別情報として、値が「２１」のＮＡＬＵ型Ｄ１２１を有する。なお、方式Ｅにおける中央ワープデータＣｗも、このＮＡＬＵ型Ｄ１２１として値「２１」が設定される。

　次に、ＳＶＣ（Scalable Video Coding）拡張フラグＤ１２２として、値「０」が設定される。次に、この全体奥行マップの視点位置を示す視点情報としてビューＩＤ（Ｄ１２３）を有する。なお、全体奥行マップの場合は、ビューＩＤ（Ｄ１２３）は、値「０」が設定される。そして、その後に符号化全体奥行マップ（又は符号化中央ワープデータ）Ｄ１２４を有する。方式Ａで奥行マップを合成する場合は、全体奥行マップの視点は、中央視点と左視点との中間視点位置にあるが、この場合もビューＩＤとしては値「０」を設定する。この視点位置が左中間視点位置であることは、合成方式を示す奥行型の値が「０」であることから識別することができる。

（符号化残差奥行マップ）
　図１３（ｄ）に示すように、残差奥行マップを符号化したデータである符号化残差奥行マップのデータ構造Ｄ１３は、先頭に開始コードＤ１００を有し、次に残差奥行マップであることを識別する識別情報として、値が「２１」のＮＡＬＵ型Ｄ１３１を有する。なお、方式Ｅにおける左ワープデータＬｗも、このＮＡＬＵ型Ｄ１３１として値「２１」が割当てられる。

　次に、ＳＶＣ（Scalable Video Coding）拡張フラグＤ１３２として、値「０」が割当てられる。次に、この残差奥行マップの視点位置を示す視点情報としてビューＩＤ（Ｄ１３３）を有する。また、方式Ｄのように複数の視点における残差奥行マップが１つにフレーム化されている場合は、全体奥行マップと区別するために、ビューＩＤ（Ｄ１３３）として値「１」が設定される。そして、その後に符号化残差奥行マップ（又は符号化左ワープデータ）Ｄ１３４を有する。
　また、方式Ｅにおいて、複数の視点のワープデータがフレーム化されている場合は、ビューＩＤとして値「０」が設定され、図１３（ｃ）に示したデータ構造Ｄ１２で符号化される。

　また、奥行マップ符号化手段１４として、ＭＰＥＧ－４　ＭＶＣ符号化規格に準拠するものを用いる場合（プロファイルＩＤ＝１１８、１２８）は、奥行マップ符号化手段１４は、符号化した合成奥行マップｇｄにも、符号化合成映像ｇと同じＮＡＬＵ型を与えるため、両者の区別が付かなくなる。このため、多重化手段１６は、図１３（ｅ）に示すように、全体奥行マップを符号化したデータである符号化全体奥行マップのデータ構造Ｄ１４において、先頭の開始コードＤ１００の直後に、合成奥行マップであることを識別する識別情報として、値が「０」のＮＡＬＵ型Ｄ１４１を更に挿入する。この値「０」は、ＭＰＥＧ－４　ＡＶＣ符号化規格及びＭＶＣ等のその拡張規格では未定義の値である。これによって、後記する復号化装置２の分離手段２１（図１６参照）は、このデータが合成奥行マップｇｄであることを識別することができる。そして、復号化装置２の分離手段２１（図１６参照）は、挿入された値「０」のＮＡＬＵ型Ｄ１４１を削除することで、図１３（ａ）に示したデータ構造Ｄ１０に変換して、奥行マップ復号化手段２４（図１６参照）に出力する。これによって、奥行マップ復号化手段２４（図１６参照）は、このデータをＭＶＣ符号化規格に準拠したＮＡＬＵ型Ｄ１０１を有するＮＡＬＵとして正しく復号化することができる。

　また、図１３（ｆ）に示すように、残差奥行マップを符号化したデータである符号化残差奥行マップのデータ構造Ｄ１５において、先頭の開始コードＤ１００の直後にも、合成奥行マップであることを識別する識別情報として、値が「０」のＮＡＬＵ型Ｄ１５１を挿入する。これによって、後記する復号化装置２の分離手段２１（図１６参照）は、このデータが合成奥行マップであることを識別することができる。そして、復号化装置２の分離手段２１（図１６参照）は、挿入された値「０」のＮＡＬＵ型Ｄ１５１を削除することで、図１３（ｂ）に示したデータ構造Ｄ１１に変換して、奥行マップ復号化手段２４（図１６参照）に出力する。これによって、奥行マップ復号化手段２４（図１６参照）は、このデータをＭＶＣ符号化規格に準拠したＮＡＬＵ型Ｄ１１１を有するＮＡＬＵとして正しく復号化することができる。

　次に、図１４を参照して、符号化パラメータについてのデータ構造について説明する。
（基準視点映像についての符号化管理情報）
　図１４（ａ）に示すように、基準視点映像（又は中央視点映像）についての符号化管理情報であるＳＰＳ（Sequence Parameter Set）を符号化した符号化パラメータｈのデータ構造Ｄ２０は、先頭に開始コードＤ１００を有し、次に基準視点映像についての符号化管理情報（ＳＰＳ）であることを識別する識別情報として、値が「７」のＮＡＬＵ型Ｄ２０１を有する。次に、基準視点映像を符号化したツールの組を示す１バイトの情報であるプロファイルＩＤ（Ｄ２０２）として、例えば、値「１００」が設定される。そして、その後に基準視点映像（又は中央視点映像）についての符号化管理情報Ｄ２０３を有する。

（非基準視点映像についての符号化管理情報）
　図１４（ｂ）に示すように、非基準視点映像（左視点映像、右視点映像など）についての符号化管理情報であるＳ＿ＳＰＳ（Subset_Sequence Parameter Set）を符号化した符号化パラメータｈのデータ構造Ｄ２１は、先頭に開始コードＤ１００を有し、次に非基準視点映像についての管理情報（Ｓ＿ＳＰＳ）であることを識別する識別情報として、値が「１５」のＮＡＬＵ型Ｄ２１１を有する。次に、非基準視点映像を符号化したツールの組を示す情報であるプロファイルＩＤ（Ｄ２１２）として、例えば、値「１１８」、「１２８」、「１３８」、「１３９」又は「１４０」が設定される。そして、その後に非基準視点映像についての符号化管理情報Ｄ２１３を有する。

　ここで、プロファイルＩＤの値「１１８」は、ＭＰＥＧ－４　ＡＶＣ符号化規格の拡張規格であるＭＶＣ符号化ツールで、合成映像や合成奥行マップを符号化した場合を示し、値「１２８」は、ステレオ符号化ツールで符号化した場合を示し、値「１３８」は、ＭＶＣ＋Ｄｅｐｔｈ符号化ツールで符号化した場合を示し、値「１３９」は、３Ｄ－ＡＶＣ符号化ツールで符号化した場合を示すものである。これらの値は、そのままでもよいが、ＭＰＥＧ－４　ＡＶＣ符号化規格及びその拡張規格に基づく従来の復号化装置では奥行型を解読できないため、符号化ビット列を正しく復号化することはできるが、多視点映像を正しく合成することができないという問題がある。この問題を無視するようにしてもよいが、この問題を解決するために、例えば値「１４０」を設定することができる。プロファイルＩＤとして、値「１４０」は、ＭＰＥＧ－４　ＡＶＣ符号化規格及びその拡張規格では未定義の値である。このため、プロファイルＩＤとして値「１４０」を用いることにより、ＭＰＥＧ－４　ＡＶＣ符号化規格及びその拡張規格に基づく従来の復号化装置がこの符号化ビット列を受け取った場合は、未知の符号化方式として復号化を中止する。これによって、従来の復号化装置が誤った多視点映像を合成するという誤動作を防ぐことができる。

（カメラパラメータ）
　本実施形態では、カメラパラメータは、映像の復号化と表示のための情報であるＳＥＩ（Supplemental Enhancement Information：補足強化情報）メッセージとして符号化される。図１４（ｃ）に示すように、カメラパラメータを符号化した符号化パラメータｈのデータ構造Ｄ２２は、先頭に開始コードＤ１００を有し、次にＳＥＩメッセージであることを識別する識別情報として、値が「６」のＮＡＬＵ型Ｄ２２１を有する。次に、ＳＥＩメッセージとしてカメラパラメータを有することを識別する１バイトの情報として、値が「５０」のペイロード型Ｄ２２２を有する。そして、その後にカメラパラメータＤ２２３を有する。
　なお、ＳＥＩメッセージは、映像の復号化と表示のための種々の情報を伝送するために用いられるが、１つのＮＡＬＵには、１種類の情報についての、予め種類毎に定められた関連データのみが含まれる。

（奥行型）
　本実施形態では、奥行マップ及び映像を合成する方式を示す奥行型は、前記したＳＥＩメッセージとして符号化される。図１４（ｄ）に示すように、奥行型を符号化した符号化パラメータｈのデータ構造Ｄ２３は、先頭に開始コードＤ１００を有し、次にＳＥＩメッセージであることを識別する識別情報として、値が「６」のＮＡＬＵ型Ｄ２３１を有する。次に、ＳＥＩメッセージとして奥行型を有することを識別する情報として、例えば、値が「５３」のペイロード型Ｄ２３２を有する。そして、その後に奥行型値Ｄ２３３を有する。
　なお、図１４（ｅ）に示す奥行型のデータ構造については、第２実施形態において説明する。

　ここで、図１５を参照して、奥行型の値と奥行マップ及び映像の合成方式との対応関係について説明する。
　図１５に示すように、本実施形態では、値「０」～「４」が、それぞれ方式Ａ～方式Ｅを示す。また、値「５」及び「６」は未定義であり、値「７」は奥行型を追加するための拡張コードとして割当てられている。

　なお、本実施形態では、立体映像復号化装置２（図１参照）は、符号化装置１から奥行型が伝送されなかった場合は、映像及び奥行マップの加工は行われず、元の多視点映像及び多視点奥行マップのまま符号化して伝送されるものとして取り扱うものとする。

［立体映像復号化装置の構成］
　次に、図１６を参照（適宜図１参照）して、第１実施形態に係る立体映像復号化装置２の構成について説明する。立体映像復号化装置２は、図２に示した立体映像符号化装置１から伝送路を介して伝送される符号化ビット列ＢＳを復号化して、多視点映像を生成するものである。従って、符号化ビット列ＢＳには、符号化合成映像ｇ、符号化合成奥行マップｇｄ、及び、多視点映像を復号、合成又は表示するために必要な符号化パラメータｈが多重化されている。

　図１６に示すように、第１実施形態に係る立体映像復号化装置２（以下、適宜に「復号化装置２」と呼ぶ）は、分離手段２１と、パラメータ復号化手段２２と、映像復号化手段２３と、奥行マップ復号化手段２４と、多視点映像合成手段２５と、を備えて構成されている。

　分離手段２１は、符号化装置１から伝送される符号化ビット列ＢＳを入力し、符号化ビット列ＢＳから、多重化されている符号化パラメータｈと、符号化合成映像ｇと、符号化合成奥行マップｇｄとをそれぞれ分離する。分離手段２１は、分離した符号化パラメータｈをパラメータ復号化手段２２に、符号化合成映像ｇを映像復号化手段２３に、符号化合成奥行マップｇｄを奥行マップ復号化手段２４に、それぞれ出力する。

　パラメータ復号化手段２２は、分離手段２１から符号化パラメータｈを入力し、入力した符号化パラメータｈを復号化して、パラメータの種別に応じて、他の構成手段に出力する。ここで、パラメータ復号化手段２２は、奥行型Ｈｄ及びカメラパラメータＨｃを多視点映像合成手段２５に、符号化管理情報Ｈｋを映像復号化手段２３及び奥行マップ復号化手段２４に、それぞれ出力する。

　映像復号化手段２３は、分離手段２１から符号化合成映像ｇを、パラメータ復号化手段２２から符号化管理情報Ｈｋを、それぞれ入力し、符号化管理情報Ｈｋに含まれる映像の符号化方式を示すプロファイルＩＤ（図１４（ａ）、（ｂ）に示したデータ構造Ｄ２０，Ｄ２１参照）を参照し、当該符号化方式に従って符号化合成映像ｇを復号化する。映像復号化手段２３は、生成した復号化合成映像Ｇ’を多視点映像合成手段２５に出力する。

　奥行マップ復号化手段２４は、分離手段２１から符号化合成奥行マップｇｄを、パラメータ復号化手段２２から符号化管理情報Ｈｋを、それぞれ入力し、符号化管理情報Ｈｋに含まれる奥行マップの符号化方式を示すプロファイルＩＤ（図１４（ｂ）に示したデータ構造Ｄ２１参照）を参照し、当該符号化方式に従って符号化合成奥行マップｇｄを復号化する。奥行マップ復号化手段２４は、生成した復号化合成奥行マップＧ’ｄを多視点映像合成手段２５に出力する。

　多視点映像合成手段２５は、パラメータ復号化手段２２から奥行型Ｈｄ及びカメラパラメータＨｃを、映像復号化手段２３から復号化合成映像Ｇ’を、奥行マップ復号化手段２４から復号化合成奥行マップＧ’ｄを、それぞれ入力し、これらの情報を用いて、例えば、ユーザインターフェースを介して外部から入力される指定視点についての映像を合成する。多視点映像合成手段２５は、合成した多視点映像Ｐ，Ｃ’，Ｑなどを、例えば立体映像表示装置４（図１参照）に出力する。

　ここで、図１７を参照して、多視点映像の合成方法の概要を説明する。
　なお、図１７に示した例は、図１６に示した復号化装置２の多視点映像合成手段２５において、方式Ａによる多視点映像の生成を説明するために必要な構成を抜粋したブロック図である。
　また、図１７に示す例において、基準視点映像Ｃ’及び左残差映像Ｘ’などは、図１０に示した例と同様に、円形の前景にある被写体と、その他の背景となる被写体とから構成されているものとする。また、基準視点と左視点との間に指定された左指定視点における映像である左指定視点映像Ｐを、復号化した基準視点映像Ｃ’及び復号化した左残差映像Ｘ’と、復号化された左中間視点における全体奥行マップ（不図示）を、当該左指定視点に射影した左指定視点奥行マップＰｄと、を用いて合成する様子を示したものである。

　図１７に示した例では、多視点映像合成手段２５は、射影手段２５１ｄによって、左指定視点奥行マップＰｄを用いて、基準視点映像Ｃ’を左指定視点に射影し、左指定視点映像Ｐ^Ｃを生成する。このとき、左指定視点映像Ｐ^ＣにはオクルージョンホールＯＨ（図１７において三日月状の黒い領域）が生じる。多視点映像合成手段２５は、射影手段２５１ｄによって、このオクルージョンホールＯＨとなる領域を示す穴マスクＬｈを生成する。図１７に示した穴マスクＬｈにおいて、三日月状の白い領域がオクルージョンホールＯＨとなる領域である。

　また、多視点映像合成手段２５は、射影手段２５１ｅによって、左指定視点奥行マップＰｄを用いて、左残差映像Ｘ’を左指定視点に射影する。
　そして、多視点映像合成手段２５は、合成手段２５１ｆによって、左指定視点に射影した残差映像から、穴マスクＬｈで示されたオクルージョンホールＯＨとなっている位置に対応する画素を抽出し、左指定視点映像Ｐ^Ｃに補完する。これによって、オクルージョンホールＯＨのない左指定視点映像Ｐが合成される。
　なお、本例では、奥行マップとして、左中間視点における全体奥行マップを用いて多視点映像を合成するようにしたが、他の視点における奥行マップを用いることもできる。

　また、図１６に示した本実施形態における復号化装置２は、符号化装置１による奥行マップ及び映像の５種類の合成方式（方式Ａ～方式Ｅ）及び複数の映像及び奥行マップを加工せずにそのまま符号化して伝送する方式のそれぞれに対応して、多視点映像合成手段２５によって、任意の指定視点における映像を合成する。また、入力した奥行マップ及び映像が、何れの合成方式によって合成されているかは、符号化パラメータの１つである奥行型Ｈｄを参照して識別する。そして、復号化装置２は、奥行型Ｈｄで示された方式に対応する構成の多視点映像合成手段を用いて多視点映像を合成するものとする。
　以下、図１８Ａから図１８Ｃを参照（適宜図４、図５、図８、図９及び図１６参照）して、各合成方式に対応した多視点映像合成手段２５の構成について順次に説明する。

（方式Ａ：２視点１型）
　方式Ａでは、図４の２段目及び図８の１段目に示したように、合成奥行マップＧｄとして、左中間視点における全体奥行マップＺｄが符号化され、合成映像Ｇとして、基準視点映像Ｃと左残差映像Ｘとが符号化されている。

　方式Ａにより多視点映像を合成する多視点映像合成手段２５Ａは、図１８Ａ（ａ）に示すように、サイズ復元手段２５１ａと、サイズ復元手段２５１ｂと、射影手段２５１ｃと、射影手段２５１ｄと、射影手段２５１ｅと、合成手段２５１ｆと、を備えて構成されている。

　サイズ復元手段２５１ａは、奥行マップ復号化手段２４から復号化合成奥行マップＧ’ｄである縮小全体奥行マップＺ’_２ｄを入力し、所定の拡大率で拡大して元のサイズの全体奥行マップＺ’ｄを復元する。サイズ復元手段２５１ａは、復元した全体奥行マップＺ’ｄを射影手段２５１ｃに出力する。
　なお、入力した復号化合成奥行マップＧ’ｄが縮小されていない場合は、サイズ復元手段２５１ａは省略することができる。サイズ復元手段の省略については、後記する映像のサイズ復元手段２５１ｂについても同様である。更に、後記する他の方式における各サイズ復元手段についても同様である。

　サイズ復元手段２５１ｂは、映像復号化手段２３から復号化合成映像Ｇ’の一部である左縮小残差映像Ｘ’_２を入力し、所定の倍率で拡大して元のサイズの左残差映像Ｘ’を復元する。サイズ復元手段２５１ｂは、復元した左残差映像Ｘ’を射影手段２５１ｅに出力する。

　射影手段２５１ｃは、サイズ復元手段２５１ａから左中間視点における全体奥行マップＺ’ｄを入力し、全体奥行マップＺ’ｄを左指定視点に射影した左指定視点奥行マップＰｄを生成する。射影手段２５１ｃは、生成した左指定視点奥行マップＰｄを、射影手段２５１ｄ及び射影手段２５１ｅに出力する。

　射影手段２５１ｄは、映像復号化手段２３から復号化した基準視点映像Ｃ’を、射影手段２５１ｃから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点奥行マップＰｄを用いて基準視点映像Ｃ’を左指定視点に射影した左指定視点映像Ｐ^Ｃを生成する。また、射影手段２５１ｄは、左指定視点奥行マップＰｄを用いて、基準視点映像Ｃ’を左指定視点に射影した際に、左指定視点映像Ｐ^Ｃにおいてオクルージョンホールとなる領域を示す穴マスクＬｈを生成する。
　射影手段２５１ｄは、生成した左指定視点映像Ｐ^Ｃ及び穴マスクＬｈを合成手段２５１ｆに出力する。

　射影手段２５１ｅは、サイズ復元手段２５１ｂから左残差映像Ｘ’を、射影手段２５１ｃから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点奥行マップＰｄを用いて左残差映像Ｘ’を左指定視点に射影した左指定視点残差映像Ｐ^Ｘを生成する。射影手段２５１ｅは、生成した左指定視点残差映像Ｐ^Ｘを合成手段２５１ｆに出力する。

　合成手段２５１ｆは、射影手段２５１ｄから左指定視点映像Ｐ^Ｃ及び穴マスクＬｈを、射影手段２５１ｅから左指定視点残差映像Ｐ^Ｘを、それぞれ入力し、穴マスクＬｈに示されるオクルージョンホールとなっている領域の画素を左指定視点残差映像Ｐ^Ｘから抽出して、左指定視点映像Ｐ^Ｃに補完する。これによって、左指定視点映像Ｐが生成される。また、合成手段２５１ｆは、前記した処理によって、左指定視点映像Ｐ^Ｃ又は左指定視点残差映像Ｐ^Ｘの何れからも有効な画素が射影されなかった画素については、周囲の有効な画素値を用いて補間する。

　合成手段２５１ｆは、生成した左指定視点映像Ｐを、基準視点映像Ｃ’とともに、多視点映像として、例えば、立体映像表示装置４（図１参照）に出力する。
　なお、多視点映像として基準視点映像Ｃ’に代えて、又はこれに加えて、他の視点における映像を合成して出力するようにしてもよい。また、合成する映像の視点位置及び視点数については、後記する他の方式においても同様である。

（方式Ｂ：２視点２型）
　方式Ｂでは、図４の３段目及び図８の１段目に示したように、合成奥行マップＧｄとして、基準視点における全体奥行マップＺｄと、左残差奥行マップＸｄとが符号化され、合成映像Ｇとして、基準視点映像Ｃと左残差映像Ｘとが符号化されている。

　方式Ｂにより多視点映像を合成する多視点映像合成手段２５Ｂは、図１８Ａ（ｂ）に示すように、サイズ復元手段２５２ａと、サイズ復元手段２５２ｂと、サイズ復元手段２５２ｃと、射影手段２５２ｄと、射影手段２５２ｅと、射影手段２５２ｆと、射影手段２５２ｇと、合成手段２５２ｈと、を備えて構成されている。

　サイズ復元手段２５２ａは、奥行マップ復号化手段２４から復号化合成奥行マップＧ’ｄの一部である縮小全体奥行マップＺ’_２ｄを入力し、所定の拡大率で拡大して元のサイズの全体奥行マップＺ’ｄを復元する。サイズ復元手段２５２ａは、復元した全体奥行マップＺ’ｄを射影手段２５２ｄに出力する。

　サイズ復元手段２５２ｂは、奥行マップ復号化手段２４から復号化合成奥行マップＧ’ｄの一部である左縮小残差奥行マップＸ’_２ｄを入力し、所定の拡大率で拡大して元のサイズの左残差奥行マップＸ’ｄを復元する。サイズ復元手段２５２ｂは、復元した左残差奥行マップＸ’ｄを射影手段２５２ｆに出力する。

　サイズ復元手段２５２ｃは、映像復号化手段２３から復号化合成映像Ｇ’である左縮小残差映像Ｘ’_２を入力し、所定の拡大率で拡大して元のサイズの左残差映像Ｘ’を復元する。サイズ復元手段２５２ｃは、復元した左残差映像Ｘ’を射影手段２５２ｇに出力する。

　射影手段２５２ｄは、サイズ復元手段２５２ａから基準視点である中央視点における全体奥行マップＺ’ｄを入力し、全体奥行マップＺ’ｄを左指定視点に射影した左指定視点奥行マップＰｄを生成する。射影手段２５２ｄは、生成した左指定視点奥行マップＰｄを、射影手段２５２ｅに出力する。

　射影手段２５２ｅは、映像復号化手段２３から復号化した基準視点映像Ｃ’を、射影手段２５２ｄから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点奥行マップＰｄを用いて基準視点映像Ｃ’を左指定視点に射影した左指定視点映像Ｐ^Ｃと、画素が射影されず、オクルージョンホールとなる領域を示す穴マスクＬｈとを生成する。射影手段２５２ｅは、生成した左指定視点映像Ｐ^Ｃと穴マスクＬｈとを合成手段２５２ｈに出力する。

　射影手段２５２ｆは、サイズ復元手段２５２ｂから左残差奥行マップＸ’ｄを入力し、左残差奥行マップＸ’ｄを左指定視点に射影した左指定視点残差奥行マップＰ^Ｘｄを生成する。射影手段２５２ｆは、生成した左指定視点残差奥行マップＰ^Ｘｄを、射影手段２５２ｇに出力する。

　射影手段２５２ｇは、サイズ復元手段２５２ｃから左残差映像Ｘ’を、射影手段２５２ｆから左指定視点残差奥行マップＰ^Ｘｄを、それぞれ入力し、左指定視点残差奥行マップＰ^Ｘｄを用いて左残差映像Ｘ’を射影した左指定視点残差映像Ｐ^Ｘを生成する。射影手段２５２ｇは、生成した左指定視点残差映像Ｐ^Ｘを合成手段２５２ｈに出力する。

　合成手段２５２ｈは、射影手段２５２ｅから左指定視点映像Ｐ^Ｃ及び穴マスクＬｈを、射影手段２５２ｇから左指定視点残差映像Ｐ^Ｘを、それぞれ入力し、左指定視点映像Ｐ^Ｃにおいてオクルージョンホールとなっている画素を左指定視点残差映像Ｐ^Ｘから抽出して補完することで左指定視点映像Ｐを生成する。また、合成手段２５２ｈは、前記した処理によって、左指定視点映像Ｐ^Ｃ又は左指定視点残差映像Ｐ^Ｘの何れからも有効な画素が射影されなかった画素については、周囲の有効な画素値を用いて補間する。
　合成手段２５２ｈは、生成した左指定視点映像Ｐを、多視点映像の一部として、例えば、立体映像表示装置４（図１参照）に出力する。
　すなわち、方式Ｂによる多視点映像合成手段２５Ｂは、左指定視点映像Ｐと基準視点映像Ｃ’とからなる多視点映像を出力する。

（方式Ｃ：３視点１型）
　方式Ｃでは、図４の４段目及び図８の２段目に示したように、合成奥行マップＧｄとして、基準視点における全体奥行マップＺｄが符号化され、合成映像Ｇとして、基準視点映像Ｃと左残差映像Ｘと右残差映像Ｙとが符号化されている。

　方式Ｃにより多視点映像を合成する多視点映像合成手段２５Ｃは、図１８Ｂに示すように、サイズ復元手段２５３ａと、サイズ復元手段２５３ｂと、射影手段２５３_Ｌｃ，２５３_Ｒｃと、射影手段２５３_Ｌｄ，２５３_Ｒｄと、射影手段２５３_Ｌｅ，２５３_Ｒｅと、合成手段２５３_Ｌｆ，２５３_Ｒｆと、を備えて構成されている。

　サイズ復元手段２５３ａは、奥行マップ復号化手段２４から、復号化合成奥行マップＧ’ｄである基準視点における全体奥行マップが縮小された縮小全体奥行マップＺ’_２ｄを入力し、所定の拡大率で拡大することで元のサイズの全体奥行マップＺ’ｄを復元する。サイズ復元手段２５３ａは、復元した全体奥行マップＺ’ｄを射影手段２５３_Ｌｃ及び射影手段２５３_Ｒｃに出力する。

　サイズ復元手段２５３ｂは、映像復号化手段２３から、復号化合成映像Ｇ’の一部である縮小残差映像ＸＹ’_２を入力し、左右の残差映像に分離するともに、所定の拡大率で拡大することで元のサイズの左残差映像Ｘ’及び右残差映像Ｙ’を復元する。サイズ復元手段２５３ｂは、復元した左残差映像Ｘ’を射影手段２５３_Ｌｅに、右残差映像Ｙ’を射影手段２５３_Ｒｅに、それぞれ出力する。

　以下、まず、左視点についての構成について説明する。
　射影手段２５３_Ｌｃは、サイズ復元手段２５３ａから基準視点における全体奥行マップＺ’ｄを入力し、全体奥行マップＺ’ｄを左指定視点に射影した左指定視点奥行マップＰｄを生成する。射影手段２５３_Ｌｃは、生成した左指定視点奥行マップＰｄを射影手段２５３_Ｌｄ及び射影手段２５３_Ｌｅに出力する。

　射影手段２５３_Ｌｄは、射影手段２５３_Ｌｃから左指定視点奥行マップＰｄを、映像復号化手段２３から復号化合成映像Ｇ’の一部である基準視点映像Ｃ’を、それぞれ入力し、左指定視点奥行マップＰｄを用いて基準視点映像Ｃ’を左指定視点に射影した左指定視点映像Ｐ^Ｃ及び左指定視点映像Ｐ^Ｃでオクルージョンホールとなっている領域を示す穴マスクＬｈを生成する。射影手段２５３_Ｌｄは、生成した左指定視点映像Ｐ^Ｃ及び穴マスクＬｈを合成手段２５３_Ｌｆに出力する。

　射影手段２５３_Ｌｅは、射影手段２５３_Ｌｃから左指定視点奥行マップＰｄを、サイズ復元手段２５３ｂから左残差映像Ｘ’を、それぞれ入力し、左指定視点奥行マップＰｄを用いて左残差映像Ｘ’を左指定視点に射影した左指定視点残差映像Ｐ^Ｘを生成する。射影手段２５３_Ｌｅは、生成した左指定視点残差映像Ｐ^Ｘを合成手段２５３_Ｌｆに出力する。

　合成手段２５３_Ｌｆは、射影手段２５３_Ｌｄから左指定視点映像Ｐ^Ｃ及び穴マスクＬｈを、射影手段２５３_Ｌｅから左指定視点残差映像Ｐ^Ｘを、それぞれ入力し、穴マスクＬｈに示されるオクルージョンホールとなっている領域の画素を左指定視点残差映像Ｐ^Ｘから抽出して、左指定視点映像Ｐ^Ｃに補完する。これによって、左指定視点映像Ｐが生成される。また、合成手段２５３_Ｌｆは、前記した処理によって、左指定視点映像Ｐ^Ｃ又は左指定視点残差映像Ｐ^Ｘの何れからも有効な画素が射影されなかった画素については、周囲の有効な画素値を用いて補間する。
　合成手段２５３_Ｌｆは、生成した左指定視点映像Ｐを、基準視点映像Ｃ’及び後記する右指定視点映像Ｑとともに、多視点映像として、例えば、立体映像表示装置４（図１参照）に出力する。

　また、射影手段２５３_Ｒｃ、射影手段２５３_Ｒｄ、射影手段２５３_Ｒｅ及び合成手段２５３_Ｒｆは、それぞれ前記した射影手段２５３_Ｌｃ、射影手段２５３_Ｌｄ、射影手段２５３_Ｌｅ及び合成手段２５３_Ｌｆに対応するものであり、基準視点に対する左右の位置関係が異なるだけであるから、詳細な説明は省略する。なお、これらの右指定視点映像Ｑを生成するための手段は、前記した左指定視点映像Ｐを生成する手段における左指定視点奥行マップＰｄに代えて右指定視点奥行マップＱｄを生成し、左残差映像Ｘ’に代えて右残差映像Ｙ’を用いるものである。同様に、左指定視点映像Ｐ^Ｃ、左指定視点残差映像Ｐ^Ｘ、及び穴マスクＬｈに代えて、それぞれ右指定視点映像Ｑ^Ｃ、右指定視点残差映像Ｑ^Ｙ、及び穴マスクＲｈを用いる。

（方式Ｄ：３視点２型）
　方式Ｄでは、図４の５段目及び図８の２段目に示したように、合成奥行マップＧｄとして、基準視点における全体奥行マップＺｄと左残差奥行マップＸｄと右残差奥行マップＹｄとが符号化され、合成映像Ｇとして、基準視点映像Ｃと左残差映像Ｘと右残差映像Ｙとが符号化されている。

　方式Ｄにより多視点映像を合成する多視点映像合成手段２５Ｄは、図１８Ｃ（ａ）に示すように、サイズ復元手段２５４ａと、サイズ復元手段２５４ｂと、サイズ復元手段２５４ｃと、射影手段２５４_Ｌｄ，２５４_Ｒｄと、射影手段２５４_Ｌｅ，２５４_Ｒｅと、射影手段２５４_Ｌｆ，２５４_Ｒｆと、射影手段２５４_Ｌｇ，２５４_Ｒｇと、合成手段２５４_Ｌｈ，２５４_Ｒｈと、を備えて構成されている。

　サイズ復元手段２５４ａは、奥行マップ復号化手段２４から復号化合成奥行マップＧ’ｄの一部である縮小全体奥行マップＺ’_２ｄを入力し、所定の拡大率で拡大することで元のサイズの全体奥行マップＺ’ｄを復元する。サイズ復元手段２５４ａは、復元した全体奥行マップＺ’ｄを射影手段２５４_Ｌｄ及び射影手段２５４_Ｒｄに出力する。

　サイズ復元手段２５４ｂは、奥行マップ復号化手段２４から復号化合成奥行マップＧ’ｄの一部である縮小残差奥行マップＸＹ’_２ｄを入力し、左右の残差奥行マップに分離するとともに、所定の拡大率で拡大することで元のサイズの左残差奥行マップＸ’ｄ及び右残差奥行マップＹ’ｄを復元する。サイズ復元手段２５４ｂは、復元した左残差奥行マップＸ’ｄを射影手段２５４_Ｌｆに、右残差奥行マップＹ’ｄを射影手段２５４_Ｒｆに、それぞれ出力する。

　サイズ復元手段２５４ｃは、映像復号化手段２３から、復号化合成映像Ｇ’の一部である縮小残差映像ＸＹ’_２を入力し、左右の残差映像に分離するともに、所定の拡大率で拡大することで元のサイズの左残差映像Ｘ’及び右残差映像Ｙ’を復元する。サイズ復元手段２５４ｃは、復元した左残差映像Ｘ’を射影手段２５４_Ｌｇに、右残差映像Ｙ’を射影手段２５４_Ｒｇに、それぞれ出力する。

　射影手段２５４_Ｌｄ、射影手段２５４_Ｌｅ、射影手段２５４_Ｌｆ、射影手段２５４_Ｌｇ及び合成手段２５４_Ｌｈは、それぞれ図１８Ａ（ｂ）に示した方式Ｂによる多視点映像合成手段２５Ｂの射影手段２５２ｄ、射影手段２５２ｅ、射影手段２５２ｆ、射影手段２５２ｇ及び合成手段２５２ｈに対応し、同様にして左指定視点映像Ｐを合成するものであるから、説明は省略する。

　また、射影手段２５４_Ｒｄ、射影手段２５４_Ｒｅ、射影手段２５４_Ｒｆ、射影手段２５４_Ｒｇ及び合成手段２５４_Ｒｈは、それぞれ前記した射影手段２５４_Ｌｄ、射影手段２５４_Ｌｅ、射影手段２５４_Ｌｆ、射影手段２５４_Ｌｇ及び合成手段２５４_Ｌｈに対応し、左指定視点映像Ｐに代えて右指定視点映像Ｑを合成するものである。それぞれ基準視点に対する左右の位置関係が異なるだけで、同様にして右指定視点映像Ｑを合成することができるため、詳細な説明は省略する。
　なお、これらの右指定視点映像Ｑを生成するための手段は、前記した左指定視点映像Ｐを生成する手段における左指定視点奥行マップＰｄに代えて右指定視点奥行マップＱｄを生成し、左残差奥行マップＸ’ｄに代えて右残差奥行マップＹ’ｄを用い、左残差映像Ｘ’に代えて右残差映像Ｙ’を用いるものである。同様に、左指定視点映像Ｐ^Ｃ、穴マスクＬｈ及び左指定視点残差映像Ｐ^Ｘに代えて、それぞれ右指定視点映像Ｑ^Ｃ、穴マスクＲｈ及び右指定視点残差映像Ｑ^Ｙを用いる。

（方式Ｅ：３型）
　方式Ｅでは、図４の６段目及び図８の３段目に示したように、合成奥行マップＧｄとして、基準視点（中央視点）におけるワープ化された奥行マップである中央ワープデータＣｗと、左視点におけるワープ化された奥行マップである左ワープデータＬｗとが符号化され、合成映像Ｇとして、２つの視点映像である基準視点映像Ｃと左視点映像Ｌとが符号化されている。

　方式Ｅにより多視点映像を合成する多視点映像合成手段２５Ｅは、図１８Ｃ（ｂ）に示すように、サイズ復元手段２５５ａと、射影手段２５５ｂと、射影手段２５５ｃと、合成手段２５５ｄと、を備えて構成されている。

　サイズ復元手段２５５ａは、奥行マップ復号化手段２４から復号化合成奥行マップＧ’ｄである縮小ワープデータＣＬ’_２ｗを入力し、２つの視点におけるワープデータに分離するともに、所定の拡大率で拡大することで元のサイズの中央ワープデータＣ’ｗ及び左ワープデータＬ’ｗを復元する。サイズ復元手段２５５ａは、復元した中央ワープデータＣ’ｗを射影手段２５５ｂに、左ワープデータＬ’ｗを射影手段２５５ｃに、それぞれ出力する。

　射影手段２５５ｂは、サイズ復元手段２５５ａから中央ワープデータＣ’ｗを、映像復号化手段２３から復号化された合成映像Ｇ’の一部である基準視点映像Ｃ’を、それぞれ入力し、中央ワープデータＣ’ｗを用いて基準視点映像Ｃ’を左指定視点に射影した左指定視点映像Ｐ^Ｃを生成する。射影手段２５５ｂは、生成した左指定視点映像Ｐ^Ｃを合成手段２５５ｄに出力する。

　なお、ワープデータを用いた映像の射影変換ではオクルージョンは生じないため、射影後の映像である左指定視点映像Ｐ^Ｃにおいて射影できなかった画素について周囲の画素値を用いて補間することで滑らかな映像を得ることができる。後記する左指定視点映像Ｐ^Ｌについても同様である。

　射影手段２５５ｃは、サイズ復元手段２５５ａから左ワープデータＬ’ｗを、映像復号化手段２３から復号化された合成映像Ｇ’の一部である左視点映像Ｌ’を、それぞれ入力し、左ワープデータＬ’ｗを用いて左視点映像Ｌ’を左指定視点に射影した左指定視点映像Ｐ^Ｌを生成する。射影手段２５５ｃは、生成した左指定視点映像Ｐ^Ｌを合成手段２５５ｄに出力する。

　合成手段２５５ｄは、射影手段２５５ｂから左指定視点映像Ｐ^Ｃを、射影手段２５５ｃから左指定視点映像Ｐ^Ｌを、それぞれ入力し、左指定視点映像Ｐ^Ｃ及び左指定視点映像Ｐ^Ｌについて画素毎に平均値を算出した映像を左指定視点映像Ｐとして生成する。合成手段２５５ｄは、生成した左指定視点映像Ｐを、例えば、立体映像表示装置４（図１参照）に出力する。

（奥行マップ及び映像を加工しない方式）
　複数の視点における奥行マップ及び映像が加工されることなく符号化されている場合は、多視点映像合成手段２５は、例えば、図１８Ｃ（ｂ）に示した方式Ｅよる多視点映像合成手段２５Ｅにおいて、中央ワープデータＣ’ｗに代えて、全体奥行マップである基準視点奥行マップを用いて基準視点映像Ｃ’を左指定視点に射影した左指定視点映像Ｐ^Ｃを生成するとともに、左ワープデータＬ’ｗに代えて、全体奥行マップである左視点奥行マップを用いて左視点映像Ｌ’を左指定視点に射影した左指定視点映像Ｐ^Ｌを生成する。そして、左指定視点映像Ｐ^Ｃ及び左指定視点映像Ｐ^Ｌについて画素毎に平均することで合成し、左指定視点映像Ｐを生成することができる。
　なお、左指定視点映像Ｐ^Ｃ及び左指定視点映像Ｐ^Ｌにおいて、オクルージョンホールが生じている場合には、互いに補完するようにすればよい。

　以上説明した符号化装置１及び復号化装置２は、それぞれの各構成手段を専用のハードウェア回路を用いて構成することができるが、これに限定されるものではない。これらの装置は、ＣＰＵ（中央演算装置）、メモリ、ハードディスクや光ディスクなどの記憶装置、通信手段などを備えた一般的なコンピュータを、前記した各構成手段として機能させるプログラム（立体映像符号化プログラム及び立体映像復号化プログラム）を実行させることにより実現することもできる。これらのプログラムは、通信回線を介して配布することも可能であるし、光ディスクなどの記録媒体に書き込んで配布することも可能である。
　なお、変形例や後記する他の実施形態についても同様である。

［立体映像符号化装置の動作］
　次に、図１９を参照（適宜図１及び図２参照）して、第１実施形態に係る立体映像符号化装置１の動作について説明する。

（奥行マップ合成処理）
　符号化装置１は、まず、奥行マップ合成手段１３によって、外部から入力した奥行型Ｈｄで指示された合成方式（方式Ａ～方式Ｅの何れか）を選択して、外部から入力した基準視点奥行マップＣｄ、左視点奥行マップＬｄ、右視点奥行マップＲｄ及びカメラパラメータＨｃを用いて、合成奥行マップＧｄを生成する（ステップＳ１１）。
　このとき、奥行マップ合成手段１３は、合成方式に対応した奥行マップ合成手段１３Ａ～１３Ｅ（図３Ａ及び図３Ｂ参照）によって、合成奥行マップＧｄを生成する。
　なお、奥行型Ｈｄが入力されない場合は、符号化装置１は、奥行マップ合成手段１３によって、奥行マップの加工は行わずに、入力した複数の全体奥行マップを、そのままで合成奥行マップＧｄとする。

（奥行マップ符号化処理）
　次に、符号化装置１は、奥行マップ符号化手段１４によって、ステップＳ１１で生成した合成奥行マップＧｄを、例えばプロファイルＩＤ＝１４０として予め定められた符号化のツールの組を用いて符号化して、符号化合成奥行マップｇｄを生成する（ステップＳ１２）。
　このとき、選択された合成方式に応じて、符号化合成奥行マップｇｄとして、図１３に示した符号化全体奥行マップのデータ構造Ｄ１２又は／及び符号化残差奥行マップのデータ構造Ｄ１３の、１又は２以上のＮＡＬＵが生成される。

（映像合成処理）
　次に、符号化装置１は、奥行マップ符号化手段１４によって、ステップＳ１２で生成した符号化合成奥行マップｇｄを復号化して、復号化合成奥行マップＧ’ｄを生成する。また、符号化装置１は、映像合成手段１１によって、前記した奥行型Ｈｄで指定された合成方式（方式Ａ～方式Ｅの何れか）を選択し、復号化合成奥行マップＧ’ｄ及び外部から入力したカメラパラメータＨｃを用いて、基準視点映像Ｃと左視点映像Ｌと、又は基準視点映像Ｃと左視点映像Ｌと右視点映像Ｒと、を合成して、合成映像Ｇを生成する（ステップＳ１３）。
　このとき、映像合成手段１１は、合成方式に対応した映像合成手段１１Ａ～１１Ｃ（図７参照）によって、合成映像Ｇを生成する。

（映像符号化処理）
　次に、符号化装置１は、映像符号化手段１２によって、ステップＳ１３で生成した合成映像Ｇを、例えば、基準視点映像Ｃについては、例えばプロファイルＩＤ＝１００として予め定められた符号化ツールの組を用いて符号化するとともに、残差映像又は左視点映像（非基準視点映像）については、例えばプロファイルＩＤ＝１４０として予め定められた符号化ツールの組を用いて符号化することで、符号化合成映像ｇを生成する（ステップＳ１４）。
　このとき、選択された合成方式に応じて、符号化合成映像ｇとして、図１３に示した符号化基準視点映像のデータ構造Ｄ１０及び符号化残差映像のデータ構造Ｄ１１の、２以上のＮＡＬＵが生成される。

（パラメータ符号化処理）
　次に、符号化装置１は、パラメータ符号化手段１５によって、各種の符号化管理情報Ｈｋ、カメラパラメータＨｃ及び奥行型Ｈｄを含むパラメータを、所定の方式で符号化して、符号化パラメータｈを生成する（ステップＳ１５）。
　このとき、各パラメータは情報種別に応じて、図１４に示したデータ構造のＮＡＬＵが生成される。

　ここで、図２０を参照して、パラメータ符号化処理（図１９のステップＳ１５）について詳細に説明する。
　図２０に示すように、パラメータ符号化手段１５は、基準視点映像についての符号化管理情報Ｈｋの符号化パラメータｈとして、図１４（ａ）に示したデータ構造Ｄ２０のＮＡＬＵを生成する（ステップＳ１０１）。
　次に、パラメータ符号化手段１５は、残差映像や左視点映像などの非基準視点映像についての符号化管理情報Ｈｋの符号化パラメータｈとして、図１４（ｂ）に示したデータ構造Ｄ２１のＮＡＬＵを生成する（ステップＳ１０２）。
　次に、パラメータ符号化手段１５は、カメラパラメータＨｃの符号化パラメータｈとして、図１４（ｃ）に示したデータ構造Ｄ２２のＮＡＬＵを生成する（ステップＳ１０３）。
　次に、パラメータ符号化手段１５は、奥行型Ｈｄの符号化パラメータｈとして、図１４（ｄ）に示したデータ構造Ｄ２３のＮＡＬＵを生成する（ステップＳ１０４）。
　更に他のパラメータがある場合は、所定の方式に従って、パラメータを符号化する。

　なお、各パラメータを符号化する順は本例に限定されるものではなく、適宜に順序を入れ替えてもよい。
　また、奥行型Ｈｄは、一連のシーケンスにおいて、最初に１回だけ伝送すればよいが、動画映像をランダムアクセス可能にするために、映像及び奥行マップの伝送中に挿入して、例えば２４フレーム毎のように定期的に伝送してもよい。また、フレーム毎に変わる可能性のあるカメラパラメータＨｃは、フレーム毎に符号化ビット列ＢＳに挿入して伝送するようにしてもよい。

　図１９に戻って、符号化装置１の動作についての説明を続ける。
（多重化処理）
　次に、符号化装置１は、多重化手段１６によって、ステップＳ１２で生成した符号化合成奥行マップｇｄと、ステップＳ１４で生成した符号化合成映像ｇと、ステップＳ１５で生成した符号化パラメータｈとを、符号化ビット列ＢＳに多重化して、復号化装置２に伝送する（ステップＳ１６）。
　以上のようにして、符号化装置１から復号化装置２に符号化ビット列ＢＳが伝送される。

［立体映像復号化装置の動作］
　次に、図２１を参照（適宜図１及び図１６参照）して、第１実施形態に係る立体映像復号化装置２の動作について説明する。

（分離処理）
　図２１に示すように、まず、復号化装置２は、分離手段２１によって、符号化装置１から符号化ビット列ＢＳを入力し、入力した符号化ビット列ＢＳを情報の単位であるＮＡＬＵ毎に分離して、各ＮＡＬＵに含まれる情報種別に応じて各構成手段に出力する（ステップＳ２１）。

　より詳細には、分離手段２１は、各ＮＡＬＵの開始コードの後に有するＮＡＬＵ型の値を検出し、検出したＮＡＬＵ型の値に応じて当該ＮＡＬＵの出力先を決定する。
　具体的には、ＮＡＬＵ型の値が「５」又は「１」である符号化基準視点映像についてのＮＡＬＵ及びＮＡＬＵ型の値が「２０」である符号化残差映像についてのＮＡＬＵは、符号化合成映像ｇとして、映像復号化手段２３に出力される。
　また、ＮＡＬＵ型の値が「２１」である符号化全体奥行マップ又は符号化残差奥行マップについてのＮＡＬＵは、符号化合成奥行マップｇｄとして、奥行マップ復号化手段２４に出力される。
　また、ＮＡＬＵ型の値が「６」、「７」又は「１５」であるＮＡＬＵは、符号化パラメータｈとして、パラメータ復号化手段２２に出力される。

　また、図１３に示したＮＡＬＵ型の値が「０」であるデータ構造Ｄ１４及びデータ構造Ｄ１５のＮＡＬＵについては、分離手段２１は、値が「０」のＮＡＬＵ型Ｄ１４１及びＮＡＬＵ型Ｄ１５１を削除し、それぞれデータ構造Ｄ１０及びデータ構造Ｄ１１のＮＡＬＵに変換して、奥行マップ復号化手段２４に出力する。すなわち、分離手段２１は、ＮＡＬＵ型の値が「０」のＮＡＬＵを、ＮＡＬＵ型の値が「５」、「１」又は「２０」のＮＡＬＵに変換して奥行マップ復号化手段２４に出力する。

（パラメータ復号化処理）
　次に、復号化装置２は、パラメータ復号化手段２２によって、ステップＳ２１で分離された符号化パラメータｈを復号化し、復号化したパラメータを情報種別に応じて各構成手段に出力する（ステップＳ２２）。

　ここで、図２２を参照して、パラメータ復号化処理（図２１のステップＳ２２）について詳細に説明する。
　なお、図２２に示した例では、説明を簡略化するために、本発明において直接に必要となるパラメータのみを抽出するように説明するが、所定の規格に準拠し、他のパラメータについてもＮＡＬＵ型やペイロード型などに基づいて適切に抽出するものとする。

　図２２に示すように、パラメータ復号化手段２２は、符号化パラメータｈとして入力されたＮＡＬＵが有するＮＡＬＵ型を検出し、ＮＡＬＵ型の値が「７」かどうかを確認する（ステップＳ２０１）。ここで、ＮＡＬＵ型の値が「７」の場合は（ステップＳ２０１でＹｅｓ）、パラメータ復号化手段２２は、ＮＡＬＵ型の後に有するプロファイルＩＤを検出し、プロファイルＩＤの値が「１００」かどうかを確認する（ステップＳ２０２）。

　プロファイルＩＤの値が「１００」の場合は（ステップＳ２０２でＹｅｓ）、一連の符号化ビット列ＢＳに含まれる符号化基準視点映像が、復号化可能な所定の符号化ツールの組で符号化されていることが確認できたので、パラメータ復号化手段２２は、当該ＮＡＬＵに含まれる符号化基準視点映像についてのその他の符号化管理情報Ｈｋを抽出する（ステップＳ２０３）。パラメータ復号化手段２２は、プロファイルＩＤを含めて、抽出した符号化管理情報Ｈｋを映像復号化手段２３及び奥行マップ復号化手段２４に出力する。
　一方、プロファイルＩＤの値が「１００」でなかった場合は（ステップＳ２０２でＮｏ）、復号化装置２は、符号化基準視点映像を復号化できないため、復号化処理を中止する。これによって、復号化装置２の誤動作を防止することができる。

　また、ＮＡＬＵ型の値が「７」でない場合は（ステップＳ２０１でＮｏ）、パラメータ復号化手段２２は、ＮＡＬＵ型の値が「１５」かどうかを確認する（ステップＳ２０４）。ここで、ＮＡＬＵ型の値が「１５」の場合は（ステップＳ２０４でＹｅｓ）、パラメータ復号化手段２２は、ＮＡＬＵ型の後に有するプロファイルＩＤを検出し、プロファイルＩＤの値が「１１８」、「１２８」、「１３８」、「１３９」又は「１４０」かどうかを確認する（ステップＳ２０５）。

　プロファイルＩＤの値が「１１８」、「１２８」、「１３８」、「１３９」又は「１４０」の場合は（ステップＳ２０５でＹｅｓ）、一連の符号化ビット列ＢＳに含まれる基準視点映像以外の映像（非基準視点映像）に係る情報である符号化残差映像、符号化全体奥行マップ及び符号化残差奥行マップが、復号化可能な所定の符号化ツールの組で符号化されていることが確認できたので、パラメータ復号化手段２２は、当該ＮＡＬＵに含まれる非基準視点映像についてのその他の符号化管理情報Ｈｋを抽出する（ステップＳ２０６）。パラメータ復号化手段２２は、プロファイルＩＤを含めて、抽出した符号化管理情報Ｈｋを映像復号化手段２３及び奥行マップ復号化手段２４に出力する。

　なお、プロファイルＩＤの値が「１１８」、「１２８」、「１３８」又は「１３９」の場合は、非基準視点映像についての符号化に使用された符号化ツールの組が、前記した奥行マップ及び映像の合成方式がサポートされない旧規格に基づいて定められたものであって、奥行マップ及び非基準視点における映像が、加工されることなく多視点の奥行マップ及び映像として符号化されていることを示すものである。
　また、プロファイルＩＤの値が「１４０」の場合は、前記した合成方式（方式Ａ～方式Ｅの何れか）によって奥行マップ及び映像が符号化されていることを示すものである。なお、プロファイルＩＤの値が「１４０」の場合は、合成方式を示す奥行型Ｈｄが、更に別のＮＡＬＵとして伝送される。

　一方、プロファイルＩＤの値が「１１８」、「１２８」、「１３８」、「１３９」又は「１４０」でなかった場合は（ステップＳ２０５でＮｏ）、復号化装置２は、奥行マップ及び非基準視点映像についての符号化情報を復号化できないため、復号化処理を中止する。これによって、復号化装置２の誤動作を防止することができる。

　また、ＮＡＬＵ型の値が「１５」でない場合は（ステップＳ２０４でＮｏ）、パラメータ復号化手段２２は、ＮＡＬＵ型の値が「６」かどうかを確認する（ステップＳ２０７）。ここで、ＮＡＬＵ型の値が「６」の場合は（ステップＳ２０７でＹｅｓ）、パラメータ復号化手段２２は、ＮＡＬＵ型の後に有するペイロード型を検出し、ペイロード型の値が「５０」かどうかを確認する（ステップＳ２０８）。

　ペイロード型の値が「５０」の場合は（ステップＳ２０８でＹｅｓ）、パラメータ復号化手段２２は、当該ＮＡＬＵに含まれるカメラパラメータＨｃを抽出する（ステップＳ２０９）。パラメータ復号化手段２２は、抽出したカメラパラメータＨｃを多視点映像合成手段２５に出力する。
　一方、ペイロード型の値が「５０」でなかった場合は（ステップＳ２０８でＮｏ）、パラメータ復号化手段２２は、ペイロード型の値が「５３」かどうかを確認する（ステップＳ２１０）。

　ペイロード型の値が「５３」の場合は（ステップＳ２１０でＹｅｓ）、パラメータ復号化手段２２は、当該ＮＡＬＵに含まれる奥行型Ｈｄを抽出する（ステップＳ２１１）。パラメータ復号化手段２２は、抽出した奥行型Ｈｄを多視点映像合成手段２５に出力する。
　一方、ペイロード型の値が「５３」でなかった場合は（ステップＳ２１０でＮｏ）、復号化装置２は、自己にとって未知のペイロード型であるかどうかを確認し、未知の場合は、このＮＡＬＵを無視する。

　また、ＮＡＬＵ型の値が「６」でない場合（ステップＳ２０７でＮｏ）、復号化装置２は、自己にとって未知のＮＡＬＵ型でない限り、復号化処理を継続する。

　なお、前記した奥行マップ及び映像の合成方式がサポートされない旧規格に準拠する復号化装置においては、プロファイルＩＤの値が「１１８」、「１２８」、「１３８」又は「１３９」の場合は、奥行マップ及び非基準視点映像の復号化処理を続行することができる。一方、プロファイルＩＤの値が「１４０」の場合は、旧規格に準拠する復号化装置にとって未知の符号化ツールの組を使用しているため、奥行マップ及び非基準視点映像についての復号化処理を行わないようにする。これによって、旧規格に準拠する復号化装置の誤動作を防止するとともに、前方互換性を保つことができる。

　また、プロファイルＩＤの値が「１４０」の場合であっても、基準視点映像についてのプロファイルＩＤの値が「１００」である場合は、旧規格に準拠する復号化装置は、基準視点映像についての復号化処理を続行して１視点映像として利用することができ、前方互換性を保つことができる。

　更にまた、複数の視点映像の符号化をサポートしない、更に古い規格に準拠した復号化装置においては、プロファイルＩＤが「１１８」、「１２８」、「１３８」、「１３９」又は「１４０」の場合には、奥行マップ及び非基準視点映像についての情報を未知の情報として復号化処理せずに、基準視点映像についての復号化処理のみを続行する。これによって、復号化した基準視点映像を１視点映像として利用することができ、前方互換性を保つことができる。

　図２１に戻って、復号化装置２の動作について説明を続ける。
（映像復号化処理）
　次に、復号化装置２は、映像復号化手段２３によって、ステップＳ２２で検出したプロファイルＩＤの値で示された符号化ツールの組（符号化方式）により、ステップＳ２１で分離された符号化合成映像ｇを復号化することで、復号化合成映像Ｇ’を生成する（ステップＳ２３）。

　このとき、映像復号化手段２３は、符号化合成映像ｇをＮＡＬＵ毎に復号化する。ここで、ＮＡＬＵ型の値が「５」又は「１」のＮＡＬＵについて、映像復号化手段２３は、ステップＳ２０３（図２２参照）で抽出されたプロファイルＩＤ（値が「１００」）を含む符号化管理情報Ｈｋで示される符号化方式により、符号化されている基準視点映像を復号化することで、基準視点映像Ｃ’を生成する。

　また、ＮＡＬＵ型の値が「２０」のＮＡＬＵについて、映像復号化手段２３は、ステップＳ２０６（図２２参照）で抽出されたプロファイルＩＤ（値が「１１８」、「１２８」、「１３８」、「１３９」又は「１４０」）を含む符号化管理情報Ｈｋで示される符号化方式により、符号化されている非基準視点についての映像を復号化することで、左視点映像Ｌ’や左縮小残差映像Ｘ’_２等を生成する。

（奥行マップ復号化処理）
　次に、復号化装置２は、奥行マップ復号化手段２４によって、ステップＳ２２で検出したプロファイルＩＤの値で示された符号化ツールの組（符号化方式）により、ステップＳ２１で分離された符号化合成奥行マップｇｄを復号化することで、復号化合成奥行マップＧ’ｄを生成する（ステップＳ２４）。

　このとき、奥行マップ復号化手段２４は、符号化合成奥行マップｇｄをＮＡＬＵ毎に復号化する。ここで、ＮＡＬＵ型の値が「２１」のＮＡＬＵについて、奥行マップ復号化手段２４は、ステップＳ２０６（図２２参照）で抽出されたプロファイルＩＤ（値が「１３８」、「１３９」又は「１４０」）を含む符号化管理情報Ｈｋで示される符号化方式により、符号化合成奥行マップｇｄを復号化することで、復号化合成奥行マップＧ’ｄを生成する。
　また、奥行マップ復号化手段２４は、ＮＡＬＵ型の値が「５」、「１」又は「２０」のＮＡＬＵについては、ステップＳ２０６（図２２参照）で抽出されたプロファイルＩＤ（値が「１１８」又は「１２８」）を含む符号化管理情報Ｈｋで示される符号化方式により、符号化合成奥行マップｇｄを復号化することで、復号化合成奥行マップＧ’ｄを生成する。

（多視点映像合成処理）
　次に、復号化装置２は、多視点映像合成手段２５によって、ステップＳ２１１で抽出した奥行型Ｈｄで示される合成方式に従って、ステップＳ２０９（図２２参照）で抽出したカメラパラメータＨｃと、ステップＳ２３で復号化した合成映像Ｇ’と、ステップＳ２４で復号化した合成奥行マップＧ’ｄと、を用いて、多視点映像を合成する（ステップＳ２５）。
　このとき、多視点映像合成手段２５は、奥行型Ｈｄで指示された合成方式（方式Ａ～方式Ｅ）に対応した多視点映像合成手段２５Ａ～２５Ｅ（図１８Ａ～図１８Ｃ参照）によって、多視点映像Ｐ，Ｑなどを合成する。

　以上説明したように、第１実施形態に係る立体映像伝送システムＳは、映像及び奥行マップの合成方式を示す奥行型を、合成映像及び合成奥行マップとは別の単位情報（ＮＡＬＵ）であって、復号化と表示のための補助情報であるＳＥＩメッセージとして、符号化ビット列に多重化して伝送する。このため、復号化装置２側では、データ量の少ない補助情報であるＳＥＩメッセージを先に復号化して奥行型を識別してから、データ量の多い合成映像及び合成奥行マップを適切に復号化することができる。

　多視点映像をサポートしていない旧規格に準拠した復号化装置がこのような符号化ビット列を受信した場合は、その復号化装置が認識できない符号化奥行マップなどを非対応の情報として無視することで、誤動作を防止することができる。
　また、基準視点映像、又は基準視点映像及び他の視点の映像など、準拠する旧規格に応じて、その復号化装置が対応可能な範囲で適切に復号化することができ、２次元映像、又は自由視点への射影を伴わない多視点映像として利用することができる。すなわち、前方互換性を保つことができる。

　また、非基準視点映像及び奥行マップについては、基準視点映像であることを示す識別情報（ＮＡＬＵ型＝５）に代えて、基準視点映像とは異なる種別であることを示す識別情報（ＮＡＬＵ型＝２０，２１）を付加し、合成方式を示す情報である奥行型については、映像情報とは別の補助情報として符号化して伝送する。すなわち、映像、奥行マップについてのＮＡＬＵのデータ構造が従来の基準視点映像と同じであるため、同じ符号化ツールを用いて符号化及び復号化することができる。

＜第２実施形態＞
　次に、本発明の第２実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
　第２実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムは、合成方式を示す奥行型を、復号化された映像の表示のための補助情報のパラメータとして符号化するものである。

　この補助情報は、ＭＰＥＧ－４　ＡＶＣ符号化規格においては、ＭＶＣ＿ＶＵＩ（Multiview Video Coding_Video Usability Information：映像利便情報）に相当するものである。当該符号化規格において、ＭＶＣ＿ＶＵＩは、非基準視点映像についての符号化管理情報であるＳ＿ＳＰＳとして符号化されるパラメータ群の１つである。また、ＭＶＣ＿ＶＵＩは、複数のパラメータ群を含むことができる。

　図１４（ｅ）を参照して、奥行型情報を含む符号化パラメータであるＭＶＣ＿ＶＵＩのデータ構造について説明する。
　図１４（ｅ）に示すように、この符号化パラメータのデータ構造Ｄ２４は、先頭に開始コードＤ１００を有し、Ｓ＿ＳＰＳであることを識別する識別情報として、値が「１５」のＮＡＬＵ型Ｄ２４１を有する。その次に、非基準視点映像についての符号化に使用した符号化ツールの組を示すプロファイルＩＤ（Ｄ２４２）として、値「１１８」、「１２８」、「１３８」、「１３９」又は「１４０」が設定される。そして、その次にＭＶＣ＿ＶＵＩについてのパラメータを有するかどうかを示す識別情報として、ＭＶＣ＿ＶＵＩフラグＤ２４３を有する。このＭＶＣ＿ＶＵＩフラグＤ２４３は「０」又は「１」の値をとり、「０」の場合は、ＭＶＣ＿ＶＵＩについてのパラメータを有さない。すなわち、ＭＶＣ＿ＶＵＩフラグＤ２４３の次には、次のパラメータ群について、その有無を示す同様のフラグが配列される。

　ＭＶＣ＿ＶＵＩフラグＤ２４３が「１」の場合は、当該フラグの後にＭＶＣ＿ＶＵＩのパラメータ群が配列される。図１４（ｅ）に示した例では、最初のパラメータ群として、奥行型を有するかどうかを示す識別情報として、奥行型フラグＤ２４４を有している。この奥行型フラグＤ２４４は「０」又は「１」の値をとり、「０」の場合は、奥行型についてのパラメータを有さない。すなわち、奥行型フラグの次には、次のパラメータ群についての同様のフラグが配列される。このように構成することにより、伝送する必要のないパラメータについては、パラメータを有さないこと示すフラグとして、１ビットのデータ「０」を配列するだけで済む。

　この例のように、奥行型フラグＤ２４４が「１」の場合は、当該フラグの後に奥行型のパラメータとして、奥行型の値Ｄ２４５が配列される。本実施形態では、奥行型の値Ｄ２４５として「０」，「１」，「２」，「３」，「４」の何れかが設定され、図１５に示したように、それぞれの値に対応して、合成方式が方式Ａ～方式Ｅの何れであるかを示している。

　なお、図１４（ｅ）に示した例では、ＭＶＣ＿ＶＵＩのパラメータ群として、奥行型情報Ｄ２４４，Ｄ２４５のみを示したが、複数のパラメータ群が所定の順序で配列される。従って、ＭＶＣ＿ＶＵＩから奥行型の情報Ｄ２４４，Ｄ２４５を抽出するためには、奥行型情報Ｄ２４４，Ｄ２４５よりも前に配列されるすべてのパラメータ群を先に復号化することとなる。

　また、Ｓ＿ＳＰＳのＮＡＬＵは、ＭＶＣ＿ＶＵＩのパラメータ群の後に、更にその他の非基準視点映像についての符号化管理情報Ｄ２４６を有しており、ＭＶＣ＿ＶＵＩのパラメータ群に続いて順次に復号化される。

　本実施形態のようにパラメータ群の配列順序を予め定めておくことにより、例えば、第１実施形態においてＳＥＩメッセージとして奥行型を個別のＮＡＬＵとして伝送する場合に対して、個々のパラメータ群を識別するための識別情報（例えば、ペイロード型）に固有の値を割当てる必要がない。このため、新規にパラメータを追加しやすいという利点がある。

　なお、第２実施形態は、第１実施形態とは、前記したように、奥行型の符号化方法が異なるだけである。すなわち、図２に示したパラメータ符号化手段１５における奥行型の符号化方法と、図１６に示したパラメータ復号化手段２２における奥行型の抽出方法とが異なり、他の構成については第１実施形態と同様であるから、詳細な構成についての説明は省略する。

［立体映像符号化装置の動作］
　次に、図２、図１９及び図２０を参照して、第２実施形態に係る符号化装置１の動作について説明する。
　第２実施形態に係る符号化装置１は、図１９に示したように、第１実施形態に係る符号化装置１と同様にして、ステップＳ１１からステップＳ１４までの処理を行う。

（パラメータ符号化処理）
　次に、符号化装置１は、パラメータ符号化手段１５によって、各種の符号化管理情報Ｈｋ、カメラパラメータＨｃ及び奥行型Ｈｄを含むパラメータを、所定の方式で符号化して、符号化パラメータｈを生成する（ステップＳ１５）。
　このとき、符号化装置１は、図２０に示したステップＳ１０４において、パラメータ符号化手段１５によって、奥行型Ｈｄを含むパラメータを符号化し、図１４（ｅ）に示したデータ構造Ｄ２４のＮＡＬＵを生成する。また、このＮＡＬＵにおいて、奥行型Ｈｄは、他のパラメータ群とともに、予め定められた順序で配列される。

　なお、奥行型Ｈｄを含むＮＡＬＵは、非基準視点映像についての符号化管理情報Ｈｋを伝送するためのＮＡＬＵと同じＮＡＬＵ型である。当該ＮＡＬＵ型においては、予め定められた複数のパラメータ群を１つのＮＡＬＵに含めることができる。このため、ステップＳ１０２で生成するＮＡＬＵに奥行型Ｈｄを含めるようにしてもよい。
　他のパラメータについては、第１実施形態と同様であるから説明は省略する。

（多重化処理）
　次に、符号化装置１は、多重化手段１６によって、第１実施形態と同様にして、ステップＳ１２で生成した符号化合成奥行マップｇｄと、ステップＳ１４で生成した符号化合成映像ｇと、ステップＳ１５で生成した符号化パラメータｈとを、符号化ビット列ＢＳに多重化して、復号化装置２に伝送する（ステップＳ１６）。

［立体映像復号化装置の動作］
　次に、図２１及び図２３を参照（適宜図１及び図１６参照）して、第２実施形態に係る立体映像復号化装置２の動作について説明する。なお、第１実施形態と同様の動作をする処理については、説明を適宜に省略する。

（分離処理）
　図２１に示したように、まず、復号化装置２は、分離手段２１によって、第１実施形態と同様にして、符号化装置１から符号化ビット列ＢＳを入力し、入力した符号化ビット列ＢＳを情報の単位であるＮＡＬＵ毎に分離して、各ＮＡＬＵに含まれる情報種別に応じて各構成手段に出力する（ステップＳ２１）。

（パラメータ復号化処理）
　次に、復号化装置２は、パラメータ復号化手段２２によって、ステップ２１で分離された符号化パラメータｈを復号化し、復号化したパラメータを情報種別に応じて各構成手段に出力する（ステップＳ２２）。
　なお、ステップＳ２３からステップＳ２５は、第１実施形態と同様であるから、説明を省略する。

　ここで、図２３を参照して、パラメータ復号化処理（図２１のステップＳ２２）について詳細に説明する。
　図２３に示すように、パラメータ復号化手段２２は、符号化パラメータｈとして入力されたＮＡＬＵが有するＮＡＬＵ型を検出し、ＮＡＬＵ型の値が「７」かどうかを確認する（ステップＳ３０１）。ここで、ＮＡＬＵ型の値が「７」の場合は（ステップＳ３０１でＹｅｓ）、パラメータ復号化手段２２は、ＮＡＬＵ型の後に有するプロファイルＩＤを検出し、プロファイルＩＤの値が「１００」かどうかを確認する（ステップＳ３０２）。

　プロファイルＩＤの値が「１００」の場合は（ステップＳ３０２でＹｅｓ）、一連の符号化ビット列ＢＳに含まれる符号化基準視点映像が、復号化可能な所定の符号化ツールの組で符号化されていることが確認できたので、パラメータ復号化手段２２は、当該ＮＡＬＵに含まれる符号化基準視点映像についてのその他の符号化管理情報Ｈｋを抽出する（ステップＳ３０３）。パラメータ復号化手段２２は、プロファイルＩＤを含めて、抽出した符号化管理情報Ｈｋを映像復号化手段２３及び奥行マップ復号化手段２４に出力する。
　一方、プロファイルＩＤの値が「１００」でなく、自己が復号化できない方式を示す値であった場合は（ステップＳ３０２でＮｏ）、復号化装置２は、符号化基準視点映像を復号化できないため、復号化処理を中止する。これによって、復号化装置２の誤動作を防止することができる。

　また、ＮＡＬＵ型の値が「７」でない場合は（ステップＳ３０１でＮｏ）、パラメータ復号化手段２２は、ＮＡＬＵ型の値が「１５」かどうかを確認する（ステップＳ３０４）。ここで、ＮＡＬＵ型の値が「１５」の場合は（ステップＳ３０４でＹｅｓ）、パラメータ復号化手段２２は、ＮＡＬＵ型の後に有するプロファイルＩＤを検出し、プロファイルＩＤの値が「１１８」、「１２８」、「１３８」、「１３９」又は「１４０」かどうかを確認する（ステップＳ３０５）。

　プロファイルＩＤの値が「１１８」、「１２８」、「１３８」、「１３９」又は「１４０」の場合は（ステップＳ３０５でＹｅｓ）、一連の符号化ビット列ＢＳに含まれる基準視点映像以外の映像（非基準視点映像）に係る情報である符号化残差映像、符号化全体奥行マップ及び符号化残差奥行マップが、復号化可能な所定の符号化ツールの組で符号化されていることが確認できたので、パラメータ復号化手段２２は、当該ＮＡＬＵに含まれる非基準視点映像についてのその他の符号化管理情報Ｈｋを抽出する（ステップＳ３０６）。パラメータ復号化手段２２は、プロファイルＩＤを含めて、抽出した符号化管理情報Ｈｋを映像復号化手段２３及び奥行マップ復号化手段２４に出力する。

　本実施形態においては、奥行型ＨｄはＮＡＬＵ型の値が「１５」のＮＡＬＵに含めて伝送される。従って、奥行型Ｈｄの抽出処理は、非基準視点映像についての符号化管理情報Ｈｋについての一連の抽出処理の一部として行われる。ここでは、便宜的に、奥行型Ｈｄが含まれるＭＶＣ＿ＶＵＩより前に配列されているパラメータ群が抽出され、続いてＭＶＣ＿ＶＵＩから奥行型Ｈｄを抽出するものとして説明する。
　なお、図１４（ｅ）に示したデータ構造Ｄ２４のように、ＭＶＣ＿ＶＵＩの後に、非基準視点映像についてのその他の符号化管理情報が配列される場合には、奥行型Ｈｄを含めたＭＶＣ＿ＶＵＩのパラメータ群を抽出した後に、その他の符号化管理情報を抽出するようにすればよい。

　ＭＶＣ＿ＶＵＩよりも前に配列されているパラメータ群の抽出処理（前記ステップＳ３０６）に続いて、パラメータ復号化手段２２は、ＭＶＣ＿ＶＵＩフラグの値が「１」かどうかを確認する（ステップＳ３０７）。ＭＶＣ＿ＶＵＩフラグの値が「１」の場合は（ステップＳ３０７でＹｅｓ）、パラメータ復号化手段２２は、ＭＶＣ＿ＶＵＩに予め定められた順序で配列されているパラメータ群の抽出を行い、奥行型情報が配列されパラメータ群についてのフラグである奥行型フラグの値が「１」かどうかを確認する（ステップＳ３０８）。奥行型フラグの値が「１」の場合は（ステップＳ３０８でＹｅｓ）、パラメータ復号化手段２２は、奥行型フラグの次に配列されている奥行型Ｈｄの値を抽出する（ステップＳ３０９）。パラメータ復号化手段２２は、抽出した奥行型Ｈｄを多視点映像合成手段２５に出力する。

　一方、奥行型フラグの値が「０」の場合は（ステップＳ３０８でＮｏ）、奥行型Ｈｄが含まれないため、パラメータ復号化手段２２は、このＮＡＬＵについての処理を終了する。
　なお、多視点映像合成手段２５は、パラメータ復号化手段２２から奥行型Ｈｄが入力されなかった場合は、奥行マップ及び映像の合成方式として、「加工なし」が選択されているものとして合成奥行マップ及び合成映像を取り扱うものとする。
　また、奥行型フラグの値が「０」の場合に、パラメータ復号化手段２２は、奥行型フラグの値が「０」であること示す情報を多視点映像合成手段２５に出力し、奥行マップ及び映像の合成方式として、「加工なし」が選択されていることを明示的に示すようにしてもよい。

　また、ＭＶＣ＿ＶＵＩフラグの値が「０」の場合は（ステップＳ３０７でＮｏ）、このＮＡＬＵにはＭＶＣ＿ＶＵＩのパラメータ群がないため、パラメータ復号化手段２２は、このＮＡＬＵについての処理を終了する。

　一方、プロファイルＩＤの値が「１１８」、「１２８」、「１３８」、「１３９」又は「１４０」でなかった場合は（ステップＳ３０５でＮｏ）、復号化装置２は、奥行マップ及び非基準視点映像についての符号化情報を復号化できないため、復号化処理を中止する。これによって、復号化装置２の誤動作を防止することができる。

　また、ＮＡＬＵ型の値が「１５」でない場合は（ステップＳ３０４でＮｏ）、パラメータ復号化手段２２は、ＮＡＬＵ型の値が「６」かどうかを確認する（ステップＳ３１０）。ここで、ＮＡＬＵ型の値が「６」の場合は（ステップＳ３１０でＹｅｓ）、パラメータ復号化手段２２は、ＮＡＬＵ型の後に有するペイロード型を検出し、ペイロード型の値が「５０」かどうかを確認する（ステップＳ３１１）。

　ペイロード型の値が「５０」の場合は（ステップＳ３１１でＹｅｓ）、パラメータ復号化手段２２は、当該ＮＡＬＵに含まれるカメラパラメータＨｃを抽出する（ステップＳ３１２）。パラメータ復号化手段２２は、抽出したカメラパラメータＨｃを多視点映像合成手段２５に出力する。
　一方、ペイロード型の値が「５０」でなく、未知の値であった場合は（ステップＳ３１１でＮｏ）、復号化装置２は、自己にとって未知のペイロード型であるため、これを無視する。
　また、ＮＡＬＵ型の値が「６」でない場合（ステップＳ３１０でＮｏ）、復号化装置２は、自己にとって未知のＮＡＬＵ型でない限り、復号化を継続する。

　なお、図２３に示した例では、説明を簡単にするために、本発明において直接に必要となるパラメータのみを抽出するように説明したが、所定の規格に準拠し、他のパラメータについてもＮＡＬＵ型やペイロード型などに基づいて適切に抽出するものとする。

　また、本発明によれば、多数の視点映像を必要とする裸眼立体映像を、少数の視点映像と、その奥行マップとして、効率良く圧縮符号化して伝送でき、高能率かつ高品質な立体映像を低コストで提供することが可能となる。従って、本発明を用いた立体映像蓄積・伝送装置やサービスは、多数の視点映像を必要とする裸眼立体映像であっても、容易にデータを蓄積・伝送可能であるとともに、高品質な立体映像を提供することができる。

　また、本発明は、立体テレビ放送や立体映像レコーダ、立体映画、立体映像を用いた教育機器や展示機器、インターネットサービスなどに広く用いて、その効果を発揮することができる。更に、本発明は、視聴者が自由に視点位置を変えられる自由視点テレビや自由視点映画に用いても、その効果を発揮することができる。

　また、本発明の立体映像符号化装置で生成された多視点映像は、多視点映像を復号化できない既存の復号化装置であっても、１視点映像として利用することができる。

　１　　　立体映像符号化装置
　１１　　映像合成手段
　１１Ａ　映像合成手段
　１１Ｂ　映像合成手段
　１１Ｃ　映像合成手段
　１２　　映像符号化手段
　１３　　奥行マップ合成手段
　１３Ａ　奥行マップ合成手段
　１３Ｂ　奥行マップ合成手段
　１３Ｃ　奥行マップ合成手段
　１３Ｄ　奥行マップ合成手段
　１３Ｅ　奥行マップ合成手段
　１４　　奥行マップ符号化手段
　１５　　パラメータ符号化手段
　１６　　多重化手段
　２　　　立体映像復号化装置
　２１　　分離手段
　２２　　パラメータ復号化手段
　２３　　映像復号化手段
　２４　　奥行マップ復号化手段
　２５　　多視点映像合成手段
　２５Ａ　多視点映像合成手段
　２５Ｂ　多視点映像合成手段
　２５Ｃ　多視点映像合成手段
　２５Ｄ　多視点映像合成手段
　２５Ｅ　多視点映像合成手段
　Ｄ１００　開始コード
　Ｄ１０１　ＮＡＬＵ型（第１識別情報）
　Ｄ１１１　ＮＡＬＵ型（第１識別情報）
　Ｄ１２１　ＮＡＬＵ型（第２識別情報）
　Ｄ１３１　ＮＡＬＵ型（第２識別情報）
　Ｄ２１１　ＮＡＬＵ型（第８識別情報）
　Ｄ２１２　プロファイルＩＤ（第５識別情報）
　Ｄ２３１　ＮＡＬＵ型（第４識別情報、第６識別情報）
　Ｄ２３２　ペイロード型（第４識別情報、第７識別情報）
　Ｄ２３３　奥行型（第３識別情報）
　Ｄ２４１　ＮＡＬＵ型（第４識別情報、第８識別情報）
　Ｄ２４２　プロファイルＩＤ（第５識別情報）
　Ｄ２４３　ＭＶＣ＿ＶＵＩフラグ（第４識別情報）
　Ｄ２４４　奥行型フラグ（第４識別情報）
　Ｄ２４５　奥行型（第３識別情報）

Claims

　複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか１つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成した合成奥行マップと、を符号化し、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して、一連の符号化ビット列を生成する立体映像符号化装置であって、
　前記多視点映像を、前記複数種類の所定の映像合成方式の内の何れか１つの方式によって合成することで、符号化の対象である前記合成映像を生成する映像合成手段と、
　前記合成映像を符号化し、符号化された合成映像であることを識別する第１識別情報を付加した符号化合成映像を生成する映像符号化手段と、
　前記多視点映像に付随する複数の奥行マップを、前記複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成することで、符号化の対象である前記合成奥行マップを生成する奥行マップ合成手段と、
　前記合成奥行マップを符号化し、符号化された合成奥行マップであることを識別する第２識別情報を付加して符号化合成奥行マップを生成する奥行マップ符号化手段と、
　前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第３識別情報を、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化し、符号化された前記補助情報であることを識別する第４識別情報を付加して符号化パラメータを生成するパラメータ符号化手段と、
　前記符号化合成奥行マップと、前記符号化合成映像と、前記符号化パラメータとを多重化して前記一連の符号化ビット列を生成する多重化手段と、
　を備えることを特徴とする立体映像符号化装置。
　前記映像符号化手段は、前記複数の視点の内から基準視点として定めた映像である基準視点映像と、前記基準視点以外の視点における映像である非基準視点映像とについて、それぞれ異なる前記所定単位として符号化し、前記第１識別情報として、前記基準視点映像についての所定単位と、前記非基準視点映像についての所定単位とで、互いに異なる固有値を付加することを特徴とする請求項１に記載の立体映像符号化装置。
　前記パラメータ符号化手段は、前記合成奥行マップ及び前記合成映像を符号化した際に用いた符号化ツールの組を識別する第５識別情報を、前記補助情報の更なるパラメータとして符号化することを特徴とする請求項１又は請求項２に記載の立体映像符号化装置。
　前記第３識別情報は、
　前記所定単位に１種類の情報及びこの情報に付随する情報のみが含まれる第１型の補助情報として符号化され、
　前記第４識別情報として、
　前記第１型の補助情報であることを識別する第６識別情報と、
　前記第３識別情報が含まれることを識別する第７識別情報と、を付加して符号化されることを特徴とする請求項１又は請求項２に記載の立体映像符号化装置。
　前記第３識別情報は、
　前記所定単位に１種類の情報及びこの情報に付随する情報のみが含まれる第１型の補助情報として符号化され、
　前記第４識別情報として、
　前記第１型の補助情報であることを識別する第６識別情報と、
　前記第３識別情報が含まれることを識別する第７識別情報と、を付加して符号化され、
　前記第５識別情報は、
　前記所定単位に所定の複数種類の情報が含まれる第２型の補助情報に含めて符号化され、
　前記第２型の補助情報であることを識別する第８識別情報を付加して符号化されることを特徴とする請求項３に記載の立体映像符号化装置。
　複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか１つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成した合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する情報を含む補助情報と、が符号化され、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して多重化された符号化ビット列を復号化して得られる復号化合成映像、復号化合成奥行マップ、及び前記補助情報を用いて、多視点映像を合成する立体映像復号化装置であって、
　前記符号化ビット列は、前記所定単位毎に、符号化された前記合成映像に、前記符号化された合成映像であることを識別する第１識別情報が付加された符号化合成映像と、符号化された前記合成奥行マップに、前記符号化された合成奥行マップであることを識別する第２識別情報が付加された符号化合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第３識別情報が、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化され、符号化された前記補助情報であることを識別する第４識別情報が付加された符号化パラメータと、が多重化されており、
　前記所定単位毎に、前記第１識別情報を有する単位を前記符号化合成映像として、前記第２識別情報を有する単位を前記符号化合成奥行マップとして、前記第４識別情報を有する単位を前記符号化パラメータとして、それぞれ分離する分離手段と、
　前記符号化パラメータから、前記第３識別情報を復号化するパラメータ復号化手段と、
　前記符号化合成映像を復号化して、前記復号化合成映像を生成する映像復号化手段と、
　前記符号化合成奥行マップを復号化して、前記復号化合成奥行マップを生成する奥行マップ復号化手段と、
　前記パラメータ復号化手段が生成した前記第３識別情報に従って、前記復号化合成映像及び前記復号化合成奥行マップを用いて、複数の視点における映像を合成する多視点映像合成手段と、
を備えることを特徴とする立体映像復号化装置。
　前記符号化合成映像は、前記複数の視点の内から基準視点として定めた映像である基準視点映像と、前記基準視点以外の視点における映像である非基準視点映像とについて、それぞれ異なる前記所定単位として符号化され、前記第１識別情報として、前記基準視点映像についての所定単位と、前記非基準視点映像についての所定単位とで、互いに異なる固有値が付加されていることを特徴とする請求項６に記載の立体映像復号化装置。
　前記符号化パラメータは、前記合成奥行マップ及び前記合成映像を符号化した際に用いた符号化ツールの組を識別する第５識別情報が、前記補助情報の更なるパラメータとして符号化されており、
　前記パラメータ復号化手段は、前記符号化パラメータから、更に前記第５識別情報を復号化し、
　前記映像復号化手段は、前記パラメータ復号化手段が復号化した前記第５識別情報が、前記合成映像が復号化可能な符号化ツールの組によって符号化されたことを示す場合は、前記符号化合成映像を復号化し、前記第５識別情報が、前記合成映像が復号化可能な符号化ツールの組によって符号化されたことを示さない場合は、前記符号化合成映像を復号化しないことを特徴とする請求項６又は請求項７に記載の立体映像復号化装置。
　前記第３識別情報は、前記所定単位に１種類の情報及びこの情報に付随する情報のみが含まれる第１型の補助情報として符号化され、
　前記第４識別情報として、前記第１型の補助情報であることを識別する第６識別情報と、前記第３識別情報が含まれることを識別する第７識別情報と、が付加されて符号化されており、
　前記分離手段は、前記所定単位が前記第６識別情報を有する場合に、当該所定単位を前記符号化パラメータとして分離し、
　前記パラメータ復号化手段は、前記第６識別情報を有する符号化パラメータが、前記第７識別情報を有する場合に、当該符号化パラメータから前記第３識別情報を復号化することを特徴とする請求項６又は請求項７に記載の立体映像復号化装置。
　前記第３識別情報は、前記所定単位に１種類の情報及びこの情報に付随する情報のみが含まれる第１型の補助情報として符号化され、
　前記第４識別情報として、前記第１型の補助情報であることを識別する第６識別情報と、前記第３識別情報が含まれることを識別する第７識別情報と、が付加されて符号化され、
　前記第５識別情報は、前記所定単位に所定の複数種類の情報が含まれる第２型の補助情報として符号化され、かつ、前記第２型の補助情報であることを識別する第８識別情報が付加されて符号化されており、
　前記分離手段は、前記所定単位が前記第６識別情報又は前記第８識別情報を有する場合に、当該所定単位を前記符号化パラメータとして分離し、
　前記パラメータ復号化手段は、前記第６識別情報を有する符号化パラメータが、前記第７識別情報を有する場合に、当該符号化パラメータから前記第３識別情報を復号化するとともに、前記第８識別情報を有する符号化パラメータから前記第５識別情報を復号化することを特徴とする請求項８に記載の立体映像復号化装置。
　複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか１つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成した合成奥行マップと、を符号化し、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して、一連の符号化ビット列を生成する立体映像符号化方法であって、
　前記多視点映像を、前記複数種類の所定の映像合成方式の内の何れか１つの方式によって合成することで、符号化の対象である前記合成映像を生成する映像合成処理ステップと、
　前記合成映像を符号化し、符号化された合成映像であることを識別する第１識別情報を付加した符号化合成映像を生成する映像符号化処理ステップと、
　前記多視点映像に付随する複数の奥行マップを、前記複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成することで、符号化の対象である前記合成奥行マップを生成する奥行マップ合成処理ステップと、
　前記合成奥行マップを符号化し、符号化された合成奥行マップであることを識別する第２識別情報を付加して符号化合成奥行マップを生成する奥行マップ符号化処理ステップと、
　前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第３識別情報を、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化し、符号化された前記補助情報であることを識別する第４識別情報を付加して符号化パラメータを生成するパラメータ符号化処理ステップと、
　前記符号化合成奥行マップと、前記符号化合成映像と、前記符号化パラメータとを多重化して前記一連の符号化ビット列を生成する多重化処理ステップと、
　を含むことを特徴とする立体映像符号化方法。
　複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか１つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成した合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する情報を含む補助情報と、が符号化され、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して多重化された符号化ビット列を復号化して得られる復号化合成映像、復号化合成奥行マップ、及び前記補助情報を用いて、多視点映像を合成する立体映像復号化方法であって、
　前記符号化ビット列は、前記所定単位毎に、符号化された前記合成映像に、前記符号化された合成映像であることを識別する第１識別情報が付加された符号化合成映像と、符号化された前記合成奥行マップに、前記符号化された合成奥行マップであることを識別する第２識別情報が付加された符号化合成奥行マップと、前記合成映像の合成に用いた合成方式及び前記合成奥行マップの合成に用いた合成方式を識別する第３識別情報が、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化され、符号化された前記補助情報であることを識別する第４識別情報が付加された符号化パラメータと、が多重化されており、
　前記所定単位毎に、前記第１識別情報を有する単位を前記符号化合成映像として、前記第２識別情報を有する単位を前記符号化合成奥行マップとして、前記第４識別情報を有する単位を前記符号化パラメータとして、それぞれ分離する分離処理ステップと、
　前記符号化パラメータから、前記第３識別情報を復号化するパラメータ復号化処理ステップと、
　前記符号化合成映像を復号化して、前記復号化合成映像を生成する映像復号化処理ステップと、
　前記符号化合成奥行マップを復号化して、前記復号化合成奥行マップを生成する奥行マップ復号化処理ステップと、
　前記パラメータ復号化処理ステップにおいて生成した前記第３識別情報に従って、前記復号化合成映像及び前記復号化合成奥行マップを用いて、複数の視点における映像を合成する多視点映像合成処理ステップと、
を含むことを特徴とする立体映像復号化方法。
　複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか１つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成した合成奥行マップと、を符号化し、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して、一連の符号化ビット列を生成するために、コンピュータを、
　前記多視点映像を、前記複数種類の所定の映像合成方式の内の何れか１つの方式によって合成することで、符号化の対象である前記合成映像を生成する映像合成手段、
　前記合成映像を符号化し、符号化された合成映像であることを識別する第１識別情報を付加した符号化合成映像を生成する映像符号化手段、
　前記多視点映像に付随する複数の奥行マップを、前記複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成することで、符号化の対象である前記合成奥行マップを生成する奥行マップ合成手段、
　前記合成奥行マップを符号化し、符号化された合成奥行マップであることを識別する第２識別情報を付加して符号化奥行マップを生成する奥行マップ符号化手段、
　前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第３識別情報を、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化し、符号化された前記補助情報であることを識別する第４識別情報を付加して符号化パラメータを生成するパラメータ符号化手段、
　前記符号化奥行マップと、前記符号化映像と、前記符号化パラメータとを多重化して前記一連の符号化ビット列を生成する多重化手段、
として機能させるための立体映像符号化プログラム。
　複数の視点における映像の組である多視点映像を、複数種類の所定の映像合成方式の内の何れか１つの方式によって合成した合成映像と、前記多視点映像に付随し、前記多視点映像の視点間の視差である奥行値の画素毎の情報のマップである奥行マップを複数種類の所定の奥行マップ合成方式の内の何れか１つの方式によって合成した合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する情報を含む補助情報と、が符号化され、所定単位毎に、当該所定単位の情報種別を識別する識別情報を付加して多重化された符号化ビット列であって、
　前記符号化ビット列は、前記所定単位毎に、符号化された前記合成映像に、前記符号化された合成映像であることを識別する第１識別情報が付加された符号化合成映像と、符号化された前記合成奥行マップに、前記符号化された合成奥行マップであることを識別する第２識別情報が付加された符号化合成奥行マップと、前記合成映像の合成に用いた映像合成方式及び前記合成奥行マップの合成に用いた奥行マップ合成方式を識別する第３識別情報が、映像の復号化又は映像の表示のために用いられる補助情報のパラメータとして符号化され、符号化された前記補助情報であることを識別する第４識別情報が付加された符号化パラメータと、が多重化されており、
　前記符号化ビット列を復号化して得られる復号化合成映像、復号化合成奥行マップ、及び前記補助情報を用いて、多視点映像を合成するために、コンピュータを、
　前記所定単位毎に、前記第１識別情報を有する単位を前記符号化映像として、前記第２識別情報を有する単位を前記符号化奥行マップとして、前記第４識別情報を有する単位を前記符号化パラメータとして、それぞれ分離する分離手段、
　前記符号化パラメータから、前記第３識別情報を復号化するパラメータ復号化手段、
　前記符号化合成映像を復号化して、前記復号化合成映像を生成する映像復号化手段、
　前記符号化合成奥行マップを復号化して、前記復号化合成奥行マップを生成する奥行マップ復号化手段、
　前記パラメータ復号化手段が生成した前記第３識別情報に従って、前記復号化合成映像及び前記復号化合成奥行マップを用いて、複数の視点における映像を合成する多視点映像合成手段、
として機能させるための立体映像復号化プログラム。