JPWO2012029884A1 - 符号化装置および符号化方法、並びに復号装置および復号方法 - Google Patents

符号化装置および符号化方法、並びに復号装置および復号方法 Download PDF

Info

Publication number
JPWO2012029884A1
JPWO2012029884A1 JP2012531951A JP2012531951A JPWO2012029884A1 JP WO2012029884 A1 JPWO2012029884 A1 JP WO2012029884A1 JP 2012531951 A JP2012531951 A JP 2012531951A JP 2012531951 A JP2012531951 A JP 2012531951A JP WO2012029884 A1 JPWO2012029884 A1 JP WO2012029884A1
Authority
JP
Japan
Prior art keywords
image
unit
parallax
auxiliary
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012531951A
Other languages
English (en)
Inventor
しのぶ 服部
しのぶ 服部
良知 高橋
良知 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2012029884A1 publication Critical patent/JPWO2012029884A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Abstract

本発明は、多視点の画像に対して、既存の方式との互換性を有する方式で符号化および復号を行うことができるようにする符号化装置および符号化方法、並びに復号装置および復号方法に関する。互換用エンコーダは、互換画像である画像Ａ１をアクセスユニット単位で符号化して、互換ストリームを生成する。補助用エンコーダは、互換画像から多視点画像を生成する際に用いる補助画像である画像Ｂ１と画像Ｃ１の多重化画像をアクセスユニット単位で符号化して、補助画像の多重化画像の符号化ストリームを生成する。多重化部は、互換ストリームと、ユニットの境界を示す3DV Representation Delimiterと、補助画像の多重化画像の符号化ストリームとを伝送する。本技術は、例えば、多視点方式の３Ｄ画像を符号化する符号化装置に適用することができる。

Description

本技術は、符号化装置および符号化方法、並びに復号装置および復号方法に関し、特に、多視点の画像に対して、既存の方式との互換性を有する方式で符号化および復号を行うことができるようにした符号化装置および符号化方法、並びに復号装置および復号方法に関する。
現在、３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、２視点方式という）が一般的である。
しかしながら、このような２視点方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、多視点方式という）の需要が高まっている。
多視点方式では、多視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
多視点方式の視聴を提供する表示装置は、例えば、２視点方式用の２視点の画像から多視点方式用の多視点の画像を生成し、表示する。具体的には、表示装置は、画像の視差推定技術(Depth Estimation)を用いて、２視点方式用の２視点の画像の視差(depth)を求める。そして、表示装置は、２視点の画像の視差を利用した多視点画像の生成技術（View Generation)および合成技術(View Synthesis)を用いて、２視点方式用の２視点の画像に対応する視点に隣接する多視点の画像の合成画像を生成し、表示する。
ところで、既存の符号化方式としては、AVC（Advanced Video Coding）やMVC（Multiview Video Coding）方式がある。
図１は、２視点の画像をMVC方式で符号化し、多重化する符号化装置の一例を示す図である。
図１の符号化装置１０は、撮影部１１Ａ、撮影部１１Ｂ、MVCエンコーダ１２、および多重化部１３により構成される。
撮影部１１Ａは、所定の視点の画像Ａを撮影してMVCエンコーダ１２に供給する。また、撮影部１１Ｂは、画像Ａとは異なる視点の画像Ｂを撮影してMVCエンコーダ１２に供給する。MVCエンコーダ１２は、撮影部１１Ａから供給される画像Ａをベース画像とし、撮影部１１Ｂから供給される画像Ｂをディペンデント画像として、MVC方式で符号化する。MVCエンコーダ１２は、符号化後の画像Ａおよび画像Ｂを多重化部１３に供給する。多重化部１３は、符号化後の画像Ａから第１のTS（Transport Stream）（以下、TS1という）を生成し、符号化後の画像Ｂから第２のTS（以下、TS2という）を生成し、TS1とTS2を多重化する。
多重化されたTS1とTS2は、復号装置において分離され、符号化後の画像Ａおよび画像Ｂが、MVC方式に対応する方式で復号される。そして、復号の結果得られる画像Ａと画像Ｂが交互に表示される。このとき、視聴者は、例えば画像Ａの表示時に左目用のシャッタが開き、画像Ｂの表示時に右目用のシャッタが開くメガネを装着し、画像Ａを左目だけで見て、画像Ｂを右目だけで見る。これにより、視聴者は、３Ｄ画像を見ることができる。なお、視聴者が２Ｄ画像を見たい場合には、画像Ａのみが表示される。
一方、多視点の画像を符号化する方式も考案されている（例えば、特許文献１参照）。
特開２００８−１８２６６９号公報
ところで、多視点の画像を符号化および復号する方式であって、既存の２視点以下の画像の方式と互換性を有する方式は考えられていない。
本技術は、このような状況に鑑みてなされたものであり、多視点の画像に対して、既存の方式との互換性を有する方式で符号化および復号を行うことができるようにするものである。
本技術の第１の側面の符号化装置は、多視点の画像から互換画像を指定し、指定した前記互換画像をアクセスユニット単位で符号化して、第１の符号化ストリームを生成する互換画像符号化部と、前記互換画像から多視点画像を生成する際に用いる補助画像をアクセスユニット単位で符号化して、第２の符号化ストリームを生成する補助画像符号化部と、ユニットの境界を示す境界情報を設定する設定部と、前記互換画像符号化部により生成された前記第１の符号化ストリームと、前記設定部により設定された前記境界情報と、前記補助画像符号化部により符号化された前記第２の符号化ストリームとを伝送する伝送部とを備える符号化装置である。
本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。
本技術の第１の側面においては、多視点の画像から互換画像が指定され、指定された前記互換画像がアクセスユニット単位で符号化されて、第１の符号化ストリームが生成され、前記互換画像から多視点画像を生成する際に用いる補助画像がアクセスユニット単位で符号化されて、第２の符号化ストリームが生成され、ユニットの境界を示す境界情報が設定され、前記第１の符号化ストリームと、前記境界情報と、前記第２の符号化ストリームとが伝送される。
本技術の第２の側面の復号装置は、多視点の画像から指定された互換画像がアクセスユニット単位で符号化された結果得られる第１の符号化ストリームと、ユニットの境界を示す境界情報と、前記互換画像から多視点画像を生成する際に用いる補助画像がアクセスユニット単位で符号化された結果得られる第２の符号化ストリームとを受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと前記第２の符号化ストリームを分離する分離部と、前記分離部により分離された前記第１の符号化ストリームを復号する互換画像復号部と、前記分離部により分離された前記第２の符号化ストリームを復号する補助画像復号部とを備える復号装置である。
本技術の第２の側面の復号方法は、本技術の第２の側面の復号装置に対応する。
本技術の第２の側面においては、多視点の画像から指定された互換画像がアクセスユニット単位で符号化された結果得られる第１の符号化ストリームと、ユニットの境界を示す境界情報と、前記互換画像から多視点画像を生成する際に用いる補助画像がアクセスユニット単位で符号化された結果得られる第２の符号化ストリームとが受け取られ、前記境界情報に基づいて、前記第１の符号化ストリームと前記第２の符号化ストリームが分離され、分離された前記第１の符号化ストリームが復号され、分離された前記第２の符号化ストリームが復号される。
なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術の第１の側面によれば、多視点の画像に対して、既存の方式との互換性を有する方式で符号化を行うことができる。
また、本技術の第２の側面によれば、既存の方式との互換性を有する方式で符号化された多視点の画像を復号することができる。
従来の符号化装置の一例を示す図である。 本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 図２の多重化部により生成されるＴＳの構成例を示す図である。 図３のＴＳ２の詳細構成例を示す図である。 ＴＳ１とＴＳ２の多重化方法の例を説明する図である。 図２の符号化装置による符号化処理を説明するフローチャートである。 図２の符号化装置による符号化処理を説明するフローチャートである。 図２の符号化装置に対応する復号装置の構成例を示す図である。 図８の復号装置による復号処理を説明するフローチャートである。 図２の多重化部により生成されるＴＳの他の構成例を示す図である。 図１０のＴＳ２の詳細構成例を示す図である。 図１０のＴＳ３の詳細構成例を示す図である。 図８の復号装置による他の復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。 図１４の多重化部により生成されるＴＳの構成例を示す図である。 図１４の符号化装置による符号化処理を説明するフローチャートである。 図１４の符号化装置による符号化処理を説明するフローチャートである。 図１４の符号化装置に対応する復号装置の構成例を示す図である。 図１８の復号装置による復号処理を説明するフローチャートである。 図１４の多重化部により生成されるＴＳの他の構成例を示す図である。 図１８の復号装置による他の復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。 図２２の多重化部により生成されるＴＳの第１の構成例を示す図である。 図２２の符号化装置による符号化処理を説明するフローチャートである。 図２２の符号化装置による符号化処理を説明するフローチャートである。 図２２の符号化装置に対応する復号装置の構成例を示す図である。 図２６の復号装置による復号処理を説明するフローチャートである。 図２２の多重化部により生成されるＴＳの第２の構成例を示す図である。 図２８のＴＳ１乃至ＴＳ３の多重化方法の例を説明する図である。 図２６の復号装置による第２の復号処理を説明するフローチャートである。 図２２の多重化部により生成されるＴＳの第３の構成例を示す図である。 図２６の復号装置２００による第３の復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。 図３３の多重化部により生成されるＴＳの構成例を示す図である。 図３４のＴＳ２の詳細構成例を示す図である。 図３３の符号化装置に対応する復号装置の構成例を示す図である。 本技術を適用した符号化装置の第５実施の形態の構成例を示すブロック図である。 図３７の符号化処理部の構成例を示す図である。 図３８の符号化部による符号化における参照関係を示す図である。 NALユニットの構成例を示す図である。 ビットストリームの構成例を示す図である。 3DV方式のSEIの構成例を示す図である。 視差情報の記述例を示す図である。 図３７の符号化装置の多視点符号化処理を説明するフローチャートである。 図４４のステップＳ２５７の符号化処理の詳細を説明するフローチャートである。 図３７の符号化装置に対応するAVC方式の復号装置の構成例を示すブロック図である。 図４６の復号装置の復号処理を説明するフローチャートである。 図３７の符号化装置に対応するMVC方式の復号装置の構成例を示すブロック図である。 図４８の復号装置の復号処理を説明するフローチャートである。 図３７の符号化装置に対応する3DV方式の復号装置の構成例を示すブロック図である。 図５０の復号装置３６０の復号処理を説明するフローチャートである。 復号対象となる符号化データを説明する図である。 本技術を適用した符号化装置の第６実施の形態の構成例を示すブロック図である。 図５３の符号化処理部の構成例を示すブロック図である。 NALユニットの構成例を示す図である。 ビットストリームの構成例を示す図である。 図５３の符号化装置の多視点符号化処理を説明するフローチャートである。 図５７のステップＳ３６９の符号化処理の詳細を説明するフローチャートである。 図５３の符号化装置に対応する3DV方式の復号装置の構成例を示すブロック図である。 図５９の復号装置の復号処理を説明するフローチャートである。 視差情報の記述例を示す図である。 本技術を適用した符号化装置の第７実施の形態の構成例を示すブロック図である。 互換情報と視差画像情報の記述例を示す図である。 図６３の視差画像情報の詳細記述例を示す図である。 補助ストリーム内の互換情報と視差画像情報の記述例を示す図である。 図６５の視差画像情報の詳細記述例を示す図である。 図６２の符号化装置による符号化処理を説明するフローチャートである。 図６２の符号化装置による符号化処理を説明するフローチャートである。 図６２の符号化装置に対応する復号装置の構成例を示す図である。 図６９の復号装置による復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第８実施の形態の構成例を示すブロック図である。 図７１の符号化装置による符号化処理を説明するフローチャートである。 図７１の符号化装置による符号化処理を説明するフローチャートである。 図７１の符号化装置に対応する復号装置の構成例を示す図である。 図７４の復号装置による復号処理を説明するフローチャートである。 符号化対象の多重化パターンの例を示す図である。 多重化による効果の特徴を示す図である。 符号化対象の多重化パターンの他の例を示す図である。 符号化対象の多重化パターンのさらに他の例を示す図である。 本技術を適用した符号化装置の第９実施の形態の構成例を示すブロック図である。 図８０の符号化装置による符号化処理を説明するフローチャートである。 図８０の符号化装置による符号化処理を説明するフローチャートである。 図８０の符号化装置に対応する復号装置の構成例を示す図である。 図８３の復号装置による復号処理を説明するフローチャートである。 ビットストリームの他の構成例を示す図である。 図８５の視差画像用の3DV方式のSubset SPSの記述例を示す図である。 図８６の視差画像用拡張情報の記述例を示す図である。 図８６の視差画像用VUI拡張情報の記述例を示す図である。 3DV方式の符号化データのNALヘッダの記述例を示す図である。 図８９の視差画像用ヘッダ拡張情報の記述例を示す図である。 図８５の3DV方式のSEIの記述例を示す図である。 ビットストリームのさらに他の構成例を示す図である。 図９２の画像用の3DV方式のSubset SPSの記述例を示す図である。 3DV方式がHEVC方式に準じた方式である場合のビットストリームの構成例を示す図である。 図９４のSPSの記述例を示す図である。 図９５のSubset SPSの記述例を示す図である。 図９６のSubset SPSのVUI情報の記述例を示す図である。 図９４の3DV方式のSEIの記述例を示す図である。 コンピュータの一実施の形態の構成例を示す図である。 本技術を適用したテレビジョン装置の概略構成を示す図である。 本技術を適用した携帯電話機の概略構成を示す図である。 本技術を適用した記録再生装置の概略構成を示す図である。 本技術を適用した撮像装置の概略構成を示す図である。
＜第１実施の形態＞
［符号化装置の一実施の形態の構成例］
図２は、本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
図２の符号化装置５０は、撮影部５１Ａ乃至５１Ｃ、画像変換部５２、視差画像生成部５３、画像情報生成部５４、互換情報生成部５５、視点間距離情報生成部５６、視差画像情報生成部５７、エンコーダ５８、および多重化部５９により構成される。
符号化装置５０は、多視点の画像のうちの１視点の画像を２Ｄ画像として既存の符号化方式で符号化し、単独でＴＳを生成することにより、既存の２Ｄ画像を符号化する符号化装置との互換性を確保する。
なお、以下では、多視点の画像のうちの、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像を互換画像といい、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための画像を補助画像という。
符号化装置５０において、撮影部５１Ａは、所定の視点のHD（High Definition）画像を画像Ａ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。撮影部５１Ｂは、撮影部５１Ａから距離Δｄ１ＡＢだけ、被写体との奥行方向の距離が同一である水平方向に離れた位置で、画像Ａ１とは異なる視点のHD画像を画像Ｂ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。撮影部５１Ｃは、撮影部５１Ａから距離Δｄ１ＡＣだけ撮影部５１Ｂとは反対の水平方向に離れた位置で、画像Ａ１および画像Ｂ１とは異なる視点のHD画像を画像Ｃ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。
なお、画像Ｂ１と画像Ｃ１に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置５０に対応する復号装置は、画像Ａ１乃至画像Ｃ１を用いて、画像Ｂ１および画像Ｃ１の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ１ＡＢと距離Δｄ１ＡＣは、固定であってもよいし、時間ごとに変化するようにしてもよい。
画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される画像Ａ１を互換画像に決定する。画像変換部５２は、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給する。そして、画像変換部５２は、互換画像である画像Ａ１をそのままエンコーダ５８に供給する。
また、画像変換部５２は、画像Ａ１以外の画像Ｂ１および画像Ｃ１を補助画像とし、所定の多重化方式で多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部５２は、画像Ｂ１および画像Ｃ１の解像度を半分にする。そして、画像変換部５２は、解像度が半分にされた画像Ｂ１（以下、1/2解像度画像Ｂ１という）が画面の左半分の画像となり、解像度が半分にされた画像Ｃ１（以下、1/2解像度画像Ｃ１という）が画面の右半分の画像となるように、1/2解像度画像Ｂ１および1/2解像度画像Ｃ１を多重化する。画像変換部５２は、多重化の結果得られる多重化画像をエンコーダ５８に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、画像Ａ１乃至画像Ｃ１の各画素の視差を検出する。視差画像生成部５３は、互換画像である画像Ａ１の各画素の視差を表す視差画像Ａ１’を生成し、そのままエンコーダ５８に供給する。また、視差画像生成部５３は、補助画像である画像Ｂ１の各画素の視差を表す視差画像Ｂ１’と、補助画像である画像Ｃ１の各画素の視差を表す視差画像Ｃ１’を生成し、所定の多重化方式で多重化する。視差画像生成部５３は、その結果得られる多重化画像をエンコーダ５８に供給する。視差画像生成部５３は、補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、多重化部５９に供給する。
互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、多重化部５９に供給する。
なお、互換モードとは、互換画像の符号化方法を表すモードである。互換モードとしては、例えば、１視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード(mono)、２視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード(frame packing)、２視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモード(stereo)などがある。
視点間距離情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、画像Ａ１乃至画像Ｃ１のうちの２枚の画像の視点間の距離（以下、視点間距離という）を検出する。例えば、視点間距離情報生成部５６は、撮影部５１Ａと撮影部５１Ｂの間の水平方向の距離Δｄ１ＡＢ、および、撮影部５１Ａと撮影部５１Ｃの間の水平方向の距離Δｄ１ＡＣを視点間距離として検出する。視点間距離情報生成部５６は、視点間距離を表す情報などを、視点間距離に関する情報である視点間距離情報として生成し、多重化部５９に供給する。
視差画像情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像に関する情報である視差画像情報として生成し、多重化部５９に供給する。
エンコーダ５８は、互換用エンコーダ６１と補助用エンコーダ６２により構成される。
互換用エンコーダ６１（互換画像符号化部）は、画像変換部５２から供給される互換画像と補助画像の多重化画像から互換画像である画像Ａ１を指定し、画像Ａ１に対して既存のAVC方式でアクセスユニット単位の符号化を行う。互換用エンコーダ６１は、その結果得られる符号化ストリームを互換ストリーム（第１の符号化ストリーム）として多重化部５９に供給する。
補助用エンコーダ６２（補助画像符号化部）は、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像に対して所定の方式でアクセスユニット単位の符号化を行う。補助用エンコーダ６２は、その結果得られる符号化ストリーム（第２の符号化ストリーム、第１の視差符号化ストリーム、第２の視差符号化ストリーム）を補助ストリームとして多重化部５９に供給する。なお、補助用エンコーダ６２における符号化方式としては、AVC方式、MVC方式、MPEG2（Moving Picture Experts Group phase 2）方式などを用いることができる。
多重化部５９（設定部および伝送部）は、互換用エンコーダ６１から供給される互換ストリーム、補助用エンコーダ６２から供給される補助ストリーム、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部５６からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを用いて、ＴＳを生成する。多重化部５９は、生成されたＴＳを多重化し、その結果得られる多重化ストリームを送信する。
なお、以下では、画像情報、互換情報、視点間距離情報、および視差画像情報をまとめて補助情報という。
［ＴＳの構成例］
図３は、図２の多重化部５９により生成されるＴＳの構成例を示す図である。
図３の例では、多重化部５９において、互換ストリームからＴＳ１が生成される。また、符号化された補助画像の多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像の多重化画像を含む補助ストリームと補助情報からＴＳ２が生成される。
図３の例では、互換ストリームと、互換ストリーム以外のものが別のＴＳに格納されるので、互換ストリームの情報量を削減する必要がない。よって、互換画像の画質を、既存のAVC方式で符号化される２Ｄ画像の画質と同等にすることができる。
図４は、図３のＴＳ２の詳細構成例を示す図である。
図４のＡ乃至図４のＣに示すように、図３のＴＳ２には、ユニット単位でデータが配置され、各ユニットの先頭には、ユニットの区切り（境界）を表すデリミタ（Del）（境界情報）が挿入される。
図４のＡの例では、各ユニットに、デコード単位であるアクセスユニット単位の符号化された補助画像の多重化画像（B1+C1）と補助画像の多重化画像の補助情報（Aux Inf）、符号化された互換画像の視差画像（A1’）と互換画像の視差画像の補助情報、または符号化された補助画像の視差画像の多重化画像（B1'+C1’）と補助画像の視差画像の多重化画像の補助情報が、データとして配置されている。
この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、それぞれ独立に抽出することができる。その結果、例えば、復号装置が、互換画像と互換画像の視差画像のみを用いて多視点の画像を生成する場合、多視点の画像の生成に用いられる画像を容易に抽出することができる。また、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像の各画像と、その画像の補助情報が同一のユニット内に配置されるので、各ユニットに配置される画像を容易に独立して処理することができる。
図４のＢの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像、並びに補助情報がまとめて配置されている。この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像、並びに補助情報をまとめて抽出することができる。
図４のＣの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像と補助画像の多重化画像の補助情報、または、符号化された互換画像の視差画像および補助画像の視差画像の多重化画像、並びに互換画像の視差画像および補助画像の視差画像の補助情報が、配置されている。
この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像と、互換画像の視差画像および補助画像の視差画像の多重化画像とを、それぞれ独立に抽出することができる。その結果、例えば、復号装置において、画像用のデコーダと視差画像用のデコーダが別に用意される場合、それぞれのデコーダに効率的にデータを供給することができる。また、復号装置において、画像と視差画像を容易に独立して処理することができる。
[多重化方法の説明]
図５は、ＴＳ１とＴＳ２の多重化方法の例を説明する図である。
図５に示すように、ＴＳ１およびＴＳ２は、アクセスユニット単位で、ＴＳ２、ＴＳ１の順に先頭から配置されることにより、多重化される。なお、ＴＳ２の先頭には、互換ストリーム以外の情報を含むＴＳの先頭であることを表す3DV Representation Delimiter（境界情報）が設定され、付加される。即ち、3DV Representation Delimiterは、あるアクセスユニットのＴＳ２と、１つ前のアクセスユニットのＴＳ１の境界に配置される。よって、符号化装置５０に対応する復号装置は、ある3DV Representation Delimiterから次の3DV Representation Delimiterまでの間のデータを抽出することにより、互換ストリームと、それに同期する補助ストリームおよび補助画像を容易に認識することができる。
［符号化装置の処理の説明］
図６および図７は、図２の符号化装置５０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから画像Ａ１乃至画像Ｃ１が出力されたとき開始される。
図６のステップＳ１１において、視点間距離情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、距離Δｄ１ＡＢと距離Δｄ１ＡＣを視点間距離として検出する。
ステップＳ１２において、視点間距離情報生成部５６は、ステップＳ１１で検出された視点間距離を表す情報などを視点間距離情報として生成し、多重化部５９に入力する。
ステップＳ１３において、画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される画像Ａ１を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部５２は、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給し、補助画像の多重化方式を画像情報生成部５４に供給する。
ステップＳ１４において、互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像として画像Ａ１を指定する情報、互換モードとしてのモノモードなどを互換情報として生成し、多重化部５９に入力する。
ステップＳ１５において、画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを画像情報として生成し、多重化部５９に入力する。
ステップＳ１６において、画像変換部５２は、画像Ａ１以外の画像Ｂ１および画像Ｃ１を補助画像として、ステップＳ１３で決定された補助画像の多重化方式に基づいて補助画像を多重化し、補助画像の多重化画像を得る。
ステップＳ１７において、画像変換部５２は、互換画像である画像Ａ１と補助画像の多重化画像をエンコーダ５８に入力する。
図７のステップＳ１８において、視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて画像Ａ１乃至画像Ｃ１の各画素の視差を検出し、視差画像Ａ１’乃至視差画像Ｃ１’を生成する。
ステップＳ１９において、視差画像生成部５３は、補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
ステップＳ２０において、視差画像情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像情報として生成し、多重化部５９に入力する。
ステップＳ２１において、視差画像生成部５３は、ステップＳ１９で決定された補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像を多重化し、補助画像の視差画像の多重化画像を得る。
ステップＳ２２において、視差画像生成部５３は、互換画像の視差画像Ａ１'と補助画像の視差画像の多重化画像をエンコーダ５８に入力する。
ステップＳ２３において、エンコーダ５８の互換用エンコーダ６１は、画像変換部５２から供給される互換画像である画像Ａ１を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
ステップＳ２４において、補助用エンコーダ６２は、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。補助用エンコーダ６２は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部５９に供給する。
ステップＳ２５において、多重化部５９は、互換用エンコーダ６１から供給される互換ストリームからＴＳ１を生成し、補助用エンコーダ６２から供給される補助ストリームおよび補助情報からＴＳ２を生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ（Blu-Ray（登録商標） Disc ）等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
以上のように、符号化装置５０は、互換ストリームと、補助ストリームおよび補助情報とを別のＴＳに格納して多重化を行うので、多重化において既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。即ち、符号化装置５０は、多視点の画像に対して、既存の方式との互換性を有する方式で多重化を行うことができる。
また、符号化装置５０は、多視点の画像のうちの１視点の画像を互換画像とし、既存の符号化方式で符号化するので、符号化において既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。即ち、符号化装置５０は、多視点の画像に対して、既存の符号化方式との互換性を有する方式で符号化を行うことができる。
さらに、符号化装置５０は、３視点の画像Ａ１乃至Ｃ１を符号化するので、符号化装置５０に対応する復号装置は、３視点の画像Ａ１乃至Ｃ１から多視点の画像を生成することができる。これにより、復号装置は、２視点の画像から生成する場合に比べて、生成可能な画像の視点が限られず、また、より精度の高い多視点の画像を生成することができる。
また、符号化装置５０は、補助画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化処理および復号処理の処理コストを軽減することができる。例えば、２視点の補助画像が低解像度化されずに符号化される場合、符号化処理や復号処理の処理コストは、２枚のＨＤ画像に対する符号化処理や復号処理の処理コストと等価であるが、符号化装置５０による２視点の補助画像に対する符号化処理の処理コストは、１枚のＨＤ画像に対する符号化処理や復号処理の処理コストと等価になる。その結果、復号装置における復号処理の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
なお、符号化装置５０に対応する復号装置は、後述するように、多視点の画像を合成する際、その多視点の画像の視点数の逆数倍に解像度を低下させるため、符号化装置５０による補助画像の低解像度化は、合成後の多視点の画像の画質に影響を与えない。
また、符号化装置５０は、補助画像の解像度を半分にして符号化し、補助画像の視差画像を半分にして符号化するので、符号化対象の情報量は、AVC方式における4HD画像分（1080ix4)程度にすることができる。
ここで、現在の多視点の画像を表示する表示装置と、それに伴う復号装置の処理速度、消費電力に対する処理パフォーマンス、伝送データレート、伝送帯域幅、メモリのバンド幅、メモリのアクセス速度などを総合的に鑑みると、復号装置で処理可能な情報量として妥当な値は、現状のMVC方式におけるHD画像分の2倍程度、即ちAVC方式における4HD画像分程度であると考えられる。従って、符号化対象の情報量がAVC方式における4HD画像分（1080ix4)程度である符号化装置５０に対応する復号装置（復号方法）は、妥当な処理コスト、合理的なアプローチで実現することができる。
また、符号化装置５０では、符号化対象の情報量がAVC方式における4HD画像分（1080ix4)程度に削減されるので、使用可能な帯域に制限のあるBDや放送のアプリケーションで容易に扱うことができる。
さらに、符号化装置５０は、視差画像を生成し、符号化ストリームに含めて送信するので、符号化装置５０に対応する復号装置は、多視点の画像を生成するために視差画像を生成する必要がなく、復号装置の処理の負荷を軽減することができる。その結果、復号装置の製造コストを低減することができる。また、復号装置の視差検出の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
［復号装置の構成例］
図８は、図２の符号化装置５０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
図８の復号装置１２０は、分離部１２１、デコーダ１２２、画像情報取得部１２３、視点間距離情報取得部１２４、視差画像情報取得部１２５、互換情報取得部１２６、および画像生成部１２７により構成される。復号装置１２０は、符号化装置５０から送信される多重化ストリームを分離して復号し、１視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
具体的には、復号装置１２０の分離部１２１（分離部）は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部１２１は、ＴＳに含まれる互換ストリームと、ＴＳに含まれる補助ストリームを抽出し、デコーダ１２２に供給する。また、分離部１２１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
デコーダ１２２は、互換用デコーダ１３１と補助用デコーダ１３２により構成される。デコーダ１２２の互換用デコーダ１３１（互換画像復号部）は、分離部１２１から供給される互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号し、画像生成部１２７に供給する。
補助用デコーダ１３２（補助画像復号部）は、分離部１２１から供給される補助ストリームに含まれる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図２の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。
画像情報取得部１２３は、分離部１２１から供給される画像情報を取得し、画像生成部１２７に供給する。視点間距離情報取得部１２４は、分離部１２１から供給される視点間距離情報を取得し、画像生成部１２７に供給する。
視差画像情報取得部１２５は、分離部１２１から供給される視差画像情報を取得し、画像生成部１２７に供給する。互換情報取得部１２６は、分離部１２１から供給される互換情報を取得し、画像生成部１２７に供給する。
画像生成部１２７は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部１２７（生成部）は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部１２７は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部１２７は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。
さらに、画像生成部１２７は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部１２７は、互換画像、各補助画像、互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部１２７は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部１２７は、視聴者からの２Ｄ画像の表示指令に応じて、デコーダ１２２の互換用デコーダ１３１から供給される互換画像である画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
［復号装置の処理の説明］
図９は、図８の復号装置１２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図２の符号化装置５０から送信される多重化ストリームが復号装置１２０に入力されたとき、開始される。
図９のステップＳ３１において、復号装置１２０の画像生成部１２７は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ３１で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ３２に進む。
ステップＳ３２において、分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを受信し、その多重化ストリームからＴＳ１とＴＳ２を分離する。分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームとＴＳ２に含まれる補助ストリームを抽出し、デコーダ１２２に供給する。また、分離部１２１は、デリミタなどを参照して、ＴＳ２に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
ステップＳ３３において、デコーダ１２２の互換用デコーダ１３１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、その互換画像をAVC方式に対応する方式で復号する。そして、互換用デコーダ１３１は、復号の結果得られる画像Ａ１を画像生成部１２７に供給する。
ステップＳ３４において、補助用デコーダ１３２は、補助ストリームから符号化された補助画像の多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像の多重化画像を抽出し、図２の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。
ステップＳ３５において、画像情報取得部１２３は、分離部１２１から供給される画像情報を取得し、画像生成部１２７に入力する。ステップＳ３６において、視点間距離情報取得部１２４は、分離部１２１から供給される視点間距離情報を取得し、画像生成部１２７に入力する。
ステップＳ３７において、視差画像情報取得部１２５は、分離部１２１から供給される視差画像情報を取得し、画像生成部１２７に入力する。ステップＳ３８において、互換情報取得部１２６は、分離部１２１から供給される互換情報を取得し、画像生成部１２７に供給する。
ステップＳ３９において、画像生成部１２７は、視点間距離情報取得部１２４からの視点間距離情報と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。例えば、視点間距離情報に含まれる視点間距離が狭い場合には、画像生成部１２７は、画像Ｂ１と画像Ｃ１の視点より外側の視点の位置も、生成する多視点の３Ｄ画像の視点の位置に決定する。一方、視点間距離情報に含まれる視点間距離が広い場合には、画像生成部１２７は、画像Ｂ１と画像Ｃ１の視点より内側の視点の位置のみを、生成する多視点の３Ｄ画像の視点の位置として決定する。
ステップＳ４０において、画像生成部１２７は、ステップＳ３９で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
ステップＳ４１において、画像生成部１２７は、ステップＳ４０で生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換し、変換後の各視点の画像を視点の位置に基づいて合成する。
ステップＳ４２において、画像生成部１２７は、ステップＳ４１の処理により得られる合成後の多視点の画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。
一方、ステップＳ３１で視聴者から２Ｄ画像の表示が指令されたと判定された場合、ステップＳ４３において、分離部１２１は、多重化ストリームからＴＳ１を分離する。具体的には、分離部１２１は、多重化ストリームのうち3DV Representation Delimiter NAL unitが付加されたＴＳ２以外のＴＳ１を取得する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームを抽出し、デコーダ１２２に供給する。
ステップＳ４４において、デコーダ１２２の互換用デコーダ１３１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、AVC方式に対応する方式で復号する。互換用デコーダ１３１は、復号の結果得られる互換画像である画像Ａを画像生成部１２７に供給する。
ステップＳ４５において、画像生成部１２７は、互換用デコーダ１３１から供給される互換画像である画像Ａ１を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
なお、復号装置１２０との互換性を有する互換ストリームのみを復号可能な復号装置では、3DV Representation Delimiter NAL unitが付加されたＴＳ２が無視され、ステップＳ４４およびＳ４５の処理が行われる。
以上のように、復号装置１２０は、符号化装置５０により既存の方式との互換性を有する方式で多重化された多重化ストリームを分離することができる。また、復号装置１２０は、符号化装置５０により既存の方式との互換性を有し、処理コストの比較的少ない方式で符号化された互換ストリームと補助ストリームを復号することができる。
さらに、復号装置１２０は、１視点の互換画像と２視点の補助画像を用いて多視点の画像を生成するので、符号化装置５０は、多視点の画像を生成するための撮影部として、既存の１視点の互換画像を撮影する撮影部５１Ａのほかに、２台の撮影部５１Ｂと撮影部５１Ｃのみを用意するだけでよい。従って、多視点の画像を生成するための撮影部の設置を容易に、かつ、低コストで行うことができる。
[ＴＳの他の構成例]
図１０は、図２の多重化部５９により生成されるＴＳの他の構成例を示す図である。
図１０の例では、多重化部５９において、３本のＴＳが生成され、補助ストリームと補助情報が別のＴＳに含まれる。具体的には、互換ストリームからＴＳ１が生成され、補助ストリームからＴＳ２が生成され、補助情報からＴＳ３が生成される。
図１０の例では、比較的情報量が少ない補助情報のみから単独のＴＳ３が生成される。従って、例えばＢＤのアプリケーションのように、同時に処理可能なＴＳの数に制限があるアプリケーションを実行する復号装置は、比較的情報量が少ないＴＳ３をプリロードすることで、ＴＳ１とＴＳ２を同期して再生することが可能になる。
なお、補助ストリームからなるＴＳ２および補助情報からなるＴＳ３の先頭には、補助ストリームと補助情報が同一のＴＳに含まれる場合と同様に、図５に示した3DV Representation Delimiterが配置される。
図１１は、図１０のＴＳ２の詳細構成例を示す図である。
図１１のＡ乃至図１１のＣに示すように、図１０のＴＳ２には、ユニット単位でデータが配置され、各ユニットの先頭には、ユニットの区切りを表すデリミタが挿入される。
図１１のＡの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像（B+C）、互換画像の視差画像（A’）、または補助画像の視差画像の多重化画像（B'+C’）が、データとして配置されている。
この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、それぞれ独立に抽出することができる。その結果、例えば、復号装置が、互換画像と互換画像の視差画像のみを用いて多視点の画像を生成する場合、多視点の画像の生成に用いられる画像を容易に抽出することができる。
図１１のＢの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像がまとめて配置されている。この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像をまとめて抽出することができる。
図１１のＣの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像、または、符号化された互換画像の視差画像および補助画像の視差画像の多重化画像が、まとめて配置されている。
この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像と、互換画像の視差画像および補助画像の視差画像の多重化画像とを、それぞれ独立に抽出することができる。その結果、例えば、復号装置において、画像用のデコーダと視差画像用のデコーダが別に用意される場合、それぞれのデコーダに効率的にデータを供給することができる。また、復号装置において、画像と視差画像を容易に独立して処理することができる。
図１２は、図１０のＴＳ３の詳細構成例を示す図である。
図１２のＡ乃至図１２のＤに示すように、図１０のＴＳ３には、ユニット単位でデータが配置され、各ユニットの先頭には、ユニットの区切りを表すデリミタが挿入される。
図１２のＡの例では、各ユニットに、アクセスユニット単位の補助画像の多重化画像の補助情報（Aux Info(B+C)）、互換画像の視差画像の補助情報（Aux Info（A’））、または補助画像の視差画像の多重化画像の補助情報（Aux Info（B'+C'））が、データとして配置されている。
この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の補助画像の多重化画像の補助情報、互換画像の視差画像の補助情報、および補助画像の視差画像の多重化画像の補助情報を、それぞれ独立に抽出することができる。その結果、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を容易に独立して処理することができる。
図１２のＢの例では、各ユニットに、アクセスユニット単位の補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像の補助情報（Aux Info(B+C,A',B'+C')）がまとめて配置されている。この場合、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像の補助情報をまとめて抽出することができる。
図１２のＣの例では、各ユニットに、アクセスユニット単位の補助画像の多重化画像の補助情報（Aux Info(B+C)）、または、互換画像の視差画像および補助画像の視差画像の多重化画像の補助情報（Aux Info(A',B'+C')）が、配置されている。
この場合、ＴＳ３を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の補助画像の多重化画像の補助情報と、互換画像の視差画像および補助画像の視差画像の多重化画像の補助情報を、それぞれ独立に抽出することができる。その結果、例えば、復号装置において、画像用のデコーダと視差画像用のデコーダが別に用意される場合、復号結果に同期して効率的に補助情報を供給することができる。
図１２のＤの例では、各ユニットに、所定の時間分（例えば、２時間分）の補助画像の多重化画像の補助情報（Aux Info(All B+C)）、互換画像の視差画像の補助情報（Aux Info(All A')）、および補助画像の視差画像の多重化画像の補助情報（Aux Info(All B'+C')）が配置されている。この場合、ＴＳ３を受信する復号装置は、補助情報をプリロードする際、ユニット単位でデータを抽出することにより、所定の時間分の補助画像の多重化画像の補助情報、互換画像の視差画像の補助情報、および補助画像の視差画像の多重化画像の補助情報をそれぞれまとめて抽出し、保持することができる。
[他の符号化処理の説明]
図１０乃至図１２で説明した構成のＴＳを生成する場合の符号化装置５０の符号化処理は、図７のステップＳ２５で、互換ストリームからＴＳ１を生成し、補助ストリームからＴＳ２を生成し、補助情報からＴＳ３を生成して多重化する点を除いて、図６および図７の符号化処理と同様であるので説明は省略する。
[他の復号処理の説明]
図１３は、多重化ストリームにおいて多重化されているＴＳの構成が図１０乃至図１２で説明した構成である場合の図８の復号装置１２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図２の符号化装置５０から送信される多重化ストリームが復号装置１２０に入力されたとき、開始される。
図１３のステップＳ５１において、復号装置１２０の画像生成部１２７は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ３１で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ５２に進む。
ステップＳ５２において、分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを取得し、その多重化ストリームからＴＳ３を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ３に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給して保持させ、視点距離情報を視点間距離情報取得部１２４に供給して保持させる。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給して保持させ、互換情報を互換情報取得部１２６に供給して保持させる。そして、処理はステップＳ５３に進む。
ステップＳ５３乃至Ｓ６６の処理は、図９のステップＳ３２乃至Ｓ４５の処理と同様であるので、説明は省略する。
なお、復号装置１２０との互換性を有する互換ストリームのみを復号可能な復号装置では、ＴＳ２およびＴＳ３が無視され、ステップＳ６５およびＳ６６の処理が行われる。
＜第２実施の形態＞
［符号化装置の第２実施の形態の構成例］
図１４は、本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
図１４に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１４の符号化装置１４０の構成は、主に、撮影部５１Ａ乃至撮影部５１Ｃ、画像変換部５２、視差画像生成部５３、視点間距離情報生成部５６、エンコーダ５８の代わりに撮影部１４１Ａ乃至撮影部１４１Ｄ、画像変換部１４２、視差画像生成部１４３、視点間距離情報生成部１４４、エンコーダ１４５が設けられている点が図２の構成と異なる。
符号化装置１４０は、多視点の画像のうちの２視点の画像を互換画像としてAVC方式で符号化し、単独でＴＳを生成することにより、既存の２視点方式の３Ｄ画像をAVC方式で符号化する符号化装置との互換性を確保する。
具体的には、符号化装置１４０の撮影部１４１Ａは、所定の視点のHD画像を画像Ａ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。撮影部１４１Ｂは、撮影部１４１Ａから距離Δｄ２ＡＢだけ水平方向に離れた位置で、画像Ａ２とは異なる視点のHD画像を画像Ｂ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。
撮影部１４１Ｃは、撮影部１４１Ｂから距離Δｄ２ＢＣだけ撮影部１４１Ａとは反対の水平方向に離れた位置で、画像Ａ２および画像Ｂ２とは異なる視点のHD画像を画像Ｃ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。撮影部１４１Ｄは、撮影部１４１Ａから距離Δｄ２ＡＤだけ撮影部１４１Ｂとは反対の水平方向に離れた位置で、画像Ａ２乃至画像Ｃ２とは異なる視点のHD画像を画像Ｄ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。
なお、画像Ｃ２と画像Ｄ２に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置１４０に対応する復号装置は、画像Ａ２乃至画像Ｄ２を用いて、画像Ｃ２および画像Ｄ２の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ２ＡＢ、距離Δｄ２ＢＣ、および距離Δｄ２ＡＤは、固定であってもよいし、時間ごとに変化するようにしてもよい。
画像変換部１４２は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定する。そして、画像変換部１４２は、互換画像である画像Ａ２および画像Ｂ２を所定の多重化方式で多重化し、エンコーダ１４５に供給する。また、画像変換部１４２は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給する。
また、画像変換部１４２は、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像とし、所定の多重化方式で多重化する。画像変換部１４２は、多重化の結果得られる多重化画像をエンコーダ１４５に供給する。画像変換部１４２は、互換画像と補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
視差画像生成部１４３は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の各画素の視差を検出する。視差画像生成部１４３は、互換画像である画像Ａ２の各画素の視差を表す視差画像Ａ２’と、画像Ｂ２の各画素の視差を表す視差画像Ｂ２’を生成し、所定の多重化方式で多重化する。視差画像生成部１４３は、その結果得られる多重化画像をエンコーダ１４５に供給する。
また、視差画像生成部１４３は、補助画像である画像Ｃ２の各画素の視差を表す視差画像Ｃ２’と、補助画像である画像Ｄ２の各画素の視差を表す視差画像Ｄ２’を生成し、所定の多重化方式で多重化する。視差画像生成部１４３は、その結果得られる多重化画像をエンコーダ１４５に供給する。視差画像生成部１４３は、互換画像および補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
視点間距離情報生成部１４４は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の視点間距離を検出する。例えば、視点間距離情報生成部１４４は、撮影部１４１Ａと撮影部１４１Ｂの間の水平方向の距離Δｄ２ＡＢ、撮影部１４１Ｂと撮影部１４１Ｃの間の水平方向の距離Δｄ２ＢＣ、撮影部１４１Ａと撮影部１４１Ｄの間の水平方向の距離Δｄ２ＡＤを視点間距離として検出する。視点間距離情報生成部１４４は、視点間距離を表す情報などを視点間距離情報として生成し、多重化部５９に供給する。
エンコーダ１４５は、互換用エンコーダ１５１と補助用エンコーダ１５２により構成される。互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像と補助画像の多重化画像から互換画像の多重化画像を指定し、互換画像の多重化画像に対して既存のAVC方式でアクセスユニット単位の符号化を行う。エンコーダ１４５は、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
補助用エンコーダ１５２は、画像変換部１４２からの補助画像の多重化画像、並びに視差画像生成部１４３からの互換画像の視差画像の多重化画像および補助画像の視差画像の多重化画像に対して所定の方式でアクセスユニット単位の符号化を行う。補助用エンコーダ１５２は、その結果得られる符号化ストリームを補助ストリームとして多重化部５９に供給する。なお、補助用エンコーダ１５２における符号化方式としては、例えば、AVC方式、MVC方式などを用いることができる。
［ＴＳの構成例］
図１５は、図１４の多重化部５９により生成されるＴＳの構成例を示す図である。
図１５の例では、多重化部５９において、互換ストリームからＴＳ１が生成され、補助ストリームと補助情報からＴＳ２が生成される。
なお、図示は省略するが、図１５のＴＳ２の構成は、互換画像の視差画像の代わりに互換画像の視差画像の多重化画像が配置される点を除いて図４で説明した構成と同様である。
［符号化装置の処理の説明］
図１６および図１７は、図１４の符号化装置１４０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
図１６のステップＳ７１において、視点間距離情報生成部１４４は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、距離Δｄ２ＡＢ、距離Δｄ２ＢＣ、距離Δｄ２ＡＤを視点間距離として検出する。
ステップＳ７２において、視点間距離情報生成部１４４は、ステップＳ７１で検出された視点間距離を表す情報などを視点間距離情報として生成し、多重化部５９に入力する。
ステップＳ７３において、画像変換部１４２は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と、撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定し、互換画像および補助画像の多重化方式を決定する。画像変換部１４２は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給し、互換画像および補助画像の多重化方式を画像情報生成部５４に供給する。
ステップＳ７４において、互換情報生成部５５は、画像変換部１４２から供給される情報に基づいて、互換画像として画像Ａ２および画像Ｂ２を指定する情報、互換モードとしてのフレームパッキングモードなどを互換情報として生成し、多重化部５９に入力する。
ステップＳ７５において、画像変換部１４２は、ステップＳ７３で決定された互換画像の多重化方式に基づいて互換画像である画像Ａ２と画像Ｂ２を多重化し、エンコーダ１４５に供給する。
ステップＳ７６において、画像情報生成部５４は、画像変換部１４２から供給される情報に基づいて、互換画像および補助画像の多重化方式を示す情報などを画像情報として生成し、多重化部５９に入力する。
ステップＳ７７において、画像変換部１４２は、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像として、ステップＳ７３で決定された補助画像の多重化方式に基づいて補助画像を多重化し、補助画像の多重化画像を得る。
ステップＳ７８において、画像変換部１４２は、互換画像の多重化画像と補助画像の多重化画像をエンコーダ１４５に入力する。
図１７のステップＳ７９において、視差画像生成部１４３は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて画像Ａ２乃至画像Ｄ２の各画素の視差を検出し、視差画像Ａ２’乃至視差画像Ｄ２’を生成する。
ステップＳ８０において、視差画像生成部１４３は、互換画像の視差画像と補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
ステップＳ８１において、視差画像情報生成部５７は、視差画像生成部１４３から供給される情報に基づいて、互換画像の視差画像と補助画像の視差画像の多重化方式を示す情報などを、視差画像情報として生成し、多重化部５９に入力する。
ステップＳ８２において、視差画像生成部１４３は、ステップＳ８０で決定された互換画像の視差画像の多重化方式に基づいて、互換画像の視差画像Ａ２’と視差画像Ｂ２’を多重化し、補助画像の視差画像の多重化方式に基づいて補助画像の視差画像Ｃ２’と視差画像Ｄ２’を多重化する。
ステップＳ８３において、視差画像生成部１４３は、ステップＳ８２の多重化の結果得られる互換画像の視差画像の多重化画像と補助画像の視差画像の多重化画像をエンコーダ１４５に入力する。
ステップＳ８４において、エンコーダ１４５の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
ステップＳ８５において、補助用エンコーダ１５２は、画像変換部１４２からの補助画像の多重化画像、並びに、視差画像生成部１４３からの互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を所定の方式で符号化する。補助用エンコーダ１５２は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部５９に供給する。
ステップＳ８６において、多重化部５９は、互換用エンコーダ１５１から供給される互換ストリームからＴＳ１を生成し、補助用エンコーダ１５２から供給される補助ストリームおよび補助情報からＴＳ２を生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
以上のように、符号化装置１４０は、互換ストリームと、補助ストリームおよび補助情報とを別のＴＳに格納して多重化を行うので、多重化において既存の２視点方式の３Ｄ画像をAVC方式で符号化する符号化装置との互換性を確保することができる。即ち、符号化装置１４０は、多視点の画像に対して、既存の方式との互換性を有する方式で多重化を行うことができる。
また、符号化装置１４０は、多視点の画像のうちの２視点の画像を互換画像とし、既存の符号化方式で符号化するので、符号化において既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保することができる。
さらに、符号化装置１４０は、４視点の画像Ａ２乃至Ｄ２を符号化するので、符号化装置１４０に対応する復号装置は、４視点の画像Ａ２乃至Ｄ２から多視点の画像を生成することができる。これにより、復号装置は、２視点の画像から生成する場合に比べて、生成可能な画像の視点が限られず、また、より精度の高い多視点の画像を生成することができる。
［復号装置の構成例］
図１８は、図１４の符号化装置１４０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
図１８に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１８の復号装置１７０の構成は、主に、画像生成部１２７の代わりに画像生成部１７１が設けられている点が図８の構成と異なる。復号装置１７０は、符号化装置１４０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
具体的には、復号装置１７０の画像生成部１７１は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部１７１は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部１７１は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部１７１は、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。
さらに、画像生成部１７１は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部１７１は、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
また、画像生成部１７１は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部１７１は、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部１７１は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部１７１は、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ１２２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部１７１は、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
［復号装置の処理の説明］
図１９は、図１８の復号装置１７０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１４の符号化装置１４０から送信される多重化ストリームが復号装置１７０に入力されたとき、開始される。
図１９のステップＳ９１において、復号装置１７０の分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを取得し、その多重化ストリームからＴＳ１とＴＳ２を分離する。分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームとＴＳ２に含まれる補助ストリームを抽出し、デコーダ１２２に供給する。また、分離部１２１は、デリミタなどを参照して、ＴＳ２に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
ステップＳ９２において、画像生成部１７１は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ９２で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ９３に進む。
ステップＳ９３乃至Ｓ１０２の処理は、互換画像が互換画像の多重化画像であり、互換画像の視差画像が互換画像の視差画像の多重化画像である点を除いて、図９のステップＳ３３乃至Ｓ４２の処理と同様であるので、説明は省略する。
一方、ステップＳ９２で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ１０３に進む。
ステップＳ１０３において、デコーダ１２２の互換用デコーダ１３１は、分離部１２１から供給される互換ストリームから符号化された互換画像の多重化画像を抽出し、AVC方式に対応する方式で復号する。互換用デコーダ１３１は、復号の結果得られる互換画像の多重化画像を画像生成部１７１に供給する。
ステップＳ１０４において、画像情報取得部１２３は、分離部１２１から供給される画像情報を画像生成部１７１に入力する。
ステップＳ１０５において、画像生成部１７１は、画像情報取得部１２３から供給される画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換用デコーダ１３１による復号の結果得られる互換画像の多重化画像を分離する。
ステップＳ１０６において、画像生成部１７１は、分離された互換画像の解像度の半分の解像度の互換画像である画像Ａ２および画像Ｂ２を、交互に図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
なお、復号装置１７０との互換性を有する互換ストリームのみを復号可能な復号装置では、3DV Representation Delimiter NAL unitが付加されたＴＳ２が無視され、ステップＳ１０３，Ｓ１０５、およびＳ１０６の処理が行われる。但し、この場合、ステップＳ１０５の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
以上のように、復号装置１７０は、符号化装置１４０により既存の方式との互換性を有する方式で多重化された多重化ストリームを分離することができる。また、復号装置１７０は、符号化装置１４０により既存の方式との互換性を有し、処理コストの比較的少ない方式で符号化された互換ストリームと補助ストリームを復号することができる。
さらに、復号装置１７０は、２視点の互換画像と２視点の補助画像を用いて多視点の画像を生成するので、符号化装置１４０は、多視点の画像を生成するための撮影部として、既存の２視点の互換画像を撮影する撮影部１４１Ａおよび撮影部１４１Ｂのほかに、２台の撮影部１４１Ｃと撮影部１４１Ｄのみを用意するだけでよい。従って、多視点の画像を生成するための撮影部の設置を容易に、かつ、低コストで行うことができる。
[ＴＳの他の構成例]
図２０は、図１４の多重化部５９により生成されるＴＳの他の構成例を示す図である。
図２０の例では、多重化部５９において、３本のＴＳが生成され、補助ストリームと補助情報が別のＴＳに含まれる。具体的には、互換ストリームからＴＳ１が生成され、補助ストリームからＴＳ２が生成され、補助情報からＴＳ３が生成される。
図２０の例では、比較的情報量が少ない補助情報のみから単独のＴＳ３が生成される。従って、例えばＢＤのアプリケーションのように、同時に処理可能なTSの数に制限があるアプリケーションを実行する復号装置は、比較的情報量が少ないＴＳ３をプリロードすることで、ＴＳ１とＴＳ２を同期して再生することが可能になる。
なお、図示は省略するが、図２０のＴＳ２の構成は、互換画像の視差画像の代わりに互換画像の視差画像の多重化画像が配置される点を除いて図１１で説明した構成と同様である。また、ＴＳ３の構成は、互換画像の視差画像の補助画像の代わりに互換画像の視差画像の多重化画像の補助画像が配置される点を除いて図１２で説明した構成と同様である。
[他の符号化処理の説明]
図２０で説明した構成のＴＳを生成する場合の符号化装置１４０の符号化処理は、図１７のステップＳ８６で、互換ストリームからＴＳ１を生成し、補助ストリームからＴＳ２を生成し、補助情報からＴＳ３を生成して多重化する点を除いて、図１６および図１７の符号化処理と同様であるので説明は省略する。
[他の復号処理の説明]
図２１は、多重化ストリームにおいて多重化されているＴＳの構成が図２０で説明した構成である場合の図１８の復号装置１７０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１４の符号化装置１４０から送信される多重化ストリームが復号装置１７０に入力されたとき、開始される。
図２１のステップＳ１１１において、復号装置１２０の分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを取得し、その多重化ストリームからＴＳ３を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ３に含まれる補助情報を抽出する。分離部１２１は、補助情報のうちの画像情報を画像情報取得部１２３に供給して保持させ、視点距離情報を視点間距離情報取得部１２４に供給して保持させる。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給して保持させ、互換情報を互換情報取得部１２６に供給して保持させる。そして、処理はステップＳ１１２に進む。
ステップＳ１１２において、画像生成部１２７は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ１１２で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ１１３に進む。
ステップＳ１１３において、分離部１２１は、多重化ストリームから、ＴＳ１とＴＳ２を分離する。分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームとＴＳ２に含まれる補助ストリームを抽出し、デコーダ１２２に供給する。そして、処理はステップＳ１１４に進む。
ステップＳ１１４乃至Ｓ１２３の処理は、図１９のステップＳ９３乃至Ｓ１０２の処理と同様であるので、説明は省略する。
一方、ステップＳ１１２で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、ステップＳ１２４において、分離部１２１は、多重化ストリームからＴＳ１を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームをデコーダ１２２に供給し、処理をステップＳ１２５に進める。
ステップＳ１２５乃至Ｓ１２８の処理は、図１９のステップＳ１０３乃至Ｓ１０６の処理と同様であるので、説明は省略する。
＜第３実施の形態＞
［符号化装置の第３実施の形態の構成例］
図２２は、本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。
図２２に示す構成のうち、図２や図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２２の符号化装置１８０の構成は、主に、画像変換部１４２、エンコーダ１４５の代わりに画像変換部１８１、エンコーダ１８２が設けられている点が図１４の構成と異なる。符号化装置１８０は、多視点の画像のうちの２視点の画像を互換画像としてMVC方式で符号化し、１つのＴＳにまとめて格納するか、または、視点ごとに別のＴＳに格納することにより、既存の２視点方式の３Ｄ画像をMVC方式で符号化する符号化装置との互換性を確保する。
具体的には、符号化装置１８０の画像変換部１８１は、図１４の画像変換部１４２と同様に、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定する。そして、画像変換部１８１は、互換画像である画像Ａ２および画像Ｂ２を、そのままエンコーダ１８２に供給する。また、画像変換部１８１は、画像変換部１４２と同様に、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給する。
また、画像変換部１８１は、画像変換部１４２と同様に、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像とし、所定の多重化方式で多重化する。画像変換部１８１は、多重化の結果得られる多重化画像をエンコーダ１８２に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
エンコーダ１８２は、互換用エンコーダ１９１と補助用エンコーダ１５２により構成される。エンコーダ１８２の互換用エンコーダ１９１は、画像変換部１８１から供給される互換画像と補助画像の多重化画像から互換画像を指定し、互換画像のうちの画像Ａ２をベース画像として既存のAVC方式でアクセスユニット単位の符号化を行い、画像Ｂ２をディペンデント画像として既存のMVC方式でアクセスユニット単位の符号化を行う。互換用エンコーダ１９１は、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
［ＴＳの第１の構成例］
図２３は、図２２の多重化部５９により生成されるＴＳの第１の構成例を示す図である。
図２３の例では、多重化部５９において、互換ストリームのうちの符号化後の画像Ａ２からＴＳ１が生成され、符号化後の画像Ｂ２、補助ストリーム、および補助情報からＴＳ２が生成される。
［符号化装置の処理の説明］
図２４および図２５は、図２２の符号化装置１８０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
図２４のステップＳ１３１およびＳ１３２の処理は、図１６のステップＳ７１およびＳ７２の処理と同様であるので、説明は省略する。
ステップＳ１３２の処理後、ステップＳ１３３において、画像変換部１８１は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と、撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部１８１は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給し、補助画像の多重化方式を画像情報生成部５４に供給する。そして、処理はステップＳ１３４に進む。
ステップＳ１３４乃至Ｓ１３７の処理は、図６のステップＳ１４乃至Ｓ１７の処理と同様であるので、説明は省略する。ステップＳ１３８乃至Ｓ１４２の処理は、図１７のステップＳ７９乃至Ｓ８３の処理と同様であるので、説明は省略する。
ステップＳ１４２の処理後、ステップＳ１４３において、エンコーダ１８２の互換用エンコーダ１９１は、画像変換部１８１から供給される互換画像のうちの画像Ａ２をベース画像として既存のAVC方式で符号化し、画像Ｂ２をディペンデント画像として既存のMVC方式で符号化する。互換用エンコーダ１９１は、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
ステップＳ１４４において、補助用エンコーダ１５２は、画像変換部１４２からの補助画像の多重化画像、並びに、視差画像生成部５３からの互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を所定の方式で符号化する。補助用エンコーダ１５２は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部５９に供給する。
ステップＳ１４５において、多重化部５９は、互換ストリームのうちの符号化後の画像ＡからＴＳ１を生成し、符号化後の画像Ｂ、補助ストリーム、および補助情報からＴＳ２を生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
以上のように、符号化装置１８０は、符号化後の互換画像のうちの一方と他方を別のＴＳに格納して多重化を行うので、多重化において既存の２視点方式の３Ｄ画像をMVC方式で符号化し、２つのＴＳに格納する符号化装置との互換性を確保することができる。
また、符号化装置１８０は、多視点の画像のうちの２視点の画像を互換画像とし、既存の符号化方式で符号化するので、符号化において既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保することができる。
［復号装置の構成例］
図２６は、図２２の符号化装置１８０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
図２６に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２６の復号装置２００の構成は、主に、デコーダ１２２、画像生成部１７１の代わりにデコーダ２０１、画像生成部２０２が設けられている点が図１８の構成と異なる。復号装置２００は、符号化装置１８０から送信される多重化ストリームを復号し、１視点の画像、２視点の画像、または多視点の画像を生成して、図示せぬ表示装置に表示させる。
具体的には、復号装置２００のデコーダ２０１は、互換用デコーダ２１１と補助用デコーダ１３２により構成される。デコーダ２０１の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームに含まれる符号化された互換画像をMVC方式に対応する方式で復号し、画像生成部２０２に供給する。
画像生成部２０２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部２０２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部２０２は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部２０２は、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。
さらに、画像生成部２０２は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部２０２は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部２０２は、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部２０２は、画像生成部１２７と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部２０２は、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、デコーダ１２２から供給される互換画像としての画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
さらに、画像生成部２０２は、視聴者からの２Ｄ画像の表示指令に応じて、デコーダ１２２から供給される互換画像のうちの画像Ａ２を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
［復号装置の処理の説明］
図２７は、図２６の復号装置２００による復号処理を説明するフローチャートである。この復号処理は、例えば、図２２の符号化装置１８０から送信される多重化ストリームが復号装置２００に入力されたとき、開始される。
図２７のステップＳ１５１において、復号装置２００の画像生成部２０２は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ１５１で視聴者から２Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ１５２に進む。
ステップＳ１５２において、分離部１２１は、符号化装置１８０から送信されてくる多重化ストリームを受信し、その多重化ストリームからＴＳ１を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームのうちの一部を抽出し、デコーダ２０１に供給する。
ステップＳ１５３において、デコーダ２０１の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームの一部から符号化された互換画像のうちのベース画像である画像Ａ２を抽出し、AVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる画像Ａ２を画像生成部２０２に供給する。
ステップＳ１５４において、画像生成部２０２は、互換用デコーダ２１１から供給される画像Ａ２を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
一方、ステップＳ１５１で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、ステップＳ１５５において、分離部１２１は、多重化ストリームから、ＴＳ１とＴＳ２を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームの一部を抽出し、デコーダ１２２に供給する。また、分離部１２１は、デリミタなどを参照して、ＴＳ２に含まれる互換ストリームの他の一部および補助ストリームを抽出し、デコーダ１２２に供給する。また、分離部１２１は、デリミタなどを参照して、ＴＳ２に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
ステップＳ１５６において、画像生成部２０２は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ１５６で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ１５７に進む。
ステップＳ１５７において、デコーダ１２２の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、復号する。具体的には、互換用デコーダ２１１は、分離部１２１から供給される互換ストリームの一部から符号化された画像Ａを抽出し、互換ストリームの他の一部から符号化された画像Ｂを抽出する。そして、互換用デコーダ２１１は、符号化された画像Ａを符号化されたベース画像としてAVC方式に対応する方式で復号し、符号化された画像Ｂを符号化されたディペンデント画像として、MVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる互換画像である画像Ａおよび画像Ｂを画像生成部２０２に供給する。
ステップＳ１５８において、画像生成部２０２は、互換用デコーダ２１１から供給される互換画像のうちの画像Ａ１と画像Ｂ１を交互に出力し、図示せぬ表示装置に表示させる。そして、処理は終了する。
一方、ステップＳ１５６で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ１５９に進む。
ステップＳ１５９において、互換用デコーダ２１１は、ステップＳ１５７の処理と同様に、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、MVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる互換画像である画像Ａおよび画像Ｂを画像生成部２０２に供給する。
ステップＳ１６０において、補助用デコーダ１３２は、補助ストリームから符号化された補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を抽出し、図２２の補助用エンコーダ１５２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を画像生成部２０２に供給する。
ステップＳ１６１乃至Ｓ１６８の処理は、互換画像の視差画像が互換画像の視差画像の多重化画像である点を除いて、図９のステップＳ３５乃至Ｓ４２の処理と同様であるので、説明は省略する。
なお、復号装置２００との互換性を有する互換ストリームのみを復号可能な復号装置では、ＴＳ２の補助ストリームおよび補助情報は無視され、ステップＳ１５１乃至Ｓ１５５、Ｓ１５７、およびＳ１５８の処理が行われる。
以上のように、復号装置２００は、符号化装置１８０により既存の方式との互換性を有する方式で多重化された多重化ストリームを分離することができる。また、復号装置２００は、符号化装置１８０により既存の方式との互換性を有し、処理コストの比較的少ない方式で符号化された互換ストリームと補助ストリームを復号することができる。
[ＴＳの第２の構成例]
図２８は、図２２の多重化部５９により生成されるＴＳの第２の構成例を示す図である。
図２８の例では、多重化部５９において、３本のＴＳが生成され、互換ストリームのうちの符号化された互換画像の１つである画像Ｂ２と、補助ストリームおよび補助情報が別のＴＳに含まれる。具体的には、互換ストリームのうちの符号化された互換画像の一方である画像Ａ２からＴＳ１が生成され、他方である画像Ｂ２からＴＳ２が生成され、補助ストリームおよび補助情報からＴＳ３が生成される。
図２８の例では、互換ストリームのうちの符号化後の画像Ａ１と画像Ｂ２がそれぞれ単独でＴＳに格納されるので、互換ストリームの情報量を削減する必要がない。よって、互換画像の画質を既存のMVC方式で符号化される２視点の画像の画質と同等にすることができる。
[多重化方法の説明]
図２９は、図２８のＴＳ１乃至ＴＳ３の多重化方法の例を説明する図である。
図２９に示すように、ＴＳ１乃至ＴＳ３は、アクセスユニット単位で、ＴＳ３、ＴＳ１、ＴＳ２の順に先頭から配置されることにより、多重化される。なお、ＴＳ３の先頭には、互換ストリーム以外の情報を含むＴＳの先頭であることを表す3DV Representation Delimiterが付加される。即ち、3DV Representation Delimiterは、あるアクセスユニットのＴＳ３と、１つ前のアクセスユニットのＴＳ２の境界に配置される。よって、復号装置２００は、ある3DV Representation Delimiterから次の3DV Representation Delimiterまでの間のデータを抽出することにより、互換ストリームと、それに同期する補助ストリームおよび補助画像を容易に認識することができる。
[第２の符号化処理の説明]
図２８で説明した構成のＴＳを生成する場合の符号化装置１８０の符号化処理は、図２５のステップＳ１４５で、互換ストリームのうちの符号化後の画像ＡからＴＳ１が生成され、符号化後の画像ＢからＴＳ２が生成され、補助ストリームおよび補助情報からＴＳ３が生成される点を除いて、図２４および図２５で説明した符号化処理と同様であるので、説明は省略する。
[第２の復号処理の説明]
図３０は、多重化ストリームにおいて多重化されているＴＳの構成が図２８で説明した構成である場合の図２６の復号装置２００による復号処理を説明するフローチャートである。この復号処理は、例えば、図２２の符号化装置１８０から送信される多重化ストリームが復号装置２００に入力されたとき、開始される。
図３０のステップＳ１８１乃至Ｓ１８４の処理は、図２７のステップＳ１５１乃至Ｓ１５４の処理と同様であるので、説明は省略する。
ステップＳ１８１で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、ステップＳ１８５において、画像生成部２０２は、図３０のステップＳ１５６の処理と同様に、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ１８５で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ１８６に進む。
ステップＳ１８６において、分離部１２１は、図２７のステップＳ１５５の処理と同様に、多重化ストリームから、ＴＳ１とＴＳ２を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ１に含まれる互換ストリームの一部とＴＳ２に含まれる互換ストリームの他の一部を抽出し、デコーダ１２２に供給する。そして、処理はステップＳ１８７に進む。
ステップＳ１８７およびＳ１８８の処理は、図２７のステップＳ１５７およびＳ１５８の処理と同様であるので、説明は省略する。
一方、ステップＳ１８５で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ１８９に進む。
ステップＳ１８９において、分離部１２１は、多重化ストリームからＴＳ３を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ３に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給して保持させ、視点距離情報を視点間距離情報取得部１２４に供給して保持させる。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給して保持させ、互換情報を互換情報取得部１２６に供給して保持させる。また、分離部１２１は、デリミタなどを参照して、ＴＳ３に含まれる補助ストリームを抽出し、デコーダ１２２に供給する。
ステップＳ１９０において、分離部１２１は、ステップＳ１８６の処理と同様に、多重化ストリームから、ＴＳ１とＴＳ２を分離する。そして、分離部１２１は、ＴＳ１に含まれる互換ストリームの一部とＴＳ２に含まれる互換ストリームの他の一部を抽出し、デコーダ１２２に供給する。
ステップＳ１９１乃至Ｓ２００の処理は、図２７のステップＳ１５９乃至Ｓ１６８の処理と同様であるので、説明は省略する。
なお、復号装置２００との互換性を有する互換ストリームのみを復号可能な復号装置では、ＴＳ３は無視され、ステップＳ１８１乃至Ｓ１８８の処理が行われる。
以上のように、復号装置２００は、符号化装置１８０により既存の方式との互換性を有する方式で多重化された多重化ストリームを分離することができる。
[ＴＳの第３の構成例]
図３１は、図２２の多重化部５９により生成されるＴＳの第３の構成例を示す図である。
図３１の例では、多重化部５９において、３本のＴＳが生成され、互換ストリーム、補助ストリーム、および補助情報がそれぞれ別のＴＳに含まれる。具体的には、互換ストリームからＴＳ１が生成され、補助ストリームからＴＳ２が生成され、補助情報からＴＳ３が生成される。
図３１の例では、比較的情報量が少ない補助情報のみから単独のＴＳ３が生成される。従って、例えばＢＤのアプリケーションのように、同時に処理可能なＴＳの数に制限があるアプリケーションを実行する復号装置は、比較的情報量が少ないＴＳ３をプリロードすることで、ＴＳ１とＴＳ２を同期して再生することが可能になる。
また、図３１の例では、互換ストリームが、補助ストリームおよび補助情報とは異なるＴＳに格納されるので、符号化装置は、互換ストリームを生成した後に、他の装置から補助ストリームおよび補助情報をダウンロード等により取得し、多重化ストリームを生成することができる。
さらに、互換ストリームが、１つのＴＳに格納されるので、符号化装置１８０は、多重化において既存の２視点方式の３Ｄ画像をMVC方式で符号化し、１つのＴＳに格納する符号化装置との互換性を確保することができる。
[第３の符号化処理の説明]
図３１で説明した構成のＴＳを生成する場合の符号化装置１８０の符号化処理は、図２５のステップＳ１４５で、互換ストリームからＴＳ１が生成され、補助ストリームからＴＳ２が生成され、補助情報からＴＳ３が生成される点を除いて、図２４および図２５で説明した符号化処理と同様であるので、説明は省略する。
[第３の復号処理の説明]
図３２は、多重化ストリームにおいて多重化されているＴＳの構成が図３１で説明した構成である場合の図２６の復号装置２００による復号処理を説明するフローチャートである。この復号処理は、例えば、図２２の符号化装置１８０から送信される多重化ストリームが復号装置２００に入力されたとき、開始される。
図３２のステップＳ２１１において、復号装置２００の画像生成部２０２は、図２７のステップＳ１５１の処理と同様に、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ２１１で視聴者から２Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ２１２に進む。
ステップＳ２１２において、分離部１２１は、符号化装置１８０から送信されてくる多重化ストリームを受信し、その多重化ストリームからＴＳ１を分離する。そして、分離部１２１は、ＴＳ１に含まれる互換ストリームを抽出し、デコーダ２０１に供給する。
ステップＳ２１３において、デコーダ２０１の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、MVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる画像Ａ２を画像生成部２０２に供給する。
ステップＳ２１４において、画像生成部２０２は、図１５のステップＳ１５４の処理と同様に、互換用デコーダ２１１から供給される画像Ａ２を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
一方、ステップＳ２１１で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、ステップＳ２１５において、画像生成部２０２は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ２１５で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ２１６に進む。
ステップＳ２１６において、分離部１２１は、多重化ストリームからＴＳ１を分離する。そして、分離部１２１は、ＴＳ１に含まれる互換ストリームを抽出し、デコーダ１２２に供給する。
ステップＳ２１７において、デコーダ１２２の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、MVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる互換画像である画像Ａおよび画像Ｂを画像生成部２０２に供給する。
ステップＳ２１８において、画像生成部２０２は、互換用デコーダ２１１から供給される互換画像のうちの画像Ａ１と画像Ｂ１を交互に出力し、図示せぬ表示装置に表示させる。そして、処理は終了する。
一方、ステップＳ２１５で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、即ち視聴者から多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ２１９に進む。
ステップＳ２１９において、分離部１２１は、符号化装置１８０から出力される多重化ストリームからＴＳ３を分離する。そして、分離部１２１は、デリミタなどを参照して、ＴＳ３に含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給して保持させ、視点距離情報を視点間距離情報取得部１２４に供給して保持させる。さらに、分離部１２１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給して保持させ、互換情報を互換情報取得部１２６に供給して保持させる。
ステップＳ２２０において、分離部１２１は、符号化装置１８０から出力される多重化ストリームから、ＴＳ１とＴＳ２を分離する。そして、分離部１２１は、ＴＳ１に含まれる互換ストリームとＴＳ２に含まれる補助ストリームを、デコーダ１２２に供給する。
ステップＳ２２１において、デコーダ１２２の互換用デコーダ２１１は、分離部１２１から供給される互換ストリームから符号化された互換画像を抽出し、MVC方式に対応する方式で復号する。互換用デコーダ２１１は、復号の結果得られる互換画像である画像Ａおよび画像Ｂを画像生成部２０２に供給する。そして、処理はステップＳ２２２に進む。
ステップＳ２２２乃至Ｓ２３０の処理は、図３０のステップＳ１９２乃至Ｓ２００の処理と同様であるので、説明は省略する。
なお、上述した説明では、復号装置が、デリミタによりＴＳを分離したが、各ＴＳのＰＩＤが固定値である場合には、ＰＩＤによりＴＳを分離するようにしてもよい。この場合、互換ストリームのみを復号可能な復号装置は、互換ストリームが含まれるＴＳ以外のＰＩＤを認識していないため、そのＴＳ以外無視する。
また、補助情報は、符号化されるようにしてもよい。
＜第４実施の形態＞
［符号化装置の第４実施の形態の構成例］
図３３は、本技術を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。
図３３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３３の符号化装置２３０の構成は、主に、撮影部５１Ｂおよび撮影部５１Ｃ、画像変換部５２、視差画像生成部５３、視点間距離情報生成部５６の代わりに、撮影部２３１−１乃至２３１−Ｎ（Ｎは４以上の２の倍数）、画像変換部２３２、視差画像生成部２３３、視点間距離情報生成部２３４が設けられている点が図２の構成と異なる。符号化装置２３０は、多視点の画像のうちの１視点の画像を互換画像とし、残りのＮ視点の画像を補助画像として符号化する。
具体的には、符号化装置２３０において、撮影部２３１−１乃至２３１−Ｎは、撮影部５１Ａを中心として、水平方向に順に並べられる。撮影部２３１−１と撮影部２３１−２、撮影部２３１−２と撮影部２３１−３、・・・、撮影部２３１−（Ｎ−１）と撮影部２３１−Ｎの距離は、それぞれ、距離Δｄ１１、Δｄ１２、・・・、Δｄ１Ｎ−１である。
撮影部２３１−１乃至２３１−Ｎは、それぞれ、画像Ａ１とは異なる視点のHD画像を画像Ｐ１乃至ＰＮとして撮影し、画像変換部２３２、視差画像生成部２３３、および視点間距離情報生成部２３４に供給する。なお、以下では、撮影部２３１−１乃至２３１−Ｎのそれぞれを特に区別する必要がない場合、それらをまとめて撮影部２３１という。同様に、画像Ｐ１乃至ＰＮを画像Ｐという。
なお、画像Ｐに対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置２３０に対応する復号装置は、画像Ａ１と画像Ｐを用いて、画像Ｐの視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ１１乃至Δｄ１Ｎ−１は、固定であってもよいし、時間ごとに変化するようにしてもよい。
画像変換部２３２は、撮影部５１Ａと撮影部２３１のうちの水平方向の位置が内側にある撮影部５１Ａから供給される画像Ａ１を互換画像に決定する。画像変換部２３２は、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給する。そして、画像変換部２３２は、互換画像である画像Ａ１をそのままエンコーダ５８に供給する。
また、画像変換部２３２は、画像Ａ１以外の画像Ｐを補助画像とし、所定の多重化方式で多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部２３２は、画像Ｐの解像度を半分にする。そして、画像変換部２３２は、解像度が半分にされた画像Ｐ１，Ｐ３，・・・，Ｐ（Ｎ−１）（以下、1/2解像度奇数画像という）が画面の左半分の画像となり、解像度が半分にされた画像Ｐ２，Ｐ４，・・・，ＰＮ（以下、1/2解像度偶数画像という）が画面の右半分の画像となるように、1/2解像度奇数画像と1/2解像度偶数画像を多重化する。画像変換部２３２は、多重化の結果得られる多重化画像をエンコーダ５８に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
視差画像生成部２３３は、撮影部５１Ａからの画像Ａ１と撮影部２３１からの画像Ｐとを用いて、画像Ａ１と画像Ｐの各画素の視差を検出する。視差画像生成部２３３は、互換画像である画像Ａ１の視差画像Ａ１’を生成し、そのままエンコーダ５８に供給する。また、視差画像生成部２３３は、補助画像である画像Ｐ１乃至ＰＮの視差画像Ｐ１’乃至ＰＮ’を生成し、画像変換部２３２と同様に、所定の多重化方式で多重化する。視差画像生成部２３３は、その結果得られる多重化画像をエンコーダ５８に供給する。視差画像生成部２３３は、補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
なお、以下では、視差画像Ｐ１’乃至ＰＮ’を特に区別する必要がない場合、それらをまとめて視差画像Ｐ’という。
視点間距離情報生成部２３４は、撮影部５１Ａからの画像Ａ１と撮影部２３１からの画像Ｐを用いて、画像Ａ１と画像Ｐの視点間距離を検出する。例えば、視点間距離情報生成部２３４は、撮影部２３１−１と撮影部２３１−２の間の水平方向の距離Δｄ１１、・・・、および、撮影部２３１−（Ｎ−１）と撮影部２３１−Ｎの間の水平方向の距離Δｄ１Ｎ−１を視点間距離として検出する。視点間距離情報生成部２３４は、視点間距離を表す情報などを視点間距離情報として生成し、多重化部５９に供給する。
［ＴＳの構成例］
図３４は、図３３の多重化部５９により生成されるＴＳの構成例を示す図である。
図３４の例では、多重化部５９において、互換ストリームからＴＳ１が生成される。また、符号化された補助画像である画像Ｐの多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像Ｐ’の多重化画像を含む補助ストリームと補助情報からＴＳ２が生成される。
図３４の例では、図３の場合と同様に、互換ストリームと、互換ストリーム以外のものが別のＴＳに格納されるので、互換ストリームの情報量を削減する必要がない。よって、互換画像の画質を、既存のAVC方式で符号化される２Ｄ画像の画質と同等にすることができる。
図３５は、図３４のＴＳ２の詳細構成例を示す図である。
図３５のＡ乃至図３５のＣに示すように、図３４のＴＳ２には、ユニット単位でデータが配置され、各ユニットの先頭にはデリミタ（Del）が挿入される。
図３５のＡの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像（P1+P2，・・・，P(N-1)＋PN）と補助画像の多重化画像の補助情報（Aux Inf）、符号化された互換画像の視差画像（A1'）と互換画像の視差画像の補助情報、または符号化された補助画像の視差画像の多重化画像（P1’+P2’，・・・，P(N-1)’＋PN’）と補助画像の視差画像の多重化画像の補助情報が、データとして配置されている。
この場合、図４のＡの場合と同様に、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、それぞれ独立に抽出することができる。その結果、例えば、復号装置が、互換画像と互換画像の視差画像のみを用いて多視点の画像を生成する場合、多視点の画像の生成に用いられる画像を容易に抽出することができる。また、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像の各画像と、その画像の補助情報が同一のユニット内に配置されるので、各ユニットに配置される画像を容易に独立して処理することができる。
図３５のＢの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像、並びに補助情報がまとめて配置されている。この場合、図４のＢの場合と同様に、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像、並びに補助情報をまとめて抽出することができる。
図３５のＣの例では、各ユニットに、アクセスユニット単位の符号化された補助画像の多重化画像と補助画像の多重化画像の補助情報、または、符号化された互換画像の視差画像および補助画像の視差画像の多重化画像、並びに互換画像の視差画像および補助画像の視差画像の補助情報が、配置されている。
この場合、図４のＣの場合と同様に、ＴＳ２を受信する復号装置は、ユニット単位でデータを抽出することにより、アクセスユニット単位の符号化された補助画像の多重化画像と、互換画像の視差画像および補助画像の視差画像の多重化画像とを、それぞれ独立に抽出することができる。その結果、例えば、復号装置において、画像用のデコーダと視差画像用のデコーダが別に用意される場合、それぞれのデコーダに効率的にデータを供給することができる。また、復号装置において、画像と視差画像を容易に独立して処理することができる。
なお、図３３の符号化装置２３０の符号化処理は、補助画像の視点数が２視点ではなく、Ｎ視点である点を除いて、図６および図７の符号化処理と同様であるので、説明は省略する。
以上のように、符号化装置２３０は、互換ストリームと、補助ストリームおよび補助情報とを別のＴＳに格納して多重化を行うので、多重化において既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。
また、符号化装置２３０は、多視点の画像のうちの１視点の画像を互換画像とし、既存の符号化方式で符号化するので、符号化において既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。即ち、符号化装置２３０は、多視点の画像に対して、既存の符号化方式との互換性を有する方式で符号化を行うことができる。
さらに、符号化装置２３０は、Ｎ＋１視点の画像Ａ１および画像Ｐを符号化するので、符号化装置２３０に対応する復号装置は、Ｎ＋１視点の画像Ａ１および画像Ｐから多視点の画像を生成することができる。これにより、復号装置は、２視点の画像から生成する場合に比べて、生成可能な画像の視点が限られず、また、より精度の高い多視点の画像を生成することができる。
また、符号化装置２３０は、補助画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化処理および復号処理の処理コストを軽減することができる。
［復号装置の構成例］
図３６は、図３３の符号化装置２３０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
図３６に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３６の復号装置２６０の構成は、主に、デコーダ１２２、画像生成部１２７の代わりに、デコーダ２６１、画像生成部２６２が設けられている点が図８の構成と異なる。復号装置１２０は、符号化装置２３０から送信される多重化ストリームを分離して復号し、１視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
図３６の復号装置２６０のデコーダ２６１は、互換用デコーダ１３１と補助用デコーダ２７１により構成される。デコーダ２６１の補助用デコーダ２７１（補助画像復号部）は、分離部１２１から供給される補助ストリームに含まれる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図３３の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ２７１は、復号の結果得られる補助画像である画像Ｐの多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像である視差画像Ｐ’の多重化画像を画像生成部２６２に供給する。
画像生成部２６２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部２６２（生成部）は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像である画像Ａ、補助画像である画像Ｐの多重化画像、互換画像の視差画像Ａ’、および補助画像の視差画像Ｐ’の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部２６２は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像Ｐ１’の多重化画像から、各補助画像の視差画像Ｐ’を分離する。また、画像生成部２６２は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像である画像Ｐの多重化画像から、各画像Ｐを分離する。
さらに、画像生成部２６２は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部２６２は、互換画像、各補助画像、互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部２６２は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部２６２は、視聴者からの２Ｄ画像の表示指令に応じて、デコーダ２６１の互換用デコーダ１３１から供給される互換画像である画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
なお、図３６の復号装置２６０の復号処理は、補助画像がＮ視点の画像Ｐである点を除いて、図９の復号処理と同様であるので、説明は省略する。
以上のように、復号装置２６０は、符号化装置２３０により既存の方式との互換性を有する方式で多重化された多重化ストリームを分離することができる。また、復号装置２６０は、符号化装置２３０により既存の方式との互換性を有し、処理コストの比較的少ない方式で符号化された互換ストリームと補助ストリームを復号することができる。
＜第５実施の形態＞
［符号化装置の第５実施の形態の構成例］
図３７は、本技術を適用した符号化装置の第５実施の形態の構成例を示すブロック図である。
図３７の符号化装置２９０は、画像変換処理部２９１、視差情報生成部２９２、符号化処理部２９３、および伝送部２９４により構成される。符号化装置２９０は、２視点の互換画像のうちの一方をAVC方式で符号化し、他方をMVC方式で符号化し、１視点の補助画像、互換画像の視差画像、および補助画像の視差画像を3DV方式で符号化する。なお、3DV方式とは、AVC方式やMVC方式に準じた多視点方式での表示用の画像を符号化するための方式である。
具体的には、符号化装置２９０には、１視点の互換画像としての２視点方式における左目用の画像であるＬ画像と、Ｌ画像の視差画像（以下、Ｌ視差画像という）とからなるＬ視点画像が入力される。また、符号化装置２９０には、他の１視点の互換画像としての２視点方式における右目用の画像であるＲ画像と、Ｒ画像の視差画像（以下、Ｒ視差画像という）とからなるＲ視点画像が入力される。さらに、符号化装置２９０には、補助画像としてのＯ画像とＯ画像の視差画像（以下、Ｏ視差画像という）とからなるＯ視点画像が入力される。ここでは、Ｌ視点画像、Ｒ視点画像、およびＯ視点画像の解像度は全て同一であるものとする。
符号化装置２９０の画像変換処理部２９１は、符号化装置２９０に入力されるＯ視点画像を構成するＯ画像とＯ視差画像に対して、それぞれ、フィルタ処理等の低解像度化処理を行うことにより、解像度を低下させる。画像変換処理部２９１は、低解像度化処理後のＯ視点画像を符号化処理部２９３に供給する。また、画像変換処理部２９１は、低解像度化処理におけるフィルタの種類を表す情報等を、補助画像の低解像度化処理に関する情報である補助画像低解像度変換情報として生成し、伝送部２９４に供給する。
視差情報生成部２９２（設定部）は、Ｌ画像、Ｒ画像、およびＯ画像の撮影時の情報等に基づいて、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の視差画像に関する情報である視差情報を生成し、符号化処理部２９３に供給する。
符号化処理部２９３は、符号化装置２９０に入力されるＬ視点画像のうちのＬ画像をAVC方式で符号化する。また、符号化処理部２９３は、Ｒ視点画像のうちのＲ画像を、Ｌ画像をベースビュー（ベース画像）とし、Ｒ画像をノンベースビュー（ディペンデント画像）として、MVC方式で符号化する。
さらに、符号化処理部２９３は、Ｌ視差画像、Ｒ視点画像、および、画像変換処理部２９１から供給される低解像度化処理後のＯ視点画像を、3DV方式で符号化する。このとき、符号化処理部２９３は、低解像度化処理後のＯ視点画像を符号化する場合、参照するＬ視点画像やＲ視点画像に対して、フィルタ処理等の低解像度化処理を行い、その結果得られるＯ視点画像の解像度と同一の解像度のＬ視点画像やＲ視点画像を参照画像として用いる。
符号化処理部２９３は、符号化の結果得られるＬ視点画像、Ｒ視点画像、およびＯ視点画像の符号化データ、並びに、視差情報生成部２９２から供給される視差情報からビットストリームを生成し、そのビットストリームを伝送部２９４に供給する。また、符号化処理部２９３は、Ｏ視点画像の参照画像を生成する際の低解像度化処理におけるフィルタの種類を表す情報等を、参照画像の低解像度化処理に関する情報である参照画像低解像度変換情報として生成し、伝送部２９４に供給する。
伝送部２９４は、画像変換処理部２９１から供給される補助画像低解像度変換情報、並びに、符号化処理部２９３から供給されるビットストリームおよび参照画像低解像度変換情報からＴＳを生成し、伝送する。
［符号化処理部の構成例］
図３８は、図３７の符号化処理部２９３の構成例を示す図である。
図３８の符号化処理部２９３は、符号化部３０１、付加情報生成部３０２、付加部３０３、およびビットストリーム生成部３０４により構成される。
符号化処理部２９３の符号化部３０１は、互換符号化部３１１と補助符号化部３１２により構成される。符号化部３０１の互換符号化部３１１は、互換画像であるＬ画像とＲ画像のうちのＬ画像をAVC方式で符号化する。また、互換符号化部３１１は、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとしてＲ画像をMVC方式で符号化する。互換符号化部３１１は、符号化の結果得られるＬ画像とＲ画像の符号化データを付加部３０３に供給する。
補助符号化部３１２は、互換画像の視差画像であるＬ視差画像およびＲ視差画像、補助画像であるＯ画像、並びに補助画像の視差画像であるＯ視差画像を3DV方式で符号化する。具体的には、補助符号化部３１２は、Ｏ画像を、Ｌ画像やＲ画像を参照画像として3DV方式で符号化する。このとき、補助符号化部３１２は、参照するＬ画像やＲ画像に対して低解像度化処理を行い、そのＬ画像やＲ画像の解像度をＯ画像の解像度と同一の解像度に低下させる。そして、補助符号化部３１２は、低解像度化処理後のＬ画像やＲ画像を参照してＯ画像を符号化する。
また、補助符号化部３１２は、同一の視点の視差画像以外を参照せずにＬ視差画像を3DV方式で符号化し、Ｒ視差画像を、Ｌ視差画像を参照して3DV方式で符号化する。また、補助符号化部３１２は、低解像度化処理後のＯ視差画像を、Ｌ視差画像やＲ視差画像を参照して3DV方式で符号化する。このとき、補助符号化部３１２は、参照するＬ視差画像やＲ視差画像の解像度を、低解像度化処理により、Ｏ視差画像と同一の解像度に低下させ、低解像度化処理後のＬ視差画像やＲ視差画像を参照する。
補助符号化部３１２は、符号化の結果得られるＬ視差画像、Ｒ視差画像、およびＯ視点画像の符号化データを付加部３０３に供給する。また、補助符号化部３１２は、Ｏ視点画像の参照画像を生成する際の低解像度化処理におけるフィルタの種類を表す情報等を、参照画像低解像度変換情報として生成し、図３７の伝送部２９４に供給する。
付加情報生成部３０２は、Ｌ画像のSPS（Sequence Parameter Set）、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSの情報を生成する。また、付加情報生成部３０２は、Ｌ画像、Ｒ画像、およびＯ画像のSEI（Supplemental Enhancement Information）の情報を生成する。さらに、付加情報生成部３０２は、図３７の視差情報生成部２９２から供給されるＬ視差画像の視差情報を含むＬ視差画像のSEIの情報、Ｒ視差画像の視差情報を含むＲ視差画像のSEIの情報、およびＯ視差画像の視差情報を含むＯ視差画像のSEIの情報を生成する。付加情報生成部３０２は、Ｌ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSおよびSEIの情報を付加部３０３に供給する。
付加部３０３は、互換符号化部３１１から供給されるＬ画像の符号化データに、NAL(Network Abstraction Layer)ユニットのタイプとして、AVC方式のピクチャの種類を表す情報を含むNALヘッダを付加し、NALユニットを生成する。また、付加部３０３は、互換符号化部３１１から供給されるＲ画像の符号化データに、NALユニットのタイプとして、MVC方式の符号化データを表す情報を含むNALヘッダを付加し、NALユニットを生成する。
また、付加部３０３は、補助符号化部３１２から供給されるＯ画像の符号化データに、NALユニットのタイプとして3DV方式の符号化データを表す情報を含み、視差画像ではないことを表す視差フラグを含むNALヘッダを付加し、NALユニットを生成する。さらに、付加部３０３は、補助符号化部３１２から供給されるＬ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データに、それぞれ、NALユニットのタイプとして3DV方式の符号化データを表す情報を含み、視差画像であることを表す視差フラグ（視差識別情報）、対応する画像に関する情報等を含むNALヘッダを付加し、NALユニットを生成する。
さらに、付加部３０３は、付加情報生成部３０２から供給されるＬ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSおよびSEIの情報に、それぞれ、NALユニットのタイプとして、それぞれの情報を表すNALヘッダを付加し、NALユニットを生成する。付加部３０３は、以上のようにして生成されたNALユニットをビットストリーム生成部３０４に供給する。
ビットストリーム生成部３０４は、付加部３０３から供給されるNALユニットを所定の順に配置してビットストリームを生成し、図３７の伝送部２９４に供給する。
[符号化の説明]
図３９は、図３８の符号化部３０１による符号化における参照関係を示す図である。
図３９に示すように、互換符号化部３１１は、Ｌ画像をAVC方式で符号化する。また、互換符号化部３１１は、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとして、Ｒ画像をMVC方式で符号化する。また、補助符号化部３１２は、低解像度化処理後のＬ画像やＲ画像を参照して、低解像度化処理後のＯ画像を3DV方式で符号化する。
また、図３９に示すように、補助符号化部３１２は、同一の視点の視差画像以外を参照せずにＬ視差画像を3DV方式で符号化し、Ｌ視差画像を参照してＲ視差画像を3DV方式で符号化する。さらに、補助符号化部３１２は、低解像度化処理後のＬ視差画像やＲ視差画像を参照して、低解像度化処理後のＯ視差画像を3DV方式で符号化する。
［NALユニットの構成例］
図４０は、図３８の符号化処理部２９３により生成されるビットストリームのうちの、Ｌ視点画像、Ｒ視点画像、およびＯ視点画像の符号化データのNALユニットの構成例を示す図である。
図４０のＡに示すように、例えば、Ｌ画像が既存のAVC方式で符号化され、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像がＬ画像をベースビューとしてMVC方式で符号化される場合、Ｌ画像の符号化データのNALユニットは、NALユニットのタイプとして、そのＬ画像のAVC方式のピクチャの種類を表す情報を含むNALヘッダと、Ｌ画像の符号化データとから構成される。
また、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データのNALユニットは、それぞれ、NALユニットのタイプ（NAL unit type）としてMVCの符号化データを表す情報を含むNALヘッダと、その符号化データとから構成される。従って、MVC方式で符号化されるＲ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データのNALユニットのNALヘッダは同一である。
よって、ビットストリームを復号する復号装置において、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のNALユニットを識別することができない。従って、既存のMVC方式の復号装置は、必要なＲ画像のNALユニットだけを抽出して復号することができず、無駄な復号処理を行う。
これに対して、図４０のＢに示すように、符号化処理部２９３による符号化処理では、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のNALユニットのNALヘッダに、NALユニットのタイプとして3DV方式の符号化データを表す情報が含まれるとともに、拡張情報（nal_unit_header_3dv_extension）として視差フラグ（is＿depth）が含まれる。
具体的には、Ｏ画像のNALユニットのNALヘッダには、視差画像ではないことを表す0である視差フラグが含まれる。これにより、復号装置において、Ｏ画像を識別することができる。また、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のNALユニットのNALヘッダには、視差画像であることを表す1である視差フラグが含まれる。これにより、復号装置において、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像を識別することができる。
さらに、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のNALユニットのNALヘッダには、拡張情報として、対応する画像（互換画像、補助画像）に関する情報が含まれる。対応する画像に関する情報としては、対応する画像の視点数（num_cor_view_id）と、対応する画像の視点を特定する情報（cor_view_id）（互換画像識別情報、補助画像識別情報）がある。
ここでは、Ｌ視差画像は、１視点のＬ画像の視差画像であり、Ｒ視差画像は、１視点のＲ画像の視差画像であり、Ｏ視差画像は、１視点のＯ画像の視差画像である。また、図４０の例では、Ｌ画像の視点を特定する情報が0であり、Ｒ画像の視点を特定する情報が1であり、Ｏ画像の視点を特定する情報が2である。
従って、Ｌ視差画像のNALユニットのNALヘッダに含まれる対応する画像に関する情報は、対応する画像の視点数としての1と、対応する画像の視点を特定する情報としての0である。また、Ｒ視差画像のNALユニットのNALヘッダに含まれる対応する画像に関する情報は、対応する画像の視点数としての1と、対応する画像の視点を特定する情報としての1である。さらに、Ｏ視差画像のNALユニットのNALヘッダに含まれる対応する画像に関する情報は、対応する画像の視点数としての1と、対応する画像の視点を特定する情報としての2である。
以上のように、拡張情報として、対応する画像に関する情報が含まれることにより、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像をそれぞれ識別することができる。また、視差画像と画像の対応関係を表す、視差画像に対応する画像を特定する情報が、画像のNALヘッダではなく、視差画像のNALヘッダに含まれるので、互換画像のNALユニットの互換性を保つことができる。
なお、互換画像であるＬ画像のNALユニットのタイプは、AVC方式のピクチャであることを表す情報であり、Ｒ画像のNALユニットのタイプは、MVC方式の符号化データを表す情報である。従って、3DV方式の符号化データを表すNALユニットのタイプは、互換画像以外の情報の先頭を表す情報、即ち互換画像以外の情報の境界を表す境界情報であるといえる。
[ビットストリームの構成例]
図４１は、図３８のビットストリーム生成部３０４により生成されるビットストリームの構成例を示す図である。
図４１のＡに示すように、AVC方式で符号化されたＬ画像のビットストリームは、Ｌ画像のAVC方式のSPSの情報のNALユニット、Ｌ画像のAVC方式のSEIの情報のNALユニット、およびＬ画像の符号化データ（L color）のNALユニットにより構成される。
また、図４１のＢに示すように、MVC方式で符号化されたＲ画像のビットストリームは、Ｒ画像のMVC方式のSubset SPSの情報のNALユニット、Ｒ画像のMVC方式のSEIの情報のNALユニット、およびＲ画像の符号化データ（R color）のNALユニットにより構成される。
図４１のＣに示すように、3DV方式で符号化されたＯ画像のビットストリームは、Ｏ画像の3DV方式のSubset SPSの情報のNALユニット、Ｏ画像の3DV方式のSEIの情報のNALユニット、およびＯ画像の符号化データ（O color）のNALユニットにより構成される。
図４１のＤに示すように、3DV方式で符号化されたＬ視差画像のビットストリームは、Ｌ視差画像の3DV方式のSubset SPSの情報のNALユニット、Ｌ視差画像の視差情報(3DV_view_synthesis_info)を含む3DV方式のSEIの情報のNALユニット、およびＬ視差画像の符号化データ（L Depth）のNALユニットにより構成される。
図４１のＥに示すように、3DV方式で符号化されたＲ視差画像のビットストリームは、Ｒ視差画像の3DV方式のSubset SPSの情報のNALユニット、Ｒ視差画像の視差情報を含む3DV方式のSEIの情報のNALユニット、およびＲ視差画像の符号化データ（R Depth）のNALユニットにより構成される。
なお、図示は省略するが、3DV方式で符号化されたＯ視差画像のビットストリームは、Ｒ視差画像のビットストリームと同様に、Ｏ視差画像の3DV方式のSubset SPSの情報のNALユニット、Ｏ視差画像の視差情報を含む3DV方式のSEIの情報のNALユニット、およびＯ視差画像の符号化データのNALユニットにより構成される。
以上のように、視差情報は3DV方式のSEIに含まれるので、3DV方式に対応していない復号装置において、無駄に視差情報を処理する必要がない。
[3DV方式のSEIの構成例]
図４２は、3DV方式のSEIの構成例を示す図である。
図４２に示すように、3DV方式のSEIには、視差情報（3DV_view_synthesis_info）が含まれる。
図４３は、視差情報（3DV_view_synthesis_info）の記述例を示す図である。
図４３に示すように、視差情報としては、視差画像の各画素値が、視差そのものを表す視差値（Disparity）であるか、視差に対応する被写体の奥行き（Depth）を表すデプス値であるかを表す視差タイプ（depth_type）が記述される。
また、視差情報としては、視差画像の各画素値が所定の範囲（例えば、0から255までの範囲）内に正規化されているかどうかを表す正規化フラグ（is_normalized）（正規化識別情報）が記述される。
さらに、視差画像の各画素値がデプス値である場合、視差情報として、全視点に共通のデプス値の最大値(z_near)と、デプス値の最小値(z_far)が記述される。また、視差画像の各画素値が視差値である場合、視点ごとの視差値の最大値（max_disp）、視差値の最小値(min_disp)が記述される。
また、視差情報としては、視差画像に対応する画像を撮影するカメラの撮影モード（camera_mode）が記述される。撮影モードとしては、カメラと被写体との奥行方向の距離が同一となるように撮影する平行撮影モード(1D parallel mode)と、被写体から輻射方向に各カメラを配置して撮影する輻射付き撮影モード（General mode）がある。
視差情報としては、さらに、視差画像が表す視差が、その視差画像に対応する画像と、どの画像との視差であるのかを表す対応関係情報（interval_view_id）が記述される。さらに、視差情報としては、視差画像に対応する画像の視点数（num_cor_view_id）と、その画像を特定する情報（cor_vie_id）とが記述される。
また、視差情報としては、視差画像に対応する画像を撮影するカメラのパラメータ（camera_parameters）が記述される。なお、カメラのパラメータは、内部パラメータと外部パラメータにより構成される。内部パラメータは、全視点に共通のカメラの水平方向の焦点距離と、画像中心である主点、即ちレンズの光学的な中心の水平方向の位置とからなる。なお、主点の水平方向の位置は、視点ごとに異なり得る。また、外部パラメータは、カメラの水平方向の位置を定義するパラメータである。
[符号化装置の処理の説明]
図４４は、図３７の符号化装置２９０の多視点符号化処理を説明するフローチャートである。この多視点画像符号化処理は、例えば、Ｌ視点画像、Ｒ視点画像、およびＯ視点画像が符号化対象として符号化装置２９０に入力されたとき、開始される。
図４４のステップＳ２５１において、符号化装置２９０の符号化処理部２９３は、符号化装置２９０に入力されたＬ視点画像を取得する。ステップＳ２５２において、符号化処理部２９３は、符号化装置２９０に入力されたＲ視点画像を取得する。ステップＳ２５３において、画像変換処理部２９１は、符号化装置２９０に入力されたＯ視点画像を取得する。
ステップＳ２５４において、画像変換処理部２９１は、Ｏ視点画像のうちのＯ画像とＯ視差画像のそれぞれに対して低解像度化処理を行う。画像変換処理部２９１は、低解像度化処理後のＯ視点画像を符号化処理部２９３に供給する。
ステップＳ２５５において、画像変換処理部２９１は、ステップＳ２５４の低解像度化処理におけるフィルタの種類を表す情報等を補助画像低解像度変換情報として生成し、伝送部２９４に供給する。
ステップＳ２５６において、視差情報生成部２９２は、Ｌ画像、Ｒ画像、およびＯ画像の撮影時の情報等に基づいて、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の視差情報を生成し、符号化処理部２９３に供給する。
ステップＳ２５７において、符号化処理部２９３は、Ｌ視点画像およびＲ視点画像、並びに、画像変換処理部２９１から供給される低解像度化処理後のＯ視点画像を符号化する符号化処理を行う。この符号化処理の詳細は、後述する図４５を参照して説明する。
ステップＳ２５８において、伝送部２９４は、画像変換処理部２９１から供給される補助画像低解像度変換情報、並びに、符号化処理部２９３から供給される参照画像低解像度変換情報およびビットストリームからＴＳを生成し、伝送する。そして、処理は終了する。
図４５は、図４４のステップＳ２５７の符号化処理の詳細を説明するフローチャートである。
図４５のステップＳ２７０において、符号化処理部２９３の符号化部３０１（図３８）は、Ｌ視点画像、Ｒ視点画像、および低解像度化処理後のＯ視点画像を符号化する。具体的には、符号化部３０１の互換符号化部３１１が、Ｌ画像をAVC方式で符号化し、Ｒ画像をMVC方式で符号化する。また、補助符号化部３１２が、Ｌ視差画像、Ｒ視差画像、および低解像度化処理後のＯ視点画像を3DV方式で符号化する。符号化部３０１は、符号化の結果得られるＬ視点画像、Ｒ視点画像、およびＯ視点画像の符号化データを付加部３０３に供給する。
ステップＳ２７１において、補助符号化部３１２は、参照画像低解像度変換情報を生成し、図３７の伝送部２９４に供給する。
ステップＳ２７２において、付加情報生成部３０２は、図３７の視差情報生成部２９２から供給される視差情報を用いて、Ｌ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSおよびSEIの情報を生成し、付加部３０３に供給する。
ステップＳ２７３において、付加部３０３は、互換符号化部３１１から供給されるＬ画像の符号化データに、AVC方式のピクチャの種類を表すNALユニットのタイプを含むNALヘッダを付加し、NALユニットを生成する。付加部３０３は、生成されたＬ画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
ステップＳ２７４において、付加部３０３は、互換符号化部３１１から供給されるＲ画像の符号化データに、MVC方式の符号化データを表すNALユニットのタイプを含むNALヘッダを付加し、NALユニットを生成する。付加部３０３は、生成されたＲ画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
ステップＳ２７５において、付加部３０３は、補助符号化部３１２から供給されるＯ画像の符号化データに、3DV方式の符号化データを表すNALユニットのタイプと、視差画像ではないことを表す視差フラグを含むNALヘッダを付加し、NALユニットを生成する。付加部３０３は、生成されたＯ画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
ステップＳ２７６において、付加部３０３は、補助符号化部３１２から供給されるＬ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データに、それぞれ、3DV方式の符号化データを表すNALユニットのタイプ、視差画像であることを表す視差フラグ、および、対応する画像に関する情報を含むNALヘッダを付加し、NALユニットを生成する。付加部３０３は、生成されたＬ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
ステップＳ２７７において、付加部３０３は、付加情報生成部３０２から供給されるＬ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSおよびSEIの情報に、それぞれの情報を表すNALユニットのタイプを含むNALヘッダを付加し、NALユニットを生成する。付加部３０３は、生成されたＬ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSおよびSEIの情報のNALユニットを、ビットストリーム生成部３０４に供給する。
ステップＳ２７８において、ビットストリーム生成部３０４は、付加部３０３から供給されるNALユニットを所定の順に配置してビットストリームを生成し、図３７の伝送部２９４に供給する。そして、処理は図４４のステップＳ２５７に戻り、処理はステップＳ２５８に進む。
以上のように、符号化装置２９０は、互換画像を既存の符号化方式で符号化し、補助画像であるＯ画像の符号化データに、3DV方式の符号化データを表すNALユニットのタイプを含むNALヘッダを付加する。これにより、既存の符号化方式にのみ対応する復号装置は、NALヘッダに基づいて復号可能な互換画像の符号化データのみを抽出し、既存の符号化方式に対応する方式で復号することができるので、符号化装置２９０は、既存の方式との互換性を有する方式で符号化を行っているといえる。その結果、例えば、AVC方式、MVC方式、および3DV方式のそれぞれに対応するアプリケーション用のデータをまとめて符号化して放送することができる。
[AVC方式の復号装置の構成例]
図４６は、図３７の符号化装置２９０により伝送されてくるビットストリームを復号するAVC方式の復号装置の構成例を示すブロック図である。
図４６の復号装置３２０は、受信部３２１、分離部３２２、およびAVC復号部３２３により構成され、符号化装置２９０により伝送されてくるビットストリームに含まれるＬ画像の符号化データを復号する。
復号装置３２０の受信部３２１は、図３７の符号化装置２９０により伝送されてくるＴＳを受信し、そのＴＳに含まれるビットストリームを分離部３２２に供給する。
分離部３２２は、受信部３２１から供給されるビットストリームを、NALヘッダに基づいて、Ｌ画像のSPS,SEI、および符号化データのNALユニットと、そのNALユニット以外のNALユニットに分離する。
具体的には、分離部３２２は、ビットストリームから、AVC方式のピクチャの種類を表すNALユニットのタイプをNALヘッダに含むＬ画像の符号化データのNALユニット、AVC方式のSPSを表すNALユニットのタイプをNALヘッダに含むＬ画像のSPSのNALユニット、およびAVC方式のSEIを表すNALユニットのタイプをNALヘッダに含むL画像のSEIのNALユニットを抽出する。分離部３２２は、分離されたNALユニットに含まれるデータであるＬ画像のSPSの情報、SEIの情報、および符号化データを、そのデータが、SPSの情報、SEIの情報、および符号化データのいずれであるかを表す種類情報とともにAVC復号部３２３に供給する。なお、種類情報は、対応するNALユニットのタイプに基づいて生成される。
AVC復号部３２３は、分離部３２２から供給される種類情報に基づいて、SPSの情報およびSEIの情報を表す種類情報に対応して供給されるSPSおよびSEIの情報を保持する。AVC復号部３２３は、保持しているSPSおよびSEIの情報に基づいて、分離部３２２から符号化データを表す種類情報とともに供給されるＬ画像の符号化データを、AVC方式に対応する方式で復号する。AVC復号部３２３は、復号の結果得られるＬ画像を図示せぬ表示装置に出力し、表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
[AVC方式の復号装置の処理の説明]
図４７は、図４６の復号装置３２０の復号処理を説明するフローチャートである。この復号処理は、例えば、図３７の符号化装置２９０からＴＳが伝送されてきたとき、開始される。
図４７のステップＳ２９１において、復号装置３２０の受信部３２１は、符号化装置２９０により伝送されてくるＴＳを受信する。受信部３２１は、ＴＳに含まれるビットストリームを分離部３２２に供給する。なお、以降のステップＳ２９２乃至Ｓ２９７の処理は、ビットストリームを構成するNALユニットごとに行われる。
ステップＳ２９２において、分離部３２２は、NALユニットのNALヘッダに含まれるNALユニットのタイプが、AVC方式のタイプであるかどうかを判定する。即ち、分離部３２２は、NALユニットのタイプが、AVC方式のピクチャの種類、SPS、またはSEIを表す情報であるかどうかを判定する。
ステップＳ２９２でNALユニットのタイプがAVC方式のタイプであると判定された場合、処理はステップＳ２９３に進む。ステップＳ２９３において、分離部３２２は、そのNALユニットに含まれるＬ画像のデータ、即ちＬ画像のSPSの情報、SEIの情報、または符号化データを、種類情報とともにAVC復号部３２３に入力する。
ステップＳ２９４において、AVC復号部３２３は、分離部３２２から供給されるＬ画像のデータに対応する種類情報に基づいて、そのデータがＬ画像の符号化データであるかどうかを判定する。ステップＳ２９４でＬ画像の符号化データであると判定された場合、ステップＳ２９５において、AVC復号部３２３は、そのＬ画像の符号化データを、保持しているSPSおよびSEIの情報に基づいてAVC方式に対応する方式で復号する。
ステップＳ２９６において、AVC復号部３２３は、復号の結果得られるＬ画像を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
一方、ステップＳ２９４でＬ画像の符号化データではないと判定された場合、即ち、分離部３２２から供給されるＬ画像のデータがＬ画像のSPSまたはSEIの情報である場合、処理はステップＳ２９７に進む。
ステップＳ２９７において、AVC復号部３２３は、分離部３２２から供給されるＬ画像のSEIまたはSPSの情報を保持し、処理を終了する。
また、ステップＳ２９２でNALユニットのタイプがAVC方式のタイプではないと判定された場合、そのNALユニットはAVC復号部３２３に供給されず、処理は終了する。
以上のように、復号装置３２０は、NALヘッダに基づいて、ビットストリームを、復号装置３２０で復号可能な互換画像であるＬ画像のSPS,SEI、および符号化データのNALユニットと、そのNALユニット以外のNALユニットに分離し、分離されたNALユニットに含まれる符号化データのみを既存のAVC方式に対応する方式で復号する。従って、復号装置３２０は、符号化装置２９０で既存の方式との互換性を有する方式で符号化された結果得られるビットストリームを復号することができる。
[MVC方式の復号装置の構成例]
図４８は、図３７の符号化装置２９０により伝送されてくるビットストリームを復号するMVC方式の復号装置の構成例を示すブロック図である。
図４８に示す構成のうち、図４６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図４８の復号装置３２０の構成は、主に、分離部３２２、AVC復号部３２３の代わりに、分離部３４１、MVC復号部３４２が設けられている点が図４６の構成と異なる。復号装置３２０は、符号化装置２９０により伝送されてくるビットストリームに含まれるＬ画像とＲ画像の符号化データを復号する。
具体的には、復号装置３２０の分離部３４１は、受信部３２１から供給されるビットストリームを、NALヘッダに基づいて、Ｌ画像のSPSおよびＲ画像のSubset SPS、並びに、Ｌ画像とＲ画像のSEIおよび符号化データのNALユニットと、そのNALユニット以外のNALユニットに分離する。
より詳細には、分離部３４１は、図４６の分離部３２２と同様に、ビットストリームから、Ｌ画像の符号化データ、SPS、およびSEIのNALユニットを抽出する。また、分離部３４１は、ビットストリームから、MVC方式の符号化データを表すNALユニットのタイプをNALヘッダに含むＲ画像の符号化データのNALユニット、MVC方式のSubset SPSを表すNALユニットのタイプをNALヘッダに含むＲ画像のSubset SPSのNALユニット、およびMVC方式のSEIを表すNALユニットのタイプをNALヘッダに含むＲ画像のSEIのNALユニットを抽出する。
分離部３４１は、分離されたNALユニットに含まれるデータであるＬ画像のSPSおよびＲ画像のSubset SPS、並びに、Ｌ画像とＲ画像のSEIおよび符号化データを、そのデータの種類情報とともにMVC復号部３４２に供給する。
MVC復号部３４２は、分離部３４１から供給される種類情報に基づいて、Ｌ画像とＲ画像のSEI、Ｌ画像のSPS、およびＲ画像のSubset SPSの情報を保持する。MVC復号部３４２は、図４６のAVC復号部３２３と同様に、保持しているＬ画像のSEIおよびSPSの情報に基づいて、分離部３４１から供給されるＬ画像の符号化データを、AVC方式に対応する方式で復号する。
また、MVC復号部３４２は、保持しているＲ画像のSEIおよびSubset SPSの情報に基づいて、分離部３４１からＲ画像の符号化データを表す種類情報とともに供給されるＲ画像の符号化データを、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとして、MVC方式に対応する方式で復号する。MVC復号部３４２は、復号の結果得られるＬ画像とＲ画像を図示せぬ表示装置に交互に出力し、表示させる。
このとき、視聴者は、Ｌ画像の表示時に左目用のシャッタが開き、Ｒ画像の表示時に右目用のシャッタが開くメガネを装着して、表示装置に交互に表示されるＬ画像とＲ画像を見ることにより、３Ｄ画像を見ることができる。
[MVC方式の復号装置の処理の説明]
図４９は、図４８の復号装置３４０の復号処理を説明するフローチャートである。この復号処理は、例えば、図３７の符号化装置２９０からＴＳが伝送されてきたとき、開始される。
図４９のステップＳ３１１において、復号装置３４０の受信部３２１は、符号化装置２９０により伝送されてくるＴＳを受信する。受信部３２１は、ＴＳに含まれるビットストリームを分離部３４１に供給する。なお、以降のステップＳ３１２乃至Ｓ３１７の処理は、ビットストリームを構成するNALユニットごとに行われる。
ステップＳ３１２において、分離部３４１は、NALユニットのNALヘッダに含まれるNALユニットのタイプが、AVC方式のタイプまたはMVC方式のタイプであるかどうかを判定する。即ち、分離部３４１は、NALユニットのタイプが、AVC方式のピクチャの種類、SPS、またはSEI、もしくは、MVC方式の符号化データ、Subset SPS、またはSEIを表す情報であるかどうかを判定する。
ステップＳ３１２でNALユニットのタイプがAVC方式のタイプまたはMVC方式のタイプであると判定された場合、処理はステップＳ３１３に進む。ステップＳ３１３において、分離部３４１は、そのNALユニットに含まれるＬ画像またはＲ画像のデータ、即ちＬ画像のSPSの情報、SEIの情報、または符号化データ、もしくは、Ｒ画像のSubset SPSの情報、SEIの情報、または符号化データを、種類情報とともにMVC復号部３４２に入力する。
ステップＳ３１４において、MVC復号部３４２は、種類情報に基づいて、分離部３４１から供給されるデータがＬ画像またはＲ画像の符号化データであるかどうかを判定する。ステップＳ３１４でＬ画像またはＲ画像の符号化データであると判定された場合、ステップＳ３１５において、MVC復号部３４２は、そのＬ画像またはＲ画像の符号化データを、保持しているSPSまたはSubset SPSおよびSEIの情報に基づいて復号する。
ステップＳ３１６において、MVC復号部３４２は、復号の結果得られるＬ画像またはＲ画像を図示せぬ表示装置に出力して表示させ、処理を終了する。
一方、ステップＳ３１４でＬ画像またはＲ画像の符号化データではないと判定された場合、即ち、分離部３４１からのデータがＬ画像のSPSまたはSEIの情報、もしくは、Ｒ画像のSubset SPSまたはSEIの情報である場合、処理はステップＳ３１７に進む。
ステップＳ３１７において、MVC復号部３４２は、分離部３４１から供給されるＬ画像のSPSまたはSEIの情報、もしくは、Ｒ画像のSubset SPSまたはSEIの情報を保持し、処理を終了する。
また、ステップＳ３１２でNALユニットのタイプがAVC方式のタイプまたはMVC方式のタイプではないと判定された場合、そのNALユニットはMVC復号部３４２に供給されず、処理は終了する。
以上のように、復号装置３４０は、NALヘッダに基づいて、ビットストリームを、復号装置３４０で復号可能な互換画像であるＬ画像のSPS、SEI、および符号化データ、並びに、Ｒ画像のSubset SPS、SEI、および符号化データのNALユニットと、そのNALユニット以外のNALユニットに分離し、分離されたNALユニットに含まれる符号化データのみを既存のAVC方式またはMVC方式に対応する方式で復号する。従って、復号装置３４０は、符号化装置２９０で既存の方式との互換性を有する方式で符号化された結果得られるビットストリームを復号することができる。
[3DV方式の復号装置の構成例]
図５０は、図３７の符号化装置２９０により伝送されてくるビットストリームを復号する3DV方式の復号装置の構成例を示すブロック図である。
図５０の復号装置３６０は、受信部３６１、分離部３６２、3DV復号部３６３、低解像度画像逆変換処理部３６４、および画像生成部３６５により構成される。復号装置３６０は、符号化装置２９０により伝送されてくるビットストリームに含まれるＬ視点画像、Ｒ視点画像、およびＯ視点画像の符号化データを復号する。
具体的には、復号装置３６０の受信部３６１は、図３７の符号化装置２９０により伝送されてくるＴＳを受信する。受信部３６１は、ＴＳに含まれるビットストリームを分離部３６２に供給し、参照画像低解像度変換情報を3DV復号部３６３に供給し、補助画像低解像度変換情報を低解像度画像逆変換処理部３６４に供給する。
分離部３６２は、受信部３６１から供給されるビットストリームを、NALヘッダに基づいて各NALユニットに分離する。より詳細には、分離部３６２は、図４８の分離部３４１と同様に、ビットストリームから、Ｌ画像の符号化データ、SPS、およびSEIのNALユニットを抽出する。また、分離部３６２は、分離部３４１と同様に、ビットストリームから、Ｒ画像の符号化データ、Subset SPS、およびSEIのNALユニットを抽出する。
さらに、分離部３６２は、3DV方式の符号化データを表すNALユニットのタイプをNALヘッダに含むＬ視差画像、Ｒ視差画像、およびＯ視点画像の符号化データのNALユニットを抽出する。また、分離部３６２は、3DV方式のSubset SPS,SEIを表すNALユニットのタイプをNALヘッダに含む、Ｌ視差画像、Ｒ視差画像、およびＯ視点画像のSubset SPS、並びにＬ視差画像、Ｒ視差画像、およびＯ視点画像のSEIのNALユニットを抽出する。
また、分離部３６２は、NALヘッダに含まれる拡張情報に基づいて、Ｌ視差画像、Ｒ視差画像、およびＯ視点画像の符号化データのNALヘッダを、さらに分離する。具体的には、分離部３６２は、拡張情報が視差画像ではないことを表す視差フラグであるNALユニットを、Ｏ視差画像の符号化データのNALユニットとして抽出する。また、分離部３６２は、拡張情報が、視差画像であることを表す視差フラグ、対応する画像の視点数としての１、および、対応する画像の視点を特定する情報としてのＬ画像を特定する情報であるNALユニットを、Ｌ視差画像の符号化データのNALユニットとして抽出する。同様に、分離部３６２は、Ｒ視差画像の符号化データのNALユニットとＯ視差画像の符号化データのNALユニットを抽出する。
分離部３６２は、分離されたNALユニットに含まれるデータであるＬ画像のSPSの情報、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSの情報、並びに、Ｌ視点画像、Ｒ視点画像、およびＯ視点画像のSEIの情報および符号化データを、そのデータの種類情報とともに3DV復号部３６３に供給する。
3DV復号部３６３は、分離部３６２から供給される種類情報に基づいて、Ｌ画像のSPSおよびSEIの情報、並びに、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像のSubset SPSとSEIの情報を保持する。3DV復号部３６３は、図４８のMVC復号部３４２と同様に、保持しているＬ画像のSEIおよびSPSの情報に基づいて、分離部３６２から供給されるＬ画像の符号化データを、AVC方式に対応する方式で復号する。また、3DV復号部３６３は、MVC復号部３４２と同様に、保持しているＲ画像のSEIおよびSubset SPSの情報に基づいて、分離部３６２から供給されるＲ画像の符号化データを、MVC方式に対応する方式で復号する。
また、3DV復号部３６３は、保持しているＯ画像のSEIおよびSubset SPSの情報に基づいて、分離部３６２からＯ画像の符号化データを表す種類情報とともに供給されるＯ画像の符号化データを、Ｌ画像やＲ画像を参照して、3DV方式に対応する方式で復号する。このとき、3DV復号部３６３は、受信部３６１から供給される参照画像低解像度変換情報に基づいて、参照するＬ画像やＲ画像に対して低解像度化処理を行い、低解像度化処理後のＬ画像やＲ画像を参照する。
さらに、3DV復号部３６３は、保持しているＬ視差画像のSEIおよびSubset SPSの情報に基づいて、分離部３６２からＬ視差画像の符号化データを表す種類情報とともに供給されるＬ視差画像の符号化データを、同一の視点の視差画像以外を参照せずに3DV方式に対応する方式で復号する。また、3DV復号部３６３は、保持しているＲ視差画像のSEIおよびSubset SPSの情報に基づいて、分離部３６２からＲ視差画像の符号化データを表す種類情報とともに供給されるＲ視差画像の符号化データを、Ｌ視差画像を参照して3DV方式に対応する方式で復号する。
また、3DV復号部３６３は、保持しているＯ視差画像のSEIおよびSubset SPSの情報に基づいて、分離部３６２からＯ視差画像の符号化データを表す種類情報とともに供給されるＯ視差画像の符号化データを、Ｌ視差画像やＲ視差画像を参照して3DV方式に対応する方式で復号する。このとき、3DV復号部３６３は、受信部３６１から供給される参照画像低解像度変換情報に基づいて、参照するＬ視差画像やＲ視差画像に対して低解像度化処理を行い、低解像度化処理後のＬ視差画像やＲ視差画像を参照する。
3DV復号部３６３は、復号の結果得られるＬ視点画像とＲ視点画像を画像生成部３６５に供給する。また、3DV復号部３６３は、復号の結果得られるＯ視点画像を低解像度画像逆変換処理部３６４に供給する。さらに、3DV復号部３６３は、保持しているＬ視差画像、Ｒ視差画像、およびＯ視差画像のSEIに含まれる視差情報を画像生成部３６５に供給する。
低解像度画像逆変換処理部３６４は、受信部３６１からの補助画像低解像度変換情報に基づいて、3DV復号部３６３からのＯ視点画像を構成するＯ画像とＯ視差画像のそれぞれに対して、図３７の画像変換処理部２９１における低解像度化処理に対応するフィルタ処理等の高解像度化処理を行う。これにより、Ｏ視点画像の解像度は、Ｌ視点画像およびＲ視点画像の解像度と同一になる。低解像度画像逆変換処理部３６４は、高解像度化処理後のＯ視点画像を画像生成部３６５に供給する。
画像生成部３６５は、3DV復号部３６３から供給されるＬ視差画像の視差情報に基づいて、必要に応じて、3DV復号部３６３から供給されるＬ視差画像に対して変換を行う。
例えば、画像生成部３６５は、Ｌ視差画像の視差情報に含まれる視差タイプが、視差画像の各画素値がデプス値であることを表し、画像生成部３６５が処理可能な視差を表す値が視差値である場合、Ｌ視差画像の各画素値を視差値に変換する。
また、画像生成部３６５は、Ｌ視差画像の視差情報に含まれる正規化フラグが、正規化されていないことを表す値であり、画像生成部３６５が処理可能な視差を表す値が正規化後の値である場合、Ｌ視差画像の各画素値を正規化し、正規化後の値に変換する。
さらに、画像生成部３６５は、Ｌ視差画像の視差情報に含まれる撮影モードが輻射付き撮影モードであり、画像生成部３６５が処理可能な視差画像が平行撮影モードで撮影された画像の視差画像である場合、Ｌ視差画像を、平行撮影モードで撮影されたＬ画像の視差画像に変換する。
画像生成部３６５は、Ｌ視差画像と同様に、必要に応じて、Ｒ視差画像の視差情報に基づいてＲ視差画像を変換し、Ｏ視差画像の視差情報に基づいてＯ視差画像を変換する。
画像生成部３６５は、変換後のＬ視差画像、Ｒ視差画像、およびＯ視差画像、Ｌ画像、Ｒ画像、およびＯ画像、並びに、視差情報に含まれる、デプス値の最大値および最小値または視差値の最大値および最小値、並びに、対応関係情報に基づいて、図示せぬ表示装置に対応する３以上の視点数の画像を生成する。そして、画像生成部３６５は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に出力して表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
[3DV方式の復号装置の処理の説明]
図５１は、図５０の復号装置３６０の復号処理を説明するフローチャートである。この復号処理は、例えば、図３７の符号化装置２９０からＴＳが伝送されてきたとき、開始される。
図５１のステップＳ３３１において、復号装置３４０の受信部３６１は、符号化装置２９０により伝送されてくるＴＳを受信する。受信部３６１は、ＴＳに含まれるビットストリームを分離部３６２に供給し、参照画像低解像度変換情報を3DV復号部３６３に供給し、補助画像低解像度変換情報を低解像度画像逆変換処理部３６４に供給する。なお、以降のステップＳ３３２乃至Ｓ３４２の処理は、ビットストリームを構成するNALユニットごとに行われる。
ステップＳ３３２において、分離部３６２は、NALユニットのNALヘッダに基づいて各NALユニットを分離し、そのNALユニットに含まれる、Ｌ視点画像、Ｒ視点画像、または低解像度化処理後のＯ視点画像のデータを、種類情報とともに3DV復号部３６３に供給する。
ステップＳ３３３において、3DV復号部３６３は、種類情報に基づいて、その種類情報とともに分離部３６２から供給されるデータがＬ視点画像、Ｒ視点画像、または低解像度化処理後のＯ視点画像の符号化データであるかどうかを判定する。ステップＳ３３３でＬ視点画像、Ｒ視点画像、またはＯ視点画像の符号化データであると判定された場合、処理はステップＳ３３４に進む。
ステップＳ３３４において、3DV復号部３６３は、Ｌ視点画像、Ｒ視点画像、または低解像度化処理後のＯ視点画像の符号化データを、保持しているSPSまたはSubset SPSおよびSEIの情報に基づいて復号する。
ステップＳ３３５において、3DV復号部３６３は、種類情報に基づいて、復号の結果得られる画像が低解像度化処理後のＯ画像またはＯ視差画像であるかどうかを判定する。ステップＳ３３５で復号の結果得られる画像が低解像度化処理後のＯ画像またはＯ視差画像であると判定された場合、3DV復号部３６３は、そのＯ画像またはＯ視差画像を低解像度画像逆変換処理部３６４に供給する。
ステップＳ３３６において、低解像度画像逆変換処理部３６４は、受信部３６１から供給される補助画像低解像度変換情報に基づいて、3DV復号部３６３から供給される低解像度化処理後のＯ画像またはＯ視差画像に対して高解像度化処理を行う。これにより、Ｏ画像またはＯ視差画像の解像度が、Ｌ視点画像およびＲ視点画像と同一の解像度になる。
ステップＳ３３７において、低解像度画像逆変換処理部３６４は、高解像度化処理後のＯ画像またはＯ視差画像を画像生成部３６５に出力し、処理を終了する。
一方、ステップＳ３３５で復号の結果得られる画像が低解像度化処理後のＯ画像またはＯ視差画像ではないと判定された場合、即ち、復号の結果得られる画像がＬ画像、Ｌ視差画像、Ｒ画像、またはＲ視差画像である場合、処理はステップＳ３３８に進む。
ステップＳ３３８において、3DV復号部３６３は、復号の結果得られるＬ画像、Ｌ視差画像、Ｒ画像、またはＲ視差画像を画像生成部３６５に出力し、処理を終了する。
また、ステップＳ３３３でＬ視点画像、Ｒ視点画像、またはＯ視点画像の符号化データではないと判定された場合、即ち、分離部３６２から供給されるデータがSPS，Subset SPS、またはSEIの情報である場合、処理はステップＳ３３９に進む。
ステップＳ３３９において、3DV復号部３６３は、分離部３６２から供給されるSPS，Subset SPS、またはSEIの情報を保持する。
ステップＳ３４０において、3DV復号部３６３は、ステップＳ３３９で保持されたデータが、SEIの情報であるかどうかを判定する。ステップＳ３４０で保持されたデータがSEIの情報であると判定された場合、処理はステップＳ３４１に進む。
ステップＳ３４１において、3DV復号部３６３は、ステップＳ３３９で保持されたSEIの情報に視差情報があるかどうかを判定する。ステップＳ３４１で視差情報があると判定された場合、ステップＳ３４２において、3DV復号部３６３は、SEIの情報から視差情報を抽出して画像生成部３６５に出力し、処理を終了する。
一方、ステップＳ３４０で保持されたデータがSEIの情報ではないと判定された場合、または、ステップＳ３４１で視差情報がないと判定された場合、処理は終了する。
以上のように、復号装置３６０は、NALヘッダに基づいて、ビットストリームを各NALユニットに分離する。そして、復号装置３６０は、分離されたNALユニットに含まれる互換画像の符号化データを既存のAVC方式またはMVC方式に対応する方式で復号し、補助画像および視差画像の符号化データを3DV方式に対応する方式で復号する。従って、復号装置３４０は、符号化装置２９０で既存の方式との互換性を有する方式で符号化された結果得られるビットストリームを復号することができる。
[復号対象となる符号化データの説明]
図５２は、図４６の復号装置３２０、図４８の復号装置３４０、および図５０の復号装置３６０において復号対象となる符号化データを説明する図である。
図５２の例では、図３９に示した参照関係で符号化されたビットストリームが符号化装置２９０から伝送されてくるものとする。
この場合、図５２に示すように、復号装置３２０は、NALユニットのタイプ（nal_unit_type）が、AVC方式のピクチャの種類を表す情報（図５２の例では、１または５）であるＬ画像のNALユニットに含まれる符号化データ（Coded slice）のみをAVC方式に対応する方式で復号する。
一方、復号装置３４０は、図５２に示すように、復号装置３２０と同様に、L画像のNALユニットの含まれる符号化データをAVC方式に対応する方式で復号する。また、復号装置３４０は、NALユニットのタイプがMVC方式の符号化データを表す情報（図５２の例では、20）であるＲ画像のNALユニットに含まれる符号化データを、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとして、MVC方式に対応する方式で復号する。
また、復号装置３６０は、図５２に示すように、復号装置３２０や復号装置３４０と同様に、L画像のNALユニットの含まれる符号化データをAVC方式に対応する方式で復号する。また、復号装置３６０は、復号装置３４０と同様に、Ｒ画像のNALユニットに含まれる符号化データを、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとして、MVC方式に対応する方式で復号する。
さらに、復号装置３６０は、NALユニットのタイプが3DV方式の符号化データを表す情報（図５２の例では、21）であり、拡張情報（nal_unit_header_3dv_extension）が視差画像ではないことを表す視差フラグ（is_depth=0）である低解像度化処理後のＯ画像のNALユニットに含まれる符号化データを、低解像度化処理後のＬ画像およびＲ画像を参照して3DV方式に対応する方式で復号する。
さらに、復号装置３６０は、NALユニットのタイプが3DV方式の符号化データを表す情報であり、拡張情報が、視差画像であることを表す視差フラグ（is_depth=1）と、対応する画像を特定する情報としてのＬ画像を特定する情報（cor_view_id=0）であるＬ視差画像のNALユニットに含まれる符号化データを、同一の視点の視差画像以外を参照せずに、3DV方式に対応する方式で復号する。
また、復号装置３６０は、NALユニットのタイプが3DV方式の符号化データを表す情報であり、拡張情報が、視差画像であることを表す視差フラグと、対応する画像を特定する情報としてのＲ画像を特定する情報（cor_view_id=1）であるＲ視差画像のNALユニットに含まれる符号化データを、Ｌ視差画像を参照して3DV方式に対応する方式で復号する。
さらに、復号装置３６０は、NALユニットのタイプが3DV方式の符号化データを表す情報であり、拡張情報が、視差画像であることを表す視差フラグと、対応する画像を特定する情報としてのＯ画像を特定する情報（cor_view_id=2）である低解像度化処理後のＯ視差画像のNALユニットに含まれる符号化データを、低解像度化処理後のＬ視差画像とＲ視差画像を参照して3DV方式に対応する方式で復号する。
＜第６実施の形態＞
［符号化装置の第６実施の形態の構成例］
図５３は、本技術を適用した符号化装置の第６実施の形態の構成例を示すブロック図である。
図５３の符号化装置３８０は、多重化処理部３８１、多重化処理部３８２、視差情報生成部３８３、符号化処理部３８４、および伝送部３８５により構成される。符号化装置３８０では、互換画像がＬ画像およびＲ画像であり、補助画像が、Ｎ（Ｎは２の倍数）視点のＯ１画像乃至ＯＮ画像である。符号化装置３８０は、互換画像の視差画像、並びに、各２視点の補助画像および補助画像の視差画像を多重化して符号化する。
具体的には、符号化装置３８０の多重化処理部３８１は、符号化装置３８０に入力されるＬ視点画像のうちのＬ視差画像が入力されるとともに、Ｒ視点画像のうちのＲ視差画像が入力される。多重化処理部３８１は、Ｌ視差画像とＲ視差画像を所定の多重化方式で多重化する。
より詳細には、例えば多重化方式がサイドバイサイド方式である場合、多重化処理部３８１は、Ｌ視差画像とＲ視差画像の解像度を半分にする。そして、多重化処理部３８１は、解像度が半分にされたＬ視差画像が画面の左半分の画像となり、解像度が半分にされたＲ視差画像が画面の右半分の画像となるように、解像度が半分にされたＬ視差画像とＲ視差画像を多重化する。また、例えば多重化方式がトップアンドボトム方式である場合、多重化処理部３８１は、解像度が半分にされたＬ視差画像が画面の上半分の画像となり、解像度が半分にされたＲ視差画像が画面の下半分の画像となるように、解像度が半分にされたＬ視差画像とＲ視差画像を多重化する。
多重化処理部３８１は、多重化の結果得られる多重化画像を互換視差画像として符号化処理部３８４に供給する。また、多重化処理部３８１は、互換画像の視差画像であるＬ視差画像とＲ視差画像の多重化方式を示す情報である互換多重化情報を生成し、伝送部３８５に供給する。
多重化処理部３８２は、符号化装置３８０に入力される、Ｏ１画像とＯ１画像の視差画像であるＯ１視差画像とからなるＯ１視点画像、・・・、および、ＯＮ画像とＯＮ画像の視差画像であるＯＮ視差画像とからなるＯＮ視点画像が入力される。多重化処理部３８２は、Ｏ１画像とＯ２画像、Ｏ３画像とＯ４画像、・・・、Ｏ（Ｎ−１）画像とＯＮ画像をそれぞれ、所定の多重化方式で多重化する。そして、多重化処理部３８２は、その多重化の結果得られる多重化画像を補助多重化画像として符号化処理部３８４に供給する。
同様に、多重化処理部３８２は、Ｏ１視差画像とＯ２視差画像、Ｏ３視差画像とＯ４視差画像、・・・、Ｏ（Ｎ−１）視差画像とＯＮ視差画像をそれぞれ、所定の多重化方式で多重化する。多重化処理部３８２は、その多重化の結果得られる多重化画像を補助視差多重化画像として符号化処理部３８４に供給する。また、補助画像であるＯ１画像乃至ＯＮ画像と、補助画像の視差画像であるＯ１視差画像乃至ＯＮ視差画像の多重化方式を示す情報である補助多重化情報を生成し、伝送部３８５に供給する。
なお、以下では、Ｏ１視点画像乃至ＯＮ視点画像を、それぞれを特に区別する必要がない場合、それらをまとめてＯ多視点画像という。同様に、Ｏ多画像およびＯ多視差画像という。
視差情報生成部３８３は、Ｌ画像、Ｒ画像、およびＯ多画像の撮影時の情報等に基づいて、Ｌ視差画像、Ｒ視差画像、およびＯ多視差画像の視差情報を生成し、符号化処理部３８４に供給する。
符号化処理部３８４は、図３７の符号化処理部２９３と同様に、符号化装置３８０に入力されるＬ視点画像のうちのＬ画像をAVC方式で符号化する。また、符号化処理部３８４は、符号化処理部２９３と同様に、符号化装置３８０に入力されるＲ視点画像のうちのＲ画像を、Ｌ画像をベースビューとし、Ｒ画像をノンベースビューとしてMVC方式で符号化する。
さらに、符号化処理部３８４は、多重化処理部３８２から供給される補助多重化画像を、Ｌ画像やＲ画像を参照して3DV方式で符号化する。このとき、符号化処理部３８４は、参照するＬ画像やＲ画像を複製して、補助多重化画像と同一の多重化方式で多重化を行い、その結果得られる多重化画像を参照する。
また、符号化処理部３８４は、多重化処理部３８１から供給される互換多重化画像を、同一の視点の互換多重化画像以外を参照せずに、3DV方式で符号化する。さらに、符号化処理部３８４は、多重化処理部３８２から供給される補助視差多重化画像を、3DV方式で符号化する
符号化処理部３８４は、符号化の結果得られるＬ画像、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像の符号化データ、並びに、視差情報生成部３８３から供給される視差情報からビットストリームを生成し、そのビットストリームを伝送部３８５に供給する。また、符号化処理部３８４は、互換多重化画像の参照画像を生成する際の多重化方式を示す情報である参照画像多重化情報を生成し、伝送部３８５に供給する。
伝送部３８５は、多重化処理部３８１から供給される互換多重化情報、多重化処理部３８２から供給される補助多重化情報、並びに、符号化処理部３８４から供給されるビットストリームおよび参照画像多重化情報からＴＳを生成し、伝送する。
[符号化処理部の構成例]
図５４は、図５３の符号化処理部３８４の構成例を示すブロック図である。
図５４に示す構成のうち、図３８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図５４の符号化処理部３８４の構成は、主に、符号化部３０１、付加情報生成部３０２、および付加部３０３の代わりに符号化部４０１、付加情報生成部４０２、付加部４０３が設けられている点が図３８の構成と異なる。
符号化処理部３８４の符号化部４０１は、互換符号化部３１１と補助符号化部４１１により構成される。符号化部４０１の補助符号化部４１１は、互換多重化画像、補助多重化画像、および補助視差多重化画像を、3DV方式で符号化する。補助符号化部４１１は、符号化の結果得られる互換多重化画像、補助多重化画像、および補助視差多重化画像の符号化データを付加部４０３に供給する。また、符号化部４０１は、参照画像多重化情報を生成し、図５３の伝送部３８５に供給する。
付加情報生成部４０２は、Ｌ画像のSPSの情報、並びに、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSの情報を生成する。また、付加情報生成部４０２は、Ｌ画像、Ｒ画像、および補助多重化画像のSEIの情報を生成する。さらに、付加情報生成部４０２は、図５３の視差情報生成部３８３から供給されるＬ視差画像とＲ視差画像の視差情報を含む互換多重化画像のSEIの情報を生成する。
また、付加情報生成部４０２は、視差情報生成部３８３から供給される補助視差多重化画像を構成する２視点のＯ多視差画像の視差情報を含む、その補助視差多重化画像のSEIの情報を生成する。付加情報生成部４０２は、Ｌ画像のSPSの情報、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSの情報、並びに、Ｌ画像、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSEIの情報を付加部４０３に供給する。
付加部４０３は、図３８の付加部３０３と同様に、互換符号化部３１１による符号化の結果得られるＬ画像の符号化データに、NALユニットのタイプとして、AVC方式のピクチャの種類を表す情報を含むNALヘッダを付加し、NALユニットを生成する。また、付加部４０３は、付加部３０３と同様に、互換符号化部３１１による符号化の結果得られるＲ画像の符号化データに、NALユニットのタイプとして、MVC方式の符号化データを表す情報を含むNALヘッダを付加し、NALユニットを生成する。
また、付加部４０３は、補助符号化部４１１から供給される補助多重化画像の符号化データに、NALユニットのタイプとして3DV方式の符号化データを表す情報を含み、視差画像ではないことを表す視差フラグを含むNALヘッダを付加し、NALユニットを生成する。さらに、付加部４０３は、補助符号化部４１１から供給される互換多重化画像と補助視差多重化画像の符号化データに、それぞれ、NALユニットのタイプとして3DV方式の符号化データを表す情報を含み、視差画像であることを表す視差フラグと、対応する画像に関する情報とを含むNALヘッダを付加し、NALユニットを生成する。
さらに、付加部４０３は、付加情報生成部４０２から供給されるＬ画像のSPSの情報、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSの情報、並びに、Ｌ画像、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSEIの情報に、それぞれ、NALユニットのタイプとして、それぞれの情報を表すNALヘッダを付加し、NALユニットを生成する。付加部４０３は、以上のようにして生成されたNALユニットをビットストリーム生成部３０４に供給する。
［NALユニットの構成例］
図５５は、図５３の符号化処理部３８４により生成されるビットストリームのうちの、Ｌ画像、Ｒ画像、補助多重化画像、互換多重化画像、および補助視差多重化画像の符号化データのNALユニットの構成例を示す図である。
図５５において、Ｌ画像およびＲ画像の符号化データのNALユニットは、図４０の場合と同様であるので、説明は省略する。
図５５に示すように、符号化処理部３８４による符号化処理では、補助多重化画像のNALユニットのNALヘッダに、NALユニットのタイプとして3DV方式の符号化データを表す情報が含まれるとともに、拡張情報として視差画像ではないことを表す0である視差フラグが含まれる。これにより、復号装置において、補助多重化画像を識別することができる。
また、互換多重化画像と各補助視差多重化画像のNALユニットのNALヘッダには、視差画像であることを表す1である視差フラグが含まれる。これにより、復号装置において、互換多重化画像と補助視差多重化画像を識別することができる。
さらに、互換多重化画像と各補助視差多重化画像のNALユニットのNALヘッダには、拡張情報として、対応する画像に関する情報が含まれる。ここでは、互換多重化画像は、２視点のＬ画像とＲ画像の視差画像であり、各補助視差多重化画像は、２視点のＯ多画像の視差画像である。また、図５５の例では、Ｌ画像の視点を特定する情報が0であり、Ｒ画像の視点を特定する情報が1であり、補助視差多重化画像に対応する２視点のＯ多画像の視点を特定する情報が2および3である。
従って、互換多重化画像のNALユニットのNALヘッダに含まれる対応する画像に関する情報は、対応する画像の視点数としての2と、対応する画像の視点を特定する情報としての0および1である。また、補助視差多重化画像のNALユニットのNALヘッダに含まれる対応する画像に関する情報は、対応する画像の視点数としての2と、対応する画像の視点を特定する情報としての2および3である。
以上のように、拡張情報として、対応する画像に関する情報が含まれることにより、互換多重化画像および各補助視差多重化画像をそれぞれ識別することができる。
[ビットストリームの構成例]
図５６は、図５４のビットストリーム生成部３０４により生成されるビットストリームの構成例を示す図である。
図５６のＡに示すＬ画像のビットストリームと、図５６のＢに示すＲ画像のビットストリームは、それぞれ、図４１のＡのＬ画像のビットストリーム、図４１のＢのＲ画像のビットストリームと同一であるので、説明は省略する。
図５６のＣに示すように、3DV方式で符号化された補助多重化画像のビットストリームは、補助多重化画像の3DV方式のSubset SPSの情報のNALユニット、補助多重化画像の3DV方式のSEIの情報のNALユニット、および補助多重化画像の符号化データのNALユニットにより構成される。
図５６のＤに示すように、3DV方式で符号化された互換多重化画像のビットストリームは、互換多重化画像の3DV方式のSubset SPSの情報のNALユニット、互換多重化画像の視差情報を含む3DV方式のSEIの情報のNALユニット、および互換多重化画像の符号化データのNALユニットにより構成される。
また、図５６のＥに示すように、3DV方式で符号化された補助視差多重化画像のビットストリームは、補助視差多重化画像の3DV方式のSubset SPSの情報のNALユニット、補助視差多重化画像の視差情報を含む3DV方式のSEIの情報のNALユニット、および補助視差多重化画像の符号化データのNALユニットにより構成される。
以上のように、視差情報は3DV方式のSEIに含まれるので、3DV方式に対応していない復号装置において、無駄に視差情報を処理する必要がない。
[符号化装置の処理の説明]
図５７は、図５３の符号化装置３８０の多視点符号化処理を説明するフローチャートである。この多視点画像符号化処理は、例えば、Ｌ視点画像、Ｒ視点画像、およびＯ多視点画像が符号化対象として符号化装置３８０に入力されたとき、開始される。
図５７のステップＳ３６１において、符号化装置３８０の符号化処理部３８４は、符号化装置３８０に入力されたＬ視点画像のうちのＬ画像を取得し、多重化処理部３８２は、Ｌ視差画像を取得する。
ステップＳ３６２において、符号化処理部３８４は、符号化装置３８０に入力されたＲ視点画像のうちのＲ画像を取得し、多重化処理部３８２は、Ｒ視差画像を取得する。ステップＳ３６３において、多重化処理部３８２は、符号化装置３８０に入力されたＯ多視点画像を取得する。
ステップＳ３６４において、多重化処理部３８１は、ステップＳ３６１で取得されたＬ視差画像と、ステップＳ３６２で取得されたＲ視差画像を所定の多重化方式で多重化し、多重化の結果得られる多重化画像を互換視差画像として符号化処理部３８４に供給する。ステップＳ３６５において、多重化処理部３８１は、互換多重化情報を生成し、伝送部３８５に供給する。
ステップＳ３６６において、多重化処理部３８２は、Ｏ多視点画像を構成するＯ多画像とＯ多視差画像を、それぞれ、２視点ごとに、所定の多重化方式で多重化する。多重化処理部３８２は、その多重化の結果得られるＯ多画像の多重化画像を補助多重化画像とし、Ｏ多視差画像の多重化画像を補助視差多重化画像として、符号化処理部３８４に供給する。
ステップＳ３６７において、多重化処理部３８２は、補助多重化情報を生成し、伝送部３８５に供給する。
ステップＳ３６８において、視差情報生成部３８３は、Ｌ画像、Ｒ画像、およびＯ多画像の撮影時の情報等に基づいて、Ｌ視差画像、Ｒ視差画像、およびＯ多視差画像の視差情報を生成し、符号化処理部３８４に供給する。
ステップＳ３６９において、符号化処理部３８４は、Ｌ画像、Ｒ画像、多重化処理部３８１から供給される互換多重化画像、並びに、多重化処理部３８２から供給される補助多重化画像および補助視差多重化画像を符号化する符号化処理を行う。この符号化処理の詳細は、後述する図５８を参照して説明する。
ステップＳ３７０において、伝送部３８５は、多重化処理部３８１からの互換多重化情報、多重化処理部３８２からの補助多重化情報、並びに、符号化処理部３８４からの参照画像多重化情報およびビットストリームから、ＴＳを生成し、伝送する。そして、処理は終了する。
図５８は、図５７のステップＳ３６９の符号化処理の詳細を説明するフローチャートである。
図５８のステップＳ３９０において、符号化処理部３８４の符号化部４０１（図５４）は、Ｌ画像、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像を符号化する。具体的には、符号化部４０１の互換符号化部３１１が、Ｌ画像をAVC方式で符号化し、Ｒ画像をMVC方式で符号化する。また、補助符号化部４１１が、互換多重化画像、補助多重化画像、および補助視差多重化画像を3DV方式で符号化する。符号化部４０１は、符号化の結果得られるＬ画像、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像の符号化データを付加部４０３に供給する。
ステップＳ３９１において、補助符号化部４１１は、参照画像多重化情報を生成し、図５３の伝送部３８５に供給する。
ステップＳ３９２において、付加情報生成部４０２は、図５３の視差情報生成部３８３から供給される視差情報を用いて、Ｌ画像のSPSおよびSEIの情報、並びに、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSおよびSEIの情報を生成し、付加部３０３に供給する。
ステップＳ３９３およびステップＳ３９４の処理は、図４５のステップＳ２７３およびＳ２７４の処理と同様であるので、説明は省略する。
ステップＳ３９４の処理後、ステップＳ３９５において、付加部４０３は、補助符号化部４１１から供給される補助多重化画像の符号化データに、3DV方式の符号化データを表すNALユニットのタイプと、視差画像ではないことを表す視差フラグとを含むNALヘッダを付加し、NALユニットを生成する。付加部４０３は、生成された補助多重化画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
ステップＳ３９６において、付加部４０３は、補助符号化部４１１から供給される互換多重化画像と補助視差多重化画像の符号化データに、それぞれ、3DV方式の符号化データを表すNALユニットのタイプ、視差画像であることを表す視差フラグ、および、対応する画像に関する情報を含むNALヘッダを付加し、NALユニットを生成する。付加部４０３は、生成された互換多重化画像と補助視差多重化画像の符号化データのNALユニットをビットストリーム生成部３０４に供給する。
ステップＳ３９７において、付加部４０３は、付加情報生成部４０２から供給されるＬ画像のSPSおよびSEIの情報、並びに、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSおよびSEIの情報に、それぞれの情報を表すNALユニットのタイプを含むNALヘッダを付加し、NALユニットを生成する。付加部４０３は、生成されたＬ画像のSPSおよびSEI、並びに、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSおよびSEIのNALユニットを、ビットストリーム生成部３０４に供給する。
ステップＳ３９８において、ビットストリーム生成部３０４は、図４５のステップＳ２７８の処理と同様に、付加部４０３から供給されるNALユニットを所定の順に配置してビットストリームを生成する。そして、ビットストリーム生成部３０４は、そのビットストリームを図５３の伝送部３８５に供給し、処理を図５７のステップＳ３６９に戻す。これにより、処理はステップＳ３７０に進む。
以上のように、符号化装置３８０は、互換画像を既存の符号化方式で符号化し、補助画像であるＯ多画像の符号化データに、3DV方式の符号化データを表すNALユニットのタイプを含むNALヘッダを付加する。これにより、既存の符号化方式にのみ対応する復号装置は、NALヘッダに基づいて復号可能な互換画像の符号化データのみを抽出し、既存の符号化方式に対応する方式で復号することができるので、符号化装置３８０は、既存の方式との互換性を有する方式で符号化を行っているといえる。
なお、上述した符号化装置２９０と符号化装置３８０は、互換画像の視差画像を、同一の視点の視差画像以外を参照せずに符号化したが、同一の視点の画像も参照して符号化するようにしてもよい。
また、符号化装置３８０は、互換画像をそのまま符号化したが、互換画像を多重化して符号化するようにしてもよい。
[3DV方式の復号装置の構成例]
図５９は、図５３の符号化装置３８０により伝送されてくるビットストリームを復号する3DV方式の復号装置の構成例を示すブロック図である。
図５９の復号装置４２０は、受信部４２１、分離部４２２、3DV復号部４２３、分離部４２４、分離部４２５、および画像生成部４２６により構成される。復号装置４２０は、符号化装置３８０により伝送されてくるビットストリームに含まれるＬ画像、Ｒ画像、補助多重化画像、互換多重化画像、および補助視差多重化画像の符号化データを復号する。
具体的には、復号装置４２０の受信部４２１は、図５３の符号化装置３８０により伝送されてくるＴＳを受信する。受信部４２１は、ＴＳに含まれるビットストリームを分離部４２２に供給し、参照画像多重化情報を3DV復号部４２３に供給する。また、受信部４２１は、ＴＳに含まれる互換多重化情報を分離部４２４に供給し、補助多重化情報を分離部４２５に供給する。
分離部４２２は、受信部４２１から供給されるビットストリームを、NALヘッダに基づいて各NALユニットに分離する。より詳細には、分離部４２２は、図５０の分離部３６２と同様に、ビットストリームから、Ｌ画像の符号化データ、SPS、およびSEIのNALユニットを抽出する。また、分離部４２２は、分離部３６２と同様に、ビットストリームから、Ｒ画像の符号化データ、Subset SPS、およびSEIのNALユニットを抽出する。
さらに、分離部４２２は、3DV方式の符号化データを表すNALユニットのタイプをNALヘッダに含む互換多重化画像、補助多重化画像、および補助視差多重化画像の符号化データのNALユニットを抽出する。また、分離部４２２は、3DV方式のSubset SPS,SEIを表すNALユニットのタイプをNALヘッダに含む、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPS、並びに互換多重化画像、補助多重化画像、および補助視差多重化画像のSEIのNALユニットを抽出する。
また、分離部４２２は、NALヘッダに含まれる拡張情報に基づいて、補助多重化画像、互換多重化画像、および補助視差多重化画像の符号化データのNALヘッダを、さらに分離する。具体的には、分離部４２２は、拡張情報が視差画像ではないことを表す視差フラグであるNALユニットを、補助多重化画像の符号化データのNALユニットとして抽出する。また、分離部４２２は、拡張情報が、視差画像であることを表す視差フラグ、対応する画像の視点数としての２、および、対応する画像の視点を特定する情報としてのＬ画像およびＲ画像を特定する情報であるNALユニットを、互換多重化画像の符号化データのNALユニットを抽出する。同様に、分離部４２２は、補助視差多重化画像の符号化データのNALユニットを抽出する。
分離部４２２は、分離されたNALユニットに含まれるデータであるＬ画像のSPSの情報、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPSの情報、並びに、Ｌ画像、Ｒ画像、補助多重化画像、互換多重化画像、および補助視差多重化画像のSEIの情報および符号化データを、そのデータの種類情報とともに3DV復号部４２３に供給する。
3DV復号部４２３は、分離部４２２から供給される種類情報に基づいて、Ｌ画像のSPS、Ｒ画像、互換多重化画像、補助多重化画像、および補助視差多重化画像のSubset SPS、並びに、Ｌ画像、Ｒ画像、補助多重化画像、互換多重化画像、および補助視差多重化画像のSEIの情報を保持する。
3DV復号部４２３は、図５０の3DV復号部３６３と同様に、保持しているＬ画像のSEIおよびSPSの情報に基づいて、分離部４２２から供給されるＬ画像の符号化データを、AVCに対応する方式で復号する。また、3DV復号部４２３は、3DV復号部３６３と同様に、保持しているＲ画像のSEIおよびSubset SPSの情報に基づいて、分離部４２２から供給されるＲ画像の符号化データを、MVC方式に対応する方式で復号する。
また、3DV復号部４２３は、保持している補助多重化画像のSEIおよびSubset SPSの情報に基づいて、分離部４２２から補助多重化画像の符号化データを表す種類情報とともに供給される補助多重化画像の符号化データを、Ｌ画像やＲ画像を参照して、3DV方式に対応する方式で復号する。このとき、3DV復号部４２３は、受信部４２１から供給される参照画像多重化情報に基づいて、参照するＬ画像やＲ画像を複製して多重化し、その結果得られる多重化画像を参照する。
さらに、3DV復号部４２３は、保持している互換多重化画像のSEIおよびSubset SPSの情報に基づいて、分離部４２２から互換多重化画像の符号化データを表す種類情報とともに供給される互換多重化画像の符号化データを、同一の視点の視差画像以外を参照せずに3DV方式に対応する方式で復号する。
また、3DV復号部４２３は、保持している補助視差多重化画像のSEIおよびSubset SPSの情報に基づいて、分離部４２２から補助視差多重化画像の符号化データを表す種類情報とともに供給される補助視差多重化画像の符号化データを、互換多重化画像を参照して3DV方式に対応する方式で復号する。
3DV復号部４２３は、復号の結果得られるＬ画像とＲ画像を画像生成部４２６に供給し、互換多重化画像を分離部４２４に供給し、補助多重化画像と補助視差多重化画像を分離部４２５に供給する。また、3DV復号部４２３は、保持している互換多重化画像と補助視差多重化画像のSEIに含まれる視差情報を画像生成部４２６に供給する。
分離部４２４は、受信部４２１から供給される互換多重化情報に基づいて、3DV復号部４２３から供給される互換多重化画像を、Ｌ画像やＲ画像と同一の解像度のＬ視差画像とＲ視差画像に分離する。具体的には、分離部４２４は、互換多重化画像から、解像度が半分にされたＬ視差画像とＲ視差画像を分離し、そのＬ視差画像とＲ視差画像に対して高解像度化処理を行うことにより、Ｌ画像やＲ画像と同一の解像度のＬ視差画像とＲ視差画像を得る。分離部４２４は、そのＬ視差画像とＲ視差画像を画像生成部４２６に供給する。
分離部４２５は、受信部４２１から供給される補助画像多重化情報に基づいて、分離部４２４と同様に、3DV復号部４２３から供給される補助多重化画像からＯ多画像を分離し、補助視差多重化画像からＯ多視差画像を分離する。分離部４２５は、その結果得られるＯ多視点画像を画像生成部４２６に供給する。
画像生成部４２６は、図５０の画像生成部３６５と同様に、3DV復号部４２３から供給される視差情報に基づいて、必要に応じて、分離部４２４からのＬ視差画像およびＲ視差画像、並びに、分離部４２５からのＯ多視差画像に対して変換を行う。
画像生成部４２６は、変換後のＬ視差画像、Ｒ視差画像、およびＯ多視差画像、Ｌ画像、Ｒ画像、およびＯ多画像、並びに、視差情報に含まれる、デプス値の最大値および最小値または視差値の最大値および最小値、並びに、対応関係情報に基づいて、図示せぬ表示装置に対応する３以上の視点数の画像を生成する。そして、画像生成部４２６は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に出力して表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
[3DV方式の復号装置の処理の説明]
図６０は、図５９の復号装置４２０の復号処理を説明するフローチャートである。この復号処理は、例えば、図５３の符号化装置３８０からＴＳが伝送されてきたとき、開始される。
図６０のステップＳ４１１において、復号装置３４０の受信部４２１は、符号化装置３８０により伝送されてくるＴＳを受信する。受信部４２１は、ＴＳに含まれるビットストリームを分離部４２２に供給し、参照画像多重化情報を3DV復号部４２３に供給する。また、受信部４２１は、ＴＳに含まれる互換多重化情報を分離部４２４に供給し、補助多重化情報を分離部４２５に供給する。なお、以降のステップＳ４１２乃至Ｓ４２８の処理は、ビットストリームを構成するNALユニットごとに行われる。
ステップＳ４１２において、分離部４２２は、NALユニットのNALヘッダに基づいて各NALユニットを分離し、そのNALユニットに含まれる、Ｌ画像、Ｒ画像、補助多重化画像、互換多重化画像、または補助視差多重化画像のデータを種類情報とともに3DV復号部４２３に入力する。
ステップＳ４１３において、3DV復号部４２３は、分離部４２２から供給される種類情報に基づいて、その種類情報とともに入力されるデータがＬ画像、Ｒ画像、補助多重化画像、互換多重化画像、または補助視差多重化画像の符号化データであるかどうかを判定する。ステップＳ４１３でＬ画像、Ｒ画像、補助多重化画像、互換多重化画像、または補助視差多重化画像の符号化データであると判定された場合、処理はステップＳ４１４に進む。
ステップＳ４１４において、3DV復号部４２３は、Ｌ画像、Ｒ画像、補助多重化画像、互換多重化画像、または補助視差多重化画像の符号化データを、保持しているSPSまたはSubset SPSおよびSEIの情報に基づいて復号する。
ステップＳ４１５において、3DV復号部４２３は、種類情報に基づいて、復号の結果得られる画像が互換多重化画像であるかどうかを判定する。ステップＳ４１５で復号の結果得られる画像が互換多重化画像であると判定された場合、3DV復号部４２３は、その互換多重化画像を分離部４２４に供給する。
ステップＳ４１６において、分離部４２４は、受信部４２１からの互換多重化情報に基づいて、3DV復号部４２３から供給される互換多重化画像を、Ｌ画像やＲ画像と同一の解像度のＬ視差画像とＲ視差画像に分離する。分離部４２４は、そのＬ視差画像とＲ視差画像を画像生成部４２６に供給する。
ステップＳ４１７において、分離部４２４は、Ｌ視差画像とＲ視差画像を画像生成部４２６に出力し、処理を終了する。
一方、ステップＳ４１５で復号の結果得られる画像が互換多重化画像ではないと判定された場合、ステップＳ４１８において、3DV復号部４２３は、種類情報に基づいて、復号の結果得られる画像が補助多重化画像であるかどうかを判定する。
ステップＳ４１８で復号の結果得られる画像が補助多重化画像であると判定された場合、3DV復号部４２３は、その補助多重化画像を分離部４２５に供給し、処理をステップＳ４１９に進める。
ステップＳ４１９において、分離部４２５は、受信部４２１からの補助多重化情報に基づいて、3DV復号部４２３から供給される補助多重化画像を、Ｌ画像やＲ画像と同一の解像度の２視点のＯ多画像に分離する。分離部４２５は、その２視点のＯ多画像を画像生成部４２６に供給する。
ステップＳ４２０において、分離部４２５は、２視点のＯ多画像を画像生成部４２６に出力し、処理を終了する。
ステップＳ４１８で復号の結果得られる画像が補助多重化画像ではないと判定された場合、ステップＳ４２１において、3DV復号部４２３は、種類情報に基づいて、復号の結果得られる画像が補助視差多重化画像であるかどうかを判定する。
ステップＳ４２１で復号の結果得られる画像が補助視差多重化画像であると判定された場合、3DV復号部４２３は、その補助視差多重化画像を分離部４２５に供給し、処理をステップＳ４２２に進める。
ステップＳ４２２において、分離部４２５は、補助多重化情報に基づいて、3DV復号部４２３から供給される補助視差多重化画像を、Ｌ画像やＲ画像と同一の解像度の２視点のＯ多視差画像に分離する。分離部４２５は、その２視点のＯ多視差画像を画像生成部４２６に供給する。
ステップＳ４２３において、分離部４２４は、２視点のＯ多視差画像を画像生成部４２６に出力し、処理を終了する。
一方、ステップＳ４２１で復号の結果得られる画像が補助視差多重化画ではないと判定された場合、即ち、復号の結果得られる画像がＬ画像またはＲ画像である場合、処理はステップＳ４２４に進む。
ステップＳ４２４において、3DV復号部４２３は、復号の結果得られるＬ画像またはＲ画像を画像生成部４２６に出力し、処理を終了する。
また、ステップＳ４１３でＬ画像、Ｒ画像、補助多重化画像、互換多重化画像、または補助視差多重化画像の符号化データではないと判定された場合、即ち、分離部４２２から供給されるデータがSPS，Subset SPS、またはSEIの情報である場合、処理はステップＳ４２５に進む。
ステップＳ４２５乃至Ｓ４２８の処理は、図５１のステップＳ３３９乃至Ｓ３４２の処理と同様であるので、説明は省略する。
以上のように、復号装置４２０は、NALヘッダに基づいて、ビットストリームを各NALユニットに分離する。そして、復号装置４２０は、分離されたNALユニットに含まれる互換画像の符号化データを既存のAVC方式またはMVC方式に対応する方式で復号し、補助画像および視差画像の符号化データを3DV方式に対応する方式で復号する。従って、復号装置４２０は、符号化装置３８０で既存の方式との互換性を有する方式で符号化された結果得られるビットストリームを復号することができる。
なお、図示は省略するが、図５３の符号化装置３８０により生成されるビットストリームを復号するAVC方式の復号装置とMVC方式の復号装置は、それぞれ、図４６の復号装置３２０、図４８の復号装置３４０と同様である。
[視差情報の他の配置例]
上述した説明では、SEIに視差情報が含まれたが、ＴＳに含まれるようにしてもよい。この場合、例えば、ＴＳ内のPMT(Program Map Table)やSIT（Selection Information Table）のディスクリプタに視差情報が記述される。
図６１は、視差情報がPMTのディスクリプタに記述される場合の、視差情報の記述例を示す図である。
図６１に示すように、視差情報がPMTのディスクリプタに記述される場合、PMTのディスクリプタとして、視差情報が配置されるディスクリプタ（3DV_view_synthesis_descriptor）が設けられる。このディスクリプタには、図４３に示した視差情報（3DV_view_synthesis_info）が記述される。
なお、視差情報は、SEIとＴＳ内のPMTやSITの両方に含まれるようにしてもよい。また、拡張情報は、NALヘッダではなく、ＴＳ内のPMTやSIT、SEI等に記述されるようにしてもよい。
さらに、補助画像低解像度変換情報、互換多重化情報、および補助多重化情報は、SEI等に含められて伝送されるようにしてもよい。
また、上述した説明では、拡張情報が符号化データに付加されたが、拡張情報は、画像データ(又はビットストリーム)と別に伝送(記録)されてもよい。また、拡張情報は画像データ(又はビットストリーム)と連結されるようにしてもよい。
なお、本実施の形態では、「連結」を以下のように定義する。「連結」とは、画像データ(又はビットストリーム)と拡張情報とが互いにリンクされている状態を指す。連結対象の画像データと拡張情報とは、別の伝送路で伝送されてもよい。また、連結対象の画像データ(又はビットストリーム)と拡張情報とは、互いに別の記録媒体(又は同一の記録媒体内の別々の記録エリア)に記録されてもよい。なお、画像データ(又はビットストリーム)と拡張情報とをリンクさせる単位は、例えば、符号化処理単位(１フレーム、複数フレーム等)にすることができる。
さらに、符号化装置２９０および符号化装置３８０は、１本のＴＳを生成したが、補助情報が補助画像低解像度変換情報と参照画像低解像度変換情報に代わる点を除いて、図２の符号化装置５０、図１４の符号化装置１４０、図２２の符号化装置１８０、および図３３の符号化装置２３０と同様に、複数のＴＳを生成するようにしてもよい。
＜第７実施の形態＞
［符号化装置の第７実施の形態の構成例］
図６２は、本技術を適用した符号化装置の第７実施の形態の構成例を示すブロック図である。
図６２に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図６２の符号化装置４４０の構成は、主に、視差画像生成部１４３、エンコーダ１４５の代わりに、視差画像生成部４４１、エンコーダ４４２が設けられている点が図１４の構成と異なる。符号化装置４４０は、互換画像の視差画像を空間方向に多重化するのではなく、時間方向に多重化して符号化する。
具体的には、符号化装置４４０の視差画像生成部４４１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の各画素の視差を検出する。視差画像生成部４４１は、検出結果に基づいて、互換画像である画像Ａ２の視差画像Ａ２’および画像Ｂ２の視差画像Ｂ２’、並びに、補助画像である画像Ｃ２の視差画像Ｃ２’および画像Ｄ２の視差画像Ｄ２’を生成する。
また、視差画像生成部４４１は、図１４の視差画像生成部１４３と同様に、視差画像Ｃ２’と視差画像Ｄ２’を、所定の多重化方式で空間方向に多重化する。さらに、視差画像生成部４４１は、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像を、時間方向に多重化する。視差画像生成部４４１は、その結果得られる、１フレーム時間内に１フレーム分の視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像が存在する多重化画像を、時間多重化画像としてエンコーダ４４２に供給する。
また、視差画像生成部４４１は、補助画像の視差画像の多重化方式と、互換画像および補助画像の視差画像の多重化方式としての時間方向に多重化する方式（以下、フレームシーケンシャル方式という）とを示す情報を、視差画像情報生成部５７に供給する。
エンコーダ４４２は、互換用エンコーダ１５１と補助用エンコーダ４５１により構成される。エンコーダ４４２の補助用エンコーダ４５１は、画像変換部１４２からの補助画像の多重化画像と視差画像生成部４４１からの時間多重化画像に対して、3DV方式でアクセスユニット単位の符号化を行う。補助用エンコーダ４５１は、その結果得られる符号化ストリームを補助ストリームとして多重化部５９に供給する。
［補助情報の記述例］
図６３は、補助情報がPMTのディスクリプタに記述される場合の互換情報と視差画像情報の記述例を示す図である。
図６３に示すように、補助情報がPMTのディスクリプタに記述される場合、PMTのディスクリプタとして、互換情報が配置されるディスクリプタ（3DV_view_structure_descriptor）、視差画像情報が配置されるディスクリプタ（depth_map_structure_descriptor）等が設けられる。
そして、ディスクリプタ（depth_map_structure_descriptor）には、図６４に示すように、ディスクリプタタグ(descriptor_tag)、ディスクリプタ長(descriptor_length)に続いて、視差画像情報として、視差画像の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。
なお、多重化方式としては、サイドバイサイド方式（SBS）、トップアンドボトム方式（TOB）、フレームシーケンシャル方式などがある。
また、本明細書では、補助情報がＴＳに含まれるものとするが、補助情報は補助ストリームに含まれるようにしてもよい。
図６５および図６６は、補助情報が補助ストリームに含まれる場合の、補助ストリーム内の互換情報と視差画像情報の記述例を示す図である。
図６５に示すように、互換情報（3DV_view_structure）と視差画像情報(depth_map_structure)は、例えば、補助ストリーム内のSEI（Supplemental Enhancement Information）に配置される。
視差画像情報(depth_map_structure)としては、図６６に示すように、視差画像（depth map）の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。
なお、図示は省略するが、画像情報は、視差画像ではなく、互換画像および補助画像についての情報であること以外視差画像情報と同様である。
［符号化装置の処理の説明］
図６７および図６８は、図６２の符号化装置４４０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
図６７および図６８のステップＳ４５１乃至Ｓ４５９の処理は、図１６および図１７のステップＳ７１乃至Ｓ７９の処理と同様であるので、説明は省略する。
図６８のステップＳ４６０において、視差画像生成部４４１は、補助画像の視差画像の多重化方式と、互換画像の視差画像および補助画像の視差画像の多重化画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
ステップＳ４６１において、視差画像情報生成部５７は、視差画像生成部４４１から供給される情報に基づいて、補助画像の視差画像の多重化方式と、互換画像の視差画像および補助画像の視差画像の多重化画像の多重化方式を示す情報などを、視差画像情報として生成し、多重化部５９に入力する。
ステップＳ４６２において、視差画像生成部４４１は、ステップＳ４６０で決定された多重化方式に基づいて、補助画像の視差画像Ｃ２’と視差画像Ｄ２’を空間方向に多重化し、互換画像の視差画像Ａ２’および視差画像Ｂ２’と補助画像の視差画像の多重化画像を時間方向に多重化する。
ステップＳ４６３において、視差画像生成部４４１は、ステップＳ４６２の多重化の結果得られる時間多重化画像をエンコーダ４４２に入力する。
ステップＳ４６４において、エンコーダ４４２の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
ステップＳ４６５において、補助用エンコーダ４５１は、画像変換部１４２からの補助画像の多重化画像と視差画像生成部４４１からの時間多重化画像を、3DV方式で符号化する。補助用エンコーダ４５１は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部５９に供給する。
ステップＳ４６６において、多重化部５９は、図１７のステップＳ８６の処理と同様に、互換用エンコーダ１５１から供給される互換ストリームからＴＳ１を生成し、補助用エンコーダ４５１から供給される補助ストリームおよび補助情報からＴＳ２を生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
［復号装置の構成例］
図６９は、図６２の符号化装置４４０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
図６９に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図６９の復号装置４６０の構成は、主に、デコーダ１２２、画像生成部１７１の代わりに、デコーダ４６１、画像生成部４６２が設けられている点が図１８の構成と異なる。復号装置４６０は、符号化装置４４０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
具体的には、復号装置４６０のデコーダ４６１は、互換用デコーダ１３１と補助用デコーダ４７１により構成される。デコーダ４６１の補助用デコーダ４７１は、分離部１２１から供給される補助ストリームに含まれる補助画像の多重化画像と時間多重化画像を、図６２の補助用エンコーダ４５１に対応する方式で復号する。補助用デコーダ４７１は、復号の結果得られる補助画像の多重化画像と時間多重化画像を画像生成部４６２に供給する。
画像生成部４６２は、視聴者からの表示指令に応じて画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部４６２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、および時間多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部４６２は、視差画像情報取得部１２５からの視差画像情報に含まれる互換画像の視差画像と補助画像の視差画像の多重化画像の多重化方式としてフレームシーケンシャル方式を示す情報に基づいて、時間多重化画像から、互換画像の視差画像である視差画像Ａ２’および視差画像Ｂ２’、並びに、補助画像の視差画像の多重化画像を分離する。そして、画像生成部４６２は、視差画像情報に含まれる補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像の多重化画像から、視差画像Ｃ２’と視差画像Ｄ２’を分離する。
さらに、画像生成部４６２は、図１８の画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部４６２は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
また、画像生成部４６２は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部４６２は、画像生成部１７１と同様に、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部４６２は、画像生成部１７１と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部４６２は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ４６１から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部４６２は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
［復号処理の説明］
図７０は、図６９の復号装置４６０による復号処理を説明するフローチャートである。この復号処理は、例えば、図６２の符号化装置４４０から送信される多重化ストリームが復号装置４６０に入力されたとき、開始される。
図７０のステップＳ４７１乃至Ｓ４７３の処理は、図１９のステップＳ９１乃至Ｓ９３の処理と同様であるので、説明は省略する。
ステップＳ４７４において、補助用デコーダ４７１は、補助ストリームから符号化された補助画像の多重化画像と時間多重化画像を抽出し、図２の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ４７１は、復号の結果得られる補助画像の多重化画像と時間多重化画像を画像生成部１２７に供給し、処理をステップＳ４７５に進める。
ステップＳ４７５乃至Ｓ４７９の処理は、図１９のステップＳ９５乃至Ｓ９９の処理と同様であるので、説明は省略する。
ステップＳ４８０において、画像生成部４６２は、ステップＳ４７９で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、および時間多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
ステップＳ４８１乃至Ｓ４８６の処理は、図１９のステップＳ１０１乃至Ｓ１０６の処理と同様であるので、説明は省略する。
なお、復号装置４６０との互換性を有する互換ストリームのみを復号可能な復号装置では、3DV Representation Delimiter NAL unitが付加されたＴＳ２が無視され、ステップＳ４８３，Ｓ４８５、およびＳ４８６の処理が行われる。但し、この場合、ステップＳ４８５の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
＜第８実施の形態＞
［符号化装置の第８実施の形態の構成例］
図７１は、本技術を適用した符号化装置の第８実施の形態の構成例を示すブロック図である。
図７１に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図７１の符号化装置４８０の構成は、主に、視差画像生成部１４３、エンコーダ１４５、視差画像情報生成部５７の代わりに視差画像生成部４８１、エンコーダ４８２、視差画像情報生成部４８３が設けられている点が図１４の構成と異なる。符号化装置４８０は、互換画像に共通の視差値を表す共通視差画像と補助画像の共通視差画像を符号化する。
具体的には、符号化装置４８０の視差画像生成部４８１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２と画像Ｂ２の間の各画素の視差を検出し、画像Ｃ２と画像Ｄ２の間の各画素の視差を検出する。視差画像生成部４８１は、画像Ａ２と画像Ｂ２の間の各画素の視差を表す視差値からなる視差画像を、互換画像の共通視差画像ＡＢ２’として生成し、エンコーダ４８２に供給する。また、視差画像生成部４８１は、画像Ｃ２と画像Ｄ２の間の各画素の視差を表す視差値からなる視差画像を、補助画像の共通視差画像ＣＤ２’として生成し、エンコーダ４８２に供給する。
また、視差画像生成部４８１は、互換画像および補助画像の視差画像が共通視差画像であることを示す情報を視差画像情報生成部４８３に供給する。
エンコーダ４８２は、互換用エンコーダ１５１と補助用エンコーダ４９１により構成される。補助用エンコーダ４９１は、画像変換部１４２からの補助画像の多重化画像、並びに視差画像生成部４８１からの互換画像の共通視差画像ＡＢ２’および補助画像の共通視差画像ＣＤ２’に対して、3DV方式でアクセスユニット単位の符号化を行う。補助用エンコーダ４９１は、その結果得られる符号化ストリームを補助ストリームとして多重化部５９に供給する。
視差画像情報生成部４８３は、視差画像生成部５３から供給される情報に基づいて、互換画像と補助画像の視差画像が共通視差画像であることを示す情報などを、視差画像情報として生成し、多重化部５９に供給する。
［符号化装置の処理の説明］
図７２および図７３は、図７１の符号化装置４８０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
図７２のステップＳ４９１乃至Ｓ４９８の処理は、図１６のステップＳ７１乃至Ｓ７８の処理と同様であるので、説明は省略する。
図７３のステップＳ４９９において、視差画像生成部４８１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２と画像Ｂ２間の各画素の視差と、画像Ｃ２と画像Ｄ２の各画素の視差を検出する。そして、視差画像生成部４８１は、画像Ａ２と画像Ｂ２の間の各画素の視差を表す視差値からなる共通視差画像ＡＢ２’と、画像Ｃ２と画像Ｄ２の間の各画素の視差を表す視差値からなる共通視差画像ＣＤ２’を生成する。
ステップＳ５００において、視差画像情報生成部４８３は、視差画像生成部４８１から供給される情報に基づいて、互換画像と補助画像の視差画像が共通視差画像であることを示す情報などを、視差画像情報として生成し、多重化部５９に入力する。
ステップＳ５０１において、視差画像生成部４８１は、ステップＳ４９９で生成された補助画像の共通視差画像ＣＤ２’と互換画像の共通視差画像ＡＢ２’をエンコーダ４８２に入力する。
ステップＳ５０２において、エンコーダ４８２の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
ステップＳ５０３において、補助用エンコーダ４９１は、画像変換部１４２からの補助画像の多重化画像、並びに、視差画像生成部４８１からの互換画像の共通視差画像、および補助画像の共通視差画像を3DV方式で符号化する。補助用エンコーダ４９１は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部５９に供給する。
ステップＳ５０４において、多重化部５９は、互換用エンコーダ１５１から供給される互換ストリームからＴＳ１を生成し、補助用エンコーダ４９１から供給される補助ストリームおよび補助情報からＴＳ２を生成して、多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
［復号装置の構成例］
図７４は、図７１の符号化装置４８０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
図７４に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図７４の復号装置５００の構成は、主に、デコーダ１２２、画像生成部１７１の代わりに、デコーダ５０１、画像生成部５０２が設けられている点が図１８の構成と異なる。復号装置５００は、符号化装置４８０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
具体的には、復号装置５００のデコーダ５０１は、互換用デコーダ１３１と補助用デコーダ５１１により構成される。デコーダ５０１の補助用デコーダ５１１は、分離部１２１から供給される補助ストリームに含まれる補助画像の多重化画像、互換画像の共通視差画像ＡＢ２’、および補助画像の共通視差画像ＣＤ２’を、図７１の補助用エンコーダ４９１に対応する方式で復号する。補助用デコーダ５１１は、復号の結果得られる補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を画像生成部５０２に供給する。
画像生成部５０２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部５０２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部５０２は、視差画像情報取得部１２５からの視差画像情報に含まれる互換画像と補助画像の視差画像が共通視差画像であることを示す情報に基づいて、共通視差画像ＡＢ２’と共通視差画像ＣＤ２’をそのままにする。
また、画像生成部５０２は、図１８の画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。さらに、画像生成部５０２は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
また、画像生成部５０２は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部５０２は、各互換画像、各補助画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部５０２は、画像生成部１７１と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部５０２は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ５０１から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部５０２は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
［復号装置の処理の説明］
図７５は、図７４の復号装置５００による復号処理を説明するフローチャートである。この復号処理は、例えば、図７１の符号化装置４８０から送信される多重化ストリームが復号装置５００に入力されたとき、開始される。
図７５のステップＳ５１１乃至Ｓ５１３の処理は、図１９のステップＳ９１乃至Ｓ９３の処理と同様であるので、説明は省略する。
ステップＳ５１４において、補助用デコーダ５１１は、補助ストリームから符号化された補助画像の多重化画像、互換画像の共通視差画像ＡＢ２’、および補助画像の共通視差画像ＣＤ２’を抽出し、図７１の補助用エンコーダ４９１における符号化方式に対応する方式で復号する。補助用デコーダ５１１は、復号の結果得られる補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を画像生成部５０２に供給する。
ステップＳ５１５乃至Ｓ５１９の処理は、図１９のステップＳ９５乃至Ｓ９９の処理と同様であるので、説明は省略する。
ステップＳ５１９の処理後、ステップＳ５２０において、画像生成部５０２は、ステップＳ５１９で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２'を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
ステップＳ５２１乃至Ｓ５２６の処理は、図１９のステップＳ１０１乃至Ｓ１０６の処理と同様であるので、説明は省略する。
なお、符号化装置４４０および符号化装置４８０は、符号化装置１４０と同様に２視点の互換画像を多重化して符号化したが、図２２の符号化装置１８０と同様に２視点の互換画像を多重化せずに符号化するようにしてもよい。また、符号化装置４４０および符号化装置４８０は、図２の符号化装置５０と同様に、１視点の互換画像を符号化するようにしてもよい。
また、符号化装置１４０と符号化装置１８０は、互換画像と補助画像の視差画像を多重化せずに符号化するようにしてもよい。さらに、符号化装置５０は、補助画像の視差画像を多重化せずに符号化するようにしてもよい。
＜符号化対象の多重化パターンの例＞
図７６は、互換画像の視点数が２であり、補助画像の視点数が２である場合の、符号化対象の多重化パターンの例を示す図である。
図７６の（１）に示すように、図１４の符号化装置１４０は、互換画像である画像Ａ２と画像Ｂ２を空間方向に多重化し、AVC方式で符号化する。また、符号化装置１４０は、補助画像である画像Ｃ２と画像Ｄ２、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’、並びに、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’をそれぞれ空間方向に多重化して、MVC方式に準ずる3DV方式で符号化する。
なお、符号化装置１４０は、図７６の（２）に示すように、視差画像Ａ２’乃至Ｄ２’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。さらに、図７６の（３）に示すように、図７１の符号化装置４８０は、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’の代わりに、共通視差画像ＡＢ２’を符号化し、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’の代わりに、共通視差画像ＣＤ２’を符号化する。
また、図７６の（４）に示すように、図６２の符号化装置４４０は、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’を空間方向に多重化せず、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化する。
さらに、図７６の（５）に示すように、図２２の符号化装置１８０は、互換画像である画像Ａ２と画像Ｂ２を多重化せずに、画像Ａ２をAVC方式で符号化し、画像Ｂ２を、画像Ａ２をベースビューとしたMVC方式で符号化する。また、符号化装置１８０は、補助画像である画像Ｃ２と画像Ｄ２、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’、並びに、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’をそれぞれ空間方向に多重化し、MVC方式に準ずる3DV方式で符号化する。
なお、符号化装置１８０は、図７６の（６）に示すように、視差画像Ａ２’乃至Ｄ２’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。また、符号化装置１８０は、図７６の（７）に示すように、符号化装置４８０と同様に、視差画像Ａ２’と視差画像Ｂ２’の代わりに共通視差画像ＡＢ２’を符号化し、視差画像Ｃ２’と視差画像Ｄ２’の代わりに共通視差画像ＣＤ２’を符号化するようにしてもよい。
さらに、符号化装置１８０は、図７６の（８）に示すように、符号化装置４４０と同様に、視差画像Ａ２’と視差画像Ｂ２’を空間方向に多重化せず、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化するようにすることもできる。
図７７は、図７６の（１）乃至（８）に示した多重化パターンでの多重化による効果の特徴を示す図である。
図７７の表では、効果の項目「互換性」、「画質」、および「データ量」が設けられ、図７６の（１）乃至（８）に示した多重化パターンにおける各項目の効果の度合が表されている。なお、図７７の表において、丸は、効果があることを表し、二重丸は、顕著な効果があることを表す。
図７６の（１）に示した多重化パターンで多重化が行われる場合、互換画像の多重化方式および符号化方式が既存の方式と同一となり、互換性が確保される。また、視差画像が、互換画像と同様に空間方向に多重化されるので、例えば、復号装置側に用意されている互換画像を分離する分離部を用いて視差画像を分離することができる。従って、復号装置側で視差画像を分離できることが保証される。よって、この場合、互換性において顕著な効果があり、図７７の項目「互換性」に対応して二重丸が記述されている。
また、図７６の（２）に示した多重化パターンで多重化が行われる場合、互換画像の多重化方式および符号化方式が既存の方式と同一となり、互換性が確保される。また、視差画像の解像度が多重化前の画像と同一の解像度であるので精度が高い。その結果、復号装置において、視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と、視差画像を用いて生成される画像の画質とにおいて効果があり、図７７の項目「互換性」と「画質」に対応して丸が記述されている。
さらに、図７６の（３）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、多重化前の画像と同一の解像度の互換画像および補助画像の視差画像のデータ量が、2視点分の視差画像のデータ量に削減される。従って、この場合、互換性とデータ量において効果があり、図７７の項目「互換性」と「データ量」に対応して丸が記述されている。
また、図７６の（４）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、視差画像が時間方向に多重化されるので、各時刻における視差画像のデータ量が、図７６の（３）の場合に比べてより削減され、伝送可能なデータ量が増加する。従って、多重化前の画像と同一の解像度の視差画像を伝送可能なほど伝送帯域に余裕がない状況であっても、多重化前の画像と同一の解像度の視差画像を伝送することができるので、復号装置において、視差画像を用いて生成される所定の視点の画像の精度が向上する。よって、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、データ量において顕著な効果がある。従って、図７７の項目「互換性」と「画質」に対応して丸が記述され、「データ量」に対応して二重丸が記述されている。
図７６の（１）乃至（４）に示した多重化パターンでの多重化は、例えば、放送、ATSC（Advanced Television Systems Committee）2.0規格等に準拠したＩＰ（Internet Protocol）と融合した放送である次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。
さらに、図７６の（５）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、各視差画像の解像度が画像の解像度の半分であるので、互換画像および補助画像の視差画像のデータ量が、2視点分の視差画像のデータ量に削減される。従って、この場合、互換性とデータ量に効果があり、図７７の項目「互換性」と「データ量」に対応して丸が記述されている。
また、図７６の（６）に示した多重化パターンで多重化が行われる場合、図７６の（２）と同様に、互換性が確保されるとともに、復号装置において視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、図７７の項目「互換性」と「画質」に対応して丸が記述されている。
また、図７６の（７）に示した多重化パターンで多重化が行われる場合、図７６の（３）と同様に、互換性が確保されるとともに、視差画像のデータ量が削減される。従って、この場合、互換性とデータ量に効果があり、図７７の項目「互換性」と「データ量」に対応して丸が記述されている。
図７６の（８）に示した多重化パターンで多重化が行われる場合、図７６の（４）と同様に、互換性が確保される。また、図７６の（４）と同様に、各時刻における視差画像のデータ量が、図７６の（７）の場合に比べてより削減され、その結果、復号装置において視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、データ量において顕著な効果がある。よって、図７７の項目「互換性」と「画質」に対応して丸が記述され、「データ量」に対応して二重丸が記述されている。
また、図７６の（５）、（７）、および（８）に示した多重化パターンでの多重化は、例えば、ＢＤ、放送、次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。さらに、図７６の（６）に示した多重化パターンでの多重化は、例えば、ＢＤ、次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。
図７８は、互換画像の視点数が１であり、補助画像の視点数が２である場合の、符号化対象の多重化パターンの例を示す図である。
図７８の（１）に示すように、図２の符号化装置５０は、互換画像である画像Ａ１をAVC方式で符号化する。また、符号化装置５０は、補助画像である画像Ｂ１と画像Ｃ１、および、補助画像の視差画像である視差画像Ｂ１’と視差画像Ｃ１’をそれぞれ時間方向に多重化する。そして、符号化装置５０は、互換画像の視差画像である視差画像Ａ１’、補助画像の多重化画像、および補助画像の視差画像の多重化画像を、MVC方式に準ずる3DV方式で符号化する。
なお、符号化装置５０は、図７８の（２）に示すように、視差画像Ａ１’乃至Ｃ１’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。また、図７８の（３）に示すように、符号化装置５０は、符号化装置４８０と同様に、補助画像の視差画像の多重化画像の代わりに、補助画像である画像Ｂと画像Ｃの共通視差画像ＢＣ１’を符号化するようにすることもできる。
さらに、図７８の（４）に示すように、符号化装置５０は、符号化装置４４０と同様に、視差画像Ｂ１’と視差画像Ｃ１’を空間方向に多重化せず、視差画像Ａ１’乃至視差画像Ｃ１’をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化するようにすることもできる。
なお、図７８の（１）乃至（４）に示した多重化パターンでの多重化による効果、および、その多重化パターンでの多重化を行うときの符号化対象は、それぞれ、図７６の（５）乃至（８）に示した多重化パターンでの多重化による効果および符号化対象と同様である。但し、図７８の（１）に示した多重化パターンでの多重化では、互換画像の視差画像の解像度は互換画像と同一であるので、この多重化による効果としての視差画像のデータ量の削減は、補助画像の視差画像についてのみの効果である。
図７９は、互換画像の視点数が２であり、補助画像の視点数が０である場合の、符号化対象の多重化パターンの例を示す図である。
互換画像の視点数が２であり、補助画像の視点数が０である場合、図７９の（１）に示すように、図１４の符号化装置１４０の場合と同様に、互換画像である画像Ａ２と画像Ｂ２が空間方向に多重化されて、AVC方式で符号化される。また、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’が空間方向に多重化されて、AVC方式に準ずる3DV方式で符号化される。
なお、図７９の（２）に示すように、視差画像Ａ２’と視差画像Ｂ２’は多重化されず、MVC方式に準ずる3DV方式で符号化されるようにしてもよい。また、図７９の（３）に示すように、符号化装置４８０の場合と同様に、視差画像Ａ２’と視差画像Ｂ２’の代わりに共通視差画像ＡＢ２’が符号化されるようにすることもできる。
また、図７９の（４）に示すように、符号化装置４４０の場合と同様に、視差画像Ａ２’と視差画像Ｂ２’が、時間方向に多重化されるのではなく、フレームシーケンシャル方式で多重化され、符号化されるようにすることもできる。
さらに、図７９の（５）に示すように、符号化装置１８０の場合と同様に、互換画像である画像Ａ２と画像Ｂ２が多重化されずに、画像Ａ２がAVC方式で符号化されるとともに、画像Ｂ２が、画像Ａ２をベースビューとしたMVC方式で符号化されるようにすることもできる。
また、この場合、図７９の（６）に示すように、図７９の（２）と同様に、視差画像が多重化されずに符号化されたり、図７９の（７）に示すように、図７９の（３）と同様に、共通視差画像ＡＢ２’が符号化されたりするようにすることもできる。また、図７９の（８）に示すように、図７９の（４）と同様に、互換画像の視差画像がフレームシーケンシャル方式で多重化され、符号化されるようにすることもできる。
なお、図７８の（１）乃至（８）に示した多重化パターンでの多重化による効果、および、その多重化パターンでの多重化を行うときの符号化対象は、それぞれ、図７６の（１）乃至（８）に示した多重化パターンでの多重化による効果および符号化対象と同一である。
また、上述した説明では、フレームシーケンシャル方式で多重化される視差画像の解像度は、多重化前の画像と同一の解像度であったが、多重化前の画像の解像度より低下させるようにしてもよい。また、補助画像も、視差画像と同様にフレームシーケンシャル方式で多重化されるようにしてもよい。
さらに、上述した説明では、符号化装置において、画像の多重化方式を示す情報と視差画像の多重化方式を示す情報が伝送されたが、図７６、図７８、および図７９に示した多重化パターンを識別する情報を伝送するようにしてもよい。
また、符号化装置は、符号化対象の画像に対応するアプリケーションを識別するフラグを伝送するようにしてもよい。
＜第９実施の形態＞
［符号化装置の第９実施の形態の構成例］
図８０は、本技術を適用した符号化装置の第９実施の形態の構成例を示すブロック図である。
図８０に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図８０の符号化装置５２０の構成は、主に、エンコーダ１４５、多重化部５９の代わりにエンコーダ５２３、伝送部５２４が設けられている点、および、多重化部５２１と多重化情報生成部５２２が新たに設けられている点が図１４の構成と異なる。
符号化装置５２０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、符号化する。
具体的には、符号化装置５２０の多重化部５２１は、画像変換部１４２による多重化の結果得られる互換画像および補助画像の多重化画像、並びに、視差画像生成部１４３による多重化の結果得られる互換画像および補助画像の視差画像の多重化画像を、フレームシーケンシャル方式で多重化する。
そして、多重化部５２１は、多重化の結果得られる、１フレーム時間内に、互換画像の多重化画像、互換画像の視差画像の多重化画像、補助画像の多重化画像、および補助画像の視差画像の多重化画像が順に存在する多重化画像を、時間方向多重化画像としてエンコーダ５２３に供給する。
また、多重化部５２１は、互換画像および補助画像の多重化画像、並びに、互換画像および補助画像の視差画像の多重化画像が、フレームシーケンシャル方式で多重化されていること、時間多重化画像内の画像の配置順等を示す情報を、多重化情報生成部５２２およびエンコーダ５２３に供給する。
多重化情報生成部５２２は、多重化部５２１から供給される情報に基づいて、その情報などを、互換画像および補助画像、並びに、互換画像および補助画像の視差画像の多重化に関する全体多重化情報として生成し、伝送部５２４に供給する。
エンコーダ５２３は、互換用エンコーダ５３１と補助用エンコーダ５３２により構成される。エンコーダ５２３は、多重化部５２１から供給される情報に基づいて、多重化部５２１から供給される時間多重化画像のうちの互換画像の多重化画像を指定し、互換画像の多重化画像を互換用エンコーダ５３１に供給する。また、エンコーダ５２３は、多重化部５２１から供給される情報に基づいて、時間多重化画像のうちの補助画像の多重化画像並びに互換画像および補助画像の視差画像の多重化画像を、補助用エンコーダ５３２に供給する。
エンコーダ５２３の互換用エンコーダ５３１は、時間多重化画像のうちの互換画像の多重化画像に対して、既存のAVC方式でアクセスユニット単位の符号化を行う。補助用エンコーダ５３２は、時間多重化画像のうちの補助画像の多重化画像並びに互換画像および補助画像の視差画像の多重化画像に対して、3DV方式でアクセスユニット単位の符号化を行う。このとき、補助画像の多重化画像は、互換画像の多重化画像を参照して符号化され、補助画像の視差画像の多重化画像は、互換画像の視差画像の多重化画像を参照して符号化される。
エンコーダ５２３は、互換用エンコーダ５３１または補助用エンコーダ５３２で符号化された結果得られる時間多重化画像の符号化データからなるビットストリームを伝送部５２４に供給する。
伝送部５２４は、エンコーダ５２３から供給されるビットストリーム、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部１４４からの視点間距離情報、視差画像情報生成部５７からの視差画像情報、多重化情報生成部５２２からの全体多重化情報などを用いて、ＴＳを生成する。多重化部５９は、生成されたＴＳを送信する。
［符号化装置の処理の説明］
図８１および図８２は、図８０の符号化装置５２０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
図８１のステップＳ５３１乃至Ｓ５３７の処理は、図１６のステップＳ７１乃至Ｓ７７の処理と同様であるので、説明は省略する。
ステップＳ５３７の処理後、ステップＳ５３８において、画像変換部１４２は、互換画像の多重化画像と補助画像の多重化画像を多重化部５２１に入力し、処理を図８２のステップＳ５３９に進める。
図８２のステップＳ５３９乃至Ｓ５４２の処理は、図１７のステップＳ７９乃至Ｓ８２の処理と同様であるので、説明は省略する。
ステップＳ５４３の処理後、ステップＳ５４４において、多重化部５２１は、画像変換部１４２による多重化の結果得られる互換画像および補助画像の多重化画像、並びに、視差画像生成部１４３による多重化の結果得られる互換画像および補助画像の視差画像の多重化画像を、フレームシーケンシャル方式で多重化する。多重化部５２１は、多重化の結果得られる多重化画像を、時間方向多重化画像としてエンコーダ５２３に供給する。
また、多重化部５２１は、互換画像および補助画像の多重化画像並びに視差画像の多重化画像がフレームシーケンシャル方式で多重化されていること、時間多重化画像内の画像の配置順等を示す情報を、多重化情報生成部５２２およびエンコーダ５２３に供給する。
ステップＳ５４５において、多重化情報生成部５２２は、多重化部５２１から供給される情報に基づいて、その情報などを全体多重化情報として生成し、伝送部５２４に入力する。
ステップＳ５４６において、互換用エンコーダ５３１は、エンコーダ５２３によって多重化部５２１からの情報に基づいて入力される、時間多重化画像のうちの互換画像の多重化画像を既存のAVC方式で符号化する。
ステップＳ５４７において、補助用エンコーダ５３２は、エンコーダ５２３によって多重化部５２１からの情報に基づいて入力される、時間多重化画像のうちの補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を、3DV方式で符号化する。エンコーダ５２３は、ステップＳ５４６およびＳ５４７の符号化の結果得られる時間多重化画像の符号化データからなるビットストリームを伝送部５２４に供給する。
ステップＳ５４８において、伝送部５２４は、エンコーダ５２３からのビットストリーム、補助情報、および多重化情報生成部５２２からの全体多重化情報からＴＳを生成し、送信する。このＴＳは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
以上のように、符号化装置５２０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データから１本のビットストリームを生成する。従って、1本のビットストリームのみを復号可能なデコーダを有する復号装置において、符号化装置５２０により生成されたビットストリームを復号することができる。
なお、上述した説明では、互換画像の視差画像、補助画像、および補助画像の視差画像が、互換画像の符号化方式に準ずる3DV方式で符号化されるものとしたが、互換画像の符号化方式に準じないMPEG2（Moving Picture Experts Group phase 2）方式等で符号化されるようにしてもよい。
［復号装置の構成例］
図８３は、図８０の符号化装置５２０から送信されるＴＳを復号する復号装置の構成例を示す図である。
図８３に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図８３の復号装置５４０の構成は、主に、分離部１２１、デコーダ１２２、画像生成部１７１の代わりに受信部５４１、デコーダ５４２、画像生成部５４４が設けられている点、および、多重化情報取得部５４３が新たに設けられている点が図１８の構成と異なる。復号装置５４０は、符号化装置５２０から送信されるＴＳに含まれる時間多重化画像のビットストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
具体的には、復号装置５４０の受信部５４１は、符号化装置５２０から送信されてくるＴＳを受信する。受信部５４１は、ＴＳに含まれる時間多重化画像のビットストリームを抽出し、デコーダ５４２に供給する。また、受信部５４１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、受信部５４１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、受信部５４１は、ＴＳに含まれる全体多重化情報を抽出し、多重化情報取得部５４３に供給する。
デコーダ５４２は、互換用デコーダ５５１と補助用デコーダ５５２により構成される。デコーダ５４２の互換用デコーダ５５１は、受信部５４１から供給されるビットストリームに含まれる互換画像の多重化画像の符号化データをAVC方式に対応する方式で復号し、画像生成部５４４に供給する。
補助用デコーダ５５２は、受信部５４１から供給されるビットストリームに含まれる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データを、図８０の補助用エンコーダ５３２における符号化方式に対応する方式で復号する。補助用デコーダ５５２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を画像生成部５４４に供給する。
多重化情報取得部５４３は、受信部５４１から供給される全体多重化情報を取得し、画像生成部５４４に供給する。
画像生成部５４４は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部５４４は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報、多重化情報取得部５４３からの全体多重化情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
より詳細には、画像生成部５４４は、多重化情報取得部５４３からの全体多重化情報に基づいて、補助用デコーダ５５２から供給される補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を識別する。また、画像生成部５４４は、図１８の画像生成部１７１と同様に、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部５４４は、画像生成部１７１と同様に、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。
さらに、画像生成部５４４は、画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部５４４は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
また、画像生成部５４４は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部５４４は、画像生成部１７１と同様に、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部５４４は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、画像生成部５４４は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ５４２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部５４４は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
［復号装置の処理の説明］
図８４は、図８３の復号装置５４０による復号処理を説明するフローチャートである。この復号処理は、例えば、図８０の符号化装置５２０から送信されるＴＳが復号装置５４０に入力されたとき、開始される。
図８４のステップＳ５５１において、復号装置５４０の受信部５４１は、符号化装置５２０から送信されてくるＴＳを受信する。受信部５４１は、ＴＳに含まれるビットストリームを抽出し、デコーダ５４２に供給する。また、受信部５４１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、受信部５４１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、受信部５４１は、ＴＳに含まれる全体多重化情報を抽出し、多重化情報取得部５４３に供給する。
ステップＳ５５２において、画像生成部５４４は、図１９のステップＳ９２の処理と同様に、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ５５２で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ５５３に進む。
ステップＳ５５３において、デコーダ５４２の互換用デコーダ５５１は、受信部５４１から供給されるビットストリームから互換画像の多重化画像の符号化データを抽出し、AVC方式に対応する方式で復号する。そして、互換用デコーダ５５１は、復号の結果得られる互換画像の多重化画像を画像生成部５４４に供給する。
ステップＳ５５４において、補助用デコーダ５５２は、受信部５４１から供給されるビットストリームから補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データを抽出し、図８０の補助用エンコーダ５３２に対応する方式で復号する。補助用デコーダ５５２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を画像生成部５４４に供給し、処理をステップＳ５５５に進める。
ステップＳ５５５乃至Ｓ５５８の処理は、図１９のステップＳ９５乃至Ｓ９８の処理と同様であるので、説明は省略する。
ステップＳ５５８の処理後、ステップＳ５５９において、多重化情報取得部５４３は、受信部５４１から供給される全体多重化情報を取得し、画像生成部５４４に入力する。
ステップＳ５６０において、画像生成部５４４は、図１９のステップＳ９９の処理と同様に、視点間距離情報取得部１２４からの視点間距離情報と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。
ステップＳ５６１において、画像生成部５４４は、ステップＳ５６０で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報、多重化情報取得部５４３からの全体多重化情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。そして、処理はステップＳ５６２に進む。
ステップＳ５６２乃至Ｓ５６７の処理は、図１９のステップＳ１０１乃至Ｓ１０６の処理と同様であるので、説明は省略する。但し、ステップＳ５６４の処理では、互換用デコーダ５５１は、互換ストリームではなく、受信部５４１から供給されるビットストリームから互換画像の多重化画像を抽出する。
なお、復号装置５４０との互換性を有する互換画像のみを復号可能な復号装置では、処理可能な互換画像の符号化データ以外の符号化データが無視され、ステップＳ５６４，Ｓ５６６、およびＳ５６７の処理が行われる。但し、この場合、ステップＳ５６６の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
以上のように、復号装置５４０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データから生成された１本のビットストリームを復号することができる。
＜第５実施の形態におけるビットストリームの他の例＞
［ビットストリームの他の構成例］
図８５は、第５実施の形態で生成されるアクセスユニット単位のビットストリームの他の構成例を示す図である。
なお、図８５の例では、互換画像が1920×1080画素のＬ画像とＲ画像であり、補助画像が1920×1080画素のＯ画像である。また、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のサイズは、960×1080画素である。さらに、Ｌ画像はAVC方式で符号化され、Ｒ画像はMVC方式で符号化され、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像は3DV方式で符号化される。また、Ｌ画像、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、Ｏ視差画像のビューＩＤは、それぞれ、0,1,2,3,4,5である。なお、ビューＩＤとは、各視点の画像および視差画像に固有のＩＤである。
図８５に示すように、アクセスユニット単位のビットストリームには、例えば、先頭から順に、アクセスユニットデリミタ(AUD)，SPS、画像用のMVC方式のSubset SPS（Subset SPS1）、視差画像用の3DV方式のSubset SPS（Subset SPS2）,PPS,AVC方式のSEI,MVC方式のSEI,3DV方式のSEI、符号化データのNALユニットが配置される。
アクセスユニットデリミタのNALユニットは、アクセスユニットの境界を表すNALユニットである。SPSのNALユニットは、AVC方式で定義されるプロファイルのうちのＬ画像のプロファイルを表すprofile_idc（図８５の例では100）を含むSPSのNALユニットである。画像用のSubset SPSのNALユニットは、MVC方式で定義されるプロファイルのうちのＲ画像およびＯ画像のプロファイルを表すprofile_idc（図８５の例では128）を含むSubset SPSのNALユニットである。視差画像用のSubset SPSのNALユニットは、3DV方式で視差画像用のプロファイルとして定義されるプロファイルのうちの、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図８５の例では138）を含むSubset SPSのNALユニットである。
AVC方式のSEIのNALユニットは、Ｌ画像のSEIのNALユニットである。MVC方式のSEIのNALユニットは、Ｌ画像とR画像のSEIのNALユニットである。3DV方式のSEIのNALユニットは、Ｌ画像、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のSEIのNALユニットである。
符号化データのNALユニットとしては、先頭から順に、Ｌ画像の符号化データ、デリミタ（MVC DD）、Ｒ画像の符号化データ、デリミタ（3DV DD）、O画像の符号化データ、デリミタ（3DV DD）、Ｌ視差画像の符号化データ、デリミタ（3DV DD）、Ｒ視差画像の符号化データ、デリミタ（3DV DD）、Ｏ視差画像の符号化データのNALユニットが配置される。
Ｌ画像の符号化データのNALユニットには、NALユニットのタイプとして1または5を含むNALヘッダが付加される。また、デリミタ（MVC DD）のNALユニットは、MVC方式の符号化データの先頭を表すNALユニットである。Ｒ画像の符号化データのNALユニットには、NALユニットのタイプとして20を含むNALヘッダが付加される。また、デリミタ（3DV DD）のNALユニットは、3DV方式の符号化データの先頭を表すNALユニットである。また、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データのNALユニットには、NALユニットのタイプとして21を含むNALヘッダが付加される。
［視差画像用の3DV方式のSubset SPSの記述例］
図８６は、図８５の視差画像用の3DV方式のSubset SPSの記述例を示す図である。
図８６に示すように、視差画像用の3DV方式のSubset SPSには、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図８６の例では138）を含むSPS（seq_parameter_set_data）と、3DV方式で定義されているprofile_idcごとの情報とが記述されている。
具体的には、視差画像用の3DV方式のSubset SPSには、profile_idcが138であるときの情報として、視差画像用拡張情報（seq_parameter_set_depth_extension）、視差画像用VUI拡張情報が含まれるかどうかを表す視差画像用VUI情報フラグ（depth_vui_parameters_present_flag）等が記述される。また、視差画像用VUI情報フラグが、視差画像用VUI拡張情報が含まれることを表す場合には、視差画像用VUI拡張情報（depth_vui_parameters__extension）も記述される。
なお、視差画像用の3DV方式のSubset SPSを復号時に参照する場合、即ち、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像を復号する場合、IDRピクチャの復号時と同様に、参照画像はリセットされる。
図８７は、図８６の視差画像用拡張情報の記述例を示す図である。
図８７に示すように、視差画像用拡張情報は、MVC方式のSubset SPS内の拡張情報（seq_parameter_set_mvc_extension）と同様に記述される情報と、各視差画像に対応する画像のビューＩＤ（ref_view_id）とからなる。
なお、図８７では、MVC方式のSubset SPS内の拡張情報と同様に記述される情報は展開されて視差画像用拡張情報に含められる。従って、各視差画像のビューＩＤ（view_id）と、各視差画像に対応する画像のビューＩＤとを、視差画像ごとにまとめて記述することができる。即ち、視差画像の数を表す情報（num_views_minus1）を記述し、その数だけ、視差画像のビューＩＤと、その視差画像に対応する画像のビューＩＤを読み出させる記述を行うことができる。
これに対して、MVC方式のSubset SPS内の拡張情報と同様に記述される情報が展開されずに視差画像用拡張情報に含められる場合、視差画像用拡張情報のほかに、視差画像の数を表す情報を記述し、その数だけ、視差画像に対応する画像のビューＩＤを読み出させる記述を行う必要がある。その結果、視差画像の数を表す情報の記述と、その数だけ情報を読み出させる記述が重複する。
従って、図８７に示すように、MVC方式のSubset SPS内の拡張情報と同様に記述される情報が展開されて視差画像用拡張情報に含められる場合、その情報が展開されずに視差画像用拡張情報に含められる場合に比べて、視差画像用拡張情報のデータ量を削減することができる。
図８８は、図８６の視差画像用VUI拡張情報の記述例を示す図である。
図８８に示すように、視差画像用VUI拡張情報は、以下の点を除いて、MVC方式のVUI拡張情報（mvc_vui_parameters__extension）と同様に記述される。即ち、視差画像用VUI情報には、視差画像の各画素の、その視差画像に対応する画像上の位置のタイプを表す位置タイプが含まれるかどうかを表す位置タイプフラグ(depth_loc_info_present_flag)と解像度変換前の視差画像のサイズを表す変換前サイズ情報が含まれるかどうかを表す変換前サイズ情報フラグ(video_src_info_present_flag)が含まれる。また、位置タイプフラグが、位置タイプが含まれることを表す場合、視差画像用VUI情報には位置タイプも含まれ、変換前サイズ情報フラグが、変換前サイズ情報が含まれることを表す場合、視差画像用VUI情報には変換前サイズ情報も含まれる。
位置タイプは、トップフィールドの位置タイプ(depth_sample_loc_type_top_field)とボトムフィールドの位置タイプ(depth_sample_loc_type_bottom_field)からなる。トップフィールドおよびボトムフィールドの位置タイプは、それぞれ、MVC方式のVUI拡張情報に含まれるトップフィールドの位置タイプ(chroma_sample_loc_type_top_field)やボトムフィールドの位置タイプ(chroma_sample_loc_type_bottom_field)と同様に記述される。
また、変換前サイズ情報は、解像度変換前の視差画像の横方向のマクロブロック数を表す情報（pic_width_in_mbs_minus1）および縦方向のマクロブロック数を表す情報（pic_height_in_mbs_minus1）、アスペクト比を表すアスペクト情報が含まれるかどうかを表すアスペクト比フラグ(aspect_ratio_info_present_flag)等により構成される。なお、アスペクト比フラグが、アスペクト情報が含まれることを表す場合、変換前サイズ情報にはアスペクト情報も含まれる。
アスペクト情報は、アスペクト比に固有のＩＤであるアスペクト比ＩＤ（aspect_ratio_idc）等からなる。なお、このアスペクト比ＩＤは、予め定義されているアスペクト比に付与されるほか、定義されていないアスペクト比全体に対しても付与される。そして、アスペクト情報に含まれるアスペクト比ＩＤが、定義されていないアスペクト比全体に対して付与されたアスペクト比ＩＤ（Extended_SAR）である場合、アスペクト情報には、解像度変換前の視差画像のアスペクト比における横方向の値（sar_width）と縦方向の値(sar_height)も含まれる。
［3DV方式の符号化データのNALヘッダの記述例］
図８９は、NALユニットタイプとして21を含む、3DV方式の符号化データのNALユニットのNALヘッダの記述例を示す図である。
図８９に示すように、3DV方式の符号化データのNALヘッダには、NALユニットタイプが21であるときの情報として、視差画像用ヘッダ拡張情報が含まれているかどうかを表す視差画像用ヘッダ拡張情報フラグ（depth_extension_flag）等が記述される。ここで、視差画像用ヘッダ拡張情報は、3DV方式の視差画像の符号化データのNALヘッダに記述されるものであり、視差画像用ヘッダ拡張情報フラグは、上述した視差フラグと同様のものである。
視差画像用ヘッダ拡張情報フラグが、視差画像用ヘッダ拡張情報が含まれていることを表す場合、3DV方式の符号化データのNALヘッダには、視差画像用ヘッダ拡張情報（nal_unit_header_depth_extension）も記述される。一方、視差画像用ヘッダ拡張情報フラグが、視差画像用ヘッダ拡張情報が含まれていないことを表す場合、3DV方式の符号化データのNALヘッダには、MVC方式用ヘッダ拡張情報（nal_unit_header_mvc_extension）も記述される。
図９０は、図８９の視差画像用ヘッダ拡張情報の記述例を示す図である。
図９０に示すように、視差画像用ヘッダ拡張情報は、視差画像に対応する画像のビューＩＤ（ref_view_id）を含む点を除いて、MVC方式用ヘッダ拡張情報と同様に構成される。
［3DV方式のSEIの記述例］
図９１は、図８５の3DV方式のSEIの記述例を示す図である。
図９１に示すように、3DV方式のSEIは、MVC方式のSEIと同様に、SEIのメッセージが記述される。
即ち、3DV方式のSEIには、オペレーションポイントを指定するかどうかを表すオペレーションポイントフラグ（operation_point_flag）が記述され、オペレーションポイントフラグが、オペレーションポイントを指定しないことを表す場合、アクセスユニット内の全ての画像および視差画像にSEIのメッセージを適応するかどうかを表す全コンポーネントフラグ（all_view_components_in_au_flag）が記述される。また、全コンポーネントフラグが、アクセスユニット内の全ての画像および視差画像に適応しないことを表す場合、SEIのメッセージを適応する画像および視差画像のビューＩＤの数（num_view_components_minus1）とビューＩＤ(sei_view_id)が記述される。
一方、オペレーションポイントフラグが、オペレーションポイントを指定することを表す場合、SEIのメッセージを適応するオペレーションポイントのうちの適応対象の画像および視差画像のビューＩＤ(sei_op_view_id)と、そのオペレーションポイントの番号(sei_op_temporal_id)とが記述される。そして、SEIのメッセージ(sei_rbsp)が記述される。なお、3DV方式のSEIでは、複数のSEIのメッセージを記述することが可能である。また、SEIのメッセージとしては、上述した視差情報等が記述される。
なお、図８５の例では、Ｒ画像とＯ画像のプロファイルが同一であるものとしたが、異なるようにすることもできる。
[ビットストリームのさらに他の構成例]
図９２は、図８５においてＲ画像とＯ画像のプロファイルが異なる場合のアクセスユニット単位のビットストリームの構成例を示す図である。
図９２のビットストリームの構成は、画像用のMVC方式のSubset SPSと視差画像用の3DV方式のSubset SPSのほかに、画像用の3DV方式のSubset SPSが配置される点が、図８５のビットストリームの構成と異なっている。
画像用のMVC方式のSubset SPSのNALユニット（Subset SPS1）は、MVC方式で定義されるプロファイルのうちのＲ画像のプロファイルを表すprofile_idc（図９２の例では128）を含むSubset SPSのNALユニットである。画像用の3DV方式のSubset SPS（Subset SPS2）のNALユニットは、3DV方式で画像用のプロファイルとして定義されるプロファイルのうちのＯ画像のプロファイルを表すprofile_idc（図９２の例では148）を含むSubset SPSのNALユニットである。視差画像用のSubset SPS（Subset SPS3）のNALユニットは、3DV方式で視差画像用のプロファイルとして定義されるプロファイルのうちの、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図９２の例では138）を含むSubset SPSのNALユニットである。
[画像用の3DV方式のSubset SPSの記述例]
図９３は、図９２の画像用の3DV方式のSubset SPSの記述例を示す図である。
図９３に示すように、画像用の3DV方式のSubset SPSは、画像Ｏのプロファイルを表すprofile_idc（図９３の例では148）を含むSPS（seq_parameter_set_data）と、3DV方式で定義されているprofile_idcごとの情報とが記述されている。
具体的には、画像用の3DV方式のSubset SPSには、profile_idcが148であるときの情報として、MVC方式のSubset SPSと同様に、MVC方式の拡張情報（seq_parameter_set_mvc_extension）、MVC方式のVUI拡張情報が含まれるかどうかを表すMVC方式VUI情報フラグ（mvc_vui_parameters_present_flag）等が記述される。また、MVC方式VUI情報フラグが、MVC方式のVUI拡張情報が含まれることを表す場合には、MVC方式のVUI拡張情報（mvc_vui_parameters_extension）も記述される。また、profile_idcが138であるときの情報としては、図８６と同様の情報が記述される。
なお、第５実施の形態では、3DV方式がAVC方式やMVC方式に準じた多視点方式での表示用の画像を符号化するための方式であるものとしたが、3DV方式は、HEVC（High Efficiency Video Coding）方式に準じた多視点方式での表示用の画像を符号化するための方式であるようにしてもよい。この場合のビットストリームについて以下に説明する。なお、本明細書では、HEVC方式が、HEVC Working Draft:Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J. Sullivian,“WD3:Working Draft3 of High-Efficiency Video Coding”,JCTVc-E603_d5(version5),2011年5月20日の記載に基づくものであるとする。
＜3DV方式がHEVC方式に準じた方式である場合のビットストリーム＞
[ビットストリームの構成例]
図９４は、3DV方式がHEVC方式に準じた方式である場合のアクセスユニット単位のビットストリームの構成例を示す図である。
なお、図９４の例では、図８５の例と同様のＬ視点画像、Ｒ視点画像、およびＯ視点画像が符号化対象とされ、Ｌ画像がAVC方式で符号化され、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像が3DV方式で符号化される。
図９４のビットストリームは、画像用の3DV方式のSubset SPS（Subset SPS1）と視差画像用の3DV方式のSubset SPS（Subset SPS2）をSPS内に記述可能である点、HEVC方式のSEIと3DV方式のSEIのNALユニットに、それぞれ別のNALユニットのタイプを含むNALヘッダが付加される点が、図８５のビットストリームと異なっている。
図９４のビットストリームでは、画像用の3DV方式のSubset SPSと視差画像用の3DV方式のSubset SPSをSPS内にのみ記述させたり、SPSとは別に記述させたり、SPSに記述させるとともにSPSとは別に記述させたりすることができる。なお、画像用の3DV方式のSubset SPSと視差画像用の3DV方式のSubset SPSが、SPSと別に記述されることは、BD規格に準拠して、HEVC方式の符号化データと3DV方式の符号化データを別のES（Elementary Stream）として生成する場合に好適である。
また、図９４のビットストリームでは、HEVC方式のSEIのNALユニットと3DV方式のSEIのNALユニットに付加されるNALヘッダに含まれるNALユニットのタイプが異なるため、復号時にHEVC方式のSEIや3DV方式のSEIのNALユニットを容易に抽出することができる。
[SPSの記述例]
図９５は、図９４のSPSの記述例を示す図である。
図９５のSPSの記述は、Subset SPSの情報が含まれるかどうかを表すSubset SPS情報フラグ（subset_seq_present_flag）が記述される点、および、Subset SPS情報フラグがSubset SPSの情報が含まれることを表す場合にSubset SPSの情報が記述される点を除いて、HEVC方式のSPSの記述と同様である。
図９５に示すように、Subset SPSの情報は、Subset SPSの数(num_subset_seq)と、Subset SPSを含むかどうかを表すSubset SPSフラグ(subset_seq_info_present_flag)を含む。また、Subset SPSフラグが、Subset SPSを含むことを表す場合、Subset SPSの情報には、Subset SPS(subset_seq_parameter_set_data)も含まれる。
以上のように、Subset SPSの情報としてSubset SPSの数が記述されるので、復号時にSPSの記述を読み出すだけで、Subset SPSが存在するかどうかを認識することができる。また、Subset SPSフラグが記述されるので、Subset SPSをSPS内に記述せずにSPSとは別に記述することができ、Subset SPSの記述の重複を防止することができる。
[Subset SPSの記述例]
図９６は、図９５のSubset SPSの記述例を示す図である。
図９６のSubset SPSの記述は、Subset SPSを適応する画像および視差画像のビューＩＤの数（num_subset_seq_views）、Subset SPSの適応対象が視差画像であるかどうかを表す視差画像用フラグ（depth_extension_flag）、およびSubset SPSの適応時にSPSを無効にするかどうかを表す無効フラグ（seq_param_override_flag）が記述される点を除いて、HEVC方式のSPSの記述と同様である。
視差画像用フラグが、Subset SPSの適応対象が視差画像であることを表す場合、Subset SPSには、適応対象の視差画像に対応する画像のビューＩＤ（ref_view_id）が記述される。また、無効フラグが、Subset SPSの適応時にSPSを無効にすることを表す場合、Subset SPSには、SPSと同様に、プロファイルを表す情報(subset_seq_profile_idc)等が記述される。
また、Subset SPSの記述のうちのSPSの記述と同様の記述としては、例えば、適応する画像および視差画像がクロッピングされているかどうかを表す情報（subset_seq_frame_cropping_flag）、VUI情報（subset_seq_vui_parameters）を含むかどうかを表すVUI情報フラグ（subset_seq_vui_parameters_present_flag）等がある。VUI情報フラグがVUI情報を含むことを表す場合、SPSと同様にVUI情報も記述される。一方、VUI情報フラグがVUI情報を含まないことを表す場合、SPSと同様にVUI情報が記述されない。この場合、VUI情報としてはSPSのVUI情報が適応される。
[Subset SPSのVUI情報の記述例]
図９７は、図９６のSubset SPSのVUI情報の記述例を示す図である。
図９７のSubset SPSのVUI情報の記述は、適応対象の変換前サイズ情報が含まれるかどうかを表す変換前サイズ情報フラグ(video_src_info_present_flag)が記述される点を除いて、HEVC方式のSPSのVUI情報の記述と同様である。
なお、変換前サイズ情報フラグが適応対象の変換前サイズ情報が含まれることを表す場合、図９７のVUI情報には、変換前サイズ情報が記述される。即ち、解像度変換前の適応対象の横方向のマクロブロック数を表す情報（src_pic_width_in_mbs_minus1）および縦方向のマクロブロック数を表す情報（src_pic_height_in_mbs_minus1）、アスペクト比を表すアスペクト情報が含まれるかどうかを表すアスペクト比フラグ(src_aspect_ratio_info_present_flag)等が記述される。
そして、アスペクト比フラグが、アスペクト情報が含まれることを表す場合、変換前サイズ情報には、アスペクト比ＩＤ（src_aspect_ratio_idc）等からなるアスペクト情報も含まれる。そして、アスペクト情報に含まれるアスペクト比ＩＤが、定義されていないアスペクト比全体に対して付与されたアスペクト比ＩＤ（Extended_SAR）である場合、アスペクト情報には、解像度変換前の適応対象のアスペクト比における横方向の値（sar_width）と縦方向の値(sar_height)も含まれる。
なお、図９７のSubset SPSのVUI情報は、SPSのVUI情報と異なる点だけ記述されるようにしてもよい。この場合、Subset SPSのVUI情報のうちの記述されない情報については、SPSのVUI情報に含まれる情報が適用される。
[SEIの記述例]
図９８は、図９４の3DV方式のSEIの記述例を示す図である。
図９８の3DV方式のSEIの記述は、SEIメッセージのタイプ（nesting_type）、全コンポーネントフラグ（all_view_components_in_au_flag）等が記述される点を除いて、SEIメッセージのタイプのSEIメッセージの記述と同様である。
SEIメッセージのタイプとしては、MVC方式のSEIメッセージ、3DV方式のSEIメッセージ、ユーザにより定義されたSEIメッセージなどがある。また、全コンポーネントフラグが、アクセスユニット内の全ての画像および視差画像に適応しないことを表す場合、3DV方式のSEIには、SEIのメッセージを適応する画像および視差画像のビューＩＤの数（num_view_components_minus1）と、その数だけのビューＩＤ(nesting_sei_view_id)も記述される。
なお、第５実施の形態以外の形態のビットストリーム（符号化ストリーム）も、図８５乃至図９８で説明したビットストリームと同様に生成されてもよい。
＜第１０実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図９９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部６０８やROM（Read Only Memory）６０２に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア６１１に格納（記録）しておくことができる。このようなリムーバブルメディア６１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア６１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア６１１からドライブ６１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部６０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)６０１を内蔵しており、CPU６０１には、バス６０４を介して、入出力インタフェース６０５が接続されている。
CPU６０１は、入出力インタフェース６０５を介して、ユーザによって、入力部６０６が操作等されることにより指令が入力されると、それに従って、ROM６０２に格納されているプログラムを実行する。あるいは、CPU６０１は、記憶部６０８に格納されたプログラムを、RAM(Random Access Memory)６０３にロードして実行する。
これにより、CPU６０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU６０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース６０５を介して、出力部６０７から出力、あるいは、通信部６０９から送信、さらには、記憶部６０８に記録等させる。
なお、入力部６０６は、キーボードや、マウス、マイク等で構成される。また、出力部６０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。
また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
＜第１１実施の形態＞
［テレビジョン装置の構成例］
図１００は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
このように構成されたテレビジョン装置では、デマルチプレクサ９０３およびデコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、既存の方式との互換性を有する方式で多重化された多視点の画像を分離することができる。
＜第１２実施の形態＞
［携帯電話機の構成例］
図１０１は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部９２７および多重分離部９２８に本願の復号装置（復号方法）の機能が設けられる。このため、画像データの通信において、既存の方式との互換性を有する方式で多重化された多視点の画像を分離することができる。
＜第１３実施の形態＞
［記録再生装置の構成例］
図１０２は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームを多重化してセレクタ９４６に出力する。
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、エンコーダ９４３に本願の符号化装置（符号化方法）の機能が設けられる。このため、多視点の画像に対して、既存の方式との互換性を有する方式で多重化を行うことができる。
＜第１４実施の形態＞
［撮像装置の構成例］
図１０３は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理および多重化処理を行う。画像データ処理部９６４は、符号化処理および多重化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの分離処理および復号化処理を行う。画像データ処理部９６４は、分離処理および復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部９６４に本願の復号装置（復号方法）の機能が設けられる。このため、メモリ部９６７や記録メディア等に記録された符号化データを復号化して復号画像データを生成するとき、既存の方式との互換性を有する方式で多重化された多視点の画像を分離することができる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
５０ 符号化装置， ５９ 多重化部， ６１ 互換用エンコーダ， ６２ 補助用エンコーダ， １２０ 復号装置， １２１ 分離部， １２７ 画像生成部， １３１ 互換用デコーダ， １３２ 補助用デコーダ， １４０ 符号化装置， １５１ 互換用エンコーダ， １５２ 補助用エンコーダ， １７０ 復号装置， １７１ 画像生成部， １８０ 符号化装置， １９１ 互換用エンコーダ， ２００ 復号装置， ２０２ 画像生成部， ２１１ 互換用デコーダ

Claims (30)

  1. 多視点の画像から互換画像を指定し、指定した前記互換画像をアクセスユニット単位で符号化して、第１の符号化ストリームを生成する互換画像符号化部と、
    前記互換画像から多視点画像を生成する際に用いる補助画像をアクセスユニット単位で符号化して、第２の符号化ストリームを生成する補助画像符号化部と、
    ユニットの境界を示す境界情報を設定する設定部と、
    前記互換画像符号化部により生成された前記第１の符号化ストリームと、前記設定部により設定された前記境界情報と、前記補助画像符号化部により符号化された前記第２の符号化ストリームとを伝送する伝送部と
    を備える符号化装置。
  2. 前記伝送部は、前記設定部により設定された前記境界情報を、前記第２の符号化ストリームに付加する
    請求項１に記載の符号化装置。
  3. 前記伝送部は、前記設定部により設定された前記境界情報を、前記第２の符号化ストリームのアクセスユニットの先頭に付加する
    請求項２に記載の符号化装置。
  4. 前記互換画像が２視点の画像である場合、前記第１の符号化ストリームは、符号化された前記互換画像のうちの一方の視点の画像からなり、前記第２の符号化ストリームは、他方の視点の画像と符号化された前記補助画像からなる
    請求項３に記載の符号化装置。
  5. 前記互換画像と前記補助画像から前記多視点画像を生成する際に用いる補助情報を符号化して、第３の符号化ストリームを生成する補助情報符号化部
    をさらに備え、
    前記設定部は、前記補助情報を設定し、
    前記伝送部は、前記補助情報符号化部により生成された前記第３の符号化ストリームを伝送する
    請求項１に記載の符号化装置。
  6. 前記伝送部は、前記設定部により設定された前記境界情報を、前記第３の符号化ストリームに付加する
    請求項５に記載の符号化装置。
  7. 前記伝送部は、前記設定部により設定された前記境界情報を、前記第３の符号化ストリームのアクセスユニットの先頭に付加する
    請求項６に記載の符号化装置。
  8. 前記互換画像の視差を示す互換視差画像を符号化して第１の視差符号化ストリームを生成し、前記補助画像の視差を示す補助視差画像を符号化して第２の視差符号化ストリームを生成する視差符号化部
    をさらに備え、
    前記伝送部は、前記視差符号化部により生成された前記第１の視差符号化ストリームと前記第２の視差符号化ストリームとを伝送する
    請求項１に記載の符号化装置。
  9. 前記伝送部は、前記第２の符号化ストリームと、前記第１の視差符号化ストリームと、前記第２の視差符号化ストリームとをそれぞれ前記ユニットとして設定し、設定した前記ユニットに前記境界情報を付加する
    請求項８に記載の符号化装置。
  10. 前記伝送部は、前記第２の符号化ストリームと前記第１の視差符号化ストリームと前記第２の視差符号化ストリームとをまとめて前記ユニットとして設定し、設定した前記ユニットに前記境界情報を付加する
    請求項８に記載の符号化装置。
  11. 前記伝送部は、前記第２の符号化ストリームと、前記第１の視差符号化ストリームおよび前記第２の視差符号化ストリームとをそれぞれ前記ユニットとして設定し、設定した前記ユニットに前記境界情報を付加する
    請求項８に記載の符号化装置。
  12. 前記設定部は、視差画像であることを示す視差識別情報を設定し、
    前記伝送部は、前記第１の視差符号化ストリームと前記第２の視差符号化ストリームに、前記設定部により設定された前記境界情報と前記視差識別情報とを付加する
    請求項８に記載の符号化装置。
  13. 前記設定部は、前記互換画像を識別する互換画像識別情報と前記補助画像を識別する補助画像識別情報を設定し、
    前記伝送部は、前記第１の視差符号化ストリームに前記互換画像識別情報を付加し、前記第２の視差符号化ストリームに前記補助画像識別情報を付加する
    請求項１２に記載の符号化装置。
  14. 前記設定部は、前記視差画像の各画素の視差値が正規化されていることを示す正規化識別情報を設定し、
    前記伝送部は、前記設定部により設定された前記正規化識別情報を伝送する
    請求項１２に記載の符号化装置。
  15. 符号化装置が、
    多視点の画像から互換画像を指定し、指定した前記互換画像をアクセスユニット単位で符号化して、第１の符号化ストリームを生成する互換画像符号化ステップと、
    前記互換画像から多視点画像を生成する際に用いる補助画像をアクセスユニット単位で符号化して、第２の符号化ストリームを生成する補助画像符号化ステップと、
    ユニットの境界を示す境界情報を設定する設定ステップと、
    前記互換画像符号化ステップの処理により生成された前記第１の符号化ストリームと、前記設定ステップの処理により設定された前記境界情報と、前記補助画像符号化ステップの処理により符号化された前記第２の符号化ストリームとを伝送する伝送ステップと
    を含む符号化方法。
  16. 多視点の画像から指定された互換画像がアクセスユニット単位で符号化された結果得られる第１の符号化ストリームと、ユニットの境界を示す境界情報と、前記互換画像から多視点画像を生成する際に用いる補助画像がアクセスユニット単位で符号化された結果得られる第２の符号化ストリームとを受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと前記第２の符号化ストリームを分離する分離部と、
    前記分離部により分離された前記第１の符号化ストリームを復号する互換画像復号部と、
    前記分離部により分離された前記第２の符号化ストリームを復号する補助画像復号部と
    を備える復号装置。
  17. 前記分離部は、前記第２の符号化ストリームに付加された前記境界情報を受け取る
    請求項１６に記載の復号装置。
  18. 前記分離部は、前記第２の符号化ストリームのアクセスユニットの先頭に付加された前記境界情報を受け取る
    請求項１７に記載の復号装置。
  19. 前記互換画像が２視点の画像である場合、前記第１の符号化ストリームは、符号化された前記互換画像のうちの一方の視点の画像からなり、前記第２の符号化ストリームは、他方の視点の画像と符号化された前記補助画像からなる
    請求項１８に記載の復号装置。
  20. 前記分離部は、前記互換画像と前記補助画像から前記多視点画像を生成する際に用いる補助情報が符号化された結果得られる第３の符号化ストリームを受け取り、前記境界情報に基づいて、前記第１の符号化ストリーム、前記第２の符号化ストリーム、および前記第３の符号化ストリームを分離する
    請求項１６に記載の復号装置。
  21. 前記分離部は、前記第３の符号化ストリームに付加された前記境界情報を受け取る
    請求項２０に記載の復号装置。
  22. 前記分離部は、前記第３の符号化ストリームのアクセスユニットの先頭に付加された前記境界情報を受け取る
    請求項２１に記載の復号装置。
  23. 前記分離部は、前記互換画像の視差を示す互換視差画像が符号化された結果得られる第１の視差符号化ストリームと、前記補助画像の視差を示す補助視差画像が符号化された結果得られる第２の視差符号化ストリームを受け取る
    請求項１６に記載の復号装置。
  24. 前記分離部は、前記第２の符号化ストリームと、前記第１の視差符号化ストリームと、前記第２の視差符号化ストリームとがそれぞれ前記ユニットとして設定され、設定された前記ユニットに付加された前記境界情報を受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと、前記第２の符号化ストリームと、前記第１の視差符号化ストリームと、前記第２の視差符号化ストリームとを分離する
    請求項２３に記載の復号装置。
  25. 前記分離部は、前記第２の符号化ストリームと前記第１の視差符号化ストリームと前記第２の視差符号化ストリームとがまとめて前記ユニットとして設定され、設定された前記ユニットに付加された前記境界情報を受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと、前記第２の符号化ストリーム、前記第１の視差符号化ストリーム、および前記第２の視差符号化ストリームとを分離する
    請求項２３に記載の復号装置。
  26. 前記分離部は、前記第２の符号化ストリームと、前記第１の視差符号化ストリームおよび前記第２の視差符号化ストリームとがそれぞれ前記ユニットとして設定され、設定された前記ユニットに付加された前記境界情報を受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと、前記第２の符号化ストリームと、前記第１の視差符号化ストリームおよび前記第２の視差符号化ストリームとを分離する
    請求項２３に記載の復号装置。
  27. 前記分離部は、視差画像であることを示す視差識別情報が付加された前記第１の視差符号化ストリームと前記第２の視差符号化ストリームを受け取る
    請求項２３に記載の復号装置。
  28. 前記分離部は、前記互換画像を識別する互換画像識別情報が付加された前記第１の視差符号化ストリームと前記補助画像を識別する補助画像識別情報が付加された前記第２の視差符号化ストリームを受け取る
    請求項２７に記載の復号装置。
  29. 前記分離部は、前記視差画像の各画素の視差値が正規化されていることを示す正規化識別情報を受け取る
    請求項２７に記載の復号装置。
  30. 復号装置が、
    多視点の画像から指定された互換画像がアクセスユニット単位で符号化された結果得られる第１の符号化ストリームと、ユニットの境界を示す境界情報と、前記互換画像から多視点画像を生成する際に用いる補助画像がアクセスユニット単位で符号化された結果得られる第２の符号化ストリームとを受け取り、前記境界情報に基づいて、前記第１の符号化ストリームと前記第２の符号化ストリームを分離する分離ステップと、
    前記分離ステップの処理により分離された前記第１の符号化ストリームを復号する互換画像復号ステップと、
    前記分離ステップの処理により分離された前記第２の符号化ストリームを復号する補助画像復号ステップと
    を備える復号装置。
JP2012531951A 2010-09-03 2011-08-31 符号化装置および符号化方法、並びに復号装置および復号方法 Pending JPWO2012029884A1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010198351 2010-09-03
JP2010198351 2010-09-03
JP2011131679 2011-06-13
JP2011131679 2011-06-13
PCT/JP2011/069841 WO2012029884A1 (ja) 2010-09-03 2011-08-31 符号化装置および符号化方法、並びに復号装置および復号方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015183169A Division JP2016015767A (ja) 2010-09-03 2015-09-16 復号装置、復号方法、プログラム、および記録媒体

Publications (1)

Publication Number Publication Date
JPWO2012029884A1 true JPWO2012029884A1 (ja) 2013-10-31

Family

ID=45772961

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012531951A Pending JPWO2012029884A1 (ja) 2010-09-03 2011-08-31 符号化装置および符号化方法、並びに復号装置および復号方法
JP2015183169A Pending JP2016015767A (ja) 2010-09-03 2015-09-16 復号装置、復号方法、プログラム、および記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015183169A Pending JP2016015767A (ja) 2010-09-03 2015-09-16 復号装置、復号方法、プログラム、および記録媒体

Country Status (11)

Country Link
US (1) US9667941B2 (ja)
EP (1) EP2613531A4 (ja)
JP (2) JPWO2012029884A1 (ja)
KR (1) KR20130105814A (ja)
CN (3) CN105979240B (ja)
AU (2) AU2011296954B2 (ja)
BR (1) BR112013004450A2 (ja)
CA (1) CA2806857A1 (ja)
MX (1) MX338309B (ja)
RU (1) RU2013108079A (ja)
WO (1) WO2012029884A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2013002136A (es) * 2010-09-03 2013-04-03 Sony Corp Dispositivo de codificacion, metodo de codificacion, dispositivo de decodificacion y metodo de decodificacion.
DE112011103496T5 (de) * 2010-11-15 2013-08-29 Lg Electronics Inc. Verfahren zum Umwandeln eines Einzelbildformats und Vorrichtung zur Benutzung dieses Verfahrens
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
CN111182311A (zh) * 2012-04-25 2020-05-19 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
JP6150277B2 (ja) * 2013-01-07 2017-06-21 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
WO2014199367A1 (en) * 2013-06-10 2014-12-18 Ani-View Ltd. A system and methods thereof for generating images streams respective of a video content
US9992528B2 (en) 2013-06-10 2018-06-05 Ani-View Ltd. System and methods thereof for displaying video content
JP6253380B2 (ja) * 2013-12-11 2017-12-27 キヤノン株式会社 画像処理方法、画像処理装置および撮像装置
GB2524726B (en) * 2014-03-25 2018-05-23 Canon Kk Image data encapsulation with tile support
KR20170075349A (ko) * 2015-12-23 2017-07-03 한국전자통신연구원 멀티 뷰를 가진 다중영상 송수신 장치 및 다중영상 다중화 방법
CN117135358A (zh) * 2022-05-20 2023-11-28 海思技术有限公司 视频编码方法、视频解码方法及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
JP2005510187A (ja) * 2001-11-21 2005-04-14 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 両眼／多視点３次元動画像処理システム及びその方法
JP2006140618A (ja) * 2004-11-10 2006-06-01 Victor Co Of Japan Ltd ３次元映像情報記録装置及びプログラム
WO2007034601A1 (ja) * 2005-09-20 2007-03-29 Mitsubishi Electric Corporation 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体
WO2009081335A1 (en) * 2007-12-20 2009-07-02 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
JP2009290630A (ja) * 2008-05-30 2009-12-10 Canon Inc 映像符号化装置
JP2010508752A (ja) * 2006-11-01 2010-03-18 韓國電子通信研究院 立体映像コンテンツ再生に利用されるメタデータの復号化方法及び装置
JP2010157826A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像復号装置、画像符復号方法およびそのプログラム
WO2010095410A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4346548B2 (ja) * 2002-06-28 2009-10-21 シャープ株式会社 画像データ配信システムならびにその画像データ送信装置および画像データ受信装置
JP4490074B2 (ja) * 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
JP4679804B2 (ja) * 2003-04-17 2011-05-11 シャープ株式会社 画像ファイル作成装置
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP4665166B2 (ja) * 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
US8306112B2 (en) 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
EP2149262A4 (en) 2007-04-25 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
TW200910975A (en) * 2007-06-25 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
WO2009051719A2 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for video encoding and decoding geometically partitioned super blocks
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
WO2010043773A1 (en) 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
KR101940023B1 (ko) * 2009-02-19 2019-01-21 톰슨 라이센싱 3d 비디오 포맷
RU2011103190A (ru) 2009-02-27 2013-04-10 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения и интегральная схема
JP4984184B2 (ja) 2009-04-08 2012-07-25 ソニー株式会社 再生装置および再生方法
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US9025933B2 (en) 2010-02-12 2015-05-05 Sony Corporation Information processing device, information processing method, playback device, playback method, program and recording medium
CN101783951B (zh) * 2010-03-02 2012-01-04 西安交通大学 基于人类视觉系统的视频编码帧间预测模式快速确定方法
CN101783957B (zh) * 2010-03-12 2012-04-18 清华大学 一种视频预测编码方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
JP2005510187A (ja) * 2001-11-21 2005-04-14 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 両眼／多視点３次元動画像処理システム及びその方法
JP2006140618A (ja) * 2004-11-10 2006-06-01 Victor Co Of Japan Ltd ３次元映像情報記録装置及びプログラム
WO2007034601A1 (ja) * 2005-09-20 2007-03-29 Mitsubishi Electric Corporation 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体
JP2010508752A (ja) * 2006-11-01 2010-03-18 韓國電子通信研究院 立体映像コンテンツ再生に利用されるメタデータの復号化方法及び装置
WO2009081335A1 (en) * 2007-12-20 2009-07-02 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
JP2009290630A (ja) * 2008-05-30 2009-12-10 Canon Inc 映像符号化装置
JP2010157826A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像復号装置、画像符復号方法およびそのプログラム
WO2010095410A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016021695; Ｓｅｈｏｏｎ Ｙｅａ， Ａｎｔｈｏｎｙ Ｖｅｔｒｏ: 'Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ Ｒａｔｅ-Ｏｖｅｒｈｅａｄ Ｒｅｄｕｃｔｉｏｎ ｉｎ ＦＴＶ' ２００８ ３ＤＴＶ Ｃｏｎｆｅｒｅｎｃｅ： Ｔｈｅ Ｔｒｕｅ Ｖｉｓｉｏｎ - Ｃａｐｔｕｒｅ， Ｔｒａｎｓｍｉｓｓｉｏｎ ａｎｄ Ｄｉｓｐｌａｙ ｏｆ ３Ｄ Ｖｉｄｅｏ , 20080528, ｐｐ．１４５-１４８, ＩＥＥＥ *

Also Published As

Publication number Publication date
AU2011296954A1 (en) 2013-02-14
CN103098465A (zh) 2013-05-08
CA2806857A1 (en) 2012-03-08
BR112013004450A2 (pt) 2017-05-30
CN105979240B (zh) 2018-06-05
MX2013002138A (es) 2013-04-03
CN103098465B (zh) 2016-08-03
KR20130105814A (ko) 2013-09-26
RU2013108079A (ru) 2014-10-20
MX338309B (es) 2016-04-12
AU2016202169A1 (en) 2016-04-28
US20130169751A1 (en) 2013-07-04
EP2613531A1 (en) 2013-07-10
US9667941B2 (en) 2017-05-30
CN105979240A (zh) 2016-09-28
EP2613531A4 (en) 2014-08-06
CN105939469A (zh) 2016-09-14
AU2011296954B2 (en) 2016-02-11
WO2012029884A1 (ja) 2012-03-08
JP2016015767A (ja) 2016-01-28

Similar Documents

Publication Publication Date Title
WO2012029884A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
JP6365635B2 (ja) 画像処理装置および画像処理方法
US9338430B2 (en) Encoding device, encoding method, decoding device, and decoding method
WO2012111757A1 (ja) 画像処理装置および画像処理方法
JP6206559B2 (ja) 復号装置、復号方法、プログラム、および記録媒体
WO2012128069A1 (ja) 画像処理装置および画像処理方法
WO2012029885A1 (ja) 画像処理装置および方法
US9762884B2 (en) Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160520

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160609