WO2012169204A1

WO2012169204A1 - 送信装置、受信装置、送信方法及び受信方法

Info

Publication number: WO2012169204A1
Application number: PCT/JP2012/003750
Authority: WO
Inventors: 智輝小川; 洋矢羽田; 泰治佐々木; 西　孝啓
Original assignee: パナソニック株式会社
Priority date: 2011-06-08
Filing date: 2012-06-08
Publication date: 2012-12-13
Also published as: JPWO2012169204A1

Abstract

　２Ｄ画像を用いた関連する他の画像の符号化及び復号を行った場合でも、放送側の意図する画像を生成できる送信装置を提供する。一の番組についての画像列を符号化して、送信する送信装置は、前記画像列に含まれる各２Ｄ画像を、参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１符号化方式により符号化し、前記２Ｄ画像それぞれに関連する画像を、対応する２Ｄ画像を参照画像とする第２符号化方式で符号化し、それぞれの方式により符号化された各画像をトランスポートストリームとして多重化する。

Description

送信装置、受信装置、送信方法及び受信方法

　本発明は、マルチストリームに含まれる画像を符号化及び復号する技術に関するものである。

　マルチストリームを符号化及び復号する技術として、例えば、ＭＰＥＧ－４　ＡＶＣ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－４　Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）標準に基づいた多視点符号化（ＭＶＣ：Ｍｕｌｔｉ　Ｖｉｅｗ　Ｃｏｄｉｎｇ）がある（以下、ＭＰＥＧ－４　ＭＶＣ）。

　図４９は、ＭＰＥＧ－４　ＭＶＣによる符号化方式を説明する図である。ＭＰＥＧ－４　ＭＶＣでは、従来の機器との再生互換性のある「基本ビュー（ベースビュー）ビデオストリーム」と、基本ビューと同時に処理することで別視点の映像の再生を実現する「拡張ビュー（ディペンデントビュー）ビデオストリーム」から構成される。基本ビュービデオストリームは、図４９に示すように、時間方向の冗長性のみを利用してピクチャ間予測符号化を用いて圧縮されている。一方で、拡張ビュービデオストリームは、この時間方向の冗長性を利用したピクチャ間予測符号化に加えて、視点間の冗長性を利用したピクチャ間予測符号化によって圧縮されている。拡張ビュービデオストリームのピクチャは、基本ビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮されている。例えば、拡張ビュービデオストリームの先頭Ｐ０ピクチャは、基本ビュービデオストリームのＩ０ピクチャを参照し、拡張ビュービデオストリームのＢ１ピクチャは、基本ビュービデオストリームのＢｒ１ピクチャを参照し、拡張ビュービデオストリームの二つ目のＰ３ピクチャは、基本ビュービデオストリームのＰ３ピクチャを参照している。ここで、異なるビューのピクチャを参照することを、以降では「ビュー間参照」と呼び、同じビューのピクチャを参照することを「ビュー内参照」と呼ぶ。

　図４９に示すように、基本ビュービデオストリームは、拡張ビュービデオストリームを参照していないため、基本ビュービデオストリームのみで再生することができる。反対に拡張ビュービデオストリームは、基本ビュービデオストリームを参照しているため、拡張ビュービデオストリームのみでは再生することはできない。しかしながら、ビュー内参照及びビュー間参照の双方を用いた予測符号化を行うことで、拡張ビュービデオストリームは基本ビュービデオストリームに比べてデータ量を大幅に削減でき、効率の良い符号化を行うことができる（特許文献１参照）。

特表２００９－５０９４５４号公報

　ところで、放送波においても、３Ｄ映像の配信が行われ始めている。そこで、上述したように、ＭＰＥＧ－４　ＭＶＣの符号化方式を利用すれば、高圧縮を実現することができる。また、３Ｄ再生に対応していないが、ＭＰＥＧ－４　ＡＶＣの２Ｄ映像再生に対応している機器では、基本ビューはＭＰＥＧ－４　ＡＶＣと互換が取れているので、基本ビューのみを２Ｄ映像として再生することが可能である。

　しかし、すべての機器でＭＰＥＧ－４　ＡＶＣの２Ｄ映像再生が実現できるわけではない。ビデオコーデックには、ＭＰＥＧ－４　ＡＶＣに対応していない機器の場合には、ＭＰＥＧ－４　ＭＶＣを使っても、基本ビューを２Ｄ映像として再生することはできない。この互換性問題を回避するために、ＭＰＥＧ－４　ＭＶＣとは別に、ＭＰＥＧ－２ビデオを別途配信する場合には、放送波の帯域におさめるために、それぞれのビデオストリームのビットレートを低くしなければならず、画質の劣化を招くことになってしまう。

　そこで、放送波の帯域を確保するために、３Ｄ映像の再生では、ＭＰＥＧ－２ビデオストリームを一の視点の映像とし、拡張ビュービデオストリームがビュー間参照時にはＭＰＥＧ－２ビデオストリームのピクチャを参照して、他の視点での映像とすることが考えられている。こうすることで、基本ビュービデオストリームは、黒画面等、映像とは無関係の画面とすることができ、放送波の帯域の利用率を抑えることができるとともに、２Ｄ映像の再生及び３Ｄ映像の再生が可能となる。

　しかしながら、ＭＰＥＧ－２ビデオストリームの復号方法によっては、得られる画像が、符号化前の画像と誤差が生じ、放送側の意図しない画像となる場合がある。そして、その意図しない画像を用いて他の視点での画像を生成すると、３Ｄ映像においても放送側の意図しない３Ｄ表示となるという問題がある。

　そこで、本発明は、上記問題に鑑みて、２Ｄ画像を用いた関連する他の画像の符号化及び復号を行った場合でも、放送側の意図する画像を生成できる送信装置、受信装置、送信方法及び受信方法を提供することを目的とする。

　上記目的を達成するために、本発明は、一の番組についての画像列を符号化して、送信する送信装置であって、参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１符号化方式により、前記画像列に含まれる各２Ｄ画像を符号化する第１符号化手段と、前記２Ｄ画像それぞれに関連する画像を、対応する２Ｄ画像を参照画像とする第２符号化方式で符号化する第２符号化手段と、前記第１符号化手段及び前記第２符号化手段それぞれにより符号化された各画像をトランスポートストリームとして多重化する多重化手段と、前記トランスポートストリームを送信する送信手段とを備え、前記２Ｄ画像は、ＭＰＥＧ－２　Ｖｉｄｅｏ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２　Ｖｉｄｅｏ）方式で符号化及び復号されるものであり、前記２Ｄ画像に関連する画像は、ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する符号化方式で符号化及び復号され、且つディペンデントビュービデオストリームに含まれるものであり、前記第２符号化手段は、ディペンデントビュービデオストリームに含まれる画像を符号化する際に、ベースビュービデオストリームに含まれる画像を参照する代わりに、前記２Ｄ画像の列のうち、対応する２Ｄ画像を参照することを特徴とする。

　上記構成によると、送信装置は、第１符号化方式により符号化したＭＰＥＧ－２ビデオストリームのピクチャを参照して、ＭＰＥＧ－４　ＭＶＣのディペンデントビュービデオストリームにおけるピクチャの符号化を行う。そのため、受信側の装置では、ＭＰＥＧ－２ビデオストリームのピクチャを参照して、ＭＰＥＧ－４　ＭＶＣのディペンデントビュービデオストリームのピクチャを復号することで、放送側が意図する画像、つまり符号化前と誤差のない画像を得ることができるとともに、３Ｄ再生においても放送側が意図する立体視が得られる。

２Ｄ映像とデプスマップから左目映像と右目映像の視差画像を生成する例を説明する図である。再生装置１０、１１の使用行為を説明する図である。トランスポートストリーム形式のデジタルストリームの構成を示す図である。ビデオストリームの構造を説明する図である。ビデオストリームのアクセスユニットの内部構成を説明する図である。クロッピング領域情報とスケーリング情報を説明する図である。クロッピング領域情報とスケーリング情報の具体的な指定方法を説明する図である。ＰＥＳパケットの構成を説明する図である。トランスポートストリームを構成するＴＳパケットのデータ構造を説明する図である。ＰＭＴのデータ構造を説明する図である。立体視画像の表示の一例を示す図である。Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式を説明する図である。マルチビュー符号化方式による立体視方式を説明する図である。ベースビュービデオストリームの各ピクチャと右目映像ビデオストリームの各ピクチャのビデオアクセスユニットの構成を説明する図である。ベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳとＤＴＳの関係を説明する図である。ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示す図である。ディペンデントＧＯＰに含まれるビデオアクセスユニットの構成を説明する図である。トランスポートストリームのデータ構造を説明する図である。２Ｄ互換ビデオストリームをＭＰＥＧ－２ビデオ、マルチビュービデオストリームをＭＰＥＧ－４　ＭＶＣのコーデックとした場合に一致させるビデオ属性とそのビデオ属性を示すための各フィールド名を示す図である。本実施の形態におけるトランスポートストリームの構成とＰＭＴパケットの関係を説明する図である。３Ｄ情報ディスクリプタの構造を示す図である。３Ｄ情報ディスクリプタの再生方式を説明する図である。３Ｄストリームディスクリプタの構造を説明する図である。トランスポートストリーム中における２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳ、ＤＴＳおよびピクチャタイプの関係の例を示す図である。２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームにおいて、特殊再生を容易にするための好適なピクチャタイプの関係を説明する図である。２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示す図である。送信装置２７０１の構成を示すブロック図である。２Ｄ互換ビデオエンコーダ２７０２の構成を示すブロック図である。ディペンデントビュービデオエンコーダ２７０９の構成を示すブロック図である。ＭＰＥＧ－２のＥＳヘッダの構造を示す図である。再生装置１０の構成を示すブロック図である。再生装置１０におけるビュー間参照バッファの管理を説明する図である。送信装置２７０１の動作を示す流れ図である。再生装置１０の動作を示す流れ図である。再生装置１０におけるビュー間参照バッファの管理の変形例を説明する図である。再生装置１０におけるバッファの共用化方法を説明する図である。送信装置３７０１の構成を示すブロック図である。再生装置３８０１の構成を示すブロック図である。再生装置３８０１の変形例を示すブロック図である。送信装置４００１の構成を示すブロック図である。再生装置４１０１の構成を示すブロック図である。送信装置４２０１の構成を示すブロック図である。再生装置４３０１の構成を示すブロック図である。再生装置４３０１の動作を示す流れ図である。送信装置４５０１の構成を示すブロック図である。再生装置４６０１の構成を示すブロック図である。送信装置４９０１の構成を示すブロック図である。再生装置５００１の構成を示すブロック図である。マルチビュービデオコーデック（ＭＰＥＧ－４　ＭＶＣ）による符号化方式を説明する図である。

　（本発明の基礎となった知見）
　通常、ＭＰＥＧ－２の規格では、ＭＰＥＧ－２ビデオストリームの符号化及び復号時において、参照画像を生成する際に用いられる逆離散コサイン変換は、誤差を生じるものであってもよい旨の規定がある。

　誤差の生じる逆離散コサイン変換を用いた場合、符号化前の画像と、誤差の生じる逆離散コサイン変換により復号された画像とは、完全に一致するものではない。そのため、ＭＰＥＧ－２ビデオストリームの画像を参照する拡張ビュービデオストリームの画像の符号化や復号においても、受信装置側で放送側が意図しない画像が得られる可能性がある。なぜなら、誤差の生じた画像を参照するために参照画像（誤差が生じた画像）と、符号化対象の画像との差分は、本来の差分（誤差が生じていない画像と符号化対象の画像との差分）とは異なるからである。そうすると、放送側が意図しない画像を３Ｄ再生に用いることとなり、３Ｄ再生において放送側が意図しない立体視像が得られるという問題が生じることを、発明者らは知見した。

　そこで、発明者が鋭意検討し、ＭＰＥＧ－２ビデオストリームの符号化及び復号時の処理について、その処理方法を見直すことで、上記問題を解決する、本発明に至った。

　本発明の一態様である、一の番組についての画像列を符号化して、送信する送信装置は、参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１符号化方式により、前記画像列に含まれる各２Ｄ画像を符号化する第１符号化手段と、前記２Ｄ画像それぞれに関連する画像を、対応する２Ｄ画像を参照画像とする第２符号化方式で符号化する第２符号化手段と、前記第１符号化手段及び前記第２符号化手段それぞれにより符号化された各画像をトランスポートストリームとして多重化する多重化手段と、前記トランスポートストリームを送信する送信手段とを備え、前記２Ｄ画像は、ＭＰＥＧ－２　Ｖｉｄｅｏ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２　Ｖｉｄｅｏ）方式で符号化及び復号されるものであり、前記２Ｄ画像に関連する画像は、ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する符号化方式で符号化及び復号され、且つディペンデントビュービデオストリームに含まれるものであり、前記第２符号化手段は、ディペンデントビュービデオストリームに含まれる画像を符号化する際に、ベースビュービデオストリームに含まれる画像を参照する代わりに、前記２Ｄ画像の列のうち、対応する２Ｄ画像を参照することを特徴とする。

　１．実施の形態１
　以下、本発明に係る実施の形態１について、図面を参照しながら説明する。

　１．１　準備
　先ず始めに、立体視の原理について簡単に述べる。立体視の実現法としては、ホログラフィ技術を用いる方法と、視差画像を用いる方式とがある。

　まず、１つ目のホログラフィ技術の特徴としては、人間が通常物体を認識するのと全く同じように物体を立体として再現することができるが、動画生成に関しては、技術的な理論は確立しているが、ホログラフィ用の動画をリアルタイムで生成する膨大な演算量を伴うコンピューター、及び１ｍｍの間に数千本の線を引けるだけの解像度を持った表示装置が必要であるが、現在の技術での実現は非常に難しく、商用として実用化されている例はほとんどない。

　次に、２つ目の視差画像を用いる方式について説明する。一般に右目と、左目は、その位置の差に起因して、右目から見える像と左目から見える像には見え方に若干の差がある。この差を利用して人間は目に見える像を立体として認識できるのである。視差画像を用いて立体表示をする場合には、人間の視差を利用し平面の画像があたかも立体に見えるようにしている。

　この方式のメリットは、高々右目用と左目用の２つの視点の映像を準備するだけで立体視を実現できることにあり、技術的には、左右のそれぞれの目に対応した絵を、いかにして対応した目にだけ見せることができるかの観点から、継時分離方式を始めとするいくつかの技術が実用化されている。

　継時分離方式とは、左目用映像及び右目用映像を時間軸方向で交互に表示させ、目の残像反応により左右のシーンを脳内で重ね合わさせて、立体映像として認識させる方法である。

　また、視差画像を用いた立体視においては、右目に入る映像と左目に入る映像をそれぞれ用意する方式の他に、２Ｄ映像に対して画素単位で奥行き値が与えられたデプスマップを別途用意して、２Ｄ映像とデプスマップに基づいて左目映像と右目映像の視差画像をプレーヤやディスプレイで生成する方法がある。図１は２Ｄ映像とデプスマップから左目映像と右目映像の視差画像を生成する例を模式的に示している。デプスマップは２Ｄ映像内のそれぞれの画素に対応して奥行き値をもっており、図１の例では、２Ｄ映像の円形の物体は、デプスマップでは奥行きが高いことを示す情報が割り当てられ、それ以外の領域は奥行きが低いことを示す情報が割り当てられている。この情報は、画素ごとのビット列で格納しても良いし、画像イメージ（例えば「黒」を奥行きが低いことを示し、「白」を奥行きが高いことを示す画像イメージ）として格納しても良い。視差画像は、デプスマップの奥行き値から、２Ｄ映像の視差量を調整することによって作成することができる。図１の例では、２Ｄ映像内の円形の物体の奥行き値は高いため、視差画像を作成するときには、円形の物体の画素の視差量を大きくし、円形物体以外の領域は、奥行き値が低いため、円形の物体の画素の視差量を小さくして、左目映像、右目映像を作成する。この左目映像と右目映像を、継時分離方式等を使って表示すれば立体視が可能となる。

　以上が立体視の原理についての説明である。

　次に、本実施の形態における再生装置の使用形態について説明する。

　本実施の形態における再生装置は、２Ｄ映像もしくは３Ｄ映像を復号してディスプレイに映像を転送する装置である。ここでは、例としてデジタルテレビを挙げて説明する。

　デジタルテレビには、図２に示すように３Ｄ映像が視聴可能な３Ｄデジタルテレビ（再生装置）１０と、３Ｄ映像の再生をサポートしない２Ｄ映像のみを再生できる２Ｄデジタルテレビ（再生装置）１１がある。

　図２（ａ）は、再生装置の、使用行為についての形態を示す図である。本図に示すように、３Ｄデジタルテレビ１０と３Ｄ眼鏡２０とから構成され、ユーザによる使用が可能となる。

　再生装置１０は、２Ｄ映像及び３Ｄ映像を表示することができるものであり、受信した放送波に含まれるストリームを再生することで映像を表示する。

　本実施形態の再生装置１０は、３Ｄ眼鏡２０をユーザが着用することで立体視を実現するものである。３Ｄ眼鏡２０は、液晶シャッターを備え、継時分離方式による視差画像をユーザに視聴させる。視差画像とは、右目に入る映像と、左目に入る映像とから構成される一組の映像であり、それぞれの目に対応したピクチャだけがユーザの目に入るようにして立体視を行わせる。図２（ｂ）は、左目用映像の表示時を示す。画面上に左目用の映像が表示されている瞬間において、前述の３Ｄ眼鏡２０は、左目に対応する液晶シャッターを透過にし、右目に対応する液晶シャッターは遮光する。同図（ｃ）は、右目用映像の表示時を示す。画面上に右目用の映像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。

　また、２Ｄ映像及び３Ｄ映像を表示することができる別の方法の再生装置としては、先ほどの継時分離方式では左右のピクチャを時間軸方向で交互に出力していたのに対して、一画面中の縦方向に左目用のピクチャと右目用のピクチャを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズと呼ばれる蒲鉾上のレンズを通して、左目用のピクチャを構成する画素は左目だけに結像し、右目用のピクチャを構成する画素は右目だけに結像するようにすることで、左右の目に視差のあるピクチャを見せ、３Ｄとしてみることができる方式がある。なお、レンチキュラーレンズだけでなく、同様の機能を持たせたデバイス、例えば液晶素子を用いてもよい。また左目用の画素には縦偏光のフィルタ、右目用の画素には横偏光のフィルタを設置し、視聴者は、左目用には縦偏光、右目用には横偏光のフィルタを設置した偏光メガネを用いてディスプレイを見ることによって立体視が可能となる偏光方式がある。

　視差画像を用いた立体視のための方法はこの他にも２色分離方式などさまざまな技術が提案されており、本実施の例においては、継時分離方式を例として用いて説明するが、視差画像を用いる限りこの方式に限定するものではない。

　２Ｄデジタルテレビ１１は、図２の（ｄ）に示すように、再生装置１０と異なり、立体視を実現できない。２Ｄデジタルテレビ１１は、２Ｄ映像のみを表示することができるものであり、受信した放送波に含まれるストリームを２Ｄ映像としてのみ再生できる。

　以上が、再生装置の使用形態についての説明である。

　次に、デジタルテレビの放送波等で伝送される一般的なストリームの構造について説明する。

　デジタルテレビの放送波等での伝送では、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームが使われている。ＭＰＥＧ－２トランスポートストリームとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格である。ＩＳＯ／ＩＥＣ１３８１８－１およびＩＴＵ－Ｔ勧告Ｈ２２２．０において標準化されている。

　図３は、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームの構成を示す図である。本図に示すようにトランスポートストリームは、ビデオストリーム、オーディオストリーム、字幕ストリームなどを多重化することで得られる。ビデオストリームは番組の主映像を、オーディオストリームは番組の主音声部分や副音声を、字幕ストリームは番組の字幕情報を格納している。ビデオストリームは、ＭＰＥＧ－２、ＭＰＥＧ－４　ＡＶＣなどの方式を使って符号化記録される。オーディオストリームは、ドルビーＡＣ－３、ＭＰＥＧ－２　ＡＡＣ、ＭＰＥＧ－４　ＡＡＣ、ＨＥ－ＡＡＣなどの方式で圧縮・符号化記録されている。

　ビデオストリームの構成について説明する。ＭＰＥＧ－２、ＭＰＥＧ－４　ＡＶＣ、ＳＭＰＴＥ　ＶＣ－１などの動画圧縮符号化においては、動画像の空間方向および時間方向の冗長性を利用してデータ量の圧縮を行う。時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対照のピクチャとの差分値に対して空間方向の冗長度を取り除くことによりデータ量の圧縮を行う。

　ここでは、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをＩピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをＰピクチャとよび、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをＢピクチャと呼び、Ｂピクチャの中で他のピクチャから参照されるピクチャをＢｒピクチャと呼ぶ。また、フレーム構造の場合のフレーム、フィールド構造のフィールドを、ここではビデオアクセスユニットと呼ぶ。

　また、ビデオストリームは、図４に示すような階層構造を有している。ビデオストリームは、複数のＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）から構成されており、これを符合化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となっている。ＧＯＰは１つ以上のビデオアクセスユニットにより構成されている。ビデオアクセスユニットは、ピクチャの符合化データを格納する単位であり、フレーム構造の場合は１フレーム、フィールド構造の場合の１フィールドのデータが格納される。各ビデオアクセスユニットは、ＡＵ識別コード４１、シーケンスヘッダ４２、ピクチャヘッダ４３、補足データ４４、圧縮ピクチャデータ４５、パディングデータ４６、シーケンス終端コード４７、ストリーム終端コード４８などから構成される。各データはＭＰＥＧ－４　ＡＶＣの場合は、ＮＡＬユニットと呼ばれる単位で格納される。

　ＡＵ識別コード４１は、アクセスユニットの先頭を示す開始符号である。シーケンスヘッダ４２は、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。ピクチャヘッダ４３は、ピクチャ全体の符合化の方式などの情報を格納したヘッダである。補足データ４４は、圧縮データの復号に必須ではない付加情報であり、例えば、映像と同期してＴＶに表示するクローズドキャプションの文字情報やＧＯＰ構造情報などが格納される。圧縮ピクチャデータ４５には、圧縮符号化されたピクチャのデータが格納される。パディングデータ４６は、形式を整えるための意味のないデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。シーケンス終端コード４７は、再生シーケンスの終端を示すデータである。ストリーム終端コード４８は、ビットストリームの終端を示すデータである。

　ＡＵ識別コード４１、シーケンスヘッダ４２、ピクチャヘッダ４３、補足データ４４、圧縮ピクチャデータ４５、パディングデータ４６、シーケンス終端コード４７、ストリーム終端コード４８の中身の構成は、ビデオの符合化方式によって異なる。

　例えば、ＭＰＥＧ－４　ＡＶＣの場合であれば、ＡＵ識別コード４１は、ＡＵデリミタ（Ａｃｃｅｓｓ　Ｕｎｉｔ　Ｄｅｌｉｍｉｔｅｒ）、シーケンスヘッダ４２はＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｔｅｒ　Ｓｅｔ）に、ピクチャヘッダ４３はＰＰＳ（Ｐｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）に、圧縮ピクチャデータ４５は複数個のスライス、補足データ４４はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）、パディングデータ４６はＦｉｌｌｅｒＤａｔａ、シーケンス終端コード４７はＥｎｄ　ｏｆ　Ｓｅｑｕｅｎｃｅ、ストリーム終端コード４８はＥｎｄ　ｏｆ　Ｓｔｒｅａｍに対応する。

　例えば、ＭＰＥＧ－２の場合であれば、シーケンスヘッダ４２はｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ、ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ、ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒに、ピクチャヘッダ４３はｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ、圧縮ピクチャデータ４５は複数個のスライス、補足データ４４はｕｓｅｒ＿ｄａｔａ、シーケンス終端コード４７はｓｅｑｕｅｎｃｅ＿ｅｎｄ＿ｃｏｄｅに対応する。ＡＵ識別コード４１は存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。

　各データは常に必要ではなく、例えば、シーケンスヘッダ４２はＧＯＰ先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットにはなくてもよい、としてもよい。また、符号化方式によっては、ピクチャヘッダ４３は符号順で前のビデオアクセスユニットのものを参照して、自身のビデオアクセスユニット内にピクチャヘッダがなくても良い。

　また、図５（ａ）に示すようにＧＯＰ先頭のビデオアクセスユニットは、圧縮ピクチャデータ４５としてＩピクチャのデータが格納され、ＡＵ識別コード４１、シーケンスヘッダ４２、ピクチャヘッダ４３、圧縮ピクチャデータ４５が必ず格納され、補足データ４４、パディングデータ４６、シーケンス終端コード４７、ストリーム終端コード４８が格納されていても良い。図５（ｂ）に示すようにＧＯＰ先頭以外のビデオアクセスユニットは、ＡＵ識別コード４１、圧縮ピクチャデータ４５が必ず格納され、ピクチャヘッダ４３、補足データ４４、パディングデータ４６、シーケンス終端コード４７、ストリーム終端コード４８が格納されていても良い。

　また、前述のシーケンス終端コード４７あるいはストリーム終端コード４８はシーケンスの終端やストリームの終端以外では格納される必要はない。

　次に、クロッピング領域情報とスケーリング情報について図６を参照しながら説明する。

　ビデオ符号化方式によっては、符号化されたフレームの領域と、実際に表示に使う領域を変更することができる。図６のように、符号化されたフレーム領域（外枠）の中から実際に表示する領域Ｆ１１を、「クロッピング領域」として指定することが出来る。例えば、ＭＰＥＧ－４　ＡＶＣの場合には、ＳＰＳに格納されるｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報を使って指定できる。ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報は、図７（ａ）のように、クロッピング領域Ｆ１１の上線／下線／左線／右線と、符号化されたフレーム領域Ｆ１０の上線／下線／左線／右線との差分を、上下左右のクロップ量として指定する。より具体的には、クロッピング領域Ｆ１１を指定する場合には、ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ＿ｆｌａｇを1に設定し、ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ／ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ　／　ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ　／ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔに上線／下線／左線／右線のクロップ量を指定する。ＭＰＥＧ－２の場合には、図７（ｂ）のように、クロッピング領域Ｆ１１の縦横のサイズ（ｓｅｑｕｅｎｃｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｄｉｓｐｌａｙ＿ｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ，ｄｉｓｐｌａｙ＿ｖｅｒｔｉｃａｌ＿ｓｉｚｅ）と、符号化されたフレーム領域Ｆ１０の中心とクロッピング領域Ｆ１１の中心との差分情報（ｐｉｃｔｕｒｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ，　ｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ）を使ってクロッピング領域Ｆ１１を指定できる。

　また、ビデオ符号化方式によっては、クロッピング領域Ｆ１１を実際にテレビなどに表示する際のスケーリング方法を示すスケーリング情報が存在する。これは、例えばアスペクト比として設定される。再生装置はそのアスペクト比の情報を使って、クロッピング領域Ｆ１１をアップコンバートして表示を行う。例えば、ＭＰＥＧ－４　ＡＶＣの場合には、スケーリング情報として、ＳＰＳにアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ）が格納される。ＭＰＥＧ－４　ＡＶＣの場合、１４４０×１０８０のクロッピング領域を、１９２０×１０８０に拡大して表示するためには、アスペクト比は４：３を指定する。この場合水平方向に４／３倍にアップコンバート（１４４０×４／３＝１９２０）され、１９２０×１０８０に拡大されて表示される。ＭＰＥＧ－２の場合にも同様にｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒにアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏｒｍａｔｉｏｎ）が格納されている。

　以上がビデオストリームの構成の説明である。

　トランスポートストリームに含まれる各ストリームはＰＩＤと呼ばれるストリーム識別ＩＤによって識別される。このＰＩＤのパケットを抽出することで複合装置は、対象のストリームを抽出することが出来る。ＰＩＤとストリームの対応は以降で説明するＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）パケットのディスクリプタに格納される。

　図３は、トランスポートストリーム３０がどのように多重化されるかを模式的に示している。まず、複数のビデオフレームからなるビデオストリーム３１、複数のオーディオフレームからなるオーディオストリーム３４を、それぞれＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）パケット列３２および３５に変換し、ＴＳ（Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）パケット３３および３６に変換する。同じく字幕ストリーム３７のデータをそれぞれＰＥＳパケット列３８に変換し、更にＴＳパケット３９に変換する。ＭＰＥＧ－２トランスポートストリーム３０はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

　図８は、ＰＥＳパケット列８１に、ビデオストリームがどのように格納されるかを更に詳しく示している。本図における第１段目はビデオストリームのビデオフレーム列８０を示す。第２段目は、ＰＥＳパケット列８１を示す。本図の矢印ｙｙ１,ｙｙ２, ｙｙ３, ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ　Ｐｒｅｓｅｎｔａｔｉｏｎ　ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ－Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ－Ｓｔａｍｐ）が格納される。

　図９は、トランスポートストリームを構成するＴＳパケット９０のデータ構造を示している。ＴＳパケット９０は、４ＢｙｔｅのＴＳヘッダ９１と、データ格納部９２とから構成される１８８Ｂｙｔｅ固定長のパケットである。さらに、データ格納部９２は、アダプテーションフィールド９３とＴＳペイロード９４から構成されている。ＴＳヘッダ９１は、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ　９５、ＰＩＤ　９６、ａｄａｐｔａｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　９７などから構成される。ＰＩＤ　９６は前述したとおりトランスポートストリームに多重化されているストリームを識別するためのＩＤである。ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ　９５は、同一ＰＩＤのＴＳパケットの中のパケットの種別を識別するための情報である。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　９７は、アダプテーションフィールド９３とＴＳペイロード９４の構成を制御するための情報である。アダプテーションフィールド９３とＴＳペイロード９４はどちらかだけが存在する場合と両方が存在する場合があり、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　９７はその有無を示す。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　９７が１の場合は、ＴＳペイロード９４のみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　９７が２の場合は、アダプテーションフィールド９３のみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　９７が３の場合は、ＴＳペイロード９４とアダプテーションフィールド９３の両方が存在することを示す。

　アダプテーションフィールド９３は、ＰＣＲなどの情報の格納や、ＴＳパケット９０を１８８バイト固定長にするためのスタッフィングするデータの格納領域である。ＴＳペイロード９４にはＰＥＳパケットが分割されて格納される。

　トランスポートストリームに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ　Ａｓｓｏｃｉａｔｉｏｎ　Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）などがある。これらのパケットはＰＳＩ（Ｐｒｏｇｒａｍ　Ｓｐｅｃｉｆｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる。ＰＡＴはトランスポートストリーム中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、トランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、またトランスポートストリームに関する各種ディスクリプタを持つ。ディスクリプタにはＡＶストリームのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＴＳパケットのデコーダへの到着時刻とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ　Ｔｉｍｅ　Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるタイミングに対応するＳＴＣ時間の情報を持つ。

　図１０は、ＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴ１００の先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダ１０１が配置される。その後ろには、トランスポートストリームに関する複数のディスクリプタ１０２、・・・、１０３が配置される。前述したコピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、トランスポートストリームに含まれる各ストリームに関する複数のストリーム情報１０４、・・・、１０５が配置される。各ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ１０６、ストリームのＰＩＤ１０７、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタ１０８、・・・、１０９から構成される。

　以上がデジタルテレビの放送波等で伝送される一般的なストリームの構造の説明である。

　次に、立体視に使う視差画像を実現するための一般的な映像フォーマットについて説明する。

　視差画像を使った立体視の方式では、右目に入る映像と、左目に入る映像とを各々用意し、それぞれの目に対応したピクチャだけが入るようにして立体視を行う。図１１は、ユーザの顔を左側に描き、右側には、対象物たる恐竜の骨格を左目から見た場合の例と、対象物たる恐竜の骨格を、右目から見た場合の例とを示している。右目及び左目の透光、遮光が繰り返されれば、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。

　視差画像のうち、左目に入る画像を左目画像(Ｌ画像)といい、右目に入る画像を右目画像(Ｒ画像)という。そして、各々のピクチャが、Ｌ画像になっている動画像をレフトビュービデオといい、各々のピクチャがＲ画像になっている動画像をライトビュービデオという。

　レフトビュービデオとライトビュービデオを合成して圧縮符号化する３Ｄの映像方式には、フレーム互換方式とマルチビュー符号化方式がある。

　まず１つ目のフレーム互換方式は、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、通常の動画像圧縮符号化を行う方式である。一例としては、図１２に示すような、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式がある。Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式では、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ水平方向に１／２に圧縮した上で、左右に並べることで一つのピクチャに合成する。合成されたピクチャによる動画像は、通常の動画像圧縮符号化が行われてストリーム化される。一方再生時は、ストリームを通常の動画像圧縮符号化方式に基づいて動画像に復号化される。復号化された動画像の各ピクチャは、左右画像に分割されて、それぞれ水平方向に２倍に伸長されることによって、レフトビュービデオとライトビュービデオの対応する各ピクチャが得られる。得られたレフトビュービデオのピクチャ（Ｌ画像）とライトビュービデオのピクチャ（Ｒ画像）を交互に表示することによって、図１２に示すような立体視画像を得ることができる。フレーム互換方式にはＳｉｄｅ－ｂｙ－Ｓｉｄｅ方式の他に、左右画像を上下に並べるＴｏｐ　ａｎｄ　Ｂｏｔｔｏｍ方式や、ピクチャ内の１ライン毎に左右画像を交互に配置するＬｉｎｅ　Ａｌｔｅｒｎａｔｉｖｅ方式などがある。

　次に、２つ目のマルチビュー符号化方式について説明する。マルチビュー符号化方式は、前述したＭＰＥＧ－４　ＭＶＣが例である。マルチビュー符号化方式では、レフトビュービデオ、ライトビュービデオをデジタル化し、圧縮符号化することにより得られるビデオストリームである。

　図１３は、マルチビュー符号化方式による立体視のためのレフトビュービデオストリーム、ライトビュービデオストリームの内部構成の一例を示す図である。

　本図の第２段目は、レフトビュービデオストリームの内部構成を示す。このストリームには、ピクチャデータＩ１、Ｐ２、Ｂｒ３、Ｂｒ４、Ｐ５、Ｂｒ６、Ｂｒ７、Ｐ９というピクチャデータが含まれている。これらのピクチャデータは、Ｄｅｃｏｄｅ　Ｔｉｍｅ　Ｓｔａｍｐ（ＤＴＳ）に従いデコードされる。第１段目は、左目画像を示す。そうしてデコードされたピクチャデータＩ１、Ｐ２、Ｂｒ３、Ｂｒ４、Ｐ５、Ｂｒ６、Ｂｒ７、Ｐ９をＰＴＳに従い、Ｉ１、Ｂｒ３、Ｂｒ４、Ｐ２、Ｂｒ６、Ｂｒ７、Ｐ５の順序で再生することで、左目画像が再生されることになる。本図において、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをＰピクチャと、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをＢピクチャと、Ｂピクチャの中で他のピクチャから参照されるピクチャをＢｒピクチャとそれぞれ呼ばれる。

　第４段目は、レフトビュービデオストリームの内部構成を示す。このレフトビュービデオストリームは、Ｐ１、Ｐ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｐ８というピクチャデータが含まれている。これらのピクチャデータは、ＤＴＳに従いデコードされる。第３段目は、右目画像を示す。そうしてデコードされたピクチャデータＰ１、Ｐ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｐ８をＰＴＳに従い、Ｐ１、Ｂ３、Ｂ４、Ｐ２、Ｂ６、Ｂ７、Ｐ５の順序で再生することで、右目画像が再生されることになる。ただし、継時分離方式の立体視再生では、同じＰＴＳが付された左目画像と右目画像とのペアうち一方の表示を、ＰＴＳの間隔の半分の時間（以下、「３Ｄ表示ディレイ」という）分だけ遅延して表示する。

　第５段目は、３Ｄ眼鏡２０の状態をどのように変化させるかを示す。この第５段目に示すように、左目画像の視聴時は、右目のシャッターを閉じ、右目画像の視聴時は、左目のシャッターを閉じていることがわかる。

　これらのレフトビュービデオストリーム、ライトビュービデオストリームは、時間方向の相関特性を利用したピクチャ間予測符号化に加えて、視点間の相関特性を利用したビュー間予測符号化によって圧縮されている。ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮されている。

　例えば、ライトビュービデオストリームの先頭Ｐピクチャは、レフトビュービデオストリームのＩピクチャを参照し、ライトビュービデオストリームのＢピクチャは、レフトビュービデオストリームのＢｒピクチャを参照し、ライトビュービデオストリームの二つ目のＰピクチャは、レフトビュービデオストリームのＰピクチャを参照している。

　そして、圧縮符号化されたレフトビュービデオストリーム及びライトビュービデオストリームのうち、単体で復号化が可能になるものを“ベースビュービデオストリーム”という。ベースビュースビデオストリームは、図４で説明したビデオストリームと同じ構成を持つ。また、レフトビュービデオストリーム及びライトビュービデオストリームのうち、ベースビュービデオストリームを構成する個々のピクチャデータとのビュー間でのフレーム間相関特性に基づき圧縮符号化されており、ベースビュービデオストリームが復号された上で復号可能になるビデオストリームを、“ディペンデントビュービデオストリーム”という。また、ベースビュービデオストリームとディペンデントビュービデオストリームを合わせて、”マルチビュービデオストリーム”と呼ぶ。なおベースビュービデオストリームとディペンデントビュービデオストリームは、それぞれ別々のストリームとして格納や伝送されてもよいし、例えばＭＰＥＧ２－ＴＳなどの同一のストリームに多重化されてもよい。

　ベースビュービデオストリームとディペンデントビュービデオストリームのアクセスユニットの関係について説明する。図１４はベースビュービデオストリームの各ピクチャと右目映像ビデオストリームの各ピクチャのビデオアクセスユニットの構成を示している。前述したとおり、図１４上段のように、ベースビュービデオストリームは、各ピクチャが１つのビデオアクセスユニットとして構成される。図１４下段のように、ディペンデントビュービデオストリームも同様に、各ピクチャが１つのビデオアクセスユニットを構成するが、ベースビュービデオストリームのビデオアクセスユニットとはデータ構造が異なる。また、図１４下段のように、ベースビュービデオストリームのビデオアクセスユニットは、表示時刻で対応するディペンデントビュービデオストリームのビデオアクセスユニットによって、３Ｄビデオアクセスユニット１７０１を構成し、後述するビデオデコーダは、この３Ｄビデオアクセスユニット単位でデコードおよび表示を行う。なお、ＭＰＥＧ－４　ＭＶＣのビデオコーデックでは、１つのビューにおける各ピクチャ（ここでいうビデオアクセスユニット）を「ビューコンポーネント」と定義し、マルチビューにおける同一時刻のピクチャ群（ここでいう３Ｄビデオアクセスユニット）を「アクセスユニット」と定義しているが、本実施の形態では図１４で説明した定義で説明を行う。

　図１５はＡＶストリーム中におけるベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てる表示時刻（ＰＴＳ）、デコード時刻（ＤＴＳ）の関係の例を示している。

　同時刻の視差画像を格納するベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャは、同一のＤＴＳ／ＰＴＳになるように設定される。これは、ピクチャ間予測符合化の参照関係にあるベースビューピクチャとディペンデントビューピクチャのデコード／表示順を同一に設定することで実現できる。このように構成することで、ベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャをデコードするビデオビコーダは、３Ｄビデオアクセスユニット単位でデコードおよび表示を行うことができる。

　図１６はベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示している。ベースビュービデオストリームのＧＯＰ構造は、従来のビデオストリームの構成と同じであり、複数のビデオアクセスユニットで構成される。また、ディペンデントビュービデオストリームは、従来のビデオストリームと同様に、複数のディペンデントＧＯＰ１６０、１６１、・・・から構成される。また、各ディペンデントＧＯＰは、複数のビデオアクセスユニットＵ１６０、Ｕ１６１、Ｕ１６２、・・・から構成される。各ディペンデントＧＯＰの先頭ピクチャは、３Ｄ映像を再生する際に、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャとペアで表示されるピクチャであり、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャのＰＴＳと同じＰＴＳが付与されたピクチャである。

　図１７（ａ）、（ｂ）は、ディペンデントＧＯＰに含まれるビデオアクセスユニットの構成を示している。図１７（ａ）に示すようにディペンデントＧＯＰ先頭のビデオアクセスユニットは、圧縮ピクチャデータ１７５として、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャと同時刻に表示されるピクチャのデータが格納され、サブＡＵ識別コード１７１、サブシーケンスヘッダ１７２、ピクチャヘッダ１７３、圧縮ピクチャデータ１７５が必ず格納され、補足データ１７４、パディングデータ１７６、シーケンス終端コード１７７、ストリーム終端コード１７８が格納されていても良い。サブシーケンスヘッダ１７２のフレームレート、解像度、アスペクト比の値は、対応するベースビュービデオストリームのＧＯＰ先頭のビデオアクセスユニットに含まれるシーケンスヘッダのフレームレート、解像度、アスペクト比と同じである。図１７（ｂ）に示すように、ＧＯＰ先頭以外のビデオアクセスユニットは、サブＡＵ識別コード１７１、１７５圧縮ピクチャデータが必ず格納され、ピクチャヘッダ１７３、補足データ１７４、パディングデータ１７６、シーケンス終端コード１７７、ストリーム終端コード１７８が格納されていても良い。サブＡＵ識別コード１７１はアクセスユニットの先頭を示す開始符号である。

　以上が立体視に使う視差画像を実現するための一般的な映像フォーマットについての説明である。
（３Ｄ映像を格納するデータフォーマット）
　次に、本実施の形態に係る３Ｄ映像を格納するデータフォーマットについて、図面を参照しながら説明を行う。

　図１８を参照して本実施の形態におけるトランスポートストリームのデータ構造について説明する。本実施の形態におけるトランスポートストリームには、２Ｄ互換ビデオストリーム、マルチビュービデオストリームのベースビュービデオストリームとディペンデントビュービデオストリームが、ＰＥＳパケット化された後、ＴＳパケットに分割して格納されている。２Ｄ互換ビデオストリームは、２Ｄ映像再生装置が２Ｄ映像として再生可能なフォーマットで構成される図４等を用いて説明したビデオストリームである。ここで２Ｄ映像再生機器とは、３Ｄ映像の再生をサポートしていない、放送波などの２Ｄ映像を再生する再生機器である。図２（ｄ）で説明した２Ｄデジタルテレビがその例である。本実施の形態では２Ｄ互換ビデオストリームはＭＰＥＧ－２ビデオのコーデックで符号化されたビデオストリームであるとして説明を行う。マルチビュービデオストリームは、前述したとおりビュー間参照を実現するコーデックで符号化されたビデオストリームであり、ここではＭＰＥＧ－４　ＭＶＣとして説明を行う。

　ここで、図１８の右側は、各ビデオストリームがどのビデオソースを圧縮符号化したかを示している。２Ｄ互換ビデオストリームには、３Ｄ映像を構成する左目の原画映像が、ＭＰＥＧ－２ビデオのコーデックに従って圧縮符号化されている。ベースビュービデオストリームには、黒などの単色映像が、ＭＰＥＧ－４　ＭＶＣビデオのコーデックに従って低ビットレートで圧縮符号化されている。ディペンデントビュービデオストリームには、３Ｄ映像を構成する右目の原画映像が、ＭＰＥＧ－４　ＭＶＣビデオのコーデックに従って圧縮符号化されている。ここで、ディペンデントビュービデオストリームは、ビュー間参照を使って圧縮されるが、ビュー間参照として参照するピクチャには、同一表示時刻（ＰＴＳが同じ）のベースビュービデオストリームのピクチャではなく、同一表示時刻（ＰＴＳが同じ）の２Ｄ互換ビデオストリームのピクチャを使って、圧縮される。後述するが、本実施の形態におけるビデオストリームを再生するビデオデコーダは、ベースビュービデオストリームのデコード済みピクチャを、同一表示時刻の２Ｄ互換ビデオストリームのデコード済みピクチャで置き換えを行い、同一表示時刻のディペンデントビュービデオストリームのピクチャは、置き換えられたピクチャを参照して復号を行う。このような構成にすることで、右目映像と左目映像の相関を使って圧縮符号化することで、ディペンデントビュービデオストリームのビットレートを低くすることが可能となる。また、ベースビュービデオストリーム自体は、黒画面等の単色の映像を圧縮するため、ビットレートを極端に小さくすることができるため、全体のビットレートには影響がない。

　このようにディペンデントビュービデオストリームのピクチャが、２Ｄ互換ビデオストリームのピクチャを参照する構成を実現するために、ビデオストリームの次のような属性値は同じになるように構成する。属性値は、「解像度」「アスペクト比」「フレームレート」「プログレッシブｏｒインターレース」の値である。図１９に、２Ｄ互換ビデオストリームをＭＰＥＧ－２ビデオ、マルチビュービデオストリームをＭＰＥＧ－４　ＭＶＣのコーデックとしたときに、一致させるビデオ属性と、そのビデオ属性を示すための各フィールド名を示している。

　図２０は、本実施の形態におけるトランスポートストリームの構成とＰＭＴパケットの関係を示している。本実施の形態における３Ｄ映像を格納するトランスポートストリームにおいては、ＰＭＴパケットなどのシステムパケット中に、本実施の形態における３Ｄ映像のデコード処理を行う上でのシグナリング情報が含まれている。図２０に示すように、図１０で示すＰＭＴとの相違は、ディスクリプタに、各ビデオストリームの関係や本方式の３Ｄ映像再生の開始・終了などのシグナリングを行うための３Ｄ情報ディスクリプタと、各ビデオストリーム毎に設定される３Ｄストリームディスクリプタが格納されることである。

　図２１は、３Ｄ情報ディスクリプタ２００の構造を示す。３Ｄ情報ディスクリプタ２００は、再生方式２１０、左目映像タイプ２１１、２Ｄ互換ビデオＰＩＤ２１２、ベースビュービデオＰＩＤ２１３、ディペンデントビュービデオＰＩＤ２１４から構成される。

　再生方式２１０は、再生装置の再生方法をシグナリングするための情報である。図２２を用いて、その再生方式を説明する。再生方式が「０」の場合は、２Ｄ互換ビデオによる２Ｄ映像再生を示し、この場合には、２Ｄ互換ビデオストリームのみを２Ｄ映像再生するように再生装置に指示する。「１」の場合は、２Ｄ互換ビデオとディペンデントビュービデオによる３Ｄ映像再生（つまり、本実施の形態で説明する３Ｄ映像格納方式であること）を示し、２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームを本実施の形態で説明する再生方法で３Ｄ映像再生を行うように指示する。本実施の形態における３Ｄ映像再生の方法は後述する。「２」の場合は、ベースビュービデオストリームとディペンデントビュービデオによる３Ｄ映像再生であることを示す。つまり、２Ｄ互換ビデオストリームと、３Ｄ映像を構成するマルチビュービデオストリームは異なる映像を格納するため参照関係にないことを示す。この場合は、ベースビュービデオストリームとディペンデントビュービデオストリームを通常の３Ｄ映像をマルチビューコーデックで圧縮したビデオストリームであり、そのビデオストリームを３Ｄ映像再生するように再生装置に指示する。「３」の場合は、２Ｄ互換ビデオストリームか、ベースビュービデオストリームのダブリング再生であることを示し、再生装置にダブリング再生を指示する。ダブリング再生とは、ある時刻Ａの１枚ピクチャを、ＬとＲのどちらのプレーンにも出力することである。これはつまり、ユーザの視聴画面としては２Ｄ映像再生と等しいが、３Ｄ映像再生時におけるフレームレートの変更が発生しないため、ＨＤＭＩ等の再認証が発生しないため、３Ｄ映像再生区間とシームレスな接続再生が実現できる。

　左目映像タイプ２１１は、ビデオストリームの内、どちらのストリームに左目映像が格納されているか（反対側のビデオストリームが右目映像となる）を示す情報である。再生方式とともに説明する。再生方式２１０が「０」であれば、このフィールドは無視される。再生方式２１０が「１」の場合は、２Ｄ互換ビデオとディペンデントビュービデオの内、どちらが左目映像であるかを示す。再生方式２１０が「２」の場合は、ベースビュービデオとディペンデントビュービデオの内、どちらが左目映像であるかを示す。再生方式２１０が「３」の場合は、２Ｄ互換ビデオ、ベースビュービデオの内、どちらが左目映像であるかを示す。

　２Ｄ互換ビデオＰＩＤ２１２、ベースビュービデオＰＩＤ２１３、ディペンデントビュービデオＰＩＤ２１４は、トランスポートビデオストリーム内に格納される各ビデオストリームのＰＩＤを示す。この情報を使って、どのＰＩＤのストリームを使って、デコードをするべきかを決定できる。

　図２３は、３Ｄストリームディスクリプタ２０１を示す。

　３Ｄストリームディスクリプタ２０１は、ベースビュービデオタイプ２３０、参照先タイプ２３１、被参照タイプ２３２が存在する。

　ベースビュービデオタイプ２３０は、ベースビュービデオストリームに何の映像が符号化されているかを示す。「０」は３Ｄ映像の左目映像もしくは右目映像のどちらかが格納されているかを示し、「１」は黒映像などの付属映像が含まれ２Ｄ互換ビデオストリームによって置き換えられプレーンへの出力には利用されないダミー映像を格納していることを示す。

　参照先タイプ２３１は、ディペンデントビュービデオストリームがビュー間参照の参照先としているビデオストリームのタイプを示す。０であれば、ベースビュービデオストリームのピクチャをビュー間参照としていることを示し、１であれば、２Ｄ互換ビデオストリームのピクチャをビュー間参照していることを示す。つまり、「１」が本実施の形態における３Ｄ映像方式による参照方式であることを示している。

　被参照タイプ２３２は、該当ビデオストリームがビュー間参照されるか否かを示す。参照されないのであれば、ビュー間参照の処理をスキップすることが出来るため実装負荷を軽減できる。

　なお、３Ｄ情報ディスクリプタ２００と３Ｄストリームディスクリプタ２０１の情報の全てまたは一部は、ＰＭＴパケットではなく、各ビデオストリームの補足データ等に格納されても良い。あるいは、米国の放送規格(ＡＴＳＣ：Advanced Television Systems Committee)のA/65:2009: Program And System Information Protocol For Terrestrial Broadcast And Cable規格で規定されている各種テーブル(ＭＧＴ、ＶＣＴ、ＥＩＴ、ＥＴＴ)やデスクリプタとして格納し、伝送されても良い。

　図２４はトランスポートストリーム中における２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てる表示時刻（ＰＴＳ）、デコード時刻（ＤＴＳ）およびピクチャタイプの関係の例を示している。

　本実施の形態では、同時刻の視差画像を格納する２Ｄ互換ビデオストリームのピクチャとディペンデントビュービデオストリームのピクチャは、同一のＤＴＳ／ＰＴＳになるように構成する。これは、ピクチャ間予測符合化の参照関係にある２Ｄ互換ビデオストリームのピクチャとディペンデントビューピクチャのデコード／表示順を同一に設定することで実現できる。また、ディペンデントビュービデオストリームのピクチャに対して、同一のＰＴＳ／ＤＴＳ、またＭＰＥＧ－４　ＭＶＣの場合はＰＯＣ（=Ｐｉｃｔｕｒｅ　Ｏｒｄｅｒ　Ｃｏｕｎｔ。表示順番を示すビデオストリーム内のインデックス番号。）を持つベースビュービデオストリームのピクチャが用意されている。ディペンデントビュービデオストリームのピクチャのビュー間参照は、この同一のＰＴＳ／ＤＴＳ／ＰＯＣを持つベースビュービデオストリームのピクチャを参照する構成で符号化されている。具体的には、ディペンデントビュービデオストリームのピクチャのビュー間参照では、ディペンデントビュービデオストリームのピクチャの各マクロブロックから指定されるピクチャ参照ＩＤ（ｒｅｆ＿ｉｄｘ＿ｌ０もしくはｒｅｆ＿ｉｄｘ＿ｌ１)は、同一ＰＯＣのベースビューピクチャを示すように構成されている。

　なお、２Ｄ互換ビデオストリームがＭＰＥＧ－２の場合に各ピクチャに含まれる表示順番を示すｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅの値は、同時刻の視差画像を格納する同一ＰＴＳ／ＤＴＳを持つディペンデントビュービデオストリームのＰＯＣと同じなるように構成しても良い。このようにすることで、ＰＴＳを使わずにビデオＥＳ内の値でエンコード・デコード処理が出来るために実装処理が容易になる。また、２Ｄ互換ビデオストリームの各ピクチャには、同時刻の視差画像を格納する同一ＰＴＳ／ＤＴＳを持つディペンデントビュービデオストリームのＰＯＣをユーザデータに格納しても良い。このようにすることで、ｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅの値を独自の値に設定することもできるため、エンコード処理に自由度が増える。

　また、２Ｄ互換ビデオストリームがＩピクチャの場合には、同じ表示時刻のベースビュービデオストリームのピクチャもＩピクチャになるようにし、同じ表示時刻のディペンデントビュービデオストリームのピクチャをアンカーピクチャ（自ピクチャよりも時間的に前のピクチャを参照しないピクチャ。つまり、自ピクチャから飛び込み再生することが可能なピクチャ）であるように構成してもよい。このようにすることで、飛び込み再生時に、２Ｄ互換ビデオストリームがＩピクチャであれば、その時刻からすべてのビデオストリームのデコードが可能であるため、飛び込み再生時の処理が容易である。

　なお、２Ｄ互換ビデオストリームのピクチャと、同一表示時刻のベースビュービデオストリームのピクチャと、同一表示時刻のディペンデントビュービデオストリームのピクチャにおいて、ひとつでもＢピクチャ（Ｂｒピクチャを含む）があれば、すべてのピクチャのタイプをＢピクチャ（Ｂｒピクチャを含む）にしなければならないとしても良い。このように構成することによって、ＩピクチャとＰピクチャのみを選択して特殊再生を行う再生装置において、その特殊再生処理が容易になる。例えば、図２５（ａ）では、上記の制約が守られていないため、表示順で３番目のピクチャにおいて、２Ｄ互換ビデオストリームとベースビュービデオストリームは、Ｐピクチャ（Ｐ３）になっているが、ディペンデントビュービデオストリームのピクチャはＢピクチャ（Ｂ３）となっている。これにより、ディペンデントビュービデオストリームのデコードを行うために、ディペンデントビュービデオストリームのピクチャＢｒ２をデコードする必要があり、また、ベースビュービデオストリームのＢｒ２もデコードする必要が出てきてしまう。そこで、上記の制約を守り、図２５（ｂ）のように構成する。この場合には、表示順で３番目のピクチャにおいて、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームのピクチャはすべてＰピクチャとなり、この場合には、すべてのビデオストリームにおいて、ＩピクチャとＰピクチャのみをデコードすればよいため、ＩピクチャとＰピクチャを選択した特殊再生処理が容易になる。

　なお、特殊再生処理を簡易にするために、ベースビュービデオストリームのピクチャと、同一ＰＴＳ／ＤＴＳを持つ２Ｄ互換ビデオストリームのピクチャは、ピクチャタイプが同じになるように構成してもよい。

　図２６は本実施の形態での２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示している。このように、２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰはすべて同じ枚数になるよう構成する。つまり、２Ｄ互換ビデオストリームのピクチャがＧＯＰ先頭の場合には、同一表示時刻（ＰＴＳが同じ）のベースビュービデオストリームのピクチャと、同一表示時刻（ＰＴＳが同じ）のディペンデントビュービデオストリームのピクチャも、それぞれＧＯＰ先頭、ディペンデントＧＯＰの先頭でなければならない。このように構成することで、飛び込み再生時に、２Ｄ互換ビデオストリームがＩピクチャであれば、その時刻からすべてのビデオストリームのデコードが可能であるため、飛び込み再生時の処理が容易である。

　トランスポートストリームがファイルとして格納される場合には、ＧＯＰ先頭のピクチャがファイル上のどこにあるかを示すエントリマップ情報を管理情報として持つことがある。例えばＢｌｕ－ｒａｙ　Ｄｉｓｃのフォーマットでは、そのエントリマップ情報は管理情報ファイルとして別のファイルに格納される。本実施の形態のトランスポートストリームにおいては、２Ｄ互換ビデオストリームのＧＯＰ先頭のピクチャの位置が、エントリマップに登録される場合には、同一時刻のベースビューもディペンデントビューの位置もエントリマップにすべて登録するようにする。このようにすることで、エントリマップを参照することで、３Ｄ映像の飛び込み再生が容易になる。

　あるいは、トランスポートストリームがファイルとして格納される場合には、２Ｄ互換ビデオストリームのＧＯＰ先頭を含むＴｒａｎａｐｏｒｔ　Ｐａｃｋｅｔよりも後に、対応するベースビュービデオストリームとディペンデントビュービデオストリームの各ＧＯＰ先頭を含むＴｒａｎｓｐｏｒｔ　Ｐａｃｋｅｔを伝送するようにしても良い。このように、２Ｄ互換ビデオストリームのＧＯＰ先頭を含むＴｒａｎｓｐｏｒｔ　Ｐａｃｋｅｔを先に伝送することによって、２Ｄ互換ビデオストリームに対するエントリマップのみを持つだけで、３Ｄ映像の飛び込み再生が容易になるとともに、比較的サイズが大きくなるエントリマップをベースビュービデオストリームとディペンデントビュービデオストリーム用に保持する必要がなくなるという利点がある。

　以上が、本実施の形態に係る映像フォーマットの説明である。

　１．２　構成
　１．２．１　送信装置２７０１
　次に本実施の形態に係る送信装置２７０１について図２７を参照しながら説明を行う。

　送信装置２７０１は、３Ｄ映像を構成する左目原画映像と右目原画映像、および黒画面等の付属映像を入力として、図１８等を使って説明した２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームを格納するトランスポートストリームを出力する。

　送信装置２７０１は、図２７に示すように、２Ｄ互換ビデオエンコーダ２７０２、２Ｄ互換ビデオデコーダ（Ｄｅｃ）２７０３、拡張マルチビュービデオエンコーダ２７０４、マルチプレクサ２７１０及び送信部２７１１から構成される。

　（１）２Ｄ互換ビデオエンコーダ２７０２
　２Ｄ互換ビデオエンコーダ２７０２は、左目原画の映像を入力として、２Ｄ互換ビデオのコーデックに従って、圧縮符号化するものである。コーデックがＭＰＥＧ－２ビデオの場合は、ＭＰＥＧ－２ビデオストリームのフォーマットに圧縮符号化する。そして２Ｄ互換ビデオストリームを出力する。この２Ｄ互換ビデオストリームのデータ構造は、前述の２Ｄ互換ビデオストリームの構造と等しい。

　２Ｄ互換ビデオエンコーダ２７０２は、図２８に示すように、メモリ２８０１、減算器２８０２、離散コサイン変換（ＤＣＴ）部２８０３、量子化部２８０４、可変長符号化部２８０５、逆量子化部２８０６、逆ＤＣＴ部２８０７、加算器２８０８及びメモリ２８０９から構成されている。

　（１－１）メモリ２８０１、２８０９
　メモリ２８０１は、入力された画像、つまり符号化対象の画像を格納するものである。また、メモリ２８０９は、符号化対象の画像を符号化する際に参照する画像（参照画像）を格納するものである。

　（１－２）減算器２８０２
　減算器２８０２は、符号化対象画像と、参照画像との差分（以下、差分画像という。）を抽出し、抽出した差分画像をＤＣＴ部２８０３へ出力するものである。なお、符号化対象画像がＩピクチャである場合には、参照画像が存在しないので、減算器２８０２は、Ｉピクチャそのものを差分画像としてＤＣＴ部２８０３へ出力する。

　（１－３）ＤＣＴ部２８０３
　ＤＣＴ部２８０３は、減算器２８０２から受け取った差分画像に対して、ＤＣＴを施す。ここで、逆ＤＣＴを施した場合に誤差が生じないようにするために、ＤＣＴは、ＩＳＯ／ＩＥＣ　２３００２－２：２００８に準拠するものであり、例えば整数ＤＣＴとする。なお、ＤＣＴについては、既知の技術であるので、ここでの説明は省略する。

　（１－４）量子化部２８０４
　ＤＣＴが施された差分画像に対して、量子化を施す。なお、量子化については、既知の技術であるので、ここでの説明は省略する。

　（１－５）可変長符号化部２８０５
　可変長符号化部２８０５は、量子化された差分画像に対して可変長符号化を施し、符号化された差分画像を出力する。なお、可変長符号化については、既知の技術であるので、ここでの説明は省略する。

　（１－６）逆量子化部２８０６
　逆量子化部２８０６は、参照画像を生成する際に、量子化された差分画像に対して逆量子化を施して、量子化前の差分画像、つまりはＤＣＴが施された差分画像を生成する。なお、逆量子化については、既知の技術であるので、ここでの説明は省略する。

　（１－７）逆ＤＣＴ部２８０７
　逆ＤＣＴ部２８０７は、参照画像を生成する際に、逆量子化が施された差分画像に対して、逆ＤＣＴを施し、ＤＣＴが施される前の差分画像を生成する。ここで、逆ＤＣＴは、ＩＳＯ／ＩＥＣ　２３００２－２：２００８に準拠するものであり、ＤＣＴ部２８０３と対をなすものとする。これにより、逆ＤＣＴ部２８０７は、ＤＣＴが施される前の差分画像と誤差が生じない差分画像と生成することができる。なお、逆ＤＣＴについては、既知の技術であるので、ここでの説明は省略する。

　（１－８）加算器２８０８
　加算器２８０８は、既に生成された参照画像（既に参照画像として用いられた画像である。）と、逆ＤＣＴ部２８０７で生成された差分画像とを加算することで、参照画像を生成し、生成した参照画像をメモリ２８０９へ格納する。

　（２）２Ｄ互換ビデオデコーダ（Ｄｅｃ）２７０３
　２Ｄ互換ビデオデコーダ２７０３は、２Ｄ互換ビデオエンコーダ２７０２から出力された２Ｄ互換ビデオストリームをデコードして、圧縮符号化された２Ｄのピクチャデータが復号された「復号ピクチャデータ（以下、「復号ピクチャ」ともいう。）」と「２Ｄ互換ビデオ符号化情報」を出力する。

　なお、２Ｄ互換ビデオデコーダ２７０３が２Ｄ互換ビデオストリームをデコードする際に、逆量子化及び逆ＤＣＴが行われるが、ここでの逆ＤＣＴは、逆ＤＣＴ部２８０７と同様にＩＳＯ／ＩＥＣ　２３００２－２：２００８に準拠するものであり、ＤＣＴ部２８０３と対をなすものとする。

　出力された「復号ピクチャデータ」は、拡張マルチビュービデオエンコーダ２７０４の２Ｄ互換ビデオフレームメモリ２７０８に格納される。また、「２Ｄ互換ビデオ符号化情報」も、拡張マルチビュービデオエンコーダ２７０４に入力される。ここで、２Ｄ互換ビデオ符号化情報には、復号したビデオストリームの、属性情報（解像度、アスペクト比、フレームレート、プログレッシブ／インターレースなど）や、該当ピクチャのピクチャ属性情報（ピクチャタイプなど）や、ＧＯＰ構造、および、２Ｄ互換ビデオフレームメモリ管理情報などが含まれる。また、２Ｄ互換ビデオフレームメモリ管理情報とは、「２Ｄ互換ビデオフレームメモリ２７０８に格納される復号ピクチャデータのメモリアドレス」と「該当ピクチャの表示順情報（ＰＴＳやｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅ）と符号順情報（ファイルの符号順やＤＴＳ）」とをペアにしたテーブル情報である。

　（３）拡張マルチビュービデオエンコーダ２７０４
　拡張マルチビュービデオエンコーダ２７０４は、２Ｄ互換ビデオデコーダ２７０３から出力される「復号ピクチャデータ」と「２Ｄ互換ビデオ符号化情報」と「右目原画映像」および「黒画面等の付属映像」を入力として、図１８等を使って説明したベースビュービデオストリーム、ディペンデントビュービデオストリームを出力する。

　拡張マルチビュービデオエンコーダ２７０４は、図２７に示すように、ベースビュービデオエンコーダ２７０５、２Ｄ互換ビデオフレームメモリ２７０８及びディペンデントビュービデオエンコーダ２７０９とから構成される。

　（３－１）ベースビュービデオエンコーダ２７０５
　ベースビュービデオエンコーダ２７０５は、マルチビュービデオストリームのビデオコーデック（例えば、ＭＰＥＧ－４　ＭＶＣ）において、ベースビュービデオストリームの圧縮符号化機能を持ち、２Ｄ互換ビデオ符号化情報に従って、黒画面等の付属映像を圧縮・符号化して、ベースビュービデオストリームを作成し、また、ベースビュービデオ符号化情報を出力する。

　ベースビュービデオエンコーダ２７０５は、Ｄｅｃ２７０３から出力された２Ｄ互換ビデオ符号化情報を元に、ベースビューピクチャの符号化方法を決定する。具体的には、２Ｄ互換ビデオ符号化情報に含まれるビデオの属性情報（解像度、アスペクト比、フレームレート、プログレッシブ／インターレース）と同じになるように、ベースビュービデオストリームのビデオの属性情報（解像度、アスペクト比、フレームレート、プログレッシブ／インターレース）を決定する。

　また、ベースビュービデオエンコーダ２７０５は、２Ｄ互換ビデオ符号化情報に含まれる、ピクチャの属性情報（ピクチャタイプなど）やＧＯＰ構造に従って、同一表示時刻のピクチャの符号化方法を決定して、黒画面等の付属映像を圧縮符号化する。例えば、２Ｄ互換ビデオ符号化情報に含まれる時刻ＡのピクチャのピクチャタイプがＩピクチャで、ＧＯＰ先頭であれば、ベースビュービデオエンコーダ２７０５は、同じ時刻ＡのピクチャのピクチャタイプをＩピクチャにして、ＧＯＰ先頭のビデオアクセスユニットの構造にして、黒画面等の付属映像を圧縮符号化する。また、２Ｄ互換ビデオ符号化情報に含まれる時刻ＢのピクチャのピクチャタイプがＢピクチャであれば、ベースビュービデオエンコーダ２７０５は、同じ時刻ＢのピクチャのピクチャタイプをＢピクチャにして、黒画面等の付属映像を圧縮符号化する。２Ｄ互換ビデオストリームとベースビュービデオストリームは、ＤＴＳとＰＴＳが同じになるように、同一表示時刻のピクチャの、符号順が同じになるようにエンコードする。

　ここで、ベースビュービデオ符号化情報には、ベースビュービデオストリームの、属性情報（解像度、アスペクト比、フレームレート、プログレッシブ／インターレースなど）や、該当ピクチャのピクチャ属性情報（ピクチャタイプなど）や、ＧＯＰ構造、および、ベースビュービデオフレームメモリ管理情報などが格納される。また、ベースビュービデオフレームメモリ管理情報は、２Ｄ互換ビデオフレームメモリ管理情報を元に、フレームのメモリアドレスは変えずに、ベースビュービデオストリームのコーデックのｓｙｎｔａｘやデータ構造に合わせたテーブルに変換して格納する。例えば、ＭＰＥＧ－２の場合には、表示順を示すフィールドはｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅであるのに対して、ＭＰＥＧ－４　ＭＶＣの場合には、ＰＯＣ（Ｐｉｃｔｕｒｅ　ｏｒｄｅｒ　ｃｏｕｎｔ）であるため、ディペンデントビューからの参照を容易にするため、ｓｙｎｔａｘをベースビュービデオストリームの構造に合わせておく。つまり、２Ｄ互換ビデオストリームのピクチャＡのエントリが、２Ｄ互換ビデオフレームメモリ管理情報にある場合には、２Ｄ互換ビデオストリームのピクチャＡのエントリのフレームメモリのアドレス以外の管理情報を、２Ｄ互換ビデオストリームのピクチャＡと同じ表示順版（ＰＴＳが同じ）になるベースビュービデオストリームのピクチャのシンタックス情報に変換して格納する。

　（３－２）２Ｄ互換ビデオフレームメモリ２７０８
　２Ｄ互換ビデオフレームメモリ２７０８は、Ｄｅｃ２７０３で復号された「復号ピクチャデータ」、つまりはディペンデントビューのピクチャを符号化する際に参照される参照画像を格納するものである。

　（３－３）ディペンデントビュービデオエンコーダ２７０９
　ディペンデントビュービデオエンコーダ２７０９は、マルチビュービデオストリームのビデオコーデック（例えば、ＭＰＥＧ－４　ＭＶＣ）において、ディペンデントビュービデオストリームの圧縮符号化機能を持ち、ベースビュービデオエンコーダ２７０５から出力されたベースビュービデオ符号化情報に従って、右目原画映像を圧縮し、ディペンデントビュービデオストリームを出力する。この圧縮処理においては、ディペンデントビュービデオエンコーダ２７０９は、２Ｄ互換ビデオフレームメモリ内の復号ピクチャデータ（２Ｄ互換ビデオストリームが復号されたピクチャ）を、ビュー間参照に使って、圧縮を行う。ビュー間参照を実行するための、参照ピクチャＩＤは、ベースビュービデオ符号化情報のベースビュービデオフレームメモリ管理情報を使って、決定される。

　ディペンデントビュービデオエンコーダ２７０９は、ベースビュービデオ符号化情報を元に、ディペンデントビューピクチャの符号化方法を決定する。具体的には、ベースビュービデオ符号化情報に格納されるビデオの属性情報（解像度、アスペクト比、フレームレート、プログレッシブ／インターレース）と同じになるように、ディペンデントビュービデオストリームのビデオの属性情報（解像度、アスペクト比、フレームレート、プログレッシブ／インターレース）を決定する。また、ベースビュービデオ符号化情報に格納される、ピクチャの属性情報（ピクチャタイプなど）やＧＯＰ構造に従って、同一表示時刻のピクチャの符号化方法を決定して、右目映像を圧縮符号化する。例えば、ベースビュービデオ符号化情報に含まれる時刻ＡのピクチャのピクチャタイプがＩピクチャで、ＧＯＰ先頭であれば、ディペンデントビュービデオエンコーダ２７０９は、同じ時刻Ａのピクチャのピクチャタイプをアンカーピクチャにして、ディペンデントＧＯＰ先頭のビデオアクセスユニットの構造にして、右目映像を圧縮符号化する。また、ベースビュービデオ符号化情報に含まれる時刻ＢのピクチャのピクチャタイプがＢピクチャであれば、ディペンデントビュービデオエンコーダ２７０９は、同じ時刻ＢのピクチャのピクチャタイプをＢピクチャにして、右目映像を圧縮符号化する。ベースビュービデオストリームとディペンデントビュービデオストリームは、ＤＴＳとＰＴＳが同じになるように、同一表示時刻のピクチャの、符号順が同じになるようにエンコードする。

　ここで、ディペンデントビュービデオエンコーダ２７０９は、図２９に示すように、メモリ２９０１、減算器２９０２、離散コサイン変換（ＤＣＴ）部２９０３、量子化部２９０４、可変長符号化部２９０５、逆量子化部２９０６、逆ＤＣＴ部２９０７、加算器２９０８及びメモリ２９０９から構成されている。これら構成要素は、図２８に示す２Ｄ互換ビデオエンコーダ２７０２と同様となっている。異なる点は、減算器２９０２が参照画像として、さらに、２Ｄ互換ビデオフレームメモリ２７０８を参照する点であるので、基本的な機能は、２Ｄ互換ビデオエンコーダ２７０２と同様であるので、ここでの説明は省略する。

　（４）マルチプレクサ２７１０
　マルチプレクサ２７１０は、出力された２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームを、ＰＥＳパケット化された後にＴＳパケット単位で分割し、トランスポートストリームに多重化して出力するものである。２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームは、それぞれ別々のＰＩＤに設定されて、転送される。ただし、ベースビュービデオストリームとディペンデントビュービデオストリームに、同一ＰＩＤを割り当て、マルチビュービデオストリームのコーデックの仕様に合わせて、各ビデオストリームのアクセスユニットをマージして転送するような構成にしても良い。

　また、マルチプレクサ２７１０は、多重化する際に、左目画像の符号化を行う際に誤差の生じない逆ＤＣＴが用いられていることを示す旨の符号化情報を付与する。具体的には、マルチプレクサ２７１０は、符号化情報を、ＭＰＥＧ－２のＥＳ（エレメンタリストリーム）に含まれるビデオアクセスユニット毎に、当該当該ビデオアクセスユニットの補足データ（ｕｓｅｒ＿ｄａｔａ）に符号化情報を格納、つまり２Ｄ画像毎に符号化情報を付与する。その一例を図３０に示す。符号化情報は、図３０の（ａ）に示す“ｅｘｔｅｎｓｉｏｎｓ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（２）”で定義される“ｕｓｅｒ＿ｄａｔａ”内で指定される。例えば、符号化情報の値「０」である場合には、誤差の生じない逆ＤＣＴが用いられていないことを示し、符号化情報の値「１」である場合には、誤差の生じない逆ＤＣＴが用いられていることを示す。

　なお、ここで誤差を生じない逆ＤＣＴが用いられていることを示す旨の符号化情報はマルチプレクサ２７１０によって付与されているが、２Ｄ互換ビデオエンコーダ２７０２で同じ情報が付与されていても良い。

　１．２．２　再生装置１０
　次に本実施の形態に係る３Ｄ映像を再生する再生装置（３Ｄデジタルテレビ）１０の構成について図３１を用いて説明する。

　図３１は本実施の形態に係る再生装置１０の構成、特にトランスポートストリームをデコードする機能に係る構成を示す図である。

　再生装置１０は、図３１に示すように、ＰＩＤフィルタ３１０１、２Ｄ互換ビデオデコーダ３１０２、拡張マルチビュービデオデコーダ３１０３、第１プレーン３１０４、第２プレーン３１０５から構成される。

　（１）ＰＩＤフィルタ３１０１
　ＰＩＤフィルタ３１０１は、入力されたトランスポートストリームをフィルタリングする。ＰＩＤフィルタ３１０１はＴＳパケットのうち、ＴＳパケットのＰＩＤが、再生に必要とされるＰＩＤに一致するものを、ＰＩＤにしたがって、２Ｄ互換ビデオデコーダ３１０２、拡張マルチビュービデオデコーダ３１０３に転送する。どのストリームがどのＰＩＤに対応しているかどうかはＰＭＴパケットによって通知される。例えば、２Ｄ互換ビデオストリームのＰＩＤが０ｘ１０１１、マルチビュービデオストリームのベースビュービデオストリームのＰＩＤが０ｘ１０１２、マルチビュービデオストリームのディペンデントビュービデオストリームのＰＩＤが０ｘ１０１３であれば、ＴＳパケットのＰＩＤを参照し、該当のＰＩＤがあれば、そのＴＳパケットを該当のデコーダに転送する。

　（２）第１プレーン３１０４、第２プレーン３１０５
　第１プレーン３１０４は、２Ｄ互換ビデオデコーダ３１０２がデコードして表示タイミングで出力したピクチャデータを保持するプレーンメモリである。

　第２プレーン３１０５は、拡張マルチビュービデオデコーダ３１０３がデコードして表示タイミングで出力したピクチャデータを保持するプレーンメモリである。

　（３）２Ｄ互換ビデオデコーダ３１０２
　２Ｄ互換ビデオデコーダ３１０２は、２Ｄ映像のビデオコーデック（ＭＰＥＧ－２、ＭＰＥＧ－４　ＡＶＣ、ＶＣ１など）の一般的なデコーダと基本的には同じ構造を持つ。

　２Ｄ互換ビデオデコーダ３１０２は、分離部３１１１、判断部３１１２、ＴＢ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍＢｕｆｆｅｒ）３１１３、ＭＢ（Ｍｕｌｔｉｐｌｅｘｉｎｇ　Ｂｕｆｆｅｒ）３１１４、ＥＢ（ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍＢｕｆｆｅｒ）３１１５、２Ｄ互換ビデオ圧縮映像デコーダ（Ｄｅｃ）３１１６、Ｏ（Ｒｅ－ｏｒｄｅｒｉｎｇ　Ｂｕｆｆｅｒ）３１１７、出力処理部３１１８及びスイッチ３１１９から構成される。

　（３－１）ＴＢ３１１３、ＭＢ３１１４、ＥＢ３１１５
　ＴＢ３１１３は、ビデオストリームを含むＴＳパケットがＰＩＤフィルタ３１０１から出力された際、ＴＳパケットのまま一旦蓄積されるバッファである。

　ＭＢ３１１４は、ＴＢ３１１３からＥＢ３１１５にビデオストリームを出力するにあたって、一旦ＰＥＳパケットを蓄積しておくためのバッファである。

　ＥＢ３１１５は、符号化状態にあるピクチャ(Ｉピクチャ、Ｂピクチャ、Ｐピクチャ)が格納されるバッファである。

　（３－２）分離部３１１１
　分離部３１１１は、ＴＢ３１１３からＭＢ３１１４にデータが転送される際に、ＴＳパケットのＴＳヘッダおよびアダプテーションフィールドを取り除くものである。また、分離部３１１１は、ＭＢ３１１４からＥＢ３１１５にデータが転送される際にＰＥＳヘッダを取り除くものである。

　（３－３）判断部３１１２
　判断部３１１２は、ビデオＥＳに含まれるｕｓｅｒ＿ｄａｔａを２Ｄ互換ビデオ圧縮映像デコーダ３１１６から受け取る。判断部３１１２は、受け取ったｕｓｅｒ＿ｄａｔａに値が「１」である符号化情報が格納されているか否かを判断する。具体的には、判断部３１１２は、ビデオＥＳに含まれる映像毎に当該映像に値が「１」である符号化情報が付与されているか否かを判断する。

　判断部３１１２は、その判断結果を２Ｄ互換ビデオ圧縮映像デコーダ（Ｄｅｃ）３１１６へ通知する。

　（３－４）２Ｄ互換ビデオ圧縮映像デコーダ３１１６
　２Ｄ互換ビデオ圧縮映像デコーダ３１１６は、ビデオエレメンタリストリームの個々のビデオアクセスユニットを所定の復号時刻（ＤＴＳ）ごとにデコードすることによりフレーム／フィールド画像を作成するものである。

　２Ｄ互換ビデオ圧縮映像デコーダ３１１６は、ＩＳＯ／ＩＥＣ　２３００２－２：２００８に準拠する逆ＤＣＴの機能、及び準拠しない、つまり誤差を認める逆ＤＣＴという２種類の逆ＤＣＴの機能のうち、少なくとも１つの逆ＤＣＴの機能を有している。

　以下、ＩＳＯ／ＩＥＣ　２３００２－２：２００８に準拠する逆ＤＣＴの機能を有する前提で説明を行う。

　２Ｄ互換ビデオ圧縮映像デコーダ３１１６は、２Ｄ互換ビデオ圧縮映像デコーダ３１１６内で各ビデオアクセスユニットのヘッダを解析し、その解析によってｕｓｅｒ＿ｄａｔａを取得し、取得したｕｓｅｒ＿ｄａｔａを判断部３１１２へ出力する。

　トランスポートストリームに多重化されるビデオストリームの圧縮符号化形式にはＭＰＥＧ２、ＭＰＥＧ－４　ＡＶＣ、ＶＣ１などがあるため、ストリームの属性に応じて、２Ｄ互換ビデオ圧縮映像デコーダ３１１６のデコード方法は切り替えられる。ここでは、２Ｄ互換ビデオ圧縮映像デコーダ３１１６は、判断部３１１２から値が「１」である符号化情報が格納されているという判断結果を受け取った場合には、ＩＳＯ／ＩＥＣ　２３００２－２：２００８に準拠する逆ＤＣＴの機能を用いてビデオエレメンタリストリームのデコードを行う。

　２Ｄ互換ビデオ圧縮映像デコーダ３１１６は、デコードしたフレーム／フィールド画像は第１プレーン３１０４もしくはＯ３１１７に出力する。ＰピクチャやＩピクチャのように、ＤＴＳとＰＴＳのタイミングが異なる場合には、Ｏ３１１７に出力され、ＢピクチャのようにＤＴＳとＰＴＳのタイミングが同じ場合には、そのまま第１プレーン３１０４に出力される。この切り替え処理はスイッチ３１１９によって行われる。

　さらに、２Ｄ互換ビデオ圧縮映像デコーダ３１１６は、判断部３１１２から値が「１」である符号化情報が格納されているという判断結果を受け取った場合には、復号したピクチャをＯ３１１７やスイッチ３１１９に転送するだけでなく、ＤＴＳのタイミングで、拡張マルチビュービデオデコーダ３１０３のビュー間参照バッファ３１３９にもデータを転送する。転送されるピクチャデータは、ビュー間参照バッファ３１３９内で、同一ＤＴＳ／ＰＴＳのベースビュービデオストリームのピクチャが格納されるアドレスに格納される。つまり、ベースビュービデオストリームのピクチャは、ビュー間参照バッファ３１３９内で、同じＤＴＳ／ＰＴＳを持つ、２Ｄ互換ビデオストリームのピクチャで上書きされることとなる。なお、ビュー間参照バッファ３１３９の詳細は後述する。

　（３－５）Ｏ３１１７
　Ｏ３１１７は、デコードしたピクチャの符号順（ＤＴＳ）と表示順（ＰＴＳ）が異なる場合にリオーダリングを行うためのバッファである。２Ｄ互換ビデオ圧縮映像デコーダ３１１６は、Ｏ３１１７に格納されるピクチャのデータを参照して、復号処理を行う。

　（３－６）出力処理部３１１８
　出力処理部３１１８は、　Ｏ３１１７におけるリオーダリングを行う。さらに、出力処理部３１１８は、第１プレーン３１０４へ出力される画像の切り替えるためにスイッチ３１１９の切り替えを制御する。

　（３－７）スイッチ３１１９
　スイッチ３１１９は、出力処理部３１１８の制御により、第１プレーン３１０４へ出力される画像の切替を行う。

　（４）拡張マルチビュービデオデコーダ３１０３
　拡張マルチビュービデオデコーダ３１０３は、ビュー間参照を実現する３Ｄ映像のビデオコーデック（ＭＰＥＧ－４　ＭＶＣなど）の一般的なデコーダと基本的には同じ構造を持つ。

　拡張マルチビュービデオデコーダ３１０３は、分離部３１３１、ＴＢ３１３２、ＭＢ３１３３、ＥＢ３１３４、ＴＢ３１３５、ＭＢ３１３６、ＥＢ３１３７、デコードスイッチ３１３８、ビュー間参照バッファ３１３９、マルチビュービデオ圧縮映像デコーダ（Ｄｅｃ）３１４０、ＤＰＢ（ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ）３１４１、出力処理部３１４２及び出力プレーンスイッチ３１４３から構成される。

　（４－１）ＴＢ３１３２、ＭＢ３１３３、ＥＢ３１３４
　ＴＢ３１３２、ＭＢ３１３３、ＥＢ３１３４は、ＴＢ３１１３、ＭＢ３１１４、ＥＢ３１１５と同じ機能を持つが、バッファリングするデータがベースビュービデオストリームである点が異なる。

　（４－２）ＴＢ３１３５、ＭＢ３１３６、ＥＢ３１３７
　ＴＢ３１３５、ＭＢ３１３６、ＥＢ３１３７は、ＴＢ３１１３、ＭＢ３１１４、ＥＢ３１１５と同じ機能を持つが、バッファリングするデータがディペンデントビュービデオストリームである点が異なる。

　（４－３）分離部３１３１
　分離部３１３１は、ＴＢ３１３２からＭＢ３１３３にデータが転送される際に、ＴＳパケットのＴＳヘッダおよびアダプテーションフィールドを取り除くものである。また、分離部３１３１は、ＭＢ３１３３からＥＢ３１３４にデータが転送される際にＰＥＳヘッダを取り除くものである。

　（４－４）デコードスイッチ３１３８
　デコードスイッチ３１３８は、ＥＢ３１３４とＥＢ３１３７からＤＴＳのタイミングで、そのＤＴＳが付与されているビデオアクセスユニットのデータの引き抜き、３Ｄビデオアクセスユニットを構成して、マルチビュービデオ圧縮映像デコーダ３１４０に転送する。

　（４－５）ビュー間参照バッファ３１３９
　ビュー間参照バッファ３１３９は、ディペンデントビューのピクチャが復号される際にビュー間参照により参照される画像を格納するものである。

　（４－６）マルチビュービデオ圧縮映像デコーダ３１４０
　マルチビュービデオ圧縮映像デコーダ３１４０は、デコードスイッチ３１３８から転送される３Ｄビデオアクセスユニットに対する復号処理を行いフレーム／フィールド画像を作成する。マルチビュービデオ圧縮映像デコーダ３１４０は、ＭＰＥＧ－４　ＭＶＣに準拠しているものであり、誤差の生じない逆ＤＣＴの機能(整数変換と呼ばれる逆ＤＣＴに似た演算手法)を有している。マルチビュービデオ圧縮映像デコーダ３１４０は、マルチビュービデオストリームのコーデック方式に合わせて適宜復号方式を切り替える。マルチビュービデオ圧縮映像デコーダ３１４０によりデコードされたベースビュービデオのピクチャのデコード映像は、ビュー間参照バッファ３１３９に一旦格納される。マルチビュービデオ圧縮映像デコーダ３１４０は、ディペンデントビュービデオストリームのピクチャを、ビュー間参照バッファ３１３９に格納される同一ＰＴＳを持つベースビュービデオストリームの復号ピクチャデータを参照して、復号処理を行う。ビュー間参照を行うために、ピクチャを指定するための参照ピクチャリストの構造は、ベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャのピクチャタイプやｓｙｎｔａｘによって決定される。マルチビュービデオ圧縮映像デコーダ３１４０は、ビュー間参照バッファ３１３９に格納されるベースビューの復号ピクチャデータと、ディペンデントビューの復号ピクチャデータをＤＰＢに転送し、表示タイミング（ＰＴＳ）のタイミングで対応するフレーム／フィールド画像を出力プレーンスイッチ３１４３に出力する。

　拡張マルチビュービデオデコーダ３１０３は、値が「１」である符号化情報がビデオのｕｓｅｒ＿ｄａｔａに存在する場合には、２Ｄ互換ビデオデコーダ３１０２から、ＤＴＳのタイミングで出力されるピクチャデータを、ビュー間参照バッファ３１３９内で、同一ＤＴＳ／ＰＴＳを持つベースビュービデオストリームのピクチャが格納される領域に上書きして格納し、そのピクチャデータを、あたかもベースビュービデオストリームの復号ピクチャデータであるとして、同一ＤＴＳのディペンデントビューのピクチャのビュー間参照の復号処理を行う。

　ビュー間参照バッファ３１３９上のアドレス管理は、従来のベースビュービデオストリームの復号ピクチャの管理とまったく変わらず、ピクチャのデータ部分のみが、入れ替わる構成となる。この上書き処理の内容を具体的に図３２に示している。図３２上段のように、ビュー間参照バッファ３１３９のピクチャの管理は、例えばＰＴＳとメモリ上のメモリアドレスで管理されているとする。図３２上段は、ＰＴＳ＝１００のベースビューのピクチャが復号された直後の様子を示しており、ビュー間参照バッファ３１３９の管理テーブルでは、ＰＴＳ＝１００のエントリは、ベースビュービデオの復号ピクチャデータのアドレスを示す。ここで、２Ｄ互換ビデオデコーダ３１０２からＤＴＳのタイミングでピクチャデータが出力されると、図３２下段のようになり、ＰＴＳ＝１００のベースビュービデオピクチャが格納されるアドレスＢに対して、同一ＰＴＳの２Ｄ互換ビデオストリームの復号ピクチャデータが上書きされる。このように、バッファ内のピクチャ管理を行うための管理情報（ここではＰＴＳ）は変更する必要なく、ピクチャデータのみを丸ごと上書きする。よって、例えば、ＭＰＥＧ－４　ＭＶＣの場合には、復号時に参照ピクチャリストを作って、ピクチャの参照処理を行うが、そのｓｙｎｔａｘはそのまま適用して、復号することが出来る。

　（４－７）ＤＰＢ３１４１
　ＤＰＢ３１４１は、復号されたフレーム／フィールド画像を一時的に保持しておくバッファである。マルチビュービデオ圧縮映像デコーダ３１４０が、同一ビューのピクチャ間予測符号化されたＰピクチャやＢピクチャなどのビデオアクセスユニットをデコードする際に、既にデコードされたピクチャを参照するために利用する。

　（４－８）出力処理部３１４２
　出力処理部３１４２は、ＤＰＢ３１４１に格納された映像の内、第２プレーンへの出力は、ディペンデントビュービデオストリームのピクチャのみをＰＴＳのタイミングで出力するように出力プレーンスイッチ３１４３を制御する。ベースビュービデオストリームのピクチャは、第１プレーンに２Ｄ互換ビデオデコーダ３１０２から出力されるため、不要となるためプレーンに出力されずに破棄される。

　（４－９）出力プレーンスイッチ３１４３
　出力プレーンスイッチ３１４３は、復号されたフレーム／フィールド映像を、第２プレーン３１０５に出力する。

　１．３　動作
　１．３．１　送信装置２７０１の動作
　ここでは、送信装置２７０１が行う送信処理について、図３３を用いて説明する。

　送信装置２７０１は、圧縮符号化すべき左目原画が存在するか否かを判断する（ステップＳ５）。

　存在すると判断する場合には（ステップＳ５における「Ｙｅｓ」）、送信装置２７０１は、１回のエンコードフローで、エンコードする枚数を決定する（ステップＳ１０）。具体的には、送信装置２７０１は、最大ＧＯＰ枚数とエンコードすべき原画映像の残り枚数の小さいほうの値を１エンコード枚数として決定する。

　送信装置２７０１は、２Ｄ互換ビデオエンコーダ２７０２を用いて、１エンコード枚数分の２Ｄ互換ビデオストリームの生成を行う。左目原画映像のＮ番目のフレームから１エンコード枚数分だけ、２Ｄ互換ビデオストリームのコーデックに従って、圧縮符号化して、２Ｄ互換ビデオストリームを生成する（ステップＳ１５）。ここでは、２Ｄ互換ビデオエンコーダ２７０２は、参照画像を生成する際に、ＩＳＯ／ＩＥＣ　２３００２－２：２００８に準拠する逆ＤＣＴを行うので、圧縮符号化前の画像と誤差の生じない参照画像を生成している。

　送信装置２７０１は、２Ｄ互換ビデオデコーダ２７０３を用いて、１エンコード枚数分の２Ｄ互換ビデオストリームの復号処理を行い、復号したピクチャを２Ｄ互換ビデオフレームメモリ２７０８に格納する（ステップＳ２０）。具体的には、２Ｄ互換ビデオデコーダ２７０３は、生成された２Ｄ互換ビデオストリームに対して、１エンコード枚数分のデータを復号して、「復号ピクチャ」と「２Ｄ互換ビデオ符号化情報」とを生成する。また、このとき、２Ｄ互換ビデオデコーダ２７０３は、復号を行う際にＩＳＯ／ＩＥＣ　２３００２－２：２００８に準拠する逆ＤＣＴを行うので、圧縮符号化前の画像と誤差の生じない参照画像を生成している。

　送信装置２７０１は、ベースビュービデオエンコーダ２７０５を用いて、１エンコード枚数分のベースビュービデオストリームの生成を行う（ステップＳ２５）。具体的には、ベースビュービデオエンコーダ２７０５は、生成された２Ｄ互換ビデオ符号化情報を元に、ビデオ属性やピクチャ構造等を決定して、付属映像を、１エンコード枚数分、圧縮符号化して、ベースビュービデオストリーム及びベースビュービデオ符号化情報を生成する。

　送信装置２７０１は、ディペンデントビュービデオエンコーダ２７０９を用いて、１エンコード枚数分のディペンデントビュービデオストリームの生成を行う（ステップＳ３０）。具体的には、ディペンデントビュービデオエンコーダ２７０９は、生成されたベースビュービデオ符号化情報を元に、ビデオ属性やピクチャ構造等を決定して、またビュー間参照には、２Ｄ互換ビデオフレームメモリ２７０８に格納されているピクチャデータ（復号ピクチャデータ）を使って、右目原画映像を、１エンコード枚数分、圧縮符号化して、ディペンデントビュービデオストリームを生成する。

　送信装置２７０１は、マルチプレクサ２７１０を用いて多重化を行う際に、値が「１」である、つまり左目画像の圧縮符号化を行う際に誤差の生じない逆ＤＣＴが用いられていることを示す旨の符号化情報をＭＰＥＧ－２のＥＳのユーザデータ領域に格納する（ステップＳ３５）。

　送信装置２７０１は、マルチプレクサ２７１０を用いて、生成された２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームを、ＰＥＳパケット化した後にＴＳパケット単位で分割し、トランスポートストリームとして多重化する（ステップＳ４０）。

　圧縮符号化すべき左目原画が存在しないと判断する場合（ステップＳ５における「Ｎｏ」）、送信装置２７０１は、処理を終了する。

　なお、１回のフローでのエンコード枚数は可変に設定してもよい。枚数を少なくしたい場合は、ステップＳ１０における１エンコード枚数の値を小さくなるように設定すればよい。例えば、ビデオエンコード時のリオーダリングの枚数が２枚の場合には、４枚単位でエンコードを実行すれば、リオーダリングの影響を受けなくてすむ。また、例えば、リオーダリングの枚数が２枚の符号化方式で、ピクチャタイプがＩ１、Ｐ４、Ｂ２、Ｂ３、Ｐ７、Ｂ５、Ｂ６、・・・(数字は表示順)の場合を想定する。１エンコード枚数が３の場合、Ｐ４のピクチャが処理できないため、Ｂ２、Ｂ３のエンコード処理が出来ない。１エンコード枚数を４にすれば、Ｐ４のピクチャが処理できるため、Ｂ２、Ｂ３のエンコード処理が出来る。このようにエンコードの方式によって、１エンコード枚数は適宜値を変えても良い。

　１．３．２　再生装置１０の動作
ここでは、受信装置（３Ｄデジタルテレビ１０）の動作について、図３４に示す流れ図を用いて説明する。

　再生装置１０は、復号対象となる２Ｄ互換ビデオストリームのピクチャが存在するか否かを判断する（ステップＳ１００）。具体的には、再生装置１０は、ＥＢ３１１５にデータがあるかどうかを判定する。

　２Ｄ互換ビデオストリームのピクチャが存在すると判断する場合（ステップＳ１００における「Ｙｅｓ」）、再生装置１０は、判断部３１１２を用いて、値が「１」である符号化情報がＥＳヘッダに存在するか否かを判断する（ステップＳ１０５）。

　値が「１」である符号化情報が存在すると判断する場合（ステップＳ１０５における「Ｙｅｓ」）、再生装置１０は、拡張マルチビュービデオデコーダ３１０３を用いて、ベースビュービデオストリームのピクチャを復号して、ビュー間参照バッファ３１３９へ格納する（ステップＳ１１０）。具体的には、拡張マルチビュービデオデコーダ３１０３のマルチビュービデオ圧縮映像デコーダ３１４０は、ＤＴＳのタイミングで、該当ＤＴＳに付与されたピクチャをＥＢ３１３４から読み出し、復号処理を行い、ビュー間参照バッファ３１３９にデータを格納する。ビュー間参照バッファ３１３９内のピクチャの管理は、マルチビュービデオストリームのコーデックルールに従う。例えば、ＭＰＥＧ－４　ＭＶＣの場合には、参照ピクチャリストを作るように管理情報を持ち、例えばＰＴＳ／ＰＯＣ（表示時刻）とデータアドレスを関連付けるテーブル情報を内部にもって管理する。

　再生装置１０は、２Ｄ互換ビデオデコーダ３１０２を用いて、２Ｄ互換ビデオストリームのピクチャを復号して、ビュー間参照バッファ３１３９における同一ＤＴＳをもつベースビューストリームのピクチャに上書きする（ステップＳ１１５）。具体的には、２Ｄ互換ビデオデコーダ３１０２の２Ｄ互換ビデオ圧縮映像デコーダ３１１６は、ＤＴＳのタイミングで、該当ＤＴＳに付与されたピクチャをＥＢ３１１５から読み出し、復号処理を行う。このとき、Ｏ３１１７やスイッチ３１１９に復号された復号ピクチャデータを転送するとともに、ビュー間参照バッファ３１３９にも復号された復号ピクチャデータを転送する。転送先は、ビュー間参照バッファ３１３９の中で、同一ＤＴＳ／ＰＴＳが付与されているベースビューストリームのピクチャが格納された領域であり、ベースビューストリームのピクチャの上書き処理を行う。

　再生装置１０は、拡張マルチビュービデオデコーダ３１０３を用いて、ディペンデントビュービデオストリームのピクチャを復号する（ステップＳ１２０）。具体的には、拡張マルチビュービデオデコーダ３１０３のマルチビュービデオ圧縮映像デコーダ３１４０は、ＤＴＳのタイミングで、該当ＤＴＳに付与されたピクチャをＥＢ３１３７から読み出し、復号処理を行う。このとき、マルチビュービデオ圧縮映像デコーダ３１４０は、ビュー間参照バッファ３１３９に格納されるピクチャを参照して復号する。ディペンデントビュービデオストリームのピクチャがビュー間参照に利用するピクチャデータは、ベースビュービデオストリームの同一ＤＴＳ／ＰＴＳのピクチャではなく、上書きされた同一ＤＴＳ／ＰＴＳを持つ２Ｄ互換ビデオストリームのピクチャとなる。

　再生装置１０は、出力処理部３１１８及び出力処理部３１４２を用いて、２Ｄ互換ビデオストリームの復号ピクチャをＰＴＳのタイミングで第１プレーン３１０４に出力し、ディペンデントビュービデオストリームの復号ピクチャデータをＰＴＳのタイミングで第２プレーンに出力する（ステップＳ１２５）。３Ｄ映像を構成する左目・右目の映像をそれぞれのストリームに格納して、復号・出力することで３Ｄ映像の再生を実現できる。

　値が「１」である符号化情報が存在しないと判断する場合（ステップＳ１０５における「Ｎｏ」）、再生装置１０は、２Ｄ互換ビデオデコーダ３１０２を用いて、２Ｄ互換ビデオストリームのピクチャを復号する（ステップＳ１３０）。このとき、２Ｄ互換ビデオデコーダ３１０２は、ビュー間参照バッファ３１３９に復号したピクチャを格納しない。

　再生装置１０は、出力処理部３１１８を用いて、２Ｄ互換ビデオストリームの復号ピクチャをＰＴＳのタイミングで第１プレーン３１０４に出力する（ステップＳ１３５）。これにより、値が「１」である符号化情報が存在しない場合には、再生装置１０は、２Ｄ映像を出力することができる。

　２Ｄ互換ビデオストリームのピクチャが存在しないと判断する場合（ステップＳ１００における「Ｎｏ」）、再生装置１０は、処理を終了する。

　１．４　変形例
　以上、実施の形態１に基づいて説明したが、本発明は上記の実施の形態１に限られない。例えば、以下のような変形例が考えられる。

　（１）上記実施の形態において、再生装置１０は、ベースビュービデオストリームのピクチャのデコード処理を行うとしたが、これに限定されない。

　再生装置１０は、ベースビュービデオストリームのピクチャのデコード処理をスキップしても良い。この場合、拡張マルチビュービデオデコーダ３１０３は、ベースビュービデオストリームのピクチャをデコードしないで、ヘッダ情報の解析（例えば、ＰＯＣの取得、ピクチャタイプ、ＶｉｅｗＩＤ、参照有り無しの情報取得など）とビュー間参照バッファ３１３９の領域確保をするようにし、そこに同一ＰＴＳ／ＤＴＳを持つ２Ｄ互換ビデオデコーダから出力されるピクチャを格納する。これにより、ベースビュービデオストリームのピクチャの復号処理をスキップできるので、再生処理全体での処理負荷を軽減できる。

　また、ベースビューの復号ピクチャデータやディペンデントビューの復号ピクチャデータをＤＰＢ３１４１に格納するとしたが、上記のようにベースビュービデオストリームのピクチャのデコード処理をスキップするのである場合には、ＤＰＢ３１４１内のベースビュービデオストリームの復号ピクチャデータは参照されないため不要となるので、マルチビュービデオ圧縮映像デコーダ３１４０は、ＤＰＢ３１４１に格納しないようにしてもよい。このようにすれば、ＤＰＢ３１４１からベースビュービデオストリームのピクチャを格納する分のメモリ量を削減することが可能となる。

　（２）上記実施の形態において、再生装置１０は、ビュー間参照バッファ３１３９のベースビュービデオストリームの復号ピクチャデータに対して、２Ｄ互換ビデオストリームの同一ＰＴＳの復号ピクチャデータを上書きするとしたが、これに限定されない。

　再生装置１０は、図３５に示すように、コピー処理を行わずにアドレスの書き換えでその処理を代行しても良い。このように処理を行うことによって、メモリ内のデータコピーに伴う帯域の使用を抑制し、再生装置の処理負荷を軽減できる。

　（３）上記実施の形態において、Ｏ３１１７とＤＰＢ３１４１のメモリは別領域として扱っていたが、これに限定されない。図３６に示すように、メモリ空間を共用化してもよい。図３６にその一例を示す。ＰＴＳ＝１００とＰＴＳ＝２００の２Ｄ互換ビデオのピクチャについて、同一ＰＴＳのビュー間参照バッファ３１３９のベースビューピクチャに上書きする代わりに、図３５で示すようにアドレスの書き換えが行われる。このとき、ＤＰＢ３１４１にデータを格納する際もアドレスの書き換えで行うようにする。例えば、図３６では、ＤＰＢ３１４１のピクチャ管理テーブルにおいては、ＰＴＳ＝１００，ＰＴＳ＝２００のベースビュー（Ｖｉｅｗ＿ＩＤが最小値）のピクチャのアドレスは、Ｏ３１１７の管理テーブルが指すアドレスを指すＰＴＳ＝１００、ＰＴＳ＝２００の２Ｄ互換ビデオの復号ピクチャデータのアドレスを指すように変更する。このようにすれば、再生装置内で復号ピクチャデータの重複を防ぐことが出来、再生装置１０に必要なメモリ量を削減することが出来る。

　（４）上記実施の形態において、ビュー間参照バッファ３１３９とＤＰＢ３１４１とは別のバッファとして扱ったが、これに限定されない。これらを１つのバッファとしても良い。例えば、ＤＰＢ３１４１に統一される場合には、２Ｄ互換ビデオストリームの復号ピクチャデータを、バッファに置き換える場合には、ＤＰＢ３１４１内の同一ＰＴＳ、同一ＶｉｅｗＩＤのベースビュービデオストリームの復号ピクチャデータと置き換えることで、本実施の形態の３Ｄ映像再生を実現できる。

　（５）上記実施の形態におけるベースビュービデオストリームやディペンデントビュービデオストリームにおいては、ディペンデントビュービデオストリームの参照先を、２Ｄ互換ビデオストリームの復号ピクチャデータとしており、通常のマルチビュービデオストリームの構成と異なるため、このようなケースにおいては、ストリームタイプやＰＥＳパケットヘッダに付与されるｓｔｒｅａｍ＿ｉｄを、従来のマルチビュービデオストリームの場合の値と異なるように設定しても良い。このように構成することで、再生装置１０は、ストリームタイプやｓｔｒｅａｍ＿ｉｄを参照することで、２Ｄ互換ビデオストリームのピクチャを用いた３Ｄ映像の格納方式であると判断して、そのような再生方法に変更することができるようになる。

　（６）上記実施の形態において、２Ｄ互換ビデオデコーダ３１０２と、ビュー間参照バッファ３１３９との間にスイッチを設けてもよい。

　この場合、再生装置１０は、ＥＳヘッダに値が「１」の符号化情報が存在する場合には、スイッチをＯＮ、つまりは２Ｄ互換ビデオデコーダ３１０２と、ビュー間参照バッファ３１３９とが接続されるようスイッチを制御し、存在しない場合には、スイッチをＯＦＦ、つまりは２Ｄ互換ビデオデコーダ３１０２と、ビュー間参照バッファ３１３９とが接続しないようスイッチを制御する。

　（７）上記実施の形態において、多重化方式をトランスポートストリームとしたが、これに限定されない。例えば、ＭＰ４のシステムフォーマットであってもよい。この場合、入力フォーマットをＭＰ４ファイルとして、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム／ディペンデントビュービデオストリームに分離してデコードして、ビュー間参照バッファにおいて、ベースビュービデオストリームのピクチャを２Ｄ互換ビデオストリームのピクチャに入れ替えが実現できればよい。ただし、ＭＰ４システムフォーマットの場合にはＰＴＳがないが、ＭＰ４システムフォーマットのヘッダ情報（ｓｔｔｓ，　ｓｔｓｚなど）を使えば、各アクセスユニットにおける時刻情報を特定できる。

　（８）上述したように、ベースビュービデオストリームのデコード処理をスキップする場合には、ベースビュービデオストリームはトランスポートストリーム上に多重化されていなくても良い。

　この場合には、ディペンデントビュービデオストリームのピクチャから、２Ｄ互換ビデオストリームのピクチャへのビュー間参照を実現させるために、ビュー間参照バッファ３１３９を拡張マルチビュービデオデコーダが管理できるような情報を２Ｄ互換ビデオストリームに格納する。例えば、ベースビュービデオストリームのｓｙｎｔａｘの全てまたは一部を２Ｄ互換ビデオストリームの補足データに格納する。例えば、ビュー間参照バッファ３１３９のピクチャ管理を行うための情報（ＭＰＥＧ－４　ＭＶＣでいえば表示順を示すＰＯＣ、ピクチャタイプを示すｓｌｉｃｅ＿ｔｙｐｅ、ピクチャの参照・非参照を示すｎａｌ＿ｒｅｆ＿ｉｄｃ、ベース参照ピクチャリストを作成するための情報であるｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｖｃ＿ｍｏｄｉｆｉｃａｔｉｏｎ、ベースビュービデオストリームのＶｉｅｗＩＤ、ＭＭＣＯコマンド）などを２Ｄ互換ビデオストリームの各ピクチャの補足データに格納する。

　（９）上記実施の形態では、値が「１」である符号化情報がＥＳヘッダに存在しない場合には、再生装置１０は、２Ｄ映像を出力するとしたが、これに限定されない。

　値が「１」である符号化情報がＥＳヘッダに存在しない場合には、２Ｄ互換ビデオデコーダ３１０２は、誤差を認める逆ＤＣＴにより復号を行ってもよいし、誤差を認めない逆ＤＣＴにより復号を行ってもよい。

　また、値が「１」である符号化情報がＥＳヘッダに存在する場合であっても、再生装置が誤差を認めない逆ＤＣＴの機能を有していない場合が考えられる。そのため、再生装置は、値が「１」である符号化情報が存在すると判断する場合には、さらに自身が誤差を認めない逆ＤＣＴの機能を有しているか否かを判断してもよい。機能を有していると判断する場合には、再生装置は、誤差を認めない逆ＤＣＴにより復号を行う。機能を有していないと判断する場合には、再生装置は、誤差を認める逆ＤＣＴにより復号を行ってもよいし、２Ｄ互換ビデオストリームのみ復号を行ってもよい。

　また、値が「１」である符号化情報がＥＳヘッダに存在せず、かつ誤差を認めない逆ＤＣＴの機能を有していない場合には、再生装置は、誤差を認める逆ＤＣＴにより復号を行ってもよいし、２Ｄ互換ビデオストリームのみ復号を行ってもよい。

　誤差を認める逆ＤＣＴにより復号を行った場合には、コンテンツ製作者が意図したものと異なる３Ｄ映像が再生されることになるが、視聴者は少なくとも３Ｄ映像を見ることができるという利点がある。しかしながら、誤差に起因して、３Ｄ映像の左右の映像のバランスが不自然になる(例えば、左目と右目の映像のノイズの出方が極端に異なるなど)可能性もある。

　これに対して、２Ｄ互換ビデオストリームのみ複合を行う場合には、コンテンツ製作者が意図しない３Ｄ映像が再生されることは無いという利点があるが、誤差を黙認すれば本来３Ｄをデコードし、ユーザーは３Ｄを視聴できたはずだが、できないという欠点もある。

　１．５　実施の形態１における効果
　以上により再生装置１０は、２Ｄ互換ビデオデコーダ３１０２から２Ｄ互換ビデオストリームのピクチャをＰＴＳのタイミングで第１プレーンに出力し、拡張マルチビュービデオデコーダ３１０３からマルチビュービデオストリームのディペンデントビュービデオストリームのピクチャをＰＴＳのタイミングで第２プレーンに出力する。例えば、２Ｄ互換ビデオストリームに左目映像、ディペンデントビュービデオストリームに右目映像を格納しておけば、第１プレーンから左目映像、第２プレーンから右目映像をそれぞれ出力するので、再生装置１０は、３Ｄ映像の再生を実現することが可能となる。

　また、２Ｄ互換ビデオストリームのピクチャを圧縮符号化する際に誤差の生じない逆ＤＣＴを用いた場合に値が「１」である符号化情報を付与するので、再生装置１０は、この情報が有る場合には、復号により圧縮符号化前のピクチャと同一のピクチャを得ることができ、送信者側が意図する３Ｄ映像を視聴することができる。

　２．実施の形態２
　ここでは、本発明に係る実施の形態２について、図面を参照しながら、実施の形態１との相違点のみ説明する。

　２．１　構成
　２．１．１　送信装置３７０１
　送信装置３７０１は、実施の形態１で示す送信装置２７０１の構成要素に加えて、図３７に示すデブロッキング部３７０２を有している。

　デブロッキング部３７０２以外の構成要素については、実施の形態１で既に説明しているので、ここでは、デブロッキング部３７０２の機能について説明する。

　（１）デブロッキング部３７０２
　デブロッキング部３７０２は、ＭＰＥＧ－４　ＡＶＣで規定されているデブロッキングフィルタであり、２Ｄ互換ビデオストリームのデコード結果に対してブロックノイズを軽減するものである。

　デブロッキング部３７０２は、２Ｄ互換ビデオストリームのデコード結果に対してブロックノイズを軽減し、ノイズが軽減された高画質な２Ｄ互換ビデオストリームのピクチャを２Ｄ互換ビデオフレームメモリ２７０８に格納する。

　２．１．２　再生装置３８０１
　再生装置３８０１は、実施の形態１で示す再生装置１０の構成要素に加えて、図３８に示すデブロッキング部３８０２を有している。

　デブロッキング部３８０２以外の構成要素については、実施の形態１で既に説明しているので、ここでは、デブロッキング部３８０２の機能について説明する。なお、判断部３１１２は、さらに、判断結果をデブロッキング部３８０２に通知するものとする。

　（１）デブロッキング部３８０２
　デブロッキング部３８０２は、ＭＰＥＧ－４　ＡＶＣで規定されているデブロッキングフィルタであり、２Ｄ互換ビデオストリームのデコード結果に対してブロックノイズを軽減するものである。

　デブロッキング部３８０２は、２Ｄ互換ビデオストリームのデコード結果に対してブロックノイズを軽減し、ブロックノイズが軽減された高画質な２Ｄ互換ビデオストリームのピクチャを、第１プレーン３１０４もしくはＯ３１１７に出力する。

　さらに、デブロッキング部３８０２は、判断部３１１２から値が「１」である符号化情報が格納されているという判断結果を受け取った場合には、ブロックノイズが軽減された高画質なピクチャを拡張マルチビュービデオデコーダ３１０３のビュー間参照バッファ３１３９にもデータを転送する。

　２．２　動作
　２．２．１　送信装置３７０１の動作について
　ここでは、送信装置３７０１の動作について実施の形態１に示す送信装置２７０１の動作との変更点のみを説明する。

　変更点は、図３３に示すステップＳ２０である。具体的には、送信装置３７０１は、復号したピクチャを２Ｄ互換ビデオフレームメモリ２７０８に格納する前に、デブロッキング部３７０２を用いて、ブロックノイズを軽減し、ブロックノイズが軽減された高画質な２Ｄ互換ビデオストリームのピクチャを２Ｄ互換ビデオフレームメモリ２７０８に格納する。

　２．２．２　再生装置３８０１の動作について
　ここでは、再生装置３８０１の動作について実施の形態１に示す再生装置１０の動作との変更点のみを説明する。

　変更点は、図３４に示すステップＳ１１５である。具体的には、再生装置３８０１は、復号したピクチャをビュー間参照バッファ３１３９における同一ＤＴＳをもつベースビューストリームのピクチャに上書きする前に、デブロッキング部３８０２を用いて、ブロックノイズを軽減し、ブロックノイズが軽減された高画質な２Ｄ互換ビデオストリームのピクチャをビュー間参照バッファ３１３９における同一ＤＴＳをもつベースビューストリームのピクチャに上書きする。

　２．３　変形例
　以上、実施の形態２に基づいて説明したが、本発明は上記の実施の形態２に限られない。例えば、以下のような変形例が考えられる。

　（１）上記実施の形態２において、再生装置３８０１は、ブロックノイズが軽減された高画質な２Ｄ互換ビデオストリームのピクチャを、第１プレーン３１０４もしくはＯ３１１７、及びビュー間参照バッファ３１３９に出力したが、これに限定されない。

　デブロッキング部３８０２を、図３９に示す位置に配置して、ビュー間参照バッファ３１３９に出力されるピクチャに対してのみブロックノイズを軽減してもよい。この場合、再生装置３８０１は、値が「１」である符号化情報が存在する場合には、第２プレーンから出力されるピクチャのみを用いて２Ｄ映像を再生する。これにより、再生装置３８０１は、誤差が生じない逆ＤＣＴを用いた圧縮符号化がされたトランスポートストリームを受信した場合には、高画質な２Ｄ映像を再生することができる。

　２．４　実施の形態２の効果
　以上説明したように、送信装置３７０１及び再生装置３８０１それぞれにおいて、ブロックノイズの軽減を行うことで、２Ｄ互換ビデオストリームに対する２Ｄ映像の高画質化を実現するとともに、３Ｄ映像の高画質化にもつながることになる。

　また、ＭＰＥＧ－２ビデオは一般にブロックノイズが出やすいのに対して、ＭＰＥＧ２より新しいＭＰＥＧ－４　ＡＶＣやＭＰＥＧ－４　ＭＶＣといった圧縮技術ではブロックノイズが出にくい。このため、ＭＰＥＧ２のブロックノイズをそのままにして、３Ｄの片目の映像として使用すると、ＭＰＥＧ２ビデオから出力される映像にはブロックノイズが多く含まれるのに対して、ＭＰＥＧ－４　ＭＶＣにより圧縮されるディペンデントビュービデオはブロックノイズが多く含まれない。

　つまり、３Ｄとして視聴した際にＭＥＰＧ２ビデオからなる左目の映像にはブロックノイズが含まれるのに対して、ディペンデントビューには含まれないため、左右の映像バランスが悪いという課題があった。これに対してＭＰＥＧ２ビデオに対してブロッキングを適用することにより、左右の目に対する映像の品質が近くなるという利点がある。

　３．実施の形態３
　ここでは、本発明に係る実施の形態３について、図面を参照しながら、実施の形態１との相違点のみ説明する。

　３．１　構成
　３．１．１　送信装置４００１
　送信装置４００１は、図４０に示すように、実施の形態１で示す送信装置２７０１の構成要素のうちディペンデントビュービデオエンコーダ２７０９をディペンデントビュービデオエンコーダ４００４に変更し、さらに新たな構成要素として、ダウンコンバータ４００２及びシフト処理部４００３を有している。

　ここでは、実施の形態１で示す送信装置２７０１との変更点であるダウンコンバータ４００２、シフト処理部４００３及びディペンデントビュービデオエンコーダ２７０９について説明する。

　（１）ダウンコンバータ４００２
　ダウンコンバータ４００２は、高画質の画像を低画質の画像へと変換するものである。具体的には、ダウンコンバータ４００２は、１画素が１２ビットからなる原画（画像）を受け付けると、各画素について上位８ビットを抽出し、２Ｄ互換ビデオエンコーダ２７０２へ出力する。以下、１画素がｐ（ｐは１以上の整数）ビットからなる画像を、ｐビットの画像という。

　なお、２Ｄ互換ビデオエンコーダ２７０２は、抽出された８ビットの画像をエンコードし、Ｄｅｃ２７０３は、復号処理により８ビットの復号ピクチャを生成することとなる。

　（２）シフト処理部４００３
　シフト処理部４００３は、Ｄｅｃ２７０３で生成された８ビットの復号ピクチャについて、４ビット分、左シフトする。これにより、１２ビットのうち下位４ビットには０が格納されることとなる。

　シフト処理部４００３は、左シフトにより得られる１２ビットの画像を２Ｄ互換ビデオフレームメモリ２７０８へ格納する。

　（３）ディペンデントビュービデオエンコーダ４００４
　ディペンデントビュービデオエンコーダ４００４は、１２ビットの原画（画像）から下位８ビットからなる圧縮符号化された画像を生成するものである。具体的には、ディペンデントビュービデオエンコーダ４００４は、１２ビットの原画（画像）と、２Ｄ互換ビデオフレームメモリ２７０８に格納されている１２ビットの画像の差分を取得する。ディペンデントビュービデオエンコーダ４００４は、取得した差分についての下位８ビットについて圧縮符号化を行う。

　３．１．２　再生装置４１０１
　再生装置４１０１は、実施の形態１で示す再生装置１０の構成要素のうち第１プレーン３１０４及び第２プレーン３１０５を除き、図４１に示すシフト処理部４１０２、加算器４１０３及びプレーン４１０４を加えたものである。

　以下、シフト処理部４１０２、加算器４１０３及びプレーン４１０４について説明する。

　なお、送信装置４００１から送信されたトランスポートストリームには、８ビットの２Ｄ互換ビデオストリームのピクチャ及び８ビットのディペンデントビュービデオストリームが含まれているので、復号される各ピクチャは８ビットからなっている。

　（１）シフト処理部４１０２
　シフト処理部４１０２は、２Ｄ互換ビデオデコーダ３１０２で復号された８ビットのピクチャに対して、４ビット分、左シフトする。これにより、１２ビットのうち下位４ビットには０が格納されることとなる。

　（２）加算器４１０３
　加算器４１０３は、左シフトされた１２ビットの画像と、拡張マルチビュービデオデコーダ３１０３で復号された８ビットの画像とを加算し、その結果をプレーン４１０４へ出力する。

　（３）プレーン４１０４
　プレーン４１０４は、加算器４１０３で加算された結果である１２ビットのピクチャデータを保持するプレーンメモリである。

　３．２　動作
　３．２．１　送信装置４００１の動作について
　ここでは、送信装置４００１の動作について実施の形態１に示す送信装置２７０１の動作との変更点のみを説明する。

　第１の変更点は、図３３に示すステップＳ１０後において、ステップＳ１５を実行するに先立って処理を行うことである。具体的には、ステップＳ１０後において、ステップＳ１５を実行するに先立って、送信装置４００１は、ダウンコンバータ４００２を用いて、１２ビットの画像を上位８ビットの画像へとダウンコンバートする。

　第２の変更点は、図３３に示すステップＳ２０である。具体的には、送信装置４００１は、復号したピクチャを２Ｄ互換ビデオフレームメモリ２７０８に格納する前に、シフト処理部４００３を用いて、８ビットの復号ピクチャについて、４ビット分、左シフトし、その結果を２Ｄ互換ビデオフレームメモリ２７０８に格納する。

　３．２．２　再生装置４１０１の動作について
　ここでは、再生装置４１０１の動作について実施の形態１に示す再生装置１０の動作との変更点のみを説明する。

　変更点は、図３４に示すステップＳ１２５である。具体的には、再生装置４１０１は、２Ｄ互換ビデオデコーダ３１０２で復号された８ビットのピクチャについて、ＰＴＳのタイミングで、シフト処理部４１０２を用いて４ビット分左シフトし、その後、加算器４１０３を用いて、シフト後の画像と、拡張マルチビュービデオデコーダ３１０３で復号された８ビットの画像とを加算し、加算結果である画像をプレーン４１０４へ出力する。

　３．３　変形例
　以上、実施の形態３に基づいて説明したが、本発明は上記の実施の形態３に限られない。例えば、以下のような変形例が考えられる。

　（１）上記実施の形態３において、入力される画像について１画素は１２ビットからなるもとしたが、これに限定されない。

　例えば、１画素は１０ビットからなるものとし、ダウンコンバータ４００２により上位８ビットへとダウンコンバートしてもよい。つまり、高画質の画像は１画素、８ビットより大きなビット長であればよい。ダウンコンバータ４００２は、上位８ビットを抽出し、シフト処理部４００３及びシフト処理部４１０２は、１画素を構成するビット長から８ビットの差分だけ左へシフトすればよい。

　３．４　実施の形態３の効果
　以上説明したように、送信装置４００１は、高画質画像を低画質の画像へと変換して、送信した場合であっても、再生装置４１０１側で２Ｄ映像の高画質化を実現することができる。

　例えば、８ビットの２Ｄ互換ビデオストリームは従来の放送方式に従ったフォーマットとして伝送し、ディペンデントビュービデオストリームで１２ビットに拡張するための情報を伝送することにより、従来のデコーダ（つまり従来のＴＶなどの受像機）では２Ｄ互換ビデオストリームだけをデコードして、再生することができるのに対して、拡張マルチビューデコーダを持つ新しいデコーダ(新しいデコーダを持つ新しいＴＶやレコーダなど)はディペンデントビュービデオストリームもデコードすることによって、１２ビットの高画質な映像を再生することが可能となる。

　４．実施の形態４
　ここでは、本発明に係る実施の形態４について、図面を参照しながら、実施の形態１との相違点のみ説明する。

　４．１　構成
　４．１．１　送信装置４２０１
　送信装置４２０１は、図４２に示すように、実施の形態１で示す送信装置２７０１の構成要素のうちマルチプレクサ２７１０をマルチプレクサ４２０３に変更し、さらに新たな構成要素として、拡大部４２０２を有している。

　以下、実施の形態１で示す送信装置２７０１との変更点である拡大部４２０２及びマルチプレクサ４２０３の機能について説明する。なお、２Ｄ互換ビデオエンコーダ２７０２に入力される画像は、画素数が１９２０×１０８０であるＨＤサイズである２Ｄ映像（２Ｋ）とし、ディペンデントビュービデオエンコーダ２７０９に入力される画像は、画素数がＨＤサイズの４倍である３８４０×２１６０の２Ｄ映像（４Ｋ）とする。また、ベースビュービデオエンコーダ２７０５に入力される画像は、黒画面等の付属映像であるが、その画素数は、３８４０×２１６０である。

　この時、２Ｄ互換ビデオエンコーダ２７０２に入力される２Ｋの画像は、ディペンデントビュービデオエンコーダ２７０９に入力される４Ｋの画像がリサイズ(縮小)されたものであることが一般的である。

　（１）拡大部４２０２
　拡大部４２０２は、ＭＰＥＧ－４　ＡＶＣで規定されているスケーラーであり、例えば、画素数が１９２０×１０８０であるＨＤサイズである２Ｄ映像（２Ｋ）を、画素数がＨＤサイズの４倍である３８４０×２１６０の画像（４Ｋ）へと拡大するものである。

　拡大部４２０２は、４Ｋへと拡大した２Ｄ映像を２Ｄ互換ビデオフレームメモリ２７０８へ格納する。

　これにより、ディペンデントビュービデオエンコーダ２７０９は、４Ｋに拡大された２Ｄ映像を参照して、入力された２Ｄ映像（４Ｋ）を圧縮符号化することができる。

　（２）マルチプレクサ４２０３
　マルチプレクサ４２０３は、マルチプレクサ２７１０と同様に、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームを、ＰＥＳパケット化された後にＴＳパケット単位で分割し、トランスポートストリームに多重化して出力する。

　このとき、マルチプレクサ２７１０は、多重化する際に、ＭＰＥＧ－２のＥＳ（エレメンタリストリーム）のユーザデータに、符号化情報と、スケーラーの方式を示すスケーラー情報を付与する。

　４．１．２　再生装置４３０１
　再生装置４３０１は、図４３に示すように、実施の形態１で示す再生装置１０の構成要素のうち判断部３１１２を判断部４３０３に変更し、さらに新たな構成要素として、拡大部４３０２を有している。

　以下、実施の形態１で示す送信装置２７０１との変更点である拡大部４３０２及び判断部４３０３の機能について説明する。

　（１）判断部４３０３
　判断部４３０３は、実施の形態１で示す判断部３１１２の機能に加えて、以下の機能を有する。

　判断部４３０３は、スケーラー情報で示される方式よる拡大が可能であるかどうかを判断し、その結果を拡大部４３０２へ出力する。

　（２）拡大部４３０２
　拡大部４３０２は、ＭＰＥＧ－４　ＡＶＣで規定されているスケーラーであり、拡大部４２０２と同様に、画素数が１９２０×１０８０であるＨＤサイズである２Ｄ映像（２Ｋ）を、画素数がＨＤサイズの４倍である３８４０×２１６０の画像（４Ｋ）へと拡大するものである。

　拡大部４３０２は、判断部４３０３でスケーラー情報で示される方式よる拡大が可能であると判断された場合、スケーラー情報で示される方式で、Ｄｅｃ３１１６で復号された復号ピクチャを、４Ｋへと拡大し、拡大して得られた２Ｄ画像をビュー間参照バッファ３１３９へ格納する。

　４．２　動作
　４．２．１　送信装置４２０１の動作について
　ここでは、送信装置４２０１の動作について実施の形態１に示す送信装置２７０１の動作との変更点のみを説明する。

　第１の変更点は、図３３に示すステップＳ２０である。具体的には、送信装置４２０１は、復号したピクチャを２Ｄ互換ビデオフレームメモリ２７０８に格納する前に、拡大部４２０２を用いて、２Ｄ映像（２Ｋ）を、２Ｄ画像（４Ｋ）へと拡大する。

　第２の変更点は、図３３に示すステップＳ３５である。具体的には、送信装置４２０１は、ＭＰＥＧ－２のＥＳのユーザデータに、符号化情報と、スケーラーの方式を示すスケーラー情報を付与する。

　４．２．２　再生装置４３０１の動作について
　ここでは、再生装置４３０１の動作について、図４４に示す流れ図を用いて説明する。

　再生装置４３０１は、復号対象となる２Ｄ互換ビデオストリームのピクチャ（２Ｋ）が存在するか否かを判断する（ステップＳ２００）。具体的には、再生装置４３０１は、ＥＢ３１１５にデータがあるかどうかを判定する。

　２Ｄ互換ビデオストリームのピクチャ（２Ｋ）が存在すると判断する場合（ステップＳ２００における「Ｙｅｓ」）、再生装置４３０１は、判断部４３０３を用いて、値が「１」である符号化情報がＥＳヘッダに存在するか否かを判断する（ステップＳ２０５）。

　値が「１」である符号化情報が存在すると判断する場合（ステップＳ２０５における「Ｙｅｓ」）、再生装置４３０１は、判断部４３０３を用いて、スケーラー情報で示される方式で拡大可能であるか否かを判断する（ステップＳ２１０）。

　拡大可能であると判断する場合（ステップＳ２１０における「Ｙｅｓ」）、再生装置４３０１は、拡張マルチビュービデオデコーダ３１０３を用いて、ベースビュービデオストリームのピクチャを復号して、ビュー間参照バッファ３１３９へ格納する（ステップＳ２１５）。

　再生装置４３０１は、２Ｄ互換ビデオデコーダ３１０２のＤｅｃ３１１６を用いて２Ｄ互換ビデオストリームのピクチャを復号し、さらに、拡大部４３０２を用いて復号されたピクチャをスケーラー情報で示される方式で拡大し、拡大したピクチャをビュー間参照バッファ３１３９における同一ＤＴＳをもつベースビューストリームのピクチャに上書きする（ステップＳ２２０）。

　再生装置４３０１は、拡張マルチビュービデオデコーダ３１０３を用いて、ビュー間参照バッファ３１３９に格納されている拡大されたピクチャを参照して、ディペンデントビュービデオストリームのピクチャを復号する（ステップＳ２２５）。

　再生装置４３０１は、出力処理部３１４２を用いて、復号した４Ｋの復号ピクチャをＰＴＳのタイミングで第２プレーンに出力する（ステップＳ２３０）。

　値が「１」である符号化情報が存在しないと判断する場合（ステップＳ２０５における「Ｎｏ」）、及び指定された方式で拡大可能でないと判断する場合（ステップＳ２１０における「Ｎｏ」）、再生装置４３０１は、２Ｄ互換ビデオデコーダ３１０２を用いて、２Ｄ互換ビデオストリームのピクチャを復号する（ステップＳ２３５）。このとき、２Ｄ互換ビデオデコーダ３１０２は、ビュー間参照バッファ３１３９に復号したピクチャを格納しない。

　再生装置４３０１は、出力処理部３１１８を用いて、２Ｄ互換ビデオストリームの復号ピクチャをＰＴＳのタイミングで第１プレーン３１０４に出力する（ステップＳ２４０）。これにより、値が「１」である符号化情報が存在しない場合、及び指定された方式で拡大できない場合には、再生装置４３０１は、サイズが２Ｋである２Ｄ映像を出力することができる。

　２Ｄ互換ビデオストリームのピクチャが存在しないと判断する場合（ステップＳ２００における「Ｎｏ」）、再生装置４３０１は、処理を終了する。

　４．３　実施の形態４の効果
　以上説明したように、　送信装置４２０１は、従来の放送と互換を持つ２Ｄ互換ビデオストリームと、２Ｄ互換ビデオストリームを参照して効率的に４Ｋ２Ｋなどより高画質な映像をディペンデントビュービデオとして伝送することが可能となる。

　また、再生装置４３０１は、２Ｋ１Ｋの画像を４Ｋ２Ｋの画像へと変換することができる。

　送信装置４２０１及び再生装置４３０１によって、拡張マルチビュービデオデコーダを持たない従来の再生装置では、２Ｄ互換ビデオストリームとして２Ｋ１Ｋの映像が再生され、拡張マルチビュービデオデコーダを持つ新しい再生装置では４Ｋ２Ｋなどのよる高画質な映像を再生することが可能となる。

　５．実施の形態５
　ここでは、本発明に係る実施の形態５について、図面を参照しながら、実施の形態１及び実施の形態４との相違点のみ説明する。

　５．１　構成
　５．１．１　送信装置４５０１
　送信装置４５０１は、図４５に示すように、実施の形態４で示す送信装置４２０１の構成要素のうち拡大部４２０２を拡大部４５０２に、ディペンデントビュービデオエンコーダ２７０９をディペンデントビュービデオエンコーダ４５０３に、それぞれ変更したものである。

　以下、実施の形態４で示す送信装置４２０１との変更点である拡大部４５０２及びディペンデントビュービデオエンコーダ４５０３の機能について説明する。なお、２Ｄ互換ビデオエンコーダ２７０２に入力される画像は、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式の原画（ＳｂＳ）とし、ディペンデントビュービデオエンコーダ２７０９に入力される画像は、ＦＨＤの右目映像及び左目映像から構成される原画（ＬＲ）とする。また、ベースビュービデオエンコーダ２７０５に入力される画像は、黒画面等の付属映像（４Ｋ１Ｋ）である。

　（１）拡大部４５０２
　拡大部４５０２は、Ｄｅｃ２７０３で復号された画像を横方向について２倍に拡大するスケーラーである。ここで、Ｄｅｃ２７０３で復号されたピクチャは、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式の復号ピクチャ、つまり右映像及び左映像が横方向に１／２に縮小された、分割前の画像である。拡大部４５０２は、この画像について、横方向に２倍に拡大することで、右映像及び左映像それぞれが表示すべき画像サイズとする。

　拡大部４５０２は、横方向について２倍に拡大した画像（ＳｂＳ）を２Ｄ互換ビデオフレームメモリ２７０８へ格納する。

　これにより、ディペンデントビュービデオエンコーダ４５０３は、横方向について２倍に拡大された画像を参照して、入力された映像（ＬＲ）を圧縮符号化することができる。

　（２）ディペンデントビュービデオエンコーダ４５０３
　ディペンデントビュービデオエンコーダ４５０３は、２Ｄ互換ビデオフレームメモリ２７０８に格納された横方向について２倍に拡大された画像（ＳｂＳ）を参照して、入力された原画（ＬＲ）を圧縮符号化するものである。具体的には、ディペンデントビュービデオエンコーダ４５０３は、入力された映像（ＬＲ）と、２Ｄ互換ビデオフレームメモリ２７０８に格納されている復号ピクチャ（画像（ＳｂＳ））の差分を取得する。ディペンデントビュービデオエンコーダ４００４は、取得した差分について圧縮符号化を行う。

　５．１．２　再生装置４６０１
　再生装置４６０１は、図４６に示すように、実施の形態４で示す再生装置４３０１の構成要素のうち拡大部４３０２を拡大部４６０２に、マルチビュービデオ圧縮映像デコーダ（Ｄｅｃ）３１４０をマルチビュービデオ圧縮映像デコーダ（Ｄｅｃ）４６０３に、それぞれ変更し、新たな構成要素としてクロッピング部４６０４を有している。

　以下、実施の形態４で示す再生装置４３０１との変更点である拡大部４６０２、Ｄｅｃ４６０３及びクロッピング部４６０４の機能について説明する。なお、２Ｄ互換ビデオデコーダ３１０２に入力される画像は、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式の原画（ＳｂＳ）が圧縮符号化されたものとし、拡張マルチビュービデオデコーダ３１０３に入力される画像は、ＦＨＤの原画（ＬＲ）と原画（ＳｂＳ）との差分（以下、差分画像という。）が圧縮符号化されたものとする。また、ベースビュービデオエンコーダ２７０５に入力される画像は、付属映像（４Ｋ１Ｋ）が圧縮符号化されたものである。

　（１）拡大部４６０２
　拡大部４６０２は、Ｄｅｃ３１１６で復号された画像を横方向について２倍に拡大するスケーラーである。具体的には、拡大部４６０２は、判断部４３０３でスケーラー情報で示される方式よる拡大が可能であると判断された場合、スケーラー情報で示される方式で、Ｄｅｃ３１１６で復号された復号ピクチャを、横方向について２倍に拡大し、拡大した画像をビュー間参照バッファ３１３９へ格納する。ここで、Ｄｅｃ３１１６で復号されたピクチャは、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式の復号ピクチャ、つまり右映像及び左映像が横方向に１／２に縮小された、分割前の画像である。拡大部４６０２は、この画像について、横方向に２倍に拡大することで、右映像及び左映像それぞれが表示すべき画像サイズとする。

　（２）マルチビュービデオ圧縮映像デコーダ（Ｄｅｃ）４６０３
　マルチビュービデオ圧縮映像デコーダ４６０３は、ビュー間参照バッファ３１３９に格納されている横方向に２倍に拡大された画像を参照して、ディペンデントビューストリームに含まれる符号化された右目映像についての差分画像及び符号化された左目映像についての差分画像それぞれを、復号するものである。

　具体的には、マルチビュービデオ圧縮映像デコーダ４６０３は、符号化された右目映像についての差分画像を、横方向に２倍に拡大された画像のうち右目画像に対応する画像を参照して復号し、符号化された左目映像についての差分画像を、横方向に２倍に拡大された画像のうち左目画像に対応する画像を参照して復号する。マルチビュービデオ圧縮映像デコーダ４６０３は、復号した右目画像、及び左目画像を交互に、ＤＰＢ３１４１へ出力する。

　（３）クロッピング部４６０４
　クロッピング部４６０４は、第２プレーンに出力された、復号された右目画像、及び左目画像を交互に出力するものである。

　これにより、再生装置４６０１は、クロッピング部４６０４で出力された右目画像、及び左目画像を交互に表示することにより３Ｄ映像の再生を可能とする。

　５．２　動作
　５．２．１　送信装置４５０１の動作について
　ここでは、送信装置４５０１の動作について実施の形態１に示す送信装置２７０１の動作との変更点のみを説明する。

　第１の変更点は、図３３に示すステップＳ２０である。具体的には、送信装置４２０１は、復号したピクチャを２Ｄ互換ビデオフレームメモリ２７０８に格納する前に、拡大部４５０２を用いて、復号した画像を、横方向に２倍に拡大する。

　第２の変更点は、図３３に示すステップＳ３５である。具体的には、送信装置４５０１は、ＭＰＥＧ－２のＥＳのユーザデータに、符号化情報と、スケーラーの方式を示すスケーラー情報を付与する。

　５．２．２　再生装置４６０１の動作について
　ここでは、再生装置４６０１の動作について、図４４に示す流れ図における変更点のみを説明する。

　変更点は、図４４に示すステップＳ２２０である。具体的には、再生装置４６０１は、２Ｄ互換ビデオデコーダ３１０２のＤｅｃ３１１６を用いて復号したピクチャを、拡大部４６０２を用いてスケーラー情報で示される方式で横に２倍に拡大し、拡大したピクチャをビュー間参照バッファ３１３９における同一ＤＴＳをもつベースビューストリームのピクチャに上書きする。

　なお、図４４には図示していないが、再生装置４６０１は、クロッピング部４６０４を用いて、第２プレーンに保持されている右目画像及び左目画像を交互に出力する。

　５．３　変形例
　以上、実施の形態５に基づいて説明したが、本発明は上記の実施の形態５に限られない。例えば、以下のような変形例が考えられる。

　（１）上記実施の形態５において、２Ｄ互換ビデオエンコーダ２７０２及び２Ｄ互換ビデオデコーダ３１０２で処理される映像（画像）は、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式の画像としたが、これに限定されない。

　２Ｄ互換ビデオエンコーダ２７０２及び２Ｄ互換ビデオデコーダ３１０２で処理される映像（画像）は、Ｔｏｐ　ａｎｄ　Ｂｏｔｔｏｍ方式であってもよい。この場合、拡大部４５０２及び拡大部４６０２は、復号されたピクチャの縦方向に２倍に拡大することとなる。

　（２）上記実施の形態５において、付属映像について、Ｄｅｃ４６０３は、当該付属画像をＤＰＢ３１４１に出力する代わりに、２Ｄ互換ビデオデコーダ３１０２から出力された横方向に２倍に拡大されたピクチャをＤＰＢ３１４１に出力してもよい。

　（３）また、Ｄｅｃ４６０３は、当該付属画像をＤＰＢ３１４１に出力する代わりに、２Ｄ互換ビデオデコーダ３１０２から出力された横方向に２倍に拡大されたピクチャをＤＰＢ３１４１に出力する場合、Ｄｅｃ４６０３は、差分画像の復号について、以下のように動作してもよい。

　Ｄｅｃ４６０３は、右目画像そのもの及び左目画像そのものを復号する代わりに、差分のみ復号し、クロッピング部４６０４で画像を出力する前に、復号した右目及び左目差分画像それぞれと、横方向に２倍に拡大されたピクチャとを用いて、右目画像そのもの及び左目画像そのものを生成してもよい。具体的には、再生装置４６０１は、加算器により、右目の差分画像と、横方向に２倍に拡大されたピクチャのうち右目に対応する画像とを加算し、左目の差分画像と、横方向に２倍に拡大されたピクチャのうち左目に対応する画像とを加算して、右目画像そのもの及び左目画像そのものを生成する。

　また、上記に示す差分画像の復号は、当該付属画像をＤＰＢ３１４１に出力する代わりに、２Ｄ互換ビデオデコーダ３１０２から出力された横方向に２倍に拡大されたピクチャをＤＰＢ３１４１に出力する場合の変形例としているが、これに限定されない。ベースビューストリームとして、付属映像の代わりに２Ｄ互換ビデオエンコーダ２７０２が受け取る映像について横方向に２倍に拡大された映像を入力して受け付けた場合においても、上記と同様の構成（加算器を追加した構成）及び動作で、３Ｄ映像の再生を実現できる。

　５．４　実施の形態５の効果
　以上により、再生装置４６０１は、横方向に２倍に拡大されたＳｉｄｅ－ｂｙ－Ｓｉｄｅ方式（若しくは、Ｔｏｐ　ａｎｄ　Ｂｏｔｔｏｍ方式）の画像を参照して、ディペンデントビュービデオストリームに含まれる右目及び左目の差分画像から右目及び左目それぞれの画像を生成し、３Ｄ映像の再生を実現することが可能となる。

　６．実施の形態６
　ここでは、本発明に係る実施の形態６について、図面を参照しながら、他の実施の形態との相違点のみ説明する。

　６．１　構成
　６．１．１　送信装置４９０１
　送信装置４９０１は、図４７に示すように、実施の形態１で示す送信装置２７０１と同様の構成要素に加えて、ベースビュービデオデコーダ（Ｄｅｃ）４９０２、加算器４９０３及び減算器４９０４を備える。

　（１）減算器４９０４
　減算器４９０４は、左目用の原画が２Ｄ互換ビデオエンコーダ２７０２によってＭＰＥＧ２にエンコードされ２Ｄ互換ビデオストリームとなった後、Ｄｅｃ２７０３でデコードされた映像と、左目用の原画との差分を算出する。減算器４９０４は、算出した結果（左目の差分画像）をベースビュービデオエンコーダ２７０５へ出力する。

　ベースビュービデオエンコーダ２７０５では、この左目の差分画像について圧縮符号化を行う。

　（２）ベースビュービデオデコーダ（Ｄｅｃ）４９０２
　ベースビュービデオデコーダ４９０２は、ベースビュービデオエンコーダ２７０５から出力されたベースビュービデオストリームをデコードして、圧縮符号化された左目の差分画像が復号された復号ピクチャを出力する。

　（３）加算器４９０３
　加算器４９０３は、２Ｄ互換ビデオデコーダ２７０３から出力された復号ピクチャと、ベースビュービデオデコーダ４９０２から出力された復号ピクチャを加算して、参照ピクチャ（Ｌ）を生成し、生成した参照ピクチャ（Ｌ）を２Ｄ互換ビデオフレームメモリ２７０８へ格納する。

　これにより、ディペンデントビュービデオエンコーダ２７０９では、入力された右目原画（Ｒ）について圧縮符号化する際に、Ｄｅｃ２７０３でデコードされた映像よりも高画質な映像となる参照ピクチャ（Ｌ）を参照して圧縮符号化することができる。

　また、多重化される各ストリームについては、２Ｄ互換ビデオストリームは左目原画が符号化されたものであり、ベースビュービデオストリームは符号化された前記２Ｄ互換ビデオストリームと左目原画の差分画像が符号化されたものであり、ディペンデントビュービデオストリームは右目原画が、２Ｄ互換ビデオフレームメモリ２７０８に記録されている参照ピクチャ（Ｌ）を参照しながら符号化されたものである。

　６．１．２　再生装置５００１
　再生装置５００１の構成要素は、図４８に示すように、実施の形態１で示す再生装置１０の構成要素に加えて、第３プレーン４８０２、加算器４８０３を有している。

　また、再生装置５００１の判断部３１１２は、実施の形態１で示す機能に加えて、判断結果を出力処理部３１１８へも出力する。

　再生装置５００１の出力処理部３１１８は、実施の形態１で示す機能に加えて、判断部３１１２による判断結果が値が「１」である符号化情報が格納されているという旨のものであれば、第１プレーンに格納されている画像（復号ピクチャ）の出力先を加算器４８０３とするよう制御する。

　また、本実施の形態６では、ビュー間参照バッファ３１３９に格納される画像の出力元が他の実施の形態と異なる。

　（１）第３プレーン４８０２
　第３プレーン４８０２は、拡張マルチビュービデオデコーダ３１０３がデコーダして表示タイミングで出力した、ベースビュービデオストリームのピクチャ（左目の差分画像）を保持するプレーンメモリである。

　（２）加算器４８０３
　加算器４８０３は、第１プレーン３１０４から出力されたピクチャ（左目の画像）と、第３プレーンから出力されたピクチャ（左目の差分画像）とを加算するものである。

　これらピクチャを加算することで、ノイズが緩和された左目画像を生成することができる。

　また、加算器４８０３で生成された左目画像はビュー間参照バッファ３１３９に格納される。

　これにより、マルチビュービデオ圧縮映像デコーダ３１４０は、加算器４８０３から出力された画像を参照して、ディペンデントビューストリームの復号を行うこととなる。

　６．２　動作
　６．２．１　送信装置４９０１の動作について
　ここでは、送信装置４９０１の動作について、図３３に示す流れ図における変更点のみを説明する。

　第１の変更点は、図３３に示すステップＳ２０である。具体的には、送信装置４９０１は、２Ｄ互換ビデオデコーダ２７０３を用いて１エンコード枚数分の２Ｄ互換ビデオストリームの復号処理を、ベースビュービデオデコーダ４９０２を用いて１エンコード枚数分のベースビュービデオストリームの復号処理を、それぞれ行い、それぞれで復号したピクチャを加算器４９０３を用いて加算し、その結果を２Ｄ互換ビデオフレームメモリ２７０８に格納する。

　第２の変更点は、図３３に示すステップＳ２５である。具体的には、送信装置４９０１は、減算器４９０４を用いて左目の差分画像の生成を行い、ベースビュービデオエンコーダ２７０５を用いて生成した差分画像を圧縮符号化してベースビュービデオストリームを生成する。

　最後の変更点は、変更されたステップＳ２０と、変更されたステップＳ２５の処理順序を入れ替える点である。

　６．２．２　再生装置５００１の動作について
　ここでは、再生装置５００１の動作について、図３４に示す流れ図における変更点のみを説明する。

　第１の変更点は、ステップＳ１１５である。具体的には、再生装置５００１は、２Ｄ互換ビデオデコーダ３１０２を用いて２Ｄ互換ビデオストリームのピクチャを復号し、加算器４８０３を用いてステップＳ１１０で復号したピクチャと加算し、その結果を、ビュー間参照バッファ３１３９における同一ＤＴＳをもつベースビューストリームのピクチャに上書きする。

　第２の変更点は、ステップＳ１２５であり、具体的には、再生装置５００１は、出力処理部３１１８及び出力処理部３１４２を用いて、２Ｄ互換ビデオストリームの復号ピクチャ（左目の画像）をＰＴＳのタイミングで第１プレーン３１０４に出力し、ディペンデントビュービデオストリームの復号ピクチャ（右目）をＰＴＳのタイミングで第２プレーンに出力し、さらに、ベースビュービデオストリームの復号ピクチャ（左目の差分画像）をＰＴＳのタイミングで第３プレーンに出力する。さらに、その後、再生装置５００１は、出力処理部３１１８を用いて、第１プレーンに格納されている復号ピクチャ（左目の画像）と加算器４８０３へ出力し、第３プレーンに格納されている復号ピクチャ（左目の差分画像）と加算して、ノイズが緩和された左目画像を生成する。

　６．３　　実施の形態６の効果
　以上説明したように、送信装置４９０１では、左目原画と右目原画を用いて３Ｄ映像を送信する際に、左目原画はＭＰＥＧ２で圧縮することによって、従来の再生装置で再生できる互換性と実現することができる。

　また、左目の映像をＭＰＥＧ２で圧縮し、右目の映像をＭＰＥＧ－４　ＡＶＣやＭＰＥＧ－４　ＭＶＣなどの新しい圧縮技術で圧縮した場合、ＭＰＥＧ２で圧縮する際のノイズ(ブロックノイズなど)と、新しい圧縮技術で圧縮する際のノイズとの特性が異なる(新しい圧縮技術ではデブロッキングフィルタなどでブロックノイズは検知しずらい)ため、左右の映像のバランス(ノイズの出方)が異なり、３Ｄの視聴者が違和感を抱くことがある。そこで、本実施の形態６では、ＭＰＥＧ２で圧縮された２Ｄ互換ビデオストリームと、左目原画の差分をベースビュービデオストリームとして圧縮し、再生時には２Ｄ互換ビデオストリームをデコードした映像と、ベースビュービデオストリームをデコードした映像を加算するため、前述のブロックノイズをベースビュービデオストリームとの加算によって緩和することができるため、再生される３Ｄ映像のバランス(ノイズの出方)が異なることを緩和することができる。

　７．変形例
　以上、各実施の形態に基づいて説明したが、本発明は上記の各実施の形態に限られない。例えば、以下のような変形例が考えられる。

　（１）上記各実施の形態において、２Ｄ互換ビデオストリームをＭＰＥＧ－２ビデオ、マルチビュービデオストリーム（ベースビュービデオストリームとディペンデントビュービデオストリーム）をＭＰＥＧ－４　ＭＶＣビデオとして説明したが、コーデックの種類はこれに限らないことは言うまでもない。各実施の形態における再生装置、送信装置において、コーデックの特性に合わせて、構成を適宜変更することで対応ができる。例えば、２Ｄ互換ビデオストリームをＭＰＥＧ－４　ＡＶＣで、マルチビュービデオストリームが「新コーデック」の場合には、再生装置においては、Ｒｅ－ｏｒｄｅｒｉｎｇ　ＢｕｆｆｅｒをＤＰＢと変更し、ビュー間参照バッファ内のピクチャデータの管理は「新コーデック」の構成に従って行えばよい。

　（２）上記各実施の形態において、送信装置は、符号化情報を、ＭＰＥＧ－２のＥＳのビデオアクセスユニット毎にユーザデータに格納したが、これに限定されない。

　送信装置は、ＭＰＥＧ－２のＥＳにおける複数のＧＯＰそれぞれに対して、当該ＧＯＰに含まれる先頭のビデオアクセスユニットのユーザデータにのみに符号化情報を格納、つまりＧＯＰの先頭画像にのみに符号化情報を付与してもよい。この場合、受信装置では、ＭＰＥＧ－２のＥＳにおける複数のＧＯＰそれぞれに対して、当該ＧＯＰの先頭画像に付与された符号化情報の内容を解析し、その結果に応じた処理を行う。

　または、送信装置は、符号化された各２Ｄ画像をＰＥＳパケット化する際に、ＰＥＳヘッダに符号化情報を格納してもよい。この場合、受信装置では、ＰＥＳパケットに含まれる符号化情報の内容を解析し、その結果に応じた処理を行う。

　また、送信装置は、符号化情報を、ＭＰＥＧ－２のＥＳに格納するのではなく、ＭＰＥＧ－４　ＭＶＣのＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）　メッセージに格納してもよい。この場合、送信装置は、ディペンデントビューを構成するビデオアクセスユニットそれぞれに対して当該ビデオアクセスユニットのＳＥＩメッセージに格納してもよいし、複数のＧＯＰそれぞれに対して、当該ＧＯＰに含まれる先頭のビデオアクセスユニットのＳＥＩメッセージにのみに符号化情報を格納してもよい。また、受信装置では、拡張マルチビュービデオデコーダにおいて符号化情報の内容を判断し、その結果を２Ｄ互換ビュービデオデコーダへ通知してもよいし、拡張マルチビュービデオデコーダが符号化情報を２Ｄ互換ビュービデオデコーダへ引き渡し、２Ｄ互換ビュービデオデコーダが符号化情報の内容を判断してもよい。

　または、送信装置は、符号化情報を、システムパケット（ＰＭＴ：ＰｒｏｇｒａｍＭａｐＴａｂｌｅ）内に格納してもよいし、ＥＩＴ（Ｅｖｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）に格納してもよい。　ＰＭＴは、番組のデコードを開始する前に解析されるので、受信装置は、符号化情報の内容の判断結果を、番組のデコードを開始する前に知ることができる。また、ＥＩＴは、番組開始以前に取得可能な情報であるため、受信装置は、番組開始前に符号化情報の内容を判断しておき、その結果をメモリ等に記憶していてもよいし、番組開始時点で当該番組に対する符号化情報の内容を判断してもよい。

　または、送信装置は、符号化情報を、米国の放送規格(ＡＴＳＣ：Advanced Television Systems Committee)のA/65:2009: Program And System Information Protocol For Terrestrial Broadcast And Cable規格で規定されている各種テーブル(ＭＧＴ、ＶＣＴ、ＥＩＴ、ＥＴＴ)やデスクリプタとして格納してもよい。　ＰＭＴやＥＩＴで伝送するのと同様の効果が期待できるほか、ＶＣＴはＶｉｒｔｕａｌ　Ｃｈａｎｎｅｌ　Ｔａｂｌｅとして定義されているテーブルで、各チャンネルの属性情報(チャンネル番号、チャンネルの伝送経路や使用されているビデオストリームやオーディオストリームの種類などが含まれる)の１つとして符号化情報を保持することによって、当該チャンネルに切り替えた際に符号化情報の内容を判断することが可能となる。

　または、符号化情報は、ＰＭＴ及びＥＩＴの双方に格納されてもよい。ＥＩＴは番組開始以前から配信されている情報であり、番組直前に符号化情報の内容が変更される可能性もあるため、受信装置では、番組開始時にＰＭＴ及びＥＩＴの双方に格納された符号化情報の内容を比較し、内容が異なる場合には、ＰＭＴに格納された符号化情報の内容を優先して、処理を行う。

　（３）上記各実施の形態では、符号化情報は、送信装置から受信装置へ常に送信されるものとしたが、これに限定されない。

　符号化情報は、常に送信されなくてもよい。この場合、受信装置は、送信装置から送信されるＭＰＥＧ－２のＥＳの画像（左目画像）を符号化する際には誤差の生じない逆ＤＣＴが用いられていることを、予め知っている。例えば、受信装置は、映像を受信するチャンネル毎に、ＭＰＥＧ－２のＥＳの画像の符号化に誤差の生じない逆ＤＣＴが用いられているか否かの情報を対応付けて記憶している。

　（４）上記各実施の形態では、送信装置は、単一種類のトランスポートストリームを送信するものとしたが、これに限定されない。ここで、単一種類のストリームとは、例えば、実施の形態１では、２Ｄ映像を用いて３Ｄ表示するためのストリーム（３Ｄ用ストリーム）であり、実施の形態４では、２Ｄ映像（２Ｋ）を拡大（４Ｋ）して表示するためのストリーム（４Ｋ２Ｋ用ストリーム）である。

　送信装置は、複数種類のストリームを送信してもよい。ここでは、送信装置が、３Ｄ用ストリーム及び４Ｋ２Ｋ用ストリームを送信する場合について説明する。

　送信装置は、送信対象のストリームが３Ｄ用ストリームであるか４Ｋ２Ｋ用ストリームであるかを識別するためのストリーム識別子を、当該送信対象のストリームに含める。例えば、ストリーム識別子は、ＭＰＥＧ－２のＥＳのビデオアクセスユニット毎に当該ビデオアクセスユニットの補足データ（ｕｓｅｒ＿ｄａｔａ）に格納される。または、ストリーム識別子は、ＭＰＥＧ－２のＥＳの複数のＧＯＰそれぞれに対して当該ＧＯＰの先頭画像に対応するビデオアクセスユニットにのみ格納されてもよい。または、ＭＰＥＧ－４　ＭＶＣの全ての画像それぞれのＳＥＩに格納されてもよいし、ＧＯＰ毎に、当該ＧＯＰの先頭の画像にのみに格納されてもよい。さらには、ストリーム識別子は、ＰＭＴに格納されてもよいし、ＥＩＴに格納されてもよいし、ＰＭＴ及びＥＩＴの双方に格納されてもよい。

　この場合、受信装置では、受信したストリームに格納されたストリーム識別子の内容に応じて、３Ｄ表示に係る処理又は４Ｋ２Ｋに係る処理を行う。

　（５）上記各実施の形態において、送信装置は、符号化情報を送信する代わりに、２Ｄ互換ビデオストリームを生成した２Ｄ互換ビデオエンコーダを識別するためのエンコーダ識別情報を送信してもよい。ここで、エンコーダ識別子には、例えば２Ｄ互換ビデオエンコーダを提供する提供元（製造元）の識別子が与えられる。また、この場合の２Ｄ互換ビデオエンコーダには、誤差が生じる逆ＤＣＴが用いられていてもよい。

　受信装置は、送信装置から送信されたエンコーダ識別子を用いて、ＭＰＥＧ－２のＥＳの生成に用いられた２Ｄ互換ビデオエンコーダの提供元を特定し、自身が備える２Ｄ互換ビデオデコーダの提供元と一致するかどうかを判断する。一致する場合には、受信装置は、符号化情報の値が「１」である場合と同様の処理を行う。一致しない場合には、受信装置は、符号化情報の値が「０」である場合と同様の処理を行う。

　通常、符号化のアルゴリズム、及び参照画面を生成する際の復号のアルゴリズムは、提供者（製造者）毎に異なっていることがある。そこで、２Ｄ互換ビデオエンコーダの提供元が特定されれば、当該提供者が提供する２Ｄ互換ビデオデコーダで用いられる復号のアルゴリズムが、２Ｄ互換ビデオエンコーダで用いられたアルゴリズムと同一となるか否かを判別することができる。同一となる場合には、２Ｄ互換ビデオデコーダで用いられる復号のアルゴリズムで復号した画像と、２Ｄ互換ビデオエンコーダが参照画面の生成のために復号した画像とは一致するものとなる。そうすると、２Ｄ互換ビデオエンコーダには、誤差が生じる逆ＤＣＴが用いられ多場合であっても、受信装置で復号した場合には最小限の誤差（２Ｄ互換ビデオエンコーダが参照画面の生成のために復号した場合の誤差と同一）で抑えることができる。

　（６）上記実施の形態４において、値が「１」である符号化情報が存在しない場合には、再生装置４３０１は、サイズが２Ｋである２Ｄ映像を出力するとしたが、これに限定されない。

　値が「１」である符号化情報が存在しない場合には、再生装置４３０１は、誤差を認める逆ＤＣＴ変換により画像の復号し、拡大部４３０２による拡大を行ってもよい。

　（７）上記各実施の形態において、２Ｄ互換ビデオエンコーダは、参照画像を圧縮復号化された画像を復号することで得ていたが、これに限定されない。

　２Ｄ互換ビデオエンコーダは、復号により参照画像を得る代わりに、入力として受け付けた画像そのものを参照画像としてメモリに格納してもよい。

　（８）上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。

　また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。

　（９）上記の各実施の形態にかかる各構成は、集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成は、１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩと表現したが、回路の集積度の違いによっては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称呼されることもある。また、集積回路化の手法は、ＬＳＩに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行ってもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー（ＲｅＣｏｎｆｉｇｕｒａｂｌｅ　Ｐｒｏｃｅｓｓｏｒ）を用いてもよい。あるいは、これらの機能ブロックの演算は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などを用いて演算することもできる。さらに、これらの処理ステップはプログラムとして記録媒体に記録して実行することで処理することもできる。

　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適応などが可能性としてあり得る。

　（１０）上記実施の形態及び変形例を組み合わせるとしてもよい。

　８．補足
　（１）本発明の一実施態様である、一の番組についての画像列を符号化して、送信する送信装置は、参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１符号化方式により、前記画像列に含まれる各２Ｄ画像を符号化する第１符号化手段と、前記２Ｄ画像それぞれに関連する画像を、対応する２Ｄ画像を参照画像とする第２符号化方式で符号化する第２符号化手段と、前記第１符号化手段及び前記第２符号化手段それぞれにより符号化された各画像をトランスポートストリームとして多重化する多重化手段と、前記トランスポートストリームを送信する送信手段とを備え、前記２Ｄ画像は、ＭＰＥＧ－２　Ｖｉｄｅｏ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２　Ｖｉｄｅｏ）方式で符号化及び復号されるものであり、前記２Ｄ画像に関連する画像は、ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する符号化方式で符号化及び復号され、且つディペンデントビュービデオストリームに含まれるものであり、前記第２符号化手段は、ディペンデントビュービデオストリームに含まれる画像を符号化する際に、ベースビュービデオストリームに含まれる画像を参照する代わりに、前記２Ｄ画像の列のうち、対応する２Ｄ画像を参照することを特徴とする。

　この構成によると、送信装置は、第１符号化方式により符号化したＭＰＥＧ－２ビデオストリームのピクチャを参照して、ＭＰＥＧ－４　ＭＶＣのディペンデントビュービデオストリームにおけるピクチャの符号化を行う。そのため、受信側の装置では、ＭＰＥＧ－２ビデオストリームのピクチャを参照して、ＭＰＥＧ－４　ＭＶＣのディペンデントビュービデオストリームのピクチャを復号することで、放送側が意図する画像、つまり符号化前と誤差のない画像を得ることができるとともに、３Ｄ再生においても放送側が意図する立体視が得られる。

　（２）ここで、前記多重化手段は、前記トランスポートストリームに、前記第１符号化方式により符号化された旨を示す符号化情報を含めるよう前記多重化を行うとしてもよい。

　この構成によると、送信装置は、前記第１符号化方式により符号化された旨を示す符号化情報を、送信するので、受信側の装置では、第１符号化方式により符号化したことを示す符号化情報が含められたトランスポートストリームを復号する際には誤差の生じない復号方式を用いることで、符号化前と誤差のない画像を得ることができる。そのため、例えば、２Ｄ画像を一の視点とし、当該２Ｄ画像を参照して、符号化前と誤差のない画像を他の視点とすることで、放送側の意図する３Ｄ映像を再生できる。

　（３）ここで、前記多重化手段は、生成すべきトランスポートストリームとして多重化されるＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）に前記符号化情報を格納するとしてもよい。

　この構成によると、送信装置は、符号化情報をＰＭＴに格納するので、受信側の装置では、映像のストリームをデコードする前に当該符号化情報の有無を確認することができる。

　（４）ここで、前記２Ｄ画像は、立体視する場合における一の視点での画像であり、前記２Ｄ画像に関連する画像は、立体視する場合における他の視点での画像であるとしてもよい。

　この構成によると、送信装置は、２Ｄ画像を一の視点とし、前記２Ｄ画像に関連する画像を他の視点として、それぞれ符号化することで、受信側の装置は、放送側の意図する３Ｄ映像を再生できる。

　（５）ここで、前記多重化手段は、前記画像列に含まれる前記２Ｄ画像毎に、当該２Ｄ画像に対応するビデオアクセスユニットに前記符号化情報を格納するとしてもよい。

　この構成によると、送信装置は、符号化情報を画像毎に、対応するビデオアクセスユニットに格納するので、受信側の装置では、画像毎に当該符号化情報の有無を確認することができる。これにより、送信装置は、画像単位に、放送側が意図する映像を受信側の装置に提供することができる。

　（６）ここで、前記多重化手段は、各２Ｄ画像の符号化時に相関関係のある２Ｄ画像の集合であるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）毎に、前記符号化情報を当該ＧＯＰに含まれるＧＯＰヘッダに格納するとしてもよい。

　この構成によると、送信装置は、２Ｄ画像についてのＧＯＰ単位に、符号化情報を格納するので、受信側の装置では、ＧＯＰ単位に符号化情報の有無を確認できる。

　（７）ここで、前記多重化手段は、前記ディペンデントビュービデオストリームに含まれる画像毎に、当該画像に対応するアクセスユニットに前記符号化情報を格納するとしてもよい。

　この構成によると、送信装置は、符号化情報をアクセスユニットに格納するので、受信側の装置では、ディペンデントビュービデオストリーム内の各画像のアクセスユニットについて当該符号化情報の有無を確認することができる。

　（８）ここで、前記多重化手段は、前記ディペンデントビュービデオストリームに含まれる画像の符号化時に相関関係のある画像の集合であるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）毎に、当該ＧＯＰに含まれる先頭の画像に対応するアクセスユニットに前記符号化情報を格納するとしてもよい。

　この構成によると、送信装置は、ディペンデントビュービデオストリームについてのＧＯＰ単位に、符号化情報を格納するので、受信側の装置では、ＧＯＰ単位に符号化情報の有無を確認できる。

　（９）ここで、前記多重化手段は、符号化された各２Ｄ画像をＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）パケット化する際に、前記符号化情報をＰＥＳヘッダに格納するとしてもよい。

　この構成によると、送信装置は、符号化情報をＰＥＳヘッダに格納するので、受信側の装置では、ＰＥＳヘッダについて当該符号化情報の有無を確認することができる。

　（１０）ここで、前記多重化手段は、前記符号化情報を、生成すべきトランスポートストリームとして多重化されるＥＩＴ（Ｅｖｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）に格納するとしてもよい。

　この構成によると、送信装置は、ＥＩＴに符号化情報を格納するので、受信側の装置では、番組の開始前に当該符号化情報の有無を確認することができる。

　（１１）ここで、前記第１符号化手段は、前記第１符号化方式の代わりに、参照画像を生成する際に符号化前の画像との誤差を許容する逆離散コサイン変換が用いられる複数の符号化方式のうち一の符号化方式により、前記画像列に含まれる各２Ｄ画像を符号化し、前記多重化手段は、前記トランスポートストリームに、前記一の符号化方式により符号化された旨を示す識別情報を含めるよう前記多重化を行うとしてもよい。

　この構成によると、送信装置は、複数の符号化方式のうち一の符号化方式により符号化された旨を示す識別情報を送信するので、受信側の装置では、複数の符号化方式のうちどの符号化方式により符号化が行われたかを知ることができるので、受信側の装置は、符号化が行われた符号化方式に対応する復号方式で復号できるかどうか判断することができる。

　（１２）ここで、ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する前記符号化方式は、ＭＰＥＧ－４　ＭＶＣ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－４　Ｍｕｌｔｉ　Ｖｉｅｗ　Ｃｏｄｉｎｇ）方式であるとしてもよい。

　この構成によると、送信装置は、前記２Ｄ画像に関連する画像を、ＭＰＥＧ－４　ＭＶＣ方式で符号化することができる。

　（１３）本発明の一実施態様である、符号化された画像を受信する受信装置は、参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１符号化方式により符号化された２Ｄ画像の列と、２Ｄ画像を参照画像とする第２符号化方式で符号化された、２Ｄ画像それぞれに関連する画像からなる列とを含むトランスポートストリームを受信する受信手段と、前記トランスポートストリームに含まれる符号化された２Ｄ画像それぞれについて、参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１復号方式による復号を行う第１復号手段と、前記トランスポートストリームに含まれる、２Ｄ画像それぞれに関連する画像について、対応する２Ｄ画像を参照画像とする第２復号方式で復号を行う第２復号手段とを備え、前記２Ｄ画像は、ＭＰＥＧ－２　Ｖｉｄｅｏ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２　Ｖｉｄｅｏ）方式で符号化及び復号されるものであり、前記２Ｄ画像に関連する画像は、ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する符号化方式で符号化及び復号され、且つディペンデントビュービデオストリームに含まれるものであり、前記第２復号手段は、画像を復号する際に、ベースビュービデオストリームに含まれる画像を参照する代わりに、前記２Ｄ画像の列のうち、対応する２Ｄ画像を参照することを特徴とする。

　この構成によると、受信装置は、ＭＰＥＧ－２ビデオストリームのピクチャを参照して、ＭＰＥＧ－４　ＭＶＣのディペンデントビュービデオストリームにおけるピクチャの復号を行うので、放送側が意図する画像、つまり符号化前と誤差のない画像を得ることができるとともに、３Ｄ再生においても放送側が意図する立体視が得られる。

　（１４）ここで、前記トランスポートストリームには、各２Ｄ画像が前記第１符号化方式による符号化がされている場合にはその旨を示す符号化情報が含まれ、前記受信装置は、さらに、前記トランスポートストリームに前記符号化情報が含まれているか否かを判定する判定手段を備え、前記第１復号手段は、前記符号化情報が含まれていると判定される場合に、前記第１復号方式による前記復号を行うとしてもよい。

　この構成によると、受信装置は、第１符号化方式により符号化したことを示す符号化情報がトランスポートストリームに含まれている場合には、トランスポートストリームを復号する際には誤差の生じない復号方式を用いるので、符号化前と誤差のない画像を得ることができる。そのため、例えば、２Ｄ画像を一の視点とし、当該２Ｄ画像を参照して、符号化前と誤差のない画像を他の視点とすることで、放送側の意図する３Ｄ映像を再生できる。

　（１５）ここで、前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、トランスポートストリームに含まれるＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）に格納されており、前記判定手段は、前記第１復号手段及び前記第２復号手段による画像の復号が開始される前に、前記ＰＭＴに前記符号化情報が格納されているか否かを判定するとしてもよい。

　この構成によると、受信装置は、符号化情報はＰＭＴに格納されているので、映像のストリームをデコードする前に当該符号化情報の有無を確認することができる。

　（１６）ここで、前記２Ｄ画像は、立体視する場合における一の視点での画像であり、前記２Ｄ画像に関連する画像は、立体視する場合における他の視点での画像であるとしてもよい。

　この構成によると、受信装置は、２Ｄ画像を一の視点とし、前記２Ｄ画像に関連する画像を他の視点として、それぞれ符号化されたストリームを復号するので、放送側の意図する３Ｄ映像を再生できる。

　（１７）ここで、前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、トランスポートストリームに含まれる２Ｄ画像毎に当該２Ｄ画像に対応するビデオアクセスユニットに格納されており、前記判定手段は、前記第１復号手段及び前記第２復号手段による画像の復号時に復号対象の画像のビデオアクセスユニットに前記符号化情報が格納されているか否かを判定するとしてもよい。

　この構成によると、符号化情報を画像毎に対応するビデオアクセスユニットが格納されているので、受信装置は、画像毎に当該符号化情報の有無を確認することができる。これにより、受信装置は、画像単位に、放送側が意図する映像を復号することができる。

　（１８）ここで、前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、各２Ｄ画像の符号化時において相関関係のある２Ｄ画像の集合であるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）毎に、当該ＧＯＰに含まれるＧＯＰヘッダに格納されており、前記判定手段は、ＧＯＰ単位で復号が行われる際に、当該ＧＯＰに含まれる前記ＧＯＰヘッダに前記符号化情報が格納されているか否かを判定するとしてもよい。

　この構成によると、受信装置は、２Ｄ画像についてのＧＯＰ単位に、符号化情報の有無を確認できる。

　（１９）ここで、前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、前記ディペンデントビュービデオストリームに含まれる画像毎に対応するアクセスユニットに格納されており、前記判定手段は、前記第１復号手段で２Ｄ映像が復号される際に、復号対象の２Ｄ画像に関連する画像に対応する前記アクセスユニットに前記符号化情報が格納されているか否かを判定するとしてもよい。

　この構成によると、受信装置は、ディペンデントビュービデオストリーム内の各画像のアクセスユニットにおいて当該符号化情報の有無を確認することができる。

　（２０）ここで、前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、前記ディペンデントビュービデオストリームに含まれる画像の符号化時において相関関係のある画像の集合であるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）毎に、当該ＧＯＰに含まれる先頭の画像に対応するアクセスユニットに格納されており、前記判定手段は、ＧＯＰ単位で復号が行われる際に、当該ＧＯＰに含まれる先頭の画像に対応する前記アクセスユニットに前記符号化情報が格納されているか否かを判定するとしてもよい。

　この構成によると、受信装置は、ディペンデントビュービデオストリームについてのＧＯＰ単位に、符号化情報の有無を確認できる。

　（２１）ここで、前記符号化情報は、各２Ｄ画像が前記第１復号方式による符号化がされている場合には、前記トランスポートストリームを構成する各２Ｄ画像のＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）それぞれについて、当該ＰＥＳに含まれるＰＥＳヘッダに格納されており、前記判定手段は、前記第１復号手段で２Ｄ映像が復号される際に、復号対象の２Ｄ画像に対する前記ＰＥＳヘッダに前記符号化情報が格納されているか否かを判定するとしてもよい。

　この構成によると、受信装置は、ＰＥＳヘッダについて当該符号化情報の有無を確認することができる。

　（２２）ここで、前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、トランスポートストリームに含まれるＥＩＴ（Ｅｖｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）に格納されており、前記判定手段は、前記受信手段が番組を構成するトランスポートストリームを受信開始した時、又は受信開始前に、前記ＥＩＴに前記符号化情報が格納されているか否かを判定するとしてもよい。

　この構成によると、受信装置は、ＥＩＴに符号化情報が格納されているので、番組開始前に符号化情報の有無を確認することができる。

　（２３）ここで、前記トランスポートストリームには、前記第１符号化方式により符号化された前記２Ｄ画像の列の代わりに、参照画像を生成する際に符号化前の画像との誤差を許容する逆離散コサイン変換が用いられる複数の符号化方式のうち一の符号化方式により符号化された前記２Ｄ画像の列と、当該一の符号化方式により前記２Ｄ画像の列が符号化された旨を示す識別情報が含まれており、前記受信装置は、さらに、前記トランスポートストリームに前記識別情報が含まれているか否かを判定する判定手段を備え、前記第１復号手段は、前記第１復号方式による前記復号を行う代わりに、前記識別情報が含まれていると判定される場合に、前記一の符号化方式に対応する復号方式により、当該一の符号化方式により符号化された前記２Ｄ画像の列を復号するとしてもよい。

　この構成によると、受信装置は、複数の符号化方式のうち一の符号化方式により符号化された旨を示す識別情報を受信することで、複数の符号化方式のうちどの符号化方式により符号化が行われたかを知ることができる。そのため、受信装置は、符号化が行われた符号化方式に対応する復号方式で復号できるかどうか判断することができる。

　（２４）ここで、ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する前記符号化方式は、ＭＰＥＧ－４　ＭＶＣ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－４　Ｍｕｌｔｉ　Ｖｉｅｗ　Ｃｏｄｉｎｇ）方式であるとしてもよい。

　この構成によると、受信装置は、前記２Ｄ画像に関連する画像を、ＭＰＥＧ－４　ＭＶＣ方式で復号することができる。

　本発明は、２Ｄ番組及び３Ｄ番組を１つのストリームとして送信する装置、及び受信する装置に適用することが可能である。

　　　１０　　３Ｄデジタルテレビ（再生装置、受信装置）
　２７０１　　送信装置
　２７０２　　２Ｄ互換ビデオエンコーダ
　２７０３　　２Ｄ互換ビデオデコーダ
　２７０４　　拡張マルチビュービデオエンコーダ
　２７０５　　ベースビュービデオエンコーダ
　２７０８　　２Ｄ互換ビデオフレームメモリ
　２７０９　　ディペンデントビュービデオエンコーダ
　２７１０　　マルチプレクサ
　２７１１　　送信部
　２８０１、２８０９、２９０１、２９０９　　メモリ
　２８０２、２９０２　　減算器
　２８０３、２９０３　　ＤＣＴ部
　２８０４、２９０４　　量子化部
　２８０５、２９０５　　可変長符号化部
　２８０６、２９０６　　逆量子化部
　２８０７、２９０７　　逆ＤＣＴ部
　２８０８、２９０８　　加算器
　３１０１　　ＰＩＤフィルタ
　３１０２　　２Ｄ互換ビデオデコーダ
　３１０３　　拡張マルチビュービデオデコーダ
　３１０４　　第１プレーン
　３１０５　　第２プレーン
　３１１１、３１３１　　分離部
　３１１２　　判断部
　３１１３、３１３２、３１３５　　ＴＢ
　３１１４、３１３３、３１３６　　ＭＢ
　３１１５、３１３４、３１３７　　ＥＢ
　３１１６　　２Ｄ互換ビデオ圧縮映像デコーダ
　３１１７　　Ｏ（Ｒｅ－ｏｒｄｅｒｉｎｇ　Ｂｕｆｆｅｒ）
　３１１８　　出力処理部
　３１１９　　スイッチ
　３１３８　　デコードスイッチ
　３１３９　　ビュー間参照バッファ
　３１４０　　マルチビュービデオ圧縮映像デコーダ
　３１４１　　ＤＰＢ
　３１４２　　出力処理部
　３１４３　　出力プレーンスイッチ

Claims

　一の番組についての画像列を符号化して、送信する送信装置であって、
　参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１符号化方式により、前記画像列に含まれる各２Ｄ画像を符号化する第１符号化手段と、
　前記２Ｄ画像それぞれに関連する画像を、対応する２Ｄ画像を参照画像とする第２符号化方式で符号化する第２符号化手段と、
　前記第１符号化手段及び前記第２符号化手段それぞれにより符号化された各画像をトランスポートストリームとして多重化する多重化手段と、
　前記トランスポートストリームを送信する送信手段とを備え、
　前記２Ｄ画像は、ＭＰＥＧ－２　Ｖｉｄｅｏ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２　Ｖｉｄｅｏ）方式で符号化及び復号されるものであり、
　前記２Ｄ画像に関連する画像は、ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する符号化方式で符号化及び復号され、且つディペンデントビュービデオストリームに含まれるものであり、
　前記第２符号化手段は、ディペンデントビュービデオストリームに含まれる画像を符号化する際に、ベースビュービデオストリームに含まれる画像を参照する代わりに、前記２Ｄ画像の列のうち、対応する２Ｄ画像を参照する
　ことを特徴とする送信装置。
　前記多重化手段は、
　前記トランスポートストリームに、前記第１符号化方式により符号化された旨を示す符号化情報を含めるよう前記多重化を行う
　ことを特徴とする請求項１に記載の送信装置。
　前記多重化手段は、生成すべきトランスポートストリームとして多重化されるＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）に前記符号化情報を格納する
　ことを特徴とする請求項２に記載の送信装置。
　前記２Ｄ画像は、立体視する場合における一の視点での画像であり、
　前記２Ｄ画像に関連する画像は、立体視する場合における他の視点での画像である
　ことを特徴とする請求項３に記載の送信装置。
　前記多重化手段は、前記画像列に含まれる前記２Ｄ画像毎に、当該２Ｄ画像に対応するビデオアクセスユニットに前記符号化情報を格納する
　ことを特徴とする請求項２に記載の送信装置。
　前記多重化手段は、各２Ｄ画像の符号化時に相関関係のある２Ｄ画像の集合であるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）毎に、前記符号化情報を当該ＧＯＰに含まれるＧＯＰヘッダに格納する
　ことを特徴とする請求項２に記載の送信装置。
　前記多重化手段は、前記ディペンデントビュービデオストリームに含まれる画像毎に、当該画像に対応するアクセスユニットに前記符号化情報を格納する
　ことを特徴とする請求項２に記載の送信装置。
　前記多重化手段は、前記ディペンデントビュービデオストリームに含まれる画像の符号化時に相関関係のある画像の集合であるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）毎に、当該ＧＯＰに含まれる先頭の画像に対応するアクセスユニットに前記符号化情報を格納する
　ことを特徴とする請求項２に記載の送信装置。
　前記多重化手段は、符号化された各２Ｄ画像をＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）パケット化する際に、前記符号化情報をＰＥＳヘッダに格納する
　ことを特徴とする請求項２に記載の送信装置。
　前記多重化手段は、
　前記符号化情報を、生成すべきトランスポートストリームとして多重化されるＥＩＴ（Ｅｖｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）に格納する
　ことを特徴とする請求項２に記載の送信装置。
　前記第１符号化手段は、前記第１符号化方式の代わりに、参照画像を生成する際に符号化前の画像との誤差を許容する逆離散コサイン変換が用いられる複数の符号化方式のうち一の符号化方式により、前記画像列に含まれる各２Ｄ画像を符号化し、
　前記多重化手段は、
　前記トランスポートストリームに、前記一の符号化方式により符号化された旨を示す識別情報を含めるよう前記多重化を行う
　ことを特徴とする請求項１に記載の送信装置。
　ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する前記符号化方式は、ＭＰＥＧ－４　ＭＶＣ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－４　Ｍｕｌｔｉ　Ｖｉｅｗ　Ｃｏｄｉｎｇ）方式である
　ことを特徴とする請求項１に記載の送信装置。
　符号化された画像を受信する受信装置であって、
　参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１符号化方式により符号化された２Ｄ画像の列と、２Ｄ画像を参照画像とする第２符号化方式で符号化された、２Ｄ画像それぞれに関連する画像からなる列とを含むトランスポートストリームを受信する受信手段と、
　前記トランスポートストリームに含まれる符号化された２Ｄ画像それぞれについて、参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１復号方式による復号を行う第１復号手段と、
　前記トランスポートストリームに含まれる、２Ｄ画像それぞれに関連する画像について、対応する２Ｄ画像を参照画像とする第２復号方式で復号を行う第２復号手段とを備え、
　前記２Ｄ画像は、ＭＰＥＧ－２　Ｖｉｄｅｏ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２　Ｖｉｄｅｏ）方式で符号化及び復号されるものであり、
　前記２Ｄ画像に関連する画像は、ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する符号化方式で符号化及び復号され、且つディペンデントビュービデオストリームに含まれるものであり、
　前記第２復号手段は、画像を復号する際に、ベースビュービデオストリームに含まれる画像を参照する代わりに、前記２Ｄ画像の列のうち、対応する２Ｄ画像を参照する
　ことを特徴とする受信装置。
　前記トランスポートストリームには、各２Ｄ画像が前記第１符号化方式による符号化がされている場合にはその旨を示す符号化情報が含まれ、
　前記受信装置は、さらに、
　前記トランスポートストリームに前記符号化情報が含まれているか否かを判定する判定手段を備え、
　前記第１復号手段は、前記符号化情報が含まれていると判定される場合に、前記第１復号方式による前記復号を行う
　ことを特徴とする請求項１３に記載の受信装置。
　前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、トランスポートストリームに含まれるＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）に格納されており、
　前記判定手段は、前記第１復号手段及び前記第２復号手段による画像の復号が開始される前に、前記ＰＭＴに前記符号化情報が格納されているか否かを判定する
　ことを特徴とする請求項１４に記載の受信装置。
　前記２Ｄ画像は、立体視する場合における一の視点での画像であり、
　前記２Ｄ画像に関連する画像は、立体視する場合における他の視点での画像である
　ことを特徴とする請求項１５に記載の受信装置。
　前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、トランスポートストリームに含まれる２Ｄ画像毎に当該２Ｄ画像に対応するビデオアクセスユニットに格納されており、
　前記判定手段は、前記第１復号手段及び前記第２復号手段による画像の復号時に復号対象の画像のビデオアクセスユニットに前記符号化情報が格納されているか否かを判定する
　ことを特徴とする請求項１４に記載の受信装置。
　前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、各２Ｄ画像の符号化時において相関関係のある２Ｄ画像の集合であるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）毎に、当該ＧＯＰに含まれるＧＯＰヘッダに格納されており、
　前記判定手段は、ＧＯＰ単位で復号が行われる際に、当該ＧＯＰに含まれる前記ＧＯＰヘッダに前記符号化情報が格納されているか否かを判定する
　ことを特徴とする請求項１４に記載の受信装置。
　前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、前記ディペンデントビュービデオストリームに含まれる画像毎に対応するアクセスユニットに格納されており、
　前記判定手段は、前記第１復号手段で２Ｄ映像が復号される際に、復号対象の２Ｄ画像に関連する画像に対応する前記アクセスユニットに前記符号化情報が格納されているか否かを判定する
　ことを特徴とする請求項１４に記載の受信装置。
　前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、前記ディペンデントビュービデオストリームに含まれる画像の符号化時において相関関係のある画像の集合であるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）毎に、当該ＧＯＰに含まれる先頭の画像に対応するアクセスユニットに格納されており、
　前記判定手段は、ＧＯＰ単位で復号が行われる際に、当該ＧＯＰに含まれる先頭の画像に対応する前記アクセスユニットに前記符号化情報が格納されているか否かを判定する
　ことを特徴とする請求項１４に記載の受信装置。
　前記符号化情報は、各２Ｄ画像が前記第１復号方式による符号化がされている場合には、前記トランスポートストリームを構成する各２Ｄ画像のＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）それぞれについて、当該ＰＥＳに含まれるＰＥＳヘッダに格納されており、
　前記判定手段は、前記第１復号手段で２Ｄ映像が復号される際に、復号対象の２Ｄ画像に対する前記ＰＥＳヘッダに前記符号化情報が格納されているか否かを判定する
　ことを特徴とする請求項１４に記載の受信装置。
　前記符号化情報は、各２Ｄ画像が前記第１符号化方式による符号化がされている場合には、トランスポートストリームに含まれるＥＩＴ（Ｅｖｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）に格納されており、
　前記判定手段は、前記受信手段が番組を構成するトランスポートストリームを受信開始した時、又は受信開始前に、前記ＥＩＴに前記符号化情報が格納されているか否かを判定する
　ことを特徴とする請求項１４に記載の受信装置。
　前記トランスポートストリームには、前記第１符号化方式により符号化された前記２Ｄ画像の列の代わりに、参照画像を生成する際に符号化前の画像との誤差を許容する逆離散コサイン変換が用いられる複数の符号化方式のうち一の符号化方式により符号化された前記２Ｄ画像の列と、当該一の符号化方式により前記２Ｄ画像の列が符号化された旨を示す識別情報が含まれており、
　前記受信装置は、さらに、
　前記トランスポートストリームに前記識別情報が含まれているか否かを判定する判定手段を備え、
　前記第１復号手段は、前記第１復号方式による前記復号を行う代わりに、前記識別情報が含まれていると判定される場合に、前記一の符号化方式に対応する復号方式により、当該一の符号化方式により符号化された前記２Ｄ画像の列を復号する
　ことを特徴とする請求項１３に記載の受信装置。
　ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する前記符号化方式は、ＭＰＥＧ－４　ＭＶＣ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－４　Ｍｕｌｔｉ　Ｖｉｅｗ　Ｃｏｄｉｎｇ）方式である
　ことを特徴とする請求項１３に記載の受信装置。
　第１符号化手段と第２符号化手段と多重化手段と送信手段とを備え、一の番組についての画像列を符号化して、送信する送信装置で用いられる送信方法であって、
　前記第１符号化手段が、参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１符号化方式により、前記画像列に含まれる各２Ｄ画像を符号化する第１符号化ステップと、
　前記第２符号化手段が、前記２Ｄ画像それぞれに関連する画像を、対応する２Ｄ画像を参照画像とする第２符号化方式で符号化する第２符号化ステップと、
　前記多重化手段が、前記第１符号化ステップ及び前記第２符号化ステップそれぞれにより符号化された各画像をトランスポートストリームとして多重化する多重化ステップと、
　前記送信手段が、前記トランスポートストリームを送信する送信ステップとを含み、
　前記２Ｄ画像は、ＭＰＥＧ－２　Ｖｉｄｅｏ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２　Ｖｉｄｅｏ）方式で符号化及び復号されるものであり、
　前記２Ｄ画像に関連する画像は、ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する符号化方式で符号化及び復号され、且つディペンデントビュービデオストリームに含まれるものであり、
　前記第２符号化ステップは、ディペンデントビュービデオストリームに含まれる画像を符号化する際に、ベースビュービデオストリームに含まれる画像を参照する代わりに、前記２Ｄ画像の列のうち、対応する２Ｄ画像を参照する
　ことを特徴とする送信方法。
　受信手段と判定手段と第１復号手段と第２復号手段とを備え、符号化された画像を受信する受信装置で用いられる受信方法であって、
　前記受信手段が、　参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１符号化方式により符号化された２Ｄ画像の列と、２Ｄ画像を参照画像とする第２符号化方式で符号化された、２Ｄ画像それぞれに関連する画像からなる列とを含むトランスポートストリームを受信する受信ステップと、
　前記第１復号手段が、前記トランスポートストリームに含まれる符号化された２Ｄ画像それぞれについて、参照画像を生成する際に符号化前の画像と誤差が生じない逆離散コサイン変換が用いられる第１復号方式による復号を行う第１復号ステップと、
　前記第２復号手段が、前記トランスポートストリームに含まれる、２Ｄ画像それぞれに関連する画像について、対応する２Ｄ画像を参照画像とする第２復号方式で復号を行う第２復号ステップとを含み、
　前記２Ｄ画像は、ＭＰＥＧ－２　Ｖｉｄｅｏ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２　Ｖｉｄｅｏ）方式で符号化及び復号されるものであり、
　前記２Ｄ画像に関連する画像は、ベースビュービデオストリームと、当該ベースビュービデオストリームを参照してディペンデントビュービデオストリームとを生成する符号化方式で符号化及び復号され、且つディペンデントビュービデオストリームに含まれるものであり、
　前記第２復号ステップは、画像を復号する際に、ベースビュービデオストリームに含まれる画像を参照する代わりに、前記２Ｄ画像の列のうち、対応する２Ｄ画像を参照する
　ことを特徴とする受信方法。