WO2013021656A1

WO2013021656A1 - 再生装置、再生方法、集積回路、放送システム、及び放送方法

Info

Publication number: WO2013021656A1
Application number: PCT/JP2012/005088
Authority: WO
Inventors: 泰治佐々木; 洋矢羽田; 智輝小川; 上坂　靖; 和寛持永
Original assignee: パナソニック株式会社
Priority date: 2011-08-11
Filing date: 2012-08-09
Publication date: 2013-02-14
Also published as: EP2744197A4; CN103125123A; EP2744197A1; US20130235270A1; JP5979499B2; JPWO2013021656A1; US8773584B2; CN103125123B

Abstract

　本発明は、放送映像と追加映像とを結合して１個の結合映像を生成し表示する場合に、追加映像として放送映像との固定の相対位置から定まる映像ではない任意の映像を用いることができる再生装置を提供する。再生装置は、原映像を再生する再生装置であって、前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出した放送画像群から成る放送映像を放送波から取得する第１受信手段と、前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を受信する第２受信手段と、前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を取得する配置情報取得手段と、前記配置情報に基づき、前記放送画像群と前記残画像群とを配置することにより前記フレーム画像群を生成し、表示する再生手段とを備える。

Description

再生装置、再生方法、集積回路、放送システム、及び放送方法

　本発明は、放送波により受信する映像と、ネットワークを用いて受信する映像とを結合し、１つの映像として表示する技術に関する。

　近年、放送事業者などにより、放送サービスを中心にしながら、通信を活用して放送サービスを強化するという観点に基づいた、放送と通信のハイブリッドサービスが検討されている。このハイブリッドサービスを提供するための技術の一例として、非特許文献１には、放送波により送られてくる放送番組と、ネットワーク経由で送られてくるコンテンツとを受信機で受信し、同期させ、合成して提示する技術（「Hybridcast（登録商標）」）が開示されている。

　この技術を用いれば、例えば、受信機が、放送により送信される放送映像と、ネットワーク経由で送信される追加映像とを受信し、放送映像を右に、追加映像を左に並べて1枚の結合映像として表示することで、放送波により送信される映像をよりワイドにした映像を表示することができる。また、上述の技術に対応していない受信機（以下、「レガシー受信機」という。）では、放送波により送信される映像のみ受信して表示できることから、レガシー受信機に対する互換性も確保できる。

松村欣司、金次保明、「ＨｙｂｒｉｄｃａｓｔTM　の概要と技術」、ＮＨＫ技研Ｒ＆Ｄ　Ｎｏ．１２４　２０１０年

　ところで、放送映像は、レガシー受信機においても再生されるものであり、被写体として重要度の高いものが映っている重要度の高い映像である場合が多い。例えば、サッカー中継の例であれば、放送映像は、おおよそサッカーボール周辺が映された映像となる。

　一方で、追加映像は、例えば放送映像の左側に並べる映像というような、放送映像との固定の相対位置から内容が定まり、重要度が低い映像になってしまう場合がある。例えば、サッカー中継の例であれば、放送映像が、視聴者から見て左側のゴール周囲の映像となった場合に、追加映像が、視聴者から見て左側のゴールのさらに左側の観客席ばかりを映すこととなるような場合である。

　この場合、放送映像と追加映像とを結合した結合映像においても、重要度の低い領域の割合が多くなってしまう。

　本発明は、係る問題に鑑みてなされたものであり、追加映像として放送映像との固定の相対位置から定まる映像ではない任意の映像が用いられた場合にも、放送映像と追加映像とを結合して１個の結合映像を生成し表示することができる再生装置を提供することを目的とする。

　上記課題を解決するために、本発明に係る再生装置は、原映像を再生する再生装置であって、前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出した放送画像群から成る放送映像を放送波から取得する第１受信手段と、前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を受信する第２受信手段と、前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を取得する配置情報取得手段と、前記配置情報に基づき、前記放送画像群と前記残画像群とを配置することにより前記フレーム画像群を生成し、表示する再生手段とを備える。

　上述の構成により、本発明に係る再生装置は、放送映像と、放送映像との固定の相対位置から定まる映像ではない任意の映像である追加映像とを用いて、原映像を再生することができる。

本発明の一実施形態に係る放送システムの構成を示すブロック図本発明の一実施形態に係る再生システムの構成を示すブロック図映像を分離する処理について説明するための図映像配置設定データの一例を示す図映像配置設定データのトランスポートストリームへの格納について説明するための図放送システムによる映像送信処理の手順を示すフローチャート再生装置における映像の合成について説明するための図再生装置による映像再生処理の手順を示すフローチャート本発明の変形例に係る画像の分割と合成及び、映像配置設定データについて示す図本発明の変形例に係る画像の分割と合成及び、映像配置設定データについて示す図本発明の変形例に係る画像の分割と合成及び、映像配置設定データについて示す図本発明の変形例に係る、マクロブロックが画像の境界を跨ぐ場合について説明するための図ＭＰＥＧ－４　ＭＶＣによる符号化方式を説明するための図本発明の変形例に係る、放送映像を基本ビュービデオストリームとして符号化し、超ワイド映像を拡張ビュービデオストリームとして符号化する場合について説明するための図本発明の変形例に係る、放送映像を拡大した拡大映像をビュー間参照して、超ワイド映像を圧縮符号化する場合について説明するための図本発明の変形例に係るシステムの構成を示すブロック図本発明の変形例に係る（ａ）マルチアングルサービスの一例を示す図、（ｂ）別視点映像情報の一例を示す図本発明の変形例に係る別視点映像情報を示す図（ａ）本発明の変形例に係るインデックス映像を用いた別視点映像の選択について説明するための図、（ｂ）別視点映像情報の一例を示す図本発明の変形例に係る追加ストリームデコード部の構成を示す図、（ａ）構成１を示す図、（ｂ）構成２を示す図、（ｃ）構成３を示す図本発明の変形例に係る再生装置の構成を示すブロック図放送映像と追加映像の受信、再生を複数の装置で分担する場合について説明するための図ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームの構成を示す図ＰＥＳパケット列にビデオストリームがどのように格納されるかを示す図ビデオストリームのピクチャの参照関係を示す図ビデオストリームの階層構造を示す図ビデオアクセスユニットの構成を示す図クロッピング領域について説明するための図クロッピング領域について説明するための図ＴＳパケットのデータ構造を示す図ＰＭＴのデータ構造を示す図放送映像と追加映像とを単純に結合する場合について説明するための図本発明の変形例に係る放送システムの構成を示すブロック図本発明の変形例に係る再生装置の構成を示すブロック図本発明の変形例に係るシステムの構成を示すブロック図本発明の変形例に係る再生装置の構成を示すブロック図本発明の変形例に係る放送システムの構成を示すブロック図本発明の変形例に係る再生装置の構成を示すブロック図本発明の変形例に係るシステムの構成を示すブロック図本発明の変形例に係る再生装置の構成を示すブロック図

＜１．概要＞
　以下、本発明の一実施の形態に係るコンテンツ放送受信システムについて説明する。

　コンテンツ放送受信システムは、放送システムと、再生装置とを含んで構成される。

　放送システムは、コンテンツを放送により送信し（以下、放送により送信されるコンテンツを「放送コンテンツ」という。）、放送コンテンツに関連するコンテンツ（以下、「追加コンテンツ」という。）をネットワーク通信により送信する。本実施形態では、コンテンツの一例として、映像を用いる。すなわち、放送コンテンツは、放送映像であり、追加コンテンツは、追加映像である。

　再生装置は、放送映像及び追加映像を受信し、結合して再生する。

　コンテンツ放送受信システムは、追加映像を受信し再生する機能のない再生装置（レガシー装置）との互換性を考慮したものとなっている。すなわち、放送システムは、放送映像を、レガシー装置により受信、再生できるフォーマットで送信している。

　ここで、図３２を用いて、放送映像と追加映像とを単純に結合する場合について説明する。

　なお、図３２の被写体は、サッカーの試合が行われているサッカー場である。本実施形態では、サッカー場を撮影して放送する場合に、被写体としての重要度は、「サッカーボール」が最も高く、次いで、スポンサー等の関係などから「広告」が２番目に高いこととするが、あくまで一例であり、これに限るものではない。

　図３２（ａ）は、放送映像３２０１の左側に、追加映像３２０２を単純に結合して、映像３２１１を生成する場合について模式的に示している。

　放送映像３２０１は、最も重要度の高いサッカーボール周辺の風景を映したものとなっている。また、映像３２１１には、最も重要度の高いサッカーボール周辺の風景、２番目に重要度の高い被写体である広告３２０６の全体が映っている。

　ここで、サッカーボールが、図３２（ｂ）に示すようにコートの左側のゴール付近に移動したとする。

　この場合、放送映像３２０３として、最も重要度の高いサッカーボール周辺の風景が映される。また、追加映像３２０４として、放送映像３２０３の左側の風景が映されることになる。そして、再生装置において、放送映像３２０３と追加映像３２０４とを結合し、映像３２１２のような映像を再生することになる。

　そうすると、映像３２１２には、２番目に重要度の高い被写体である広告２３０６の一部しか映らなくなってしまう。すなわち、重要度の低い映像の割合が多くなるのを避けられない。

　本発明は、追加映像として、放送映像との固定の相対位置から定まる映像しか用いることができないことから生じる不都合（例えば、２番目に重要度の高い被写体が表示できなくなるなど）を解消するものである。

　本実施形態では、一例として図３に示すように、原映像として超ワイド映像３１０を撮影し、超ワイド映像３１０のうち任意の範囲の映像を放送映像３１１として選択し、放送ストリームとして送信する。ここで、本実施形態において、超ワイド映像とは、放送波を用いて放送される映像よりもワイドかつ高解像度の映像を撮影したものである。

　また、超ワイド映像３１０のうち、放送映像３１１が抽出された残りの部分の映像３１２、及び映像３１３を結合して生成した追加映像３２０を、追加ストリームとしてネットワークを介して送信する。これにより、追加映像として、放送映像との固定の相対位置から定まる映像以外のものを使用できることとなる。

　再生装置側では、放送映像３１１と、追加映像３２０とから、超ワイド映像３１０を生成し、表示できることとしている。

　以下、本実施形態について、詳細に説明する。
＜２．放送システム１００＞
＜２－１．構成＞
　図１は、放送システム１００の構成を示すブロック図である。

　放送システム１００は、図１に示すように、ワイド映像撮影部１０１、映像分離部１０２、映像配置部１０３、放送ストリーム作成部１０４、及び追加ストリーム作成部１０５を含んで構成される。

　また、放送システム１００は、プロセッサ及びメモリを含んで構成されており、ワイド映像撮影部１０１、映像分離部１０２、映像配置部１０３、放送ストリーム作成部１０４、及び追加ストリーム作成部１０５の機能は、メモリに記憶されているプログラムをプロセッサが実行することにより実現される。

　＜ワイド映像撮影部１０１＞
　ワイド映像撮影部１０１は、放送波を用いて放送される映像よりもワイドかつ高解像度の超ワイド映像を撮影するビデオカメラで構成され、撮影した超ワイド映像に係る映像データを映像分離部１０２に出力する。

　本実施の形態では、一例として、放送波の映像が、横１９２０画素×縦１０８０画素の画素数を有するフルＨＤの映像であり、超ワイド映像が、横３８２０画素×縦１０８０画素の画素数を有する映像であるとする。

　＜映像分離部１０２＞
　映像分離部１０２は、ワイド映像撮影部１０１から超ワイド映像に係る映像データを受け取り、超ワイド映像を、放送波で伝送する映像（以下、「放送映像」という。）と他の映像とに分離する機能（以下、「映像分離機能」という。）を有する。

　（映像分離機能）
　映像分離機能は、映像を構成するフレーム画像それぞれについて、フレーム画像を複数の画像に分離することにより実現する。

　映像分離機能は、選択範囲取得機能と、画像分離機能とから成る。

　（１）選択範囲取得機能
　以下、選択範囲取得機能について、図３を用いて説明する。

　図３の超ワイド映像３１０は、幅がｃ画素、高さがｄ画素の映像である。

　映像分離部１０２は、超ワイド映像３１０において、放送映像として送信すべき範囲（以下、「選択範囲」という。）の指定を取得する。選択範囲は、一例として、ユーザがリモコン等の入力デバイス（図示せず）を操作することにより指定する。

　図３の例で、超ワイド映像３１０における、波線で囲まれた矩形部分内が選択範囲を示している。選択範囲は、具体的には、左上隅の点の座標が（ａ，０）であり、幅が（ｂ－ａ）、高さがｄの矩形で囲まれた範囲である。

　なお、以下では、映像、画像などについて、（ｘ，ｙ）などの座標を示す場合があるが、この座標は映像、画像の左上隅を原点（０，０）とした画素の位置を示している。

　（２）画像分離機能
　以下、画像分離機能について、図３を用いて説明する。

　映像分離部１０２は、超ワイド映像３１０から、選択範囲内の映像３１１を抽出する。映像３１１は、幅がｂ－ａ、高さがｄの矩形映像である。

　映像分離部１０２は、超ワイド映像３１０から映像３１１を抽出した結果として、残余の映像３１２と、映像３１３とを得る。

　また、映像分離部１０２は、選択範囲を示す選択範囲情報を映像配置部１０３に出力する。

　選択範囲情報は、選択範囲の左上隅の点の、ワイド映像における座標と、選択範囲の幅と、選択範囲の高さとを含む。

　＜映像配置部１０３＞
　映像配置部１０３は、映像配置機能を有する。

　映像配置機能は、追加映像生成機能と、映像配置設定データ生成機能とから成る。

　（１）追加映像生成機能
　追加映像生成機能は、映像分離部１０２により超ワイド映像から放送映像を分離した後の残余の映像から、追加映像として通信により送信するための映像を生成する機能である。

　残余の映像は、１個の場合もあるが、複数となる場合もある。

　例えば、映像分離部１０２は、放送波では送信しない、映像３１２と、映像３１３とを結合して映像３２０を生成する。

　ここで、映像３１２は、左上隅の点の座標が（０，０）であり、幅がａ、高さがｄの矩形映像である。映像３１３は、左上隅の点の座標が（ｂ，０）であり、幅がｃ－ｂ、高さがｄの矩形映像である。

　また、追加映像３２０は、映像３１２と映像３１３とを結合したものであり、幅がａ＋（ｃ－ｂ）であり、高さがｄの矩形映像である。

　なお、追加映像を構成する各フレーム画像を矩形にするのは、通常、映像は矩形のフレーム画像から構成されるものであり、追加映像に関し送信、圧縮符号化、復号等を行う場合に、通常のフレーム画像と同様に扱えるようにするためである。

　（２）映像配置設定データ生成機能
　映像配置設定データ生成機能は、映像配置設定データを生成する機能である。

　映像配置設定データは、超ワイド映像を生成するために、放送映像と、残余の映像とをどのように配置すべきかを示す情報である。

　以下、映像配置設定データ生成機能について、具体例に基づき説明する。

　映像分離部１０２は、選択範囲情報を参照し、映像配置設定データを生成する。

　映像配置設定データは、一例として、超ワイド映像３１０を生成するために、放送映像３１１、残余の映像３１２及び映像３１３をどのように配置すべきかを示す。

　図４は、映像配置設定データの一例を示す図である。

　映像配置設定データ４００は、映像分離部１０２が映像を分離することにより生成した放送映像及び残余の各映像についての、矩形ＩＤ、ストリーム領域情報、及び合成位置情報から成る。

　矩形ＩＤは、映像分離部１０２が映像を分離することにより生成した各映像を識別するためのＩＤである。

　矩形ＩＤは、図４の例では、放送映像３１１に対し、値「０」が付され、映像３１２に対し、値「１」が付され、映像３１３に対し、値「２」が付されている。

　ストリーム領域情報は、ストリーム特定情報、ｘ位置、ｙ位置、幅、及び高さから成る。

　ストリーム特定情報は、矩形ＩＤで特定される映像が、放送波、通信のいずれで送信されるかを示す。ストリーム特定情報の値は、放送波で送信される場合には「０」であり、通信で送信される場合には「１」である。

　ｘ位置及びｙ位置は、矩形ＩＤで特定される映像の、放送映像又は追加映像におけるｘ座標及びｙ座標を示す。矩形ＩＤで特定される映像が、放送映像又は追加映像のいずれに含まれるかは、ストリーム特定情報により区別できる。すなわち、ストリーム特定情報が放送波を示す場合、放送映像に含まれることになり、ストリーム特定情報が通信を示す場合、追加映像に含まれることになる。

　幅及び高さは、矩形ＩＤで特定される映像の幅及び高さを示す。

　合成位置情報は、Ｘ位置及びＹ位置から成る。

　Ｘ位置及びＹ位置は、矩形ＩＤで特定される映像の、ワイド映像におけるｘ座標及びｙ座標を示す。

　映像分離部１０２は、例えば、放送映像３１１については、矩形ＩＤに「０」を設定し、ストリーム特定情報に放送波を示す「０」を設定し、ｘ位置に「０」を設定し、ｙ位置に「０」を設定し、幅に「ｂ－ａ」を設定し、高さに「ｄ」を設定し、Ｘ位置に超ワイド画像におけるｘ座標である「ａ」を設定し、Ｙ位置に超ワイド画像におけるｙ座標である「０」を設定する。

　また、映像分離部１０２は、放送映像３１３については、矩形ＩＤに「２」を設定し、ストリーム特定情報に通信を示す「１」を設定し、ｘ位置には、追加映像におけるｘ座標である「ａ」を設定し、ｙ位置には、追加映像におけるｙ座標である「０」を設定し、幅に「ｃ－ｂ」を設定し、高さに「ｄ」を設定し、Ｘ位置に超ワイド映像におけるｘ座標である「ｂ」を設定し、Ｙ位置に超ワイド映像におけるｙ座標である「０」を設定する。

　なお、上記の説明では、映像配置設定データは、超ワイド映像毎に生成されるように記載しているが、実際には、超ワイド映像を構成する１又は複数のフレーム画像毎に生成し、フレーム画像毎の分離、結合の制御を可能としている。

　＜放送ストリーム作成部１０４＞
　放送ストリーム作成部１０４は、放送映像を、放送波で放送できるフォーマットに変換し、出力する機能（以下、「放送ストリーム作成機能」という。）を有する。

　放送ストリーム作成機能として、放送ストリーム作成部１０４は、放送映像を、ＭＰＥＧ－２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　－　２）、ＭＰＥＧ－４　ＡＶＣなど所定のビデオコーデックにより圧縮符号化することでビデオストリームを生成する。

　また、放送ストリーム作成部１０４は、音声についても、ＡＣ３（Ａｕｄｉｏ　Ｃｏｄｅ　ｎｕｍｂｅｒ　３）、ＡＡＣ（Ａｄｖａｎｃｅｄ　Ａｕｄｉｏ　Ｃｏｄｉｎｇ）などの所定のオーディオコーデックで圧縮符号化することでオーディオストリームを生成する。

　そして、放送ストリーム作成部１０４は、ビデオストリーム、オーディオストリーム、字幕ストリーム、データ放送用データなどを多重化することにより、１本のＭＰＥＧ－２　ＴＳなどのシステムストリームを生成する。

　以上のように生成されたシステムストリームであって、放送されるものを、以下では「放送ストリーム」（１２１）という。

　なお、音声に関しては、本発明との関連が薄いので、必要な場合以外は特に説明を行わない。

　＜追加ストリーム作成部１０５＞
　追加ストリーム作成部１０５は、追加映像を、通信により送信するためのフォーマットに変換し、出力する機能（以下、「追加ストリーム作成機能」という。）を有する。

　追加ストリーム作成機能として、追加ストリーム作成部１０５は、映像配置部１０３により生成された追加映像をＭＰＥＧ－２、ＭＰＥＧ－４　ＡＶＣなど所定のビデオコーデックにより圧縮符号化することでビデオストリームを生成する。そして、ビデオストリーム、オーディオストリーム、字幕ストリーム、データ放送用データなどを多重化することにより、１本のＭＰＥＧ－２　ＴＳなどのシステムストリームを生成する。

　以上のように生成されたシステムストリームであって、通信により送信されるものを、以下では「追加ストリーム」という。

　また、追加ストリーム作成機能の１つとして、追加ストリーム作成部１０５は、映像配置部１０３によって生成された映像配置設定データ１２３を追加ストリーム１２２に格納する。例えば、追加ストリーム作成部１０５は、図５に示すように、映像配置設定データ１２３を、ビデオストリームに補足データの一部として、又はＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）などのディスクリプタの一部として格納する。

　＜その他の構成＞
　図１には、図示していないが、放送システム１００は、一般的なデジタル放送の送出システムが備えているのと同様の、放送波を用いて放送ストリームを送信するための構成である、ＯＦＤＭ変調部、周波数変換部、及びＲＦ送出部などから成る送出部を備えている。

　この送出部が、放送ストリーム作成部１０４で生成された放送ストリームを、放送波により再生装置２００などに送信する。

　また、図１には、図示していないが、放送システム１００は、ネットワークを用いてデータを送受信するためのネットワークインターフェイスを備えている。

　このネットワークインターフェイスが、追加ストリーム作成部１０５で生成された追加ストリームを、ネットワークを介して再生装置２００に送信する。

　＜２－２．動作＞
　図６は、放送システム１００による映像送信処理の手順を示すフローチャートである。

　放送システム１００において、まず、ワイド映像撮影部１０１が、原映像として超ワイド映像（一例として、超ワイド映像３１０）を撮影する（Ｓ６０１）。

　次に、映像分離部１０２が、選択範囲取得機能により、撮影された超ワイド映像における、選択範囲を取得する（Ｓ６０２）。

　次に、映像分離部１０２が、映像分離機能により、原映像を構成する各フレーム画像から選択範囲を抽出し、抽出した画像群から成る放送映像を生成する（Ｓ６０３）。

　次に、放送ストリーム作成部１０４が、放送ストリーム作成機能により、放送映像が多重化された放送ストリームを生成する（Ｓ６０４）。

　次に、映像配置部１０３が、追加映像作成機能により、超ワイド映像を構成する各フレーム画像から選択範囲が抽出された残余の画像から追加画像を作成し、生成した追加画像群から成る追加映像を生成する（Ｓ６０５）。

　また、映像配置部１０３は、映像配置設定データ生成機能により、映像配置設定データを生成する（Ｓ６０６）。

　次に、追加ストリーム作成部１０５は、追加ストリーム作成機能により、追加映像、及び映像配置設定データを多重化した追加ストリームを作成する（Ｓ６０７）。

　そして、放送ストリーム作成部１０４は、放送波により放送ストリームを放送する（Ｓ６０８）。

　また、追加ストリーム作成部１０５は、通信により追加ストリームを再生装置２００へと送信する（Ｓ６０９）。

　＜３．再生装置２００＞
　＜３－１．構成＞
　図２は、再生装置２００の構成を示すブロック図である。

　再生装置２００は、図２に示すように、チューナ２０１、放送ストリームデコード部２０２、第１映像プレーン２０３、ＮＩＣ（ネットワーク・インターフェイス・カード）２１１、追加ストリームデコード部２１２、第２映像プレーン２１３、映像合成方法設定部２１４、映像合成部２２１、合成映像プレーン２２２を含んで構成される。

　また、再生装置２００は、プロセッサ及びメモリを含んで構成されており、チューナ２０１、放送ストリームデコード部２０２、ＮＩＣ２１１、追加ストリームデコード部２１２、映像合成方法設定部２１４、及び映像合成部２２１の機能は、メモリに記憶されているプログラムをプロセッサが実行することにより実現される。

　＜チューナ２０１＞
　チューナ２０１は、デジタルチューナ、ＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ　Ｆｒｅｑｕｅｎｃｙ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅｘｉｎｇ）復調部、誤り訂正部、及び多重分離部などを含むチューナＬＳＩで実現されている。

　チューナ２０１は、放送波を受信し、ユーザがリモコン（図示せず）等を用いて指示した所定のチャンネル（サービスＩＤ）についての信号を抜き出し、抜き出した信号から映像、音声、字幕などに関するＴＳパケットを抽出して、出力する機能を有する。

　放送波の受信から、映像、音声、データ放送などに関するＴＳパケットの抽出までの処理については、周知のため、説明は省略する。

　＜放送ストリームデコード部２０２＞
　放送ストリームデコード部２０２は、ＡＶ信号処理ＬＳＩで実現されており、映像に関するＴＳパケットを受信し、復号することによりビデオフレームを生成し、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）で示されるタイミングで出力する機能を有する。

　本実施形態では、放送ストリームデコード部２０２は、チューナ２０１からＴＳパケットを受信し、生成したビデオフレーム（以下、「放送ビデオフレーム」という。）を第１映像プレーン２０３に書き込む。

　＜第１映像プレーン２０３＞
　第１映像プレーン２０３は、フレームメモリで構成される。第１映像プレーン２０３は、放送ストリームデコード部２０２により生成された放送ビデオフレームを格納する。

　なお、第１映像プレーン２０３には、プレーンＩＤ＝１が割り当てられているものとする。

　＜ＮＩＣ２１１＞
　ＮＩＣ２１１は、通信用のＬＳＩで構成されており、ネットワークを介してデータを送受信する機能を有する。

　ＮＩＣ２１１は、ネットワークを介して追加ストリームを受信した場合、受信した追加ストリームを、追加ストリームデコード部２１２に出力する。

　＜追加ストリームデコード部２１２＞
　追加ストリームデコード部２１２は、ＡＶ信号処理ＬＳＩで実現されており、追加ストリームに含まれるビデオストリームのデコード機能を有する。

　ビデオストリームのデコード機能として、追加ストリームデコード部２１２は、具体的には、ＮＩＣ２１１から追加ストリームを受信し、追加ストリームに含まれるビデオストリームをデコードすることによりビデオフレーム（以下、「追加ビデオフレーム」という。）を生成して第２映像プレーン２１３に書き込む。また、追加ストリームデコード部２１２は、追加ストリームに格納される映像配置設定データ２４１を抽出する。

　＜第２映像プレーン２１３＞
　第２映像プレーン２１３は、フレームメモリで構成される。第２映像プレーン２１３は、追加ストリームデコード部２１２により生成された追加ビデオフレームを格納する。

　なお、第２映像プレーン２１３には、プレーンＩＤ＝２が割り当てられているものとする。

　＜映像合成方法設定部２１４＞
　映像合成方法設定部２１４は、映像配置設定データ２４１を参照し、第１映像プレーン２０３に格納されている放送ビデオフレームと、第２映像プレーン２１３に格納されている追加ビデオフレームとを合成し、超ワイド映像を構成するフレーム画像を生成するための合成情報をパラメータとした合成指示を出力する合成指示機能を有する。

　（合成指示機能）
　映像合成方法設定部２１４による合成指示機能について、具体例を用いて説明する。

　映像合成方法設定部２１４は、第１映像プレーン２０３に格納されている放送ビデオフレーム、及び第２映像プレーン２１３に格納されている追加ビデオフレームのＰＴＳに対応する映像配置設定データ２４１を取得する。

　一例として、映像配置設定データ２４１が、図４の映像配置設定データ４００に示す内容であるとする。

　まず、映像合成方法設定部２１４は、映像配置設定データ４００中の矩形ＩＤの数（画像数）を計数し、映像合成部２２１に出力する。

　映像合成方法設定部２１４は、映像配置設定データ４００の１行目（矩形ＩＤ＝０）を読み出す。

　映像合成方法設定部２１４は、ストリーム特定情報が０（＝放送波）であるため、矩形ＩＤ＝０である画像は、第１映像プレーン２０３から読み出すと判断する。

　そして、映像配置設定データ４００の１行目の記載に基づき、映像合成部２２１に対し、プレーンＩＤ（＝１）、ｘ位置（＝０）、ｙ位置（＝０）、幅（＝ｂ－ａ）、高さ（＝ｄ）、Ｘ位置（＝ａ）、及びＹ位置（＝０）をパラメータとした合成指示（便宜上、「合成指示１」という。）を出力する。

　次に、映像合成方法設定部２１４は、映像配置設定データ４００の２行目（矩形ＩＤ＝１）を読み出す。

　映像合成方法設定部２１４は、ストリーム特定情報が１（＝通信）であるため、矩形ＩＤ＝１である画像は、第２映像プレーン２１３から読み出すと判断する。

　そして、映像配置設定データ４００の２行目の記載に基づき、映像合成部２２１に対し、プレーンＩＤ（＝２）、ｘ位置（＝０）、ｙ位置（＝０）、幅（＝ａ）、高さ（＝ｄ）、Ｘ位置（＝０）、及びＹ位置（＝０）をパラメータとした合成指示（便宜上、「合成指示２」という。）を出力する。

　次に、映像合成方法設定部２１４は、映像配置設定データ４００の３行目（矩形ＩＤ＝２）を読み出す。

　映像合成方法設定部２１４は、ストリーム特定情報が１（＝通信）であるため、矩形ＩＤ＝２である画像は、第２映像プレーン２１３から読み出すと判断する。

　そして、映像配置設定データ４００の３行目の記載に基づき、映像合成部２２１に対し、プレーンＩＤ（＝２）、ｘ位置（＝ａ）、ｙ位置（＝０）、幅（＝ｃ－ｂ）、高さ（＝ｄ）、Ｘ位置（＝ｂ）、及びＹ位置（＝０）をパラメータとした合成指示（便宜上、「合成指示３」という。）を出力する。

　以下、映像合成方法設定部２１４は、映像配置設定データ４００のＮ行目（Ｎは４以上の自然数）がある場合には、これらも読み出す。

　そして、映像配置設定データ４００のＮ行目について、映像合成方法設定部２１４は、ストリーム特定情報が０か１のいずれであるかを判定し、０の場合、第１映像プレーン２０３から読み出す（プレーンＩＤ＝１）と判断し、１の場合、第２映像プレーン２１３から読み出す（プレーンＩＤ＝２）と判断する。

　そして、映像配置設定データ４００のＮ行目の記載に基づき、映像合成部２２１に対し、プレーンＩＤ、ｘ位置、ｙ位置、幅、高さ、Ｘ位置、及びＹ位置をパラメータとした合成指示（便宜上、「合成指示Ｎ」という。）を出力する。

　＜映像合成部２２１＞
　映像合成部２２１は、ＡＶ信号処理ＬＳＩで実現されている。

　映像合成部２２１は、映像合成方法設定部２１４から通知される合成指示１～Ｎに従って各映像を合成し、超ワイド映像を生成する映像合成機能を有する。超ワイド映像の生成は、超ワイド映像を構成するフレーム画像のそれぞれを生成することで行う。

　一例として、合成指示１～３に従い、図７に模式的に示すように、第１映像プレーン２０３に格納されている放送映像のフレーム画像（ＩＤ＝０）と、第２映像プレーン２１３に格納されている追加映像のフレーム画像（ＩＤ＝１及び２）とを合成して、超ワイド映像のフレーム画像を生成し、合成映像プレーン２２２に出力する。

　映像合成部２２１は、合成映像プレーン２２２に格納されている超ワイド映像を構成するフレーム画像を、ＰＴＳのタイミングでディスプレイ（図示せず）に出力する。これにより、超ワイド映像が再生されることになる。

　（映像合成機能）
　映像合成機能について、具体例により説明する。

　映像合成部２２１は、映像合成方法設定部２１４から画像数を取得する。画像数は、超ワイド映像を生成するために結合する映像の数に一致する。

　そして、映像合成部２２１は、合成映像プレーン２２２を初期化する。

　そして、映像合成部２２１は、映像合成方法設定部２１４から合成指示を取得する。そして、合成指示にパラメータとして含まれる、プレーンＩＤで識別される映像プレーン（第１映像プレーン２０３又は第２映像プレーン２１３）において、左上隅の座標が（ｘ位置，ｙ位置）である幅×高さの画像を、合成映像プレーン２２２の（Ｘ位置，Ｙ位置）を左上隅の座標とする位置に書き込む。

　具体的には、映像合成部２２１は、上述の合成指示１を受信した場合、第１映像プレーン２０３の（０，０）の位置から、幅がｂ－ａであり、高さがｄである画像を読み出し、読み出した画像を、合成映像プレーン２２２の（ａ，０）の位置に書き込む。

　また、映像合成部２２１は、上述の合成指示２を受信した場合、第２映像プレーン２１３の（０，０）の位置から、幅がａであり、高さｄである画像を読み出し、読み出した画像を、合成映像プレーン２２２の（０，０）の位置に書き込む。

　また、映像合成部２２１は、上述の合成指示３を受信した場合、第２映像プレーン２１３の（ａ，０）の位置から、幅がｃ－ｂであり、高さがｄである画像を読み出し、読み出した画像を、合成映像プレーン２２２の（ｂ，０）の位置に書き込む。

　以上の処理により、合成映像プレーン２２２において、超ワイド画像（例えば、図３の超ワイド画像３１０）が復元されることになる。

　＜合成映像プレーン２２２＞
　合成映像プレーン２２２は、フレームメモリで構成される。合成映像プレーン２２２は、映像合成部２２１から出力されるワイドビデオフレームを格納する。

　＜３－２．動作＞
　図８は、再生装置２００による映像再生処理の手順を示すフローチャートである。

　再生装置２００は、まず、チューナ２０１により、放送ストリームを受信する（Ｓ８０１）。そして、ＮＩＣ２１１が、追加ストリームを受信する（Ｓ８０２）。

　次に、放送ストリームデコード部２０２が、放送ストリームを復号することにより、放送映像を構成する放送画像を生成する（Ｓ８０３）。また、追加ストリームデコード部２１２が、追加ストリームを復号することにより、追加映像を構成する追加画像を生成する（Ｓ８０４）。また、追加ストリームデコード部２１２が、追加ストリームから映像配置設定データを抽出する（Ｓ８０５）。

　次に、映像合成方法設定部２１４が、合成指示機能により、映像配置設定データに基づき、映像合成部２２１に対し、合成指示を出力する。

　映像合成部２２１は、合成指示に基づき、追加画像から複数の小画像（以下、「部分画像」という。）を抽出する（Ｓ８０６）。

　そして、映像合成部２２１は、放送画像と、複数の部分画像を合成指示に基づいて合成することにより、原映像としての超ワイド映像を構成するフレーム画像を生成し、合成映像プレーン２２２に格納する（Ｓ８０７）。

　映像合成部２２１は、合成映像プレーン２２２に格納された各フレーム画像をＰＴＳに従い表示させることにより、原映像を再生する（Ｓ８０８）。
＜４．変形例＞
　以上、本発明に係るコンテンツ放送受信システムの実施形態を説明したが、例示したコンテンツ放送受信システムを以下のように変形することも可能であり、本発明が上述の実施形態で示した通りのコンテンツ放送受信システムに限られないことは勿論である。

　（１）上述の実施形態では、追加ストリーム作成部１０５は、映像配置設定データ（１２３）をＰＭＴなどのディスクリプタ中に格納することとしたが、再生装置２００に送信できれば足りる。

　例えば、映像配置設定データをＳＩＴ（Ｓｅｒｖｉｃｅ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）に格納してもよい。

　また、ビデオストリームにおける各フレームの補足データなどに映像配置設定データを格納することとしてもよい。

　また、ＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）先頭のアクセスユニットのみに映像配置設定データを格納し、ＧＯＰ内で有効であるとしても良い。

　また、映像配置設定データをディスクリプタに格納する場合に、ビデオストリームにおける映像配置設定データを有効とする区間を設け、有効とする区間の開始時刻のＰＴＳ、終了時刻のＰＴＳなどの時刻情報とともに格納することとしてもよい。

　また、映像配置設定データにＰＩＤを割り当てて、ストリームに多重化するよう構成してもよい。

　また、映像配置設定データは、追加ストリーム中ではなく、放送ストリームに格納することとしてもよい。

　また、選択範囲が不変であるフレーム群について、フレーム毎ではなくフレーム群に１つの映像配置設定データを生成してもよい。

　（２）上述の実施形態では、選択範囲取得処理において、超ワイド映像３１０についての選択範囲の指定を、ユーザがリモコン等の入力デバイスを操作することにより指定するとしたが、選択範囲を特定できれば足りる。

　例えば、ユーザが、超ワイド映像３１０が表示されているタッチパネルに、領域を区切るよう（例えば矩形を描くよう）に接触することとし、映像分離部１０２が、その接触された範囲を示す情報を取得して、その領域内を選択範囲と決定するとしてもよい。

　また、画像認識処理などにより、超ワイド映像３１０における重要な被写体などを検知し、その被写体を中心とした所定範囲内の領域を、選択範囲としてもよい。一例として、サッカーの試合が行われているサッカー場を表示する超ワイド映像３１０について画像処理を施してサッカーボールの位置を認識し、サッカーボールが中心に来る領域を自動で選択範囲として選択するなどしてもよい。

　（３）上述の実施形態では、放送ストリームと追加ストリームとを用いて送信する映像は超ワイド映像であるとしたが、これに限らず、放送映像を高品位化した他の映像を送信することとしてもよい。

　例えば、放送映像を、高品位化の一例として高解像度化した映像を送信することとしてもよい。

　図９は、高解像度化した原映像を、放送ストリームと追加ストリームとを用いて送信する例について説明するための図である。

　図９の画像９０１は、原映像を構成するフレーム画像群のうちの１つのフレーム画像を表す。

　本変形例では、放送システム１００の映像分離部１０２が、画像９０１を、画像９０２～画像９０４の３つの画像に分割する。画像９０２が、放送画像である。

　原映像を構成する他のフレーム画像についても、画像９０１の場合と同様に分割する。

　そして、放送ストリーム作成部１０４が、放送画像（画像９０２他）を放送ストリームの一部として多重化し、この放送ストリームを放送波により送信する。

　また、画像９０１から画像９０２を抽出した残余の画像である画像９０３及び画像９０４については、映像配置部１０３が、これらを上下に結合することにより、追加映像を構成する追加画像として画像９１１を生成する。

　そして、映像配置部１０３は、画像９０２～画像９０４についての画像９０１における配置を示す映像配置設定データを生成する。

　そして、追加ストリーム作成部１０５が、追加画像（画像９１１他）を追加ストリームの一部として多重化する。また、追加ストリーム作成部１０５は、映像配置設定データを、追加ストリームの一部として多重化する。

　そして、追加ストリーム作成部１０５は、追加ストリームをネットワーク通信により送信する。

　ここで、本変形例に係る映像配置設定データの一例について説明する。

　図９（ｂ）は、画像９０１に係る映像配置設定データ９００を示す図である。

　映像配置設定データ９００の詳細については、構成が上述の映像配置設定データ４００と同様であって、値が異なるのみなので説明を省略する。

　受信側である再生装置２００は、放送ストリーム、追加ストリームを受信し、追加ストリームに含まれる映像配置設定データに基づき、画像９０２、画像９０３及び画像９０４を結合して、高解像度な画像９０１を復元する。また、再生装置２００は、画像９０１の他のフレーム画像についても同様に復元することによって、フレーム画像群を復元し、原映像を再生する。

　（４）上述の変形例（３）に示すほか、放送ストリームと追加ストリームとを用いて、放送映像を高解像度化及びワイド化した映像を原映像として送信することとしてもよい。

　図１０は、原映像を、放送ストリームと追加ストリームとを用いて送信する例について説明するための図である。

　図１０の画像１００１は、原映像を構成する構成するフレーム画像群のうちの１つのフレーム画像を表す。

　本変形例では、放送システム１００の映像分離部１０２は、原映像を構成するフレーム画像である画像１００１を、画像１００２～画像１００４の３つの画像に分割する。画像１００２が、放送画像である。

　原映像を構成する他のフレーム画像についても、画像１００１の場合と同様に分割する。

　そして、放送ストリーム作成部１０４は、放送画像（画像１００２他）を放送ストリームの一部として多重化し、この放送ストリームを放送波により送信する。

　ここで、画像１００１から画像１００２を抽出した残余の画像である画像１００３及び画像１００４をそのままの形態で結合しても、画像１００４が縦長であることから、結合結果は、上述の変形例（３）のように矩形の画像（一例として画像９１１）にはならない。

　よって、画像１００４については、時計回りに２７０度回転させた画像１０１４を、画像１００３の下端に結合させて画像１０１５を生成する。但し、画像１００３の幅と画像１０１４の幅とが異なるので、画像１０１４の右側に、画像１０１５を矩形にするための空画像１００６（例えば、黒一色の画像など）が付されている。

　また、映像配置部１０３は、画像１００２～画像１００４についての画像１００１における配置を示す映像配置設定データを生成する。

　そして、追加ストリーム作成部１０５が、画像１０１５を追加ストリームの一部として多重化する。また、追加ストリーム作成部１０５は、映像配置設定データを、追加ストリームの一部として多重化する。

　図１０（ｂ）は、画像１００１に係る映像配置設定データ１０００を示す図である。

　映像配置設定データ１０００の詳細については、構成は上述の映像配置設定データ４００と同様であるが、各画像について回転角度を指定するための「回転角」の項目が追加されている。

　具体的には、画像１０１４（矩形ＩＤ＝２）について、時計回りに９０度回転する旨の指定を行う。

　受信側である再生装置２００は、放送ストリーム、追加ストリームを受信し、追加ストリームに含まれる映像配置設定データに基づき、画像１００２、画像１００３及び画像１０１４を結合して、画像１００１を復元するのであるが、画像１０１４については、「回転角」として指定された９０度だけ時計回りに回転させることにより姿勢を変更してから用いる。なお、画像１０１４の姿勢変更後の画像は、画像１００４である
　また、映像配置設定データについて、各画像を拡大縮小するための水平方向の倍率、垂直方向の倍率を指定できるよう拡張してもよい。

　図１１は、複数の画像を結合して追加画像を生成する際に、拡大縮小を行う場合について説明するための図である。

　図１１の画像１１０１は、原映像を構成するフレーム画像群のうちの１つのフレーム画像を表す。

　本変形例では、放送システム１００の映像分離部１０２は、画像１１０１を、画像１１０２～画像１１０４の３つの画像に分割する。画像１１０２が、放送画像である。

　原映像を構成する他のフレーム画像についても、画像１１０１の場合と同様に分割する。

　そして、放送ストリーム作成部１０４が、放送画像（画像１１０２他）を放送ストリームの一部として多重化し、この放送ストリームを放送波により送信する。

　画像１１０１から画像１１０２を抽出した残余の画像である画像１１０３及び画像１１０４をそのままの形態で結合しても、画像１１０３及び画像１１０４の水平方向及び垂直方向の長さの違いから、結合結果が上述の変形例（３）のように矩形の画像にならない。

　そこで、画像１１０３と画像１１０４に関しては、画像１１０３を水平方向に１／２倍し（画像１１１３）、画像１１０４を垂直方向に１／２倍し（画像１１１４）、その後、合成することで追加画像１１１５を生成する。

　また、映像配置部１０３は、画像１１０２～画像１１０４についての画像１１０１における配置を示す映像配置設定データを生成する。

　そして、追加ストリーム作成部１０５が、画像１１１５を追加ストリームの一部として多重化する。また、追加ストリーム作成部１０５は、映像配置設定データを、追加ストリームの一部として多重化する。

　図１１（ｂ）は、画像１１０１に係る映像配置設定データ１１００を示す図である。

　映像配置設定データ１１００の詳細については、構成は上述の映像配置設定データ４００と同様であるが、各画像について水平方向及び垂直方向の倍率を指定するための項目が追加されている。

　具体的には、画像１１１３（矩形ＩＤ＝１）については、水平方向に２倍する旨の指定を行っている。また、画像１１１４（矩形ＩＤ＝２）については、垂直方向に２倍する旨の指定を行っている。

　受信側である再生装置２００は、放送ストリーム、追加ストリームを受信し、追加ストリームに含まれる映像配置設定データに基づき、画像１１０２、画像１１１３及び画像１１１４を結合して、画像１１０１を復元するのであるが、画像１１１３については、水平方向に２倍（画像９０３）に拡大し、画像１１１４については垂直方向に２倍（画像９０４）に拡大した上で用いる。

　（５）上述の実施形態では、放送ストリームと追加ストリームを利用して、ワイド映像を放送する例について説明したが、常に放送ストリームと追加ストリームの双方を送信する必要はない。例えば、全期間でワイド映像を送信するのではなく、放送ストリームのみ、即ち放送映像のみを送信する期間があってもよい。

　この場合、放送映像のみを送信している期間については、映像配置設定データにおいて、放送画像についてのみ記載することとなる。

　また、再生装置２００側でも、この期間中は、放送波のみを受信して、放送映像のみ再生することになる。また、ワイド映像を表示可能なディスプレイに、ワイド映像より小さな放送映像を表示することになるため、ディスプレイにおける放送映像を表示している領域以外の領域については、黒色などの単色画像を表示したり、所定の背景画像を表示するなどしてもよい。また、放送映像をディスプレイに拡大表示することとしてもよい。

　（６）上述の実施形態では、画像を分割する際の境界が、マクロブロックを跨ぐ場合については説明していない。例えば、図１２に示すように、画像１２０１を複数の画像１２０２及び１２０３に分割して追加画像を生成する際に、マクロブロックが複数の画像の境界１２１０を跨ぐような場合である。

　このようにマクロブロックが境界（１２１０）を跨いでしまうと、マクロブロック内部の画素間の相関が下がり、圧縮率が下がってしまう。

　これを回避するために、図１２の画像１２２１として示すように、画像１２２２の左端部及び／又は画像１２２３の右端部にマージン画像１２３２、及び／又は１２３３を設けて、マクロブロックが境界（１２３１）を跨がないように調整してもよい。

　（７）上述の実施形態では、放送ストリームと追加ストリームとを独立したストリームとして生成し別経路で送信することとしたが、放送映像と追加映像とを送信できれば足りる。

　例えば、放送ストリームと追加ストリームとを独立したストリームとして生成せずに、従属関係のあるストリームとして生成し、１つの経路で送信してもよい。一例としては、ワイド映像について、ビュー間参照を使った圧縮符号化を行って、１つの経路で送信することが考えられる。ビュー間参照を使った圧縮符号化としては、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の修正規格であるＭＰＥＧ－４　ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）を用いる手法がある。

　図１３は、ＭＰＥＧ－４　ＭＶＣによる符号化方式を説明するための図である。

　ＭＰＥＧ－４　ＭＶＣ規格に従ったストリームは、従来の機器との再生互換性のある「基本ビュービデオストリーム」と、基本ビューと同時に処理することで別視点の映像の再生を実現する「拡張ビュービデオストリーム」から構成される。

　本変形例では、放送ストリームから基本ビュービデオストリームを生成し、追加ストリームから拡張ビュービデオストリームを生成することになる。

　基本ビュービデオストリームは、図１３に示すように、映像を構成するフレーム（ピクチャ）群を、時間方向の冗長性のみを利用してピクチャ間予測符号化を用いて圧縮したものである。

　一方、拡張ビュービデオストリームは、映像を構成するフレーム群を、時間方向の冗長性を利用したピクチャ間予測符号化に加えて、視点間の冗長性を利用したビュー間予測符号化を用いて圧縮したものである。

　基本ビュービデオストリームのピクチャは、拡張ビュービデオストリームの同じ表示時刻（ＰＴＳ）のピクチャを参照して圧縮されている。

　ここで、図１３の矢印は参照関係を示している。

　例えば、拡張ビュービデオストリームの先頭Ｐピクチャ（Ｐ０）は、基本ビュービデオストリームのＩピクチャ（Ｉ０）を参照している。また、拡張ビュービデオストリームのＢピクチャ（Ｂ１）は、基本ビュービデオストリームのＢｒピクチャ（Ｂｒ１）を参照している。また、拡張ビュービデオストリームの二つ目のＰピクチャ（Ｐ３）は、基本ビュービデオストリームのＰピクチャ（Ｐ３）を参照している。

　ここで、基本ビュービデオストリームは、拡張ビュービデオストリームを参照しないため、単体で再生することができる。

　一方、拡張ビュービデオストリームは、基本ビュービデオストリームを参照しているため、単体で再生することはできない。

　ただし、３Ｄ映像については、左右の視点から同じ被写体を見ているため、左目映像と右目映像の相関が大きい。よって、基本ビュービデオストリームに左目映像が多重化し、拡張ビュービデオストリームに右目映像が多重化するような場合、視点間のピクチャ間予測符号化を行うことで、拡張ビュービデオストリームのデータ量を、基本ビュービデオストリームのデータ量よりも大幅に削減できる。

　ここで、ビュー間参照を使って圧縮する映像（画像）対は、通常、解像度が同じものであるが、本変形例では、図１４に示すように、放送映像１４０２を基本ビュービデオストリームとして符号化し、超ワイド映像１４０１を拡張ビュービデオストリームとして符号化することにより、ＭＰＥＧ－４　ＭＶＣのストリーム（以下、「ＭＰＥＧ－４　ＭＶＣ放送ストリーム」という。）を生成する。

　この場合、超ワイド映像が拡張ビュービデオストリームとして圧縮符号化される場合に、超ワイド映像１４０１における放送映像１４０２相当部分（部分１４０３）については、全て基本ビュービデオストリーム１４０２を参照する。よって、この部分１４０３を圧縮符号化したデータの量は、非常に小さいものとなる。

　放送システム１００は、ＭＰＥＧ－４　ＭＶＣ放送ストリームを放送により再生装置２００に送信する。

　再生装置２００では、ＭＰＥＧ－４　ＭＶＣ放送ストリームを放送により受信する。そして、再生装置２００は、ＭＰＥＧ－４　ＭＶＣ放送ストリームにおける基本ビュービデオストリームを参照しながら、拡張ビュービデオストリームを復号することにより、超ワイド映像１４０１を生成し、表示する。

　また、図１５に示すように、放送映像１５０１を含む放送映像を基本ビュービデオストリームとして圧縮符号化する場合に、放送映像１５０１を、例えば２倍の面積に拡大して拡大映像１５０２を生成し、これをビュー間参照して、超ワイド映像１５０３を圧縮符号化することにより拡張ビュービデオストリームを生成することとしてもよい。

　これにより、拡張ビュービデオストリームにより送信する映像の解像度として、放送画像の解像度以外の解像度を選択することができることとなる。
（８）コンテンツ放送受信システムにおいて、放送ストリームと追加ストリームとを用い、複数の別視点映像から、ユーザが望む映像を選択して再生できる（以下、「マルチアングル」という。）サービスを実現することとしてもよい。

　図１６は、本変形例に係るシステムの構成を示すブロック図である。

　本変形例に係るシステムは、放送システム１６０１と、再生装置１６０２とから成る。放送ストリームは、放送システム１６０１から再生装置１６０２に放送により送信され、追加ストリームは、放送システム１６０１から再生装置１６０２にネットワーク通信により送信される。

　（放送システム１６０１）
　放送システム１６０１は、図１６に示すように、放送映像撮影部１６１１、放送ストリーム作成部１０４、別視点映像撮影部１６１２、追加ストリーム作成部１０５、別視点映像撮影部１６１３、追加ストリーム作成部１６１４、送出追加ストリーム選択部１６１５、及びスイッチ１６１６を含んで構成される。

　放送映像撮影部１６１１は、ビデオカメラで構成されており、撮影した映像（放送波映像）を放送ストリーム作成部１０４に出力する。

　放送ストリーム作成部１０４は、図１を用いて既に説明したものと同様である。

　別視点映像撮影部１６１２は、ビデオカメラで構成されており、撮影した映像（別視点映像１）を放送ストリーム作成部１０４に出力する。

　追加ストリーム作成部１０５は、図１を用いて既に説明したものと原則、同様の構成を有し、別視点映像１を圧縮符号化することにより追加ストリーム１２２を生成する。追加ストリーム作成部１０５は、また、映像配置設定データ１２３に代えて、別視点映像情報１６３１を追加ストリームに格納する。

　別視点映像撮影部１６１３は、ビデオカメラで構成されており、撮影した映像（別視点映像２）を放送ストリーム作成部１６１４に出力する。

　追加ストリーム作成部１６１４は、上述の追加ストリーム作成部１０５と同様の構成を有し、別視点映像２を圧縮符号化することにより追加ストリーム１２４を生成する。追加ストリーム作成部１０５は、また、別視点映像情報１６３１を追加ストリームに格納する。

　送出追加ストリーム選択部１６１５は、追加ストリーム１２２及び追加ストリーム１２４のうち、再生装置１６０２から要求されたものを再生装置１６０２に送信する。

　この再生装置１６０２からの要求は、例えば、ＵＲＬの形式を用いて行われる。追加ストリーム１２２及び追加ストリーム１２４のそれぞれに、別個のＵＲＬが予め割り当てられており、再生装置１６０２は、送信を要望する追加ストリームに対応するＵＲＬにアクセス要求する。

　送出追加ストリーム選択部１６１５は、このアクセス要求を受け付けて、再生装置１６０２によりアクセス要求されたＵＲＬに応じた追加ストリームを出力するようスイッチ１６１６を切り替える。そして、送出追加ストリーム選択部１６１５は、再生装置１６０２によりアクセス要求されたＵＲＬに応じた追加ストリームを、再生装置１６０２に送信する。

　また、送出追加ストリーム選択部１６１５は、別視点映像情報を作成する。

　図１７（ｂ）は、別視点映像情報の一例（別視点映像情報１６３１、１６５１）を示す図である。

　別視点映像情報は、視点（アングル）を特定するためのユニークなＩＤである「アングルＩＤ」、ストリームの種別を特定してアクセスするための方法が記載される「ストリーム種別」、アングル映像の内容を記した「内容」をペアとするテーブル情報である。

　スイッチ１６１６は、送出追加ストリーム選択部１６１５による制御に基づいて、追加ストリーム１２２及び追加ストリーム１２４のいずれの追加ストリームを送信するかを切り替えるスイッチである。

　（再生装置１６０２）
　再生装置１６０２は、図１６に示すように、チューナ２０１、放送ストリームデコード部２０２、第１映像プレーン２０３、ＮＩＣ２１１、追加ストリームデコード部２１２、第２映像プレーン２１３、映像合成部２２１、合成映像プレーン２２２、及び受信追加ストリーム選択部１６５２を含んで構成される。

　チューナ２０１、放送ストリームデコード部２０２、第１映像プレーン２０３、ＮＩＣ２１１、第２映像プレーン２１３、映像合成部２２１、及び合成映像プレーン２２２は、図２を用いて既に説明したものと同様である。

　追加ストリームデコード部２１２は、図２を用いて既に説明したものと基本的には同様であるが、追加ストリームに含まれる別視点映像情報１６５１を抽出し、受信追加ストリーム選択部１６５２に送信する点が異なる。なお、この別視点映像情報１６５１は、別視点映像情報１６３１と同様のものである。

　受信追加ストリーム選択部１６５２は、追加ストリームデコード部２１２から別視点映像情報を受け取り、メニュー表示を行うなどにより、ユーザに対し、複数の別視点映像から１つを選択することを促す。そして、ユーザがリモコン入力するなどにより選択した別視点映像が格納された追加ストリームの伝送を、ネットワーク経由で放送システム１６０１に要求する。この要求に対する応答として、ＮＩＣ２１１が、選択された別視点映像が格納された追加ストリームを放送システム１６０１から受信する。

　上述のメニュー表示の一例として、受信追加ストリーム選択部１６５２は、図１７（ａ）のメニュー１７０１を表示する。メニュー１７０１では、別視点映像情報１６５１における「内容」項目を端的に表示する。

　ユーザは、リモコン等を用いて、メニュー表示された「内容」のうちの１つを選択する。

　受信追加ストリーム選択部１６５２は、別視点映像情報１６５１を参照し、選択された「内容」に対応する「アングルＩＤ」、そのアングルＩＤに対応する「ストリーム種別」を読み出す。そして、受信追加ストリーム選択部１６５２は、その読み出したストリーム種別に係るストリームを伝送するよう、ストリーム種別に記載されたＵＲＬを用いて放送システム１６０１に要求する。

　以上により、複数ある別視点映像の追加ストリームの中からユーザの好みの映像を選択して再生することができる。

　なお、別視点映像情報１６３１（１６５１）は、追加ストリームではなく、放送ストリームに格納してもよいし、メタデータファイルとして、ストリームとは独立して構成するようにしてもよい。

　なお、別視点映像情報１６３１（１６５１）は、一例として図１８に示すように、ビデオとオーディオを取得するために用いる情報（一例として、ＰＩＤ）を個別に設定できるようにしてもよい。

　図１８の例では、アングルＩＤ＝１のストリームについては、ビデオが、通信で提供される追加ストリームにＰＩＤ＝Ａのパケットとして格納されていることを示す。また、オーディオは、放送波で提供される放送ストリームにＰＩＤ＝Ｚのパケットとして格納されていることを示す。

　アングルＩＤ＝２のストリームについては、ビデオが、通信で提供される追加ストリームにＰＩＤ＝Ｂのパケットとして格納されていることを示す。また、オーディオは、通信で提供される追加ストリームにＰＩＤ＝Ｙのパケットとして格納されていることを示す。

　以上のように、この変形例によれば、様々な態様で追加ストリームを構成しても、その取得のための情報を記載ができるので、追加ストリームを作成する際の自由度を増すことができる。

　なお、上記の例では、ＰＩＤを用いてストリームの特定を行っているが、ストリームが特定できれば足りる。

　例えば、階層伝送記述子の参照先ＰＩＤなどのタグを使って特定することとしてもよい。

　（９）上述の変形例（８）における複数の別視点映像から１つを選択させる際のＵＩ（ユーザインターフェース）として、複数の別視点映像の縮小映像（以下、「別視点縮小映像」という。）を１画面内に表示するインデックス映像を表示し、それらの別視点映像からユーザに好みの別視点映像を選択させるような構成としてもよい。

　ここで、別視点映像のそれぞれは、アングルＩＤで識別される。

　この構成を実現するために、一例として、図１９（ａ）の映像１９０１として示すような「インデックス映像」と、「表示領域とアングルＩＤとの対応関係情報」を格納する追加ストリームを用いる。

　「表示領域とアングルＩＤとの対応関係情報」は、インデックス映像（一例として映像１９０１）における、各別視点縮小映像が表示されている表示領域と、表示されている別視点縮小映像のアングルＩＤとの対応関係を示す情報である。

　図１９の画像１９０２は、対応関係情報が示す内容、すなわち、映像１９０１中に表示されている４つの別視点縮小映像と、アングルＩＤ（１９０２）との対応を視覚的に表した図である。具体的には、図１９の画像１９０２は、縦横に２分割された領域について、左上の領域の別視点縮小映像のアングルＩＤは０であり、右上の領域の別視点縮小映像のアングルＩＤは１であり、左下の領域の別視点縮小映像のアングルＩＤは２であり、右下の領域の別視点縮小映像のアングルＩＤは３であることを表現している。

　そして、図１９（ｂ）に示すように、別視点映像情報には、インデックス映像（アングルＩＤ＝４）についての情報を追加している。

　再生装置１６０２は、まず、インデックス映像を含む追加ストリームを受信し、復号して、ディスプレイに表示する。そして、インデックス映像に含まれる別視点縮小映像（一例として、図１９の映像１９１１～１９１４）の１つを、ユーザに選択させる。

　再生装置１６０２は、ユーザにより選択された別視点縮小映像に対応付けられている別視点映像を表示する。

　例えば、映像１９０１のうち、ユーザにより映像１９１２（アングルＩＤ＝１）が選択された場合には、アングルＩＤ＝１の映像である映像１９２１をディスプレイに表示する。

　なお、ユーザに４つの別視点縮小映像から１つを選択させるためのＵＩとしては、一例として、画像１９０２における文字表示部分以外の部分を半透明化するなどしたメニュー画像を、映像１９０１に重畳して表示し、リモコンなどによりアングルＩＤ＝０～３を選択可能としてもよい。

　また、再生装置１６０２がタブレット端末などタッチパネルを有する装置である場合には、アングル選択用のインデックス映像をタッチパネルに表示し、ユーザに、表示されている複数の別視点縮小映像のいずれかをタッチにより選択させてもよい。この場合、タブレット端末は、別視点映像情報における、別視点縮小映像を識別するアングルＩＤに対応づけられているストリーム種別を参照し、放送システムから通信により、ストリーム種別により表される追加ストリームを受信して再生する。また、タブレット端末は、別個の再生装置が、追加ストリームを受信し復号し、タブレット端末が表示できるフォーマットに変換して、無線ＬＡＮなどを用いて転送してきたものを、表示するような構成にしてもよい。
（１０）上述の変形例において、別視点映像への切り替え時には、映像が途切れることなくシームレスに切り替えできることが好ましい。以下、シームレスに切り替えるための３つの構成例について図２０を用いて説明する。

　図２０は、追加ストリームデコード部の詳細な構成の一例を示している。

　（構成例１：図２０（ａ））
　図２０（ａ）は、ＭＰＥＧ－２システムにおけるビデオストリームのデコーダモデルと同様の構成を示す。

　ＰＩＤフィルタは、ＴＳパケットのＰＩＤを参照して、ＴＳパケットをフィルタリングして、ＴＢ（トランスポートバッファ）２００４に出力する。

　ＴＢ２００４に入力されたＴＳパケットは、ＴＳヘッダが取り除かれて、所定レートでＭＢ（メインバッファ）２００５に転送される。ここで、所定レートは、ＴＢ２００４から単位時間あたりに取り出さなければならないデータ量を示す。

　ＴＢ２００４からＭＢ２００５へのデータの転送により、ＭＢ２００５には、パケッタイズドビデオＥＳデータ（ビデオＰＥＳデータ）が蓄積される。

　ＭＢ２００５からは、ＥＢ（エレメンタリバッファ）２００６に空きがあれば、ビデオＰＥＳデータが、所定タイミングでＥＢ２００６に転送される。

　ここで、データがＴＢ２００４から、ＭＢ２００５、ＥＢ２００６へと移動するにつれて、ＴＳパケットヘッダ、ＰＥＳヘッダなどのシステムストリームのヘッダ情報が取り除かれ、ＥＢ２００６においては、ビデオのエレメンタリストリームのみが格納された状態となる。

　Ｄｅｃ（デコーダ）２００７は、ビデオのエレメンタリストリームをデコードする機能を有し、ＥＢ２００６からＤｅｃ２００７へはＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ）のタイミングでデータが伝送される。

　Ｄｅｃ２００７の出力は、ＤＰＢ（復号化ピクチャバッファ）２００８に保存され、ＰＴＳのタイミングでＰｌａｎｅ（表示プレーン）２００９に出力される。

　ここで、図２０（ａ）のように、ビデオストリームのデコーダが１つの場合には、追加ストリーム＃１（以降、ＴＳ１）と、追加ストリーム＃２（以降、ＴＳ２）の入力切り替えを、ＰＩＤ　ｆｉｌｔｅｒ２００３への入力を切り替えることで行う必要がある。

　ここで、アングル切り替えをシームレスに行うには、ＴＳ１における、アングル切り替えタイミング時のＴＳパケットの位置（一例として、ＰＴＳなどの時間情報で表す。）を記憶しておく必要がある。そして、ＴＳ２については、位置（ＰＴＳ）が上述のＴＳ１について記憶しておいたＴＳパケットの位置と同じＴＳパケットをビデオデコーダに入力できる状態になったときに、ビデオデコーダへ入力するパケットのＰＩＤを、ＴＳ１からＴＳ２のものに切り替える。

　（構成例２：図２０（ｂ））
　図２０（ｂ）は、ビデオストリームのデコーダモデルを複数有する構成を示す図である。

　この構成において、復号後の画像をＰｌａｎｅ２００９に格納するストリームを、ＴＳ１からＴＳ２に切り替える場合、切り替えることを決定してからＴＳ１の復号と並行して、ＴＳ２の復号を開始する。そして、ＴＳ２についての表示準備（表示すべきピクチャの復号）が完了した後、直近のＰＴＳのタイミングで、Ｐｌａｎｅ２００９の入力を、ＤＰＢ２００８からＤＰＢ２０２６へ切り替える。これにより、Ｐｌａｎｅ２００９に格納されるピクチャが、ＴＳ１から生成されるピクチャから、ＴＳ２から生成するピクチャへとシームレスに切り替えられる。

　（構成例３：図２０（ｃ））
　図２０（ｃ）は、ビデオストリームのデコーダモデルにおいて、バッファは複数あり、コア部分（Ｄｅｃ２０４２以降の構成）が１個である構成を示す図である。

　この構成において、ＴＳ１からＴＳ２に切り替える場合には、ＴＳ２のＧＯＰ先頭を検出したタイミングでＴＳ２のデコードを開始する。そして、ＥＢ２０２４にデータが十分たまった段階で、ＧＯＰ先頭のピクチャのＤＴＳのタイミングで、Ｄｅｃ２０２４への入力をＴＳ１のＥＢ２００６から、ＴＳ２のＥＢ２０２４に切り替える。

　ここで、ＤＴＳとＰＴＳのタイミングは一致しないため、ＴＳ２のＤＴＳで切り替えた後、ＰＴＳのタイミングが到来するまでは、ＴＳ１のＤＰＢのピクチャを表示するよう構成する。すなわち、ＳＷ１（２０４１）は、ＤＴＳのタイミングで切り替え、ＳＷ２（２０４３）はＰＴＳのタイミングで切り替える。これにより、シームレスな切り替えが実現できる。

　なお、ＳＷ１（２０４１）で、Ｄｅｃ２０４２の入力を、ＴＳ２のＥＢ２０２４に切り替えたタイミングで、つぎのＰＴＳに対応するピクチャがＴＳ１のＤＰＢ２００８に格納されていなければ、ＴＳ１のＤＰＢ２００８に、１つ前のＰＴＳのタイミングで格納されていたピクチャを表示するよう構成してもよい。
（１１）上述の実施形態では、ワイド映像をワイドテレビに表示する構成で説明したが、ワイド映像を表示できれば足りる。

　例えば、ワイド映像を２分割し、右半分の映像を１つのテレビに表示し、左半分の映像を他のテレビに表示することとしてもよい。

　この場合、例えば、再生装置２００において、図２１に示すように、合成映像プレーン２２２の後段に映像出力部２１０１を備えることとする。

　この映像出力部２１０１が、ワイド映像を上述の２つのテレビを用いて表示できるよう分割し、出力１から右半分の映像を出力し、出力２から左半分の映像を出力する。

　映像出力部２１０１は、ワイド映像を２つのテレビに分けて表示するためのテレビに関する情報については、予め取得しているものとする。

　また、放送システム１００の映像配置部１０３が、ワイド映像を分割し、再生装置２００側で複数台のディスプレイに表示させるための表示指示情報を、映像配置設定データ１２３に含めて、再生装置２００に送信することとしてもよい。

　表示指示情報は、例えば、再生装置２００において復元したワイド映像の右半分を、ユーザから見て左のディスプレイに表示させ、またワイド映像の右半分を、ユーザから見て右のディスプレイに表示させる旨を示す。

　再生装置２００は、ワイド映像を復元した場合に、映像配置設定データを参照し、ワイド映像の右半分を、出力１として出力することで、ユーザから見て左のディスプレイに表示させ、またワイド映像の右半分を、出力２として出力することで、ユーザから見て右のディスプレイに表示させる。
（１２）上述の実施形態では、放送ストリームと追加ストリームの双方を再生装置２００において受信し、再生することとしたが、受信及び再生の処理を複数の装置で分担して行ってもよい。

　例えば、図２２に示すように、放送ストリームについては、テレビ１（再生装置２００に相当）が放送波により受信して、放送映像を再生する。また、追加ストリームについては、携帯端末がネットワークにより受信して、追加映像を再生する。このとき、携帯端末は、追加映像を無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）によりテレビ２へと送信し、テレビ２が追加映像を表示する。

　この場合に、追加映像をいずれのテレビに表示させるかは、映像配置設定データに記載され追加ストリームに含められ、放送システム１００から携帯端末に送信されるものとする。

　以上のように構成することで、テレビ１及びテレビ２が、放送システム１００とネットワークを介した通信機能を有しない場合、又は、放送システム１００とネットワークを介した通信ができない場合であっても、放送映像と追加映像とをテレビ１及びテレビ２に表示させることができる。

　上述のように、複数台のテレビに放送ストリームと追加ストリームの映像を表示する場合の、映像相互の同期をとるために、例えば、（ａ）テレビ１と、携帯端末とが、タイムサーバにアクセスして現在時刻を取得し時刻同期をとる方法、（ｂ）リモコン（図示せず）の信号に同期のための情報を付して、テレビ１と、携帯端末とに受信させることにより時刻同期を取る方法、（ｃ）テレビ１と、携帯端末とで、同じチャンネルの放送波を復号し、ＰＣＲを用いて同期を合わせる方法、（ｄ）同じチャンネルではなくとも、サイマル放送（通常の放送波、及びワンセグ放送波）に関し、例えば、テレビ１において放送波を受信して復号し、携帯端末でワンセグ放送を受信して復号して、ＰＣＲを得て、ＰＣＲを用いて同期を合わせる方法、（ｅ）携帯端末がカメラ機能を有する場合に、テレビ１で表示されている映像を撮影しながら、携帯端末においてワンセグ放送を復号し、撮影された映像と、ワンセグ放送を復号した映像とを比較して時間のずれを検出し、補償することにより同期を取る、などの方法を用いてもよい。

　（１３）上述の実施形態では、追加ストリームは、放送システム１００から再生装置２００に対しネットワークを介して送信することとしていたが、送信できれば足りる。

　例えば、追加ストリームについても、放送波により放送システム１００から再生装置２００へと送信することとしてもよい。

　図３３は、本変形例に係る放送システム１００の構成を示すブロック図である。

　図３３の放送システム１００は、図１を用いて既に説明した放送システム１００とは、以下の点で異なる。

　すなわち、図３３の放送システムでは、追加ストリーム作成部１０５が、追加ストリーム１２２として、追加映像を、通信ではなく、放送波で放送できるフォーマットに変換することにより作成している。そして、図示しない送出部は、放送ストリーム作成部１０４が生成した放送ストリーム１２１と、追加ストリーム作成部１０５が生成した追加ストリーム１２２とが多重化されたストリームを放送波により送信している。

　図３４は、本変形例に係る再生装置２００の構成を示すブロック図である。

　図３４の再生装置２００は、図２を用いて既に説明した再生装置２００とは、以下の点で異なる。

　すなわち、図３４の再生装置２００は、ＮＩＣ２１１を有さず、チューナ２０１が、受信した放送波から、放送ストリーム１２１に係るＴＳパケットと、追加ストリーム１２２に係るＴＳパケットとを抽出する。そして、チューナ２０１は、放送ストリーム１２１に係るＴＳパケットを放送ストリームデコード部２０２に出力し、追加ストリーム１２２に係るＴＳパケットを追加ストリームデコード部２１２に出力する。

　以上により、追加ストリームについても、放送波により放送システム１００から再生装置２００へと送信する構成とすることができる。

　（１４）上述の変形例（８）にて説明したシステムについても、上述の変形例（１３）の場合と同様に、追加ストリームについても、放送波により放送システムから再生装置へと送信することとしてもよい。

　図３５は、本変形例に係るシステムの構成を示すブロック図である。

　図３５のシステムは、図１６を用いて既に説明したシステムとは、以下の点で異なる。

　図３５の放送システム１６０１では、追加ストリーム作成部１０５及び追加ストリーム作成部１６１４が、追加ストリーム（１２２、１２４）として、別視点映像を、通信ではなく、放送波で放送できるフォーマットに変換することにより作成している。そして、図示しない送出部は、放送ストリーム１２１、追加ストリーム１２２及び追加ストリーム１２４が多重化されたストリームを放送波により送信している。

　一方、図３５の再生装置１６０２は、ＮＩＣ２１１を有さず、チューナ２０１が、受信した放送波から、放送ストリーム１２１に係るＴＳパケットを放送ストリームデコード部２０２に出力する。

　また、受信追加ストリーム選択部１６５２は、チューナ２０１に対し、ユーザがリモコン入力するなどにより選択した別視点映像が格納された追加ストリームの抽出を要求する。

　そして、チューナ２０１は、要求された追加ストリーム（１２２又は１２４）に係るＴＳパケットを抽出する。そして、チューナ２０１は、追加ストリームに係るＴＳパケットを追加ストリームデコード部２１２に出力する。

　（１５）上述の変形例（１１）にて説明した再生装置２００についても、上述の変形例（１３）の場合と同様に、追加ストリームについても、放送波により放送システム１００から再生装置２００へと送信することとしてもよい。

　図３６は、本変形例に係る再生装置２００の構成を示すブロック図である。

　この場合、図３６の再生装置２００は、上述の変形例（１３）の場合と同様に、ＮＩＣ２１１を有さず、チューナ２０１が、受信した放送波から、放送ストリーム１２１に係るＴＳパケットと、追加ストリーム１２２に係るＴＳパケットとを抽出する。そして、チューナ２０１は、放送ストリーム１２１に係るＴＳパケットを放送ストリームデコード部２０２に出力し、追加ストリーム１２２に係るＴＳパケットを追加ストリームデコード部２１２に出力する。

　（１６）上述の変形例（１３）～（１５）では、放送ストリームと、追加ストリームとを１つの放送波により、放送システムから再生装置へと送信する構成としていたが、複数の放送波により送信する構成としてもよい。

　例えば、放送ストリームと、追加ストリームとを別の放送波で送信することとしてもよい。

　図３７は、本変形例に係る放送システム１００の構成を示す図である。

　図３７の放送システム１００は、図３３を用いて既に説明した放送システム１００とは、追加ストリームを放送波で送信する点が異なる。

　図３８は、本変形例に係る再生装置２００の構成を示す図である。

　図３８の再生装置２００は、図３４を用いて説明した再生装置２００とは、以下の点で異なる。

　すなわち、図３８の再生装置２００は、チューナ３８０１を備えており、チューナ３８０１を用いて、放送波により、追加ストリームを受信する。

　以上により、追加ストリームについても、放送波により放送システムから再生装置へと送信する構成とすることができる。

　（１７）上述の変形例（１４）にて説明したシステムについても、上述の変形例（１６）の場合と同様に、放送ストリームと、追加ストリームとを、複数の放送波により送信する構成としてもよい。

　図３９は、本変形例に係るシステムの構成を示すブロック図である。

　図３９のシステムは、図３５を用いて既に説明したシステムとは、以下の点で異なる。

　すなわち、図３９の放送システム１６０１では、追加ストリーム１２２及び追加ストリーム１２４が多重化されたストリームを放送波により送信している。

　また、図３９の再生装置１６０２は、チューナ３９０１を有しており、追加ストリームが多重化された放送波を受信する。

　受信追加ストリーム選択部１６５２は、チューナ３９０１に対し、ユーザがリモコン入力するなどにより選択した別視点映像が格納された追加ストリームの抽出を要求する。

　そして、チューナ３９０１は、要求された追加ストリーム（１２２又は１２４）に係るＴＳパケットを抽出する。そして、チューナ３９０１は、追加ストリームに係るＴＳパケットを追加ストリームデコード部２１２に出力する。

　以上により、放送ストリームと、追加ストリームとを、複数の放送波により送信する構成とすることができる。

　（１８）上述の変形例（１５）にて説明した再生装置２００についても、上述の変形例（１６）の場合と同様に、放送ストリームと、追加ストリームとを、複数の放送波により受信する構成としてもよい。

　図４０は、本変形例に係る再生装置２００の構成を示すブロック図である。

　この場合、図４０の再生装置２００は、上述の変形例（１６）の場合と同様に、チューナ３８０１を備え、チューナ３８０１を用いて、放送波により、追加ストリームを受信する。

　以上により、放送ストリームと、追加ストリームとを、複数の放送波により受信する構成とすることができる。

　（１９）上述の実施形態で示した、放送システム１００の映像分離処理、選択範囲取得処理など、再生装置２００の合成指示処理、映像合成処理などを、放送システム１００及び再生装置２００のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。

　（２０）上述の実施形態で示した各機能構成要素（放送システム１００のワイド映像撮影部１０１、映像分離部１０２、映像配置部１０３、放送ストリーム作成部１０４、及び追加ストリーム作成部１０５、再生装置２００のチューナ２０１、放送ストリームデコード部２０２、第１映像プレーン２０３、ＮＩＣ２１１、追加ストリームデコード部２１２、第２映像プレーン２１３、映像合成方法設定部２１４、映像合成部２２１、合成映像プレーン２２２など）は、その機能を実行する回路として実現されてもよいし、１又は複数のプロセッサによりプログラムを実行することで実現されてもよい。

　なお、上述の各機能構成要素は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

　（２１）上述の実施形態及び各変形例を、部分的に組み合せてもよい。
＜５．補足１＞
　上述の実施形態についての補足説明を行う。
＜ストリームの多重化＞
　次に、デジタルテレビ放送波などで伝送されるストリームである、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームについて説明する。

　ＭＰＥＧ－２トランスポートストリームは、ＩＳＯ／ＩＥＣ１３８１８－１およびＩＴＵ－Ｔ勧告Ｈ２２２．０において標準化された規格に準拠したストリームである。

　図２３は、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームの構成を示す図である。

　図２３に示すように、トランスポートストリームは、ビデオフレーム列から成るビデオストリーム、オーディオフレーム列から成るオーディオストリーム、字幕ストリームなどを多重化することで得られる。

　ビデオストリームは、番組の主映像が、ＭＰＥＧ－２、ＭＰＥＧ－４　ＡＶＣなどの方式を用いて圧縮符号化されたものである。

　オーディオストリームは、番組の主音声や副音声が、ドルビーＡＣ－３、ＭＰＥＧ－２　ＡＡＣ、ＭＰＥＧ－４　ＡＡＣ、ＨＥ－ＡＡＣなどの方式を用いて圧縮符号化されたものである。

　字幕ストリームは、番組の字幕情報を格納するストリームである。

　多重化の手順としては、ビデオについては、複数のビデオフレームからなるビデオストリーム２３０１を、ＰＥＳパケット列２３０２に変換し、更に、ＴＳパケット２３０３に変換する。

　オーディオについては、複数のオーディオフレームからなるオーディオストリーム２３０４を、ＰＥＳパケット列２３０５に変換し、更に、ＴＳパケット２３０６に変換する。

　字幕については、字幕ストリーム２３０７のデータを、それぞれＰＥＳパケット列２３０８に変換し、更に、ＴＳパケット２３０９に変換する。

　そして、ＴＳパケット２３０３、ＴＳパケット２３０６、及びＴＳパケット２３０９を、１本のストリームとして多重化することにより、ＭＰＥＧ－２トランスポートストリーム２３１３を得る。

　トランスポートストリームに含まれる各ストリームは、ＰＩＤと呼ばれるストリーム識別のためのＩＤによって識別できる。このＰＩＤのパケットを抽出することで再生装置は、対象のストリームを抽出する。ＰＩＤとストリームの対応は、後述のＰＭＴパケットのディスクリプタに格納される。

　図２４は、ＰＥＳパケット列にビデオストリームがどのように格納されるかを示す図である。

　ストリーム２４０１は、ビデオストリームにおけるビデオフレーム列を示している。

　ＰＥＳパケット列２４０２は、ＰＥＳパケット列を示す。

　図２４に矢印ｙｙ１、ｙｙ２、ｙｙ３、ｙｙ４として示すように、ビデオストリームにおける複数のＶｉｄｅｏ　Ｐｒｅｓｅｎｔａｔｉｏｎ　ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。

　各ＰＥＳパケットはＰＥＳヘッダを有しており、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ－Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ－Ｓｔａｍｐ）が格納される。
＜ビデオストリームの圧縮符号化＞
　ここでは、ビデオストリームの圧縮符号化について説明する。

　ＭＰＥＧ－２、ＭＰＥＧ－４　ＡＶＣ、ＳＭＰＴＥ　ＶＣ－１（Ｓｏｃｉｅｔｙ　ｏｆ　Ｍｏｔｉｏｎ　Ｐｉｃｔｕｒｅ　Ｔｅｌｅｖｉｓｉｏｎ　Ｅｎｇｉｎｅｅｒｓ　ＶＣ－１）などの動画圧縮符号化では、動画像の空間方向および時間方向の冗長性を利用している。

　時間方向の冗長性を利用する手法としては、ピクチャ間予測符号化が用いられる。

　ここで、ピクチャとは、画像の冗長度が削減されたフレーム又はフィールドのことである。

　ピクチャ間予測符号化では、符号化対象のピクチャの圧縮符号化として、表示時間順で前方または後方にあるピクチャを参照ピクチャとすることで、時間方向の冗長度を削減する。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対象のピクチャとの差分値を圧縮符号化することで、空間方向の冗長度を削減する。

　図２５は、一般的なビデオストリームのピクチャの参照関係を示す図である。

　図２５中の矢印は、参照ピクチャを示す。

　ピクチャは、符号化方法によりＩピクチャ、ＰＩピクチャ、Ｂピクチャに分けられる。

　Ｉピクチャ（図中のＩ₀など）は、参照ピクチャを用いることなく、符号化対象ピクチャのみを用いて、ピクチャ内予測符号化を行うことで生成するピクチャである。

　Ｐピクチャ（図中のＰ₃、Ｐ₆など）は、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャである。

　Ｂピクチャ（図中のＢ₁、Ｂ₂、Ｂ₄、Ｂ₅など）は、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャである。また、Ｂピクチャの中で、他のピクチャから参照されるピクチャをＢｒピクチャという。

　また、ビデオストリームがフレームで構成されている（フレーム構造である）場合のフレーム、またフィールドで構成されている（フィールド構造である）場合のフィールドを「ビデオアクセスユニット」という。
＜ビデオストリームの階層構造＞
　図２６は、ビデオストリームの階層構造について説明するための図である。

　ビデオストリームは、複数の、符号化処理の基本単位であるＧＯＰから構成されている。動画像の編集やランダムアクセスは、このＧＯＰを単位として行われる。

　ＧＯＰは、上述のビデオアクセスユニットを１以上含めて構成されている。

　ビデオアクセスユニットは、ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードなどから構成される。これらのデータは、ＭＰＥＧ－４　ＡＶＣの場合であれば、ＮＡＬユニット単位で格納される。

　ＡＵ識別コードは、アクセスユニットの先頭を示す開始符号である。

　シーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納するヘッダである。シーケンスヘッダには、具体的には、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。

　ピクチャヘッダは、ピクチャ全体の符号化の方式などの情報を格納するヘッダである。

　補足データは、圧縮データの復号に必須ではない付加情報である。例えば、映像と同期してＴＶに表示するクローズドキャプションの文字情報やＧＯＰ構造情報などが格納される。

　圧縮ピクチャデータには、圧縮符号化されたピクチャのデータが格納される。パディングデータは、形式を整えるための意味のないデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。シーケンス終端コードは、再生シーケンスの終端を示すデータである。ストリーム終端コードは、ビットストリームの終端を示すデータである。

　ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードの内容は、ビデオの符号化方式によって異なる。

　例えば、ビデオの符号化方式がＭＰＥＧ－４　ＡＶＣの場合、ＡＵ識別コードは、ＡＵデリミタ（Ａｃｃｅｓｓ　Ｕｎｉｔ　Ｄｅｌｉｍｉｔｅｒ）であり、シーケンスヘッダは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｔｅｒ　Ｓｅｔ）に、ピクチャヘッダは、ＰＰＳ（Ｐｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）であり、補足データはＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）であり、圧縮ピクチャデータは、複数個のスライスであり、パディングデータは、Ｆｉｌｌｅｒ　Ｄａｔａであり、シーケンス終端コードは、Ｅｎｄ　ｏｆ　Ｓｅｑｕｅｎｃｅであり、ストリーム終端コードは、Ｅｎｄ　ｏｆ　Ｓｔｒｅａｍである。

　また、ビデオの符号化方式がＭＰＥＧ－２の場合、シーケンスヘッダは、ｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ、ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ、ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒであり、ピクチャヘッダは、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎであり、補足データは、ｕｓｅｒ＿ｄａｔａであり、圧縮ピクチャデータは、複数個のスライスであり、シーケンス終端コードは、ｓｅｑｕｅｎｃｅ＿ｅｎｄ＿ｃｏｄｅである。また、ＡＵ識別コードは存在しないが、アクセスユニットの切れ目は、それぞれのヘッダのスタートコードを用いて検出することができる。

　ここで、上述したデータのいくつかは省略可能な場合がある。例えば、シーケンスヘッダは、ＧＯＰ先頭のビデオアクセスユニットにのみ記載しておき、それ以外のビデオアクセスユニットには記載しないこととしてもよい。

　また、符号化方式によっては、ビデオアクセスユニットとして、自ビデオアクセスユニット内にピクチャヘッダの記載がなく、符号順が前のビデオアクセスユニットのピクチャヘッダを参照するものが存在してもよい場合もある。

　例えば、一例として図２７に示すＧＯＰ先頭のビデオアクセスユニット（２７０１）には、圧縮ピクチャデータとしてＩピクチャのデータが格納され、ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、圧縮ピクチャデータが必ず記載される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードについては、必要に応じ記載される。

　一方、ＧＯＰ先頭以外のビデオアクセスユニット（２７０２）には、ＡＵ識別コード、圧縮ピクチャデータが必ず記載され、補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは、必要に応じ記載される。
＜クロッピング及びスケーリング＞
　クロッピングは、符号化されたフレーム領域から、一部の領域を抜き出すことである。スケーリングは、その抜き出した領域を拡大、縮小することである。

　クロッピング及びスケーリングを行うことで、符号化されたフレーム領域から、実際に表示に用いる領域を生成することができる。

　例えば、図２８に示すように、符号化されたフレーム領域２８０１の中から実際に表示する領域を「クロッピング領域」（一例としてクロッピング領域２８０２）として指定する。そして、クロッピング領域２８０２を、実際にテレビなどに表示する際のスケーリング方法を示すスケーリング情報に従ってアップコンバート等することで実際に表示に用いる領域（画像）２８０３を生成する。

　クロッピング領域の指定は、ＭＰＥＧ－４　ＡＶＣの場合であれば、ＳＰＳに格納されるｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報を用いて行うことができる。

　ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報は、図２９の説明用画像２９０１として示すように、クロッピンング領域の上線／下線／左線／右線と、符号化されたフレーム領域の上線／下線／左線／右線との差分を、上下左右のクロップ量として指定する。

　より具体的には、クロッピング領域を指定する場合には、ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ＿ｆｌａｇを１に設定し、ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ　／　ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ　／　ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ　／　ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔに上／下／左／右のクロップ量を指定する。

　また、ＭＰＥＧ－２の場合には、図２９の説明用画像２９０２として示すように、クロッピング領域の縦横のサイズ（ｓｅｑｕｅｎｃｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｄｉｓｐｌａｙ＿ｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ，　ｄｉｓｐｌａｙ＿ｖｅｒｔｉｃａｌ＿ｓｉｚｅ）と、符号化されたフレーム領域の中心とクロッピング領域の中心との差分情報（ｐｉｃｔｕｒｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ，　ｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ）を使ってクロッピング領域を指定できる。

　また、スケーリング情報は、例えばアスペクト比として設定される。再生装置は、そのアスペクト比の情報を使って、クロッピング領域をアップコンバートして表示する。

　例えば、ＭＰＥＧ－４　ＡＶＣの場合には、スケーリング情報として、ＳＰＳにアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ）が格納される。

　例えば、ＭＰＥＧ－４　ＡＶＣの場合、１４４０×１０８０のクロッピング領域を１９２０×１０８０に拡大して表示するためには、アスペクト比として４：３を指定する。この場合、水平方向に４／３倍にアップコンバート（１４４０×４／３＝１９２０）され、１９２０×１０８０に拡大されて表示されることになる。

　ＭＰＥＧ－２の場合にも同様に、ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒにアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏｒｍａｔｉｏｎ）が格納される。
＜ＴＳパケット＞
　図３０は、ＴＳパケットのデータ構造を示す図である。

　ＴＳパケットは、４バイトのＴＳヘッダ、アダプテーションフィールド、及びＴＳペイロードから構成される１８８バイト固定長のパケットである。

　ＴＳヘッダは、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ、ＰＩＤ、ａｄａｐｔａｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌなどから構成される。

　ＰＩＤは前述の通りトランスポートストリームに多重化されているストリームを識別するためのＩＤである。ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙは、同一ＰＩＤのＴＳパケットの中のパケットの種別を識別するための情報である。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌは、アダプテーションフィールドとＴＳペイロードの構成を制御するための情報である。アダプテーションフィールドとＴＳペイロードは、いずれかのみが存在する場合と、両方が存在する場合とがあり、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌが、その有無を示す。

　ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌが１の場合は、ＴＳペイロードのみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌが２の場合は、アダプテーションフィールドのみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌが３の場合は、ＴＳペイロードとアダプテーションフィールドの両方が存在することを示す。

　アダプテーションフィールドは、ＰＣＲなどの情報の格納や、ＴＳパケットを１８８バイト固定長にするためのスタッフィングするデータの格納領域である。ＴＳペイロードにはＰＥＳパケットが分割されて格納される。

　トランスポートストリームに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ　Ａｓｓｏｃｉａｔｉｏｎ　Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）などがある。これらのパケットはＰＳＩ（Ｐｒｏｇｒａｍ　Ｓｐｅｃｉｆｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる。

　ＰＡＴは、トランスポートストリーム中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０である。

　ＰＭＴは、トランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を有し、またトランスポートストリームに関する各種ディスクリプタを有する。

　ディスクリプタには、ＡＶストリームのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＴＳパケットのデコーダへの到着時刻とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ　Ｔｉｍｅ　Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるタイミングに対応するＳＴＣ時間の情報を持つ。

　図３１は、ＰＭＴのデータ構造を示す図である。

　ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、トランスポートストリームに関するディスクリプタが複数配置される。前述したコピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、トランスポートストリームに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。
＜６．補足２＞
　以下、更に本発明の一実施形態としてのコンテンツ放送受信システムの構成及びその変形例と効果について説明する。
（１）本発明の一実施形態に係る再生装置は、原映像を再生する再生装置であって、前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出した放送画像群から成る放送映像を放送波から取得する第１受信手段と、前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を受信する第２受信手段と、前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を取得する配置情報取得手段と、前記配置情報に基づき、前記放送画像群と前記残画像群とを配置することにより前記フレーム画像群を生成し、表示する再生手段とを備える。

　この構成により、放送映像と、放送映像との固定の相対位置から定まる映像ではない任意の映像である追加映像とを用いて、原映像を再生することができる。
（２）また、前記フレーム画像のそれぞれは、前記放送画像と、複数の部分画像とに分割されており、前記残画像は、前記複数の部分画像が結合されて成り、前記配置情報は、前記残画像における、前記複数の部分画像それぞれの配置位置を示す情報を含み、前記再生手段は、前記配置情報を参照して、前記残画像を前記複数の部分画像に分割し、前記放送画像と結合することにより前記フレーム画像を生成することとしてもよい。

　この構成により、フレーム画像を、放送画像と、連続しない複数の部分画像とに分けられた場合であっても、これらの放送画像及び複数の部分画像からフレーム画像を生成することができる。よって、放送システムでフレーム画像を分割する場合における、フレーム画像の区切り方の自由度を増すことができる。
（３）また、前記フレーム画像のそれぞれは、水平方向に、前記複数の部分画像の１つとしての左部分画像、前記放送画像、及び前記複数の部分画像の１つとしての右部分画像の３つに分割され、前記再生手段は、前記配置情報を参照して、前記残画像を前記左部分画像及び前記右部分画像に分割し、前記左部分画像を前記放送画像の左端に結合し、前記右部分画像を前記放送画像の右端に結合することにより前記フレーム画像を生成することとしてもよい。

　この構成により、原映像として、放送画像を水平方向によりワイド化した映像を用いることができる。
（４）また、前記フレーム画像のそれぞれは、垂直方向に、前記複数の部分画像の１つとしての上部分画像、前記放送画像、及び前記複数の部分画像の１つとしての下部分画像の３つに分割され、前記再生手段は、前記配置情報を参照して、前記残画像を前記上部分画像及び前記下部分画像に分割し、前記上部分画像を前記放送画像の上端に結合し、前記下部分画像を前記放送画像の下端に結合することにより前記フレーム画像を生成することとしてもよい。

　この構成により、原映像として、放送画像よりも解像度を増した映像を用いることができる。
（５）また、前記複数の部分画像の少なくとも１つは、他の部分画像と結合される場合に拡大又は縮小されており、前記配置情報には、前記拡大又は縮小された部分画像について、元の大きさに戻すための倍率が記載されており、前記再生手段は、前記放送画像と前記複数の部分画像とを結合する場合に、前記拡大又は縮小された部分画像については、前記配置情報に基づき元の大きさに戻す処理を行ってから結合することとしてもよい。

　また、前記複数の部分画像の少なくとも１つは、他の部分画像と結合される場合に回転されており、前記配置情報には、前記回転された部分画像について、回転前の姿勢に戻すための回転角が記載されており、前記再生手段は、前記放送画像と前記複数の部分画像とを結合する場合に、前記回転された部分画像については、前記配置情報に記載された回転角の分だけ回転させてから結合することとしてもよい。

　この構成により、放送システムでフレーム画像を分割する場合における、フレーム画像の区切り方の自由度を一層増すことができる。
（６）また、前記放送システムは、ネットワークを介して前記追加映像を送信し、前記第２受信手段は、前記ネットワークを介して前記追加映像を受信することとしてもよい。

　この構成により、原映像を、放送波及び通信に分けて受信することができる。
（７）また、前記配置情報は、前記抽出される部分が同じであるフレーム画像から成る所定のグループ毎に、１つずつ生成されており、前記再生手段は、前記フレーム画像群を生成する場合に、前記グループそれぞれについて、当該グループについて生成された配置情報を参照し、当該グループを構成するフレーム画像を生成することとしてもよい。

　この構成により、フレーム画像個々に配置情報を生成する場合よりも、受信する配置情報の量を減らすことができる。よって、通信回線の混雑度合を低減することができる。
（８）本発明の一実施形態に係る再生方法は、原映像を再生する再生装置が実行する再生方法であって、前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出した放送画像群から成る放送映像を放送波から取得する第１受信ステップと、前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を受信する第２受信ステップと、前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を取得する配置情報取得ステップと、前記配置情報に基づき、前記放送画像群と前記残画像群とを配置することにより前記フレーム画像群を生成し、表示する再生ステップとを含む。

　本発明の一実施形態に係る集積回路は、原映像を再生する再生装置に用いられる集積回路であって、前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出した放送画像群から成る放送映像を放送波から取得する第１受信手段と、前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を受信する第２受信手段と、前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を取得する配置情報取得手段と、前記配置情報に基づき、前記放送画像群と前記残画像群とを配置することにより前記フレーム画像群を生成し、表示する再生手段とを備える。

　この構成により、放送映像と、放送映像との固定の相対位置から定まる映像ではない任意の映像である追加映像とを用いて、原映像を再生することができる。
（９）本発明の一実施形態に係る放送システムは、原映像を送信する放送システムであって、前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出し、前記抽出した画像群から成る放送映像を、放送波を用いて送信する第１送信手段と、前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を生成し、送信する第２送信手段と、前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を生成し、送信する配置情報送信手段とを備える。

　本発明の一実施形態に係る放送方法は、原映像を送信する放送システムが実行する放送方法であって、前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出し、前記抽出した画像群から成る放送映像を、放送波を用いて送信する第１送信ステップと、前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を生成し、送信する第２送信ステップと、前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を生成し、送信する配置情報送信ステップとを含む。

　本発明の一実施形態に係る集積回路は、原映像を送信する放送システムに用いられる集積回路であって、前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出し、前記抽出した画像群から成る放送映像を、放送波を用いて送信する第１送信手段と、前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を生成し、送信する第２送信手段と、前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を生成し、送信する配置情報送信手段とを備える。

　この構成により、放送映像と、放送映像との固定の相対位置から定まる映像ではない任意の映像である追加映像とを用いて、原映像を再生装置へと送信することができる。

　本発明の一実施形態に係る再生装置は、放送映像と追加映像とを結合して１個の結合映像を生成し表示する場合に、追加映像として放送映像との固定の相対位置から定まる映像ではない任意の映像を用いることができるものであり、放送及び通信の双方から映像を受信し結合し再生する装置等に有用である。

　　１００　　放送システム
　　１０１　　ワイド映像撮影部
　　１０２　　映像分離部
　　１０３　　映像配置部
　　１０４　　放送ストリーム作成部
　　１０５　　追加ストリーム作成部
　　１０６　　追加ストリーム作成部
　　２００　　再生装置
　　２０１　　チューナ
　　２０２　　放送ストリームデコード部
　　２０３　　映像プレーン
　　２１１　　ＮＩＣ
　　２１２　　追加ストリームデコード部
　　２１３　　映像プレーン
　　２１４　　映像合成方法設定部
　　２１５　　映像合成方法設定部
　　２２１　　映像合成部
　　２２２　　合成映像プレーン

Claims

　原映像を再生する再生装置であって、
　前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出した放送画像群から成る放送映像を放送波から取得する第１受信手段と、
　前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を受信する第２受信手段と、
　前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を取得する配置情報取得手段と、
　前記配置情報に基づき、前記放送画像群と前記残画像群とを配置することにより前記フレーム画像群を生成し、表示する再生手段とを備える
　ことを特徴とする再生装置。
　前記フレーム画像のそれぞれは、前記放送画像と、複数の部分画像とに分割されており、
　前記残画像は、前記複数の部分画像が結合されて成り、
　前記配置情報は、前記残画像における、前記複数の部分画像それぞれの配置位置を示す情報を含み、
　前記再生手段は、前記配置情報を参照して、前記残画像を前記複数の部分画像に分割し、前記放送画像と結合することにより前記フレーム画像を生成する
　ことを特徴とする請求項１記載の再生装置。
　前記フレーム画像のそれぞれは、水平方向に、前記複数の部分画像の１つとしての左部分画像、前記放送画像、及び前記複数の部分画像の１つとしての右部分画像の３つに分割され、
　前記再生手段は、前記配置情報を参照して、前記残画像を前記左部分画像及び前記右部分画像に分割し、前記左部分画像を前記放送画像の左端に結合し、前記右部分画像を前記放送画像の右端に結合することにより前記フレーム画像を生成する
　ことを特徴とする請求項２記載の再生装置。
　前記フレーム画像のそれぞれは、垂直方向に、前記複数の部分画像の１つとしての上部分画像、前記放送画像、及び前記複数の部分画像の１つとしての下部分画像の３つに分割され、
　前記再生手段は、前記配置情報を参照して、前記残画像を前記上部分画像及び前記下部分画像に分割し、前記上部分画像を前記放送画像の上端に結合し、前記下部分画像を前記放送画像の下端に結合することにより前記フレーム画像を生成する
　ことを特徴とする請求項２記載の再生装置。
　前記複数の部分画像の少なくとも１つは、他の部分画像と結合される場合に拡大又は縮小されており、
　前記配置情報には、前記拡大又は縮小された部分画像について、元の大きさに戻すための倍率が記載されており、
　前記再生手段は、前記放送画像と前記複数の部分画像とを結合する場合に、前記拡大又は縮小された部分画像については、前記配置情報に基づき元の大きさに戻す処理を行ってから結合する
　ことを特徴とする請求項２記載の再生装置。
　前記複数の部分画像の少なくとも１つは、他の部分画像と結合される場合に回転されており、
　前記配置情報には、前記回転された部分画像について、回転前の姿勢に戻すための回転角が記載されており、
　前記再生手段は、前記放送画像と前記複数の部分画像とを結合する場合に、前記回転された部分画像については、前記配置情報に記載された回転角の分だけ回転させてから結合する
　ことを特徴とする請求項２記載の再生装置。
　前記放送システムは、ネットワークを介して前記追加映像を送信し、
　前記第２受信手段は、前記ネットワークを介して前記追加映像を受信する
　ことを特徴とする請求項１記載の再生装置。
　前記配置情報は、前記抽出される部分が同じであるフレーム画像から成る所定のグループ毎に、１つずつ生成されており、
　前記再生手段は、前記フレーム画像群を生成する場合に、前記グループそれぞれについて、当該グループについて生成された配置情報を参照し、当該グループを構成するフレーム画像を生成する
　ことを特徴とする請求項１記載の再生装置。
　原映像を再生する再生装置が実行する再生方法であって、
　前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出した放送画像群から成る放送映像を放送波から取得する第１受信ステップと、
　前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を受信する第２受信ステップと、
　前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を取得する配置情報取得ステップと、
　前記配置情報に基づき、前記放送画像群と前記残画像群とを配置することにより前記フレーム画像群を生成し、表示する再生ステップとを含む
　ことを特徴とする再生方法。
　原映像を再生する再生装置に用いられる集積回路であって、
　前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出した放送画像群から成る放送映像を放送波から取得受信する第１受信手段と、
　前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を受信する第２受信手段と、
　前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を取得する配置情報取得手段と、
　前記配置情報に基づき、前記放送画像群と前記残画像群とを配置することにより前記フレーム画像群を生成し、表示する再生手段とを備える
　ことを特徴とする集積回路。
　原映像を送信する放送システムであって、
　前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出し、前記抽出した画像群から成る放送映像を、放送波を用いて送信する第１送信手段と、
　前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を生成し、送信する第２送信手段と、
　前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を生成し、送信する配置情報送信手段とを備える
　ことを特徴とする放送システム。
　原映像を送信する放送システムが実行する放送方法であって、
　前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出し、前記抽出した画像群から成る放送映像を、放送波を用いて送信する第１送信ステップと、
　前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を生成し、送信する第２送信ステップと、
　前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を生成し、送信する配置情報送信ステップとを含む
　ことを特徴とする放送方法。
　原映像を送信する放送システムに用いられる集積回路であって、
　前記原映像を構成するフレーム画像群における、各フレーム画像の任意の部分を抽出し、前記抽出した画像群から成る放送映像を、放送波を用いて送信する第１送信手段と、
　前記フレーム画像群における、各フレーム画像の前記抽出された部分以外の残画像群から成る追加映像を生成し、送信する第２送信手段と、
　前記フレーム画像群についての、各フレーム画像における放送画像及び残画像の配置を示す配置情報を生成し、送信する配置情報送信手段とを備える
　ことを特徴とする集積回路。