JPWO2013021643A1 - 放送通信連携システム、データ生成装置及び受信装置 - Google Patents

Abstract

データ生成装置１００は、フレーム画像を取得する取得部１０１と、再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳を禁止するフレーム画像上の領域を示す禁止情報を設定する設定部１０９と、前記フレーム画像と前記禁止情報とを多重化してデータを生成する多重化部１０４とを備える。受信装置４００は、禁止情報と前記フレーム画像とが多重化されたデータを受信する受信部４０１と、前記データから、前記フレーム画像と前記禁止情報とを分離する分離部４０２と、前記付加画像を取得する取得部４０９と、前記禁止情報に基づいて、前記フレーム画像に前記付加画像を重畳する重畳部４０７とを備える。

Description

本発明は、放送と通信とを連携する技術に関する。

近年、放送のデジタル化に伴い、一般家庭のテレビにおいて、高画質なハイビジョンの映像を楽しむことが可能となってきている。一方、ブロードバンド環境が普及することで、多くのユーザは、音声・動画ストリーミングサービスやＳＮＳ（Social Networking Service）等、様々なインターネットのサービスを楽しむことが可能となってきている。

このような環境において、放送波コンテンツと通信コンテンツとを融合した、新しいサービスの検討がなされ、そのサービスを実現するための技術開発が進められている。

非特許文献１には、番組カスタマイズサービス、ソーシャルテレビサービス、番組お薦めサービスなどの例が記載されている。ここで、番組カスタマイズサービスは、放送中の番組に関連する付加情報をインターネットなどの通信ネットワークを通して提供し、放送と同時に表示するサービスである。これにより、視聴者個人のニーズに合った視聴を可能にする。また、ソーシャルテレビサービスは、インターネット上で普及しているＳＮＳを放送の視聴と融合させるサービスである。ソーシャルテレビサービスでは、ＳＮＳに入力される視聴者からの意見や感想を番組と同時にテレビ画面上に表示する。これにより、ＳＮＳに積極的に参加しない視聴者も意見や感想を共有できるようにする。さらに、番組お薦めサービスは、インターネットで提供される数多くのＶＯＤ（Video On Demand）番組ライブラリーの中から、視聴者にお薦めのＶＯＤ番組を提示するサービスである。

松村欣司、外１名、「Hybridcast TM の概要と技術」、ＮＨＫ技研Ｒ＆Ｄ、ＮＨＫ放送技術研究所、２０１０年、Ｎｏ．１２４、ｐ．１０−１７

上記のように、放送と通信とを連携するサービスを実現する場合、放送局の意図に反して通信コンテンツの重畳が行われることが課題として挙げられる。例えば、「緊急のお知らせ」など放送局がユーザに伝えたい重要なメッセージに、通信コンテンツが重畳されると、放送局はユーザに伝えたい重要なメッセージを正しくユーザに伝えることができなくなってしまう。

なお、「緊急のお知らせ」のように、放送局がユーザに伝えたい重要なメッセージの例としては「緊急地震速報」、「ニュース速報」などがある。また、放送局のビジネスの面で必要なメッセージとしては「コマーシャル」などがあり、これらのメッセージを正しくユーザに伝えられない場合、放送局のビジネスが阻害されてしまう。

本発明の一態様は、上記課題を解決することを目的とする。

上記目的を達成するため、本発明の一態様は、データを生成するデータ生成装置であって、フレーム画像を取得する取得手段と、再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳を禁止するフレーム画像上の領域を示す禁止情報を設定する設定手段と、前記フレーム画像と前記禁止情報とを多重化してデータを生成する多重化手段とを備えることを特徴とする。また、データを受信する受信装置であって、再生装置によって付加画像が重畳されたフレーム画像を再生する際に、付加画像の重畳を禁止するフレーム画像の領域を示す禁止情報と、前記フレーム画像とが多重化されたデータを受信する受信手段と、前記データから、前記フレーム画像と前記禁止情報とを分離する分離手段と、前記付加画像を取得する取得手段と、前記禁止情報に基づいて、前記フレーム画像に前記付加画像を重畳する重畳手段とを備えることを特徴とする。

この態様によると、放送局の意図に反して通信コンテンツの重畳が行われることを防ぐことができ、放送と通信とを連携するサービスを円滑に提供することができる。

実施の形態１としての放送通信連携システム１０の全体構成を示すブロック図である。 実施の形態２としての放送通信連携システム１０ａの全体構成を示すブロック図である。 トランスポートストリーム形式のデジタルストリームのデータ構造を示す。 ビデオストリームのデータ構造を示す。 ビデオストリームのアクセスユニットのデータ構造を示す。 クロッピング領域情報及びスケーリング情報を示す。 クロッピング領域情報及びスケーリング情報の具体的な指定方法を示す。 （ａ）ビデオフレーム列５７０のデータ構造を示す。（ｂ）ＰＥＳパケット列５８０のデータ構造を示す。 トランスポートストリームを構成するＴＳパケットのデータ構造を示す。 ＰＭＴのデータ構造を示す。 ビデオストリームの参照関係を示す。 映像プレーン６４１と、映像プレーン６４１に対して、メッセージ画像６４３やスコア画像６４４を重畳して得られた映像プレーン６４２とを示す ユーザのコメントを表したコメント画像６５５を重畳して得られた重畳プレーン６５４を示す 合成プレーン６６５を生成するプロセスを示す。重畳領域設定ビットマップ６６１を用いて、重畳プレーン６５４にマスク処理を施して、マスク重畳プレーン６６３を生成する。次に、映像プレーン６４２とマスク重畳プレーン６６３とを合成して合成プレーン６６５を生成する。 映像のシーン６７１、６７３、６７６と、重畳領域設定ビットマップ６８４、６８５、６８７との対応関係を示す。 バリエーションとしての重畳領域設定ビットマップ７２１を示す。 バリエーションとしての重畳領域設定ビットマップ７３１を示す。 映像のシーン６７１、６７３、６７６と、重畳領域設定データ６８４ａ、６８５ａ、６８７ａとの対応関係を示す。 重畳領域設定データの格納先の一例を示す。 放送システム１００ａの動作を示すフローチャートである。 重畳領域設定データの生成の動作を示すフローチャートである。 再生装置４００ａの動作を示すフローチャートである。 プレーン毎のマスク処理の動作を示すフローチャートである。 重畳領域設定データが存在しない場合の、映像プレーン７０１と重畳プレーン７０２との合成のプロセスを示す。 映像のシーン６７１、６７３、６７６と、重畳領域設定データ６８４ｂ、６８５ｂ、６８７ｂとの対応関係を示す。 バリエーションとしての重畳領域設定ビットマップ６８４ｃの一例を示す。 他のバリエーションとしての重畳領域設定ビットマップ６８４ｄの一例を示す。 変形例としての放送通信連携システム１０ａ１の全体構成を示すブロック図である。 放送通信連携システム１０ａ１において、合成プレーン６６５ａを生成するプロセスを示す。重畳領域設定ビットマップ６６１を用いて、重畳プレーン６５４ａにマスク処理を施して、マスク重畳プレーン６６３ａを生成する。次に、映像プレーン６４２とマスク重畳プレーン６６３ａとを合成して合成プレーン６６５ａを生成する。 映像のシーン６７１、６７３、６７６と、重畳領域設定ビットマップ６８４ｅ、６８５ｅ、６８７ｅとの対応関係を示す。 合成プレーン６６５ｅを生成するプロセスを示す。重畳領域設定ビットマップ６８５ｅを用いて、重畳プレーン６５４ｅにマスク処理を施して、マスク重畳プレーン６６３ｅを生成する。次に、映像プレーン６４２とマスク重畳プレーン６６３ｅとを合成して合成プレーン６６５ｅを生成する。 映像のシーン６７１、６７３、６７６と、重畳領域設定ビットマップ６８４ｆ、６８５ｆ、６８７ｆとの対応関係を示す。 変形例としての放送通信連携システム１０ａ２の全体構成を示すブロック図である。 変形例としての放送通信連携システム１０ａ３の全体構成を示すブロック図である。 実施の形態３としての放送通信連携システム１０ｂの全体構成を示すブロック図である。 映像のシーン６７１、６７３、６７６と、音声合成設定データ６８４ｉ、６８５ｉ、６８７ｉとの対応関係を示す。 音声合成設定データの生成の動作を示すフローチャートである。 再生装置４００ｂの動作を示すフローチャートである。 音声の合成処理の動作を示すフローチャートである。 実施の形態４としての放送通信連携システム１０ｃの全体構成を示すブロック図である。 実施の形態５としての放送通信連携システム１０ｄの全体構成を示すブロック図である。 放送通信連携システム１０ｄにおいて提供されるサービスを示す。映像プレーン９０１及び９１１において、各選手画像の近傍にラベル画像が重畳されて表示される。 俯瞰カメラ９２１と３次元実空間との位置関係を示す。 選手位置テーブル９４１のデータ構造の一例を示す。 重畳データ９６１のデータ構造の一例を示す。 映像プレーン９８１と重畳プレーン９８５とを合成して合成プレーン９８８を生成するプロセスを示す。 重畳データの生成の動作を示すフローチャートである。 再生の動作を示すフローチャートである。 ラベル画像の配置の一例を示す。 重畳データのデータ構造の一例を示す。各ラベル位置情報は、画像ＩＤを含む。 重畳プレーン８０１の一例を示す。 ラベル画像が配置された後の合成プレーン８０１ａを示す。 ラベル画像が配置された後の別の合成プレーン８０１ｂを示す。 基本ビュービデオストリーム及び拡張ビュービデオストリームにおける参照関係を示す。

１．実施の形態１
本発明の実施の形態１としての、放送通信連携システム１０について、図面を参照しながら説明する。

（１）放送通信連携システム１０
放送通信連携システム１０は、図１に示すように、データ生成装置１００と放送装置２００とサービス提供装置３００と受信装置４００とから構成される。

データ生成装置１００は、フレーム画像を取得する取得部１０１と、再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳を禁止するフレーム画像上の領域を示す禁止情報を設定する設定部１０９と、前記フレーム画像と前記禁止情報とを多重化してデータを生成する多重化部１０４とを備える。

放送装置２００は、前記データを放送路にて伝送する。

サービス提供装置３００は、前記付加画像を通信路にて伝送する。

受信装置４００は、再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳を禁止するフレーム画像の領域を示す禁止情報と、前記フレーム画像とが多重化されたデータを受信する受信部４０１と、前記データから、前記フレーム画像と前記禁止情報とを分離する分離部４０２と、前記付加画像を取得する取得部４０９と、前記禁止情報に基づいて、前記フレーム画像に前記付加画像を重畳する重畳部４０７とを備える。

（２）ここで、データ生成装置１００は、前記フレーム画像を一の伝送路により伝送し、前記付加画像は、前記伝送路とは、異なる伝送路により、伝送されるとしてもよい。

この態様によると、異なる伝送路を用いるので、それぞれの伝送路の特性を有効に利用することができる。

（３）ここで、前記フレーム画像は放送路にて伝送され、前記付加画像は通信路にて伝送されるとしてもよい。

この態様によると、異なる伝送路を用いるので、それぞれの伝送路の特性を有効に利用することができる。

（４）ここで、設定部１０９は、さらに、再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳を許可するフレーム画像上の領域を示す許可情報を設定し、多重化部１０４は、さらに、前記許可情報を多重化するとしてもよい。

この態様によると、フレーム画像を再生する際に、重畳を許可する領域を示すことにより、その他の領域において、付加画像が重畳されて、フレーム画像が妨げられないように、前記データを生成することができる。

（５）ここで、設定部１０９は、さらに、再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳を推奨するフレーム画像上の領域を示す推奨情報を設定し、多重化部１０４は、さらに、前記推奨情報を多重化するとしてもよい。

この態様によると、フレーム画像を再生する際に、重畳を推奨する領域を示すことにより、その他の領域において、付加画像が重畳されて、フレーム画像が妨げられないように、前記データを生成することができる。

（６）ここで、設定部１０９は、さらに、再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳に対して注意を促すフレーム画像上の領域を示す注意情報を設定し、多重化部１０４は、さらに、前記注意情報を多重化するとしてもよい。

この態様によると、フレーム画像を再生する際に、注意を促す領域を示すことにより、注意を促す領域に付加画像が重畳されることを避け、その他の領域において、付加画像が重畳されて、フレーム画像が妨げられないように、前記データを生成することができる。

（７）ここで、前記禁止情報及び前記許可情報は、前記フレーム画像内の各画素に対応して設定されるとしてもよい。

この態様によると、フレーム画像を再生する際に、画素毎に、フレーム画像が妨げられないように、前記データを生成することができる。

（８）ここで、前記禁止情報及び前記許可情報は、前記フレーム画像を複数に分割して得られる領域に対応して設定されるとしてもよい。

この態様によると、フレーム画像を再生する際に、領域毎に、フレーム画像が妨げられないように、前記データを生成することができる。

（９）ここで、受信装置４００は、前記フレーム画像と前記付加画像を、異なる伝送路にて受信するとしてもよい。

この態様によると、異なる伝送路を用いるので、それぞれの伝送路の特性を有効に利用することができる。

（１０）ここで、前記フレーム画像を放送路にて受信し、前記付加画像を通信路にて受信するとしてもよい。

この態様によると、異なる伝送路を用いるので、それぞれの伝送路の特性を有効に利用することができる。

（１１）受信部４０１は、さらに、再生装置によって付加画像が重畳されたフレーム画像を再生する際に、付加画像の重畳を許可するフレーム画像の領域を示す許可情報が多重化された前記データを受信し、分離部４０２は、前記データから、さらに、前記許可情報を分離し、重畳部４０７は、さらに、前記許可情報に基づいて、前記フレーム画像に前記付加画像を重畳するとしてもよい。

この態様によると、前記許可情報に基づいて、付加画像を重畳させ、前記許可情報により示される領域以外の領域において、付加画像が重畳されて、フレーム画像が妨げられないようにすることができる。

（１２）ここで、受信部４０１は、さらに、再生装置によって付加画像が重畳されたフレーム画像を再生する際に、付加画像の重畳を推奨するフレーム画像の領域を示す推奨情報が多重化された前記データを受信し、分離部４０２は、前記データから、さらに、前記推奨情報を分離し、重畳部４０７は、さらに、前記推奨情報に基づいて、前記フレーム画像に前記付加画像を重畳するとしてもよい。

この態様によると、前記推奨情報に基づいて、付加画像を重畳させ、前記推奨情報により示される領域以外の領域において、付加画像が重畳されて、フレーム画像が妨げられないようにすることができる。

（１３）ここで、受信部４０１は、さらに、再生装置によって付加画像が重畳されたフレーム画像を再生する際に、付加画像の重畳に対して注意を促すフレーム画像の領域を示す注意情報が多重化された前記データを受信し、分離部４０２は、前記データから、さらに、前記注意情報を分離し、重畳部４０７は、さらに、前記注意情報に基づいて、前記フレーム画像に前記付加画像を重畳するとしてもよい。

この態様によると、前記注意情報に基づいて、付加画像を重畳させ、前記注意情報により示される領域以外の領域において、付加画像が重畳されて、フレーム画像が妨げられないようにすることができる。

（１４）ここで、前記禁止情報及び前記許可情報は、前記フレーム画像内の各画素に対応して設定されており、前記重畳部４０７は、前記フレーム画像内の画素毎に、前記付加情報を重畳するとしてもよい。

この態様によると、画素毎に、フレーム画像が妨げられないようにすることができる。

（１５）ここで、前記禁止情報及び前記許可情報は、前記フレーム画像を複数に分割して得られる領域に対応して設定されており、重畳部４０７は、前記フレーム画像内の前記領域毎に、前記付加情報を重畳するとしていもよい。

この態様によると、領域毎に、フレーム画像が妨げられないようにすることができる。

（１６）また、本発明の一態様は、データ生成装置と放送装置とサービス提供装置と受信装置とから構成される放送通信連携システムである。

前記データ生成装置は、主音声を取得する取得手段と、再生装置によって付加音声が合成された前記主音声を再生する際に、付加音声の合成を禁止する主音声の区間を示す禁止情報を設定する設定手段と、前記主音声と前記禁止情報とを多重化してデータを生成する多重化手段とを備える。

前記放送装置は、前記データを放送路にて伝送する。

前記サービス提供装置は、前記付加音声を通信路にて伝送する。

前記受信装置は、再生装置によって付加音声が合成された前記主音声を再生する際に、付加音声の合成を禁止する主音声の区間を示す禁止情報と、前記主音声とが多重化されたデータを受信する受信手段と、前記データから、前記主音声と前記禁止情報とを分離する分離手段と、前記付加音声を取得する取得手段と、前記禁止情報に基づいて、前記主音声に前記付加音声を合成する合成手段とを備える。

この態様によると、主音声を再生する際に、合成を禁止する領域を示すことにより、付加音声が合成されて、主音声が妨げられないように、前記データを生成することができる。また、主音声を再生する際に、合成を禁止する区間を示すことにより、付加音声が合成されて、主音声が妨げられないようにすることができる。

（１７）ここで、前記データ生成装置は、前記主音声を一の伝送路により伝送し、前記付加音声は、前記伝送路とは、異なる伝送路により伝送されるとしてもよい。

この態様によると、異なる伝送路を用いるので、それぞれの伝送路の特性を有効に利用することができる。

（１８）ここで、前記主音声は放送路にて伝送され、前記付加音声は通信路にて伝送されるとしてもよい。

この態様によると、異なる伝送路を用いるので、それぞれの伝送路の特性を有効に利用することができる。

（１９）ここで、前記設定手段は、さらに、再生装置によって付加音声が合成された前記主音声を再生する際に、付加音声の合成を許可する主音声の区間を示す許可情報を設定し、前記多重化手段は、さらに、前記許可情報を多重化するとしてもよい。

この態様によると、主音声を再生する際に、合成を許可する区間を示すことにより、その他の区間において、付加音声が合成されて、主音声が妨げられないように、前記データを生成することができる。

（２０）ここで、前記設定手段は、さらに、再生装置によって付加音声が合成された前記主音声を再生する際に、付加音声の合成を推奨する主音声の区間を示す推奨情報を設定し、前記多重化手段は、さらに、前記推奨情報を多重化するとしてもよい。

この態様によると、主音声を再生する際に、合成を推奨する区間を示すことにより、その他の区間において、付加音声が合成されて、主音声が妨げられないように、前記データを生成することができる。

（２１）ここで、前記設定手段は、さらに、再生装置によって付加音声が合成された前記主音声を再生する際に、付加音声の合成に対して注意を促す主音声の区間を示す注意情報を設定し、前記多重化手段は、さらに、前記注意情報を多重化するとしてもよい。

この態様によると、主音声を再生する際に、注意を促す区間を示すことにより、その他の区間において、付加音声が合成されて、主音声が妨げられないように、前記データを生成することができる。

（２２）ここで、前記受信装置は、前記主音声と前記付加音声とを、異なる伝送路にて受信するとしてもよい。

この態様によると、異なる伝送路を用いるので、それぞれの伝送路の特性を有効に利用することができる。

（２３）ここで、前記主音声は放送路にて受信し、前記付加音声を通信路にて受信するとしてもよい。

この態様によると、異なる伝送路を用いるので、それぞれの伝送路の特性を有効に利用することができる。

（２４）ここで、前記受信手段は、さらに、前記再生装置によって付加音声が合成された主音声を再生する際に、付加音声の重畳を許可する主音声の区間を示す許可情報が多重化された前記データを受信し、前記分離手段は、前記データから、さらに、前記許可情報を分離し、前記重畳手段は、さらに、前記許可情報に基づいて、前記主音声に前記付加音声を合成するとしてもよい。

この態様によると、主音声を再生する際に、合成を許可する区間を示すことにより、その他の区間において、付加音声が合成されて、主音声が妨げられないようにすることができる。

（２５）ここで、前記受信手段は、さらに、前記再生装置によって付加音声が合成された主音声を再生する際に、付加音声の重畳を推奨する主音声の区間を示す推奨情報が多重化された前記データを受信し、前記分離手段は、前記データから、さらに、前記推奨情報を分離し、前記重畳手段は、さらに、前記推奨情報に基づいて、前記主音声に前記付加音声を合成するとしてもよい。

この態様によると、主音声を再生する際に、合成を推奨する区間を示すことにより、その他の区間において、付加音声が合成されて、主音声が妨げられないようにすることができる。

（２６）ここで、前記受信手段は、さらに、前記再生装置によって付加音声が合成された主音声を再生する際に、付加音声の重畳に対して注意を促す主音声の区間を示す注意情報が多重化された前記データを受信し、前記分離手段は、前記データから、さらに、前記注意情報を分離し、前記重畳手段は、さらに、前記注意情報に基づいて、前記主音声に前記付加音声を合成するとしてもよい。

この態様によると、主音声を再生する際に、注意を促す区間を示すことにより、その他の区間において、付加音声が合成されて、主音声が妨げられないようにすることができる。

２．実施の形態２
本発明の実施の形態２としての、放送通信連携システム１０ａについて、図面を参照しながら説明する。

２．１ 放送通信連携システム１０ａ
放送通信連携システム１０ａは、放送波により放送される映像に対して、ユーザのコメントなどの付加情報を重畳するサービスを提供する。放送通信連携システム１０ａは、図２に示すように、放送システム１００ａ、通信サービス提供システム３００ａ及び再生装置４００ａから構成されている。

通信サービス提供システム３００ａ及び再生装置４００ａは、ネットワーク２０ａを介して、接続されている。ネットワーク２０ａは、例えば、インターネットである。

放送システム１００ａは、放送局におけるシステムであり、カメラレコーダにより撮影した映像及び音声を放送波に乗せて放送する。

通信サービス提供システム３００ａは、通信サービス事業者におけるシステムであり、ＳＮＳ等から取得したユーザのコメントなどの付加情報を、ネットワーク２０ａを介して、提供する。

再生装置４００ａは、放送波を受信し、ストリームをデコードして放送映像を再生し、放送映像を表示する。また、通信サービス提供システム３００ａから、ネットワーク２０ａを介して、送信される付加情報を、放送映像に重畳して表示する。再生装置４００ａは、一例として、デジタル放送受信装置である。再生装置４００ａには、ユーザインターフェースとしてリモコンが付属している。再生装置４００ａのユーザは、リモコンを通じて、放送波のチャンネルを選択し、一例として図１２に示すように、映像プレーン６４１を表示して楽しむ。また、ユーザは、図１４に示すように、放送映像に付加情報を重畳させて楽しむ。合成プレーン６６５においては、サッカーの放送映像に、付加情報として、通信サービス提供システム３００ａから取得したコメントを表したコメント画像６６７が重畳されている。

２．２ ストリームのデータ構造
ここでは、デジタルテレビの放送波等で伝送される一般的なストリームのデータ構造について説明する。

デジタルテレビの放送波等での伝送では、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームが使われている。ＭＰＥＧ−２トランスポートストリームとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格である。この規格は、ＩＳＯ／ＩＥＣ１３８１８−１およびＩＴＵ−Ｔ勧告Ｈ２２２．０において標準化されている。

（ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームの構成）
ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームの構成を図３に示す。この図に示すように、トランスポートストリーム５１３は、ビデオストリーム５０１、オーディオストリーム５０４、字幕ストリーム５０７などを多重化することで得られる。

ビデオストリーム５０１は、番組の主映像を格納している。また、オーディオストリーム５０４は、番組の主音声部分や副音声を格納している。さらに、字幕ストリーム５０７は、番組の字幕情報を格納している。

ビデオストリーム５０１は、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣなどの方式を用いて、符号化して記録される。オーディオストリーム５０４は、ドルビーＡＣ−３、ＭＰＥＧ−２ ＡＡＣ、ＭＰＥＧ−４ ＡＡＣ、ＨＥ−ＡＡＣなどの方式を用いて、圧縮・符号化して記録されている。

（動画圧縮符号化）
ビデオストリームの構成について説明する。ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ、ＳＭＰＴＥ ＶＣ−１などの動画圧縮符号化においては、動画像の空間方向および時間方向の冗長性を利用してデータ量の圧縮を行う。時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方又は後方にあるピクチャを参照ピクチャとする。次に、その参照ピクチャからの動き量を検出する。動き補償を行ったピクチャと符号化対照のピクチャとの差分値に対して空間方向の冗長度を取り除くことによりデータ量の圧縮を行う。図１１に、ビデオストリームのピクチャの一般的な参照構造を示す。矢印は参照して圧縮されていることを示す。この図に示すように、ビデオストリームは、ピクチャ６３１、６３２、・・・、６３７を含む。ここで、ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。

参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをＩピクチャと呼ぶ。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをＰピクチャと呼ぶ。既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをＢピクチャと呼ぶ。Ｂピクチャの中で他のピクチャから参照されるピクチャをＢｒピクチャと呼ぶ。また、フレーム構造の場合のフレーム、フィールド構造のフィールドを、ここではビデオアクセスユニットと呼ぶ。

（ビデオストリームの構造）
ビデオストリームは、図４に示すような階層構造を有している。ビデオストリーム５２１は、複数のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）５２２、５２３、・・・から構成されている。ＧＯＰを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となっている。

また、ＧＯＰ５２２は、１つ以上のビデオアクセスユニット５２４、５２５、５２６、・・・により構成されている。他のＧＯＰについても、同様である。ビデオアクセスユニットは、ピクチャの符号化データを格納する単位である。フレーム構造の場合、ビデオアクセスユニットには、１フレームのデータが格納される。また、フィールド構造の場合、ビデオアクセスユニットには、１フィールドのデータが格納される。

ビデオアクセスユニット５２４は、ＡＵ識別コード５３１、シーケンスヘッダ５３２、ピクチャヘッダ５３３、補足データ５３４、圧縮ピクチャデータ５３５、パディングデータ５３６、シーケンス終端コード５３７、ストリーム終端コード５３８などから構成される。他のビデオアクセスユニットについても、同様である。各データは、ＭＰＥＧ−４ ＡＶＣの場合は、ＮＡＬユニットと呼ばれる単位で格納される。

ＡＵ識別コード５３１は、アクセスユニットの先頭を示す開始符号である。シーケンスヘッダ５３２は、複数のビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダである。シーケンスヘッダ５３２には、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。ピクチャヘッダ５３３は、ピクチャ全体についての符号化の方式などの情報を格納したヘッダである。補足データ５３４は、圧縮データの復号に必須ではない付加情報である。例えば、補足データ５３４には、映像と同期してＴＶに表示するクローズドキャプションの文字情報やＧＯＰ構造情報などが格納される。圧縮ピクチャデータ５３５には、圧縮符号化されたピクチャのデータが格納される。パディングデータ５３６は、形式を整えるための意味のないデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。シーケンス終端コード５３７は、再生シーケンスの終端を示すデータである。ストリーム終端コード５３８は、ビットストリームの終端を示すデータである。

ＡＵ識別コード５３１、シーケンスヘッダ５３２、ピクチャヘッダ５３３、補足データ５３４、圧縮ピクチャデータ５３５、パディングデータ５３６、シーケンス終端コード５３７、ストリーム終端コード５３８のそれぞれの中身の構成は、ビデオの符号化方式によって異なる。

例えば、ＭＰＥＧ−４ ＡＶＣの場合であれば、ＡＵ識別コード５３１は、ＡＵデリミタ（Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ）に対応する。シーケンスヘッダ５３２は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｔｅｒ Ｓｅｔ）に対応する。ピクチャヘッダ５３３は、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に対応する。圧縮ピクチャデータ５３５は、複数個のスライスに対応する。補足データ５３４は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）に対応する。パディングデータ５３６は、ＦｉｌｌｅｒＤａｔａに対応する。シーケンス終端コード５３７は、Ｅｎｄ ｏｆ Ｓｅｑｕｅｎｃｅに対応する。ストリーム終端コード５３８は、Ｅｎｄ ｏｆ Ｓｔｒｅａｍに対応する。

また、例えば、ＭＰＥＧ−２の場合であれば、シーケンスヘッダ５３２は、ｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ、ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ、ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒに対応する。ピクチャヘッダ５３３は、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎに対応する。圧縮ピクチャデータ５３５は、複数個のスライスに対応する。補足データ５３４は、ｕｓｅｒ＿ｄａｔａに対応する。シーケンス終端コード５３７は、ｓｅｑｕｅｎｃｅ＿ｅｎｄ＿ｃｏｄｅに対応する。ＡＵ識別コード５３１は、存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。

各データは常に必要ではない。例えば、シーケンスヘッダ５３２は、ＧＯＰ先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットにはなくてもよい。また、符号化方式によっては、ピクチャヘッダ５３３については、符号順に前のビデオアクセスユニットのものを参照してもよい。この場合には、自身のビデオアクセスユニット内にピクチャヘッダ５３３がなくてもよい。

また、図５に示すように、ＧＯＰ先頭のビデオアクセスユニット５２４ａには、圧縮ピクチャデータ５３５ａとしてＩピクチャのデータが格納される。また、ＡＵ識別コード５３１ａ、シーケンスヘッダ５３２ａ、ピクチャヘッダ５３３ａ、圧縮ピクチャデータ５３５ａが必ず格納される。また、補足データ５３４ａ、パディングデータ５３６ａ、シーケンス終端コード５３７ａ、ストリーム終端コード５３８ａが格納されている、としてもよい。

ＧＯＰ先頭以外のビデオアクセスユニット５２４ｂは、ＡＵ識別コード５３１ｂ、圧縮ピクチャデータ５３５ｂが必ず格納される。また、補足データ５３４ｂ、パディングデータ５３０ｂ、シーケンス終端コード５３７ｂ、ストリーム終端コード５３８ｂが格納されている、としてもよい。

（クロッピング領域情報及びスケーリング情報）
次に、クロッピング領域情報及びスケーリング情報について、図６を参照しながら説明する。

ビデオ符号化方式によっては、符号化されたフレームの領域と、実際に表示に使う領域を変更することができる。

図６のように、符号化されたフレーム領域５４１の中から実際に表示する領域を、「クロッピング領域」（５４２）として指定することが出来る。

例えば、ＭＰＥＧ−４ ＡＶＣの場合には、ＳＰＳに格納されるframe_cropping情報を使って指定できる。frame_cropping情報は、図７（ａ）に示す上クロップ量５５５、下クロップ量５５６、左クロップ量５５３及び左クロップ量５５４を含む。ここで、上クロップ量５５５は、クロッピンング領域５５２の上辺とフレーム領域５５１の上辺との距離である。また、下クロップ量５５６は、クロッピンング領域５５２の下辺とフレーム領域５５１の下辺との距離である。また、左クロップ量５５３は、クロッピンング領域５５２の左辺とフレーム領域５５１の左辺との距離である。また、右クロップ量５５４は、クロッピンング領域５５２の右辺とフレーム領域５５１の右辺との距離である。

より具体的には、クロッピング領域を指定する場合には、frame_cropping_flagを「１」に設定し、frame_crop_top_offset ／ frame_crop_bottom_offset ／ frame_crop_left_offset ／ frame_crop_right_offsetに、上／下／左／右のクロップ量を指定する。

ＭＰＥＧ−２の場合には、図７（ｂ）に示すように、クロッピング領域の縦及び横のサイズ(sequence_display_extensionのdisplay_horizontal_size, display_vertical_size)５６５、５６６と、符号化されたフレーム領域５６１の中心点５６４とクロッピング領域５６２の中心点５６３との差分情報(picture_display_extensionのframe_centre_horizontal_offset, frame_centre_vertical_offset)を使って、クロッピング領域を指定する。

また、ビデオ符号化方式によっては、クロッピング領域を実際にテレビなどに表示する際のスケーリング方法を示すスケーリング情報が存在する。これは、例えば、アスペクト比として設定される。再生装置４００ａは、そのアスペクト比の情報を使って、クロッピング領域をアップコンバートして表示を行う。

例えば、ＭＰＥＧ−４ ＡＶＣの場合には、スケーリング情報として、ＳＰＳにアスペクト比の情報(aspect_ratio_idc)が格納される。ＭＰＥＧ−４ ＡＶＣの場合、１４４０×１０８０のクロッピング領域を、１９２０×１０８０に拡大して表示するためには、アスペクト比は４：３を指定する。この場合、水平方向に４／３倍にアップコンバート（１４４０×４／３＝１９２０）され、１９２０×１０８０に拡大されて表示される。ＭＰＥＧ−２の場合にも同様にsequence_headerにアスペクト比の情報(aspect_ratio_information)が格納されている。

（ＰＩＤ）
トランスポートストリームに含まれる各ストリームは、ＰＩＤと呼ばれるストリーム識別ＩＤによって識別される。このＰＩＤのパケットを抽出することで、再生装置４００ａは、対象のストリームを抽出することが出来る。ＰＩＤとストリームの対応は、以降で説明するＰＭＴパケットのディスクリプタに格納される。

（トランスポートストリームにおける多重化）
図３には、トランスポートストリーム５１３において、複数のストリームがどのように多重化されるかを模式的に示している。

まず、複数のビデオフレームからなるビデオストリーム５０１及び複数のオーディオフレームからなるオーディオストリーム５０４を、それぞれ、ＰＥＳパケット列５０２及び５０５に変換する。さらに、ＰＥＳパケット列５０２及び５０５を、それぞれ、ＴＳパケット列５０３及び５０６に変換する。同じく、字幕ストリーム５０７のデータをそれぞれＰＥＳパケット列５０８に変換する。さらに、ＰＥＳパケット列５０８をＴＳパケット列５０９に変換する。ＭＰＥＧ−２トランスポートストリーム５１３は、これらのＴＳパケット列５０３、５０６及び５０９を１本のストリームに多重化することで構成される。

図８は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図８（ａ）は、ビデオストリームのビデオフレーム列５７０を示し、図８（ｂ）は、ＰＥＳパケット列５８０を示す。また、図８は、ビデオフレーム列５７０の各ピクチャと、ＰＥＳパケット列５８０の各ピクチャとの対応を示している。

ビデオフレーム列５７０は、複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｕｎｉｔを含む。Ｖｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｕｎｉｔは、Ｉピクチャ、Ｂピクチャ又はＰピクチャである。ビデオストリームのビデオフレーム列５７０は、ピクチャ毎に分割され、各ピクチャは、ＰＥＳパケットのペイロードに格納される。具体的には、図８に示すように、ビデオフレーム列５７０のピクチャ５７１、５７２、５７３及び５７４は、それぞれ、ＰＥＳパケット５９１、５９２、５９３及び５９４のペイロードに格納される。

各ＰＥＳパケットは、ＰＥＳヘッダを持つ。ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

（ＴＳパケット）
図９は、トランスポートストリームを構成するＴＳパケットのデータ構造を示している。

ＴＳパケット６０１は、１８８Ｂｙｔｅの固定長のパケットである。ＴＳパケット６０１は、４ＢｙｔｅのＴＳヘッダ６０２、アダプテーションフィールド６０４及びＴＳペイロード６０５から構成される。

ＴＳヘッダ６０２は、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ（６０６）、ＰＩＤ（６０７）、ａｄａｐｔａｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（６０８）などから構成される。

ＰＩＤ（６０７）は、前述した通り、トランスポートストリームに多重化されているストリームを識別するためのＩＤである。ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ（６０６）は、同一ＰＩＤのＴＳパケットの中において、パケットの種別を識別するための情報である。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（６０８）は、アダプテーションフィールド６０４とＴＳペイロード６０５の構成を制御するための情報である。アダプテーションフィールド６０４及びＴＳペイロード６０５については、どちらか一方だけが存在する場合がある。また、アダプテーションフィールド６０４及びＴＳペイロード６０５の両方が存在する場合がある。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（６０８）は、その有無を示す。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（６０８）が「１」の場合は、ＴＳペイロード６０５のみが存在する。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（６０８）が「２」の場合は、アダプテーションフィールド６０４のみが存在する。また、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（６０８）が「３」の場合は、ＴＳペイロード６０５とアダプテーションフィールド６０４の両方が存在することを示す。

アダプテーションフィールド６０４は、ＰＣＲなどの情報の格納や、ＴＳパケットを１８８バイト固定長にするためのスタッフィングするデータの格納領域である。ＴＳペイロード６０５にはＰＥＳパケットが分割されて格納される。

（ＰＡＴ、ＰＭＴ、ＰＣＲなど）
トランスポートストリームに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にも、ＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。これらのパケットは、ＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる。

ＰＡＴは、トランスポートストリーム中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは「０」で登録される。

ＰＭＴは、トランスポートストリーム中に含まれる映像、音声、字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、またトランスポートストリームに関する各種ディスクリプタを持つ。ディスクリプタには、ＡＶストリームのコピーを許可・不許可を指示するコピーコントロール情報などがある。

ＰＣＲは、ＴＳパケットのデコーダへの到着時刻とＰＴＳ、ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるタイミングに対応するＳＴＣ時間の情報を持つ。

（ＰＭＴ）
図１０は、ＰＭＴ（６１１）のデータ構造を詳しく説明する図である。ＰＭＴ（６１１）の先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダ６１２が配置される。その後ろには、トランスポートストリームに関するディスクリプタ６１３、・・・、６１４が複数配置される。前述したコピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、トランスポートストリームに含まれる各ストリームに関するストリーム情報６１５、・・・、６１６が複数配置される。ストリーム情報６１５は、ストリームの圧縮コーデックなどを識別するためストリームタイプ６１７、ストリームのＰＩＤ（６１８）、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタ６１９、・・・、６２０から構成される。

２．３ 放送システム１００ａ
放送システム１００ａは、図２に示すように、放送映像撮影手段１０１ａ、編集手段１０３ａ、放送ストリーム生成手段１０４ａ、放送ストリームバッファ１０５ａ、送信手段１０６ａ、アンテナ１０７ａ、設定情報バッファ１０８ａ、重畳領域設定手段１０９ａ及び重畳領域設定データバッファ１１０ａから構成される。

（１）放送映像撮影手段１０１ａ及び編集手段１０３ａ
放送映像撮影手段１０１ａは、一例として、ビデオカメラレコーダである。放送映像撮影手段１０１ａは、被写体を撮影して映像を記録し、音声を記録する。

編集手段１０３ａは、放送映像撮影手段１０１ａにより、記録された映像及び音声を、編集する手段である。例えば、複数台のビデオカメラレコーダによって撮影された映像の中で、放送するシーンを選択したり、撮影した映像にスコア情報や字幕情報などのグラフィックスを重ねあわせる。図１２において、編集の様子を示している。この図に示すように、放送映像撮影手段１０１ａによって撮影して記録したサッカーの映像プレーン６４１に対して、通常情報として、スコア画像６４４を重ね合わせている。また、重要情報を表したメッセージ画像６４３「緊急のおしらせ」を重ね合わせている。

（２）放送ストリーム生成手段１０４ａ
放送ストリーム生成手段１０４ａは、編集手段１０３ａによって編集された映像及び音声のコンテンツを、放送波に流すためのフォーマットである放送ストリームに変換する。次に、放送ストリームを放送ストリームバッファ１０５ａに書き込む。

例えば、放送ストリーム生成手段１０４ａは、映像であれば、ＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣなどのビデオコーデックで符号化してビデオストリームを生成する。音声であれば、ＡＣ３やＡＡＣなどのオーディオコーデックで符号化してオーディオストリームを生成する。次に、ビデオストリーム及びオーディオストリームを多重化して、１本のＭＰＥＧ−２ ＴＳなどのシステムストリームを生成する。このように、多重化により生成された放送波で配布するフォーマットのストリームを、以降では、放送ストリームと呼ぶことにする。

放送ストリーム生成手段１０４ａは、編集手段１０３ａによって生成される映像及び音声データを元に放送ストリームを生成する。また、図１９に示すように、重畳領域設定データを、放送ストリームに埋め込む。

重畳領域設定データは、前述のとおり、重畳領域設定ビットマップや、そのビットマップの解像度などの補足情報を含んでいる。放送ストリーム生成手段１０４ａは、重畳領域設定データを、放送ストリームに多重化されるビデオストリームや、ＰＭＴやＳＩＴなどのディスクリプタに格納する。

重畳領域設定データをビデオストリームに格納する場合、各フレームの補足データなどに格納してもよい。また、重畳領域設定データをＧＯＰ先頭のアクセスユニットのみに格納し、その重畳領域設定データは、次のＧＯＰ先頭まで有効としてもよい。補足情報は、重畳領域設定データが有効な区間を示す開始時刻のＰＴＳや終了時刻ＰＴＳなどの時刻情報であるとしてもよい。なお、重畳領域設定データを別ストリームとしてＰＩＤを割り当てて多重化するように構成してもよい。

（３）送信手段１０６ａ
送信手段１０６ａは、放送ストリームバッファ１０５ａから、放送ストリームを読み出し、読み出した放送ストリームを、アンテナ１０７ａにより、放送波として、送出する。こうして、放送ストリームは、放送波を通じて、各家庭に配信される。

（４）設定情報バッファ１０８ａ
設定情報バッファ１０８ａは、一例として、半導体メモリから構成されている。設定情報バッファ１０８ａは、設定情報を記憶している。

設定情報は、放送波に乗せて放送される映像及び音声において、映像及び音声を構成する各シーンの種類毎に、映像に付加情報をどのように重畳すべきかを示す。具体的には、設定情報は、シーンの種類に対応付けて、重畳フラグを含む。

放送波によって配信する映像及び音声を構成する各シーンは、一例として、次に示す第１の種類、第２の種類及び第３の種類に分類される。

第１の種類は、放送映像撮影手段１０１ａにより取得した映像及び音声のみを含むシーンである。一例として、通常のサッカー中継の映像及び音声のみを含むシーンである。

第２の種類は、放送映像撮影手段１０１ａにより取得した映像及び音声に加え、映像に重要情報を表したメッセージ画像が重畳されたものである。一例として、通常のサッカー中継のシーンに、重要情報としての緊急のお知らせを表したメッセージ画像が重畳されたシーンである。

第３の種類は、広告の映像及び音声のみからなるシーンである。

設定情報は、第１の種類に対応して、重畳フラグ「０」を含む。また、第２の種類に対応して、重畳フラグ「１」を含む。さらに、第３の種類に対応して、重畳フラグ「２」を含む。

重畳フラグ「０」は、対応する第１の種類のシーンに含まれる映像に付加情報を重畳することを許可することを示す。

重畳フラグ「１」は、対応する第２の種類のシーンに含まれる映像のうち、重要情報を表したメッセージ画像が表示される部分に付加情報を重畳することを禁止する。

重畳フラグ「２」は、対応する第２の種類のシーンに含まれる映像に付加情報を重畳することを禁止することを示す。

（５）重畳領域設定データバッファ１１０ａ
重畳領域設定データバッファ１１０ａは、一例として、ハードディスクユニットから構成されている。重畳領域設定データバッファ１１０ａは、重畳領域設定データを記憶するための領域を備えている。

重畳領域設定データは、後述するように、各放送映像のフレームに対して、許可領域及び禁止領域を表すビットマップ情報から構成される。

（６）重畳領域設定手段１０９ａ
重畳領域設定手段１０９ａは、編集手段１０３ａから、編集後の映像及び音声を受け取る。受け取った映像及び音声を、放送ストリーム生成手段１０４ａに出力する。

また、重畳領域設定手段１０９ａは、設定情報バッファ１０８ａから設定情報を読み出す。次に、読み出した設定情報を用いて、放送波によって配信する映像において、再生装置４００ａによって、重畳してもよい空間的な領域や時間的な区間を設定する。また、重畳が禁止される空間的な領域や時間的な区間を設定する。こうして、重畳領域設定データを生成する。

具体的には、受け取った映像及び音声を構成する各シーンが、第１の種類、第２の種類及び第３の種類の何れであるかを判断する。次に、当該シーンの種類に対応する重畳フラグを設定情報から抽出する。次に、抽出した重畳フラグに従って、当該シーンについて、重畳領域設定データを生成する。

次に、生成した重畳領域設定データを重畳領域設定データバッファ１１０ａに書き込む。

重畳領域設定データの一例を図１５に示す。この図に示すように、重畳領域設定データは、各放送映像のフレームに対して、許可領域及び禁止領域を表すビットマップ情報から構成される。例えば、１９２０×１０８０解像度のフルＨＤの映像の場合には、１９２０×１０８０の画素ごとに１ビットが割り当てられたビット列が用意される。許可される画素位置には「１」、禁止される画素位置は「０」として構成される。このビットマップを、「重畳領域設定ビットマップ」と呼ぶことにする。

図１５（ａ）は、再生時間軸上での画面イメージの遷移を示している。各シーン構成における重畳領域設定ビットマップの例を説明する。区間６８１は、通常のサッカー中継のシーンである。また、区間６８２は、サッカー中継に緊急のお知らせを表したメッセージ画像が入ったシーンである。さらに、区間６８３は、ＣＭのシーンを示している。

このようなシーン構成の例の場合、区間６８１では、重畳領域設定ビットマップ（６８４）＃１内の全てのビットが、許可領域「＝１」と設定される。

また、区間６８２では、重畳領域設定ビットマップ（６８５）＃２においては、放送局によりメッセージ画像６７５「緊急のお知らせ」が表示される画素に対応するビット領域６８６が禁止領域「＝０」と設定される。また、メッセージ画像６７５以外のビット領域が許可領域「＝１」と設定される。

さらに、区間６８３では、重畳領域設定ビットマップ（６８７）＃３内の全てのビットが禁止領域「＝０」と設定される。

なお、重畳領域設定ビットマップの解像度は、放送波のフレーム解像度よりも小さくてもよい。例えば、放送波がフルＨＤ（１９２０×１０８０）の場合には、ハーフＨＤ、クオータＨＤ、さらにその半分としてもよい。

また、図１６及び図１７に示すように、重畳領域設定ビットマップの解像度は、１０×１０や２×２のような、極端に小さい解像度でもよい。図１６に示す場合には、重畳領域設定ビットマップは、１０行、１０列、合計１００個の領域７２２、７２３、・・・から構成される。ここで、領域７２４、７２５、・・・は、禁止領域であり、その他の領域は、許可領域である。また、図１７に示す場合には、重畳領域設定ビットマップは、２行、２列、合計４個の領域７３２、７３３、７３４、７３５から構成される。ここで、領域７３４、７３５は、禁止領域であり、領域７３２、７３３は、許可領域である。

このような場合には、再生装置４００ａがマスク処理を行う場合に、重畳領域設定ビットマップを、放送波の解像度まで拡大してから処理を行えばよい。このようなケースを考えて、重畳領域設定ビットマップの補足情報として、重畳領域設定ビットマップの解像度を一緒に記録しておく。

なお、重畳領域設定ビットマップは、非圧縮のビット列として格納してもよいし、ランレングスなどの可逆圧縮や、ＪＰＧなどのイメージ、ビデオストリームとしてエンコードしてもよい。

なお、重畳領域設定データは、１ビットでフレーム全体を表わしてもよい。１ビットの場合は、フラグという意味となるので、図１８に示す構成となる。図１８に示すように、区間６８１において、重畳領域設定データ６８４ａは、「１」（許可）である。また、区間６８２において、重畳領域設定データ６８５ａは、「０」（禁止）である。さらに、区間６８３において、重畳領域設定データ６８５ａは、「０」（禁止）である。

なお、重畳領域設定データとして、フレーム全体で禁止されるか、否かを示すフラグを設けてもよい。さらに、このフラグとは別に、詳細に許可領域を示す重畳領域設定ビットマップを用意してもよい。このように構成することにより、再生装置は、最初にフラグを見ればよい。フラグが禁止を示す場合には、再生装置は、それ以降ビットマップを展開する必要がなくなる。この結果、処理が簡単になる。

２．４ 通信サービス提供システム３００ａ
通信サービス提供システム３００ａは、図２に示すように、重畳データ生成手段３０１ａ、重畳データバッファ３０２ａ及び送信手段３０３ａから構成されている。

重畳データ生成手段３０１ａは、放送局の映像に重畳するための重畳データを生成する手段である。例えば、通信サービス提供システム３００ａにより、放送映像に対するユーザのコメントを重畳するサービスが提供される場合には、重畳データ生成手段３０１ａは、次のようにする。重畳データ生成手段３０１ａは、ツイッターなどのユーザのつぶやきを共有するＳＮＳ上のコメントの中から、言語解析やタグ情報などを利用して、該当放送番組に関連するコメントや放送映像に適したコメントを収集する。次に、そのコメント集及びデザイン情報から構成される重畳データに変換する。ここで、デザイン情報は、放送映像のどこに、どのようにコメントを表示するか、コメントを何色で表示するか、などを示す情報である。デザイン情報は、例えば、図１３に示すように、コメント集を囲う矩形の情報(矩形の幅、高さ、矩形が配される座標位置、矩形の色や透過度）、文字の情報（フォント、太さ、色）などの情報である。

次に、重畳データ生成手段３０１ａは、生成した重畳データを重畳データバッファ３０２ａに書き込む。

送信手段３０３ａは、重畳データバッファ３０２ａから重畳データを読み出す。次に、読み出した重畳データをネットワーク２０ａを介して、各家庭に設置された再生装置４００ａに対して送信する。

２．５ 再生装置４００ａ
再生装置４００ａは、図２に示すように、チューナ４０１ａ、放送ストリームデコード手段４０２ａ、放送データバッファ４０３ａ、重畳領域設定データバッファ４０４ａ、重畳領域マスク手段４０５ａ、マスク重畳プレーンバッファ４０６ａ、合成手段４０７ａ、表示手段４０８ａ、ＮＩＣ（Network Interface Card）４０９ａ、重畳手段４１０ａ及び重畳プレーンバッファ４１１ａから構成される。チューナ４０１ａには、アンテナ４２０ａが接続されている。

（１）バッファ
放送データバッファ４０３ａは、一例として、半導体メモリから構成されている。放送データバッファ４０３ａは、放送ストリームデコード手段４０２ａによって、デコードされた映像プレーンを格納するための領域を備えている。

重畳プレーンバッファ４１１ａは、一例として、半導体メモリから構成されている。重畳プレーンバッファ４１１ａは、重畳手段４１０ａによって、生成された重畳イメージを格納するための領域を備えている。重畳プレーンは、ＲＧＢやＹＵＶなどの色情報に加えて、α値を持っており、透過度を設定することが可能である。

重畳領域設定データバッファ４０４ａは、一例として、半導体メモリから構成されている。重畳領域設定データバッファ４０４ａは、重畳領域設定データを記憶するための領域を備えている。

（２）チューナ４０１ａ及び放送ストリームデコード手段４０２ａ
チューナ４０１ａは、アンテナ４２０ａを介して、放送波から放送ストリームを選択し、復調する機能を有している。

放送ストリームデコード手段４０２ａは、チューナ４０１ａから放送ストリームを受け取る。次に、放送ストリームをデコードしてＰＴＳのタイミングで、映像プレーンを分離し、映像プレーンを放送データバッファ４０３ａに書き込む。また、重畳領域設定データを分離し、重畳領域設定データを重畳領域設定データバッファ４０４ａに書き込む。

映像プレーンの一例として、映像プレーン６４２を図１２に示す。映像プレーン６４２は、放送映像プレーンに対して、スコア情報を表したスコア画像６４４及び重要情報を表したメッセージ画像６４３「緊急のおしらせ」が重ね合わせられている。

（３）ＮＩＣ４０９ａ
ＮＩＣ４０９ａは、ネットワーク２０ａと接続されており、通信サービス提供システム３００ａから、ネットワーク２０ａを介して、重畳データを受信する機能を有している。受信した重畳データを重畳手段４１０ａに対して出力する。

重畳データの一例として、重畳データ６５２を図１２に示す。重畳データ６５２には、コメント集及びデザイン情報が含まれている。

（４）重畳手段４１０ａ
重畳手段４１０ａは、通信サービス提供システム３００ａから、ネットワーク２０ａ及びＮＩＣ４０９ａを介して、重畳データを取得する。次に、重畳手段４１０ａは、取得した重畳データを元に、放送映像に重畳するためのイメージである重畳プレーンを生成する。次に、生成した重畳プレーンを重畳プレーンバッファ４１１ａに書き込む。重畳データに、ＰＴＳのタイミング情報が含まれていれば、ＰＴＳのタイミングで書き込めば、放送映像と同期を取って重畳が可能となる。重畳プレーンには、透過度を設定することが可能であるため、透過させたい場合は、重畳プレーンの各色について、透明であると設定する。

重畳プレーンの一例として、重畳プレーン６５４を図１３に示す。重畳プレーン６５４においては、コメント画像６５５が重畳されている。

（５）重畳領域マスク手段４０５ａ
重畳領域マスク手段４０５ａは、重畳領域設定データバッファ４０４ａに記憶されている重畳領域設定データの中から、映像プレーンに出力されるビデオのＰＴＳに対応する重畳領域設定ビットマップを取得する。重畳領域設定ビットマップの一例として、重畳領域設定ビットマップ６６１を図１４に示す。重畳領域設定ビットマップ６６１は、禁止領域６６２を含む。禁止領域６６２以外は、許可領域である。次に、重畳領域マスク手段４０５ａは、重畳プレーンバッファ４１１ａに記憶されている重畳プレーンを読み出す。次に、取得した重畳領域設定ビットマップを用いて、読み出した重畳プレーンに対して、マスク処理を行う。このマスク処理において、重畳領域設定ビットマップの禁止領域に対応する重畳プレーン画素のα値を完全透明色に設定する。具体的には、禁止領域に対応する重畳プレーンの画素のα値を、透明を意味する値に変更する。これにより、マスク重畳プレーンを生成する。次に、マスク重畳プレーンをマスク重畳プレーンバッファ４０６ａに書き込む。マスク重畳プレーンの一例として、マスク重畳プレーン６６３を図１４に示す。図１４に示すマスク重畳プレーン６６３においては、重畳プレーンのコメント画像６５５と、重畳領域設定ビットマップ６６１の禁止領域６６２との間で、重複する部分に、透明色が設定されている。これにより、コメント画像６５５の一部分を欠いたコメント画像６６４が、マスク重畳プレーン６６３に表示されている。

（６）合成手段４０７ａ及び表示手段４０８ａ
合成手段４０７ａは、放送データバッファ４０３ａから映像プレーンを読み出す。次に、読み出した映像プレーンのフレームのＰＴＳに対応するマスク重畳プレーンをマスク重畳プレーンバッファ４０６ａから読み出す。次に、読み出した映像プレーンとマスク重畳プレーンとを合成して合成プレーンを生成する。図１４に示す例では、映像プレーン６４２とマスク重畳プレーン６６３とを合成して、合成プレーン６６５を生成する。合成プレーン６６５においては、撮影により得られた映像プレーンに、スコア情報を表したスコア画像６６６、コメントを表したコメント画像６６７及び重要情報を表したメッセージ画像６６８が重ね合わせられている。スコア画像６６６、コメント画像６６７及びメッセージ画像６６８には、重複する部分はない。このため、メッセージ画像６６８は、欠けることなく、表示される。次に、合成手段４０７ａは、合成プレーンを表示手段４０８ａに出力する。

表示手段４０８ａは、合成プレーンを表示する。

２．６ 放送通信連携システム１０ａの動作
放送通信連携システム１０ａを構成する放送システム１００ａ及び再生装置４００ａの動作について、説明する。

（１）放送システム１００ａの動作
放送システム１００ａの動作について、図２０に示すフローチャートを用いて、説明する。

放送映像撮影手段１０１ａは、被写体を撮影して映像を記録し、音声を記録する（ステップＳ１１０）。編集手段１０３ａは、放送映像撮影手段１０１ａにより、記録された映像及び音声を編集する（ステップＳ１１１）。重畳領域設定手段１０９ａは、重畳領域設定データを生成する（ステップＳ１１２）。放送ストリーム生成手段１０４ａは、放送ストリームを生成する（ステップＳ１１３）。送信手段１０６ａは、放送ストリームを送信する（ステップＳ１１４）。

次に、重畳領域設定データの生成の手順について、図２１に示すフローチャートを用いて説明する。なお、この手順は、図２０に示すステップＳ１１２の詳細である。

重畳領域設定手段１０９ａは、設定情報バッファ１０８ａから、設定情報を読み出す（ステップＳ１２１）。次に、放送映像データのシーン毎に、次のステップＳ１２３〜Ｓ１２８を繰り返す（ステップＳ１２２〜Ｓ１２９）。

重畳領域設定手段１０９ａは、放送映像データのシーンの種類を抽出する（ステップＳ１２３）。次に、抽出したシーンの種類を判断する（ステップＳ１２４）。

第１の種類である場合（ステップＳ１２４で「第１」）、許可からなる重畳領域設定データを生成する（ステップＳ１２５）。第２の種類である場合（ステップＳ１２４で「第２」）、禁止を示す領域を含む重畳領域設定データを生成する（ステップＳ１２６）。第３の種類である場合（ステップＳ１２４で「第３」）、禁止からなる重畳領域設定データを生成する（ステップＳ１２７）。次に、生成した重畳領域設定データを重畳領域設定データバッファ１１０ａに書き込む（ステップＳ１２８）。

（２）再生装置４００ａの動作
再生装置４００ａの動作について、図２２に示すシーケンス図を用いて、説明する。

アンテナ４２０ａは、放送波を繰り返し受信し、チューナ４０１ａは、放送波から放送ストリームを選択し、繰り返し復調する（ステップＳ１３１）。

放送ストリームデコード手段４０２ａは、放送ストリームから、該当ストリームを分離し、繰り返し、映像プレーン及び重畳領域設定データを分離する（ステップＳ１３２）。

放送ストリームデコード手段４０２ａは、繰り返し、映像プレーンを放送データバッファ４０３ａに書き込む（ステップＳ１３３）。

放送ストリームデコード手段４０２ａは、繰り返し、重畳領域設定データを重畳領域設定データバッファ４０４ａに書き込む（ステップＳ１３５）。

ＮＩＣ４０９ａは、通信サービス提供システム３００ａから、ネットワーク２０ａを介して、重畳データを受信する（ステップＳ１３７）。

重畳手段４１０ａは、取得した重畳データを元に、放送映像に重畳するためのイメージである重畳プレーンを生成する（ステップＳ１３８）。

重畳領域マスク手段４０５ａは、重畳領域設定データバッファ４０４ａに記憶されている重畳領域設定データの中から、映像プレーンに出力されるビデオのＰＴＳに対応する重畳領域設定ビットマップを取得する（ステップＳ１３６）。

次に、重畳領域マスク手段４０５ａは、重畳プレーンバッファ４１１ａに記憶されている重畳プレーンを読み出す。次に、取得した重畳領域設定ビットマップを用いて、読み出した重畳プレーンに対して、マスク処理を行う（ステップＳ１３９）。

次に、合成手段４０７ａは、放送データバッファ４０３ａから、繰り返し、映像プレーンを読み出す（ステップＳ１３４）。次に、繰り返し、映像プレーンとマスク重畳プレーンとを合成して合成プレーンを生成する（ステップＳ１４０）。

表示手段４０８ａは、繰り返し、合成プレーンを表示する（ステップＳ１４１）。

次に、重畳領域マスク手段４０５ａのマスク重畳プレーンの生成の手順について、図２３に示すフローチャートを用いて説明する。なお、この手順は、図２２に示すステップＳ１３９の詳細である。

重畳領域マスク手段４０５ａは、映像プレーン内の画素毎に、以下のステップＳ１５２〜Ｓ１５４を繰り返す（ステップＳ１５１〜Ｓ１５５）。

映像プレーン内の画素について、重畳領域設定データ内の対応するビットを抽出する（ステップＳ１５２）。

抽出したビットが許可を示すか、又は、禁止を示すか、判断する（ステップＳ１５３）。

抽出したビットが許可を示す場合（ステップＳ１５３で「許可」）、何もしない。

抽出したビットが禁止を示す場合（ステップＳ１５３で「禁止」）、マスク重畳プレーンの対応する画素に完全透明を設定する（ステップＳ１５４）。

２．７ まとめ
放送波の映像に、付加情報を重畳するサービスを実現する場合に、放送局の意図が反映できなくなることが問題としてあげられる。図２４を参照して、具体的に説明を行う。

図２４に示すように、映像プレーン７０１には、サッカーの映像を背景に、スコア画像７０４とともに、メッセージ画像７０５「緊急のお知らせ」が挿入されている。このメッセージ画像７０５は、放送局としては、ユーザに緊急で伝えることが必要なメッセージを表したものであり、放送映像に埋め込まれている。一方で、重畳プレーン７０２には、ユーザのコメントを表したコメント画像７０６が含まれている。この場合に、映像プレーン７０１と重畳プレーン７０２を、合成した場合には、図２４に示すように、合成プレーン７０３のようになる。

合成プレーン７０３においては、メッセージ画像７０９「緊急のお知らせ」の上に、コメント画像７０８が上書きされ、メッセージ画像７０９の一部分が消されている。この場合には、放送局側としてユーザに伝えたい重要情報であるメッセージを、正しくユーザに伝えることができなくなる。

このような「緊急のお知らせ」のように、放送局側としてユーザに伝えたいメッセージの例としては、「緊急地震速報」、「ニュース速報」がある。これらは、重要情報である。また、「緊急のお知らせ」だけでなく、放送局側のビジネスとして必要なメッセージとしては、「コマーシャル」、「放送局からのお知らせ（番組のCM、アンケート、中継延長）」があり、これらのメッセージを正しく伝えられない場合には、放送局のビジネスが阻害されてしまう事となってしまう。

これに対して、放送通信連携システム１０ａによると、図１４に示すように、メッセージ画像６６８は、コメント画像６６７によって、上書きされない。このため、放送局側で通知したい映像に埋め込まれた緊急放送やＣＭなどのメッセージを、放送局の意図通りに正確にユーザに伝えることが可能となる。

このように構成することによって、放送局がユーザに伝えたい緊急のお知らせなどのメッセージを、他の画像によって重畳されて妨害されることなく、正確にユーザに伝えることが可能となる。

２．８ 変形例
（１）上記において、重畳許可・禁止の領域を表す方法として、ビットマップを用いる構成を説明しているが、これには限定されない。

図２５に示すように、禁止領域の矩形情報をベクタイメージとして記載してもよい。

例えば、禁止領域の矩形領域を、禁止領域の座標位置と、禁止領域のサイズで表現してもよい。座標位置は、重畳領域設定ビットマップ内における禁止領域の左上点の位置（ｘ、ｙ）を示す。禁止領域のサイズは、横幅及び高さを含む。横幅は、禁止領域の横幅を示す。高さは、禁止領域の高さを示す。

この場合、例えば、図２５に示す区間６８１では、禁止領域が存在しないため、エントリはない。

区間６８２では、禁止領域は、重畳領域設定ビットマップ６８５ｂ内の座標位置（ｘ、ｙ）、横幅（ｗ１）、高さ（ｙ１）により示される。

区間６８３では、禁止領域は、重畳領域設定ビットマップ６８７ｂ内の座標位置（０、０）、横幅（ｗ２）、高さ（ｙ２）により示される。

このようにすることで、ビットマップの構造を使うことに比べて、情報量を少なくすることが可能となる。

（２）重畳領域設定ビットマップ内において、禁止領域は、図２６に示すように、複数存在してもよい。この図において、重畳領域設定ビットマップ６８４ｃ内において、禁止領域６８４ｃ１及び６８４ｃ２が存在する。

（３）禁止領域は、図２７に示すように、多角形（平面ポリゴン）の形状を有するとしてもよい。この図において、重畳領域設定ビットマップ６８４ｄ内において、禁止領域６８４ｄ１が存在する。この場合には、左回りか右回りかの順番で、多角形の各頂点の位置座標を登録するようにする。この図の、多角形の頂点Ａ、Ｂ、Ｃ、Ｄ、Ｅの点の位置座標を登録する。このようにベクタイメージによって、重畳領域設定データを構成する場合には、重畳領域マスク手段４０５ａは、ベクタイメージを用いて禁止領域を特定し、重畳プレーンに対するマスク処理を実行すればよい。

（４）再生装置４００ａの変形例としての再生装置４００ａ１を図２８に示す。

再生装置４００ａ１において、重畳手段４１０ａは、重畳領域設定データバッファ４０４ａを参照している。

重畳手段４１０ａが、例えば、アプリケーションプログラム及びプロセッサから構成されている場合には、アプリケーションプログラムのＡＰＩを経由して重畳領域設定データを参照できるようにしてもよい。また、フレーム毎、ＧＯＰ毎、Ｎ秒毎、変化毎などに、コールバックイベントで情報を受け取ることができるようにしてもよい。

このようにすることで、重畳手段４１０ａは、重畳領域設定データを使って、重畳する領域をその都度変更することが可能となる。

例えば、図２９のように、重畳手段４１０ａは、重畳領域設定ビットマップ６６１を参照することで、禁止領域６６２の位置を特定する。次に、この禁止領域６６２に重ならないように、重畳プレーン６５４ａにおいて、重畳するコメント画像の位置をずらす処理を行う。この図において、ずらされた後のコメント画像６５５ａを示している。このように構成することで、ユーザは、放送局による重要情報を表したメッセージ画像も、コメント画像も、両方とも同時に重なることなく見ることが可能となる。

（５）図３０に示すように、重畳領域設定ビットマップの構成として、許可、禁止の２つの属性だけでなく、「注意」、「推奨」等の他の属性を有する領域を設定できるようにしてもよい。

例えば、「注意」は、文字スーパーなどのメッセージ画像（試合のスコアなど）が存在することを示し、できるだけ重畳しないように、注意を促すことを意味するようにする。また、「推奨」は、放送局側で、極力、文字スーパーを出さない領域を示し、この領域に重畳することを推奨することを意味するようにする。

例えば、禁止領域のビットの値を「０」、許可領域のビットの値を「１」とする場合、注意領域のビット値を「２」、推奨領域のビット値を「３」とする。

図３０に示す例では、重畳領域設定ビットマップ（６８４ｅ）＃１において、サッカーのスコア画像６７２に対応する領域６８４ｅ１について、「注意＝２」と設定されている。また、他の領域６８４ｅ２について、「推奨＝３」と設定されている。

また、重畳領域設定ビットマップ（６８５ｅ）＃２において、サッカーのスコア画像６７４に対応する領域６８５ｅ１について、「注意＝２」と設定されている。また、他の領域６８５ｅ２について、「推奨＝３」と設定されている。

さらに、重畳領域設定ビットマップ（６８７ｅ）＃３においては、全面について、禁止が設定されている。

重畳手段４１０ａは、図３１に示すように、禁止及び注意の領域を避けて、推奨の領域に、コメントなど付加情報を重畳することができる。

このような構成により、重畳手段４１０ａは、重畳領域設定ビットマップの注意、推奨、禁止、許可の領域を参照し、コメントなどの付加情報をどこに重畳するべきかを、より細やかに制御できる。

なお、このような注意、推奨、禁止、許可といった複数タイプの領域属性の設定は、図２５に示すベクタイメージや、図１８に示すフレームに対するフラグやタイプのような情報においても、設定可能であることは言うまでもない。

（６）図３２に示すように、重畳領域設定ビットマップの構成として、許可、禁止の属性情報ではなく、重畳領域設定ビットマップの画素毎に、重畳プレーンの透過度を設定してもよい。

例えば、図３２の例では、重畳領域設定ビットマップ（６８５ｆ）＃２では、スコアが表わされているスコア画像６７４に対応する領域６８５ｆ１には、透過度「９０％」が設定されている。また、重畳を推奨する領域６８５ｆ２では透過度「０％」が設定されている。緊急のお知らせの領域６８５ｆ３では透過度「１００％」が設定されている。また、それ以外重畳を推奨する領域では、透過度「５０％」が設定されている。ここで、透過度１００％は、完全透過であり、透過度０％は、完全不透過とする。

重畳領域マスク手段４０５ａは、重畳領域設定ビットマップ上に設定された透過度を用いて、重畳プレーンに対してマスク処理を行う。

例えば、重畳領域設定ビットマップで９０％と設定されている領域に対して、重畳プレーン上の元の透過度の値を０％と設定する。つまり、完全不透過の場合には、透過度を９０％の透過度に変更する。このような構成にすることで、放送局の意図をより細やかに反映することが可能である。

（７）重畳領域設定データに、画面の何％まで合成するというような画面上の合成領域の最大サイズをパーセントで指定してもよい。例えば、重畳領域設定データで、５０％まで、と規定されている場合に、重畳される領域が画面全体の６０％であれば、５０％まで領域を削減して表示を行う。このようにすることで、放送局の意図をより細やかに反映することが可能である。

（８）重畳領域設定ビットマップにおいて、禁止及び許可の属性情報だけでなく、その領域における代表色の情報が格納されていてもよい。このような情報があれば、重畳手段４１０ａは、重畳領域設定ビットマップを参照することで、重畳する文字色の設定などを適切なものに設定できる。また、重畳手段４１０ａは、文字を表示する場合には、２色の文字で構成するようにすれば、どのような背景にもユーザに分かりやすく表示できる。

（９）重畳手段４１０ａは、図３３に示すように、重畳領域設定ビットマップ以外にも、映像プレーンの情報を参照できるような構成にしてもよい。

このように構成することで、重畳手段４１０ａは、背景色が何色で構成されているかを知ることできるので、適切な色で重畳データを構成することが可能となる。

また、重畳手段４１０ａは、映像プレーンにおいて、人物を認識することにより、背景を特定し、人の顔に重畳しないように、背景に重畳データを描くとしてもよい。

（１０）放送ストリームのシステムパケット（ＳＩＴやＥＩＴなど）において、緊急放送の区間を通知するフラグ情報が符号化されて配置されているとしてもよい。この場合、重畳領域マスク手段４０５ａは、放送ストリームデコード手段４０２ａからこのフラグ情報を通知されたときに、フレームの全ての領域を禁止領域に設定して、マスク処理を行い重畳プレーンに出力してもよい。

（１１）図３４に示すように、変形例としての再生装置４００ａ３は、さらに、セキュリティ設定手段４１２ａを含むとしてもよい。

重畳領域設定データは、鍵を用いて、暗号化されているとしてもよい。また、セキュリティ設定手段４１２ａは、重畳手段４１０ａの鍵を設定することで、暗号化された重畳領域設定データを復号できるとしてもよい。

このようにすることで、重畳領域設定データは、重畳を行うときのみに有効となり、それ以外の用途で利用することを禁止できる。

なお、重畳領域設定データには、複数の種類が用意されており、セキュリティ設定手段４１２ａは、重畳手段４１０ａの鍵又はＩＤに応じて、適用する重畳領域設定データを変更してもよい。

なお、鍵は、再生装置に用意されており、認証されている再生装置でしか重畳領域設定データを復号できないように構成してもよい。

（１２）放送通信連携システム１０ａでは、グラフィックスを重畳させる例について説明している。しかし、これには限定されない。放送波映像に対して、追加映像をＰｉｃｔｕｒｅ−Ｉｎ−Ｐｉｃｔｕｒｅとして表示するような構成においても、適用可能である。重畳手段４１０ａを通信で提供される追加ストリームのデコード手段とすれば、同様に対応が可能である。

重畳手段４１０ａは、通信サービス提供システム３００ａから、ネットワーク２０ａを介して、追加映像を取得する。

３．実施の形態３
本発明の実施の形態３としての放送通信連携システム１０ｂについて、図面を参照しながら説明する。

上記の実施の形態２の放送通信連携システム１０ａにおいては、放送波に乗せて放送された映像に対して、付加情報を重畳するサービスを提供する。これに対し、放送通信連携システム１０ｂにおいては、放送波に乗せて放送された音声を付加音声に置換するサービス、又は、放送波に乗せて放送された音声に付加音声を合成するサービスを提供する。

なお、放送波に乗せて放送された音声を主音声と呼ぶこともある。

放送通信連携システム１０ｂは、図３５に示すように、放送システム１００ｂ、通信サービス提供システム３００ｂ及び再生装置４００ｂから構成される。

３．１ 放送システム１００ｂ
放送システム１００ｂは、図３５に示すように、放送映像撮影手段１０１ｂ、編集手段１０３ｂ、放送ストリーム生成手段１０４ｂ、放送ストリームバッファ１０５ｂ、送信手段１０６ｂ、アンテナ１０７ｂ、設定情報バッファ１０８ｂ、音声合成設定データ生成手段１０９ｂ及び音声合成設定データバッファ１１０ｂから構成される。

放送システム１００ｂは、放送通信連携システム１０ａの放送システム１００ｂと類似した構成を有している。放送映像撮影手段１０１ｂ、編集手段１０３ｂ、放送ストリームバッファ１０５ｂ、送信手段１０６ｂ及びアンテナ１０７ｂは、それぞれ、放送システム１００ａの放送映像撮影手段１０１ａ、編集手段１０３ａ、放送ストリームバッファ１０５ａ、送信手段１０６ａ及びアンテナ１０７ａと同様の構成を有しているので、説明を省略する。

ここでは、放送システム１００ａとの相違点を中心に説明する。

（１）設定情報バッファ１０８ｂ
設定情報バッファ１０８ｂは、一例として、ハードディスクユニットから構成されている。設定情報バッファ１０８ｂは、設定情報を記憶している。

設定情報は、放送波に乗せて放送される映像及び音声において、映像及び音声を構成する各シーンの種類毎に、付加音声をどのように重畳すべきかを示す。具体的には、設定情報は、シーンの種類に対応付けて、重畳フラグを含む。

放送波によって配信する映像及び音声を構成する各シーンは、一例として、次に示す第１の種類、第２の種類及び第３の種類に分類される。

第１の種類は、放送映像撮影手段１０１ｂにより取得した映像及び音声のみを含むシーンである。一例として、通常のサッカー中継の映像及び音声のみを含むシーンである。

第２の種類は、放送映像撮影手段１０１ｂにより取得した映像及び音声に加え、映像に重要情報を表したメッセージ画像が重畳されたものである。一例として、通常のサッカー中継のシーンに、緊急のお知らせを表したメッセージ画像が重畳されたシーンである。

第３の種類は、広告の映像及び音声のみからなるシーンである。

設定情報は、第１の種類に対応して、重畳フラグ「０」を含む。また、第２の種類に対応して、重畳フラグ「１」を含む。さらに、第３の種類に対応して、重畳フラグ「２」を含む。

重畳フラグ「０」は、対応する第１の種類のシーンに含まれる音声の付加音声への置換、又は、当該シーンに含まれる音声及び付加音声の合成を許可することを示す。ここで、当該シーンに含まれる音声及び付加音声を合成する場合に、付加音声のミキシング係数を１００％までとすることを許可する。言い換えると、付加音声の割合を１００％までとすることを許可する。

重畳フラグ「１」は、対応する第２の種類のシーンについて、付加音声への置換を禁止する。又は、当該シーンに含まれる音声及び付加音声を合成する場合、付加音声の合成のミキシング係数を５０％までとすることを許可する。言い換えると、付加音声の割合を５０％までとすることを許可する。

重畳フラグ「２」は、対応する第２の種類のシーンについて、付加音声への置換、又は、付加音声の合成を禁止することを示す。

（２）音声合成設定データバッファ１１０ｂ
音声合成設定データバッファ１１０ｂ、一例として、ハードディスクユニットから構成されている。音声合成設定データバッファ１１０ｂは、音声合成設定データを記憶するための領域を備えている。

音声合成設定データは、後述するように、映像及び音声を構成する各シーンについて、置換フラグ及び合成設定情報を含む。

置換フラグは、各シーンに含まれる音声について、付加音声への置換の禁止、又は、付加音声への置換の許可を示す。

合成設定情報は、各シーンに含まれる音声及び付加音声を合成する場合に、付加音声の合成のミキシング係数を示す。言い換えると、付加音声の割合を示す。例えば、ミキシング係数が１００％までである場合には、当該シーンに含まれる音声及び付加音声を合成する場合に、付加音声のミキシング係数を１００％までとすることを許可する。また、ミキシング係数が５０％までである場合には、当該シーンに含まれる音声及び付加音声を合成する場合に、付加音声のミキシング係数を５０％までとすることを許可する。さらに、ミキシング係数が０％である場合には、当該シーンに含まれる音声及び付加音声を合成することを禁止する。

（３）音声合成設定データ生成手段１０９ｂ
音声合成設定データ生成手段１０９ｂは、次に示すようにして、編集手段１０３ｂによって生成される音声データに対して、音声合成設定データを生成する。

音声合成設定データ生成手段１０９ｂは、設定情報バッファ１０８ｂから設定情報を読み出す。次に、受け取った映像及び音声を構成する各シーンが、第１の種類、第２の種類及び第３の種類の何れであるかを判断する。次に、当該シーンの種類に対応する重畳フラグを設定情報から抽出する。次に、抽出した重畳フラグに従って、当該シーンについて、音声合成設定データを生成する。

具体的には、重畳フラグが「０」である場合、音声合成設定データ生成手段１０９ｂは、当該シーンについて、置換フラグ及び合成設定情報から構成される音声合成設定データを生成する。ここで、置換フラグは、付加音声による置換の許可を示す。また、合成設定情報は、ミキシング係数を１００％までとすることを許可することを示す。

重畳フラグが「１」である場合には、音声合成設定データ生成手段１０９ｂは、当該シーンについて、置換フラグ及び合成設定情報から構成される音声合成設定データを生成する。ここで、置換フラグは、付加音声による置換の禁止を示す。また、合成設定情報は、ミキシング係数を５０％までとすることを許可することを示す。

重畳フラグが「２」である場合には、音声合成設定データ生成手段１０９ｂは、当該シーンについて、置換フラグ及び合成設定情報から構成される音声合成設定データを生成する。ここで、置換フラグは、付加音声による置換の禁止を示す。また、合成設定情報は、合成の禁止を示す。

次に、生成した重畳領域設定データを重畳領域設定データバッファ１１０ａに書き込む。

図３６に、音声合成方法の設定内容の一例を示す。図３６（ａ）は、再生時間軸上でのシーンの遷移を示している。図３６（ａ）に示す各シーンにおける音声合成設定データの例について説明する。

区間６８１のシーン６７１は、通常のサッカー中継のシーンである。また、区間６８２のシーン６７３は、サッカー中継に緊急のお知らせを表したメッセージ画像が入ったシーンである。さらに、区間６８３のシーン６７６は、ＣＭのシーンである。

音声合成設定データは、上述したように、音声の置換を許可するか、又は、禁止するかを示す置換フラグを含む。例えば、区間６８１については、置換フラグは、許可６８４ｇに設定されている。一方、区間６８２及び６８３では、置換フラグは、それぞれ、禁止６８５ｇ、６８７ｇに設定されている。

また、音声合成設定データには、上述したように、音声の合成を許可するか、禁止するか、許可する場合のミキシング係数の上限を示す「合成設定情報」が含まれている。

図３６に示す場合には、区間６８１のシーン６７１においては、音声合成が許可され、付加音声の割合を１００％まで上げることが可能であることを示している。また、区間６８２のシーン６７３においては、音声合成が許可されるが、付加音声の割合を５０％まで上げることが可能であると制限されていることを示す。さらに、区間６８３のシーン６７６においては、音声合成が禁止されていることを示す。

（４）放送ストリーム生成手段１０４ｂ
放送ストリーム生成手段１０４ｂは、編集手段１０３ｂによって編集された映像及び音声のコンテンツを、放送波に流すためのフォーマットである放送ストリームに変換する。次に、放送ストリームを放送ストリームバッファ１０５ｂに書き込む。

このとき、放送ストリーム生成手段１０４ｂは、編集手段１０３ｂによって生成される映像や音声のコンテンツを元に放送ストリームを生成する。また、音声合成設定データバッファ１１０ｂから音声合成設定データを読み出し、読み出した音声合成設定データを、放送ストリームに埋め込む。

音声合成設定データは、放送ストリームに多重化されるビデオストリームや、オーディオストリーム、ＰＭＴやＳＩＴなどのディスクリプタに格納される。ビデオストリームに格納される場合は、各フレームの補足データなどに格納されるとしてもよい。

また、音声合成設定データは、ＧＯＰの先頭のアクセスユニットのみに格納され、その音声合成設定データは、次のＧＯＰの先頭まで有効としてもよい。

音声合成設定データがオーディオストリームに格納される場合は、音声合成設定データは、ユーザデータ領域に格納される。

音声合成設定データがディスクリプタに格納される場合には、該当音声合成設定データが有効な区間の開始時刻のＰＴＳや終了時刻のＰＴＳなどの時刻情報とともに記録されてもよい。

なお、音声合成設定データを別ストリームとしてＰＩＤを割り当てて多重化するように構成してもよい。

３．２ 通信サービス提供システム３００ｂ
通信サービス提供システム３００ｂは、図３５に示すように、音声データ生成手段３０１ｂ、音声データバッファ３０２ｂ及び送信手段３０３ｂから構成されている。

音声データ生成手段３０１ｂは、音声データを、例えば、ＡＣ３やＡＡＣやＭＰ３などの音声フォーマットに変換して、音声データを生成する。次に、生成した音声データを音声データバッファ３０２ｂに書き込む。

送信手段３０３ｂは、音声データバッファ３０２ｂから音声データを読み出す。次に、読み出した音声データを、ネットワーク２０ｂを介して、各家庭に設置された再生装置４００ｂに対して送信する。

３．３ 再生装置４００ｂ
再生装置４００ｂは、図３５に示すように、チューナ４０１ｂ、放送ストリームデコード手段４０２ｂ、放送データバッファ４０３ｂ、音声合成設定データバッファ４０４ｂ、第一設定手段４０５ｂ、第二設定手段４０６ｂ、合成手段４０７ｂ、表示手段４０８ｂ、ＮＩＣ４０９ｂ、ＩＰ音声デコード手段４１０ｂ、ＩＰ非圧縮音声バッファ４１１ｂ及びスピーカ４１２ｂから構成される。チューナ４０１ｂには、アンテナ４２０ｂが接続されている。

再生装置４００ｂは、再生装置４００ａと類似した構成を有している。アンテナ４２０ｂ、チューナ４０１ｂ、放送ストリームデコード手段４０２ｂ、放送データバッファ４０３ｂ、表示手段４０８ｂ、ＮＩＣ４０９ｂは、それぞれ、再生装置４００ａのアンテナ４２０ａ、チューナ４０１ａ、放送ストリームデコード手段４０２ａ、放送データバッファ４０３ａ、表示手段４０８ａ及びＮＩＣ４０９ａと、同様の構成を有しているので、これらについての説明を省略する。

ここでは、再生装置４００ａとの相違点を中心に説明する。

（１）バッファ
放送データバッファ４０３ｂは、一例として、半導体メモリから構成されている。放送データバッファ４０３ｂは、放送ストリームデコード手段４０２ｂによってデコードされた映像プレーンを記憶するための領域を備えている。また、放送ストリームデコード手段４０２ｂによってデコードされた放送非圧縮音声を記憶するための領域を備えている。

音声合成設定データバッファ４０４ｂは、一例として、半導体メモリから構成されている。音声合成設定データバッファ４０４ｂは、音声合成設定データを記憶するための領域を備えている。

ＩＰ非圧縮音声バッファ４１１ｂは、一例として、半導体メモリから構成されている。ＩＰ非圧縮音声バッファ４１１ｂは、ＩＰ非圧縮音声を記憶するための領域を備えている。

（２）放送ストリームデコード手段４０２ｂ
放送ストリームデコード手段４０２ｂは、チューナ４０１ｂから放送ストリームを受け取る。次に、放送ストリームをデコードしてＰＴＳのタイミングで、映像プレーンを分離し、映像プレーンを放送データバッファ４０３ｂに書き込む。また、放送非圧縮音声を分離し、放送非圧縮音声を放送データバッファ４０３ｂに書き込む。さらに、音声合成設定データを分離し、音声合成設定データを音声合成設定データバッファ４０４ｂに書き込む。

（３）ＩＰ音声デコード手段４１０ｂ
ＩＰ音声デコード手段４１０ｂは、通信サービス提供システム３００ｂから、ネットワーク２０ｂ及びＮＩＣ４０９ｂを介して、音声データ及びＩＰ合成指示情報を受信する。次に、受信した音声データをデコードして、ＩＰ非圧縮音声を生成し、生成したＩＰ非圧縮音声をＩＰ非圧縮音声バッファ４１１ｂに書き込む。

ここで、ＩＰ合成指示情報は、ＩＰ非圧縮音声と放送非圧縮音声との合成方法を示す。言い換えると、ＩＰ非圧縮音声と放送非圧縮音声とをどのようにして合成するかを示す。合成方法は、例えば、放送波から受信した放送非圧縮音声をそのまま使う、ネットワークを介して受信したＩＰ非圧縮音声をそのまま使う、放送非圧縮音声とＩＰ非圧縮音声を５０％ずつ、ミキシングして再生する、などである。

ＩＰ合成指示情報は、置換フラグ及び合成設定情報を含む。置換フラグ及び合成設定情報は、それぞれ、音声合成設定データに含まれる置換フラグ及び合成設定情報と同一である。

また、ＩＰ音声デコード手段４１０ｂは、音声のＩＰ合成指示情報を、第一設定手段４０５ｂに対して出力する。例えば、アプリケーションのＡＰＩなどを用いて、ＩＰ合成指示情報を出力する。

なお、ＩＰ合成指示情報は、通信サービス提供システム３００ｂから受信する音声データの中に埋め込まれていてもよい。この場合、ＩＰ音声デコード手段４１０ｂは、音声データからＩＰ合成指示情報を抽出する。

（５）第一設定手段４０５ｂ
第一設定手段４０５ｂは、ＩＰ音声デコード手段４１０ｂから、ＩＰ合成指示情報を受け取る。ＩＰ合成指示情報を受け取ると、受け取ったＩＰ合成指示情報を第二設定手段４０６ｂに出力する。

（６）第二設定手段４０６ｂ
第二設定手段４０６ｂは、第一設定手段４０５ｂからＩＰ合成指示情報を受け取る。

また、第二設定手段４０６ｂは、音声合成設定データバッファ４０４ｂから、音声合成設定データを読み出す。次に、読み出した音声合成設定データから放送非圧縮音声のＰＴＳに対応する音声合成の指示を抽出する。

次に、第二設定手段４０６ｂは、第一設定手段４０５ｂから受け取ったＩＰ合成指示情報よりも、音声合成設定データから抽出した音声合成の指示を優先して、音声合成の指示を決定する。

次に、第二設定手段４０６ｂは、音声合成設定データ又はＩＰ合成指示情報を合成手段４０７ｂに対して、出力する。

具体的には、図３６に示すように、区間６８１のシーン６７１について、音声合成又は音声置換が許可されているため、第二設定手段４０６ｂは、第一設定手段４０５ｂから受け取ったＩＰ合成指示情報をそのまま合成手段４０７ｂに出力する。

また、区間６８２のシーン６７３については、音声置換が禁止されており、音声合成が５０％まで許可されている。このため、第一設定手段４０５ｂから受け取ったＩＰ合成指示情報により示される合成方法が「置換」の場合には、置換を禁止して放送非圧縮音声をそのまま使うように、合成手段４０７ｂに対して音声合成設定データを出力する。又は、ＩＰ非圧縮音声の割合が５０％以下となるように、放送非圧縮音声とＩＰ非圧縮音声とを合成するように、合成手段４０７ｂに対して音声合成設定データを出力する。

さらに、区間６８３のシーン６７６については、音声置換及び音声合成の両方とも、禁止となっている。このため、第一設定手段４０５ｂから受け取ったＩＰ合成指示情報により示される合成方法が「置換」の場合には、置換を禁止して放送非圧縮音声をそのまま使うように、合成手段４０７ｂに対して音声合成設定データを出力する。

（７）合成手段４０７ｂ
合成手段４０７ｂは、第二設定手段４０６ｂから、音声合成設定データ又はＩＰ合成指示情報を受け取る。次に、受け取った音声合成設定データ又はＩＰ合成指示情報の指示に従って、音声の合成方法を内部に設定する。

また、合成手段４０７ｂは、放送データバッファ４０３ｂから放送非圧縮音声を読み出す。また、ＩＰ非圧縮音声バッファ４１１ｂからＩＰ非圧縮音声を読み出す。

次に、設定された音声の合成方法に従って、放送非圧縮音声とＩＰ非圧縮音声とをミキシングし、合成音声を生成し、生成した合成音声をスピーカ４１２ｂに対して出力する。

（８）スピーカ４１２ｂ
スピーカ４１２ｂは、合成手段４０７ｂから合成音声を受け取る。受け取った合成音声を音響として出力する。

３．４ 放送通信連携システム１０ｂの動作
放送通信連携システム１０ｂを構成する放送システム１００ｂ及び再生装置４００ｂの動作について、説明する。

（１）放送システム１００ｂの動作
放送システム１００ｂの動作は、図２０に示す放送システム１００ａの動作と類似している。相違点は、以下の通りである。

放送システム１００ａでは、図２０に示すフローチャートのステップＳ１１２において、重畳領域設定手段１０９ａが重畳領域設定データを生成する。

これに対して、放送システム１００ｂでは、図２０に示すフローチャートのステップＳ１１２において、音声合成設定データ生成手段１０９ｂが音声合成設定データを生成する。

次に、音声合成設定データの生成の手順について、図３７に示すフローチャートを用いて説明する。

音声合成設定データ生成手段１０９ｂは、設定情報バッファ１０８ｂから、設定情報を読み出す（ステップＳ１２１ａ）。次に、放送映像データのシーン毎に、次のステップＳ１２３ａ〜Ｓ１２８ａを繰り返す（ステップＳ１２２ａ〜Ｓ１２９ａ）。

音声合成設定データ生成手段１０９ｂは、放送映像データのシーンの種類を抽出する（ステップＳ１２３ａ）。次に、抽出したシーンの種類を判断する（ステップＳ１２４ａ）。

第１の種類である場合（ステップＳ１２４ａで「第１」）、許可を示す置換フラグと、許可を示す合成設定情報からなる音声合成設定データを生成する（ステップＳ１２５ａ）。第２の種類である場合（ステップＳ１２４ａで「第２」）、禁止を示す置換フラグと、許可を示す合成設定情報からなる音声合成設定データを生成する。このとき、合成設定情報は、合成の割合が５０％以下であることを示す情報を含む（ステップＳ１２６ａ）。第３の種類である場合（ステップＳ１２４ａで「第３」）、禁止を示す置換フラグと、禁止を示す合成設定情報からなる音声合成設定データを生成する（ステップＳ１２７ａ）。次に、生成した音声合成設定データを音声合成設定データバッファ１１０ｂに書き込む（ステップＳ１２４ａ）。

（２）再生装置４００ｂの動作
再生装置４００ｂの動作について、図３８に示すシーケンス図を用いて、説明する。

アンテナ４２０ｂは、放送波を繰り返し受信し、チューナ４０１ｂは、放送波から放送ストリームを選択し、繰り返し復調する（ステップＳ１３１ａ）。

放送ストリームデコード手段４０２ｂは、放送ストリームから、該当ストリームを分離し、繰り返し、映像プレーン、放送非圧縮音声及び音声合成設定データを分離する（ステップＳ１３２ａ）。

放送ストリームデコード手段４０２ａは、繰り返し、映像プレーン及び放送非圧縮音声を放送データバッファ４０３ｂに書き込む（ステップＳ１３３ａ）。

放送ストリームデコード手段４０２ａは、繰り返し、音声合成設定データを音声合成設定データバッファ４０４ｂに書き込む（ステップＳ１３５ａ）。

ＮＩＣ４０９ａは、通信サービス提供システム３００ａから、ネットワーク２０ａを介して、音声データ及びＩＰ合成指示情報を受信する（ステップＳ１３７ａ）。

ＩＰ音声デコード手段４１０ｂは、音声データからＩＰ非圧縮音声を生成する（ステップＳ１３８ａ）。

第二設定手段４０６ｂは、音声合成設定データバッファ４０４ｂに記憶されている音声合成設定データを読み出す（ステップＳ１３６ａ）。

次に、第一設定手段４０５ｂは、ＩＰ合成指示情報を第二設定手段４０６ｂに出力し、第二設定手段４０６ｂは、合成手段４０７ｂに音声の合成方法を設定する（ステップＳ１３９ａ）。

次に、合成手段４０７ａは、放送データバッファ４０３ａから、繰り返し、映像プレーン及び放送非圧縮音声を読み出す（ステップＳ１３４ａ）。次に、繰り返し、放送非圧縮音声とＩＰ非圧縮音声とを合成して合成音声を生成する（ステップＳ１４０ａ）。

表示手段４０８ａは、繰り返し、映像プレーンを表示し、スピーカ４１２ｂは、繰り返し、合成音声を出力する（ステップＳ１４１ａ）。

（３）再生装置４００ｂによる音声の合成の動作
再生装置４００ｂによる音声の合成の動作について、図３９に示すフローチャートを用いて、説明する。なお、この手順は、図３８に示すステップＳ１４０ａの詳細である。

合成手段４０７ｂは、区間のシーン毎に、以下のステップＳ２０１〜Ｓ２０６を繰り返す（ステップＳ２００〜Ｓ２０７）。

合成手段４０７ｂは、音声合成設定データに含まれる置換フラグを読み出す（ステップＳ２０１）。

読み出した置換フラグが許可を示すか、又は、禁止を示すか、判断する（ステップＳ２０２）。

読み出した置換フラグが許可を示す場合（ステップＳ２０２で「許可」）、合成手段４０７ｂは、ＩＰ非圧縮音声を出力する（ステップＳ２０３）。

読み出した置換フラグが禁止を示す場合（ステップＳ２０２で「禁止」）、合成手段４０７ｂは、合成設定情報が許可を示すか、又は、禁止を示すか、判断する（ステップＳ２０４）。

合成設定情報が許可を示す場合（ステップＳ２０４で「許可」）、合成設定情報に含まれる割合に従って、ＩＰ非圧縮音声と放送非圧縮音声とを合成して出力する（ステップＳ２０５）。

合成設定情報が禁止を示す場合（ステップＳ２０４で「禁止」）、放送非圧縮音声を出力する（ステップＳ２０６）。

３．５ まとめ
上述したように、通信サービス事業者から、ネットワークを介して、ＩＰ音声が提供される。この場合、再生装置は、放送により受信した放送音声とネットワークを介して受信したＩＰ音声とを切り替えて出力することができる。また、放送音声とＩＰ音声とを合成して出力することができる。例えば、通信サービス事業者が、放送されるサッカー中継について、独自の解説音声を、ネットワークを介して、ＩＰ音声として配信する。この場合、再生装置は、通常のサッカー中継時には、解説音声を出力し、ヒーローインタビューの時には、放送音声を出力するというようなことができる。

しかし、放送局として、緊急放送の音声やＣＭ音声に対して、ＩＰ音声が合成されるという問題がある。

放送通信連携システム１０ｂは、このような問題を解決している。

放送通信連携システム１０ｂにおいては、放送局として、合成又は置換してほしくない緊急放送の音声やＣＭ音声に対して、ＩＰ音声の合成処理を制御することが可能となる。

４．実施の形態４
本発明の実施の形態４としての、放送通信連携システム１０ｃについて、図面を参照しながら説明する。

背景技術で説明したように、様々なサービスが提案されている状況において、さらに、放送と通信とを連携する新たなサービスの提供が要望されている。

放送通信連携システム１０ｃは、上記の要望に応えるため、放送と通信とを連携する新たなサービスを提供することを目的とする。

放送通信連携システム１０ｃによると、以下に説明するように、放送と通信とを連携する新たなサービスを提供することができる。

（１）放送通信連携システム１０ｃ
放送通信連携システム１０ｃは、図４０に示すように、放送装置１００ｃ、重畳データ生成装置３００ｃ、重畳データ提供装置５００ｃ及び受信装置４００ｃから構成される。

放送装置１００ｃは、カメラを用いた撮像により得られた映像フレーム画像を含む放送データを放送波として送信する送信手段を備える。

重畳データ生成装置３００ｃは、映像フレーム画像に重畳される重畳フレーム画像の元になる重畳データを生成する。重畳データ生成装置３００ｃは、映像フレーム画像を取得する画像取得部３０１ｃと、前記映像フレーム画像に含まれる主オブジェクトを特定する特定部３０２ｃと、前記主オブジェクトの前記映像フレーム画像内における位置を算出する算出部３０３ｃと、特定された前記主オブジェクトに係るオブジェクト情報を取得する情報取得部３０４ｃと、算出された前記位置に基づいて、前記オブジェクト情報を表した補助画像を配置すべき配置位置を決定し、前記オブジェクト情報と、前記配置位置を示す配置位置情報とからなる重畳データを生成する生成部３０６ｃとを備える。

重畳データ提供装置５００ｃは、重畳データ生成装置３００ｃから、前記重畳データを取得し、取得した前記重畳データをネットワークを介して送信する送信手段を備える。

受信装置４００ｃは、映像フレーム画像と重畳フレーム画像とを合成する。受信装置４００ｃは、前記映像フレーム画像を含む前記放送データを受信する受信部４０１ｃと、前記放送データから、前記映像フレーム画像を分離する分離部４０２ｃと、前記映像フレーム画像に含まれるオブジェクトに係るオブジェクト情報と、前記オブジェクトの前記フレーム画像内における位置の近傍の位置を示す位置情報とからなる重畳データを取得する取得部４０３ｃと、前記オブジェクト情報を表す補助画像を生成し、前記映像フレーム画像に対応するフレーム画像において、前記位置情報により示される位置に前記補助画像を配置して、前記重畳フレーム画像を生成する生成部４０４ｃと、前記影像フレーム画像と前記重畳フレーム画像とを合成して合成フレーム画像を生成する合成部４０５ｃとを備える。

この態様によると、映像フレーム画像を再生する際に、主オブジェクトとともに、主オブジェクトに係るオブジェクト情報を表した補助画像を再生できるように、前記補助画像を配置すべき配置位置を含む重畳データを生成することができる。また、主オブジェクトとともに、主オブジェクトに係るオブジェクト情報を表した補助画像を合成することにより、映像フレーム画像を再生する際に、主オブジェクトに係るオブジェクト情報を視聴者に提供することができる。

（２）ここで、生成部３０６ｃは、前記映像フレーム画像内の前記主オブジェクトに、前記補助画像が重複しないように、前記配置位置を決定してもよい。

この態様によると、映像フレーム画像を再生する際に、前記補助画像が主オブジェクトに重複しないように配置位置を決定するので、主オブジェクトが視認できなくなるような状況を防ぐように、重畳データを生成することができる。

（３）ここで、生成部３０６ｃは、さらに、前記映像フレーム画像から特定された複数の主オブジェクトを、複数のグループに分類し、生成部３０６ｃは、グループ毎に、前記配置位置の決定方法を切り換えてもよい。

この態様によると、グループ毎に、配置位置の決定方法を切り換えることにより、映像フレーム画像を再生する際に、グループを区別できるように、重畳データを生成することができる。

（４）ここで、前記映像フレーム画像から特定された複数の主オブジェクトが、２個のグループに分類された場合、生成部３０６ｃは、第１のグループに属する主オブジェクトについて、各主オブジェクトから見て、第１の方向に、前記配置位置を決定し、第２のグループに属する主オブジェクトについて、各主オブジェクトから見て、前記第１の方向とは反対の第２の方向に、前記配置位置を決定してもよい。

この態様によると、２個のグループについて、映像フレーム画像を再生する際に、グループを区別できるように、重畳データを生成することができる。

（５）ここで、情報取得部３０４ｃは、取得したオブジェクト情報から被写体に係る属性情報を抽出し、生成部３０６ｃは、抽出した属性情報に応じて、前記補助画像に付すべき背景色を決定し、決定された背景色を前記重畳データに含めてもよい。

この態様によると、映像フレーム画像を再生する際に、決定された背景色により補助画像を区別できるように、前記背景色を含む重畳データを生成することができる。

（６）ここで、特定部３０２ｃは、さらに、前記映像フレーム画像から１個の中核被写体を表す中核オブジェクトを抽出し、算出部３０３ｃは、さらに、前記中核オブジェクトの前記映像フレーム画像内における位置を算出し、生成部３０６ｃは、算出された中核オブジェクトの位置に重複しないように、前記補助画像の前記配置位置を決定してもよい。

この態様によると、映像フレーム画像を再生する際に、中核オブジェクトと補助画像が重複しないように、重畳データを生成することができる。

（７）ここで、生成部３０６ｃは、主オブジェクトから中核オブジェクトへの方向とは、反対の方向に、前記補助画像を配置するように、前記配置位置を決定してもよい。

この態様によると、映像フレーム画像を再生する際に、中核オブジェクトと補助画像が重複しないように、重畳データを生成することができる。

（８）ここで、生成部３０６ｃは、さらに、複数の主オブジェクトの中から、注目オブジェクトを抽出し、生成部３０６ｃは、前記注目オブジェクトについて、前記補助画像の強調を示す強調情報を生成し、生成した強調情報を前記重畳データに含めてもよい。

この態様によると、映像フレーム画像を再生する際に、注目オブジェクトを強調できるように、重畳データを生成することができる。

（９）ここで、生成部３０６ｃは、前記注目オブジェクトについて、前記補助画像を、他の補助画像より、大きく又は明るく描画することを指示する指示情報を生成し、生成した指示情報を前記重畳データに含めてもよい。

この態様によると、映像フレーム画像を再生する際に、注目オブジェクトを強調できるように、重畳データを生成することができる。

（１０）ここで、特定部３０２ｃは、さらに、前記映像フレーム画像から１個の中核被写体を表す中核オブジェクトを特定し、抽出した中核オブジェクトに最も近い位置に存在する主オブジェクトを、前記注目オブジェクトとして特定してもよい。

この態様によると、映像フレーム画像を再生する際に、中核オブジェクトに最も近い位置に存在する注目オブジェクトを強調できるように、重畳データを生成することができる。

（１１）ここで、前記重畳データ生成装置は、さらに、前記映像フレーム画像動についての解説を示す解説データ又は字幕を示す字幕データを取得するデータ取得部と、前記解説データ又は前記字幕データから、主被写体を示す識別情報を抽出する識別情報抽出部とを含み、特定部３０２ｃは、抽出した識別情報に係る主被写体の主オブジェクトを、前記注目オブジェクトとして、特定してもよい。

この態様によると、映像フレーム画像を再生する際に、解説データ又は字幕データに表れた注目オブジェクトを強調できるように、重畳データを生成することができる。

５．実施の形態５
本発明の実施の形態５としての、放送通信連携システム１０ｄについて、図面を参照しながら説明する。

背景技術で説明したように、様々なサービスが提案されている状況において、さらに、放送と通信とを連携する新たなサービスの提供が要望されている。

放送通信連携システム１０ｄは、上記の要望に応えるため、放送と通信とを連携する新たなサービスを提供することを目的とする。

放送通信連携システム１０ｄによると、以下に説明するように、放送と通信とを連携する新たなサービスを提供することができる。

放送通信連携システム１０ｄは、放送波の映像に対する付加情報の重畳サービスを提供する。例えば、サッカーなどのスポーツ中継において、映像中で動く選手の画像に追従しながら、選手の画像に付加情報を重畳する。なお、選手の画像を、単に、選手画像と呼ぶこともある。また、選手の画像を主オブジェクトと呼ぶこともある。

放送通信連携システム１０ｄは、図４１に示すように、放送システム１００ｄ及び再生装置４００ｄから構成される。

放送通信連携システム１０ｄにおいて提供されるサービスについて、図４２を用いて説明する。この図において、サッカー中継の放送映像における映像プレーン９０１及び９１１を示している。映像プレーン９１１は、映像プレーン９０１から１秒程度、後の映像プレーンである。

映像プレーン９０１には、ボールを表したボール画像９０５及び選手を表した選手画像９０２、９０３、９０４、・・・が含まれている。選手画像９０２の近傍には、ラベル画像９０２ａが配置されている。ラベル画像９０２ａには、選手画像９０２により表される選手の名前が表示されている。選手画像９０３、９０４、・・・についても、選手画像９０２と同様に、その近傍に、ラベル画像９０３ａ、９０４ａ、・・・が配置されている。ラベル画像９０３ａ、９０４ａ、・・・には、それぞれの選手の名前が表示されている。

ここで、ラベル画像を補助画像と呼ぶことがある。また、ボール画像を中核オブジェクトと呼ぶこともある。

映像プレーン９１１には、映像プレーン９０１と同様に、ボールを表したボール画像９１５及び選手を表した選手画像９１２、９１３、９１４、・・・が含まれている。また、選手画像９１２、９１３、９１４、・・・の近傍には、それぞれ、ラベル画像９１２ａ、９１３ａ、９１４ａ、・・・が配置されている。

このように、放送通信連携システム１０ｄにおいて提供されるサービスにおいては、放送映像中の選手画像の動きに、各ラベル画像を追従させて移動させ、それぞれの映像プレーンにおいて、選手画像の近傍にラベル画像を配置している。

このように選手の画像に追従させて、名前などのラベル情報を表したラベル画像を配置させることで、スポーツ中継がよりわかりやすくなる。

５．１ 放送システム１００ｄ
放送システム１００ｄは、図４１に示すように、放送映像撮影手段１０１ｄ、放送原画映像バッファ１０２ｄ、カメラ情報バッファ１０３ｄ、放送ストリーム生成手段１０４ｄ、放送ストリームバッファ１０５ｄ、送信手段１０６ｄ、アンテナ１０７ｄ、情報取得手段１０８ｄ、試合情報バッファ１０９ｄ、関連情報バッファ１１０ｄ、重畳データ生成手段１１１ｄ、重畳データバッファ１１２ｄ及び送信手段１１３ｄから構成される。

（１）放送映像撮影手段１０１ｄ
放送映像撮影手段１０１ｄは、一例として、ビデオカメラレコーダである。放送映像撮影手段１０１ｄは、被写体を撮影して映像を記録し、音声を記録する。また、ＧＰＳ及びジャイロセンサーを備え、カメラの位置、画角、向き、ズーム量などのカメラ情報を検出し、検出したカメラ情報を出力する。さらに、映像及び音声を放送原画映像バッファ１０２ｄに書き込み、カメラ情報を、カメラ情報バッファ１０３ｄに書き込む。また、映像、音声及びカメラ情報を情報取得手段１０８ｄに対して出力する。

ここで、放送システム１００ｄは、放送映像撮影手段１０１ｄとして、２台以上のビデオカメラレコーダを含むとしてもよい。このうち、１台のビデオカメラレコーダは、コート全体を俯瞰する位置に設置された俯瞰カメラである。俯瞰カメラは、コート全体を撮影する。別の１台のカメラは、コート上で動く選手を撮影するための放送用カメラである。放送システム１００ｄは、さらに、多くの俯瞰カメラ及び放送用カメラを含むとしてもよい。

（２）放送ストリーム生成手段１０４ｄ
放送ストリーム生成手段１０４ｄは、放送ストリーム生成手段１０４ａと同様に、放送原画映像バッファ１０２ｄに記憶されている映像及び音声を、放送波に流すためのフォーマットである放送ストリームに変換する。次に、放送ストリームを放送ストリームバッファ１０５ｄに書き込む。

（３）送信手段１０６ｄ
送信手段１０６ｄは、送信手段１０６ａと同様に、放送ストリームバッファ１０５ｄから、放送ストリームを読み出し、読み出した放送ストリームを、アンテナ１０７ｄにより、放送波として、送出する。

（４）情報取得手段１０８ｄ
情報取得手段１０８ｄは、以下に示すようにして、スポーツ中継上のオブジェクト情報をリアルタイムに取得し、取得したオブジェクト情報を出力する。

例えば、情報取得手段１０８ｄは、コート上の選手やボールの位置を取得し、取得した選手やボールの位置を出力する。また、試合に関する選手情報（走行距離、軌跡、試合時間、スピード、イエローカードの提示の有無）を出力する。

情報取得手段１０８ｄは、データベースを保持している。このデータベースは、選手情報テーブル、選手画像テーブル、試合情報テーブル及びチーム情報テーブルを含んでいる。

選手情報テーブルは、複数の選手情報を含む。複数の選手情報は、それぞれ、放送対象である当該試合に出場する複数の選手に対応している。各選手情報は、選手を識別する選手ＩＤ、選手の名前、選手が所属するチームを識別するチームＩＤ、選手のポジション、選手の背番号、選手の趣味、選手の戦歴、選手のコメントなどを含む。

選手画像テーブルは、複数の選手画像情報を含む。複数の選手画像情報は、当該試合に出場する複数の選手に対応している。各選手画像情報は、選手を識別する選手ＩＤ、選手の顔写真、選手が着ているユニフォームの画像、選手の背番号の画像、選手の体型の画像などを含む。

試合情報テーブルは、放送対象である当該試合に関する試合情報を含んでいる。試合情報は、試合の開始時刻、対戦する２チームを識別するチームＩＤ、各チームのゴール方向などを含む。

チーム情報テーブルは、放送対象である当該試合に出場する２チームのそれぞれについて、チーム情報を含む。各チーム情報は、当該チームを識別するチームＩＤ、当該チームの名前、当該チームに所属する選手を識別する選手ＩＤを含む。

情報取得手段１０８ｄは、データベースから選手情報テーブル、試合情報テーブル及びチーム情報テーブルを取得する。次に、取得した選手情報テーブル、試合情報テーブル及びチーム情報テーブルを関連情報バッファ１１０ｄに書き込む。

情報取得手段１０８ｄは、コート全体を撮影する俯瞰カメラにより撮影された２次元の俯瞰画像を用いて、コート上のボールの位置を特定する。次に、特定したボールの位置を、試合情報として、試合情報バッファ１０９ｄに書き込む。

また、情報取得手段１０８ｄは、データベースの選手画像テーブルに記憶されている選手の顔写真、ユニフォーム、背番号、体型などの画像と、俯瞰画像に含まれる部分画像とのパターンマッチングを行う。次に、選手画像テーブル内の画像と、俯瞰画像内の部分画像とが一致する場合に、一致する画像を含む選手画像情報内の選手ＩＤを取得する。こうして、俯瞰画像に含まれる選手の画像から、選手を特定し、特定した選手ＩＤを取得する。

次に、情報取得手段１０８ｄは、選手情報テーブルから、取得した選手ＩＤを含む選手情報を取得し、取得した選手情報を関連情報バッファ１１０ｄに書き込む。

また、情報取得手段１０８ｄは、図４３に示すように、俯瞰カメラ９２１により生成された２次元の俯瞰映像と、俯瞰カメラの位置、画角、向き、ズーム量のカメラ情報を使って、透視投影変換の逆処理を行って、３次元実空間上の各選手の位置を示す３次元位置座標を特定する。なお、複数の俯瞰カメラを用いて、４方向など、さまざまな角度で撮影して、平均値や多数決などで位置を特定すれば、位置の特定の精度が高くなる。

次に、情報取得手段１０８ｄは、放送用カメラの位置、画角、向き、ズーム量のカメラ情報を取得する。次に、その選手の位置を示す３次元位置座標に対して、透視投影変換を行って、図４４に示すように、放送カメラで撮影される映像プレーン９３１における選手画像の位置を特定する。映像プレーン９３１において、選手画像９３２及びその他の選手画像が表示されている。映像プレーン９３１において、選手画像９３２の位置は、一例として、（１０００、２００）である。ここで、（ｘ、ｙ）は、映像プレーンにおけるｘ座標値及びｙ座標値を示す。情報取得手段１０８ｄは、映像プレーン内に含まれる全ての選手画像について、その位置を特定する。

こうして、情報取得手段１０８ｄは、一例として、図４４に示す選手位置テーブル９４１を生成する。選手位置テーブル９４１は、複数の選手位置情報を含む。複数の選手位置情報は、それぞれ、映像プレーン９３１に含まれる複数の選手画像に対応する。各選手位置情報は、選手ＩＤ及び位置情報を含む。選手ＩＤは、対応する選手画像により表される選手を識別する識別番号である。位置情報は、映像プレーン９３１における選手画像の位置を示す。位置情報は、ｘ座標値及びｙ座標値を含む。情報取得手段１０８ｄは、選手位置テーブル９４１を試合情報バッファ１０９ｄに書き込む。

なお、選手の位置を示す位置情報を取得するために、選手にＧＰＳ付の無線発信機を持たせおき、ＧＰＳ情報から位置情報を特定してもよい。無線発信機は、ユニフォームやスパイクに埋め込むとしてもよい。

また、審判又はボールに、広域無線発信機を付けておき、選手には狭い領域の無線発信機を付けておく。選手の情報を、審判又はボールに付けられた広域無線発信機が集め、広域に発信するような構成にしてもよい。

また、選手の位置をフレーム単位で計測することが困難な場合には、数秒単位で取得した選手の位置から線形補間などの補間方法により、フレーム単位の選手の位置を算出してもよい。

（５）重畳データ生成手段１１１ｄ
重畳データ生成手段１１１ｄは、試合情報バッファ１０９ｄから選手位置テーブル９４１を読み出す。また、関連情報バッファ１１０ｄから、選手情報テーブルを読み出す。

次に、重畳データ生成手段１１１ｄは、選手位置テーブル９４１から選手ＩＤ及び位置情報を読み出し、読み出した選手ＩＤに対応する名前を、選手情報テーブルから読み出す。次に、読み出した選手ＩＤ、読み出した名前及び読み出した位置情報を対応付けて、ラベル位置情報として、重畳データ９６１に書き込む。選手位置テーブル９４１内の全ての選手位置情報について、名前の読み出しと、選手ＩＤ、名前及び位置情報の書き込みとを繰り返す。

次に、重畳データ生成手段１１１ｄは、重畳データ９６１に含まれる位置情報により示される選手画像の位置を、左、右、下、上などに移動して、ラベル画像の位置を示す位置情報に変換する。このとき、以下の条件（ａ）、（ｂ）及び（ｃ）を満たすようにする。

（ａ）ラベル画像が、どの選手画像とも重複しないように、ラベル画像を配置する位置を決定する。

（ｂ）ラベル画像が、ボール画像と重複しないように、ラベル画像を配置する位置を決定する。

（ｃ）ラベル画像が、そのラベル画像が表す名前により示される選手の選手画像の近傍に位置するように、ラベル画像を配置する位置を決定する。

このようにして、生成された重畳データ９６１の一例を図４５に示す。

重畳データ９６１は、図４５に示すように、複数のラベル位置情報を含む。複数のラベル位置情報は、それぞれ、映像プレーン９５１において表示される複数のラベル画像に対応している。各ラベル位置情報は、選手ＩＤ、名前及び位置情報を含む。選手ＩＤは、対応する選手画像により表される選手を識別する識別番号である。名前は、当該選手の名前である。位置情報は、映像プレーン９５１におけるラベル画像の左上点の位置を示す。位置情報は、ｘ座標値及びｙ座標値を含む。

重畳データ生成手段１１１ｄは、重畳データ９６１と放送の映像プレーンとの同期が取れるように、重畳データ９６１に対して、ＰＴＳを割り当てる。

重畳データ生成手段１１１ｄは、重畳データ９６１を重畳データバッファ１１２ｄに書き込む。

５．２ 再生装置４００ｄ
再生装置４００ｄは、図４１に示すように、チューナ４０１ｄ、放送ストリームデコード手段４０２ｄ、放送データバッファ４０３ｄ、合成手段４０７ｄ、表示手段４０８ｄ、ＮＩＣ４０９ｄ、重畳手段４１０ｄ及び重畳プレーンバッファ４１１ｄから構成される。チューナ４０１ｄには、アンテナ４２０ｄが接続されている。

再生装置４００ｄは、再生装置４００ａと類似した構成を有している。アンテナ４２０ｄ、チューナ４０１ｄ、放送データバッファ４０３ｄ、表示手段４０８ｄ、ＮＩＣ４０９ｄは、それぞれ、再生装置４００ａのアンテナ４２０ａ、チューナ４０１ａ、放送データバッファ４０３ａ、表示手段４０８ａ及びＮＩＣ４０９ａと、同様の構成を有しているので、これらについての説明を省略する。

ここでは、再生装置４００ａとの相違点を中心に説明する。

（１）放送ストリームデコード手段４０２ｄ
放送ストリームデコード手段４０２ｄは、チューナ４０１ｄから放送ストリームを受け取る。次に、放送ストリームをデコードしてＰＴＳのタイミングで、映像プレーンを分離し、映像プレーンを放送データバッファ４０３ｄに書き込む。

（２）重畳手段４１０ｄ
重畳手段４１０ｄは、放送システム１００ｄから、インターネット２０ｄ及びＮＩＣ４０９ｄを介して、重畳データテーブルを受け取る。次に、受け取った重畳データテーブルを用いて、以下に示すようにして、重畳プレーンを生成し、ＰＴＳのタイミングで重畳プレーンバッファ４１１ｄに書き込む。

図４５に示す重畳データ９６１の場合には、重畳データ９６１の各ラベル位置情報に含まれる名前を、フォントファイルなどを使って、ラスタイメージ（ビットマップ）に変換する。こうして、ラベル画像を生成する。次に、重畳プレーンにおいて、各重畳データに含まれる位置情報により示される位置に、そのラベル画像を描く。

（３）合成手段４０７ｄ
合成手段４０７ｄは、放送データバッファ４０３ｄから映像プレーンを読み出し、重畳プレーンバッファ４１１ｄから重畳プレーンを読み出す。次に、ＰＴＳで同期をとって、映像プレーンと重畳プレーンとを合成して合成プレーンを生成し、合成プレーンを表示手段４０８ｄに対して出力する。

映像プレーンと重畳プレーンの合成処理の一例を、図４６に示す。この図には、ＰＴＳ＝１０００００のフレームの映像プレーン９８１及びＰＴＳ＝１０００００の重畳プレーン７８５を示している。映像プレーン９８１には、ボール画像９８４、選手画像９５２、９８３、・・・が含まれている。また、重畳プレーン９８５には、ラベル画像９８２ａ、９８３ａ、・・・が含まれている。

合成手段４０７ｄは、映像プレーン９８１と重畳プレーン９８５とを合成して、合成プレーン９８８を生成する。合成プレーン９８８には、ボール画像９８４、選手画像９８２及びラベル画像９８２ａ、選手画像９８３及びラベル画像９８３ａ、・・・が表示されている。ここで、ラベル画像９８２ａは、選手画像９８２の近傍に表示され、ラベル画像９８３ａは、選手画像９８３の近傍に表示されている。

５．３ 放送通信連携システム１０ｄの動作
放送通信連携システム１０ｄを構成する放送システム１００ｄ及び再生装置４００ｄの動作について、説明する。

（１）放送システム１００ｄの動作
放送システム１００ｄの動作は、図２０に示す放送システム１００ａの動作と類似している。

放送システム１００ｄの動作においては、図２０のステップＳ１１１に示す放送映像データの編集は、存在しない。また、図２０のステップＳ１１２において、重畳領域設定データを生成する代りに、放送システム１００ｄの動作においては、重畳データを生成する。

次に、重畳データの生成の動作の詳細について、図４７に示すフローチャートを用いて、説明する。

放送映像撮影手段１０１ｄは、ビデオカメラレコーダにより、映像及び音声を記録する（ステップＳ３０１）。

次に、情報取得手段１０８ｄは、ビデオカメラレコーダの位置、画角、向き、ズーム量などのカメラ情報を取得する（ステップＳ３０２）。次に、ボールのコート上の位置を取得する（ステップＳ３０３）。次に、俯瞰カメラによる映像データを用いて、選手の顔などのパターンマッチングを行って、選手を特定する。対応する選手ＩＤを取得し、選手情報を取得し、選手情報を書き込む（ステップＳ３０４）。次に、俯瞰カメラによる映像データ及びカメラ情報を用いて各選手の３次元実空間上の３次元位置座標を特定する。映像プレーン上の選手の位置を特定し、選手位置情報を書き込む（ステップＳ３０５）。

次に、重畳データ生成手段１１１ｄは、放送映像、カメラ情報、選手・ボールの試合情報、関連情報を元に、ラベル画像を生成する（ステップＳ３０６）。次に、重畳プレーン上で、ラベル画像を配置する位置を決定する（ステップＳ３０７）。次に、重畳プレーン上に決定した位置にラベル画像を描画する（ステップＳ３０８）。

送信手段１１３ｄは、重畳データを送信する（ステップＳ３０９）。

送信手段１０６ｄは、放送データを送信する（ステップＳ３１０）。

（２）再生装置４００ｄの動作
再生装置４００ｄの動作について、図４８に示すフローチャートを用いて、説明する。

放送ストリームデコード手段４０２ｄは、放送ストリームから映像プレーンを分離する（ステップＳ３２１）。

重畳手段４１０ｄは、重畳データを受信して、重畳プレーンを取得する（ステップＳ３２２）。

合成手段４０７ｄは、映像プレーンと重畳プレーンを合成して、合成プレーンを生成する（ステップＳ３２３）。

表示手段４０８ｄは、合成プレーンを表示する（ステップＳ３２４）。

５．４ まとめ
以上説明したように、放送波の映像に対して付加情報を重畳するサービスを提供する際に、例えば、サッカーなどのスポーツ中継において、映像中で動く選手画像に追従にするように、付加情報を配置することが可能となる。

５．５ 変形例
（１）映像プレーン上にラベル画像を配置する場合に、図４９に示すように、チームごとに統一して、チームが攻める方向とは反対側に配置した方が、ラベルの重なり度合いを少なくできる。

この場合、重畳データ生成手段１１１ｄは、重畳データ９６１に含まれる位置情報により示される選手画像の位置を、左、右、下、上などに移動して、ラベル画像の位置を示す位置情報に変換する。このとき、上記の条件（ａ）、（ｂ）及び（ｃ）に加えて、以下の条件（ｄ）及び（ｅ）を満たすようにする。

（ｄ）同じチームに所属する選手の選手画像について、選手画像に対してラベル画像を配置する位置が、同じ方向となるように、ラベル画像の位置を決定する。

（ｅ）選手画像に対してラベル画像を配置する位置が、チームが攻める方向とは反対側になるように、ラベル画像の位置を決定する。

図４９に示すように、選手画像９７１、９７２、９７３により表される選手は、第１チームに所属している。一方、選手画像９７４、９７５、９７６により表される選手は、第２チームに所属している。また、第１チームが攻める方向は、方向９７７に示す通りである。第２チームが攻める方向は、方向９７８に示す通りである。

重畳データ生成手段１１１ｄは、関連情報バッファ１１０ｄに記憶されている選手情報テーブルから、各選手の所属するチームＩＤを取得する。また、関連情報バッファ１１０ｄに記憶されている試合情報テーブルから、各チームのゴール方向を取得する。

重畳データ生成手段１１１ｄは、選手がどのチームに所属しているかを、選手情報テーブルから取得した各選手の所属するチームＩＤを用いて、決定する。また、取得したゴール方向を用いて、各チームの攻める方向を決定する。

従って、重畳データ生成手段１１１ｄは、選手画像９７１、９７２、９７３について、それぞれの選手画像に対し、同じ方向にラベル画像９７１ａ、９７２ａ、９７３ａを配置する。図４９に示す場合には、選手画像９７１、９７２、９７３の左側に、それぞれ、ラベル画像９７１ａ、９７２ａ、９７３ａが配置されている。

ここで、重畳データ生成手段１１１ｄは、第１チームが攻める方向は、方向９７７であるので、選手の位置に対して、方向９７７とは反対の方向である左側に、ラベル画像を配置する。

また、重畳データ生成手段１１１ｄは、選手画像９７４、９７５、９７６について、それぞれの選手画像に対し、同じ方向にラベル画像９７４ａ、９７５ａ、９７６ａを配置する。図４９に示す場合には、選手画像９７４、９７５、９７６の右側に、それぞれ、ラベル画像９７４ａ、９７５ａ、９７６ａが配置されている。

ここで、重畳データ生成手段１１１ｄは、第２チームが攻める方向は、方向９７８であるので、選手の位置に対して、方向９７８とは反対の方向である右側に、ラベル画像を配置する。

（２）重畳データ生成手段１１１ｄは、映像プレーン上にラベル画像を配置する場合に、選手画像の位置からボール画像の位置へのベクトルとは反対方向に、ラベル画像を配置してもよい。このようにすることにより、ラベル画像とボール画像が重ならずにすむ。

一例として図４２に示すように、映像プレーン９０１において、選手画像９０２の位置からボール画像９０５の位置へのベクトルとは反対方向に、ラベル画像９０２ａが配置されている。ラベル画像９０３ａについても、同様である。

ただし、ラベル画像９０６ａについては、この方法に従っていない。選手画像９０６の位置からボール画像９０５の位置へのベクトルとは反対方向に、ラベル画像を配置すると、ラベル画像が映像プレーン７０１の外にはみ出すことになる。従って、この場合には、この方法に従うことなく、重畳データ生成手段１１１ｄは、選手画像９０６の位置からボール画像９０５の位置へのベクトルと同じ方向に、ラベル画像９０６ａを配置する。

（３）放送通信連携システム１０ｄでは、再生装置４００ｄの重畳手段４１０ｄは、ネットワークを介して、重畳データを受信し、重畳データに基づいて、重畳プレーンバッファ４１１ｄに重畳プレーンを出力している。しかし、これには限定されない。次のようにしてもよい。

ネットワークの通信トラブル等により、重畳データの伝送が遅れた場合、次のような現象が発生する。放送により受信した映像プレーンと、ネットワークを介して遅延して受信した重畳データから生成した重畳プレーンとを合成すると、ラベル画像が、当該選手画像の近傍ではなく、別の選手画像の近傍の位置や、選手画像が存在しない位置に表示される。

そこで、ネットワークの通信トラブルにより、重畳データの伝送が遅れた場合、放送波の映像をデコードするときに、動きベクトルを覚えておく。次に、その動きベクトルに基づき、カメラのパンの動きを推定し、推定した動きに従って、ラベル画像を移動させて、重畳プレーンを生成してもよい。

この結果、表示される画面における違和感を少なくできる。

（４）ネットワークの通信トラブル等により、重畳データを取得できなかった場合に、ラベル画像を表示させないようにすると、ネットワークの通信トラブル等により、重畳データを取得できたり、できなかったりすると、ラベル画像が表示されたり、表示されなかったりする。このため、ラベル画像が点滅しているように見える。

このような場合、重畳データを取得できない期間が、ある一定期間より長く発生した場合にのみ、フェードイン又はフェードアウトによりラベル画像の表示を制御してもよい。言い換えると、ラベル画像が次第に見えなくなるようにし、又は、ラベル画像が次第に見えるようにしてもよい。

この結果、ユーザにとって、見やすい映像となる。

（５）放送通信連携システム１０ｄでは、重畳データをテキスト情報として、重畳手段４１０ｄがその情報に基づいて、イメージを生成している。しかし、これには限定されない。

重畳データとして、テキストデータが設定されていなくてもよく、重畳データとして、ＪＰＧ、ＰＮＧ等の画像ファイルが設定されるようにしてもよい。

一例として図５０に示すように、重畳データ９９１は、複数のラベル位置情報を含む。各ラベル位置情報は、選手ＩＤ、名前、位置情報及び画像ＩＤを含む。ここで、画像ＩＤは、ＪＰＧ、ＰＮＧ等の画像ファイルを識別する識別子である。画像ファイルは、各選手の名前を表す画像から構成されている。また、画像ファイルは、各選手の名前に代えて、又は、各選手の顔写真から構成されているとしてもよい。

この場合は、放送システム１００ｄは、あらかじめ画像ファイルを再生装置４００ｄに対して送っておき、再生装置４００ｄは、画像ファイルを保持しておいてもよい。こうすることにより、ネットワークの負荷を抑えることができる。

（６）放送通信連携システム１０ｄでは、再生装置４００ｄの重畳手段４１０ｄは、ネットワークを介して、重畳データを受信し、重畳データに基づいて、重畳プレーンに映像を出力している。しかし、これには限定されない。次に示すようにしてもよい。

重畳データを放送波に乗せて放送してもよい。例えば、ビデオストリームの補足データや、別ＰＩＤのストリーム、システムパケットのディスクリプタなどで重畳データを伝送してもよい。この場合、ラベル画像の位置情報を、各ビデオフレーム単位で送信する。また、ＪＰＧ、ＰＮＧ等の画像ファイルを、データ放送のように、一定周期で同じ内容を繰り返し送り続けるカルーセル伝送を行うとしてもよい。

（７）映像プレーンにおいて、ボール画像に最も近い位置に存在する選手画像に対して、他より大きいラベル画像を配置してもよい。

一例として、図５２に示すように、合成プレーン８０１ａにおいて、選手画像８０２は、他の選手画像８０３、８０４、・・・よりも、最もボール画像８０５に近い位置に存在する。ボール画像８０５に最も近い位置に存在する選手画像８０２に対して、他より大きいラベル画像８０２ａを配置してもよい。

また、別の一例として、図５３に示すように、合成プレーン８０１ｂにおいて、選手画像８０４は、他の選手画像８０２、８０４、・・・よりも、最もボール画像８０５に近い位置に存在する。ボール画像８０５に最も近い位置に存在する選手画像８０４に対して、他より大きいラベル画像８０４ａを配置してもよい。

このように、ボール画像（中核オブジェクト）に最も近い位置に表示されている選手画像（主オブジェクト）を注目オブジェクトと呼ぶこともある。

この場合、放送システム１００ｄは、重畳データに、さらに、映像プレーン内のボール画像の位置を示す位置情報、及び、映像プレーン内の選手画像の位置を示す位置情報を含める。次に、ボール画像の位置を示す位置情報及び選手画像の位置を示す位置情報を含む重畳データを伝送する。つまり、ラベル画像の位置情報と同様に、選手画像の位置情報と及びボール画像の位置情報を、放送波の映像における位置情報として、重畳データに含めて伝送する。

情報取得手段１０８ｄは、選手画像の位置の取得と同様にして、俯瞰映像から、ボールの形状や色等により、パターンマッチングにより、ボール画像の位置を示す位置情報を取得する。また、ボールの内部に、ＧＰＳ機能付の無線発信機を埋め込み、無線発信機は、ＧＰＳによりボールの位置情報を取得し、取得した位置情報を電波により送信してもよい。

重畳手段４１０ｄは、重畳データに含まれる選手画像の位置を示す位置情報及びボール画像の位置を示す位置情報を用いて、映像プレーン内の全ての選手画像の位置と、ボール画面の位置との距離を算出する。次に、最も小さく算出された距離に対応する選手画像について、他のラベル画像より大きくしたラベル画像を重畳する。

このようにすることで、注目選手（注目オブジェクト）が強調されるため、視聴者には、わかりやすい表示となる。なお、選手画像の位置情報と、ボール画像の位置情報は、放送波の映像に対する２次元座標ではなく、実際の３次元座標を用いる方が、正確に選手とボールとの距離を計測できる。

（８）放送システム１００ｄは、選手の代表位置情報だけでなく、選手の骨格を表現するため各ノード（頭、首、腰、左肩、左手、左ひざ、左足首、右肩、右手、右ひざ、右足首など）の位置情報を伝送してもよい。再生装置４００ｄは、選手の骨格を表現するため各ノードの位置情報を元にして、選手画像とラベル画像が重ならないように、ラベル画像の位置を決定してもよい。

また、このように、選手の骨格の位置情報がわかれば、手を上げた選手を光らせるなどのエフェクトや、蹴った足を光らせるなど、効果的な演出ができる
（９）解説音声を言語解析して、又はクローズドキャプション (closed captioning) などの字幕情報を利用して、解説者の話に出てくる選手名を特定する。次に、特定したその選手を表すラベル画像を大きくしたり、光らせたりしてもよい。これにより、注目選手（注目オブジェクト）が視聴者にわかりやすくなる。

（１０）重畳データとして、各選手の情報として、選手の配置を示すポジションの情報を格納するようにし、ポジションごとに、ラベルを色分けしてもよい。こうすることにより、試合の戦略がわかりやすくなる。

（１１）選手が存在する３次元実空間上の３次元座標位置に、３次元モデルのラベルを配置した後、放送用カメラの位置、向き、ズームなどのカメラ情報を使って、３次元モデルのラベルに対して、透視投影変換を行い、レンダリングを実行し、生成した画像をラベル画像として重畳するようにしてもよい。このようにすることで、あたかもコート上に３次元のラベルがあるかのような映像を作成できる。

（１２）放送通信連携システム１０ｄにおいて、映像内で動く選手画像の位置に追従してラベル画像を重畳する場合に、より効果的にユーザの意図を反映させる方法として、次のようなものがある。

（ａ）重畳データを複数言語分、用意しておけば、視聴者の好みに応じて、言語の選択ができる。

例えば、放送システム１００ｄは、重畳データに、日本語、英語、ドイツ語、スペイン語及びポルトガル語で表記された選手の名前を含ませる。放送システム１００ｄは、この重畳データを送信する。再生装置４００ｄは、これらの言語により表記された選手の名前を含む重畳データを受信する。再生装置４００ｄは、視聴者の好みの言語の入力を受け付ける。再生装置４００ｄは、受け付けた言語による選手の名前のみを含む重畳プレーンを生成し、映像プレーンと重畳プレーンとを合成して出力する。

（ｂ）放送システム１００ｄは、重畳データに、選手の氏名、苗字、愛称、チームＩＤ、背番号などを含ませる。放送システム１００ｄは、この重畳データを送信する。

再生装置４００ｄは、視聴者からラベル画像に表示されるデータの種類を受け付ける。データの種類の例は、選手の氏名、苗字、愛称、背番号である。再生装置４００ｄは、受け付けたデータの種類により、ラベル画像を生成し、生成したラベル画像を含む重畳プレーンを生成し、映像プレーンと重畳プレーンとを合成して出力する。例えば、視聴者から、データの種類として、選手の氏名を受け付けた場合に、ラベル画像に選手の氏名を表示する。同様に、苗字、愛称、背番号を受け付けた場合に、それぞれ、ラベル画像に、苗字、愛称、背番号を表示する。

こうして、視聴者は、ラベル画像に表示すべき内容を指定することできる。

（ｃ）放送システム１００ｄは、重畳データに、選手の氏名、苗字、愛称、チームＩＤ、背番号などを含ませる。放送システム１００ｄは、この重畳データを送信する。

また、再生装置４００ｄは、視聴者からラベル画像を表示すべきカテゴリとその識別情報の入力を受け付ける。

例えば、再生装置４００ｄは、カテゴリとして「チームＩＤ」を受け付け、チームＩＤとして「０１０５」を受け付ける。再生装置４００ｄは、重畳データのうち、チームＩＤ「０１０５」を含むラベル位置情報についてのみ、名前を含むラベル画像を生成し、生成したラベル画像を表示する。

例えば、再生装置４００ｄは、カテゴリとして「背番号」を受け付け、背番号として「５１」を受け付ける。再生装置４００ｄは、重畳データのうち、背番号「５１」を含むラベル位置情報についてのみ、名前を含むラベル画像を生成し、生成したラベル画像を表示する。

こうして、視聴者は、特定のチームの選手だけ、又は特定の背番号の選手だけに、ラベル画像を重畳することができる。

（１３）タッチパネルを備える端末装置で映像を視聴する場合、タッチパネルにより、タッチ位置を特定して、重畳データに含まれている選手画像の位置と、タッチ位置とが重なるときに、その選手のみについて、ラベル画像を表示してもよい。また、その選手のみについて、ラベル画像を大きくしたり、ハイライトにして、強調してもよい。また、また、その選手のみについて、選手の名前、背番号、チーム名、過去の成績などを含むラベル画像を生成して、詳細に表示してもよい。

（１４）テレビの表示画面のサイズ（インチ数）に応じて、選手画像に重畳するラベル画像のサイズを変更してもよい。インチ数が大きくなれば、ラベル画像のサイズを大きくする。

また、表示画面のアスペクト比に応じて、ラベル画像のサイズの縦横比を決定してもよい。

また、ラベル画像の垂直方向のサイズを一定にし、表示画面の水平方向の画素数に応じて、ラベル画像の水平方向のサイズを変更してもよい。逆に、ラベル画像の水平方向のサイズを一定にし、表示画面の垂直方向の画素数に応じて、ラベル画像の垂直方向のサイズを変更してもよい。

（１５）放送通信連携システム１０ｄでは、重畳データをネットワークで伝送し、再生装置４００ｄの重畳手段４１０ｄが重畳データに基づいて、重畳プレーンを生成し、重畳プレーンと映像プレーンとを合成している。しかし、これには限定されない。次に示すようにしてもよい。

（ａ）放送システム１００ｄは、重畳データから、重畳用のビデオストリームを生成し、重畳用のビデオストリームと、放送用の映像ストリームとを多重化して、放送ストリームを生成して、放送してもよい。

例えば、図５１に示すように、放送システム１００ｄは、合成プレーン８０１ａを、ＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣなどのビデオコーデックで、圧縮符号化してビデオストリームを作成する。ここで、合成プレーン８０１ａにおいては、選手画像８０２、８０３、８０４、・・・とともに、これらの画像の位置に追従してラベル画像８０２ａ、８０３ａ、８０４ａ、・・・が配置されている。また、合成プレーン８０１ａの背景は、黒などの淡色映像で構成される。

再生装置４００ｄの重畳手段４１０ｄは、ビデオストリームをデコードしたのち、背景色を透過ピクセルとして重畳プレーンに書き出す。

このようにすれば、再生装置４００ｄにおいて、グラフィックスの生成が不要となり、再生装置４００ｄの処理が容易となる。

（ｂ）重畳用のビデオストリームとして、重畳用ビデオストリームと透過度を設定したビデオストリームの両方を用意する構成にしてもよい。

背景については、黒などの淡色映像で構成し、選手画像の位置に追従したラベル画像を配置してデザインされたフレームを、ＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣなどのビデオコーデックで、圧縮符号化して、圧縮符号化して色情報ビデオストリームを作成する。

一方で、透過度のみを符号化した透過度ビデオストリームを用意する。

再生装置４００ｄの重畳手段４１０ｄは、色情報ビデオストリームをデコードしたのち、透過度ビデオストリームをデコードして、色情報ビデオストリームのデコード結果に対して、透過度ビデオストリームのデコード結果の透過度を設定して、重畳プレーンに書き出す。このようにすれば、再生装置４００ｄにおいて、グラフィックスの生成が不要となり、処理が容易となる。なお、色情報ビデオストリームと透過度ビデオストリームをSide-by-Sideで、半分の解像度にして構成してもよい。

（ｃ）重畳用のビデオストリームとしては、ビュー間参照を利用した圧縮符号化のビデオストリームの構成にしてもよい。

ビュー間参照を使って圧縮する符号化方式として、ＭＰＥＧ−４ ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれるＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の修正規格がある。図５４は、ＭＰＥＧ−４ ＭＶＣによる符号化方式を説明する図である。ＭＰＥＧ−４ ＭＶＣでは、従来の機器との再生互換性のある基本ビュー１０２１と、基本ビュー１０２１と同時に処理することで別視点の映像の再生を実現する拡張ビュー１０２２とから構成される。基本ビュー１０２１は、図５４に示すように、時間方向の冗長性のみを利用してピクチャ間予測符号化を用いて圧縮されている。基本ビュー１０２１は、ピクチャ１００１、１００２、・・・、１００７、・・・を含む。一方、拡張ビュー１０２２は、この時間方向の冗長性を利用したピクチャ間予測符号化に加えて、視点間の冗長性を利用したピクチャ間予測符号化によって圧縮されている。拡張ビュー１０２２は、ピクチャ１０１１、１０１２、・・・、１０１７、・・・を含む。基本ビュービデオストリームのピクチャは、拡張ビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮されている。図５４に示す矢印は、参照関係を示している。拡張ビュービデオストリームの先頭Ｐピクチャ１０１１は、基本ビュービデオストリームのＩピクチャ１００１を参照する。拡張ビュービデオストリームのＢピクチャ１０１２は、基本ビュービデオストリームのＢｒピクチャ１００２を参照している。また、拡張ビュービデオストリームの二つ目のＰピクチャ１０１４は、基本ビュービデオストリームのＰピクチャ１００４を参照している。また、基本ビュービデオストリームは、拡張ビュービデオストリームを参照していないため、このストリーム単体は１本で再生することができる。反対に拡張ビュービデオストリームは、基本ビュービデオストリームを参照しているため、このストリーム単体は１本で再生することはできない。ただし、左右の視点からは同じ被写体を見るため映像の相関が大きい。このため、視点間のピクチャ間予測符号化を行うことで、拡張ビュービデオストリームについては、基本ビュービデオストリームに比べて、データ量を大幅に削減できる。このように、ＭＶＣは、複数視点の映像をまとめて符号化する規格である。映像の時間方向の類似性だけでなく視点間の類似性も予測符号化に利用することにより、複数視点の独立した圧縮に比べて圧縮効率を向上している。この視点間の相関を利用し、異なるビューのピクチャを参照することを、「ビュー間参照」とよぶ。

ここで、放送波映像をベースビューとし、重畳済み映像を拡張ビューとして、符号化する。このようにすることで、拡張ビューの重畳済み映像を符号化したビデオストリームは、ラベル画像以外は、ベースビューと一致するので、ビュー間参照の効果が大きい。このため、拡張ビューの重畳済み映像を符号化したビデオストリームのビットレートは小さくできる。再生装置４００ｄは、この拡張ビューの重畳済みビデオストリームを、ベースビューとともにデコードして、拡張ビューのみを表示することで、映像重畳を実現できる。

６．その他の変形例
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）本発明の一態様は、ＡＶストリームに多重化されるビデオストリームをデコードし、付加データを重畳する再生装置である。前記ＡＶストリームには、前記ビデオストリームに対応する重畳禁止領域情報が含まれている。前記重畳禁止領域は、前記ビデオストリームのフレームにおいて、付加データの重畳を禁止する領域が定義されている。前記再生装置は、前記ビデオストリームをデコードした結果をプレーンバッファ１に書き出し、前記付加データをプレーンバッファ２に書き出す。また、前記重畳禁止領域情報を元に、前記プレーンバッファ２の禁止領域を透明色に変更して、前記プレーンバッファ１に前記プレーンバッファ２を重畳する。

（２）本発明の一態様である放送波及び通信で提供する映像コンテンツの再生装置は、テレビ放送映像コンテンツに、付加情報を重畳してユーザに新しい楽しみを提供するだけでない。緊急放送やＣＭなどテレビ放送の重要なメッセージを、情報を損なうことなく、ユーザに正確に届けることを保障できる。故に、本発明の一態様である映像ストリーム、その符号化方法、符号化装置、再生方法及び再生装置は、テレビ放送などの映像配信産業、民生機器産業において高い利用可能性を有する。

（３）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニットなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。つまり、前記マイクロプロセッサは、前記コンピュータプログラムに含まれる各命令を１個ずつ読み出し、読み出した命令を解読し、解読結果に従って動作する。

また、ＲＡＭ又はハードディスクユニットに記憶されているコンピュータプログラムに含まれる命令に従って、マイクロプロセッサが動作することにより、当該コンピュータプログラムとマイクロプロセッサとが、あたかも、一つのハードウェア回路を構成し、このハードウェア回路が動作しているようにみせることができる。

（４）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

ＬＳＩは、複数の回路ブロックから構成される。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

（５）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

（６）本発明は、上記に示す装置を制御するための制御方法であるとしてもよい。また、これらの制御方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶している。前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（７）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明にかかる放送通信連携システムは、新たなサービスを提供することができ、放送と通信とを連携する技術として有用である。

１０ 放送通信連携システム
１０ａ 放送通信連携システム
１０ｂ 放送通信連携システム
１０ｃ 放送通信連携システム
１０ｄ 放送通信連携システム
１００ データ生成装置
１００ａ 放送システム
１００ｂ 放送システム
１００ｄ 放送システム
３００ａ 通信サービス提供システム
３００ｂ 通信サービス提供システム
３００ｃ データ生成装置
４００ 受信装置
４００ａ 再生装置
４００ｂ 再生装置
４００ｃ 受信装置
４００ｄ 再生装置

Claims (30)

1. データを生成するデータ生成装置であって、
   フレーム画像を取得する取得手段と、
   再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳を禁止するフレーム画像上の領域を示す禁止情報を設定する設定手段と、
   前記フレーム画像と前記禁止情報とを多重化してデータを生成する多重化手段と
   を備えることを特徴とするデータ生成装置。
2. 前記データ生成装置は、前記フレーム画像を一の伝送路により伝送し、
   前記付加画像は、前記伝送路とは、異なる伝送路により、伝送される
   ことを特徴とする請求項１記載のデータ生成装置。
3. 前記フレーム画像は放送路にて伝送され、前記付加画像は通信路にて伝送される
   ことを特徴とする請求項２記載のデータ生成装置。
4. 前記設定手段は、さらに、再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳を許可するフレーム画像上の領域を示す許可情報を設定し、
   前記多重化手段は、さらに、前記許可情報を多重化する
   ことを特徴とする請求項１に記載のデータ生成装置。
5. 前記設定手段は、さらに、再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳を推奨するフレーム画像上の領域を示す推奨情報を設定し、
   前記多重化手段は、さらに、前記推奨情報を多重化する
   ことを特徴とする請求項４に記載のデータ生成装置。
6. 前記設定手段は、さらに、再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳に対して注意を促すフレーム画像上の領域を示す注意情報を設定し、
   前記多重化手段は、さらに、前記注意情報を多重化する
   ことを特徴とする請求項４に記載のデータ生成装置。
7. 前記禁止情報及び前記許可情報は、前記フレーム画像内の各画素に対応して設定される
   ことを特徴とする請求項４に記載のデータ生成装置。
8. 前記禁止情報及び前記許可情報は、前記フレーム画像を複数に分割して得られる領域に対応して設定される
   ことを特徴とする請求項４に記載のデータ生成装置。
9. データを生成するデータ生成装置であって、
   主音声を取得する取得手段と、
   再生装置によって付加音声が合成された前記主音声を再生する際に、付加音声の合成を禁止する主音声の区間を示す禁止情報を設定する設定手段と、
   前記主音声と前記禁止情報とを多重化してデータを生成する多重化手段と
   を備えることを特徴とするデータ生成装置。
10. 前記データ生成装置は、前記主音声を一の伝送路により伝送し、
    前記付加音声は、前記伝送路とは、異なる伝送路により伝送される
    ことを特徴とする請求項９記載のデータ生成装置。
11. 前記主音声は放送路にて伝送され、前記付加音声は通信路にて伝送される
    ことを特徴とする請求項１０記載のデータ生成装置。
12. 前記設定手段は、さらに、再生装置によって付加音声が合成された前記主音声を再生する際に、付加音声の合成を許可する主音声の区間を示す許可情報を設定し、
    前記多重化手段は、さらに、前記許可情報を多重化する
    ことを特徴とする請求項９に記載のデータ生成装置。
13. 前記設定手段は、さらに、再生装置によって付加音声が合成された前記主音声を再生する際に、付加音声の合成を推奨する主音声の区間を示す推奨情報を設定し、
    前記多重化手段は、さらに、前記推奨情報を多重化する
    ことを特徴とする請求項１２に記載のデータ生成装置。
14. 前記設定手段は、さらに、再生装置によって付加音声が合成された前記主音声を再生する際に、付加音声の合成に対して注意を促す主音声の区間を示す注意情報を設定し、
    前記多重化手段は、さらに、前記注意情報を多重化する
    ことを特徴とする請求項１２に記載のデータ生成装置。
15. データを受信する受信装置であって、
    再生装置によって付加画像が重畳されたフレーム画像を再生する際に、付加画像の重畳を禁止するフレーム画像の領域を示す禁止情報と、前記フレーム画像とが多重化されたデータを受信する受信手段と、
    前記データから、前記フレーム画像と前記禁止情報とを分離する分離手段と、
    前記付加画像を取得する取得手段と、
    前記禁止情報に基づいて、前記フレーム画像に前記付加画像を重畳する重畳手段と
    を備えることを特徴とする受信装置。
16. 前記受信装置は、前記フレーム画像と前記付加画像を、異なる伝送路にて受信する
    ことを特徴とする請求項１５記載の受信装置。
17. 前記フレーム画像を放送路にて受信し、前記付加画像を通信路にて受信する
    ことを特徴とする請求項１６記載の受信装置。
18. 前記受信手段は、さらに、再生装置によって付加画像が重畳されたフレーム画像を再生する際に、付加画像の重畳を許可するフレーム画像の領域を示す許可情報が多重化された前記データを受信し、
    前記分離手段は、前記データから、さらに、前記許可情報を分離し、
    前記重畳手段は、さらに、前記許可情報に基づいて、前記フレーム画像に前記付加画像を重畳する
    ことを特徴とする請求項１５記載の受信装置。
19. 前記受信手段は、さらに、再生装置によって付加画像が重畳されたフレーム画像を再生する際に、付加画像の重畳を推奨するフレーム画像の領域を示す推奨情報が多重化された前記データを受信し、
    前記分離手段は、前記データから、さらに、前記推奨情報を分離し、
    前記重畳手段は、さらに、前記推奨情報に基づいて、前記フレーム画像に前記付加画像を重畳する
    ことを特徴とする請求項１８記載の受信装置。
20. 前記受信手段は、さらに、再生装置によって付加画像が重畳されたフレーム画像を再生する際に、付加画像の重畳に対して注意を促すフレーム画像の領域を示す注意情報が多重化された前記データを受信し、
    前記分離手段は、前記データから、さらに、前記注意情報を分離し、
    前記重畳手段は、さらに、前記注意情報に基づいて、前記フレーム画像に前記付加画像を重畳する
    ことを特徴とする請求項１８記載の受信装置。
21. 前記禁止情報及び前記許可情報は、前記フレーム画像内の各画素に対応して設定されており、
    前記重畳手段は、前記フレーム画像内の画素毎に、前記付加情報を重畳する
    ことを特徴とする請求項１８に記載の受信装置。
22. 前記禁止情報及び前記許可情報は、前記フレーム画像を複数に分割して得られる領域に対応して設定されており、
    前記重畳手段は、前記フレーム画像内の前記領域画素毎に、前記付加情報を重畳する
    ことを特徴とする請求項１８に記載の受信装置。
23. データを受信する受信装置であって、
    再生装置によって付加音声が合成された主音声を再生する際に、付加音声の合成を禁止する主音声の区間を示す禁止情報と、前記主音声とが多重化されたデータを受信する受信手段と、
    前記データから、前記主音声と前記禁止情報とを分離する分離手段と、
    前記付加音声を取得する取得手段と、
    前記禁止情報に基づいて、前記主音声に前記付加音声を合成する合成手段と
    を備えることを特徴とする受信装置。
24. 前記受信装置は、前記主音声と前記付加音声とを、異なる伝送路にて受信する
    ことを特徴とする請求項２３記載の受信装置。
25. 前記主音声は放送路にて受信し、前記付加音声を通信路にて受信する
    ことを特徴とする請求項２４記載の受信装置。
26. 前記受信手段は、さらに、前記再生装置によって付加音声が合成された主音声を再生する際に、付加音声の重畳を許可する主音声の区間を示す許可情報が多重化された前記データを受信し、
    前記分離手段は、前記データから、さらに、前記許可情報を分離し、
    前記重畳手段は、さらに、前記許可情報に基づいて、前記主音声に前記付加音声を合成する
    ことを特徴とする請求項２３記載の受信装置。
27. 前記受信手段は、さらに、前記再生装置によって付加音声が合成された主音声を再生する際に、付加音声の重畳を推奨する主音声の区間を示す推奨情報が多重化された前記データを受信し、
    前記分離手段は、前記データから、さらに、前記推奨情報を分離し、
    前記重畳手段は、さらに、前記推奨情報に基づいて、前記主音声に前記付加音声を合成する
    ことを特徴とする請求項２６記載の受信装置。
28. 前記受信手段は、さらに、前記再生装置によって付加音声が合成された主音声を再生する際に、付加音声の重畳に対して注意を促す主音声の区間を示す注意情報が多重化された前記データを受信し、
    前記分離手段は、前記データから、さらに、前記注意情報を分離し、
    前記重畳手段は、さらに、前記注意情報に基づいて、前記主音声に前記付加音声を合成する
    ことを特徴とする請求項２６記載の受信装置。
29. データ生成装置と放送装置とサービス提供装置と受信装置とから構成される放送通信連携システムであって、
    前記データ生成装置は、
    フレーム画像を取得する取得手段と、
    再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳を禁止するフレーム画像上の領域を示す禁止情報を設定する設定手段と、
    前記フレーム画像と前記禁止情報とを多重化してデータを生成する多重化手段とを備え、
    前記放送装置は、前記データを放送路にて伝送し、
    前記サービス提供装置は、前記付加画像を通信路にて伝送し、
    前記受信装置は、
    再生装置によって付加画像が重畳された前記フレーム画像を再生する際に、付加画像の重畳を禁止するフレーム画像の領域を示す禁止情報と、前記フレーム画像とが多重化されたデータを受信する受信手段と、
    前記データから、前記フレーム画像と前記禁止情報とを分離する分離手段と、
    前記付加画像を取得する取得手段と、
    前記禁止情報に基づいて、前記フレーム画像に前記付加画像を重畳する重畳手段とを備える
    ことを特徴とする放送通信連携システム。
30. データ生成装置と放送装置とサービス提供装置と受信装置とから構成される放送通信連携システムであって、
    前記データ生成装置は、
    主音声を取得する取得手段と、
    再生装置によって付加音声が合成された前記主音声を再生する際に、付加音声の合成を禁止する主音声の区間を示す禁止情報を設定する設定手段と、
    前記主音声と前記禁止情報とを多重化してデータを生成する多重化手段とを備え、
    前記放送装置は、前記データを放送路にて伝送し、
    前記サービス提供装置は、前記付加音声を通信路にて伝送し、
    前記受信装置は、
    再生装置によって付加音声が合成された前記主音声を再生する際に、付加音声の合成を禁止する主音声の区間を示す禁止情報と、前記主音声とが多重化されたデータを受信する受信手段と、
    前記データから、前記主音声と前記禁止情報とを分離する分離手段と、
    前記付加音声を取得する取得手段と、
    前記禁止情報に基づいて、前記主音声に前記付加音声を合成する合成手段とを備える
    ことを特徴とする放送通信連携システム。

Images