JP5682149B2 - 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 - Google Patents

Description

この発明は、立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法に関し、特に、立体画像データと共に字幕などの重畳情報のデータを送信する立体画像データ送信装置等に関する。

例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この伝送方式では、左眼用画像データおよび右眼用画像データを持つ立体画像データが送信され、両眼視差を利用した立体画像表示が行われる。

図６４は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。

また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。

従来、立体画像データの伝送フォーマットとして、サイド・バイ・サイド（Side By Side）方式、トップ・アンド・ボトム（Top & Bottom）方式などが知られている。受信側が例えばセットトップボックスであるとき、受信された立体画像データを、伝送フォーマットを変換することなく、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースを介してテレビ受信機などのモニタ機器に送信することが考えられる。例えば、非特許文献１には、ＨＤＭＩ規格の詳細が記載されている。

また、従来、送信側から、二次元画像データと共に、字幕などの重畳情報のデータを送信することが知られている。この場合、受信側においては、重畳情報のデータを処理して、重畳情報を表示するための表示データを生成し、この表示データを二次元画像データに重畳することで、重畳情報が重畳表示された二次元画像が得られる。

特開２００５−６１１４号公報

High-Definition Multimedia Interface Specification Version 1.4,June5 2009

上述したように立体画像データを送信する際にも、字幕などの重畳情報のデータを送信することが考えられる。重畳情報のデータが２次元画像用のものである場合、例えば、上述したようなセットトップボックスでは、この二次元画像用の重畳情報のデータから、立体画像データの伝送フォーマットに併せて、立体画像データに重畳する表示データを発生する処理が必要となる。そのため、立体画像データを受信するセットトップボックスとして、そのような高度な処理機能が必要となることから、高価なものとなる。

この発明の目的は、立体画像データと共に字幕などの重畳情報のデータを送信する際の受信側の処理の容易化を図ることにある。

この発明の概念は、
左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記重畳情報データ出力部から出力される上記重畳情報のデータを、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データに変換する重畳情報データ処理部と、
上記画像データ出力部から出力される上記立体画像データを含む第１のデータストリームと、上記重畳情報データ処理部から出力される上記送信用重畳情報データを含む第２のデータストリームを有する多重化データストリームを送信するデータ送信部と
を備える立体画像データ送信装置にある。

この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データが出力される。例えば、立体画像データの伝送フォーマットは、サイド・バイ・サイド（Side By Side）方式、トップ・アンド・ボトム（Top & Bottom）方式、さらには、フル・フレーム（Full Frame）方式あるいはバックワード・コンパチブル（BackwardCompatible）方式などがある。

重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳される字幕、グラフィクス、テキストなどである。重畳情報データ処理部により、重畳情報のデータが、左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データに変換される。

ここで、左眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる左眼画像データに対応したデータであり、受信側において、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データを発生するためのデータである。また、右眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる右眼画像データに対応したデータであり、受信側において、立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを発生するためのデータである。

例えば、重畳情報のデータはサブタイトルデータ（ＤＶＢのサブタイトルデータ）であり、重畳情報データ処理部では、左眼重畳情報のデータおよび右眼重畳情報のデータが、同一リージョンの異なるオブジェクトのデータとして生成される。また、例えば、重畳情報のデータはサブタイトルデータであり、重畳情報データ処理部では、左眼重畳情報のデータおよび右眼重畳情報のデータが、同一のページの異なるリージョンのデータとして生成される。

また、例えば、重畳情報のデータはサブタイトルデータであり、重畳情報データ処理部では、左眼重畳情報のデータおよび右眼重畳情報のデータが、異なるページのリージョンのデータとして生成される。また、例えば、重畳情報のデータはサブタイトルデータであり、重畳情報データ処理部では、左眼重畳情報のデータおよび右眼重畳情報のデータのうち、一方が所定ページのリージョンのデータとして生成され、他方がこの所定ページのリージョンをコピーするコピーリージョンのデータとして生成される。

また、例えば、重畳情報のデータはサブタイトルデータであり、重畳情報データ処理部では、立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合、左眼重畳情報のデータおよび上記右眼重畳情報のデータが、同一リージョンの異なるオブジェクトのデータとして生成される。また、例えば、重畳情報のデータはサブタイトルデータであり、重畳情報データ処理部では、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合、左眼重畳情報のデータおよび右眼重畳情報のデータが、同一のページの異なるリージョンのデータとして生成される。

データ送信部により、第１のデータストリームと第２のデータストリームとを含む多重化データストリームが送信される。第１のデータストリームには、画像データ出力部から出力される所定の伝送フォーマットの立体画像データが含まれている。また、第２のデータストリームには、重畳情報データ出力部から出力される送信用重畳情報データが含まれている。

このように、この発明においては、立体画像データと共に、その伝送フォーマットに対応した左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データが送信される。そのため、受信側においては、送信用重畳情報データに基づいて、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データおよび立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを容易に発生でき、処理の容易化が図られる。

なお、この発明において、例えば、左眼画像データによる左眼画像と右眼画像データによる右眼画像との間の視差情報を出力する視差情報出力部をさらに備え、重畳情報データ処理部は、視差情報出力部から出力される視差情報に基づいて、少なくとも、左眼重畳情報または右眼重畳情報をシフトさせて、左眼重畳情報と右眼重畳情報との間に視差を付与する、ようにしてもよい。この場合、受信側においては、左眼重畳情報と右眼重畳情報との間に視差を付与する処理を行わなくても、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、この発明において、例えば、視差情報出力部から出力される視差情報に基づいて、重畳情報が表示される所定数のフレーム期間の各フレームにおける左眼重畳情報と右眼重畳情報との間に付与すべき視差の情報を生成する視差情報生成部をさらに備え、データ送信部は、視差情報生成部で生成された所定数のフレーム期間の各フレームにおける視差の情報を、識別情報で送信用重畳情報のデータと区別して、第２のデータストリームに挿入して送信する、ようにしてもよい。

この場合、受信側においては、所定数のフレーム期間の各フレームにおける視差の情報に基づいて、左眼重畳情報と右眼重畳情報との間に所定の視差を付与することが可能となる。例えば、左眼重畳情報と右眼重畳情報との間に、所定数のフレーム期間、代表値、例えば最大値、平均値等による視差を付与できる。また、例えば、所定数のフレーム期間、左眼重畳情報と右眼重畳情報との間の視差を順次更新できる。

また、この発明において、例えば、視差情報生成部で生成される所定数のフレーム期間の各フレームにおける視差の情報は、前のフレームの視差の情報に対するオフセット情報であってもよい。この場合、視差情報のデータ量を抑制することが可能となる。

また、この発明において、例えば、データ送信部は、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データが含まれることを識別する識別情報を、多重化データストリームに挿入する、ようにしてもよい。この場合、受信側においては、この識別情報により、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データ（立体画像用の重畳情報データ）が含まれているか否かが識別可能となる。

また、この発明の他の概念は、
第１のデータストリームおよび第２のデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記第１のデータストリームは、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含み、
上記第２のデータストリームは、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データを含み、
上記データ受信部で受信された上記多重化データストリームが有する上記第１のデータストリームから上記立体画像データを取得する画像データ取得部と、
上記データ受信部で受信された上記多重化データストリームが有する上記第２のデータストリームから上記送信用重畳情報データを取得する重畳情報データ取得部と、
上記重畳情報データ取得部で取得された上記送信用重畳情報データに基づいて、左眼画像および右眼画像に重畳情報を重畳表示するための表示データを発生する表示データ発生部と、
上記画像データ取得部で取得された上記立体画像データに上記表示データ発生部で発生された表示データを重畳して出力立体画像データを得るデータ合成部とをさらに備える
立体画像データ受信装置にある。

この発明において、データ受信部により、第１のデータストリームおよび第２のデータストリームを有する多重化データストリームが受信される。第１のデータストリームには、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含まれている。また、第２のデータストリームには、左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データ（立体画像用の重畳情報データ）が含まれている。

ここで、左眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる左眼画像データに対応したデータであり、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データを発生するためのデータである。また、右眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる右眼画像データに対応したデータであり、立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを発生するためのデータである。

画像データ取得部により、データ受信部で受信された多重化データストリームが有する第１のデータストリームから所定の伝送フォーマットの立体画像データが取得される。また、重畳情報データ取得部により、データ受信部で受信された多重化データストリームが有する第２のデータストリームから送信用重畳情報データが取得される。

表示データ発生部により、重畳情報データ取得部で取得された送信用重畳情報データに基づいて、左眼画像および右眼画像に重畳情報を重畳表示するための表示データが発生される。そして、データ合成部により、画像データ取得部で取得された立体画像データに表示データ発生部で発生された表示データが重畳されて、出力立体画像データが得られる。この出力立体画像データは、例えば、ＨＤＭＩなどのデジタルインタフェース部により、外部機器に送信される。

このように、この発明においては、立体画像データと共に、その伝送フォーマットに対応した左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データが受信される。そのため、表示データ発生部では、送信用重畳情報データに基づいて、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データおよび立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを容易に発生でき、処理の容易化が図られる。

なお、この発明において、データ受信部で受信された多重化データストリームに含まれる第２のデータストリームは、さらに、重畳情報が表示される所定数のフレーム期間の各フレームにおける左眼重畳情報と右眼重畳情報との間に付与すべき視差の情報を含み、データ受信部で受信された多重化データストリームに含まれる第２のデータストリームから、所定数のフレーム期間の各フレームにおける視差の情報を取得する視差情報取得部をさらに備え、表示データ発生部は、視差情報取得部で取得された所定数のフレーム期間の各フレームにおける視差の情報に基づいて、左眼重畳情報と右眼重畳情報との間に所定の視差を付与する、ようにしてもよい。

この場合、例えば、左眼重畳情報と右眼重畳情報との間に、所定数のフレーム期間、代表値、例えば最大値、平均値等による視差を付与できる。また、例えば、所定数のフレーム期間、左眼重畳情報と右眼重畳情報との間の視差を順次更新できる。

この発明によれば、送信側から受信側に、立体画像データと共に、その伝送フォーマットに対応した左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データが送信される。そのため、受信側においては、送信用重畳情報データに基づいて、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データおよび立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを容易に発生でき、処理の容易化が図られる。したがって、受信側においては、受信された立体画像データを、伝送フォーマットを変換することなく、ＨＤＭＩなどのデジタルインタフェースを介してテレビ受信機などのモニタ機器に送信する処理を容易に行うことができる。

この発明の実施の形態としての画像送受信システムの構成例を示すブロック図である。 放送局における送信データ生成部の構成例を示すブロック図である。 １９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。 立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Full Frame」方式、あるいは「Frame Sequential」方式、あるいは Backward Compatible 方式を説明するための図である。 左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。 視差ベクトルをブロックマッチング方式で求めることを説明するための図である。 送信データ生成部の視差情報作成部で行われるダウンサイジング処理を説明するための図である。 ビデオエレメンタリストリーム、サブタイトルエレメンタリストリーム、オーディオエレメンタリストリームを含むトランスポートストリーム（ビットストリームデータ）の構成例を示す図である。 サブタイトルデータを構成するＰＣＳ（page_composition_segment）の構造を示す図である。 「segment_type」の各値とセグメントタイプとの対応関係を示す図である。 新たに定義される３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）を説明するための図である。 サブタイトル処理部で作成される立体画像用のサブタイトルデータ（視差情報群を含む）の構成例（ケースＡ〜Ｅ）を説明するための図である。 「ケースＡ」の立体画像用のサブタイトルデータの作成方法を概念的に示す図である。 「ケースＡ」で作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示す図である。 「ケースＡ」における各セグメントの作成例（例１）を示す図である。 「ケースＡ」における各セグメントの作成例（例２）を示す図である。 「segment_type＝0x48」であるときにおける、ＯＴＳ（offset_temporal_sequence_segment）の構造例（syntax）を示す図である。 ＯＴＳ（offset_temporal_sequence_segment）のデータ規定内容（semantics）を示す図である。 オブジェクト開始位置“object_horizontal_position”をフレーム単位で更新する例を示す図である。 オブジェクト開始位置“object_horizontal_position”を最初に最大値“Max (offset_sequence(n) ) ”に基づいて設定し、その後はその位置を維持する例を示す図である。 「ケースＢ」の立体画像用のサブタイトルデータの作成方法を概念的に示す図である。 「ケースＢ」で作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示す図である。 「ケースＢ」における各セグメントの作成例（例１）を示す図である。 「ケースＢ」における各セグメントの作成例（例２）を示す図である。 「ケースＢ」における各セグメントの作成例（例３）を示す図である。 「segment_type＝0x45」であるときにおける、ＳＦＩ（stereo_format_indication_segment）の構造例（syntax）を示す図である。 ＳＦＩ（stereo_format_indication_segment）のデータ規定内容（semantics）を示す図である。 「ケースＣ」の立体画像用のサブタイトルデータの作成方法を概念的に示す図である。 「ケースＣ」で作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示す図である。 「ケースＣ」における各セグメントの作成例（例１）を示している。 「ケースＣ」における各セグメントの作成例（例２）を示している。 「ケースＣ」における各セグメントの作成例（例３）を示している。 「ケースＣ」における各セグメントの作成例（例４）を示している。 「ケースＤ」の立体画像用のサブタイトルデータの作成方法を概念的に示す図である。 「ケースＤ」で作成される立体画像用のサブタイトルデータによるリージョン（region，copied_region）およびオブジェクト（object）の一例を示す図である。 「segment_type＝0x47」であるときにおける、ＲＣＰ（region_copy_segment）の構造例（syntax）を示す図である。 ＲＣＰ（region_copy_segment）のデータ規定内容（semantics）を示す図である。 「ケースＤ」における各セグメントの作成例（例１）を示している。 「ケースＤ」における各セグメントの作成例（例２）を示している。 「segment_type＝0x44」であるときにおける、ＯＳＳ（offset_sequence_segment）の構造例（syntax）を示す図である。 ＯＳＳ（offset_sequence_segment）のデータ規定内容（semantics）を示す図である。 「ケースＥ（Side-by-Side）」の立体画像用のサブタイトルデータの作成方法を概念的に示す図である。 「ケースＥ（Side-by-Side）」で作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示す図である。 「ケースＥ（Side-by-Side）」における各セグメントの作成例を示す図である。 「ケースＥ（Side-by-Side）」における各セグメントの他の作成例を示す図である。 オブジェクト開始位置“object_horizontal_position”をフレーム単位で更新する例を示すである。 オブジェクト開始位置“object_horizontal_position”を最初に最大値“Max (offset_sequence(n) ) ”に基づいて設定し、その後はその位置を維持する例を示す図である。 「ケースＥ（Top & Bottom）」の立体画像用のサブタイトルデータの作成方法を概念的に示す図である。 「ケースＥ（Top & Bottom）」で作成される立体画像用のサブタイトルデータによるリージョン（region）の一例を示す図である。 「ケースＥ（Top & Bottom）」における各セグメントの作成例を示す図である。 リージョン開始位置“region_horizontal_position”をフレーム単位で更新する例を示す図である。 「ケースＥ（Full Frame or Backward Compatible）」で作成される立体画像用のサブタイトルデータによるリージョン（region）の一例を示す図である。 「ケースＥ（Full Frame or Backward Compatible）」における各セグメントの作成例を示す図である。 リージョン開始位置“region_horizontal_position”をフレーム単位で更新する例を示す図である。 「ケースＥ（Side-by-Side）」の場合における、ＯＳＳ設定と、立体画像データおよびサブタイトルデータの流れを概略的に示す図である。 「ケースＥ（Top & Bottom）」の場合における、ＯＳＳ設定と、立体画像データおよびサブタイトルデータの流れを概略的に示す図である。 「ケースＥ（Full Frame or Backward Compatible）」の場合における、ＯＳＳ設定と、立体画像データおよびサブタイトルデータの流れを概略的に示す図である。 画像上における字幕の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。 画像上における字幕の表示例と、字幕を表示するための左眼字幕ＬＧＩおよび右眼字幕ＲＧＩを示す図である。 画像送受信システムを構成するセットトップボックスの構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。 画像送受信システムを構成するテレビ受信機の構成例を示すブロック図である。 画像送受信システムの他の構成例を示すブロック図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［画像送受信システムの構成例］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、テレビ受信機（ＴＶ）３００を有している。

セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(High Definition Multimedia Interface)のデジタルインタフェースで接続されている。セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩケーブル４００を用いて接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。

［放送局の説明］
放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。放送局１００は、ビットストリームデータＢＳＤを生成する送信データ生成部１１０を備えている。このビットストリームデータＢＳＤには、立体画像データ、音声データ、重畳情報のデータなどが含まれる。立体画像データは所定の伝送フォーマットを有し、立体画像を表示するための左眼画像データおよび右眼画像データを持っている。重畳情報は、一般的には、字幕、グラフィクス情報、テキスト情報などであるが、この実施の形態においては、サブタイトル（字幕）である。

「送信データ生成部の構成例」
図２は、放送局１００において、送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１３０と、視差情報作成部１３１と、ビデオエンコーダ１１３と、オーディオエンコーダ１１７と、サブタイトル発生部１３２と、サブタイトル処理部１３３と、サブタイトルエンコーダ１３４と、マルチプレクサ１２２を有している。

データ取り出し部１３０には、データ記録媒体１３０ａが、例えば、着脱自在に装着される。このデータ記録媒体１３０ａには、左眼画像データおよび右眼画像データを持つ立体画像データが記録されていると共に、この立体画像データに対応付けて、音声データおよび視差情報が記録されている。データ取り出し部１３０は、データ記録媒体１３０ａから、立体画像データ、音声データ、視差情報を取り出して出力する。データ記録媒体１３０ａは、ディスク状記録媒体、半導体メモリ等である。

データ記録媒体１３０ａに記録されている立体画像データは、所定の伝送フォーマットの立体画像データである。立体画像データ（３Ｄ画像データ）の伝送フォーマット例を説明する。ここでは、以下の第１〜第３の伝送方式を挙げるが、これら以外の伝送方式であってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０ｐのピクセルフォーマットの画像データである場合を例にとって説明する。

第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。

第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。

第３の伝送方式は、フル・フレーム（Full Frame）方式、あるいはフレーム・シーケンシャル（FrameSequential）方式、あるいはバックワード・コンパチブル（Backward Compatible）方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。

また、データ記録媒体１３０ａに記録されている視差情報は、例えば、画像を構成するピクセル（画素）毎の視差ベクトルである。視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。

（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。

この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８、あるいは１６×１６の比較ブロックが順次設定されていく。

画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。

右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。

図２に戻って、ビデオエンコーダ１１２は、データ取り出し部１３０から取り出される立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施し、ビデオデータストリーム（ビデオエレメンタリストリーム）を生成する。オーディオエンコーダ１１３は、データ取り出し部１１１から取り出される音声データに対して、ＡＣ３、ＡＡＣ等の符号化を施し、オーディオデータストリーム（オーディオエレメンタリストリーム）を生成する。

サブタイトル発生部１３２は、ＤＶＢ（Digital Video Broadcasting）の字幕データであるサブタイトルデータを発生する。このサブタイトルデータは、二次元画像用のサブタイトルデータである。サブタイトル発生部１３２は、重畳情報データ出力部を構成している。

視差情報作成部１３１は、データ取り出し部１３０から出力される視差情報、すなわちピクセル（画素）毎の視差ベクトル（水平方向視差ベクトル）に対して、ダウンサイジング処理を施し、サブタイトルデータの各ページの各リージョン領域に対応した視差ベクトルを作成する。この視差情報作成部１３１は、視差情報出力部を構成している。なお、サブタイトルに適用する視差情報は、ページ単位、リージョン単位、あるいはオブジェクト単位で付すことが可能である。また、この視差情報は必ずしも視差情報作成部１３１で生成される必要はなく、外部から別途供給される構成も可能である。

図７は、視差情報作成部１３１で行われるダウンサイジング処理の一例を示している。最初に、視差情報作成部１３４は、図７（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１３１は、図７（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図７（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１３１は、図７（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図７（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１３１は、図７（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図７（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

このようにして、視差情報作成部１３１は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図７に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。

図２に戻って、サブタイトル処理部１３３は、サブタイトル発生部１３２で発生されたサブタイトルデータを、データ取り出し部１３０から取り出される立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータに変換する。このサブタイトル処理部１３３は、重畳情報データ処理部を構成し、変換後の立体画像データ用のサブタイトルデータは、送信用重畳情報データを構成する。

この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。ここで、左眼サブタイトルのデータは、上述の立体画像データに含まれる左眼画像データに対応したデータであり、受信側において、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データを発生するためのデータである。また、右眼サブタイトルのデータは、上述の立体画像データに含まれる右眼画像データに対応したデータであり、受信側において、立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを発生するためのデータである。

サブタイトル処理部１３３は、視差情報作成部１３１からの各ページの各リージョン領域に対応した視差ベクトルに基づき、少なくとも、左眼サブタイトルまたは右眼サブタイトルをシフトさせて、左眼サブタイトルと右眼サブタイトルとの間に視差を付与する。このように左眼サブタイトルと右眼サブタイトルとの間に視差を付与することで、受信側においては、左眼サブタイトルと右眼サブタイトルとの間に視差を付与する処理を行わなくても、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、サブタイトル処理部１３３は、視差情報作成部１３１からの各ページの各リージョン領域に対応した視差ベクトルに基づき、サブタイトル（字幕）が表示される所定数のフレーム期間の各フレームにおける左眼サブタイトルと右眼サブタイトルとの間に付与すべき視差の情報を生成する。以下、この所定数のフレーム期間の各フレームにおける視差の情報を、説明を簡単にするため、適宜、「視差情報群」と呼ぶ。この実施の形態において、視差情報群を構成する各フレームの視差の情報は、前のフレームの視差の情報に対するオフセット情報とされて、データ量が抑制される。

なお、サブタイトルデータは、ＰＣＳ（page composition segment）、ＲＳＣ（regioncomposition segment）、ＯＤＳ（object data segment）などのセグメントにより構成されている。ＰＣＳは、ページ（page）内のリージョン（region）位置を指定する。ＲＣＳは、リージョン（Region）の大きさやオブジェクト（object）の符号化モードを指定し、また、オブジェクト（object）の開始位置を指定する。ＯＤＳは、符号化ピクセルデータ（Pixeldata）を含む。この実施の形態においては、新たなセグメントが定義され、そのセグメントに上述の視差情報群が挿入される。これにより、視差情報群は、サブタイトルデータと、セグメントタイプにより区別されることとなる。サブタイトル処理部１３３の処理の詳細ついては、さらに、後述する。

サブタイトルエンコーダ１３４は、サブタイトル処理部１３３から出力される立体画像用のサブタイトルデータおよび視差情報群を含むサブタイトルデータストリーム（サブタイトルエレメンタリストリーム）を生成する。マルチプレクサ１２２は、ビデオエンコーダ１１３、オーディオエンコーダ１１７およびサブタイトルエンコーダ１３４から出力される各データストリームを多重化して多重化し、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームを得る。

なお、この実施の形態において、マルチプレクサ１２２は、サブタイトルデータストリームに、立体画像用のサブタイトルデータが含まれることを識別する識別情報を挿入する。具体的には、ＥＩＴ（Event Information Table）の配下に挿入されているコンポーネント・デスクリプタ（Component_Descriptor）に、Stream_content(‘0x03’=DVB subtitles) ＆ Component_type(for 3D target)が記述される。Component_type(for3D target)は、立体画像用のサブタイトルデータを示すために新たに定義される。

図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１３０から出力される立体画像データは、ビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオデータストリームが生成される。このビデオデータストリームはマルチプレクサ１２２に供給される。

また、データ取り出し部１３０から出力される音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ、あるいは、ＭＰＥＧ−４ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオデータストリームが生成される。このオーディオデータストリームはマルチプレクサ１２２に供給される。

サブタイトル発生部１３２では、ＤＶＢの字幕データであるサブタイトルデータ（二次元画像用）が発生される。このサブタイトルデータは、視差情報作成部１３１およびサブタイトル処理部１３３に供給される。

また、データ取り出し部１３０から出力される視差情報、つまりピクセル毎の視差ベクトルは視差情報作成部１３１に供給される。この視差情報作成部１３１では、ピクセル毎の視差ベクトルに対してダウンサイジング処理が施され、サブタイトルデータの各ページの各リージョン領域に対応した視差ベクトルが作成される。この各リージョンの領域に対応した視差ベクトルはサブタイトル処理部１３３に供給される。

サブタイトル処理部１３３では、サブタイトル発生部１３２で発生された二次元画像用のサブタイトルデータが、上述のデータ取り出し部１３０から取り出される立体画像データの伝送フォーマットに対応した立体画像用のサブタイトルデータに変換される。この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。この場合、サブタイトル処理部１３３では、視差情報作成部１３１からの各ページの各リージョン領域に対応した視差ベクトルに基づき、少なくとも、左眼サブタイトルまたは右眼サブタイトルをシフトさせて、左眼サブタイトルと右眼サブタイトルとの間に視差が付与される。あるいは、どちらか一方の眼のサブタイトルをもっており、視差情報に相当する分のオフセット位置にもう片方の眼のサブタイトル表示がなされることを意図して、片方の眼のサブタイトルに視差情報を追加して送るようなデータ生成が行われる。

また、サブタイトル処理部１３３では、視差情報作成部１３１からの各ページの各リージョン領域に対応した視差ベクトルに基づき、視差情報群（サブタイトル（字幕）が表示される所定数のフレーム期間の各フレームにおける左眼サブタイトルと右眼サブタイトルとの間に付与すべき視差の情報）が生成される。この場合、視差情報群を構成する各フレームの視差の情報は、データ量の抑制のために、前のフレームの視差の情報に対するオフセット情報とされる。

サブタイトル処理部１３３で得られる立体画像用のサブタイトルデータおよび視差情報群は、サブタイトルエンコーダ１３４に供給される。このサブタイトルエンコーダ１３４では、立体画像用のサブタイトルデータおよび視差情報群を含むサブタイトルデータストリームが生成される。このサブタイトルデータストリームには、立体画像用のサブタイトルデータが挿入されたＰＣＳ、ＲＣＳ、ＯＤＳ等のセグメントと共に、視差情報群を含む新たに定義されたセグメントが含まれる。

マルチプレクサ１２２には、上述したように、ビデオエンコーダ１１３、オーディオエンコーダ１１７およびサブタイトルエンコーダ１３４からの各データリストリームが供給される。そして、このマルチプレクサ１２２では、各データストリームがパケット化されて多重され、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームが得られる。

図８は、トランスポートストリーム（ビットストリームデータ）の構成例を示している。このトランスポートストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」、オーディオエレメンタリストリームのＰＥＳパケット「AudioPES」、サブタイトルエレメンタリストリームのＰＥＳパケット「「Subtitle PES」が含まれている。

この実施の形態において、サブタイトルエレメンタリストリーム（サブタイトルデータストリーム）には、立体画像用のサブタイトルデータが含まれる。このサブタイトルエレメンタリストリームには、ＰＣＳ（page composition segment）、ＲＣＳ（regioncomposition segment）、ＯＤＳ（object data segment）などの従来周知のセグメントが含まれる。

図９は、ＰＣＳ（page_composition_segment）の構造を示している。このＰＣＳのセグメントタイプは、図１０に示すように、「0x10」である。「region_horizontal_address」、「region_vertical_address」は、リージョン（region）の開始位置を示す。なお、ＲＳＣ、ＯＤＳなどのその他のセグメントについては、その構造の図示は省略する。例えば、図１０に示すように、ＲＣＳのセグメントタイプは「0x11」である。また、例えば、図１０に示すように、ＯＤＳのセグメントタイプは「0x13」である。

また、このサブタイトルデータには、必要に応じて、ＳＦＩ（stereo_format_indication_segment）、ＲＣＰ（region_copy_segment）、ＯＴＳ（offset_temporal_sequence_segment）、ＯＳＳ（offset_sequence_segment）などのセグメントが含まれる。ＳＦＩは、３Ｄ拡張定義を指定する。ＲＣＰは、リージョン（Region）のコピー先の位置を定義する。ＯＴＳは、時間軸上の動的なリージョン（region）位置を制御する。ＯＳＳは、３Ｄ拡張の設定情報、視差オフセットの制御を指定する。

例えば、図１０に示すように、ＯＳＳのセグメントタイプは「0x44」とされ、ＳＦＩのセグメントタイプは「0x45」とされ、ＲＣＰのセグメントタイプは「0x47」とされ、ＯＴＳのセグメントタイプは「0x48」とされる。これらのＳＦＩ、ＲＣＰ、ＯＴＳ、ＯＳＳの各セグメントの詳細構造については、後述する。なお、ＳＦＩ、ＲＣＰ、ＯＴＳ、ＯＳＳをそれぞれ独立して定義することが可能である。例えば、ＳＦＩのみ、あるいはＳＦＩとＯＴＳ、あるいは、ＯＳＳのみ存在し、それが既存のセグメントに追加されることで各々のケースに対応するものである。

また、トランスポートストリームには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。このＥＩＴには、番組単位のメタデータが記載される。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループ、サブタイトルエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。

ＥＩＴの配下に、コンポーネント・デスクリプタ（Component_Descriptor）が挿入されている。この実施の形態において、このコンポーネント・デスクリプタに、Stream_content(‘0x03’=DVB subtitles) ＆ Component_type(for 3D target)が記述され、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることが識別可能とされる。この実施の形態においては、図１１に示すように、配信内容を示す「component_descriptor」の「stream_content」がサブタイトル（subtitle）を示す場合に、３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）が新たに定義される。

［サブタイトル処理部の処理］
図２に示す送信データ生成部１１０のサブタイトル処理部１３３の処理の詳細を説明する。このサブタイトル処理部１３３は、上述したように、二次元画像用のサブタイトルデータを立体画像用のサブタイトルデータに変換すると共に、サブタイトル（字幕）が表示される所定数のフレーム期間の各フレームにおける左眼サブタイトルと右眼サブタイトルとの間に付与すべき視差の情報（視差情報群）を生成する。

サブタイトル処理部１３３で作成されるサブタイトルデータ（視差情報群を含む）の構成は、例えば、図１２に示すケースＡ〜Ｅのいずれかとされる。「ケースＡ」では、左眼サブタイトルのデータおよび右眼サブタイトルのデータは、同一リージョン（region）の異なるオブジェクト（object）のデータとして生成される。この「ケースＡ」では、図１２（ａ）に示すように、ＰＣＳ、ＲＣＳ、ＯＤＳ等の従来周知のセグメントと共に、新たに定義されるＯＴＳのセグメントが用いられる。なお、図１２には、従来周知のセグメントとしてＰＣＳ、ＲＣＳ、ＯＤＳのセグメントのみを示しており、その他のセグメントの図示は省略している。

また、「ケースＢ」では、左眼サブタイトルのデータおよび右眼サブタイトルのデータは、同一のページ（page）の異なるリージョン（region）のデータとして生成される。この場合、例えば、左眼サブタイトルのデータはリージョンＩＤ（Region_id）が偶数のリージョン（region）のデータとして生成され、右眼サブタイトルのデータはリージョンＩＤ（Region_id）が奇数のリージョン（region）のデータとして生成される。この「ケースＢ」では、図１２（ｂ）に示すように、ＰＣＳ、ＲＣＳ、ＯＤＳ等の従来周知のセグメントと共に、新たに定義されるＳＦＩ、ＯＴＳのセグメントが用いられる。

また、「ケースＣ」では、左眼サブタイトルのデータおよび右眼サブタイトルのデータは、異なるページ（page）のリージョン（region）のデータとして生成される。この場合、例えば、左眼サブタイトルのデータは、ページＩＤ（Page_id）が偶数のページ(pege)のリージョン（region）のデータとして生成される。また、右眼サブタイトルのデータは、ページＩＤ（Page_id）が奇数のページ(pege)のリージョン（region）のデータとして生成される。この「ケースＣ」では、図１２（ｃ）に示すように、ＰＣＳ、ＲＣＳ、ＯＤＳ等の従来周知のセグメントと共に、新たに定義されるＳＦＩ、ＯＴＳのセグメントが用いられる。

また、「ケースＤ」では、左眼サブタイトルおよび右眼サブタイトルのデータのうち、一方は所定ページ（page）のリージョン（region）のデータとして生成される。また、他方はそのリージョン（region）のデータをコピーするコピーリージョン（copied_region）のデータとして生成される。この「ケースＤ」では、図１２（ｄ）に示すように、ＰＣＳ、ＲＣＳ、ＯＤＳ等の従来周知のセグメントと共に、新たに定義されるＲＣＰ、ＯＴＳのセグメントが用いられる。

また、「ケースＥ」では、立体画像データの伝送フォーマットに応じて、左眼サブタイトルのデータおよび右眼サブタイトルのデータが生成される。例えば、伝送フォーマットがサイド・バイ・サイド方式である場合、左眼サブタイトルのデータおよび右眼サブタイトルのデータは、同一ページ（page）の同一リージョン（region）のデータとして生成される。その際、左眼サブタイトル、右眼サブタイトルに対応するリージョン内の所定位置にオブジェクトが配置されるよう設定される。また、例えば、伝送フォーマットがトップ・アンド・ボトム方式である場合、左眼サブタイトルのデータおよび右眼サブタイトルのデータは、同一のページ（page）の異なるリージョン（region）のデータとして生成される。この「ケースＥ」では、図１２（ｅ）に示すように、ＰＣＳ、ＲＣＳ、ＯＤＳ等の従来周知のセグメントと共に、新たに定義されるＯＳＳのセグメントが用いられる。

［ケースＡについて］
図１３は、「ケースＡ」の立体画像用のサブタイトルデータの作成方法を概念的に示している。ここでは、立体画像データの伝送フォーマットがサイド・バイ・サイド方式の場合について述べる。図１３（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。

最初に、サブタイトル処理部１３３は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図１３（ｂ）に示すように、サイド・バイ・サイド方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。

次に、サブタイトル処理部１３３は、図１３（ｃ）に示すように、サイズ変換後のビットマップデータを立体画像用のサブタイトルデータのリージョン（region）の構成要素とする。その際、各オブジェクトの開始位置(region_horizontal_address)は、左眼画像（left view ）と右眼画像（right view）との視差（disparity）に相当する分(A-B= disparity/2)だけ、ずらした位置とされる。

サブタイトル処理部１３３は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントを作成する。

図１４は、「ケースＡ」で作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示している。ここで、リージョンの開始位置は“Region_horizontal_address1”である。そして、左眼画像（leftview ）側のオブジェクトに関しては、開始位置は“object_horizontal_position”であり、“Object_id=1”である。また、右眼画像（Right view ）側のオブジェクトに関しては、開始位置は“object_horizontal_position2”であり、“Object_id=2”である。

図１５は、「ケースＡ」における各セグメントの作成例（例１）を示している。この作成例において、ＰＣＳ（page composition segment）では、リージョン（Region_id=0A）の開始位置(region_horizontal_address)が指定されている。また、“Region_id=0A”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position1”が指定されている。また、この“Region_id=0A”のＲＣＳ（region composition segment）では、Object_id=2”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position2”が指定されている。なお、この作成例（例１）では、ＯＴＳのセグメントは作成されていない。

図１６は、「ケースＡ」における各セグメントの作成例（例２）を示している。この作成例において、図１５に示す作成例（例１）と同様にＰＣＳ、ＲＣＳ、ＯＤＳのセグメントが作成される他に、ＯＴＳ（offset_temporal_sequence_segment）のセグメントも作成される。このＯＴＳのセグメントには、視差情報群が挿入されている。この視差情報群は、上述したように、サブタイトル（字幕）が表示される所定数のフレーム期間の各フレームにおける左眼サブタイトルと右眼サブタイトルとの間に付与すべき視差の情報である。ここで、視差情報群を構成する各フレームの視差の情報は、データ量の抑制のために、前のフレームの視差の情報に対するオフセット情報とされる。

図１７は、ＯＴＳ（offset_temporal_sequence_segment）の構造例（syntax）を示している。図１８は、ＯＴＳの主要なデータ規定内容（semantics）を示している。この構造には、「Sync_byte」、「segment_type」、「page_id」、「segment_length」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＯＴＳを示す「0x48」とされている。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。このデータは、セグメントの長さとして、「segment_length」以降のバイト数を示す。

また、「region_count」は、ページ（page）内のリージョン（region）の個数を示している。このＯＴＳには、リージョン（region）の個数分だけ、「region_id」で区別されて、各リージョン（region）の視差情報群が挿入されている。frame_count」は、表示フレーム期間中offset_sequenceを供給するフレーム数を示すものである。

「offset_sequence」は、前のフレームの視差情報に対するオフセット情報としての２ビットの情報である。「offset_sequence=01」は、オフセット値が「＋１」であることを示す。「offset_sequence=10」は、オフセット値が「−１」であることを示す。さらに、「offset_sequence=11」は、オフセット値が前のフレームから変化していないことを示す。「offset_precision」は、上述の「offset_sequence」で示すオフセット値における「１」の精度、つまりこの「１」のピクセル数を示す１ビットの情報である。「offset_precision=0」であるとき、オフセット値における「１」が１ピクセルであることを示す。また、「offset_precision=1」であるとき、オフセット値における「１」が２ピクセルであることを示す。

上述したように、サブタイトルデータストリームにＯＴＳが含まれる場合、受信側においては、所定数のフレーム期間の各フレームにおけるオフセット値“offset_sequence”に基づいて、左眼サブタイトルと右眼サブタイトルとの間に所定の視差を付与することが可能となる。例えば、受信側においては、左眼サブタイトルと右眼サブタイトルとの間の視差を順次更新することが可能となる。

この場合、受信側においては、ＯＴＳにより、後方互換を維持して、オブジェクト開始位置“object_horizontal_position”を簡便にフレーム単位で更新することが可能となる。すなわち、“object_horizontal_position”は、フレームＴ０（初期フレーム）の初期位置（initial position）に対し、“offset_sequence(T)”で指定される差分量が各フレームで加えられていくことで、“Object_id”単位で更新される。これにより、サブタイトルが表示される所定数のフレーム期間において、左眼サブタイトルと右眼サブタイトルとの間の視差が順次更新される。

図１９は、オブジェクト開始位置“object_horizontal_position”をフレーム単位で更新する例を示している。フレームＴ０（初期フレーム）において、“Object_id=1”のオブジェクト開始位置は“object_horizontal_position1(T0)”であり、“Object_id=2”のオブジェクト開始位置は“object_horizontal_position2(T0)”であるとする。

次フレームであるフレームＴ１のオブジェクト開始位置は、以下のように更新される。なお、このフレームＴ１のオフセット値は“offset_sequence(T1)”であるとする。すなわち、“Object_id=1”のオブジェクト開始位置“object_horizontal_position1(T1)”は、“object_horizontal_position1(T0)+ offset_sequence(T1)”とされる。また、“Object_id=2”のオブジェクト開始位置“object_horizontal_position2(T1)”は、“object_horizontal_position2(T0)- offset_sequence(T1)”とされる。

また、次フレームであるフレームＴ２のオブジェクト開始位置は、以下のように更新される。なお、このフレームＴ２のオフセット値は“offset_sequence(T2)”であるとする。すなわち、“Object_id=1”のオブジェクト開始位置“object_horizontal_position1(T2)”は、“object_horizontal_position1(T1)+ offset_sequence(T2)”とされる。また、“Object_id=2”のオブジェクト開始位置“object_horizontal_position2(T2)”は、“object_horizontal_position2(T1)- offset_sequence(T2)”とされる。以下、同様にして、各フレームのオブジェクト開始位置が“Object_id”単位で求められて更新される。

また、例えば、受信側においては、左眼サブタイトルと右眼サブタイトルとの間に、所定数のフレーム期間の代表値、例えば最大値、平均値等による視差を付与することが可能となる。この場合、受信側においては、各フレームのオフセット値“offset_sequence(T)”に基づいて、そのフレームまでのオフセット値の累積値が予め計算される。そして、受信側においては、各フレームの累積値のうち、最大値“Max ( offset_sequence(n) ) ”、あるいは平均値“Ave (offset_sequence(n) ) ”が、フレームＴ０（初期フレーム）の初期位置（initialposition）に対して加えられる。これにより、サブタイトルが表示される所定数のフレーム期間において、左眼サブタイトルと右眼サブタイトルとの間に、所定数のフレーム期間の最大値あるいは平均値による視差が付与される。

図２０は、オブジェクト開始位置“object_horizontal_position”を最初に最大値“Max (offset_sequence(n) ) ”に基づいて設定し、その後はその位置を維持する例を示している。“Object_id=1”のオブジェクト開始位置の初期位置は“object_horizontal_position1”であり、“Object_id=2”のオブジェクト開始位置の初期位置は“object_horizontal_position2”であるとする。

フレームＴ０（初期フレーム）において、オブジェクト開始位置は、以下のように設定される。すなわち、“Object_id=1”のオブジェクト開始位置“object_horizontal_position1(T0)”は、“object_horizontal_position1 + Max ( offset_sequence(n)”に設定される。また、“Object_id=2”のオブジェクト開始位置“object_horizontal_position2(T0)”は、“object_horizontal_position2 - Max ( offset_sequence(n)”に設定される。そして、以下のフレームでは、この“Object_id=1”、“Object_id=2”のオブジェクト開始位置が維持される。

［ケースＢについて］
図２１は、「ケースＢ」の立体画像用のサブタイトルデータの作成方法を概念的に示している。ここでは、立体画像データの伝送フォーマットがサイド・バイ・サイド方式の場合について述べる。図２１（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。

最初に、サブタイトル処理部１３３は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図２１（ｂ）に示すように、サイド・バイ・サイド方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。

次に、サブタイトル処理部１３３は、図２１（ｃ）に示すように、サイズ変換後のビットマップデータを立体画像用のサブタイトルデータの各リージョン（region）の構成要素とする。その際、各リージョン（region）のオブジェクト（object）の開始位置(object_horizontal_position)は、左眼画像（left view ）と右眼画像（right view）との視差（disparity）に相当する分(A-B= disparity/2)だけ、ずらした位置とされる。

サブタイトル処理部１３３は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントを作成する。

図２２は、「ケースＢ」で作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示している。ここで、左眼画像（left view ）側のリージョンの開始位置は、“Region_horizontal_address1”であり、オブジェクト（object）の開始位置は“object_horizontal_position1”であり、“Object_id=1”である。また、右眼画像（right view ）側のリージョンの開始位置は、“Region_horizontal_address2”であり、オブジェクト（object）の開始位置は“object_horizontal_position2”であり、“Object_id=1”である。なお、この例は、左眼サブタイトルおよび右眼サブタイトルのビットマップデータとして共通のビットマップデータが使用される例である。

図２３は、「ケースＢ」における各セグメントの作成例（例１）を示している。この作成例において、ＰＣＳ（page composition segment）では、左眼画像（left view）側のリージョン（Region_id=0A）と右眼画像（right view）側のリージョン（Region_id=0B）の開始位置(region_horizontal_address)が指定されている。また、“Region_id=0A”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position1”が指定されている。また、“Region_id=0B”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position2”が指定されている。

図２４は、「ケースＢ」における各セグメントの作成例（例２）を示している。なお、この作成例は、左眼サブタイトルおよび右眼サブタイトルのビットマップデータとして異なるビットマップデータの使用を可能とする例である。この作成例において、ＰＣＳ（page composition segment）では、左眼画像（left view）側のリージョン（Region_id=0A）と右眼画像（right view）側のリージョン（Region_id=0B）の開始位置(region_horizontal_address)が指定されている。

また、“Region_id=0A”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position1”が指定されている。また、“Region_id=0B”のＲＣＳ（region composition segment）では、“Object_id=2”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position2”が指定されている。

図２５は、「ケースＢ」における各セグメントの作成例（例３）を示している。この作成例において、図２３に示す作成例（例１）と同様にＰＣＳ、ＲＣＳ、ＯＤＳのセグメントが作成される他に、ＯＴＳ（offset_temporal_sequence_segment）のセグメントも作成される。

ＯＴＳのセグメントには、視差情報群が挿入されている。この視差情報群は、上述したように、サブタイトル（字幕）が表示される所定数のフレーム期間の各フレームにおける左眼サブタイトルと右眼サブタイトルとの間に付与すべき視差の情報である。ここで、視差情報群を構成する各フレームの視差の情報は、データ量の抑制のために、前のフレームの視差の情報に対するオフセット情報とされる。このＯＴＳのセグメントの構造およびそれによる効果については、上述の「ケースＡ」で説明した通りであり、ここでは、その説明を省略する。

なお、「ケースＢ」では、上述の新たに定義されるＳＦＩ（stereo_format_indication_segment）のセグメントも作成される。このＳＦＩのセグメントは、上述したように、３Ｄ拡張定義を指定する。図２６は、ＳＦＩの構造例（syntax）を示している。図２７は、ＳＦＩの主要なデータ規定内容（semantics）を示している。この構造には、「Sync_byte」、「segment_type」、「page_id」、「segment_length」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＳＦＩを示す「0x45」とされている(図１０参照)。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。このデータは、セグメントの長さとして、「segment_length」以降のバイト数を示す。

「page_composition_view_allocated」は、ページＩＤ「page_id」の数値（偶数、奇数）が左眼画像および右眼画像に割り当てられているか否かを示す１ビットデータである。「page_composition_view_allocated=1」であるとき、偶数値の「page_id」は左眼画像（left view）に割り当てられ、奇数値の「page_id」は右眼画像（right view）に割り当てられることを示す。一方、「page_composition_view_allocated=0」であるとき、ページＩＤ「page_id」に、特定の規則が存在しないことを示す。

また、「shared_region_flag」は、左眼画像および右眼画像のリージョン（region）でオブジェクト(Object)を共有するか否かを示す１ビットデータである。「shared_region_flag=1」は、左眼画像および右眼画像のリージョン（region）でオブジェクト(Object)を共有することを示す。なお、「ケースＣ」では、「ページＩＤ「page_id」の数値は、左眼画像（left view）を表すために偶数とされ、右眼画像（right view）を表すために奇数とされている。共通に参照されるＯＤＳ内のページＩＤ「page_id」は、左眼画像（left view）および右眼画像（right view）を表す一対のページＩＤ「page_id」のうち、小さな方の数値で特定される。一方、「shared_region_flag=0」は、左眼画像および右眼画像のリージョン（region）でオブジェクト(Object)を共有しないことを示す。

また、「region_composition_view_allocated」は、リージョンＩＤ「region_id」の数値（偶数、奇数）が左眼画像および右眼画像に割り当てられているか否かを示す１ビットデータである。「region_composition_view_allocated=1」であるとき、偶数値の「region_id」は左眼画像（left view）に割り当てられ、奇数値の「region_id」は右眼画像（right view）に割り当てられることを示す。一方、「region_composition_view_allocated=0」であるとき、リージョンＩＤ「region_id」に、特定の規則が存在しないことを示す。

また、「target_stereo_format」は、サブタイトルデータがターゲットとする画像データを示す３ビットデータである。「000」は、フル・フレーム（Full Frame）方式あるいはバックワード・コンパチブル（Backward Compatible）方式の立体画像データであることを示す。また、「001」は、サイド・バイ・サイド（Side By Side）方式の立体画像データであることを示す。また、「010」は、トップ・アンド・ボトム（Top & Bottom）方式の立体画像データであることを示す。また、「111」は、立体画像データではなく、二次元画像データであることを示す。

なお、図２６のＳＦＩの構造例（syntax）において、「region_composition_view_allocated」、「shared_region_flag」および「target_stereo_format」は、「ケースＢ」に関係する。一方、「page_composition_view_allocated」、「shared_region_flag」および「target_stereo_format」は、「ケースＣ」に関係する。したがって、「ケースＢ」の場合、「page_composition_view_allocated=0」とされる。また、「ケースＣ」の場合、「region_composition_view_allocated=0」とされる。

［ケースＣについて］
図２８は、「ケースＣ」の立体画像用のサブタイトルデータの作成方法を概念的に示している。ここでは、立体画像データの伝送フォーマットがサイド・バイ・サイド方式の場合について述べる。図２８（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。

最初に、サブタイトル処理部１３３は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図２８（ｂ）に示すように、サイド・バイ・サイド方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。

次に、サブタイトル処理部１３３は、図２８（ｃ），（ｄ）に示すように、サイズ変換後のビットマップデータを立体画像用のサブタイトルデータの各ページのリージョン（region）の構成要素とする。その際、各オブジェクトの開始位置(region_horizontal_address)は、左眼画像（left view ）と右眼画像（right view）との視差（disparity）に相当する分(A-B= disparity/2)だけ、ずらした位置とされる。

サブタイトル処理部１３３は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントを作成する。

図２９は、「ケースＣ」で作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示している。ここで、左眼画像（left view ）側のページ（Page_id=even number）のリージョンの開始位置は、“Region_horizontal_address1”である。そして、そのオブジェクト（object）の開始位置は“object_horizontal_position1”であり、“Object_id=1”である。また、右眼画像（right view ）側のページ（Page_id=odd number）のリージョンの開始位置は、“Region_horizontal_address2”である。そして、そのオブジェクト（object）の開始位置は“object_horizontal_position2”であり、“Object_id=1”である。なお、この例は、左眼サブタイトルおよび右眼サブタイトルのビットマップデータとして共通のビットマップデータが使用される例である。

図３０は、「ケースＣ」における各セグメントの作成例（例１）を示している。この作成例において、左眼画像（left view）側のＰＣＳ（page composition segment）では、リージョン（Region_id=0A）の開始位置(region_horizontal_address1)が指定されている。また、“Region_id=0A”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position1”が指定されている。

また、この作成例において、右眼画像（right view）側のＰＣＳ（page composition segment）では、リージョン（Region_id=0B）の開始位置(region_horizontal_address2)が指定されている。また、“Region_id=0B”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position2”が指定されている。

図３１は、「ケースＣ」における各セグメントの作成例（例２）を示している。この作成例は、左眼サブタイトルおよび右眼サブタイトルのビットマップデータとして異なるビットマップデータの使用を可能とする例である。この作成例において、左眼画像（left view）側のＰＣＳ（page composition segment）では、リージョン（Region_id=0A）の開始位置(region_horizontal_address1)が指定されている。また、“Region_id=0A”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position1”が指定されている。

また、この作成例において、右眼画像（right view）側のＰＣＳ（page composition segment）では、リージョン（Region_id=0B）の開始位置(region_horizontal_address2)が指定されている。また、“Region_id=0B”のＲＣＳ（region composition segment）では、“Object_id=2”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position2”が指定されている。

図３２は、「ケースＣ」における各セグメントの作成例（例３）を示している。この作成例は、左眼画像（left view）側および右眼画像（right view）側のＰＣＳで、共通のＲＣＳを参照する例である。この作成例において、左眼画像（left view）側のＰＣＳ（page composition segment）では、リージョン（Region_id=0A）のＲＣＳが参照され、開始位置(region_horizontal_address1)が指定されている。また、右眼画像（right view）側のＰＣＳ（page composition segment）でも、リージョン（Region_id=0A）のＲＣＳが参照され、開始位置(region_horizontal_address2)が指定されている。そして、“Region_id=0A”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position1”が指定されている。

図３３は、「ケースＣ」における各セグメントの作成例（例４）を示している。この作成例において、図３０に示す作成例（例１）と同様にＰＣＳ、ＲＣＳ、ＯＤＳのセグメントが作成される他に、ＯＴＳ（offset_temporal_sequence_segment）のセグメントも作成される。

ＯＴＳのセグメントには、視差情報群が挿入されている。この視差情報群は、上述したように、サブタイトル（字幕）が表示される所定数のフレーム期間の各フレームにおける左眼サブタイトルと右眼サブタイトルとの間に付与すべき視差の情報である。ここで、視差情報群を構成する各フレームの視差の情報は、データ量の抑制のために、前のフレームの視差の情報に対するオフセット情報とされる。このＯＴＳのセグメントの構造およびそれによる効果については、上述の「ケースＡ」で説明した通りであり、ここでは、その説明を省略する。

なお、「ケースＣ」では、上述の新たに定義されるＳＦＩ（stereo_format_indication_segment）のセグメントも作成される。このＳＦＩのセグメントは、３Ｄ拡張定義を指定するものであり、「page_composition_view_allocated」、「region_composition_view_allocated」、「shared_region_flag」、「target_stereo_format」などの情報を含んでいる。このＳＦＩのセグメントの構造については、上述の「ケースＢ」で説明した通りであり、ここでは、その説明を省略する。上述したように、「region_composition_view_allocated」は「ケースＢ」にのみ関係するので、ここでは、「region_composition_view_allocated=0」とされる。

［ケースＤについて］
図３４は、「ケースＤ」の立体画像用のサブタイトルデータの作成方法を概念的に示している。ここでは、立体画像データの伝送フォーマットがサイド・バイ・サイド方式の場合について述べる。図３４（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。

最初に、サブタイトル処理部１３３は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図３４（ｂ）に示すように、サイド・バイ・サイド方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。

次に、サブタイトル処理部１３３は、図３４（ｃ）に示すように、サイズ変換後のビットマップデータを左眼画像（left view ）側のリージョン（region）および右眼画像（right view）側のコピーリージョン（Copied_region）の構成要素とする。その際、各リージョン（region）のオブジェクト（object）の開始位置(object_horizontal_position)は、左眼画像（left view）と右眼画像（right view）との視差（disparity）に相当する分(A-B= disparity/2)だけ、ずらした位置とされる。

サブタイトル処理部１３３は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントを作成する。

図３５は、「ケースＤ」で作成される立体画像用のサブタイトルデータによるリージョン（region，copied_region）およびオブジェクト（object）の一例を示している。ここで、左眼画像（left view ）側のリージョン(region)の開始位置は、“Region_horizontal_address”であり、オブジェクト（object）の開始位置は“object_horizontal_position”であり、“Object_id=1”である。また、右眼画像（Right view ）側のコピーリージョン（copied_region）の開始位置は、左眼画像（left view ）側のオブジェクト（object）の開始位置から(A-B= disparity/2)だけずらされる。そのため、後述するＲＣＰ（region_copy_segment）のセグメントにおいて、“Offset_distance_horizontal=(A-B)”とされる。

この「ケースＤ」においては、図１２に示すように、ＰＣＳ、ＲＣＳ、ＯＤＳのセグメントが作成される他に、ＲＣＰ（region_copy_segment）およびＯＴＳ（offset_temporal_sequence_segment）のセグメントも作成される。ＯＴＳのセグメントの構造およびそれによる効果については、上述の「ケースＡ」で説明した通りであり、ここでは、その説明を省略する。

ＲＣＰ（region_copy_segment）は、上述したように、リージョン（region）のコピー先の位置を指定する。図３６は、ＲＣＰ（region_copy_segment）の構造例（syntax）を示している。図３７は、ＲＣＰの主要なデータ規定内容（semantics）を示している。この構造には、「Sync_byte」、「segment_type」、「page_id」、「segment_length」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＲＣＰを示す「0x47」とされている(図１０参照)。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。このデータは、セグメントの長さとして、「segment_length」以降のバイト数を示す。

「region_count」は、ページ（page）内のリージョンの個数を示す８ビットデータである。「copied_region_id」は、リージョン（region）のコピーで生成されたコピーリージョン（copied_region）のＩＤを示す８ビットデータである。

「offset_precision」は、「offset_distance_horizontal」で示すオフセット値における「１」の精度、つまりこの「１」のピクセル数を示す１ビットの情報である。「offset_precision=0」であるとき、オフセット値における「１」が１ピクセルであることを示す。また、「offset_precision=1」であるとき、オフセット値における「１」が２ピクセルであることを示す。「offset_distance_horizontal」は、左眼画像（left view）側のオブジェクトとコピーされる右眼画像（right view）側のオブジェクトとの間に付与すべき視差（Ａ−Ｂ）を示す８ビットデータである。この「offset_distance_horizontal」は、−１２８〜１２７の範囲の値をとる。

図３８は、「ケースＤ」における各セグメントの作成例（例１）を示している。この作成例において、ＰＣＳ（page composition segment）では、左眼画像（left view）側のリージョン（Region_id=0A）の開始位置(region_horizontal_address)が指定されている。そして、“Region_id=0A”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position”が指定されている。

また、ＲＣＰ（region_copy_segment）では、“Region_id=0A”のリージョンが参照され、このリージョンをコピーすることが示されている。このＲＣＰには、さらに、「copied_region_id」が定義されており、「offset_distance_horizontal」の情報が含まれている。

図３９は、「ケースＤ」における各セグメントの作成例（例２）を示している。この作成例において、図３８に示す作成例（例１）と同様にＰＣＳ、ＲＣＳ、ＯＤＳ、ＲＣＰのセグメントが作成される他に、ＯＴＳ（offset_temporal_sequence_segment）のセグメントも作成される。このＯＴＳのセグメントの構造およびその効果については、上述の「ケースＡ」で説明した通りであり、ここではその説明を省略する。

［ケースＥについて］
「ケースＥ」においては、上述の図１２に示すように、ＰＣＳ、ＲＣＳ、ＯＤＳのセグメントが作成される他に、ＯＳＳ（offset_sequence_segment）のセグメントも作成される。

ＯＳＳ（offset_sequence_segment）は、上述したように、３Ｄ拡張の設定情報、視差オフセットの制御を指定する。図４０は、ＯＳＳの構造例（syntax）を示している。図４１は、ＯＳＳの主要なデータ規定内容（semantics）を示している。この構造には、「Sync_byte」、「segment_type」、「page_id」、「segment_length」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＲＣＰを示す「0x44」とされている(図１０参照)。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。このデータは、セグメントの長さとして、「segment_length」以降のバイト数を示す。

「region_position_offset_allocated」は、視差オフセット値が、“region_position”に反映されているかどうかを示す１ビットデータである。「region_position_offset_allocated=1」は、視差オフセット値が“region_position”に反映されていることを示す。この場合、左眼画像（leftview）のリージョン（region）に対する右眼画像（rightview）のリージョン（region）のオフセットとして、画素単位で双方の“region_horizontal_address”に反映されている。例えば、左眼画像（leftview）のリージョン（region）の“region_id”は偶数とされ、右眼画像（right view）のリージョン（region）の“region_id”は奇数とされている。一方、「region_position_offset_allocated=0」は、視差オフセット値が“region_position”に反映されていないことを示す。

「object_position_allocated」は、視差オフセット値が、“object_horizontal_position”に反映されているかどうかを示す１ビットデータである。「object_position_allocated=1」は、視差オフセット値が、“object_horizontal_position”に反映されていることを示す。この場合、左眼画像（left view）のオブジェクト（object）に対する右眼画像（right view）のオブジェクト（object）のオフセットとして、画素単位で双方の“object_horizontal_position”に反映されている。一方、「object_position_allocated=0」は、視差オフセット値が、“object_horizontal_position”に反映されていないことを示す。

「target_stereo_format」は、サブタイトルデータがターゲットとする画像データを示す３ビットデータである。「000」は、フル・フレーム（Full Frame）方式またはバックワード・コンパチブル（Backward Compatible）方式の立体画像データであることを示す。また、「001」は、サイド・バイ・サイド（Side By Side）方式の立体画像データであることを示す。また、「010」は、トップ・アンド・ボトム（Top & Bottom）方式の立体画像データであることを示す。また、「111」は、特定の立体画像をターゲットとするわけではなく、従来の二次元画像を含む画像データ一般が対象となるという意味を含む。

「Temporal_sequence_flag」は、時間方向の更新情報が含まれるか否かを示す１ビットデータである。「Temporal_sequence_flag=1」は、時間方向の更新情報が含まれることを示す。「Temporal_sequence_flag=0」は、時間方向の更新情報が含まれていないことを示す。「region_count」は、視差情報が伝送されるリージョン（region）の個数を示す８ビットデータである。「region_id」は、視差情報が伝送されるリージョン（region）のＩＤを示す。「Disparity_offset」は、左眼サブタイトルと右眼サブタイトルとの間の画素単位の符号付き８ビット視差情報である。ＯＳＳには、リージョン（region）の個数分だけ、「region_id」で区別されて、「Disparity_offset」が挿入されている。

また、ＯＳＳには、「Temporal_sequence_flag=1」であるとき、リージョン（region）の個数分だけ、「region_id」で区別されて、各リージョン（region）の視差情報群が挿入されている。「frame_count」は、表示フレーム期間中offset_sequenceを供給するフレーム数を示すものである。

「offset_sequence」は、視差情報に関する、前の状態からの差分値を示し、前のフレームの視差情報に対するオフセット情報としての２ビットの情報である。「offset_sequence=01」は、オフセット値が「＋１」であることを示す。「offset_sequence=10」は、オフセット値が「−１」であることを示す。さらに、「offset_sequence=11」は、オフセット値が前のフレームから変化していないことを示す。「offset_precision」は、時間方向の更新情報の値の画素精度を指定する１ビットの情報である。つまり、この「offset_precision」は、上述の「offset_sequence」で示すオフセット値における「１」の精度、つまりこの「１」が示すピクセル数を示す。「offset_precision=0」であるとき、オフセット値における「１」が１ピクセルであることを示す。また、「offset_precision=1」であるとき、オフセット値における「１」が２ピクセルであることを示す。

図４２は、「ケースＥ（Side-by-Side）」の立体画像用のサブタイトルデータの作成方法を概念的に示している。この場合、左眼サブタイトルのデータおよび右眼サブタイトルのデータは、同一のリージョンの異なるオブジェクトのデータとして生成される。図４２（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。

最初に、サブタイトル処理部１３３は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図４２（ｂ）に示すように、サイド・バイ・サイド方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。

次に、サブタイトル処理部１３３は、図４２（ｃ）に示すように、サイズ変換後のビットマップデータを立体画像用のサブタイトルデータのリージョン（region）の構成要素とする。その際、各オブジェクトの開始位置(region_horizontal_address)は、左眼画像（left view ）と右眼画像（right view）との視差（disparity）に相当する分(A-B= disparity/2)だけ、あるいは、(A-B = disparity) だけ、対象となる画像の左眼画像、右眼画像各々の基準位置よりずらした位置とされる。

サブタイトル処理部１３３は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントを作成する。

図４３は、「ケースＥ（Side-by-Side）」で作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示している。ここで、リージョンの開始位置は“Region_horizontal_address”である。そして、左眼画像（left view ）側のオブジェクトに関しては、開始位置は“object_horizontal_position1”であり、“Object__id=1”である。また、右眼画像（right view ）側のオブジェクトに関しては、開始位置は“object_horizontal_position2”であり、“Object_id=2”である。なお、“Object_id=2”をobject_id=1 とし、左眼画像と右眼画像とで同一のobject dataを共有し、object_horizontal_positionのみを左眼画像と右眼画像とで違えることもできる。

図４４は、「ケースＥ（Side-by-Side）」における各セグメントの作成例を示している。この場合、ＯＳＳのセグメントでは、「region_position_offset_allocated=0」、「object_position_allocated=1」、「target_stereo_format=001」に設定されている。この作成例において、ＰＣＳ（page composition segment）では、リージョン（Region_id=0A）の開始位置(region_horizontal_address)が指定されている。また、“Region_id=0A”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position1”が指定されている。また、この“Region_id=0A”のＲＣＳ（region composition segment）では、Object_id=2”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position2”が指定されている。また、この作成例において、ＯＳＳ（offset_sequence_segment）では、“Region_id=0A”とされている。

図４５も、「ケースＥ（Side-by-Side）」における各セグメントの作成例を示している。この場合、ＯＳＳのセグメントでは、「region_position_offset_allocated=0」、「object_position_allocated=1」、「target_stereo_format=001」に設定されている。この作成例において、ＰＣＳ（page composition segment）では、リージョン（Region_id=0A）の開始位置(region_horizontal_address)が指定されている。また、“Region_id=0A”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position1”が指定されている。また、この“Region_id=0A”のＲＣＳ（region composition segment）では、さらに、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position2”が指定されている。また、この作成例において、ＯＳＳ（offset_sequence_segment）では、“Region_id=0A”とされている。

上述したように、ＯＳＳのセグメントには、視差情報群（オフセット値“offset_sequence”）が挿入されている。この視差情報群は、上述したように、サブタイトル（字幕）が表示される所定数のフレーム期間の各フレームにおける左眼サブタイトルと右眼サブタイトルとの間に付与すべき視差の情報である。受信側においては、所定数のフレーム期間の各フレームにおけるオフセット値“offset_sequence”に基づいて、左眼サブタイトルと右眼サブタイトルとの間に所定の視差を付与することが可能となる。例えば、受信側においては、左眼サブタイトルと右眼サブタイトルとの間の視差を順次更新することが可能となる。

この場合、受信側においては、後方互換を維持して、オブジェクト開始位置“object_horizontal_position”を簡便にフレーム単位で更新することが可能となる。すなわち、“object_horizontal_position”は、フレームＴ０（初期フレーム）の初期位置（initial position）に対し、“offset_sequence(T)”で指定される差分量が各フレームで加えられていくことで、“Object_id”単位で更新される。これにより、サブタイトルが表示される所定数のフレーム期間において、左眼サブタイトルと右眼サブタイトルとの間の視差が順次更新される。

図４６は、オブジェクト開始位置“object_horizontal_position”をフレーム単位で更新する例を示している。フレームＴ０（初期フレーム）において、“Object_id=1”のオブジェクト開始位置は“object_horizontal_position1(T0)”であり、“Object_id=2”のオブジェクト開始位置は“object_horizontal_position2(T0)”であるとする。

次フレームであるフレームＴ１のオブジェクト開始位置は、以下のように更新される。なお、このフレームＴ１のオフセット値は“offset_sequence(T1)”であるとする。すなわち、“Object_id=1”のオブジェクト開始位置“object_horizontal_position1(T1)”は、“object_horizontal_position1(T0)+ offset_sequence(T1)”とされる。また、“Object_id=2”のオブジェクト開始位置“object_horizontal_position2(T1)”は、“object_horizontal_position2(T0)- offset_sequence(T1)”とされる。

また、次フレームであるフレームＴ２のオブジェクト開始位置は、以下のように更新される。なお、このフレームＴ２のオフセット値は“offset_sequence(T2)”であるとする。すなわち、“Object_id=1”のオブジェクト開始位置“object_horizontal_position1(T2)”は、“object_horizontal_position1(T1)+ offset_sequence(T2)”とされる。また、“Object_id=2”のオブジェクト開始位置“object_horizontal_position2(T2)”は、“object_horizontal_position2(T1)- offset_sequence(T2)”とされる。以下、同様にして、各フレームのオブジェクト開始位置がオブジェクト単位で求められて更新される。

また、例えば、受信側においては、左眼サブタイトルと右眼サブタイトルとの間に、所定数のフレーム期間の代表値、例えば最大値、平均値等による視差を付与することが可能となる。この場合、受信側においては、各フレームのオフセット値“offset_sequence(T)”に基づいて、そのフレームまでのオフセット値の累積値が予め計算される。そして、受信側においては、各フレームの累積値のうち、最大値“Max ( offset_sequence(n) ) ”、あるいは平均値“Ave (offset_sequence(n) ) ”が、フレームＴ０（初期フレーム）の初期位置（initialposition）に対して加えられる。これにより、サブタイトルが表示される所定数のフレーム期間において、左眼サブタイトルと右眼サブタイトルとの間に、所定数のフレーム期間の最大値あるいは平均値による視差が付与される。

図４７は、オブジェクト開始位置“object_horizontal_position”を最初に最大値“Max (offset_sequence(n) ) ”に基づいて設定し、その後はその位置を維持する例を示している。“Object_id=1”のオブジェクト開始位置の初期位置は“object_horizontal_position1”であり、“Object_id=2”のオブジェクト開始位置の初期位置は“object_horizontal_position2”であるとする。

フレームＴ０（初期フレーム）において、オブジェクト開始位置は、以下のように設定される。すなわち、“Object_id=1”のオブジェクト開始位置“object_horizontal_position1(T0)”は、“object_horizontal_position1 + Max ( offset_sequence(n)”に設定される。また、“Object_id=2”のオブジェクト開始位置“object_horizontal_position2(T0)”は、“object_horizontal_position2 - Max ( offset_sequence(n)”に設定される。そして、以下のフレームでは、この“Object_id=1”、“Object_id=2”のオブジェクト開始位置が維持される。

図４８は、「ケースＥ（Top & Bottom）」の立体画像用のサブタイトルデータの作成方法を概念的に示している。この場合、左眼サブタイトルのデータおよび右眼サブタイトルのデータは、同一のページの異なるリージョンのデータとして生成される。図４８（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。

最初に、サブタイトル処理部１３３は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図４８（ｂ）に示すように、トップ・アンド・ボトム方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。

次に、サブタイトル処理部１３３は、図４８（ｃ）に示すように、サイズ変換後のビットマップデータを立体画像用のサブタイトルデータのリージョン（region）の構成要素とする。その際、各オブジェクトの開始位置(region_horizontal_address)は、左眼画像（left view ）と右眼画像（right view）との視差（disparity）に相当する分(A-B= disparity)だけ、ずらした位置とされる。

サブタイトル処理部１３３は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントを作成する。

図４９は、「ケースＥ（Top & Bottom）」で作成される立体画像用のサブタイトルデータによるリージョン（region）の一例を示している。ここで、左眼画像（left view ）側のリージョンの開始位置は“Region_horizontal_address1”であり、右眼画像（rightview ）側のリージョンの開始位置は“Region_horizontal_address2”である。なお、この例は、左眼サブタイトルおよび右眼サブタイトルのビットマップデータとして共通のビットマップデータが使用される例である。

図５０は、「ケースＥ（Top & Bottom）」における各セグメントの作成例を示している。この場合、ＯＳＳのセグメントでは、「region_position_offset_allocated=1」、「object_position_allocated=0」、「target_stereo_format=010」に設定されている。

この作成例において、ＰＣＳ（page composition segment）では、左眼画像（left view）側のリージョン（Region_id=0A）と右眼画像（right view）側のリージョン（Region_id=0A）の開始位置(region_horizontal_address)がそれぞれ指定されている。また、“Region_id=0A”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position1”が指定されている。また、この作成例において、ＯＳＳ（offset_sequence_segment）では、“Region_id=0A”とされている。

上述したように、ＯＳＳのセグメントには、視差情報群（オフセット値“offset_sequence”）が挿入されている。受信側においては、所定数のフレーム期間の各フレームにおけるオフセット値“offset_sequence”に基づいて、左眼サブタイトルと右眼サブタイトルとの間に所定の視差を付与することが可能となる。例えば、受信側においては、左眼サブタイトルと右眼サブタイトルとの間の視差を順次更新することが可能となる。

この場合、受信側においては、後方互換を維持して、リージョン開始位置“region_horizontal_address”を簡便にフレーム単位で更新することが可能となる。すなわち、“region_horizontal_address”は、フレームＴ０（初期フレーム）の初期位置（initial position）に対し、“offset_sequence(T)”で指定される差分量が各フレームで加えられていくことで、“Region_id”単位で更新される。これにより、サブタイトルが表示される所定数のフレーム期間において、左眼サブタイトルと右眼サブタイトルとの間の視差が順次更新される。

図５１は、リージョン開始位置“region_horizontal_address”をフレーム単位で更新する例を示している。フレームＴ０（初期フレーム）において、左眼画像（left view）側のリージョン開始位置は“region_horizontal_address1(T0)”であり、右眼画像（right view）側のリージョン開始位置は“regionhorizontal_address2(T0)”であるとする。

次フレームであるフレームＴ１のオブジェクト開始位置は、以下のように更新される。なお、このフレームＴ１のオフセット値は“offset_sequence(T1)”であるとする。すなわち、左眼画像（leftview）側のリージョン開始位置“region_horizontal_address1(T1)”は、“region_horizontal_address1(T0) + offset_sequence(T1)”とされる。また、右眼画像（right view）側のリージョン開始位置“region_horizontal_address2(T1)”は、“region_horizontal_address2(T0) - offset_sequence(T1)”とされる。

また、次フレームであるフレームＴ２のリージョン開始位置は、以下のように更新される。なお、このフレームＴ２のオフセット値は“offset_sequence(T2)”であるとする。すなわち、左眼画像（leftview）側のリージョン開始位置“region_horizontal_address1(T2)”は、“region_horizontal_address1(T1) + offset_sequence(T2)”とされる。また、右眼画像（right view）側のリージョン開始位置“region_horizontal_address2(T2)”は、“region_horizontal_address2(T1) - offset_sequence(T2)”とされる。以下、同様にして、各フレームのリージョン開始位置がリージョン単位で求められて更新される。

図５２は、「ケースＥ（Full Frame or Frame Sequential or Backward Compatible）」で作成される立体画像用のサブタイトルデータによるリージョン（region）の一例を示している。ここで、リージョンの開始位置は“Region_horizontal_address”である。なお、この方式では、左眼サブタイトルと右眼サブタイトルとの間に付与すべき視差は、左眼画像（left view）および右眼画像（right view）のリージョン（region）の開始位置に反映されておらず、ＯＳＳのセグメントで、「Disparity_offset」として、別途送信される。

図５３は、「ケースＥ（Full Frame or or Frame Sequential Backward Compatible）」における各セグメントの作成例を示している。この場合、ＯＳＳのセグメントでは、「region_position_offset_allocated=0」、「object_position_allocated=0」、「target_stereo_format=000」に設定されている。この作成例において、ＰＣＳ（page composition segment）では、リージョン（Region_id=0A）の開始位置(region_horizontal_address)が指定されている。

また、“Region_id=0A”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_horizontal_position1”が指定されている。また、この作成例において、ＯＳＳ（offset_sequence_segment）では、“Region_id=0A”とされている。

上述したように、ＯＳＳのセグメントには、視差情報群（オフセット値“offset_sequence”）が挿入されている。この視差情報群は、上述したように、サブタイトル（字幕）が表示される所定数のフレーム期間の各フレームにおける左眼サブタイトルと右眼サブタイトルとの間に付与すべき視差の情報である。受信側においては、所定数のフレーム期間の各フレームにおけるオフセット値“offset_sequence”に基づいて、左眼サブタイトルと右眼サブタイトルとの間に所定の視差を付与することが可能となる。例えば、受信側においては、左眼サブタイトルと右眼サブタイトルとの間の視差を順次更新することが可能となる。

この場合、受信側においては、後方互換を維持して、リージョン開始位置“region_horizontal_address”を簡便にフレーム単位で更新することが可能となる。すなわち、“region_horizontal_address”は、フレームＴ０（初期フレーム）の初期位置（initial position）に対し、“offset_sequence(T)”で指定される差分量が各フレームで加えられていくことで、“region_id”単位で更新される。これにより、サブタイトルが表示される所定数のフレーム期間において、左眼サブタイトルと右眼サブタイトルとの間の視差が順次更新される。

図５５は、リージョン開始位置“region_horizontal_address”をフレーム単位で更新する例を示している。フレームＴ０（初期フレーム）において、左眼画像（left view）側のリージョン開始位置“region_horizontal_address(T0)”は、“region_horizontal_address + disparity_offset”とされる。右眼画像（right view）側には、左眼画像（left view）側のリージョン（region）のビットマップデータが、開始位置が“c0”とされてコピーされる。この場合、“c0= region_horizontal_address - disparity_offset”とされる。

次フレームであるフレームＴ１の左眼画像（left view）側のリージョン開始位置“region_horizontal_address(T1)”および右眼画像（right view）側のコピービットマップデータの開始位置“c1”が、以下のように更新される。なお、このフレームＴ１のオフセット値は“offset_sequence(T1)”であるとする。すなわち、左眼画像（leftview）側のリージョン開始位置“region_horizontal_address1(T1)”は、“region_horizontal_address1(T0) + offset_sequence(T1)”とされる。また、右眼画像（right view）側のコピービットマップデータの開始位置“c1”は、“c0 - offset_sequence(T1)”とされる。

次フレームであるフレームＴ２の左眼画像（left view）側のリージョン開始位置“region_horizontal_address(T2)”および右眼画像（right view）側のコピービットマップデータの開始位置“c2”が、以下のように更新される。なお、このフレームＴ２のオフセット値は“offset_sequence(T2)”であるとする。すなわち、左眼画像（leftview）側のリージョン開始位置“region_horizontal_address1(T２)”は、“region_horizontal_address1(T1) +offset_sequence(T2)”とされる。また、右眼画像（right view）側のコピービットマップデータの開始位置“c2”は、“c1 - offset_sequence(T2)”とされる。以下、同様にして、各フレームのリージョン開始位置がリージョン単位で求められて更新される。

図５５は、「ケースＥ（Side-by-Side）」の場合における、ＯＳＳ設定と、放送局１００からセットトップボックス２００を介してテレビ受信機３００に至る、立体画像データおよびサブタイトルデータの流れを概略的に示している。この場合、放送局１００ではサイド・バイ・サイド（Side-by-Side）方式に合わせた立体画像用のサブタイトルデータが生成される。そして、立体画像データはビデオデータストリームに含まれて送信され、サブタイトルデータはサブタイトルデータストリームに含まれて送信される。

セットトップボックス２００では、サブタイトルデータに基づいて左眼サブタイトルおよび右眼サブタイトルを表示するための表示データが生成され、この表示データが立体画像データに重畳される。そして、サブタイトルの表示データが重畳された立体画像データがＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信される。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、サイド・バイ・サイド（Side-by-Side）方式である。

テレビ受信機３００では、セットトップボックス２００から送られてくる立体画像データにデコード処理が施される。そして、サブタイトルが重畳された左眼画像および右眼画像のデータが生成され、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）が表示される。なお、図５５に示すように、放送局１００から直接テレビ受信機３００に至る経路も考えられる。この場合、テレビ受信機３００は、例えば、セットトップボックス２００と同様の処理機能部を備えている。

図５６は、「ケースＥ（Top & Bottom）」の場合における、ＯＳＳ設定と、放送局１００からセットトップボックス２００を介してテレビ受信機３００に至る、立体画像データおよびサブタイトルデータの流れを概略的に示している。この場合、放送局１００ではトップ・アンド・ボトム（Top & Bottom）方式に合わせた立体画像用のサブタイトルデータが生成される。そして、放送局１００から立体画像データがビデオデータストリームに含まれて送信され、サブタイトルデータはサブタイトルデータストリームに含まれて送信される。

セットトップボックス２００では、サブタイトルデータに基づいて左眼サブタイトルおよび右眼サブタイトルを表示するための表示データが生成され、この表示データが立体画像データに重畳される。そして、サブタイトルの表示データが重畳された立体画像データがＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信される。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、トップ・アンド・ボトム（Top & Bottom）方式である。

テレビ受信機３００では、セットトップボックス２００から送られてくる立体画像データにデコード処理が施される。そして、サブタイトルが重畳された左眼画像および右眼画像のデータが生成され、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）が表示される。なお、図５６に示すように、この場合も、上述の「ケースＥ（Side-by-Side）」の場合と同様に、放送局１００から直接テレビ受信機３００に至る経路も考えられる。この場合、テレビ受信機３００は、例えば、セットトップボックス２００と同様の処理機能部を備えている。

図５７は、「ケースＥ（Full Frame or Frame Sequential or Backward Compatible）」の場合における、ＯＳＳ設定と、放送局１００からセットトップボックス２００を介してテレビ受信機３００に至る、立体画像データおよびサブタイトルデータの流れを概略的に示している。この場合、放送局１００ではフル・フレーム（Full Frame）方式またはバックワード・コンパチブル（BackwardCompatible）方式に合わせた立体画像用のサブタイトルデータが生成される。そして、放送局１００から立体画像データがビデオデータストリームに含まれて送信され、サブタイトルデータはサブタイトルデータストリームに含まれて送信される。

セットトップボックス２００では、サブタイトルデータに基づいて左眼サブタイトルおよび右眼サブタイトルを表示するための表示データが生成され、この表示データが立体画像データに重畳される。そして、サブタイトルの表示データが重畳された立体画像データがＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信される。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、フレーム・パッキング（Frame Packing）方式あるいはサイド・バイ・サイド（Side-by-Side）フルビデオ（Full video）方式である。

テレビ受信機３００では、セットトップボックス２００から送られてくる立体画像データにデコード処理が施される。そして、サブタイトルが重畳された左眼画像および右眼画像のデータが生成され、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）が表示される。なお、図５７に示すように、この場合も、上述の「ケースＥ（Side-by-Side）」の場合と同様に、放送局１００から直接テレビ受信機３００に至る経路も考えられる。この場合、テレビ受信機３００は、例えば、セットトップボックス２００と同様の処理機能部を備えている。

図２に示す送信データ生成部１１０において、マルチプレクサ１２２から出力されるビットストリームデータＢＳＤは、ビデオデータストリームとサブタイトルデータストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、サブタイトルデータストリームには、その立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータが含まれている。

この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。そのため、受信側においては、この立体画像用のサブタイトルデータに基づいて、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データおよび立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生でき、処理の容易化が図られる。

［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波に載せて送信されてくるビットストリームデータ（トランスポートストリーム）ＢＳＤを受信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データが含まれている。また、ビットストリームデータＢＳＤには、サブタイトル（字幕）を表示するための立体画像用のサブタイトルデータが含まれている。

セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータＢＳＤから、立体画像データ、音声データ、サブタイトルデータを抽出する。そして、このビットストリーム処理部２０１は、立体画像データ、サブタイトルデータ等を用いて、サブタイトルが重畳された立体画像データを生成する。

この場合、左眼画像に重畳する左眼サブタイトルと右眼画像に重畳する右眼サブタイトルとの間には視差が付与されたものとされる。例えば、上述したように、放送局１００から送られてくる立体画像用のサブタイトルデータは、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されるように生成されている。このように、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されることで、ユーザは、サブタイトル（字幕）を画像の手前に認識可能とされる。

図５８（ａ）は、画像上におけるキャプション・ユニット（字幕）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図５８（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も手前に認識されることを示している。

図５９（ａ）は、図５８（ａ）と同じ、画像上におけるキャプション・ユニット（字幕）の表示例を示している。図５９（ｂ）は、左眼画像に重畳される左眼字幕ＬＧＩと、右眼画像に重畳される右眼字幕ＲＧＩを示している。図５９（ｃ）は、字幕が最も手前に認識されるために、左眼字幕ＬＧＩと右眼字幕ＲＧＩとの間に視差が与えられることを示している。

［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図６０は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。

アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

ビットストリーム処理部２０１は、上述したように、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（視差情報群を含む）等を抽出する。このビットストリーム処理部２０１は、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データを合成し、サブタイトルが重畳された表示用立体画像データを得る。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。

映像信号処理回路２０５は、ビットストリーム処理部２０１で得られた表示用立体画像データに対して必要に応じて画質調整処理などを行い、処理後の表示用立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。

ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、例えば、非圧縮の画像データおよび音声データを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよび音声データがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。

例えば、放送局１００からの立体画像データの伝送フォーマットがサイド・バイ・サイド方式であるとき、ＴＭＤＳ伝送フォーマットはサイド・バイ・サイド方式とされる（図５５参照）。また、例えば、放送局１００からの立体画像データの伝送フォーマットがトップ・アンド・ボトム方式であるとき、ＴＭＤＳ伝送フォーマットはトップ・アンド・ボトム方式とされる（図５６参照）。また、例えば、放送局１００からの立体画像データの伝送フォーマットがフル・フレーム方式、あるいはフレーム・シーケンシャル方式、あるいはバックワード・コンパチブル方式であるとき、ＴＭＤＳ伝送フォーマットは、フレーム・パッキング方式あるいはサイド・バイ・サイド（フルビデオ）方式とされる（図５７参照）。

ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。

リモコン受信部２１５は、リモコン送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。

セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。

デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（視差情報群を含む）等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）が合成され、サブタイトルが重畳された表示用立体画像データが得られる。

ビットストリーム処理部２０１で得られた表示用立体画像データは、映像信号処理回路２０５に供給される。この映像信号処理回路２０５では、表示用立体画像データに対して、必要に応じて画質調整処理等が行われる。この映像信号処理回路２０５から出力される処理後の表示用立体画像データは、ＨＤＭＩ送信部２０６に供給される。

また、ビットストリーム処理部２０１で得られた音声データは、音声信号処理回路２０７に供給される。この音声信号処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声信号処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。

［ビットストリーム処理部の構成例］
図６１は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応した構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２１と、ビデオデコーダ２２２と、サブタイトルデコーダ２２３と、立体画像用サブタイトル発生部２２４と、ビデオ重畳部２２６と、オーディオデコーダ２２７とを有している。

デマルチプレクサ２２１は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、サブタイトルのパケットを抽出し、各デコーダに送る。なお、デマルチプレクサ２２１は、ビットストリームデータＢＳＤに挿入されているＰＭＴ、ＥＩＴ等の情報を抽出し、ＣＰＵ２１１に送る。上述したように、ＥＩＴの配下にあるコンポーネント・デスクリプタに,Stream_content(‘0x03’=DVB subtitles) ＆ Component_type(for 3Dtarget)が記述され、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることが識別可能とされている。したがって、ＣＰＵ２１１は、この記述により、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることを識別できる。

ビデオデコーダ２２２は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送フォーマットは、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Full Frame」方式、あるいは「Frame Sequential」方式、あるいは Backward Compatible 方式）などである（図４参照）。

サブタイトルデコーダ２２３は、上述の送信データ生成部１１０のサブタイトルエンコーダ１３３とは逆の処理を行う。すなわち、このサブタイトルデコーダ２２３は、デマルチプレクサ２２１で抽出されたサブタイトルのパケットからサブタイトルデータストリームを再構成し、復号化処理を行って、立体画像用のサブタイトルデータ（視差情報群を含む）を得る。

立体画像用サブタイトル発生部２２４は、立体画像用のサブタイトルデータに基づいて、立体画像データに重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）を発生する。上述したように、放送局１００から送られてくる立体画像用のサブタイトルデータは、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されるように生成されている。そのため、立体画像用サブタイトル発生部２２４で発生される左眼サブタイトルおよび右眼サブタイトルの表示データは、左眼サブタイトルおよび右眼サブタイトルに視差が付与されたものとなる（図１３（ｃ）参照）。

また、立体画像用サブタイトル発生部２２４は、視差情報群（オフセット値“offset_sequence”）に基づいて、左眼サブタイトルと右眼サブタイトルとの間に所定の視差を付与する。この視差情報群は、上述したように、サブタイトル（字幕）が表示される所定数のフレーム期間の各フレームにおける左眼サブタイトルと右眼サブタイトルとの間に付与すべき視差の情報である。立体画像用サブタイトル発生部２２４において視差情報群によってどのように視差を付与するかは、例えば、工場出荷時の設定、あるいは購入後のユーザ設定等による。

例えば、立体画像用サブタイトル発生部２２４は、視差情報群に基づいて、左眼サブタイトルと右眼サブタイトルとの間の視差をフレーム単位で順次更新する(図１９参照）。また、例えば、立体画像用サブタイトル発生部２２４は、視差情報群に基づいて、左眼サブタイトルと右眼サブタイトルとの間に、所定数のフレーム期間の代表値、例えば最大値、平均値等による視差を付与する(図２０参照）。

ビデオ重畳部２２６は、ビデオデコーダ２２２で得られた立体画像データに対し、立体画像用サブタイトル発生部２２４で発生された左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）を重畳し、表示用立体画像データＶoutを得る。そして、ビデオ重畳部２２６は、この表示用立体画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。

また、オーディオデコーダ２２７は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２７は、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データＡoutを得る。そして、このオーディオデコーダ２２７は、音声データＡoutを、ビットストリーム処理部２０１の外部に出力する。

図６１に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図６０参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、ビットストリームデータＢＳＤから、ビデオ、オーディオおよびサブタイトルのパケットが抽出され、各デコーダに供給される。

ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２６に供給される。

また、サブタイトルデコーダ２２３では、デマルチプレクサ２２１で抽出されたサブタイトルのパケットからサブタイトルデータストリームが再構成され、さらに復号化処理が行われて、立体画像用のサブタイトルデータ（視差情報群を含む）が得られる。このサブタイトルデータは、立体画像用サブタイトル発生部２２４に供給される。

立体画像用サブタイトル発生部２２４では、立体画像用のサブタイトルデータに基づいて、立体画像データに重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）が発生される。この場合、立体画像用のサブタイトルデータが左眼サブタイトルと右眼サブタイトルとの間に視差が付与されるように生成されているため、表示データは左眼サブタイトルおよび右眼サブタイトルに視差が付与されたものとなる。この表示データはビデオ重畳部２２６に供給される。

ビデオ重畳部２２６では、ビデオデコーダ２２２で得られた立体画像データに対し、立体画像用サブタイトル発生部２２４で発生された左眼サブタイトルおよび右眼サブタイトルの表示データが重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。

また、オーディオデコーダ２２７では、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が行われて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１の外部に出力される。

図６０に示すセットトップボックス２００において、デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビデオデータストリームとサブタイトルデータストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、サブタイトルデータストリームには、その立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータが含まれている。

この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。そのため、ビットストリーム処理部５９の立体画像用サブタイトル発生部２２４では、この立体画像用のサブタイトルデータに基づいて、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データおよび立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生でき、処理の容易化が図られる。

また、図６０に示すセットトップボックス２００において、ビットストリーム処理部２０１のサブタイトルデコーダ２２３で得られるサブタイトルデータには、視差情報群（オフセット値“offset_sequence”）が含まれている。そのため、立体画像用サブタイトル発生部２２４では、この視差情報群に基づいて、左眼サブタイトルと右眼サブタイトルとの間に所定の視差を付与できる。例えば、左眼サブタイトルと右眼サブタイトルとの間にフレーム単位で順次更新される視差を付与できる。また、例えば、左眼サブタイトルと右眼サブタイトルとの間に、所定数のフレーム期間の代表値、例えば最大値、平均値等による視差を付与できる。

［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。

［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図６２は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。

また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。

アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

ビットストリーム処理部３０６は、図６０に示すセットトップボックス２００内のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等を抽出する。また、このビットストリーム処理部３０６は、立体画像データに対して、左眼字幕、右眼字幕のデータを合成し、表示用立体画像データを生成して出力する。また、ビットストリーム処理部３０６は、音声データを出力する。

ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４ａとされており、立体画像データの取り扱いが可能な状態にある。

３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送フォーマット（図４参照）に対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、ＴＭＤＳ伝送データフォーマットに対応したデコード処理を行う。

映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。

音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。

ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。

リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。

図６２に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。

アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。

デジタルチューナ３０５から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対して、左眼字幕、右眼字幕のデータが合成され、表示用立体画像データが生成される。

ビットストリーム処理部３０６で生成された表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られた音声データは、音声信号処理回路３１０に供給される。

３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、重畳情報データの合成処理も行われる。

この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、例えば、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。

また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。

上述したように、図１に示す画像送受信システム１０においては、放送局１００（送信データ生成部２０１）からセットトップボックス２００に、ビデオデータストリームとサブタイトルデータストリームとを有する多重化データストリームが送信される。ビデオデータストリームには、立体画像データが含まれている。また、サブタイトルデータストリームには、その立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータが含まれている。

この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。そのため、セットトップボックス２００においては、この立体画像用のサブタイトルデータに基づいて、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データおよび立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生でき、ビットデータ処理部２０１の処理の容易化が図られる。

また、図１に示す画像送受信システム１０においては、放送局１００（送信データ生成部２０１）からセットトップボックス２００に送信される立体画像用のサブタイトルデータは、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されるように生成されている。そのため、セットトップボックス２００において、立体画像用サブタイトル発生部２２４で発生される左眼サブタイトルおよび右眼サブタイトルの表示データは、自動的に、左眼サブタイトルおよび右眼サブタイトルに視差が付与されたものとなる。したがって、セットトップボックス２００においては、左眼サブタイトルおよび右眼サブタイトルとの間に視差を付与する特別の処理を行わなくても、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、図１に示す画像送受信システム１０においては、放送局１００（送信データ生成部２０１）からセットトップボックス２００に送信される立体画像用のサブタイトルデータには、視差情報群（オフセット値“offset_sequence”）が含まれている。そのため、セットトップボックス２００においては、この視差情報群に基づいて、左眼サブタイトルと右眼サブタイトルとの間に所定の視差を付与できる。例えば、左眼サブタイトルと右眼サブタイトルとの間にフレーム単位で順次更新される視差を付与できる。また、例えば、左眼サブタイトルと右眼サブタイトルとの間に、所定数のフレーム期間の代表値、例えば最大値、平均値等による視差を付与できる。

＜２．変形例＞
なお、上述実施の形態においては、画像送受信システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図６２に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部３０６を備えている。したがって、図６３に示すように、放送局１００およびテレビ受信機３００で構成される画像送受信システム１０Ａも考えられる。

また、上述実施の形態においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。

また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を同様に適用できる。

また、上述実施の形態においては、重畳情報としてサブタイトル（字幕）を取り扱うものを示した。しかし、その他のグラフィクス情報、テキスト情報などの重畳情報を扱うものにも、この発明を同様に適用できる。

この発明は、画像に重ねてサブタイトル（字幕）などの重畳情報の表示を行い得る立体画像システムに適用できる。

１０，１０Ａ・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１３・・・ビデオエンコーダ
１１７・・・オーディオエンコーダ
１２２・・・マルチプレクサ
１３０・・・データ取り出し部
１３０ａ・・・データ記録媒体
１３１・・・視差情報作成部
１３２・・・サブタイトル発生部
１３３・・・サブタイトル処理部
１３４・・・サブタイトルエンコーダ
２００・・・セットトップボックス（ＳＴＢ）
２０１・・・ビットストリーム処理部
２０２・・・ＨＤＭＩ端子
２０３・・・アンテナ端子
２０４・・・デジタルチューナ
２０５・・・映像信号処理回路
２０６・・・ＨＤＭＩ送信部
２０７・・・音声信号処理回路
２１１・・・ＣＰＵ
２１５・・・リモコン受信部
２１６・・・リモコン送信機
２２１・・・デマルチプレクサ
２２２・・・ビデオデコーダ
２２３・・サブタイトルデコーダ
２２４・・・立体画像用サブタイトル発生部
２２６・・・ビデオ重畳部
２２７・・・オーディオデコーダ
３００・・・テレビ受信機（ＴＶ）
３０１・・・３Ｄ信号処理部
３０２・・・ＨＤＭＩ端子
３０３・・・ＨＤＭＩ受信部
３０４・・・アンテナ端子
３０５・・・デジタルチューナ
３０６・・・ビットストリーム処理部
３０７・・・映像・グラフィック処理回路
３０８・・・パネル駆動回路
３０９・・・表示パネル
３１０・・・音声信号処理回路
３１１・・・音声増幅回路
３１２・・・スピーカ
３２１・・・ＣＰＵ
３２５・・・リモコン受信部
３２６・・・リモコン送信機
４００・・・ＨＤＭＩケーブル

Claims (20)

1. 左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを出力する画像データ出力部と、
   上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
   上記重畳情報データ出力部から出力される上記重畳情報のデータを、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データに変換する重畳情報データ処理部と、
   上記画像データ出力部から出力される上記立体画像データを含む第１のデータストリームと、上記重畳情報データ処理部から出力される上記送信用重畳情報データを含む第２のデータストリームを有する多重化データストリームを送信するデータ送信部と
   を備える立体画像データ送信装置。
2. 上記左眼画像データによる左眼画像と上記右眼画像データによる右眼画像との間の視差情報を出力する視差情報出力部をさらに備え、
   上記重畳情報データ処理部は、上記視差情報出力部から出力される上記視差情報に基づいて、少なくとも、上記左眼重畳情報または上記右眼重畳情報をシフトさせて、該左眼重畳情報と該右眼重畳情報との間に視差を付与する
   請求項１に記載の立体画像データ送信装置。
3. 上記視差情報出力部から出力される上記視差情報に基づいて、上記重畳情報が表示される所定数のフレーム期間の各フレームにおける上記左眼重畳情報と上記右眼重畳情報との間に付与すべき視差の情報を生成する視差情報生成部をさらに備え、
   上記データ送信部は、上記視差情報生成部で生成された上記所定数のフレーム期間の各フレームにおける視差の情報を、識別情報で上記送信用重畳情報のデータと区別して、上記第２のデータストリームに挿入して送信する
   請求項２に記載の立体画像データ送信装置。
4. 上記視差情報生成部で生成される上記所定数のフレーム期間の各フレームにおける視差の情報は、前のフレームの視差の情報に対するオフセット情報である
   請求項３に記載の立体画像データ送信装置。
5. 上記データ送信部は、上記第２のデータストリームに上記立体画像データの伝送フォーマットに対応した上記送信用重畳情報データが含まれることを識別する識別情報を、上記多重化データストリームに挿入する
   請求項１に記載の立体画像データ送信装置。
6. 上記重畳情報のデータは、サブタイトルデータであり、
   上記重畳情報データ処理部は、上記左眼重畳情報のデータおよび上記右眼重畳情報のデータを、同一リージョンの異なるオブジェクトのデータとして、あるいは同一リージョンの同一オブジェクトのデータとして生成する
   請求項１に記載の立体画像データ送信装置。
7. 上記重畳情報のデータは、サブタイトルデータであり、
   上記重畳情報データ処理部は、上記左眼重畳情報のデータおよび上記右眼重畳情報のデータを、同一のページの異なるリージョンのデータとして生成する
   請求項１に記載の立体画像データ送信装置。
8. 上記重畳情報のデータは、サブタイトルデータであり、
   上記重畳情報データ処理部は、上記左眼重畳情報のデータおよび上記右眼重畳情報のデータを、異なるページのリージョンのデータとして生成する
   請求項１に記載の立体画像データ送信装置。
9. 上記重畳情報のデータは、サブタイトルデータであり、
   上記重畳情報データ処理部は、上記左眼重畳情報のデータおよび上記右眼重畳情報のデータのうち、一方を所定ページのリージョンのデータとして生成し、他方を該所定ページの上記リージョンをコピーするコピーリージョンのデータとして生成する
   請求項１に記載の立体画像データ送信装置。
10. 上記重畳情報のデータは、サブタイトルデータであり、
    上記重畳情報データ処理部は、上記左眼重畳情報のデータおよび上記右眼重畳情報のデータのうち、一方を所定ページのリージョンのデータとして生成し、他方を受信機側が合成することを前提に視差情報を生成する
    請求項１に記載の立体画像データ送信装置。
11. 上記重畳情報のデータは、サブタイトルデータであり、
    上記重畳情報データ処理部は、上記立体画像データの伝送フォーマットが、サイド・バイ・サイド方式である場合、上記左眼重畳情報のデータおよび上記右眼重畳情報のデータを、同一のリージョンの異なるオブジェクトのデータとして生成する
    請求項１に記載の立体画像データ送信装置。
12. 上記重畳情報のデータは、サブタイトルデータであり、
    上記重畳情報データ処理部は、上記立体画像データの伝送フォーマットが、トップ・アンド・ボトム方式である場合、上記左眼重畳情報のデータおよび上記右眼重畳情報のデータを、同一のページの異なるリージョンのデータとして生成する
    請求項１に記載の立体画像データ送信装置。
13. 左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを出力する画像データ出力ステップと、
    上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
    上記重畳情報データ出力ステップで出力される上記重畳情報のデータを、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データに変換する重畳情報データ処理ステップと、
    上記画像データ出力ステップで出力される上記立体画像データを含む第１のデータストリームと、上記重畳情報データ処理ステップで出力される上記送信用重畳情報データを含む第２のデータストリームを有する多重化データストリームを送信するデータ送信ステップと
    を備える立体画像データ送信方法。
14. 第１のデータストリームおよび第２のデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
    上記第１のデータストリームは、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含み、
    上記第２のデータストリームは、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データを含み、
    上記データ受信部で受信された上記多重化データストリームが有する上記第１のデータストリームから上記立体画像データを取得する画像データ取得部と、
    上記データ受信部で受信された上記多重化データストリームが有する上記第２のデータストリームから上記送信用重畳情報データを取得する重畳情報データ取得部と、
    上記重畳情報データ取得部で取得された上記送信用重畳情報データに基づいて、左眼画像および右眼画像に重畳情報を重畳表示するための表示データを発生する表示データ発生部と、
    上記画像データ取得部で取得された上記立体画像データに上記表示データ発生部で発生された表示データを重畳して出力立体画像データを得るデータ合成部とをさらに備える
    立体画像データ受信装置。
15. 上記データ受信部で受信された上記多重化データストリームに含まれる上記第２のデータストリームは、さらに、上記重畳情報が表示される所定数のフレーム期間の各フレームにおける上記左眼重畳情報と上記右眼重畳情報との間に付与すべき視差の情報を含み、
    上記データ受信部で受信された上記多重化データストリームに含まれる上記第２のデータストリームから、上記所定数のフレーム期間の各フレームにおける視差の情報を取得する視差情報取得部をさらに備え、
    上記表示データ発生部は、上記視差情報取得部で取得された上記所定数のフレーム期間の各フレームにおける視差の情報に基づいて、上記左眼重畳情報と上記右眼重畳情報との間に所定の視差を付与する
    請求項１４に記載の立体画像データ受信装置。
16. 上記表示データ発生部は、上記所定数のフレーム期間の各フレームにおける視差の情報の代表値を求め、上記左眼重畳情報と上記右眼重畳情報との間に、上記所定数のフレーム期間、該代表値による視差を付与する
    請求項１５に記載の立体画像データ受信装置。
17. 上記表示データ発生部は、上記所定数のフレーム期間の各フレームにおける視差の情報を用い、上記所定数のフレーム期間、上記左眼重畳情報と上記右眼重畳情報との間の視差を順次更新する
    請求項１５に記載の立体画像データ受信装置。
18. 上記データ合成部で得られた上記出力立体画像データを外部機器に送信するデジタルインタフェース部をさらに備える
    請求項１４に記載の立体画像データ受信装置。
19. 上記データ受信部で受信される上記多重化データストリームは、上記第２のデータストリームに上記立体画像データの伝送フォーマットに対応した上記送信用重畳情報データが含まれることを識別する識別情報を含み、
    上記データ受信部で受信される上記多重化データストリームから上記識別情報を取得する識別情報取得部と、
    上記識別情報取得部で取得された上記識別情報に基づいて、上記第２のデータストリームに上記立体画像データの伝送フォーマットに対応した上記送信用重畳情報データが含まれることを識別する重畳情報データ識別部とをさらに備える
    請求項１４に記載の立体画像データ受信装置。
20. 第１のデータストリームおよび第２のデータストリームを有する多重化データストリームを受信するデータ受信ステップを備え、
    上記第１のデータストリームは、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含み、
    上記第２のデータストリームは、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データを含み、
    上記データ受信ステップで受信された上記多重化データストリームが有する上記第１のデータストリームから上記立体画像データを取得する画像データ取得ステップと、
    上記データ受信ステップで受信された上記多重化データストリームが有する上記第２のデータストリームから上記送信用重畳情報データを取得する重畳情報データ取得ステップと、
    上記重畳情報データ取得ステップで取得された上記送信用重畳情報データに基づいて、左眼画像および右眼画像に重畳情報を重畳表示するための表示データを発生する表示データ発生ステップと、
    上記画像データ取得ステップで取得された上記立体画像データに上記表示データ発生ステップで発生された表示データを重畳して出力立体画像データを得るデータ合成ステップとをさらに備える
    立体画像データ受信方法。