WO2012043352A1

WO2012043352A1 - 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

Info

Publication number: WO2012043352A1
Application number: PCT/JP2011/071564
Authority: WO
Inventors: 塚越　郁夫
Original assignee: ソニー株式会社
Priority date: 2010-10-01
Filing date: 2011-09-22
Publication date: 2012-04-05
Also published as: EP2495981A4; RU2012122999A; MX2012006228A; KR20130098133A; BR112012013542A2; CN102726052B; AU2011309301A1; EP2495981A1; US20120242802A1; CN102726052A; AU2011309301B2; TW201230769A; JP2012080374A; JP5454444B2

Abstract

【課題】受信側の処理の容易化を図る。【解決手段】サブタイトル処理部１２３は、二次元画像用のサブタイトルデータを、立体画像データの伝送フォーマットに対応した立体画像用のサブタイトルデータに変換する。受信側においては、立体画像用のサブタイトルデータに基づいて、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データおよび立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生でき、処理の容易化が図られる。立体画像データ、立体画像用のサブタイトルデータの他に、左眼、右眼のサブタイトルの表示領域として設定されるサブリージョンの領域情報、ターゲットフレーム情報、視差情報を含む表示制御情報を送信する。左眼、右眼のサブタイトルに付与する視差を画像内容の変化に連動して動的に変化させることができる。シフト情報は、サブピクセル精度で生成される。

Description

立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

　この発明は、立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法に関し、特に、立体画像データと共に字幕などの重畳情報のデータを送信する立体画像データ送信装置等に関する。

　例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この伝送方式では、左眼用画像データおよび右眼用画像データを持つ立体画像データが送信され、両眼視差を利用した立体画像表示が行われる。

　図４１は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。

　また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。

　従来、立体画像データの伝送フォーマットとして、サイド・バイ・サイド（Side By Side）方式、トップ・アンド・ボトム（Top & Bottom）方式などが知られている。受信側が例えばセットトップボックスであるとき、受信された立体画像データを、伝送フォーマットを変換することなく、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースを介してテレビ受信機などのモニタ機器に送信することが考えられる。例えば、非特許文献１には、ＨＤＭＩ規格の詳細が記載されている。

　また、従来、送信側から、二次元画像データと共に、字幕などの重畳情報のデータを送信することが知られている。この場合、受信側においては、重畳情報のデータを処理して、重畳情報を表示するための表示データを生成し、この表示データを二次元画像データに重畳することで、重畳情報が重畳表示された二次元画像が得られる。

特開２００５－６１１４号公報

High-Definition Multimedia Interface Specification Version 1.4,June 52009

　上述したように立体画像データを送信する際にも、字幕などの重畳情報のデータを送信することが考えられる。重畳情報のデータが２次元画像用のものである場合、例えば、上述したようなセットトップボックスでは、この二次元画像用の重畳情報のデータから、立体画像データの伝送フォーマットに併せて、立体画像データに重畳する表示データを発生する処理が必要となる。そのため、立体画像データを受信するセットトップボックスとして、そのような高度な処理機能が必要となることから、高価なものとなる。

　この発明の目的は、立体画像データと共に字幕などの重畳情報のデータを送信する際の受信側の処理の容易化を図ることにある。

　この発明の概念は、
　左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを出力する画像データ出力部と、
　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
　上記重畳情報データ出力部から出力される上記重畳情報のデータを、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記所定の伝送フォーマットの立体画像データに含まれる上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データに変換する重畳情報データ処理部と、
　上記重畳情報データ処理部から出力される上記送信用重畳情報データの表示領域内に、上記左眼重畳情報の表示位置に対応した第１の表示領域と、上記右眼重畳情報の表示位置に対応した第２の表示領域とを設定し、上記第１の表示領域および上記第２の表示領域のそれぞれの領域情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報をそれぞれ表示するターゲットフレームの情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報の表示位置をそれぞれシフト調整する視差情報とを含む表示制御情報を生成する表示制御情報生成部と、
　上記画像データ出力部から出力される上記立体画像データを含む第１のデータストリームと、上記重畳情報データ処理部から出力される上記送信用重畳情報データおよび上記表示制御情報生成部で生成される上記表示制御情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部と
　を備える立体画像データ送信装置にある。

　この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データが出力される。例えば、立体画像データの伝送フォーマットは、サイド・バイ・サイド（Side By Side）方式、トップ・アンド・ボトム（Top & Bottom）方式などである。

　重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳される字幕、グラフィクス、テキストなどの情報である。重畳情報データ処理部により、重畳情報のデータが、左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データに変換される。

　ここで、左眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる左眼画像データに対応したデータであり、受信側において、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データを発生するためのデータである。また、右眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる右眼画像データに対応したデータであり、受信側において、立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを発生するためのデータである。

　重畳情報のデータは、例えばサブタイトルデータ（ＤＶＢのサブタイトルデータ）である。重畳情報データ処理部では、左眼重畳情報のデータおよび右眼重畳情報のデータが、以下のように生成される。例えば、立体画像データの伝送方式がサイド・バイ・サイド方式の場合、重畳情報データ処理部では、左眼重畳情報のデータおよび右眼重畳情報のデータが、同一リージョンの異なるオブジェクトのデータとして生成される。また、例えば、立体画像データの伝送方式がトップ・アンド・ボトム方式の場合、重畳情報データ処理部では、左眼重畳情報のデータおよび右眼重畳情報のデータが、異なるリージョンのオブジェクトのデータとして生成される。

　例えば、左眼画像データによる左眼画像と右眼画像データによる右眼画像との間の視差情報を出力する視差情報出力部をさらに備え、重畳情報データ処理部は、視差情報出力部から出力される視差情報に基づいて、少なくとも、左眼重畳情報または右眼重畳情報をシフトさせて、左眼重畳情報と右眼重畳情報との間に視差を付与する、ようにしてもよい。この場合、受信側においては、左眼重畳情報と右眼重畳情報との間に視差を付与する処理を行わなくても、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

　表示制御情報生成部により、送信用重畳情報データの表示領域内に、左眼重畳情報の表示位置に対応した第１の表示領域と、右眼重畳情報の表示位置に対応した第２の表示領域とが設定され、これら第１、第２の表示領域に関連した表示制御情報が生成される。これら第１、第２の表示領域は、例えば、ユーザ操作に応じて、あるいは自動的に設定される。

　この表示制御情報には、第１の表示領域の領域情報と、第２の表示領域の領域情報とが含まれる。また、この表示制御情報には、第１の表示領域に含まれる重畳情報を表示するターゲットフレームの情報と、第２の表示領域に含まれる重畳情報を表示するターゲットフレームの情報とが含まれる。さらに、この表示制御情報には、第１の表示領域に含まれる重畳情報の表示位置をシフト調整する視差情報と、第２の表示領域に含まれる重畳情報の表示位置をシフト調整する視差情報とが含まれる。これら視差情報は、第１の表示領域に含まれる重畳情報と第２の表示領域に含まれる重畳情報との間に視差を付与するためのものである。

　例えば、左眼画像データによる左眼画像と右眼画像データによる右眼画像との間の視差情報を出力する視差情報出力部をさらに備え、表示制御情報生成部は、視差情報出力部から出力される視差情報に基づいて、第１の表示領域および第２の表示領域に含まれる重畳情報の表示位置をそれぞれシフト調整する視差情報を取得する、ようにしてもよい。

　データ送信部により、第１のデータストリームと第２のデータストリームとを含む多重化データストリームが送信される。第１のデータストリームには、画像データ出力部から出力される所定の伝送フォーマットの立体画像データが含まれる。また、第２のデータストリームには、重畳情報データ処理部から出力される送信用重畳情報データおよび表示制御情報生成部で生成される表示制御情報が含まれる。

　このように、この発明においては、立体画像データと共に、その伝送フォーマットに対応した左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データが送信される。そのため、受信側においては、送信用重畳情報データに基づいて、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データおよび立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを容易に発生でき、処理の容易化が図られる。

　また、この発明においては、立体画像データ、送信用重畳情報データの他に、左眼重畳情報の表示位置に対応した第１の表示領域と、右眼重畳情報の表示位置に対応した第２の表示領域に関連した表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が送信される。受信側においては、これら第１の表示領域および第２の表示領域の重畳情報のみをそれぞれターゲットフレームに重畳表示することが可能となる。そして、これら第１の表示領域および第２の表示領域の重畳情報の表示位置に視差を付与でき、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。

　なお、この発明において、例えば、表示制御情報生成部で生成される表示制御情報に含まれる視差情報はサブピクセルの精度を持つようにされてもよい。この場合、受信側においては、重畳情報の表示期間において順次更新される視差情報により、第１の表示領域および第２の表示領域の重畳情報の表示位置をシフト調整する場合、そのシフト動作を滑らかにでき、画質向上に寄与できる。

　また、この発明において、例えば、表示制御情報生成部で生成される表示制御情報には、さらに、第１の表示領域および第２の表示領域に含まれる重畳情報のそれぞれの表示のオンオフを制御するコマンド情報が含まれるようにされてもよい。この場合、受信側においては、コマンド情報に基づいて、そのコマンド情報と共に表示制御情報に含まれている領域情報および視差情報による第１の表示領域および第２の表示領域の重畳情報の表示をオンあるいはオフにすることが可能となる。

　また、この発明において、例えば、データ送信部は、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データが含まれることを識別する識別情報を、多重化データストリームに挿入するようにされてもよい。この場合、受信側においては、この識別情報により、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データ（立体画像用の重畳情報データ）が含まれているか否かが識別可能となる。

　また、この発明において、例えば、重畳情報のデータはサブタイトルデータであり、重畳情報データの表示領域はリージョンであり、第１の表示領域および第２の表示領域は、リージョンに含まれるように設定されたサブリージョンであってもよい。ここで、サブリージョン領域は、新たに定義される領域である。

　また、この発明の他の概念は、
　第１のデータストリームおよび第２のデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
　上記第１のデータストリームは、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含み、
　上記第２のデータストリームは、送信用重畳情報データおよび表示制御情報を含み、
　上記送信用重畳情報データは、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持ち、
　上記表示制御情報は、上記送信用重畳情報データの表示領域内に設定された上記左眼重畳情報の表示位置に対応した第１の表示領域と上記右眼重畳情報の表示位置に対応した第２の表示領域のそれぞれの領域情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報をそれぞれ表示するターゲットフレームの情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報の表示位置をそれぞれシフト調整する視差情報を持ち、
　上記データ受信部で受信された上記多重化データストリームが有する上記第１のデータストリームから上記立体画像データを取得する画像データ取得部と、
　上記データ受信部で受信された上記多重化データストリームが有する上記第２のデータストリームから上記送信用重畳情報データを取得する重畳情報データ取得部と、
　上記データ受信部で受信された上記多重化データストリームが有する上記第２のデータストリームから上記表示制御情報を取得する表示制御情報取得部と、
　上記重畳情報データ取得部で取得された上記送信用重畳情報データに基づいて、左眼画像および右眼画像にそれぞれ左眼重畳情報および右眼重畳情報を重畳表示するための表示データを発生する表示データ発生部と、
　上記表示データ発生部で発生された上記表示データのうち、上記表示制御情報取得部で取得された上記表示制御情報が持つ上記第１の表示領域および上記第２の表示領域の領域情報に基づいて、上記第１の表示領域および上記第２の表示領域の表示データを抽出する表示データ抽出部と、
　上記表示データ抽出部で抽出される上記第１の表示領域および上記第２の表示領域の表示データの位置を、上記表示制御情報取得部で取得された上記表示制御情報が持つ上記視差情報に基づいてシフト調整するシフト調整部と、
　上記シフト調整部でシフト調整された上記第１の表示領域および上記第２の表示領域の表示データを、それぞれ、上記画像データ取得部で取得された上記立体画像データのうち、上記表示制御情報取得部で取得された上記表示制御情報が持つ上記ターゲットフレーム情報が示すターゲットフレームに重畳して出力立体画像データを得るデータ合成部とをさらに備える
　立体画像データ受信装置にある。

　この発明において、データ受信部により、第１のデータストリームおよび第２のデータストリームを有する多重化データストリームが受信される。第１のデータストリームには、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含まれている。

　第２のデータストリームには、左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データ（立体画像用の重畳情報データ）が含まれている。左眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる左眼画像データに対応したデータであり、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データを発生するためのデータである。また、右眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる右眼画像データに対応したデータであり、立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを発生するためのデータである。

　また、第２のデータストリームには、表示制御情報が含まれている。この表示制御情報には、送信用重畳情報データの表示領域内に設定された左眼重畳情報の表示位置に対応した第１の表示領域と右眼重畳情報の表示位置に対応した第２の表示領域のそれぞれの領域情報が含まれている。また、この表示制御情報には、第１の表示領域および第２の表示領域に含まれる重畳情報をそれぞれ表示するターゲットフレームの情報が含まれている。さらに、この表示制御情報には、第１の表示領域および第２の表示領域に含まれる重畳情報の表示位置をそれぞれシフト調整する視差情報が含まれている。

　画像データ取得部により、データ受信部で受信された多重化データストリームが有する第１のデータストリームから所定の伝送フォーマットの立体画像データが取得される。また、重畳情報データ取得部により、データ受信部で受信された多重化データストリームが有する第２のデータストリームから送信用重畳情報データが取得される。さらに、表示制御情報取得部により、データ受信部で受信された多重化データストリームが有する第２のデータストリームから表示制御情報が取得される。

　表示データ発生部により、重畳情報データ取得部で取得された送信用重畳情報データに基づいて、左眼画像および右眼画像に重畳情報を重畳表示するための表示データが発生される。そして、表示データ抽出部により、表示データ発生部で発生された表示データのうち、表示制御情報が持つ第１の表示領域および第２の表示領域の領域情報に基づいて、第１の表示領域および上記第２の表示領域の表示データが抽出される。このように抽出された表示データが表示対象となる。

　シフト調整部により、表示データ抽出部で抽出される第１の表示領域および第２の表示領域の表示データの位置が、表示制御情報取得部で取得された表示制御情報が持つ視差情報に基づいてシフト調整される。そして、データ合成部により、シフト調整部でシフト調整された第１の表示領域および第２の表示領域の表示データが、それぞれ、画像データ取得部で取得された立体画像データのうち、表示制御情報取得部で取得されたターゲットフレームの情報が示すターゲットフレームに重畳されて、出力立体画像データが得られる。この出力立体画像データは、例えば、ＨＤＭＩなどのデジタルインタフェース部により、外部機器に送信される。あるいは、この出力立体画像データにより、表示パネルに、ユーザに立体画像を知覚させるための左眼画像および右眼画像の表示が行われる。

　このように、この発明においては、立体画像データと共に、その伝送フォーマットに対応した左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データが受信される。そのため、送信用重畳情報データに基づいて、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データおよび立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを容易に発生でき、処理の容易化が図られる。

　また、この発明においては、立体画像データ、送信用重畳情報データの他に、左眼重畳情報の表示位置に対応した第１の表示領域と、右眼重畳情報の表示位置に対応した第２の表示領域に関連した表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が受信される。そのため、第１の表示領域および第２の表示領域の重畳情報のみをそれぞれターゲットフレームに重畳表示することが可能となる。そして、これら第１の表示領域および第２の表示領域の重畳情報の表示位置に視差を付与でき、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。

　なお、この発明において、例えば、データ受信部で受信される多重化データストリームは、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データが含まれることを識別する識別情報を含み、データ受信部で受信される多重化データストリームから識別情報を取得する識別情報取得部と、識別情報取得部で取得された識別情報に基づいて、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データが含まれることを識別する重畳情報データ識別部とをさらに備えるようにされてもよい。この場合、この識別情報により、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データ（立体画像用の重畳情報データ）が含まれているか否かが識別可能となる。

　この発明によれば、送信側から受信側に、立体画像データと共に、その伝送フォーマットに対応した左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データが送信される。そのため、受信側においては、送信用重畳情報データに基づいて、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データおよび立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを容易に発生でき、処理の容易化が図られる。

　また、この発明によれば、立体画像データ、送信用重畳情報データの他に、左眼重畳情報の表示位置に対応した第１の表示領域と、右眼重畳情報の表示位置に対応した第２の表示領域に関連した表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が送信される。受信側においては、これら第１の表示領域および第２の表示領域の重畳情報のみをそれぞれターゲットフレームに重畳表示することが可能となる。そして、これら第１の表示領域および第２の表示領域の重畳情報の表示位置に視差を付与でき、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。

この発明の実施の形態としての画像送受信システムの構成例を示すブロック図である。放送局における送信データ生成部の構成例を示すブロック図である。１９２０×１０８０のピクセルフォーマットの画像データを示す図である。立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。視差ベクトルをブロックマッチング方式で求めることを説明するための図である。送信データ生成部の視差情報作成部で行われるダウンサイジング処理を説明するための図である。シフト情報がサブピクセルの精度を持つこと、つまりシフト情報が整数部と小数部とから構成されることを説明するための図である。ビデオエレメンタリストリーム、サブタイトルエレメンタリストリーム、オーディオエレメンタリストリームを含むトランスポートストリーム（ビットストリームデータ）の構成例を示す図である。サブタイトルデータを構成するＰＣＳ（page_composition_segment）の構造を示す図である。「segment_type」の各値とセグメントタイプとの対応関係を示す図である。新たに定義される３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）を説明するための図である。サブタイトル処理部で作成されて送信されるサブタイトルデータ（表示制御情報を含む）の構成例を説明するための図である。ＳＣＳ（subregion composition_segment）のセグメントに含まれるコマンド情報による表示のオンオフ制御を説明するための図である。ＳＣＳのセグメントに含まれるコマンド情報による表示のオンオフ制御を説明するための図である。ＳＣＳのセグメントに含まれるコマンド情報による表示のオンオフ制御がない場合の表示状態を説明するための図である。ルデータ（視差情報群を含む）の構成例（ケースＡ～Ｅ）を説明するための図である。立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示す図である。立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）、さらに、サブリージョン（Subregion）の一例を示す図である。立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例１）を示す図である。立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例２）を示す図である。立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示す図である。立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）、さらに、サブリージョン（Subregion）の一例を示す図である。立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例１）を示す図である。立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例２）を示す図である。立体画像データの伝送フォーマットがフレーム・シーケンシャル方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示す図である。立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）、さらに、サブリージョン（Subregion）の一例を示す図である。立体画像データの伝送フォーマットがフレーム・シーケンシャル方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例１）を示す図である。立体画像データの伝送フォーマットがフレーム・シーケンシャル方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例２）を示す図である。ＳＣＳ（Subregion composition segment）の構造例（syntax）を示す図である。ＳＣＳに含まれる「Subregion_payload()」の構造例（syntax）を示す図である。ＳＣＳの主要なデータ規定内容（semantics）を示す図である。立体画像データ（サイド・バイ・サイド方式）およびサブタイトルデータ（表示制御情報を含む）の流れを概略的に示す図である。立体画像データ（ＭＶＣ方式）およびサブタイトルデータ（表示制御情報を含む）の流れを概略的に示す図である。画像上における字幕の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。画像上における字幕の表示例と、字幕を表示するための左眼字幕ＬＧＩおよび右眼字幕ＲＧＩを示す図である。画像送受信システムを構成するセットトップボックスの構成例を示すブロック図である。セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。セットトップボックスにおいて、水平方向に１／２画素（ピクセル）分のシフトをする場合の補間処理例を概略的に示す図である。画像送受信システムを構成するテレビ受信機の構成例を示すブロック図である。画像送受信システムの他の構成例を示すブロック図である。両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。

　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例

　＜１．実施の形態＞
　［画像送受信システムの構成例］
　図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、テレビ受信機（ＴＶ）３００を有している。

　セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(High-Definition Multimedia Interface)のデジタルインタフェースで接続されている。セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩケーブル４００を用いて接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。

　［放送局の説明］
　放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。放送局１００は、ビットストリームデータＢＳＤを生成する送信データ生成部１１０を備えている。このビットストリームデータＢＳＤには、立体画像データ、音声データ、重畳情報のデータなどが含まれる。立体画像データは所定の伝送フォーマットを有し、立体画像を表示するための左眼画像データおよび右眼画像データを持っている。重畳情報は、一般的には、字幕、グラフィクス情報、テキスト情報などであるが、この実施の形態においては、サブタイトル（字幕）である。

　「送信データ生成部の構成例」
　図２は、放送局１００において、送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、視差ベクトル検出部１１３と、マイクロホン１１４と、データ取り出し部１１５と、切換スイッチ１１６～１１８を有している。また、この送信データ生成部１１０は、ビデオエンコーダ１１９と、オーディオエンコーダ１２０と、サブタイトル発生部１２１と、視差情報作成部１２２と、サブタイトル処理部１２３と、サブタイトルエンコーダ１２５と、マルチプレクサ１２５を有している。

　カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られた左眼画像データおよびカメラ１１１Ｒで得られた右眼画像データを、伝送フォーマットに応じた立体画像データ（３Ｄ画像データ）に加工処理する。このビデオフレーミング部１１２は、画像データ出力部を構成している。

　立体画像データの伝送フォーマット例を説明する。ここでは、以下の第１～第３の伝送フォーマットを挙げるが、これら以外の伝送フォーマットであってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０のピクセルフォーマットの画像データである場合を例にとって説明する。

　第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。

　第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。

　第３の伝送方式は、フレーム・シーケンシャル（Frame Sequential）方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレーム・シーケンシャル方式は、フル・フレーム（Full Frame）方式、あるいはバックワード・コンパチブル（Backward Compatible）方式と称される場合もある。

　視差ベクトル検出部１１３は、左眼画像データおよび右眼画像データに基づき、例えば、画像を構成するピクセル（画素）毎の視差ベクトルを検出する。視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。

　（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。

　この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８、あるいは１６×１６の比較ブロックが順次設定されていく。

　画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)－Ｒ(x,y)｜で表される。

　右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１～Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′－xi，yi′－yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。

　図２に戻って、マイクロホン１１４は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。

　データ取り出し部１１５は、データ記録媒体１１５ａを着脱自在に装着した状態で使用される。このデータ記録媒体１１５ａは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体１１５ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、重畳情報のデータ、視差ベクトルが対応付けて記録されている。データ取り出し部１１５は、データ記録媒体１１５ａから、立体画像データ、音声データおよび視差ベクトルを取り出して出力する。このデータ取り出し部１１５は、画像データ出力部を構成している。

　ここで、データ記録媒体１１５ａに記録されている立体画像データは、ビデオフレーミング部１１２で得られる立体画像データに相当するものである。また、データ記録媒体１１５ａに記録されている音声データは、マイクロホン１１４で得られる音声データに相当するものである。また、データ記録媒体１１５ａに記録されている視差ベクトルは、視差ベクトル検出部１１３で検出される視差ベクトルに相当するものである。

　切り換えスイッチ１１６は、ビデオフレーミング部１１２で得られた立体画像データまたはデータ取り出し部１１５から出力された立体画像データを選択的に取り出す。この場合、切り換えスイッチ１１６は、ライブモードでは、ａ側に接続され、ビデオフレーミング部１１２で得られた立体画像データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された立体画像データを取り出す。

　切り換えスイッチ１１７は、視差ベクトル検出部１１３で検出された視差ベクトルまたはデータ取り出し部１１５から出力された視差ベクトルを選択的に取り出す。この場合、切り換えスイッチ１１７は、ライブモードでは、ａ側に接続され、視差ベクトル検出部１１３で検出された視差ベクトルを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された視差ベクトルを取り出す。

　切り換えスイッチ１１８は、マイクロホン１１４で得られた音声データまたはデータ取り出し部１１５から出力された音声データを選択的に取り出す。この場合、切り換えスイッチ１１８は、ライブモードでは、ａ側に接続され、マイクロホン１１４で得られた音声データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された音声データを取り出す。

　ビデオエンコーダ１１９は、切り換えスイッチ１１６で取り出された立体画像データに対して、ＭＰＥＧ４－ＡＶＣ、ＭＰＥＧ２、ＶＣ－１等の符号化を施し、ビデオデータストリーム（ビデオエレメンタリストリーム）を生成する。オーディオエンコーダ１２０は、切り換えスイッチ１１８で取り出された音声データに対して、ＡＣ３、ＡＡＣ等の符号化を施し、オーディオデータストリーム（オーディオエレメンタリストリーム）を生成する。

　サブタイトル発生部１２１は、ＤＶＢ（Digital Video Broadcasting）の字幕データであるサブタイトルデータを発生する。このサブタイトルデータは、二次元画像用のサブタイトルデータである。このサブタイトル発生部１２１は、重畳情報データ出力部を構成している。

　視差情報作成部１２２は、切り換えスイッチ１１７で取り出されたピクセル（画素）毎の視差ベクトル（水平方向視差ベクトル）に対して、ダウンサイジング処理を施し、サブタイトルに適用すべき視差情報（水平方向視差ベクトル）を作成する。この視差情報作成部１２２は、視差情報出力部を構成している。なお、サブタイトルに適用する視差情報は、ページ単位、リージョン単位、あるいはオブジェクト単位で付すことが可能である。また、この視差情報は必ずしも視差情報作成部１２２で生成される必要はなく、外部から別途供給される構成も可能である。

　図７は、視差情報作成部１２２で行われるダウンサイジング処理の一例を示している。最初に、視差情報作成部１２２は、図７（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

　次に、視差情報作成部１２２は、図７（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図７（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

　次に、視差情報作成部１２２は、図７（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図７（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

　次に、視差情報作成部１２２は、図７（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図７（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

　このようにして、視差情報作成部１２２は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図７に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。

　図２に戻って、サブタイトル処理部１２３は、サブタイトル発生部１２１で発生されたサブタイトルデータを、切り換えスイッチ１１６で取り出される立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータに変換する。このサブタイトル処理部１２３は、重畳情報データ処理部を構成し、変換後の立体画像データ用のサブタイトルデータは、送信用重畳情報データを構成する。

　この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。ここで、左眼サブタイトルのデータは、上述の立体画像データに含まれる左眼画像データに対応したデータであり、受信側において、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データを発生するためのデータである。また、右眼サブタイトルのデータは、上述の立体画像データに含まれる右眼画像データに対応したデータであり、受信側において、立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを発生するためのデータである。

　この場合、サブタイトル処理部１２３は、視差情報作成部１２２からのサブタイトルに適用すべき視差情報（水平方向視差ベクトル）に基づき、少なくとも、左眼サブタイトルまたは右眼サブタイトルをシフトさせて、左眼サブタイトルと右眼サブタイトルとの間に視差を付与することもできる。このように左眼サブタイトルと右眼サブタイトルとの間に視差を付与することで、受信側においては、視差を付与する処理を行わなくても、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

　このサブタイトル処理部１２３は、表示制御情報生成部１２４を備えている。この表示制御情報生成部１２４は、サブリージョン（Subregion）に関連した表示制御情報を生成する。ここで、サブリージョンは、リージョン内にのみ定義される領域である。このサブリージョンには、左眼サブリージョン（左眼ＳＲ）および右眼サブリージョン（右眼ＳＲ）がある。以下、適宜、サブリージョンを左眼ＳＲと呼び、右眼サブリージョンを右眼ＳＲと呼ぶ。

　左眼サブリージョンは、送信用重畳情報データの表示領域であるリージョン内に、左眼サブタイトルの表示位置に対応して設定された領域である。また、右眼サブリージョンは、送信用重畳情報データの表示領域であるリージョン内に、右眼サブタイトルの表示位置に対応して設定された領域である。例えば、左眼サブリージョンは第１の表示領域を構成し、右眼サブリージョンは第２の表示領域を構成する。これら左眼ＳＲおよび右眼ＳＲの領域は、サブタイトル発生部１２１で発生されるサブタイトルデータ毎に、例えば、ユーザ操作に基づいて、あるいは自動的に設定される。なお、この場合、左眼ＳＲ内の左眼サブタイトルと右眼ＳＲ内の右眼サブタイトルとが対応したものとなるように、左眼ＳＲおよび右眼ＳＲの領域が設定される。

　表示制御情報には、左眼ＳＲの領域情報と、右眼ＳＲの領域情報とが含まれる。また、この表示制御情報には、左眼ＳＲに含まれる左眼サブタイトルを表示するターゲットフレームの情報と、右眼ＳＲに含まれる右眼サブタイトルを表示するターゲットフレームの情報とが含まれる。ここで、左眼ＳＲに含まれる左眼サブタイトルを表示するターゲットフレームの情報は左眼画像のフレームを示し、右眼ＳＲに含まれる右眼サブタイトルを表示するターゲットフレームの情報は右眼画像のフレームを示す。

　また、この表示制御情報には、左眼ＳＲに含まれる左眼サブタイトルの表示位置をシフト調整する視差情報（disparity）と、右眼ＳＲに含まれる右眼サブタイトルの表示位置をシフト調整する視差情報とが含まれる。これら視差情報は、左眼ＳＲに含まれる左眼サブタイトルと右眼ＳＲに含まれる右眼サブタイトルとの間に視差を付与するためのものである。

　この場合、表示制御情報生成部１２３は、視差情報作成部１２２で作成された例えばサブタイトルに適用すべき視差情報（水平方向視差ベクトル）に基づいて、上述の表示制御情報に含ませるシフト調整のための視差情報を取得する。ここで、左眼ＳＲの視差情報「Disparity1」および右眼ＳＰの視差情報「Disparity2」は、それらの絶対値が等しく、しかもそれらの差が、サブタイトルに適用すべき視差情報（Disparity）に対応した値となるように、決定される。例えば、立体画像データの伝送フォーマットがサイド・バイ・サイド方式の場合には、視差情報（Disparity）に対応した値は、“Disparity／２”である。また、例えば、立体画像データの伝送フォーマットがトップ・アンド・ボトム（Top & Bottom）方式の場合には、視差情報（Disparity）に対応した値は、“Disparity”とされる。

　この実施の形態において、表示制御情報生成部１２４は、上述の表示制御情報に含ませる視差情報をサブピクセルの精度を持つように生成する。この場合、視差情報は、図８（ａ）に示すように、整数部と小数部とから構成される。なお、サブピクセル（Subpixel）は、デジタル画像を構成するピクセル（Integer pixel）を細分化したものである。視差情報がサブピクセルの精度を持つことで、受信側においては、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置を、サブピクセルの精度でシフト調整することが可能となる。図８（ｂ）は、サブピクセルの精度でのシフト調整例を概略的に示しており、リージョン・パーティション内のサブタイトルの表示位置が実線枠位置から破線枠位置にシフト調整される例を示している。

　なお、サブタイトルデータは、ＤＤＳ、ＰＣＳ、ＲＳＣ、ＣＤＳ、ＯＤＳなどのセグメントを持つ。ＤＤＳ（display definition segment）は、ＨＤＴＶ用の表示（display）サイズを指定する。ＰＣＳ（page composition segment）は、ページ（page）内のリージョン（region）位置を指定する。ＲＣＳ（region composition segment）は、リージョン（Region）の大きさやオブジェクト（object）の符号化モードを指定し、また、オブジェクト（object）の開始位置を指定する。ＣＤＳ（CLUT definition segment）は、ＣＬＵＴ内容の指定をする。ＯＤＳ（objectdata segment）は、符号化ピクセルデータ（Pixeldata）を含む。

　この実施の形態においては、ＳＣＳ（Subregion　composition segment）のセグメントが新たに定義される。そして、このＳＣＳのセグメントに、上述したように表示制御情報生成部１２４で生成された表示制御情報が挿入される。サブタイトル処理部１２３の処理の詳細ついては、さらに、後述する。

　図２に戻って、サブタイトルエンコーダ１２５は、サブタイトル処理部１２３から出力される立体画像用のサブタイトルデータおよび表示制御情報を含むサブタイトルデータストリーム（サブタイトルエレメンタリストリーム）を生成する。マルチプレクサ１２６は、ビデオエンコーダ１１９、オーディオエンコーダ１２０およびサブタイトルエンコーダ１２５からの各データストリームを多重化し、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームを得る。

　なお、この実施の形態において、マルチプレクサ１２６は、サブタイトルデータストリームに、立体画像用のサブタイトルデータが含まれることを識別する識別情報を挿入する。具体的には、ＥＩＴ（Event Information Table）の配下に挿入されているコンポーネント・デスクリプタ（Component_Descriptor）に、Stream_content(‘0x03’=DVBsubtitles) ＆ Component_type(for 3D target)が記述される。Component_type(for 3D target)は、立体画像用のサブタイトルデータを示すために新たに定義される。

　図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送フォーマットに応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）～（ｃ）参照）。

　ビデオフレーミング部１１２で得られた立体画像データは、切り換えスイッチ１１６のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた立体画像データは、切り換えスイッチ１１６のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１６はａ側に接続され、この切り換えスイッチ１１６からはビデオフレーミング部１１２で得られた立体画像データが取り出される。再生モードでは、切り換えスイッチ１１６はｂ側に接続され、この切り換えスイッチ１１６からはデータ取り出し部１１５から出力された立体画像データが取り出される。

　切り換えスイッチ１１６で取り出された立体画像データは、ビデオエンコーダ１１９に供給される。このビデオエンコーダ１１９では、その立体画像データに対してＭＰＥＧ４－ＡＶＣ、ＭＰＥＧ２、ＶＣ－１等の符号化が施され、符号化ビデオデータを含むビデオデータストリームが生成される。このビデオデータストリームはマルチプレクサ１２６に供給される。

　マイクロホン１１４で得られた音声データは、切り換えスイッチ１１８のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた音声データは、切り換えスイッチ１１８のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１８はａ側に接続され、この切り換えスイッチ１１８からはマイクロホン１１４で得られた音声データが取り出される。再生モードでは、切り換えスイッチ１１８はｂ側に接続され、この切り換えスイッチ１１８からはデータ取り出し部１１５から出力された音声データが取り出される。

　切り換えスイッチ１１８で取り出された音声データはオーディオエンコーダ１２０に供給される。このオーディオエンコーダ１２０では、音声データに対して、ＭＰＥＧ－２ＡｕｄｉｏＡＡＣ、あるいは、ＭＰＥＧ－４　ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオデータストリームが生成される。このオーディオデータストリームはマルチプレクサ１２６に供給される。

　カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１３に供給される。この視差ベクトル検出部１１３では、左眼画像データおよび右眼画像データに基づき、ピクセル（画素）毎の視差ベクトルが検出される。この視差ベクトルは、切換スイッチ１１７のａ側の固定端子に供給される。また、データ取り出し部１１５から出力されたピクセル（画素）毎の視差ベクトルは、切り換えスイッチ１１７のｂ側の固定端子に供給される。

　ライブモードでは、切り換えスイッチ１１７はａ側に接続され、この切り換えスイッチ１１７からは視差ベクトル検出部１１３で得られたピクセル（画素）毎の視差ベクトルが取り出される。再生モードでは、切り換えスイッチ１１７はｂ側に接続され、この切り換えスイッチ１１７からはデータ取り出し部１１５から出力されたピクセル（画素）毎の視差ベクトルが取り出される。

　サブタイトル発生部１２１では、ＤＶＢの字幕データであるサブタイトルデータ（二次元画像用）が発生される。このサブタイトルデータは、視差情報作成部１２２およびサブタイトル処理部１２３に供給される。

　切り換えスイッチ１１７で取り出されたピクセル（画素）毎の視差ベクトルは、視差情報作成部１２２に供給される。この視差情報作成部１２２では、ピクセル毎の視差ベクトルに対してダウンサイジング処理が施され、サブタイトルに適用すべき視差情報（水平方向視差ベクトル＝Disparity）が作成される。この視差情報は、サブタイトル処理部１２３に供給される。

　サブタイトル処理部１２３では、サブタイトル発生部１２１で発生された二次元画像用のサブタイトルデータが、上述の切り換えスイッチ１１６で取り出された立体画像データの伝送フォーマットに対応した立体画像用のサブタイトルデータに変換される。この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。この場合、サブタイトル処理部１２３では、視差情報作成部１２２からのサブタイトルに適用すべき視差情報に基づき、少なくとも、左眼サブタイトルまたは右眼サブタイトルをシフトさせて、左眼サブタイトルと右眼サブタイトルとの間に視差を付与される場合もある。

　サブタイトル処理部１２３の表示制御情報生成部１２４では、サブリージョン（Subregion）に関連した表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が生成される。サブリージョンには、上述したように、左眼サブリージョン（左眼ＳＲ）および右眼サブリージョン（右眼ＳＲ）が含まれる。そのため、表示制御情報として、左眼ＳＲ、右眼ＳＲのそれぞれの領域情報、ターゲットフレーム情報、視差情報が生成される。

　上述したように、左眼ＳＲは、例えば、ユーザ操作に基づいて、あるいは自動的に、送信用重畳情報データの表示領域であるリージョン内に、左眼サブタイトルの表示位置に対応して設定される。同様に、右眼ＳＲは、例えば、ユーザ操作に基づいて、あるいは自動的に、送信用重畳情報データの表示領域であるリージョン内に、右眼サブタイトルの表示位置に対応して設定される。

　サブタイトル処理部１２３で得られる立体画像用のサブタイトルデータおよび表示制御情報は、サブタイトルエンコーダ１２５に供給される。このサブタイトルエンコーダ１２５では、立体画像用のサブタイトルデータおよび表示制御情報を含むサブタイトルデータストリームが生成される。このサブタイトルデータストリームには、立体画像用のサブタイトルデータが挿入されたＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ等のセグメントと共に、表示制御情報を含む新たに定義されたＳＣＳのセグメントが含まれる。

　マルチプレクサ１２６には、上述したように、ビデオエンコーダ１１９、オーディオエンコーダ１２０およびサブタイトルエンコーダ１２５からの各データリストリームが供給される。そして、このマルチプレクサ１２６では、各データストリームがパケット化されて多重され、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームが得られる。

　図９は、トランスポートストリーム（ビットストリームデータ）の構成例を示している。このトランスポートストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」、オーディオエレメンタリストリームのＰＥＳパケット「AudioPES」、サブタイトルエレメンタリストリームのＰＥＳパケット「「Subtitle PES」が含まれている。

　この実施の形態において、サブタイトルエレメンタリストリーム（サブタイトルデータストリーム）には、立体画像用のサブタイトルデータおよび表示制御情報が含まれる。このストリームには、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳなどの従来周知のセグメントと共に、新たに定義された表示制御情報を含むＳＣＳのセグメントが含まれる。

　図１０は、ＰＣＳ（page_composition_segment）の構造を示している。このＰＣＳのセグメントタイプは、図１１に示すように、「0x10」である。「region_horizontal_address」、「region_vertical_address」は、リージョン（region）の開始位置を示す。なお、ＤＤＳ、ＲＳＣ、ＯＤＳなどのその他のセグメントについては、その構造の図示は省略する。図１１に示すように、ＤＤＳのセグメントタイプは「0x14」であり、ＲＣＳのセグメントタイプは「0x11」であり、ＣＤＳのセグメントタイプは「0x12」であり、ＯＤＳのセグメントタイプは「0x13」である。例えば、図１１に示すように、ＳＣＳのセグメントタイプは「0x49」とされる。このＳＣＳのセグメントの詳細構造については、後述する。

　図９に戻って、また、トランスポートストリームには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。このＥＩＴには、番組単位のメタデータが記載される。

　ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（ProgramDescriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループ、サブタイトルエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。

　ＥＩＴの配下に、コンポーネント・デスクリプタ（Component_Descriptor）が挿入されている。この実施の形態において、このコンポーネント・デスクリプタに、Stream_content(‘0x03’=DVB subtitles) ＆Component_type(for 3D target)が記述される。これにより、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることが識別可能とされる。この実施の形態においては、図１２に示すように、配信内容を示す「component_descriptor」の「stream_content」がサブタイトル（subtitle）を示す場合に、３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）が新たに定義される。

　［サブタイトル処理部の処理］
　図２に示す送信データ生成部１１０のサブタイトル処理部１２３の処理の詳細を説明する。このサブタイトル処理部１２３は、上述したように、二次元画像用のサブタイトルデータを立体画像用のサブタイトルデータに変換する。また、このサブタイトル処理部１２３は、上述したように、表示制御情報生成部１２４において、表示制御情報（左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を含む）を生成する。

　サブタイトル処理部１２３で作成されて送信されるサブタイトルデータ（表示制御情報を含む）の構成として、例えば、図１３に示すように、「ケースＡ」あるいは「ケースＢ」が考えられる。「ケースＡ」の構成では、サブタイトルが表示される所定数のフレーム期間の開始前に、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＳＣＳ、ＥＤＳのサブタイトル表示に係る一連のセグメントが作成されて、時間情報（ＰＴＳ）が付加されて一括送信される。なお、サブタイトルが表示される所定数のフレーム期間を、以下、適宜、「サブタイトル表示期間」と呼ぶことにする。

　「ケースＢ」の構成では、サブタイトルが表示される所定数のフレーム期間（サブタイトル表示期間）の開始前に、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＳＣＳのサブタイトル表示に係る一連のセグメントが作成され、時間情報（ＰＴＳ）が付加されて一括送信される。その後、サブタイトル表示期間において、視差情報が更新されたＳＣＳのセグメントが順次作成され、時間情報（ＰＴＳ）が付加されて送信される。そして、最後のＳＣＳのセグメントの送信にあっては、ＥＤＳのセグメントも作成されて、時間情報（ＰＴＳ）が付加されて送信される。

　この「ケースＢ」の構成では、視差情報が順次更新されたＳＣＳのセグメントがサブタイトル表示期間において送信されるので、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置を動的に制御できる。これにより、受信側においては、左眼サブタイトルおよび右眼サブタイトルとの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

　なお、上述の「ケースＢ」の構成で左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置を動的に制御する方法では、受信側において、以下の表示オンオフ制御が必要となる。つまり、この表示オンオフ制御は、あるフレームのＳＣＳのセグメント内の視差情報に基づいた表示を行う際に、この表示をオン（有効）にすると共に、前のフレームのＳＣＳのセグメント内の視差情報に基づいた表示をオフ（無効）にする制御である。

　この受信側における表示オンオフ制御のために、ＳＣＳのセグメントには、詳細は後述するが、表示（Display）のオンオフを制御するコマンド情報が含まれる。図１４および図１５を用いて、受信側における表示オンオフの制御の一例を説明する。

　図１４は、受信側に順次送信されてくるＳＣＳのセグメントの一例を示している。この例では、Ｔ０フレーム、Ｔ１フレーム、Ｔ２フレームの各フレームに対応したＳＣＳが順次送られてくる。図１５は、Ｔ０フレーム、Ｔ１フレーム、Ｔ２フレームの各フレームに対応したＳＣＳによる左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置のシフト例を示している。

　図１４に示すように、Ｔ０フレームのＳＣＳには、左眼ＳＲ内の左眼サブタイトルの表示位置ＳＰ０を得るための視差情報（Disparity_0）と、この表示位置ＳＲ０の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。また、このＴ０フレームのＳＣＳには、右眼ＳＲ内の右眼サブタイトルの表示位置ＳＲ１を得るための視差情報（Disparity_1）と、この表示位置ＳＲ１の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。

　そのため、このＴ０フレームでは、図１５（ａ）に実線枠で示すように、左眼画像上の表示位置ＳＲ０に、左眼ＳＲ内の左眼サブタイトルが表示（重畳）された状態となる。また、このＴ０フレームでは、図１５（ａ）に実線枠で示すように、右眼画像上の表示位置ＳＲ１に、右眼ＳＲ内の右眼サブタイトルが表示（重畳）された状態となる。

　また、図１４に示すように、Ｔ１フレームのＳＣＳには、表示位置ＳＲ０，ＳＲ１の表示をオフ（無効）とするためのコマンド情報（Display_OFF）が含まれている。また、Ｔ１フレームのＳＣＳには、左眼ＳＲ内のサブタイトルの表示位置ＳＲ２を得るための視差情報（Disparity_2）と、この表示位置ＳＲ２の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。また、このＴ１フレームのＳＣＳには、右眼ＳＲ内のサブタイトルの表示位置ＳＲ３を得るための視差情報（Disparity_3）と、この表示位置ＳＲ３の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。

　そのため、このＴ１フレームでは、図１５（ｂ）に破線枠で示すように、左眼画像上の表示位置ＳＲ０の表示がオフ（無効）とされると共に、右眼画像上の表示位置ＳＲ１の表示がオフ（無効）とされる。このＴ１フレームでは、図１５（ｂ）に実線枠で示すように、左眼画像上の表示位置ＳＲ２に、左眼ＳＲ内の左眼サブタイトルが表示（重畳）された状態となる。また、このＴ１フレームでは、図１５（ｂ）に実線枠で示すように、右眼画像上の表示位置ＳＲ３に、右眼ＳＲ内の右眼サブタイトルが表示（重畳）された状態となる。

　また、図１４に示すように、Ｔ２フレームのＳＣＳには、表示位置ＳＲ２，ＳＲ３の表示をオフ（無効）とするためのコマンド情報（Display_OFF）が含まれている。また、Ｔ２フレームのＳＣＳには、左眼ＳＲ内のサブタイトルの表示位置ＳＲ４を得るための視差情報（Disparity_4）と、この表示位置ＳＲ４の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。また、このＴ２フレームのＳＣＳには、右眼ＳＲ内のサブタイトルの表示位置ＳＲ５を得るための視差情報（Disparity_5）と、この表示位置ＳＲ５の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。

　そのため、このＴ２フレームでは、図１５（ｃ）に破線枠で示すように、左眼画像上の表示位置ＳＲ２の表示がオフ（無効）とされると共に、右眼画像上の表示位置ＳＲ３の表示がオフ（無効）とされる。このＴ２フレームでは、図１５（ｃ）に実線枠で示すように、左眼画像上の表示位置ＳＲ４に、左眼ＳＲ内の左眼サブタイトルが表示（重畳）された状態となる。また、このＴ２フレームでは、図１５（ｃ）に実線枠で示すように、右眼画像上の表示位置ＳＰ５に、右眼ＳＲ内の右眼サブタイトルが表示（重畳）された状態となる。

　図１６は、例えば、ＳＣＳのセグメントに表示（Display）のオンオフを制御するコマンド情報が含まれていない場合における、受信側の左眼サブタイトルおよび右眼サブタイトルの表示例を示している。この場合、左眼ＳＲ内のサブタイトルは、表示位置ＳＲ０，ＳＲ２，ＳＲ４に、重ねて表示（重畳）された状態となる。また、右眼ＳＲ内のサブタイトルは、表示位置ＳＲ１，ＳＲ３，ＳＲ５に、重ねて表示（重畳）された状態となる。このように、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置の動的な変化が正しく行われない状態となる。

　図１７は、立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示している。図１７（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。なお、この例では、リージョンに３つのオブジェクト（object）が含まれている。

　最初に、サブタイトル処理部１２３は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図１７（ｂ）に示すように、サイド・バイ・サイド方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。

　次に、サブタイトル処理部１２３は、図１７（ｃ）に示すように、サイズ変換後のビットマップデータを、立体画像用のサブタイトルデータにおけるリージョン（region）の構成要素とする。つまり、サイズ変換後のビットマップデータを、リージョン内の左眼サブタイトルに対応したオブジェクトとすると共に、リージョン内の右眼サブタイトルに対応したオブジェクトとする。

　サブタイトル処理部１２３は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳなどのセグメントを作成する。

　次に、サブタイトル処理部１２３は、ユーザ操作に基づいて、あるいは自動的に、立体画像用のサブタイトルデータにおけるリージョン（region）の領域上に、図１７（ｃ）に示すように、左眼ＳＲおよび右眼ＳＲを設定する。左眼ＳＲは、左眼サブタイトルに対応したオブジェクトを含む領域に設定される。右眼ＳＲは、右眼サブタイトルに対応したオブジェクトを含む領域に設定される。

　サブタイトル処理部１２３は、上述したように設定された左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を含むＳＣＳのセグメントを作成する。例えば、サブタイトル処理部１２３は、左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を共通に含むＳＣＳを作成するか、左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報をそれぞれ含むＳＣＳのセグメントを作成する。

　図１８は、上述したように作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示している。ここで、リージョンの開始位置は“Region_address”である。そして、左眼画像（left view ）側のオブジェクトに関しては、開始位置は“Object_Position1”であり、“Object_id=1”である。また、右眼画像（Right view ）側のオブジェクトに関しては、開始位置は“Object_Position2”であり、“Object_id=1”である。

　また、図１８は、上述したように設定される左眼ＳＲおよび右眼ＳＲの一例を示している。左眼ＳＲに関しては、開始位置は“Subregion_position1”であり、“Subregion_id=SA0”である。右眼ＲＰに関しては、開始位置は“Subregion_position2”であり、“Subregion _id=SA1”である。

　図１９は、立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例１）を示している。この作成例において、ＰＣＳ（page composition segment）では、リージョン（Region_id=0A）の開始位置(region_address)が指定されている。また、“Region_id=0”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照されている。そして、このＲＣＳでは、左眼画像側のオブジェクトの開始位置“object_position1”および右眼画像側のオブジェクトの開始位置“object_position2”が指定されている。

　また、この作成例において、左眼ＳＲ、右眼ＳＲのＳＣＳ（Subregioncomposition segment）が別個に作成されている。“Subregion_id=SA0”の左眼ＳＲのＳＣＳでは、左眼ＳＲの開始位置（Subregion Position1）が指定されている。そして、この左眼ＳＲのＳＣＳには、左眼ＳＲのターゲットフレーム情報（Target_Frame=0）、左眼ＳＲの視差情報（Disparity1）、表示オンオフのコマンド情報（Command1）が含まれている。

　また、“Subregion_id=SA1”の右眼ＳＲのＳＣＳでは、右眼ＳＲの開始位置（Subregion Position2）が指定されている。そして、この右眼ＳＲのＳＣＳには、右眼ＳＲのターゲットフレーム情報（Target_Frame=1）、右眼ＳＲの視差情報（Disparity2）、表示オンオフのコマンド情報（Command2）が含まれている。

　図２０は、立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの各セグメントの他の作成例（例２）を示している。この作成例においては、図１９に示す作成例（例１）と同様に、ＰＣＳ、ＲＣＳ、ＯＤＳのセグメントが作成される。また、この作成例において、左眼ＳＲ、右眼ＳＲのＳＣＳは共通に作成されている。すなわち、共通のＳＣＳに、左眼ＳＲ、右眼ＳＲの各種情報が含まれている。

　図２１は、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示している。図２１（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。なお、この例では、リージョンに３つのオブジェクト（object）が含まれている。

　最初に、サブタイトル処理部１２３は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図２１（ｂ）に示すように、トップ・アンド・ボトム方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。

　次に、サブタイトル処理部１２３は、図２１（ｃ）に示すように、サイズ変換後のビットマップデータを立体画像用のサブタイトルデータのリージョン（region）の構成要素とする。つまり、サイズ変換後のビットマップデータを、左眼画像（leftview ）側のリージョンのオブジェクトとすると共に、右眼画像（Right view ）側のリージョンのオブジェクトとする。

　サブタイトル処理部１２３は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳなどのセグメントを作成する。

　次に、サブタイトル処理部１２３は、ユーザ操作に基づいて、あるいは自動的に、立体画像用のサブタイトルデータにおけるリージョン（region）の領域上に、図２１（ｃ）に示すように、左眼ＳＲおよび右眼ＳＲを設定する。左眼ＳＲは、左眼画像側のリージョン内のオブジェクトを含む領域に設定される。右眼ＳＲは、左眼画像側のリージョン内のオブジェクトを含む領域に設定される。

　図２２は、上述したように作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示している。ここで、左眼画像（left view ）側のリージョンの開始位置は“Region_address1”であり、右眼画像（right view ）側のリージョンの開始位置は“Region_address2”である。そして、左眼画像側のオブジェクトに関しては、開始位置は“Object_Position1”であり、“Object_id=1”である。また、右眼画像側のオブジェクトに関しては、開始位置は“Object_Position2”であり、“Object_id=1”である。

　また、図２２は、上述したように設定される左眼ＳＲおよび右眼ＳＲの一例を示している。左眼ＳＲに関しては、開始位置は“Subregion_position1”であり、“Subregion_id=SA0”である。右眼ＳＰに関しては、開始位置は“Subregion_position2”であり、“Subregion_id=SA1”である。

　図２３は、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例１）を示している。この作成例において、ＰＣＳ（page composition segment）では、左眼画像（left view）側のリージョン（Region_id=0A）の開始位置(region_address1)が指定されている。また、この作成例において、ＰＣＳ（page composition segment）では、右眼画像（right view）側のリージョン（Region_id=0A）の開始位置(region_address2)が指定されている。

　“Region_id=A0”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_position1”が指定されている。また、“Region_id=A1”のＲＣＳでは、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_position2”が指定されている。

　また、この作成例において、左眼ＳＲ、右眼ＳＲのＳＣＳ（Subregion composition segment）が別個に作成されている。“Subregion_id=SA0”の左眼ＳＲのＳＣＳでは、左眼ＳＲの開始位置（Subregion Position1）が指定されている。そして、この左眼ＳＲのＳＣＳには、左眼ＳＲのターゲットフレーム情報（Target_Frame=0）、左眼ＳＲの視差情報（Disparity1）、表示オンオフのコマンド情報（Command1）が含まれている。

　図２４は、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの各セグメントの他の作成例（例２）を示している。この作成例においては、図２３に示す作成例（例１）と同様に、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＣＤＳ、ＯＤＳのセグメントが作成される。また、この作成例において、左眼ＳＲ、右眼ＳＲのＳＣＳは共通に作成されている。すなわち、共通のＳＣＳに、左眼ＳＲ、右眼ＳＲの各種情報が含まれている。

　図２５は、立体画像データの伝送フォーマットがフレーム・シーケンシャル方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示している。図２５（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。なお、この例では、リージョンに１つのオブジェクト（object）が含まれている。立体画像データの伝送フォーマットがフレーム・シーケンシャル方式である場合、この二次元画像用のサブタイトルデータをそのまま立体画像用のサブタイトルデータとする。この場合、二次元画像用のサブタイトルデータに対応したＤＤＳ、ＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントが、そのまま立体画像用のサブタイトルデータに対応したＤＤＳ、ＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントとなる。

　次に、サブタイトル処理部１２３は、ユーザ操作に基づいて、あるいは自動的に、立体画像用のサブタイトルデータにおけるリージョン（region）の領域上に、図２５（ｂ）に示すように、左眼ＳＲおよび右眼ＳＲを設定する。左眼ＳＲは、左眼サブタイトルに対応したオブジェクトを含む領域に設定される。右眼ＳＲは、右眼サブタイトルに対応したオブジェクトを含む領域に設定される。

　図２６は、上述したように作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示している。ここで、リージョンの開始位置は“Region_address”である。そして、左眼画像（left view ）側のオブジェクトに関しては、開始位置は“Object_Position1”であり、“Object_id=1”である。また、右眼画像（Right view ）側のオブジェクトに関しては、開始位置は“Object_Position1”であり、“Object_id=1”である。

　また、図２６は、上述したように設定される左眼ＳＲおよび右眼ＳＲの一例を示している。左眼ＳＲに関しては、開始位置は“Subregion_position1”であり、“Subregion_id=SA0”である。右眼ＲＰに関しては、開始位置は“Subregion_position2”であり、“Subregion_id=SA1”である。

　図２７は、立体画像データの伝送フォーマットがフレーム・シーケンシャル方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例１）を示している。この作成例において、ＰＣＳ（page composition segment）では、リージョン（Region_id=0A）の開始位置(region_address)が指定されている。また、“Region_id=0”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照されている。そして、このＲＣＳでは、オブジェクトの開始位置“object_position1”が指定されている。

　図２８は、立体画像データの伝送フォーマットがフレーム・シーケンシャル方式である場合における立体画像用のサブタイトルデータの各セグメントの他の作成例（例２）を示している。この作成例においては、図２７に示す作成例（例１）と同様に、ＰＣＳ、ＲＣＳ、ＯＤＳのセグメントが作成される。また、この作成例において、左眼ＳＲ、右眼ＳＰのＳＣＳは共通に作成されている。すなわち、共通のＳＣＳに、左眼ＳＲ、右眼ＳＲの各種情報が含まれている。

　図２９、図３０は、ＳＣＳ（Subregion Composition segment）の構造例（syntax）を示している。図３１は、ＳＣＳの主要なデータ規定内容（semantics）を示している。この構造には、「Sync_byte」、「segment_type」、「page_id」、「segment_length」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＳＣＳを示す「0x49」とされる（図１１参照）。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。

　図３０は、ＳＣＳの実質的な情報を含む部分を示している。この構造例では、左眼ＳＲ、右眼ＳＲの表示制御情報、つまり左眼ＳＲ、右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報、表示オンオフコマンド情報を伝送できる。なお、この構造例では、任意の個数のサブリージョンの表示制御情報を持つことができる。

　「region_id」は、リージョン（region）の識別子を示す８ビット情報である。「subregion_id」は、サブリージョン（Subregion）の識別子を示す８ビット情報である。「subregion_visible_flag」は、対応するサブリージョンの表示（重畳）のオンオフを制御する１ビットのフラグ情報（コマンド情報）である。「subregion_visible_flag=1」は、対応するサブリージョンの表示オンを示すと共に、その前に表示されていた対応するサブリージョンの表示オフを示す。

　「subregion_extent_flag」は、サブリージョンとリージョンとが、サイズおよび位置に関して、同じか否かを示す１ビットのフラグ情報である。「subregion_extent_flag=1」は、サブリージョンとリージョンとが、サイズおよび位置に関して、同じであることを示す。一方、「subregion_extent_flag=0」は、サブリージョンはリージョンより小さいことを示す。

　「subregion_position_flag」は、続くデータにサブリージョンの領域（位置およびサイズ）の情報を含むか否かを示す１ビットのフラグ情報である。「subregion_position_flag=1」は、続くデータにサブリージョンの領域（位置およびサイズ）の情報を含むことを示す。一方、「subregion_position_flag=0」は、続くデータにサブリージョンの領域（位置およびサイズ）の情報を含まないことを示す。

　「target_stereo_frame」は、対応するサブリージョンのターゲットフレーム（表示対象フレーム）を指定する１ビットの情報である。この「target_stereo_frame」は、ターゲットフレーム情報を構成する。「target_stereo_frame=0」は、対応するサブリージョンがフレーム０（例えば、左眼フレーム、あるいはベースビューフレームなど）に表示されるものであることを示す。一方、「target_stereo_frame=1」は、対応するサブリージョンがフレーム1（例えば、右眼フレーム、あるいはノンベースビューフレームなど）に表示されるものであることを示す。

　「subregion_disparity_integer_part」は、対応するサブリージョンの表示位置を水平方向にシフトするための視差情報（disparity）のうち、整数ピクセル（画素）精度部分（整数部）を示す８ビット情報である。「subregion_disparity_fractional_part」は、対応するリージョン・パーティションを水平方向にシフトするための視差情報（disparity）のうち、サブピクセル精度部分（少数部）を示す４ビット情報である。ここで、視差情報（disparity）は、上述したように、対応するサブリージョンの表示位置をシフト調整し、上述したように、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置に視差を付与するための情報である。

　「Subregion_horizontal_position」は、矩形領域であるサブリージョンの左端の位置を示す１６ビット情報である。「Subregion_vertical_position」は、矩形領域であるサブリージョンの上端の位置を示す１６ビット情報である。「subregion_width」は、矩形領域であるサブリージョンの水平方向のサイズ（ピクセル数）を示す１６ビット情報である。「subregion_height」は、矩形領域であるサブリージョンの垂直方向のサイズ（ピクセル数）を示す１６ビット情報である。これらの位置情報およびサイズ情報は、サブリージョンの領域情報を構成している。

　図３２は、放送局１００からセットトップボックス２００を介してテレビ受信機３００に至る、あるいは放送局１００から直接テレビ受信機３００に至る、立体画像データおよびサブタイトルデータ（表示制御情報を含む）の流れを概略的に示している。この場合、放送局１００ではサイド・バイ・サイド（Side-by-Side）方式に合わせた立体画像用のサブタイトルデータが生成される。立体画像データはビデオデータストリームに含まれて送信され、立体画像用のサブタイトルデータはサブタイトルデータストリームに含まれて送信される。

　最初に、放送局１００からセットトップボックス２００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このセットトップボックス２００がレガシーの２Ｄ対応機器（Legacy 2D STB）である場合について説明する。セットトップボックス２００は、サブタイトルデータ（サブリージョンの表示制御情報を除く）に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成し、この表示データを立体画像データに重畳して、出力立体画像データを得る。この場合の重畳位置は、リージョンの位置である。

　セットトップボックス２００は、この出力立体画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド（Side-by-Side）方式とされる。

　テレビ受信機３００は、３Ｄ対応機器（3D TV）である場合、セットトップボックス２００から送られてくるサイド・バイ・サイド方式の立体画像データに３Ｄ信号処理を施し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

　次に、放送局１００からセットトップボックス２００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このセットトップボックス２００が３Ｄ対応機器（3D STB）である場合について説明する。セットトップボックス２００は、サブタイトルデータ（サブリージョンの表示制御情報を除く）に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス２００は、このリージョンの表示データから、左眼ＳＲに対応した表示データおよび右眼ＳＲに対応した表示データを抽出する。

　そして、セットトップボックス２００は、左眼ＳＲ、右眼ＳＲに対応した表示データを、立体画像データに重畳して、出力立体画像データを得る。この場合、左眼ＳＲに対応した表示データは、この左眼ＳＲのターゲットフレーム情報であるframe0で示されるフレーム部分（左眼画像フレーム部分）に重畳される。また、右眼ＳＲに対応した表示データは、この右眼ＳＲのターゲットフレーム情報であるframe1で示されるフレーム部分（右眼画像フレーム部分）に重畳される。

　この場合、左眼ＳＲに対応した表示データは、サイド・バイ・サイド方式の立体画像データの、左眼ＳＲの領域情報であるPosition1で示される位置を、この左眼ＳＲの視差情報であるDisparity1の半分だけずらした位置に、重畳される。また、左眼ＳＲに対応した表示データは、サイド・バイ・サイド方式の立体画像データの、右眼ＳＲの領域情報であるPosition2で示される位置を、この左眼ＳＲの視差情報であるDisparity2の半分だけずらした位置に、重畳される。

　そして、セットトップボックス２００は、上述のようにして得られた出力立体画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド（Side-by-Side）方式とされる。

　次に、放送局１００からテレビ受信機３００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このテレビ受信機３００が３Ｄ対応機器（3D TV）である場合について説明する。テレビ受信機３００は、サブタイトルデータ（サブリージョンの表示制御情報を除く）に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成する。そして、テレビ受信機３００は、このリージョンの表示データから、左眼ＳＲに対応した表示データおよび右眼ＳＲに対応した表示データ（右眼表示データ）を抽出する。

　テレビ受信機３００は、左眼ＳＲに対応した表示データを水平方向に２倍にスケーリングしてフル解像度対応の左眼表示データを得る。そして、テレビ受信機３００は、この左眼表示データを、この左眼ＳＲのターゲットフレーム情報であるframe0に対応したフル解像度の左眼画像データに重畳する。すなわち、テレビ受信機３００は、この左眼表示データを、サイド・バイ・サイド方式の立体画像データの左眼画像部分を水平方向に２倍にスケーリングして得られたフル解像度の左眼画像データに重畳して、サブタイトルが重畳された左眼画像データを生成する。

　テレビ受信機３００は、右眼ＳＲに対応した表示データを水平方向に２倍にスケーリングしてフル解像度対応の右眼表示データを得る。そして、テレビ受信機３００は、この右眼表示データを、この右眼ＳＲのターゲットフレーム情報であるframe1に対応したフル解像度の右眼画像データに重畳する。すなわち、テレビ受信機３００は、この右眼表示データを、サイド・バイ・サイド方式の立体画像データの右眼画像部分を水平方向に２倍にスケーリングして得られたフル解像度の右眼画像データに重畳して、サブタイトルが重畳された右眼画像データを生成する。

　この場合、左眼表示データは、フル解像度の左眼画像データの、左眼ＳＲの領域情報であるPosition1が２倍とされる位置を、この左眼ＳＲの視差情報であるDisparity1分だけずらした位置に、重畳される。また、この場合、右眼表示データは、フル解像度の右眼画像データの、右眼ＳＲの領域情報であるPosition2からＨ／２を差し引いて２倍とされる位置を、この左眼ＳＲの視差情報であるDisparity2分だけずらした位置に、重畳される

　テレビ受信機３００は、上述のように生成したサブタイトルが重畳された左眼画像データおよび右眼画像データに基づいて、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

　図３３は、放送局１００からセットトップボックス２００を介してテレビ受信機３００に至る、あるいは放送局１００から直接テレビ受信機３００に至る、立体画像データおよびサブタイトルデータ（表示制御情報を含む）の流れを概略的に示している。この場合、放送局１００では、ＭＶＣ（Multi-view Video Coding）方式に合わせた立体画像用のサブタイトルデータが生成される。この場合、ベースビューの画像データ（左眼画像データ）およびノンベースビューの画像データ（右眼画像データ）により立体画像データが構成される。この立体画像データはビデオデータストリームに含まれて送信され、立体画像用のサブタイトルデータはサブタイトルデータストリームに含まれて送信される。

　最初に、放送局１００からセットトップボックス２００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このセットトップボックス２００がレガシーの２Ｄ対応機器（Legacy 2D STB）である場合について説明する。セットトップボックス２００は、サブタイトルデータ（サブリージョンの表示制御情報を除く）に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成し、この表示データをベースビュー（左眼画像データ）に重畳して、出力画像データを得る。この場合の重畳位置は、リージョンの位置である。

　セットトップボックス２００は、この出力画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。テレビ受信機３００は、２Ｄ対応機器（2D TV）あるいは３Ｄ対応機器（3D TV）のいずれであっても、表示パネルに２Ｄ画像を表示する。

　セットトップボックス２００は、左眼ＳＲに対応した表示データを、この左眼ＳＲのターゲットフレーム情報であるframe0で示されるベースビュー（左眼画像）の画像データに重畳して、左眼サブタイトルが重畳されたベースビュー（左眼画像）の出力画像データを得る。この場合、左眼ＳＲに対応した表示データは、ベースビュー（左眼画像）の画像データの、左眼ＳＲの領域情報であるPosition1で示される位置を、この左眼ＳＲの視差情報であるDisparity1分だけずらした位置に、重畳される。

　また、セットトップボックス２００は、右眼ＳＲに対応した表示データを、この右眼ＳＲのターゲットフレーム情報であるframe1で示されるノンベースビュー（右眼画像）の画像データに重畳して、右眼サブタイトルが重畳されたノンベースビュー（右眼画像）の出力画像データを得る。この場合、右眼ＳＲに対応した表示データは、ノンベースビュー（右眼画像）の画像データの、右眼ＳＲの領域情報であるPosition2で示される位置を、この右眼ＳＲの視差情報であるDisparity2分だけずらした位置に、重畳される。

　そして、セットトップボックス２００は、上述のようにして得られたベースビュー（左眼画像）およびノンベースビュー（右眼画像）の画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、例えば、フレームパッキング（Frame Packing）方式とされる。

　テレビ受信機３００は、３Ｄ対応機器（3D TV）である場合、セットトップボックス２００から送られてくるフレームパッキング方式の立体画像データに３Ｄ信号処理を施し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

　次に、放送局１００からテレビ受信機３００に立体画像データおよびサブタイトルデータ（表示制御情報を含む）が送られ、このテレビ受信機３００が３Ｄ対応機器（3D TV）である場合について説明する。テレビ受信機３００は、サブタイトルデータ（サブリージョンの表示制御情報を除く）に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成する。そして、テレビ受信機３００は、このリージョンの表示データから、左眼ＳＲに対応した表示データおよび右眼ＳＲに対応した表示データを抽出する。

　テレビ受信機３００は、左眼ＳＲに対応した表示データを、この左眼ＳＲのターゲットフレーム情報であるframe0で示されるベースビュー（左眼画像）の画像データに重畳して、左眼サブタイトルが重畳されたベースビュー（左眼画像）の出力画像データを得る。この場合、左眼ＳＲに対応した表示データは、ベースビュー（左眼画像）の画像データの、左眼ＳＲの領域情報であるPosition1で示される位置を、この左眼ＳＲの視差情報であるDisparity1分だけずらした位置に、重畳される。

　また、テレビ受信機３００は、右眼ＳＲに対応した表示データを、この右眼ＳＲのターゲットフレーム情報であるframe1で示されるノンベースビュー（右眼画像）の画像データに重畳して、右眼サブタイトルが重畳されたノンベースビュー（右眼画像）の出力画像データを得る。この場合、右眼ＳＲに対応した表示データは、ノンベースビュー（右眼画像）の画像データの、右眼ＳＲの領域情報であるPosition2で示される位置を、この右眼ＳＲの視差情報であるDisparity2分だけずらした位置に、重畳される。

　テレビ受信機３００は、上述のように生成したサブタイトルが重畳されたベースビュー（左眼画像）およびノンベースビュー（右眼画像）の画像データに基づいて、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

　図２に示す送信データ生成部１１０において、マルチプレクサ１２２から出力されるビットストリームデータＢＳＤは、ビデオデータストリームとサブタイトルデータストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、サブタイトルデータストリームには、その立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータが含まれている。

　この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。そのため、受信側においては、このサブタイトルデータに基づいて、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データおよび立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生できる。これにより、処理の容易化が図られる。

　また、図２に示す送信データ生成部１１０において、マルチプレクサ１２２から出力されるビットストリームデータＢＳＤには、立体画像データ、立体画像用のサブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報には、左眼ＳＲおよび右眼ＳＲに関連した表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が含まれている。そのため、受信側においては、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内のサブタイトルのみをそれぞれターゲットフレームに重畳表示することが容易となる。そして、これら左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内のサブタイトルの表示位置に視差を付与でき、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。

　また、図２に示す送信データ生成部１１０において、サブタイトル処理部１２３からは、視差情報が順次更新されたＳＣＳのセグメントをサブタイトル表示期間において送信できるので、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置を動的に制御できる。これにより、受信側においては、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

　また、図２に示す送信データ生成部１１０において、サブタイトル処理部１２３で作成されるＳＣＳのセグメントに含まれる視差情報等は、サブピクセルの精度を持つようにされる。そのため、受信側においては、サブタイトル表示期間において順次更新される視差情報により左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置をシフト調整する場合、シフト動作を滑らかにでき、画質向上に寄与できる。

　［セットトップボックスの説明］
　図１に戻って、セットトップボックス２００は、放送局１００から放送波に載せて送信されてくるビットストリームデータ（トランスポートストリーム）ＢＳＤを受信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データが含まれている。また、このビットストリームデータＢＳＤには、サブタイトル（字幕）を表示するための立体画像用のサブタイトルデータ（表示制御情報を含む）が含まれている。

　セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータＢＳＤから、立体画像データ、音声データ、サブタイトルデータを抽出する。そして、このビットストリーム処理部２０１は、立体画像データ、サブタイトルデータ等を用いて、サブタイトルが重畳された立体画像データを生成する。

　この場合、左眼画像に重畳する左眼サブタイトルと右眼画像に重畳する右眼サブタイトルとの間に視差を付与できる。例えば、上述したように、放送局１００から送信する立体画像用のサブタイトルデータを、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されるように生成できる。また、例えば、上述したように、放送局１００から送られてくる立体画像用のサブタイトルデータに付加されている表示制御情報には、視差情報が含まれており、この視差情報に基づいて、左眼サブタイトルと右眼サブタイトルとの間に視差を付与できる。このように、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されることで、ユーザは、サブタイトル（字幕）を画像の手前に認識可能となる。

　図３４（ａ）は、画像上におけるサブタイトル（字幕）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図３４（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も手前に認識されることを示している。

　図３５（ａ）は、図３４（ａ）と同じ、画像上におけるサブタイトル（字幕）の表示例を示している。図３４（ｂ）は、左眼画像に重畳される左眼字幕ＬＧＩと、右眼画像に重畳される右眼字幕ＲＧＩを示している。図３４（ｃ）は、字幕が最も手前に認識されるために、左眼字幕ＬＧＩと右眼字幕ＲＧＩとの間に視差が与えられることを示している。

　［セットトップボックスの構成例］
　セットトップボックス２００の構成例を説明する。図３６は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。

　アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

　ビットストリーム処理部２０１は、上述したように、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報を含む）等を抽出する。ビットストリーム処理部２０１は、音声データを出力する。また、このビットストリーム処理部２０１は、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データを合成し、サブタイトルが重畳された出力立体画像データを得る。表示制御情報は、左眼ＳＲおよび右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報を含んでいる。

　この場合、ビットストリーム処理部２０１は、サブタイトルデータ(サブリージョンの表示制御情報を除く)に基づいて、左眼サブタイトルおよび右眼サブタイトルを表示するためのリージョンの表示データを生成する。そして、ビットストリーム処理部２０１は、このリージョンの表示データから、左眼ＳＲおよび右眼ＳＲの領域情報に基づいて、左眼ＳＲに対応した表示データおよび右眼ＳＲに対応した表示データを抽出する。

　そして、ビットストリーム処理部２０１は、左眼ＳＲ、右眼ＳＲに対応した表示データを、立体画像データに重畳して、出力立体画像データ（表示用立体画像データ）を得る。この場合、左眼ＳＲに対応した表示データは、この左眼ＳＲのターゲットフレーム情報であるframe0で示されるフレーム部分（左眼画像フレーム部分）に重畳される。また、右眼ＳＲに対応した表示データは、この右眼ＳＲのターゲットフレーム情報であるframe1で示されるフレーム部分（右眼画像フレーム部分）に重畳される。この際、ビットストリーム処理部２０１は、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置（重畳位置）を、視差情報に基づいて、シフト調整する。

　映像信号処理回路２０５は、ビットストリーム処理部２０１で得られた出力立体画像データに対して必要に応じて画質調整処理などを行い、処理後の出力立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。

　ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、例えば、非圧縮の画像データおよび音声データを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよび音声データがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。

　例えば、放送局１００からの立体画像データの伝送フォーマットがサイド・バイ・サイド方式であるとき、ＴＭＤＳ伝送フォーマットはサイド・バイ・サイド方式とされる（図３２参照）。また、例えば、放送局１００からの立体画像データの伝送フォーマットがトップ・アンド・ボトム方式であるとき、ＴＭＤＳ伝送フォーマットはトップ・アンド・ボトム方式とされる。また、例えば、放送局１００からの立体画像データの伝送フォーマットがＭＶＣ方式であるとき、ＴＭＤＳ伝送フォーマットはフレームパッキング方式とされる（図３３参照）。

　ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。

　リモコン受信部２１５は、リモコン送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。

　セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。

　デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報を含む）等が抽出される。ビットストリーム処理部２０１では、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）が合成され、サブタイトルが重畳された出力立体画像データが得られる。

　ビットストリーム処理部２０１で得られた出力立体画像データは、映像信号処理回路２０５に供給される。この映像信号処理回路２０５では、出力立体画像データに対して、必要に応じて画質調整処理等が行われる。この映像信号処理回路２０５から出力される処理後の出力立体画像データは、ＨＤＭＩ送信部２０６に供給される。

　また、ビットストリーム処理部２０１で得られた音声データは、音声信号処理回路２０７に供給される。この音声信号処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声信号処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。

　［ビットストリーム処理部の構成例］
　図３７は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応した構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２１と、ビデオデコーダ２２２と、サブタイトルデコーダ２２３と、立体画像用サブタイトル発生部２２４と、表示制御部２２５と、ビデオ重畳部２２６と、オーディオデコーダ２２７とを有している。

　デマルチプレクサ２２１は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、サブタイトルのパケットを抽出し、各デコーダに送る。なお、デマルチプレクサ２２１は、ビットストリームデータＢＳＤに挿入されているＰＭＴ、ＥＩＴ等の情報を抽出し、ＣＰＵ２１１に送る。上述したように、ＥＩＴの配下にあるコンポーネント・デスクリプタに、Stream_content(‘0x03’=DVB subtitles) ＆Component_type(for 3D target)が記述されている。これにより、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることが識別可能とされている。したがって、ＣＰＵ２１１は、この記述により、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることを識別できる。

　ビデオデコーダ２２２は、上述の送信データ生成部１１０のビデオエンコーダ１１９とは逆の処理を行う。すなわち、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、ＭＶＣ方式などである。

　サブタイトルデコーダ２２３は、上述の送信データ生成部１１０のサブタイトルエンコーダ１２５とは逆の処理を行う。すなわち、このサブタイトルデコーダ２２３は、デマルチプレクサ２２１で抽出されたサブタイトルのパケットからサブタイトルデータストリームを再構成し、復号化処理を行って、立体画像用のサブタイトルデータ（表示制御情報を含む）を得る。立体画像用サブタイトル発生部２２４は、立体画像用のサブタイトルデータ（表示制御情報を除く）に基づいて、立体画像データに重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）を発生する。この立体画像用サブタイトル発生部２２４は、表示データ発生部を構成している。

　表示制御部２２５は、表示制御情報（左眼ＳＲ、右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報）に基づいて、立体画像データに重畳する表示データを制御する。すなわち、表示制御部２２５は、左眼ＳＲ、右眼ＳＲの領域情報に基づいて、立体画像データに重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）から、左眼ＳＲに対応した表示データおよび右眼ＳＲに対応した表示データを抽出する。

　また、表示制御部２２５は、左眼ＳＲ、右眼ＳＲに対応した表示データを、ビデオ重畳部２２６に供給して、立体画像データに重畳する。この場合、左眼ＳＲに対応した表示データは、この左眼ＳＲのターゲットフレーム情報であるframe0で示されるフレーム部分（左眼画像フレーム部分）に重畳される。また、右眼ＳＲに対応した表示データは、この右眼ＳＲのターゲットフレーム情報であるframe1で示されるフレーム部分（右眼画像フレーム部分）に重畳される。この際、表示制御部２２５は、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置（重畳位置）を、視差情報に基づいて、シフト調整する。

　上述したように、表示制御情報に含まれる視差情報は、サブピクセルの精度を持っている（図８参照）。そのため、表示制御部２２５は、補間処理を用いて、サブピクセルの精度でのシフト調整を行う。図３８は、水平方向に１／２画素（ピクセル）分のシフトをする場合の補間処理例を概略的に示している。図３８（ａ）の黒丸は、受信データを示している。図３８（ｂ）の白丸は、受信データを単純に、水平方向に１／２画素分だけシフトした状態を示している。しかし、この白丸で示すデータは、画素（ピクセル）位置のデータはない。そこで、シフト調整部２２５は、白丸で示すデータに対して補間処理を施して、図３８（ｂ）のハッチング付きの丸で示す画素位置のデータを生成し、シフト調整後のデータとする。

　ビデオ重畳部２２６は、出力立体画像データＶoutを得る。この場合、ビデオ重畳部２２６は、ビデオデコーダ２２２で得られた立体画像データに対し、表示制御部２２５でシフト調整された左眼ＳＲ、右眼ＳＲの表示データ（ビットマップデータ）を、対応するターゲットフレーム部分に、重畳する。そして、ビデオ重畳部２２６は、この出力立体画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。

　また、オーディオデコーダ２２７は、上述の送信データ生成部１１０のオーディオエンコーダ１２０とは逆の処理を行う。すなわち、このオーディオデコーダ２２７は、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データＡoutを得る。そして、このオーディオデコーダ２２７は、音声データＡoutを、ビットストリーム処理部２０１の外部に出力する。

　図３７に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図３６参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、ビットストリームデータＢＳＤから、ビデオ、オーディオおよびサブタイトルのパケットが抽出され、各デコーダに供給される。

　ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２６に供給される。

　また、サブタイトルデコーダ２２３では、デマルチプレクサ２２１で抽出されたサブタイトルのパケットからサブタイトルデータストリームが再構成され、さらに復号化処理が行われて、立体画像用のサブタイトルデータ（表示制御情報を含む）が得られる。このサブタイトルデータは、立体画像用サブタイトル発生部２２４に供給される。

　立体画像用サブタイトル発生部２２４では、立体画像用のサブタイトルデータ（表示制御情報を除く）に基づいて、立体画像データに重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）が発生される。この表示データは、表示制御部２２５に供給される。表示制御部２２５では、表示制御情報（左眼ＳＲ、右眼ＳＲの領域情報、ターゲットフレーム情報、視差情報）に基づいて、立体画像データに対する表示データの重畳が制御される。

　すなわち、発生部２２４で発生された表示データから、左眼ＳＲ、右眼ＳＲの表示データが抽出されて、シフト調整される。その後に、シフト調整された左眼ＳＲ、右眼ＳＲの表示データが、立体画像データのターゲットフレームに重畳されるように、ビデオ重畳部２２６に供給される。ビデオ重畳部２２６では、ビデオデコーダ２２２で得られた立体画像データに対し、表示制御部２２５でシフト調整された表示データが重畳され、出力立体画像データＶoutが得られる。この出力立体画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。

　また、オーディオデコーダ２２７では、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が行われて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１の外部に出力される。

　図３６に示すセットトップボックス２００において、デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビデオデータストリームとサブタイトルデータストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、サブタイトルデータストリームには、その立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータが含まれている。

　この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。そのため、ビットストリーム処理部２０１の立体画像用サブタイトル発生部２２４では、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データを容易に発生できる。また、ビットストリーム処理部２０１の立体画像用サブタイトル発生部２２４では、立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生できる。これにより、処理の容易化が図られる。

　また、図３６に示すセットトップボックス２００において、デジタルチューナ２０４から出力されるビットストリームデータＢＳＤには、立体画像データ、立体画像用のサブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報には、左眼ＳＲおよび右眼ＳＲに関連した表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が含まれている。そのため、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内のサブタイトルのみをそれぞれターゲットフレームに重畳表示することが容易となる。また、これら左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内のサブタイトルの表示位置に視差を付与でき、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。

　［テレビ受信機の説明］
　図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送フォーマットに対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。

　［テレビ受信機の構成例］
　テレビ受信機３００の構成例を説明する。図３９は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。

　また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。

　アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。ビットストリーム処理部３０６は、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報も含む）等を抽出する。

　また、このビットストリーム処理部３０６は、セットトップボックス２００のビットストリーム処理部２０１と同様に、構成される。このビットストリーム処理部３０６は、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データを合成し、サブタイトルが重畳された出力立体画像データを生成して出力する。なお、このビットストリーム処理部３０６は、例えば、立体画像データの伝送フォーマットがサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの場合、スケーリング処理を施し、フル解像度の左眼画像データおよび右眼画像データを出力する（図３２のテレビ受信機３００の部分参照）。また、ビットストリーム処理部３０６は、音声データを出力する。

　ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４ａとされており、立体画像データの取り扱いが可能な状態にある。

　３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対して、デコード処理を行って、フル解像度の左眼画像データおよび右眼画像データを生成する。３Ｄ信号処理部３０１は、ＴＭＤＳ伝送データフォーマットに対応したデコード処理を行う。なお、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られたフル解像度の左眼画像データおよび右眼画像データに対しては何もしない。

　映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma DisplayPanel）等で構成されている。

　音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。

　ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。

　リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。

　図３９に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。

　アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。

　デジタルチューナ３０５から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報も含む）等を抽出する。また、このビットストリーム処理部３０６では、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データが合成されて、サブタイトルが重畳された出力立体画像データ（フル解像度の左眼画像データおよび右眼画像データ）が生成される。この出力立体画像データは、３Ｄ信号処理部３０１通って、映像・グラフィック処理回路３０７に供給される。

　３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された立体画像データに対してデコード処理が行われて、フル解像度の左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、ＯＳＤ（オンスクリーンディスプレイ）等の重畳情報データの合成処理も行われる。

　この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、例えば、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。

　また、ビットストリーム処理部３０６で得られた音声データは、音声信号処理回路３１０に供給される。この音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。

　上述したように、図１に示す画像送受信システム１０においては、放送局１００（送信データ生成部２０１）からセットトップボックス２００、あるいはテレビ受信機３００に、ビデオデータストリームとサブタイトルデータストリームとを有する多重化データストリームが送信される。ビデオデータストリームには、立体画像データが含まれている。また、サブタイトルデータストリームには、その立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータが含まれている。

　この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。そのため、受信側（セットトップボックス２００、テレビ受信機３００）においては、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データを容易に発生できる。また、この受信側においては、立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生できる。これにより、ビットデータ処理部２０１の処理の容易化が図られる。

　また、図１に示す画像送受信システム１０においては、放送局１００の送信データ生成部１１０から出力されるビットストリームデータＢＳＤには、立体画像データ、立体画像用のサブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報には、左眼ＳＲおよび右眼ＳＲに関連した表示制御情報（領域情報、ターゲットフレーム情報、視差情報）が含まれている。そのため、受信側においては、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内のサブタイトルのみをそれぞれターゲットフレームに重畳表示することが容易となる。そして、これら左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内のサブタイトルの表示位置に視差を付与でき、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。

　また、図１に示す画像送受信システム１０においては、放送局１００の送信データ生成部１１０からは、視差情報が順次更新されたＳＣＳのセグメントをサブタイトル表示期間において送信できるので、左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置を動的に制御できる。これにより、受信側においては、左眼サブタイトルおよび右眼サブタイトルとの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

　また、図１に示す画像送受信システム１０においては、放送局１００の送信データ生成部１１０で作成されるＳＣＳのセグメントに含まれる視差情報は、サブピクセルの精度を持つようにされる。そのため、受信側においては、サブタイトル表示期間において順次更新される視差情報により左眼ＳＲ内の左眼サブタイトルおよび右眼ＳＲ内の右眼サブタイトルの表示位置をシフト調整する場合、シフト動作を滑らかにでき、画質向上に寄与できる。

　＜２．変形例＞
　なお、上述実施の形態においては、画像送受信システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図３９に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同様に機能するビットストリーム処理部３０６を備えている。したがって、図４０に示すように、放送局１００およびテレビ受信機３００で構成される画像送受信システム１０Ａも考えられる。

　また、上述実施の形態においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。

　また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を同様に適用できる。

　また、上述実施の形態においては、重畳情報としてサブタイトル（字幕）を取り扱うものを示した。しかし、その他のグラフィクス情報、テキスト情報などの重畳情報を扱うものにも、この発明を同様に適用できる。

　また、上述実施の形態においては、ＳＣＳのセグメントを新たに定義し、このセグメントを用いて、放送局１００からセットトップボックス２００に、表示制御情報を供給するようにしている。しかし、表示制御情報をセットトップボックス２００、あるいはテレビ受信機３００に供給する方法は、これに限定されるものではなく、例えば、セットトップボックス２００が必要に応じてインターネットから取得する構成であってもよい。

　この発明は、立体画像に重ねてサブタイトル（字幕）などの重畳情報の表示を行い得る画像送受信システムに適用できる。

　１０，１０Ａ・・・画像送受信システム
　１００・・・放送局
　１１０・・・送信データ生成部
　１１１Ｌ，１１１Ｒ・・・カメラ
　１１２・・・ビデオフレーミング部
　１１３・・・視差ベクトル検出部
　１１４・・・マイクロホン
　１１５・・・データ取り出し部
　１１５ａ・・・データ記録媒体
　１１６～１１８・・・切り換えスイッチ
　１１９・・・ビデオエンコーダ
　１２０・・・オーディオエンコーダ
　１２１・・・サブタイトルエンコーダ
　１２２・・・視差情報作成部
　１２３・・・サブタイトル処理部
　１２４・・・表示制御情報生成部
　１２５・・・サブタイトルエンコーダ
　１２６・・・マルチプレクサ
　２００・・・セットトップボックス（ＳＴＢ）
　２０１・・・ビットストリーム処理部
　２０２・・・ＨＤＭＩ端子
　２０３・・・アンテナ端子
　２０４・・・デジタルチューナ
　２０５・・・映像信号処理回路
　２０６・・・ＨＤＭＩ送信部
　２０７・・・音声信号処理回路
　２１１・・・ＣＰＵ
　２１５・・・リモコン受信部
　２１６・・・リモコン送信機
　２２１・・・デマルチプレクサ
　２２２・・・ビデオデコーダ
　２２３・・サブタイトルデコーダ
　２２４・・・立体画像用サブタイトル発生部
　２２５・・・表示制御部
　２２６・・・ビデオ重畳部
　２２７・・・オーディオデコーダ
　３００・・・テレビ受信機（ＴＶ）
　３０１・・・３Ｄ信号処理部
　３０２・・・ＨＤＭＩ端子
　３０３・・・ＨＤＭＩ受信部
　３０４・・・アンテナ端子
　３０５・・・デジタルチューナ
　３０６・・・ビットストリーム処理部
　３０７・・・映像・グラフィック処理回路
　３０８・・・パネル駆動回路
　３０９・・・表示パネル
　３１０・・・音声信号処理回路
　３１１・・・音声増幅回路
　３１２・・・スピーカ
　３２１・・・ＣＰＵ
　３２５・・・リモコン受信部
　３２６・・・リモコン送信機
　４００・・・ＨＤＭＩケーブル

Claims

　左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを出力する画像データ出力部と、
　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
　上記重畳情報データ出力部から出力される上記重畳情報のデータを、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記所定の伝送フォーマットの立体画像データに含まれる上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データに変換する重畳情報データ処理部と、
　上記重畳情報データ処理部から出力される上記送信用重畳情報データの表示領域内に、上記左眼重畳情報の表示位置に対応した第１の表示領域と、上記右眼重畳情報の表示位置に対応した第２の表示領域とを設定し、上記第１の表示領域および上記第２の表示領域のそれぞれの領域情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報をそれぞれ表示するターゲットフレームの情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報の表示位置をそれぞれシフト調整する視差情報とを含む表示制御情報を生成する表示制御情報生成部と、
　上記画像データ出力部から出力される上記立体画像データを含む第１のデータストリームと、上記重畳情報データ処理部から出力される上記送信用重畳情報データおよび上記表示制御情報生成部で生成される上記表示制御情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部と
　を備える立体画像データ送信装置。
　上記左眼画像データによる左眼画像と上記右眼画像データによる右眼画像との間の視差情報を出力する視差情報出力部をさらに備え、
　上記重畳情報データ処理部は、上記視差情報出力部から出力される上記視差情報に基づいて、少なくとも、上記左眼重畳情報または上記右眼重畳情報をシフトさせて、該左眼重畳情報と該右眼重畳情報との間に視差を付与する
　請求項１に記載の立体画像データ送信装置。
　上記左眼画像データによる左眼画像と上記右眼画像データによる右眼画像との間の視差情報を出力する視差情報出力部をさらに備え、
　上記表示制御情報生成部は、上記視差情報出力部から出力される上記視差情報に基づいて、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報の表示位置をそれぞれシフト調整する視差情報を取得する
　請求項１に記載の立体画像データ送信装置。
　上記データ送信部は、上記第２のデータストリームに上記立体画像データの伝送フォーマットに対応した上記送信用重畳情報データが含まれることを識別する識別情報を、上記多重化データストリームに挿入する
　請求項１に記載の立体画像データ送信装置。
　上記表示制御情報生成部で生成される上記表示制御情報に含まれる上記視差情報はサブピクセルの精度を持つ
　請求項１に記載の立体画像データ送信装置。
　上記表示制御情報生成部で生成される上記表示制御情報には、さらに、
　上記第１の表示領域および上記第２の表示領域に含まれる重畳情報のそれぞれの表示のオンオフを制御するコマンド情報が含まれる
　請求項１に記載の立体画像データ送信装置。
　上記重畳情報のデータはサブタイトルデータであり、
　上記重畳情報データの表示領域はリージョンであり、
　上記第１の表示領域および上記第２の表示領域は、上記リージョンに含まれるように設定されたサブリージョンである
　請求項１に記載の立体画像データ送信装置。
　左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを出力する画像データ出力ステップと、
　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
　上記重畳情報データ出力ステップで出力される上記重畳情報のデータを、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記所定の伝送フォーマットの立体画像データに含まれる上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データに変換する重畳情報データ処理ステップと、
　上記重畳情報データ処理ステップで出力される上記送信用重畳情報データの表示領域内に、上記左眼重畳情報の表示位置に対応した第１の表示領域と、上記右眼重畳情報の表示位置に対応した第２の表示領域とを設定し、上記第１の表示領域および上記第２の表示領域のそれぞれの領域情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報をそれぞれ表示するターゲットフレームの情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報の表示位置をそれぞれシフト調整する視差情報とを含む表示制御情報を生成する表示制御情報生成ステップと、
　上記画像データ出力ステップで出力される上記立体画像データを含む第１のデータストリームと、上記重畳情報データ処理ステップで出力される上記送信用重畳情報データおよび上記表示制御情報生成ステップで生成される上記表示制御情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信ステップと
　を備える立体画像データ送信方法。
　第１のデータストリームおよび第２のデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
　上記第１のデータストリームは、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含み、
　上記第２のデータストリームは、送信用重畳情報データおよび表示制御情報を含み、
　上記送信用重畳情報データは、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持ち、
　上記表示制御情報は、上記送信用重畳情報データの表示領域内に設定された上記左眼重畳情報の表示位置に対応した第１の表示領域と上記右眼重畳情報の表示位置に対応した第２の表示領域のそれぞれの領域情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報をそれぞれ表示するターゲットフレームの情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報の表示位置をそれぞれシフト調整する視差情報を持ち、
　上記データ受信部で受信された上記多重化データストリームが有する上記第１のデータストリームから上記立体画像データを取得する画像データ取得部と、
　上記データ受信部で受信された上記多重化データストリームが有する上記第２のデータストリームから上記送信用重畳情報データを取得する重畳情報データ取得部と、
　上記データ受信部で受信された上記多重化データストリームが有する上記第２のデータストリームから上記表示制御情報を取得する表示制御情報取得部と、
　上記重畳情報データ取得部で取得された上記送信用重畳情報データに基づいて、左眼画像および右眼画像にそれぞれ左眼重畳情報および右眼重畳情報を重畳表示するための表示データを発生する表示データ発生部と、
　上記表示データ発生部で発生された上記表示データのうち、上記表示制御情報取得部で取得された上記表示制御情報が持つ上記第１の表示領域および上記第２の表示領域の領域情報に基づいて、上記第１の表示領域および上記第２の表示領域の表示データを抽出する表示データ抽出部と、
　上記表示データ抽出部で抽出される上記第１の表示領域および上記第２の表示領域の表示データの位置を、上記表示制御情報取得部で取得された上記表示制御情報が持つ上記視差情報に基づいてシフト調整するシフト調整部と、
　上記シフト調整部でシフト調整された上記第１の表示領域および上記第２の表示領域の表示データを、それぞれ、上記画像データ取得部で取得された上記立体画像データのうち、上記表示制御情報取得部で取得された上記表示制御情報が持つ上記ターゲットフレーム情報が示すターゲットフレームに重畳して出力立体画像データを得るデータ合成部とをさらに備える
　立体画像データ受信装置。
　上記データ合成部で得られた上記出力立体画像データを外部機器に送信するデジタルインタフェース部をさらに備える
　請求項９に記載の立体画像データ受信装置。
　上記データ受信部で受信される上記多重化データストリームは、上記第２のデータストリームに上記立体画像データの伝送フォーマットに対応した上記送信用重畳情報データが含まれることを識別する識別情報を含み、
　上記データ受信部で受信される上記多重化データストリームから上記識別情報を取得する識別情報取得部と、
　上記識別情報取得部で取得された上記識別情報に基づいて、上記第２のデータストリームに上記立体画像データの伝送フォーマットに対応した上記送信用重畳情報データが含まれることを識別する重畳情報データ識別部とをさらに備える
　請求項９に記載の立体画像データ受信装置。
　第１のデータストリームおよび第２のデータストリームを有する多重化データストリームを受信するデータ受信ステップを備え、
　上記第１のデータストリームは、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含み、
　上記第２のデータストリームは、送信用重畳情報データおよび表示制御情報を含み、
　上記送信用重畳情報データは、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持ち、
　上記表示制御情報は、上記送信用重畳情報データの表示領域内に設定された上記左眼重畳情報の表示位置に対応した第１の表示領域と上記右眼重畳情報の表示位置に対応した第２の表示領域のそれぞれの領域情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報をそれぞれ表示するターゲットフレームの情報と、上記第１の表示領域および上記第２の表示領域に含まれる重畳情報の表示位置をそれぞれシフト調整する視差情報を持ち、
　上記データ受信ステップで受信された上記多重化データストリームが有する上記第１のデータストリームから上記立体画像データを取得する画像データ取得ステップと、
　上記データ受信ステップで受信された上記多重化データストリームが有する上記第２のデータストリームから上記送信用重畳情報データを取得する重畳情報データ取得ステップと、
　上記データ受信ステップで受信された上記多重化データストリームが有する上記第２のデータストリームから上記表示制御情報を取得する表示制御情報取得ステップと、
　上記重畳情報データ取得ステップで取得された上記送信用重畳情報データに基づいて、左眼画像および右眼画像にそれぞれ左眼重畳情報および右眼重畳情報を重畳表示するための表示データを発生する表示データ発生ステップと、
　上記表示データ発生ステップで発生された上記表示データのうち、上記表示制御情報取得ステップで取得された上記表示制御情報が持つ上記第１の表示領域および上記第２の表示領域の領域情報に基づいて、上記第１の表示領域および上記第２の表示領域の表示データを抽出する表示データ抽出ステップと、
　上記表示データ抽出ステップで抽出される上記第１の表示領域および上記第２の表示領域の表示データの位置を、上記表示制御情報取得ステップで取得された上記表示制御情報が持つ上記視差情報に基づいてシフト調整するシフト調整ステップと、
　上記シフト調整ステップでシフト調整された上記第１の表示領域および上記第２の表示領域の表示データを、それぞれ、上記画像データ取得ステップで取得された上記立体画像データのうち、上記表示制御情報取得ステップで取得された上記表示制御情報が持つ上記ターゲットフレーム情報が示すターゲットフレームに重畳して出力立体画像データを得るデータ合成ステップとをさらに備える
　立体画像データ受信方法。