JPWO2013011696A1 - 送信装置、受信再生装置、送信方法及び受信再生方法 - Google Patents

送信装置、受信再生装置、送信方法及び受信再生方法 Download PDF

Info

Publication number
JPWO2013011696A1
JPWO2013011696A1 JP2013524615A JP2013524615A JPWO2013011696A1 JP WO2013011696 A1 JPWO2013011696 A1 JP WO2013011696A1 JP 2013524615 A JP2013524615 A JP 2013524615A JP 2013524615 A JP2013524615 A JP 2013524615A JP WO2013011696 A1 JPWO2013011696 A1 JP WO2013011696A1
Authority
JP
Japan
Prior art keywords
stream
transmission
information
substream
pcr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013524615A
Other languages
English (en)
Inventor
川口 透
透 川口
洋 矢羽田
洋 矢羽田
智輝 小川
智輝 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2013011696A1 publication Critical patent/JPWO2013011696A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

同時に再生すべき多種多様の情報の送信する送信装置を提供する。送信装置は、1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持し、前記ストリーム特定情報を送信する。これにより、受信側では、受信側では、当該ストリーム特定情報を用いることで、前記一の伝送用ストリームと同時に再生すべき少なくとも1つの他の伝送用ストリームを特定することができる。

Description

本発明は、1つの番組の映像とともに表示される情報を送信、及び受信する技術に関するものである。
従来の放送サービスでは、単一のトランスポートストリームで、データ放送、字幕サービス及び3D映像等の1つ又は複数の情報(映像やデータ)を送信している。例えば、特許文献1において、2Dのビデオストリームと、他視点のビデオ、視差情報及び奥行き情報などのような3Dビデオ付加データとを1つのトランスポートストリームとして送信する技術が開示されている。
また、番組において日本語による音声及び字幕だけでなく、英語等の他の言語による音声や字幕、3D映像のように1つの視点からの映像だけでなく他の視点からの映像といった多種多様の情報の送信・再生が、視聴者から求められている。
特表2008−500790号公報
しかしながら、放送では、1つのトランスポートストリームを送信するための電波帯域には制約があり、上記のような多種多様の情報の送信を実現しようとしても、各種情報のデータ量によっては全ての情報を1つのトランスポートストリームに含めることができないという問題がある。
そこで、本発明は、同時に再生すべき多種多様の情報を送信し、受信・再生することのできる送信装置、受信再生装置、送信方法及び受信再生方法を提供することを目的とする。
上記目的を達成するために、送信装置は、1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持する保持手段と、前記ストリーム特定情報を送信する送信手段とを備えることを特徴とする。
上記構成によると、送信装置は、ストリーム特定情報を送信するので、受信側では、当該ストリーム特定情報を用いることで、各種情報が個別に伝送用ストリームで送信されても、同時に再生すべき伝送用ストリームを特定することができる。
番組配信システム10の構成を示す図である。 送信装置100の構成を示すブロック図である。 PMTのデータ構造の一例を示す図である。 external_ES_link_descriptor()のデータ構造の一例を示す図である。 view_selection_information()のデータ構造の一例を示す図である。 object_information()のデータ構造の一例を示す図である。 送信装置200の構成を示すブロック図である。 service_subset_ES_descriptor()のデータ構造の一例を示す図である。図9に続く。 service_subset_ES_descriptor()のデータ構造の一例を示す図である。図8から続き、図10に続く。 service_subset_ES_descriptor()のデータ構造の一例を示す図である。図9から続き、図11に続く。 service_subset_ES_descriptor()のデータ構造の一例を示す図である。図10から続く。 デジタルテレビ(受信再生装置)300の構成を示すブロック図である。 送信装置100の動作を示す流れ図である。 受信再生装置300の動作を示す流れ図である。 送信装置1100の構成を示すブロック図である。 external_ES_link_infoのデータ構造の一例を示す図である。 external_ES_link_infoの記述例を示す図である。 送信装置1200の構成を示すブロック図である。 subset_service_ES_infoのデータ構造の一例を示す図である。 subset_service_ES_infoの記述例を示す図である。 受信再生装置1300の構成を示すブロック図である。 第2の実施の形態における番組配信システムの動作概要を示す流れ図である。 受信再生装置1300の動作を示す流れ図である。 hyperlink_descriptor()のデータ構造の一例を示す図である。 link_external_component_info()のデータ構造の一例を示す図である。 (a)は、主ストリームを示すobject要素に対する、副ストリームを指定するための拡張属性を示す図であり、(b)は、拡張属性を用いて副ストリームを指定するデータ放送コンテンツの記述例を示す図である。 ExternalES要素を定義する構造の一例を示す図である。図28に続く。 ExternalES要素を定義する構造の一例を示す図である。図27から続く。 ExternalES要素を用いて副ストリームを指定するERIの記述例を示す図である。
1.概要
上述したように、今後の放送サービスにおいて、多種多様な情報の放送が期待されているが、トランスポートストリームを送信するための電波帯域には制約があり、各種情報のデータ量によっては、1つのトランスポートストリームで送信できない場合がある。
そこで、複数のトランスポートストリームで、番組及び各種情報を送信することが考えられる。
しかしながら、現在のところ、無数の放送波や複数のトランスポートストリームから、一の番組に対するサービス(他言語の字幕など)を含むストリームを特定し、視聴者が所望の情報を選択できる仕組みがない。
そこで、発明者らは、鋭意検討し、複数のトランスポートストリームを用いて、同時に再生すべき多種多様の情報を送信し、受信・再生することのできる、本発明に至った。
本発明の一態様によれば、送信装置は、1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持する保持手段と、前記ストリーム特定情報を送信する送信手段とを備えることを特徴とする。
2.第1の実施の形態
以下、図面を参照しながら、本実施の形態について詳細に説明する。
2.1 概要
本実施の形態に係る番組配信システム10は、図1に示すように、送信装置100、200と、デジタルテレビ(受信再生装置)300とから構成される。
デジタルテレビ放送では、送信装置100、200からの放送信号は、MPEGシステム規格によって規定されるトランスポートストリーム(TS)形式で映像・音声ストリーム及び番組配列情報が多重化されて送出される。ここで、番組配列情報とは、TSの伝送ネットワーク情報、放送局、チャンネル(サービス)の詳細情報、及び番組詳細情報などが記載されたSI(Service Information)/PSI(Program Specific Information)のことである。
送信装置100、200は、ビデオストリーム、オーディオストリーム等が多重化されたトランスポートストリーム(TS)を送信する。
本実施の形態では、送信装置100、200から送出される各TSは、従来の2Dデジタル放送で運用されているようにMPEG2−TS(Moving Picture Experts Group 2−Transport Stream)に準拠したトランスポートストリームである。MPEG2−TSに準拠したトランスポートストリームは、1つ以上のビデオ・オーディオストリームと、各ビデオ・オーディオストリームストリームがどのプログラム(番組)に属するかを記したPSIを含んでいる。PSIには、TS内に含まれるプログラム一覧を示すPAT(Program Association Table)、あるプログラム内に属する映像・音声などのストリームのPID(パケットID)を格納したPMT(Program Map Table)などがある。
さらにMPEG2−TSに準拠したトランスポートストリームには、ネットワーク情報や編成チャンネル情報・番組情報に関して記述されているSIが含まれる。
SIには、NIT(Network Information Table:ネットワーク情報テーブル)、SDT(Service Description Table:サービス記述テーブル)及びEIT(Event Information Table:イベント情報テーブル)等のテーブルが含まれている。
NITには、送出されたTSが経由するネットワークに関する情報(チャンネル番号、変調方式など)が記述されている。
SDTには、送出されるTS内に存在する編成チャンネルに関する情報(チャンネル名称、番組情報の種類、デジタルコピー制御情報など)が記載されている。
EITには、各編成チャンネルに含まれる番組に関する詳細情報(番組名称、放送日時、放送内容など)が記載されている。
デジタルテレビ(受信再生装置)300は、SIに記載された情報を利用することによって、電子番組表(Electronic Program Guide:EPG)を作成することができる。
送信装置100、200から送信される各TSには、一の番組について同時に再生されるべき情報が含まれている。例えば、送信装置100から送信されるTSには、3D番組における左目用の映像及び音声が含まれ、送信装置200から送信されるTSには、3D番組における右目用の映像が含まれている。そして送信装置100から送信されるTSは、単独で再生がされ、送信装置200から送信されるTSは、単独では原則再生ができないものとなっている。
以下、送信装置100から送信されるTSに含まれる左目用映像のストリームを主ストリームと記述し、送信装置200から送信されるTSに含まれる右目用映像のストリームを副ストリームと記述する。
受信再生装置300は、送信装置200が送出する副ストリームを含むTSを受信する前に送信装置100が送出する放送波から主ストリームを含むTSを受信した場合には、受信したTSに多重化されているビデオ・オーディオストリームと番組配列情報を含むSI等を分離する。受信再生装置300は、分離されたSI等のSI/PSIの各情報から、副ストリームが存在するか否かを判別し、存在する場合には当該副ストリームを含むTSの受信を行い、主ストリームと副ストリームとを同時に再生する。具体的は、主ストリームから左目映像を、副ストリームから右目映像を、それぞれ生成し、3D表示に係る再生を行う。
受信再生装置300は、送信装置100が送出する主ストリームを含むTSを受信する前に送信装置200が送出する放送波から副ストリームを含むTSを受信した場合には、副ストリームでの単独再生の可否を判断し、判断結果に応じて副ストリームのみの再生、及び上記と同様に主ストリームと副ストリームとの同時再生を行う。
2.2 送信装置100の構成
送信装置100は、一の番組に対する主ストリームを含むTSを生成し、配信するものである。
送信装置100は、図2に示すように、左目用ビデオエンコーダ101、オーディオエンコーダ102、左目用ビデオストリーム格納部103、オーディオストリーム格納部104、情報保持部105、多重化部106及び送信部107から構成されている。
(1)左目用ビデオエンコーダ101
左目用ビデオエンコーダ101は、一の番組について3D表示する際の左目の映像(ピクチャ)について、MPEG−2、MPEG−4などの方式を使って符号化して、左目用ビデオストリーム(つまり、主ストリーム)を生成し、左目用ビデオストリーム格納部103へ書き込む。
(2)オーディオエンコーダ102
オーディオエンコーダ102は、音声データを、リニアPCMなどの方式で圧縮・符号化して、オーディオストリームを生成し、オーディオストリーム格納部104へ書き込む。
(3)左目用ビデオストリーム格納部103
左目用ビデオストリーム格納部103は、左目用ビデオエンコーダ101で生成された左目用ビデオストリームを格納するための記憶領域である。
(4)オーディオストリーム格納部104
オーディオストリーム格納部104は、オーディオエンコーダ102で生成されたオーディオストリームを格納するための記憶領域である。
(5)情報保持部105
情報保持部105は、主ストリームとともに送信されるSI/PSIを格納する記憶領域である。なお、SI/PSIは、外部装置で作成されてもよいし、送信装置100で作成されてもよい。
以下、SI/PSIに含まれるPMTについて説明する。
図3は、PMTのデータ構造を示す図である。個々のパラメータの意味については、ISO/IEC13818−1(MPEG−2)にて規定されているため説明を省略する。PMTには記述子を配置可能な箇所が2箇所ある。
1つ目はファーストループD100と呼ぶ部分である。ファーストループD100の「descriptor()」には記述子の配置が可能である。「descriptor()」部分は、複数の記述子を挿入可能である。ここには、番組全体に関わる記述子を配置する。
2つ目は、ES情報記載箇所D101に含まれるセカンドループD102と呼ぶ部分である。ES情報記載箇所D101は、ファーストループD100の直後からfor文が始まっており、このfor文は番組に含まれるESの数だけ繰り返される。このfor文内のパラメータ、例えば、stream_typeやelementary_PIDなどは、当該ESに関するパラメータである。セカンドループD102は、このES情報記載箇所D101に含まれている。セカンドループD102の「descriptor()」には記述子の配置が可能である。「descriptor()」部分は、複数の記述子を挿入可能である。ここには、当該ESに関わる記述子を配置する。
本実施の形態では、副ストリームの参照情報を記述する、external_ES_link_descriptor()を定義し、上記のセカンドループD102に配置する。
なお、external_ES_link_descriptor()の記載内容は後述する。
(6)多重化部106
多重化部106は、左目用ビデオストリーム格納部103に格納されている左目用ビデオストリーム、オーディオストリーム格納部104に格納されているオーディオストリーム、情報保持部105に格納されているSI/PSIなどを多重化して、MPEG2−TS形式のTSを生成し、送信部107を介して送信する。
なお予めビデオ、オーディオを圧縮・符号化して格納するのではなく、未圧縮のビデオ、オーディオをリアルタイムで符号化すると同時に多重化する構成としてもよい。
(7)送信部107
送信部107は、多重化部106で生成されたMPEG2−TS形式のTSを送信する。
2.3 external_ES_link_descriptor()について
ここでは、external_ES_link_descriptor()の具体的な記述内容について説明する。図4にexternal_ES_link_descriptor()の構造の一例を示す。
以下、external_ES_link_descriptor()の記述要素について説明する。
descriptor_tagには、他の記述子と本記述子を区別するための、一意な値が記述される。
descriptor_lengthには、次のフィールドから本記述子末尾までのバイト数が記述される。
Reservedは、将来拡張のための領域であり、二進数の“1”がビット数分記述される。
TS_location_typeは、副ストリームが伝送されるネットワークの種別を示す。具体的には、値“00”は、副ストリームが、主ストリームと同じ放送ネットワークで伝送されることを示す。値“01”は、副ストリームが、後続のtransport_stream_locationにて示される、主ストリームと異なる放送ネットワークで伝送されることを示す。値“10”は、副ストリームが、後続のuri_charで示されるURIによってアクセス可能な、放送以外の媒体によりアクセス可能であることを示す。これにより、主STを受信したデジタルテレビ300は、副ストリームがどのようにアクセス可能かを知ることができる。
stream_type_flagは、後続のstream_typeの記述の有無を示すフラグである。
sync_reference_typeは、主ストリームと副ストリームの同期手段の有無及び方法を示す。値“00”は、受信機において主ストリームと副ストリームの同期は行わず、主ストリームの復号・表示を行う際は主ストリーム内のPCR(Program_Clock_Reference)に従い、副ストリームの復号・表示を行う際は副ストリーム内のPCRに従う。値“01”は、後続のPCR_location_flagで始まるPCR参照情報を用いて、PCRを用いた同期を行う。値“10”は、後続のmain_sync_PIDで始まる同期トラック参照情報を用いて、独立した同期トラックを用いた同期を行う。これにより、デジタルテレビ300は、主ストリームと副ストリームの間のクロック同期の有無及び方法を知ることができる。
transport_stream_idは、参照する副ストリームが伝送されるtransport_stream_idを示す。
program_numberは、参照する副ストリームを含むプログラムのprogram_numberを示す。
ES_PIDは、参照する副ストリームのPIDを示す。
上記のtransport_stream_id、 program_number、ES_PIDを記述することにより、本記述子が配置されるPMTのセカンドループD102に対応するESの利用時に、同時に利用可能な副ストリームのESを特定することができる。なお、副ストリームが存在しない場合には、program_numberには、副ストリームが存在しない旨を示す“0x00”が記述される。
transport_stream_locationは、参照する副ストリームが別の放送ネットワーク(例:地上波放送に対する衛星放送)で伝送される場合に、副ストリームの伝送されるネットワークを示す。例えば、transport_stream_locationに、副ストリームが伝送されるネットワークのnetwork_id(例:0x40f1)を記述する。これにより、副ストリームが主ストリームとは別の放送ネットワークで伝送される場合でも、デジタルテレビ300は、その伝送位置を知ることができる。
uri_lengthは、後続のuri_charのバイト数を示す。
uri_charは、参照する副ストリームが放送以外の媒体によってもアクセス可能な場合に、副ストリームにアクセスするためのURIを記述する。URIの記述例については、後述する。
stream_typeは、副ストリームのstream_typeを示すものであり、「ISO/IEC 13818−1」にて定義される形式で表される。例えば、副ストリームがH.264AVCであれば、stream_typeには“0x1B”が記述される。これにより、デジタルテレビ300は、副ストリームが利用可能かどうか、副ストリームにアクセスする前に知ることができる。さらに、stream_typeを用いて副ストリームの用途を指定してもよい。stream_typeの具体例については、後述する。
PCR_location_flagは、主ストリームならびに副ストリームを共通のPCRに従って同期して復号・表示を行う際に、主ストリームと副ストリームのどちらのPCR(Program Clock Reference)を参照すべきかを示す。“0”の場合は、主ストリームを含むプログラムのPCRを利用することを示す。“1”の場合は、副ストリームを含むプログラムのPCRを利用することを示す。これにより、伝送路の信頼性等に応じて、主ストリームと副ストリームどちらのPCRを参照すべきかを指定することができる。また、デジタルテレビは、PCRを用いて主ストリームと副ストリームとを同期させる場合に、どちらのPCRを参照すべきかを知ることができる。
explicit_PCR_flagは、PCR_PIDを本記述子中で記述するかどうかを示す。“0”の場合は本記述子で記述されず、主ストリーム又は副ストリームのプログラムのPMT中のPCR_PIDで記述されたPCRを利用する。“1”の場合は、後続のPCR_PIDにて記述されたPCRを利用する。これにより、既存のPCRを利用するか、主ストリームと副ストリームの同期再生時に固有のPCRを利用するかを指定することができる。
PCR_offset_flagは、主ストリームと副ストリームを指定されたPCRを用いて同期再生する場合に、オフセットの有無を指定する。“0”の場合は、オフセット値は指定されないことを示す。“1”の場合は、オフセット値が指定されることを示す。
PCR_PIDは、主ストリームと副ストリームの同期再生時に、主ストリーム又は副ストリーム中の参照すべきPCRのPIDを指定する。これにより、受信機は同期再生時に固有のPCRを利用する場合に、そのPCRのPIDを知ることができる。
PCR_polarityは、オフセット値の極性を示す。“0”の場合は後続のPCR_offset値を、PCR_locationで指定された側のストリーム内のPCRの値に加算して、PCR_locationで指定されなかった側のストリームを復号・表示を行う際のPCRとして利用する。“1”の場合は後続のPCR_offset値を、PCR_locationで指定された側のストリーム内のPCRの値より減算して、PCR_locationで指定されなかった側のストリームを復号・表示を行う際のPCRとして利用する。
PCR_offsetは、オフセット値の絶対値を示す。例えば、PCR_location_flagが“0”であって主ストリーム内のPCRを利用する場合は、副ストリームの復号・表示を行うときに、PCR_polarityとPCR_offsetに従って主ストリーム内のPCRをオフセットした値を使用する。PCR_location_flagが“1”であって副ストリーム内のPCRを利用する場合は、主ストリームの復号・表示を行うときに、PCR_polarityとPCR_offsetに従って副ストリーム内のPCRをオフセットした値を使用する。このように、PCR_polarityとPCR_offsetを指定することによって、主ストリームと副ストリームとの間で参照するPCRの開始値を合わせることができない場合でも、同期再生を実現することができる。
main_sync_PIDは、主ストリームの同期トラックのPIDを示す。
sub_sync_PIDは、副ストリームの同期トラックのPIDを示す。
main_sync_PIDとsub_sync_PIDを用いることにより、PCRの値によらず、主ストリームと副ストリームを同期させることが可能となる。なお、同期トラックは、ETSI TS 102 823(Specification for the carriage of synchronized auxiliary data in DVB transport streams)に規定されるsynchronised auxiliary dataを用いて、主/副ストリームそれぞれのタイムスタンプと主/副ストリームで共通なタイムコードとの関係を記載してもよいし、他の方法でもよい。
以上が、新規の記述子“external_ES_link_descriptor()”について説明である。この記述子により、主ストリームの映像音声サービス視聴時に、同時に利用可能な副ストリームを特定し、同時に再生(同期して再生)することができる。
(URIの記述例について)
ここでは、新規の記述子“external_ES_link_descriptor()”に記載されるuriの記述例について説明する。
“http://aaa.sample.com/bbb.ts”と記述された場合には、httpプロトコルを用いて、aaa.sample.comサイトのbbb.tsファイルにアクセスすることを示す。ここで、bbb.tsは、副ストリームを格納したTSファイルの実体である。
“http://aaa.sample.com/ccc.cpc”という記述は、aaa.sample.comサイトのccc.cpcファイルに、通信経由でhttpプロトコルを用いてアクセスすることを示すものである。ここで、ccc.cpcは、副ストリームを格納したTSファイルにアクセスするための、再生制御メタファイルである。
“rtsp://aaa.sample.com/ddd.ts”という記載は、aaa.sample.comサイトのddd.tsファイルに、通信経由でrtspプロトコルを用いてアクセスすることを示す。ここで、ddd.tsは、副ストリームを格納したTSファイルの実体である。
“arib−file://DirA/DirB/eee.ts”という記載は、あらかじめローカル蓄積媒体上に格納されたDirA/DirBフォルダ中のfff.tsファイルにアクセスすることを示す。ここで、fff.tsは、副ストリームを格納したTSファイルの実体である。
“crid://aaa.sample.com/zzz”という記載は、aaa.sample.com/zzzで示されるCRID(Content Reference Identifier)を持つ映像にアクセスすることを示す。受信側の装置では、CRIDを用いて、「ETSI TS 102 822 Part4」、又は「ARIB STD−B38 4.1.3」で規定された記載方法によって、ロケーション解決を行う。
(stream_typeの具体例について)
ここでは、新規の記述子“external_ES_link_descriptor()”で記載されるstream_typeに割り当てられる値について説明する。なお、下記の値は、stream_typeとは別のフィールドを設けて、記載するとしてもよい。
本実施の形態では、stream_typeには、値“0x80”から“0x8A”までの何れかの値が割り当てられる。以下、各値について説明する。
値“0x80”は、副ストリームが二眼式立体映像における、主ストリームと反対側のビュー(例:左眼視点に対する右眼視点)からなるものでることを示す。なお、本実施の形態の番組配信システム10では、stream_typeは“0x80”となる。
値“0x81”は、副ストリームが0x80と同様の内容を、主ストリームとの差分で符号化したものであることを示す。
値“0x82”は、副ストリームが主ストリームの映像を一次元方向に高精細化する差分成分(例:片目当たり960×1080ピクセルのSide−by−Side形式の二眼式立体映像を、片目当たり1920×1080ピクセルに高精細化)であることを示す。
値“0x83”は、副ストリームが主ストリームの映像を二次元方向に高精細化する差分成分(例:1920×1080ピクセルの画像を、3840×2160ピクセルに高精細化)であることを示す。
値“0x84”は、副ストリームが主ストリームの映像の色深度情報を追加する差分成分(例:RGBにおける各8bitの情報を各12bitに拡大)であることを示す。
値“0x85”は、副ストリームが主ストリーム映像より立体映像を生成する際に利用する奥行きマップ(Depth Map)であることを示す。
値“0x86”は、副ストリームが主ストリーム映像より立体映像を生成する際に利用する閉塞情報(Occlusion)であることを示す。
値“0x87”は、副ストリームが主ストリーム映像より立体映像を生成する際に利用する透明度情報(Transparency)であることを示す。
値“0x88”は、副ストリームが主ストリーム映像とは別視点の映像情報(例:MPEG−4 MVCのnon−base view)であることを示す。この場合、複数の視点映像がある場合には、視点ごとにユーザが視点選択する際に分り易いカメラ名称、位置情報(GPS)及びカメラの向きやズームなどの光学パラメータを記述しておくことが有用である。カメラ名称等の情報は、主/副ストリームの映像を格納するシステムストリーム内に新規descriptorやprivate streamの形式で記述してもよいし、ユーザ拡張領域のメタデータとして主/副ストリーム映像内に記述してもよいし、もしくは主/副ストリームとは別経路(当該ストリームと連動するHTML5形式など)にて伝送してもよい。図5にdescriptor形式のデータ構造(view_selection_information())の一例を示す。number_of_viewsは、別視点の数を示すものである。以下の要素は、別視点の数分、定義される。view_idは、対応する視点を識別するためのものである。view_name_lengthは、次に定義されるview_nameのバイト数が記述される。view_nameは、カメラの名称が記述される。GPS_information_lengthは、次に定義されるGPS_information()のバイト数が記述される。GPS_information()は、GPS情報が記述される。camera_information_lengthは、次に定義されるcamera_information()のバイト数が記述される。camera_information()には、カメラの向きやズームなどの光学パラメータの情報が記述される。
例えば、野球中継の番組においては、一塁ベンチからの撮影、三塁ベンチからの撮影等といったいろいろな視点からカメラ撮影がされている。この場合、ユーザが一塁側ベンチから内野全体を見たい場合には、複数視点のうち「一塁側」などといった名称のカメラを指定することで、一塁側ベンチからの視点映像を視聴することができる。さらに、位置情報やカメラの向き・ズーム情報を組み合わせることで、カメラ名称による指定ではなく野球場の見取り図上に配置したカメラをグラフィカルに表示しながら、ユーザに複数視点から映像を視聴させることもできる。
値“0x89”は、副ストリームが任意の視点映像を生成する際に利用するフリービュー映像情報であることを示す。複数の視点映像から生成された任意視点を生成可能な巨大な映像情報(例えば、サッカー中継におけるフィールド全体の映像)を伝送する際に、ユーザの興味・嗜好に応じて特定の領域を抽出して再生・表示できる機能は大変有用であると考えられる。そこで、巨大な映像情報に対して撮影された個々のオブジェクトに対する名称と位置情報(GPS情報や、符号化映像内の位置情報)及びカメラの位置情報と光学パラメータ情報をメタデータとして符号化して伝送することで、これを元に特定の領域を切り出して再生・表示することができる。このような情報は主/副ストリーム映像を格納するシステムストリーム内に新規descriptorやprivate streamの形式で記述してもよいし、ユーザ拡張領域のメタデータとして主/副ストリーム映像内に記述してもよいし、もしくは主/副ストリームとは別経路(当該ストリームと連動するHTML5形式など)にて伝送してもよい。図6において、ユーザ拡張領域のメタデータ構造(object_information())の一例を示す。名称と位置情報とを対応付けるオブジェクトの個数が“number_of_objects”で記述される。各オブジェクトを識別するための情報がobject_idに、オブジェクトの名前がobject_nameに、それぞれ記述される。そして、object_id、object_nameにて識別される撮影対象物のGPS位置情報はGPS_information()にて、符号化映像内の位置情報はその表示矩形領域をobject_upper_left_x/y、object_lower_right_x/yにて記述される。
例えば、サッカー中継において特定の選手を中心に試合を視聴することも、選手名とその選手の映像内での位置情報がメタデータとして伝送されていれば、可能である。複数視点からのカメラ映像を組み合わせて任意の視点の映像を生成する際には、興味対象のオブジェクトのGPS情報と、組み合わせる複数視点のカメラのGPS情報(カメラの位置と向き情報)があることで任意視点からの映像生成精度を高めることができる。
値“0x8A”は、副ストリームが主ストリームの映像に対して付加情報を重畳した映像であることを示す。例えば、MPEG-4 MVCを使って主ストリーム映像に対して付加情報を重畳した映像を伝送することが可能である。主ストリームはMVCのbaseビューであり、副ストリームはMVCのnon−baseビューとして符号化しておくことで、副ストリームは主ストリームの映像とは異なる映像情報(重畳した付加映像)のみを効率良く伝送できる。例えば、主ストリームの映像がサッカー中継である場合、副ストリームを主ストリーム映像内の選手の名前や走行距離などの属性情報をグラフィカルに各選手近辺に重畳するための映像(主ストリーム映像からの差分から構成される映像)とすることで、主ストリームに対して副ストリーム(stream_type=0x8A)で伝送される差分を適用する(つまりnon−baseビューを復号し再生する)ことで、付加情報が重畳されたサッカー中継映像を容易にユーザに提示することができる。
以上が、stream_typeに割り当てられる値についての説明である。これにより、受信側の装置は、副ストリームがどのように利用可能か、副ストリームにアクセスする前に知ることができる。
また、一の番組の映像(1つの視点からの映像)を含むトランスポートストリームとは異なるトランスポートストリームにより情報を送信する場合、例えば、異なるトランスポートストリームで他の視点からの映像を送信し、3D表示を行う場合には、双方のトランスポートストリームに含まれる両映像の同期をとる必要があるが、従来の技術では、同期をとる手段がない。そこで、上述したように、“external_ES_link_descriptor()”にsync_reference_typeなどの同期に係る情報を含めることで、双方のトランスポートストリームに含まれる両映像の同期をとることができる。
2.4 送信装置200の構成
送信装置200は、送信装置100で送信される主ストリームに対応する副ストリームを送信するものである。
送信装置200は、図7に示すように、右目用ビデオエンコーダ201、右目用ビデオストリーム格納部203、情報保持部205、多重化部206及び送信部207から構成されている。
(1)右目用ビデオエンコーダ201
右目用ビデオエンコーダ201は、送信装置100から送信される左目の映像に対応する右目の映像(ピクチャ)について、MPEG−2、MPEG−4などの方式を使って符号化して、右目用ビデオストリーム(つまり、副ストリーム)を生成し、右目用ビデオストリーム格納部203へ書き込む。
(2)右目用ビデオストリーム格納部203
右目用ビデオストリーム格納部203は、右目用ビデオエンコーダ201で生成された右目用ビデオストリームを格納するための記憶領域である。
(3)情報保持部205
情報保持部205は、副ストリームともに送信されるSI/PSIを格納する記憶領域である。なお、SI/PSIは、外部装置で作成されてもよいし、送信装置200で作成されてもよい。
情報保持部205で格納されているSI/PSIのデータ構造は、情報保持部105で格納されているSI/SPIと同様である。ただ、副ストリームを送信する装置では、主ストリームの参照情報を記述する、service_subset_ES_descriptor()を定義して、PMTのセカンドループに配置する。
なお、service_subset_ES_descriptor()の記載内容は後述する。
(4)多重化部206
多重化部206は、右目用ビデオストリーム格納部203に格納されている右目用ビデオストリーム(副ストリーム)、情報保持部205に格納されているSI/PSIなどを多重化して、MPEG2−TS形式のTSを生成し、送信部207を介して送信する。
(5)送信部207
送信部207は、多重化部206で生成されたMPEG2−TS形式のTSを送信する。
2.5 service_subset_ES_descriptor()について
ここでは、service_subset_ES_descriptor()の具体的な記述内容について説明する。図8から図11に、service_subset_ES_descriptor()の構造の一例を示す。
descriptor_tagには、他の記述子と本記述子を区別するための、一意な値が記述される。
descriptor_lengthには、次のフィールドから本記述子末尾までのバイト数が記述される。
Reservedは、将来拡張のための領域であり、二進数の“1”がビット数分記述される。
TS_location_typeは、主ストリームが伝送されるネットワークの種別を示す。値“00”の場合は、主ストリームが、副ストリームと同じ放送ネットワークで伝送されることを示す。値“01”の場合は、主ストリームが、後続のtransport_stream_locationにて示される、副ストリームと異なる放送ネットワークで伝送されることを示す。値“10”の場合は、主ストリームが、後続のuri_charで示されるURIによってアクセス可能な、放送以外の媒体によりアクセス可能であることを示す。これにより、副ストリームを受信した装置(デジタルテレビ)は、主ストリームへのアクセス方法を知ることができる。
stream_type_flagは、後続のstream_typeの記述の有無を示すフラグである。
dependency_flagは、副ストリームが主ストリームに依存せずに再生可能かどうかを示す。値“0”の場合は、当該副ストリームを単独で再生することが可能であることを示す。値“1”の場合は、当該副ストリームが、主ストリームと同時に利用する場合のみ再生可能であることを示す。これにより、主ストリームと無関係に副ストリームがデジタルテレビで受信された場合に、送信側の意図に従って副ストリームの再生を許可/抑制することができる。
sync_reference_typeは、図3で示すものと同様であるので、ここでの説明は省略する。
transport_stream_idは、親となる主ストリームが伝送されるtransport_stream_idを示す。program_numberは、親となる主ストリームを含むプログラムのprogram_numberを示す。ES_PIDは、親となる主ストリームのPIDを示す。transport_stream_id、program_number、ES_PIDを記述することにより、本記述子が配置されるPMTのセカンドループに対応するESの利用時に、親となる主ストリームのESを特定することができる。なお特定のESではなく、親となるプログラムを指定する場合には、ES_PIDには無効値(NULLパケットを示す0x1FF)を記述する。
transport_stream_locationは、親となる主ストリームが別の放送ネットワーク(例:地上波放送に対する衛星放送)で伝送される場合に、主ストリームの伝送されるネットワークを示す。例えば、transport_stream_locationに、主ストリームが伝送されるネットワークのnetwork_id(例:0x40f1)を記述する。これにより、主ストリームが副ストリームとは別の放送ネットワークで伝送される場合でも、デジタルテレビは、その伝送位置を知ることができる。
uri_lengthは、後続のuri_charのバイト数を示す。
uri_charは、親となる主ストリームが放送以外の媒体によりアクセス可能な場合に、主ストリームが含まれるTSにアクセスするためのURIを記述する。URIの記述例は、上記で示した具体例と同様であるので、ここでの具体例を用いた詳細な説明は省略する。
stream_typeは、主ストリームのstream_typeを、ISO/IEC 13818−1にて定義される形式にて示す。例えば、主ストリームがH.264AVCであれば、0x1Bを記述する。これにより、主ストリームがデジタルテレビにおいて利用可能かどうか、主ストリームにアクセスする前に知ることができる。
parent_CA_flagは、副ストリームが単独再生不可の場合に、親となる主ストリームのECMにて復号すべきかどうかを示す。値“0”の場合は、副ストリームは暗号化されていないか、副ストリームの情報を記載するPMTのセカンドループに配置されたCA_descriptor()の情報に従って復号することを示す。値“1”の場合は、副ストリームは主ストリームのECMを用いて復号することを示す。これにより、主ストリームと副ストリームを個別の鍵でスクランブルすることによる煩雑さや処理負荷を防ぐと同時に、主ストリームと無関係に副ストリームがデジタルテレビで受信された場合に送信側の意図しない形で再生されることを防ぐことができる。
explicit_CA_flagは、副ストリームの復号に際して親となる主ストリームのECMを利用する場合に、ECM_PIDを本記述子中で記述するかどうかを示す。値“0”の場合は、主ストリームと同じECM、すなわち主ストリームの情報を記載するPMTのセカンドループに配置されたCA_descriptor()の情報に従って復号することを示す。値“1”の場合は、主ストリームを含むTS中の、後続のECM_PIDで記載されたECMを用いて復号することを示す。これにより、主ストリームと副ストリームを同じ課金としたり、副ストリームのみを別途追加購入可能としたりするなど、柔軟な課金体系が可能となる。
ECM_PIDは、副ストリームの復号に際して親となる主ストリームのECMを明示的に指定する場合に記述する。
PCR_location_flag以降の記述要素は、図3で示すものと同様であるので、ここでの説明は省略する。
以上、説明したように、新規の記述子service_subset_ES_ descriptor()を追加することで、デジタルテレビ300は、副ストリームを受信した際に、受信した副ストリームを利用可能な主ストリームを特定することができる。
また、 “service_subset_ES_descriptor()”にdependancy_flagなどの単独再生に係る情報を含めることで、受信側の装置が副ストリームを誤って単独で再生して、制作者の意図しない視聴が行われる可能性を回避することができる。
2.6 デジタルテレビ(受信再生装置)300
ここでは、受信再生装置300の構成について説明する。
受信再生装置300は、図12に示すように、制御部301、受信処理部302、再生処理部303及び出力部304から構成されている。
(1)制御部301
制御部301は、受信再生装置300の全体の制御を行うものである。
具体的には、制御部301は、UI及びブラウザ等を通じて、ユーザから特定のストリーム(放送チャンネル)の選局指示を受け付け、受け付けた選局指示に基づいて、受信処理部302に、選局・復調を指示する。その後、制御部301は、受信処理部302で受信したTSに含まれるPMTを再生処理部303から受け取る。制御部301は、PMTを解析し、再生すべき映像のPID及び音声のPID等を特定し、特定した各PIDを再生処理部303へ通知する。また、制御部301は、受け取ったPMTに上記の新規記述子の有無を判断することにより、受信したTSと同時に再生すべき情報を含む他のTSの存在の有無を判断する。例えば、受信したTSに含まれるPMTに新規記述子“external_ES_link_descriptor()”の存在の有無により、副ストリームの存在の有無を判断する。制御部301は、external_ES_link_descriptor()が存在すると判断する場合には副ストリームを特定し、特定した副ストリームを含むTSについて受信、復調するよう受信処理部302へ指示する。さらに、制御部301は、external_ES_link_descriptor()から同期に関する情報を取得し、取得した情報に基づいて、同期方法を特定し、その結果を再生処理部303へ通知する。
なお、制御部301は、受信したTSに含まれるPMTにservice_subset_ES_ descriptor()が記述されている場合には、副ストリームのみでの再生の可否を判断する。副ストリームのみでの再生が不可であると判断した場合には、主ストリームの特定、同期情報の取得を行う。
(2)受信処理部302
受信処理部302は、図12に示すように、第1受信部310と第2受信部311とを有している。
第1受信部310は、制御部301からの指示に従って指定されたトランスポートストリーム(ここでは、主ストリームを含むものとする。)を受信及び復調し、復調して得られたMPEG2形式のトランスポートストリームを再生処理部303へ出力する。
第2受信部311は、制御部301からの指示に従って、副ストリームを含むトランスポートストリームを受信及び復調し、復調して得られたMPEG2形式のトランスポートストリームを再生処理部303へ出力する。
(3)再生処理部303
再生処理部303は、図12に示すように、第1多重化分離部320、第2多重化分離部321、同期制御部322、第1映像復号部323、第2映像復号部324、音声復号部325、映像処理部326を有している。
(3−1)第1多重化分離部320
第1多重化分離部320は、第1受信部310から受け取ったトランスポートストリームを多重分離し、ユーザから指定されたチャンネルの番組に係るPMTを抽出して、制御部301に出力する。
第1多重化分離部320は、制御部301から特定された映像のPID及び音声のPID等を受け取ると、各PIDと一致する映像のES(ここでは、主ストリームである左目映像ストリーム)、及び音声のESを第1受信部310から受け取ったトランスポートストリームから抽出する。第1多重化分離部320は、抽出した主ストリームを第1映像復号部323へ、音声のESを音声復号部325へ、それぞれ逐次出力する。
また、主ストリームと副ストリームとの同時再生が行われる場合において、同期の基準が主ストリームであるときには、制御部301からの指示に従って主ストリームからPCRを抽出して、同期制御部322へ逐次出力する。
(3−2)第2多重化分離部321
第2多重化分離部321は、制御部301から特定された映像のPID及び音声のPID等を受け取ると、各PIDと一致する映像のES(ここでは、副ストリームである右目映像ストリーム)を第2受信部311から受け取ったトランスポートストリームから抽出する。第2多重化分離部321は、抽出した映像のESを第2映像復号部324へ逐次出力する。
また、主ストリームと副ストリームとの同時再生が行われる場合において、同期の基準が副ストリームであるときには、制御部301からの指示に従って副ストリームからPCRを抽出して、同期制御部322へ逐次出力する。
なお、第2多重化分離部321は、制御部301から映像のPIDを受け取る前に、第2受信部311から受け取ったトランスポートストリームを受け取った場合には、受け取ったトランスポートストリームを多重分離し、ユーザから指定されたチャンネルの番組に係るPMTを抽出して、制御部301に出力する。
(3−3)同期制御部322
同期制御部322は、特定された同期方法を制御部301から受け取る。
同期方法が主ストリームのPCRを用いるものである場合には、同期制御部322は、第1多重化分離部320からPCRを取得する。同期制御部322は、取得したPCRから主ストリーム用のシステムクロックを生成して、第1映像復号部323に逐次出力する。同期制御部322は、制御部301からの指示に従って、主ストリームのPCRを用いて副ストリーム用システムクロックを生成して、第2映像復号部324に逐次出力する。例えば、同期制御部322は、主ストリームのPCRを、オフセット値を用いて副ストリームにも適用する場合には、主ストリーム用システムクロックに指定されたオフセット値を加算もしくは減算して、副ストリーム用システムクロックを生成する。
同期方法が副ストリームのPCRを用いるものである場合には、同期制御部322は、第2多重化分離部321からPCRを取得する。同期制御部322は、取得したPCRから副ストリーム用のシステムクロックを生成して、第2映像復号部324に逐次出力する。同期制御部322は、制御部301からの指示に従って、副ストリームのPCRを用いて主ストリーム用システムクロックを生成して、第1映像復号部323に逐次出力する。
主ストリーム及び副ストリームのどちらとも用いることなく同期をとる場合には(例えば同期トラック情報を用いる場合)、同期制御部322は、制御部301からの指示に従って、主ストリーム用システムクロック及び副ストリーム用システムクロックを生成し、主ストリーム用システムクロックを第1映像復号部323に、副ストリーム用システムクロックを第2映像復号部324に、それぞれ逐次出力する。
(3−4)第1映像復号部323
第1映像復号部323は、同期制御部322から逐次出力される主ストリーム用システムクロックを参照して、第1多重化分離部320から逐次出力される映像ES(主ストリーム)を、当該主ストリーム中に記載された復号タイミングで復号して、当該主ストリーム中に記載された出力タイミングで映像処理部326に出力する。
(3−5)第2映像復号部324
第2映像復号部324は、同期制御部322から逐次出力される副ストリーム用システムクロックを参照して、第2多重化分離部321から逐次出力される映像ES(副ストリーム)を、当該副ストリーム中に記載された復号タイミングで復号して、当該副ストリーム中に記載された出力タイミングで映像処理部326に出力する。
(3−6)音声復号部325
音声復号部325は、第1多重化分離部320から逐次受け取った音声のESを復号して、音声データを生成する。そして、音声復号部325は、生成した音声データを音声として出力する。
(3−7)映像処理部326
映像処理部326は、制御部301から副ストリームの用途に応じた指示を受け取ると、受け取った指示に従って、第1映像復号部323及び第2映像復号部324より出力された映像の処理を行って、出力部304に出力する。
例えば、各映像が二眼式立体の各ビューに対応するものである場合は、第1映像復号部323及び第2映像復号部324それぞれから出力された映像を合成する。合成の方法は、例えばアクティブシャッター方式の3Dディスプレイであれば、入力された両映像を交互に表示すると共に、3D眼鏡の左右眼に対応した液晶シャッターを表示に同期して交互に開閉させる。またパッシブ方式の3Dディスプレイであれば、ディスプレイ上でライン毎に左右眼に対応して交互に設定された偏光方向に合せて、入力された両映像をライン毎に交互に重ね合わせる。さらにHDMI等外部出力を行う前提であれば、出力先のディスプレイが受け付ける3Dフォーマットに従った合成を行う(例:左右交互にフル解像度で出力するFrame Packing、水平方向に圧縮合成したSide−by−Sideなど)。
(4)出力部304
出力部304は、映像処理部326から受け取った映像を、ディスプレイ(図示せず)へ出力する。
2.7 動作
ここでは、各装置の動作について説明する。なお、説明の便宜上、副ストリームについての種別を、stream_type=0x80(二眼式立体映像における、主ストリームと反対側のビュー)とする。
(1)送信装置100の動作
ここでは、送信装置100の動作について図13に示す流れ図を用いて説明する。
左目用ビデオエンコーダ101は、一の番組についての複数の左目用映像(ピクチャ)について、MPEG−2、MPEG−4などの方式を使って符号化して、左目用ビデオストリームを生成し、左目用ビデオストリーム格納部103へ書き込む(ステップS5)。
オーディオエンコーダ102は、音声データを圧縮・符号化して、オーディオストリームを生成し、オーディオストリーム格納部104へ書き込む(ステップS10)。
多重化部106は、左目用ビデオストリーム、オーディオストリーム、及び情報保持部105で格納されているSI/PSIなどを多重化して、MPEG2−TS形式のトランスポートストリームを生成し(ステップS15)、送信部107を介して送信する(ステップS20)。
(2)送信装置200の動作
送信装置200の動作については、送信装置100の動作との変更点のみ説明する。
ステップS5において、右目用ビデオエンコーダ201が右目用ビデオストリームを生成するように変更する。
ステップS10は実行せず、ステップS10においてとランポートストリームを生成する際には、多重化部206が右目用ビデオストリームと、情報保持部205で格納されているSI/PSIなどを多重化するように変更する。
(3)受信再生装置300の動作
ここでは、受信再生装置300の動作について、図14に示す流れ図を用いて説明する。なお、説明の便宜上、主ストリームは第1受信部310で受信され、副ストリームは第2受信部311で受信されるものとする。
受信処理部302は、ユーザから選局指示のあったトランスポートストリーム(TS)を受信する(ステップS100)。
制御部301は、受信したTSに含まれるPMTを用いて、当該TSが主ストリームを含むものであるか、副ストリームを含むものであるか、若しくは双方とも含まないものであるかを判別する(ステップS105)。具体的には、制御部301は、受信したTSに含まれるPMTに、新規記述子“external_ES_link_descriptor()”が記載されている場合には当該TSには主ストリームが含まれると、新規記述子“service_subset_ES_descriptor()”が記載されている場合には当該TSには副ストリームが含まれると、判別する。また、上記新規記述子の何れも記載されていない場合には、通常のTSであると判別する。
受信したTSに主ストリームが含まれると判別する場合(ステップS105における「主ストリーム」)、制御部301は、external_ES_link_descriptor()の記述内容を参照して、副ストリームを特定し、第2受信部311へ特定した副ストリームを含むTSを受信するよう指示し、第2受信部311は、制御部301の指示に基づいて副ストリームを含むTSを受信する(ステップS110)。具体的には、制御部301は、TS_location_type、transport_steram_id、program_number、ES_PID、transport_stream_location、uri_charを参照して、副ストリームの取得方法を得る。例えばTS_location_typeで示される値が“00”又は“01”である場合は、副ストリームが放送で伝送されているものと解釈して、第2受信部311にtransport_stream_id、transport_stream_locationを指定して、副ストリームを伝送する放送波を受信・復調するよう指示するとともに、第2多重化分離部321にprogram_number、ES_PIDを指定して、復調されたトランスポートストリームから副ストリーム(右目映像のES)を分離・抽出するよう指示を行う。また例えば、TS_location_typeで示される値が“10”である場合は、副ストリームが通信ネットワーク経由で得られるものと解釈して、第2受信部311にuri_charを指定して当該副ストリームを通信ネットワークから取得するよう指示するとともに、第2多重化分離部321にprogram_number、ES_PIDを指定して、取得されたトランスポートストリームから副ストリームを分離・抽出するよう指示を行う。制御部301からの指示に従い、第2受信部311は副ストリームの受信、復調し、第2多重化分離部321は、多重分離を行って映像のES(副ストリーム)を抽出して第2映像復号部324へ逐次出力する。なお、副ストリームが取得できるまでの間、主ストリーム単独で再生する構成としてもよい。また、副ストリームを取得して主ストリームと同時に利用するか、主ストリーム単独で利用するかを、事前設定、もしくはユーザに問合せを行った結果によって選択してもよい。
再生処理部303は、制御部301の指示に基づいて、受信した主ストリーム及び副ストリームの同時再生を行う(ステップS115)。具体的には、先ず制御部301は、external_ES_link_descriptor()を取得している場合には、sync_reference_type、及びPCR_location_flag以降のフィールドを参照して、同期方法を特定する。例えば、sync_reference_type=01、PCR_location_flag=0、explicit_PCR_flag=0、PCR_offset_flag=1の場合は、主ストリームのPMT中に記載されたPCRを、オフセット値を用いて副ストリームにも適用すると解釈して、同期制御部に当該の処理を行うよう指示する。同期制御部322は、特定された同期方法に基づいて、PCR_PIDを参照して主ストリームに含まれるPCRを抽出し、抽出したPCRを用いて主ストリーム用システムクロック及び副ストリーム用システムクロックを生成し、主ストリーム用システムクロックを第1映像復号部323に、副ストリーム用システムクロックを第2映像復号部324に、それぞれ逐次出力する。また、制御部301は、第1受信部310で受信したTSから主ストリーム映像を抽出するよう、第1多重化分離部320に指示を行う。制御部301は、stream_type_flag及びstream_typeを参照して、副ストリームの用途に関する情報を得て、対応する処理を行うよう再生処理部303へ指示を行う。例えばstream_type=0x80の場合は、主ストリーム及び副ストリームが二眼式立体の各ビューに対応するものと解釈して、再生処理部303に処理を行うよう指示する。制御部301の指示により、再生処理部303の第1映像復号部323は主ストリームから左目用映像を生成し、第2映像復号部324は副ストリームから右目用映像を生成し、映像処理部326は、生成された左目用映像及び右目用映像を3D表示するための処理を行う。
受信したTSに副ストリームが含まれると判別した場合(ステップS105における「副ストリーム」、制御部301は、service_subset_ES_descriptor()を参照して、副ストリームのみで再生可能であるか否かを判断する(ステップS120)。具体的には、制御部301は、service_subset_ES_descriptor()のdependency_flagを参照することで上記判断が可能である。
単独で再生可能でないと判断する場合には(ステップS120における「No」)、制御部301は、service_subset_ES_descriptor()を参照して、主ストリームを特定し、第1受信部310へ特定した主ストリームを含むTSを受信するよう指示し、第1受信部310は、制御部301の指示に基づいて主ストリームを含むTSを受信する(ステップS125)。その後、処理はステップS115へ移行する。
単独で再生可能であると判断する場合には(ステップS120における「Yes」)、再生処理部303は、副ストリームのみの再生を行う(ステップS130)。なお、主ストリームを取得して副ストリームと同時に利用するか、副ストリーム単独で利用するかを、事前設定、もしくはユーザに問合せを行った結果によって選択してもよい。
受信したTSに主ストリーム及び副ストリームの何れともが含まれないと判別した場合(ステップS105における「その他」)、再生処理部303は、受信したTSから映像及び音声を生成し、出力部304へ出力、つまり受信したTSの再生を行う(ステップS135)。
3.第2の実施の形態
上記第1の実施の形態では、番組を放送波により送信するものとしたが、ここでは、IP(Internet Protocol)放送による送信の場合について説明する。
本実施の形態における番組配信システムでは、第1の実施の形態と同様に、主ストリームを送信する送信装置1100と、副ストリームを送信する送信装置1200と、受信再生装置1300とから構成されている。
なお、第1の実施の形態と同様に、主ストリームは左目用映像のストリーム、副ストリームは右目用映像のストリームである。
以下、各装置の構成について、第1の実施の形態と異なる点を中心に説明する。第1の実施の形態の機能構成と同様の機能構成については、同一の符号を付し、説明を省略する。
3.1 送信装置1100
送信装置1100は、図15に示すように、左目用ビデオエンコーダ101、オーディオエンコーダ102、左目用ビデオストリーム格納部103、オーディオストリーム格納部104、ファイル保持部1105、多重化部1106及び送信部1107から構成されている。
(1)ファイル保持部1105
ファイル保持部1105は、IP上のビデオ・オン・デマンドサービス等における映像ストリーム等を送信するに先立って送信する再生制御メタファイルを保持している。再生制御メタファイルとは、「デジタルテレビ情報化研究会 デジタルテレビ ネットワーク機能仕様 ストリーミング機能仕様書 コーデック編」にて規定されるものである。
本実施の形態では、主ストリームの情報を記述した、再生制御メタファイル中のERI(Entry Resource Information)において、当該ストリームとは別TSで伝送される副ストリームの参照情報が記述された新規要素(external_ES_link_info)が追加されている。なお、新規要素(external_ES_link_info)については、後述する。また、再生制御メタファイルは、外部装置で作成されてもよいし、送信装置1100で作成されてもよい。
これにより、IP上のビデオ・オン・デマンドサービス等における映像ストリーム視聴時に、主ストリームの内容を解析する前に、同時に利用可能な副ストリームを特定することができる。
(2)多重化部1106
多重化部1106は、左目用ビデオストリーム格納部103に格納されている左目用ビデオストリーム(主ストリーム)、オーディオストリーム格納部104に格納されているオーディオストリームなどを多重化して、MPEG2−TS形式のTSを生成し、送信部1107を介して送信する。
(3)送信部1107
送信部1107は、ファイル保持部1105で保持されている再生制御メタファイルを送信、及び多重化部1106で生成されたMPEG2−TS形式のTSを送信する。
3.2 external_ES_link_infoについて
図16に、external_ES_link_infoの項目を示す。
external_ES_link_info要素は、一つ又は複数の、副ストリームに関する情報を示すものである。
location要素は、副ストリームの、放送、通信又は蓄積媒体上での位置を示すものである。ここで、副ストリームの位置は、uri属性中にURI形式で記述される。これにより、受信側の装置は、副ストリームがどのようにアクセス可能であるかを知ることができる。例えば、副ストリームが放送で伝送される場合は、例えば「ARIB STD−B24」にて規定される表記に従い、値が“arib://0001.0002.0003.0004/05”であれば、副ストリームは、network_id=0x0001、transport_stream_id=0x0002、service_id=0x0003、event_id=0x0004、component_tag=0x05にて放送(伝送)されるESに含まれていることを示す。また副ストリームが放送以外の媒体によってもアクセス可能な場合は、第1の実施の形態で示すuri_charの記述と同様である。
stream要素は、副ストリームの特性を示すものである。type属性には、副ストリームのstream_typeが、「ISO/IEC 13818−1」にて規定される値で記述される。例えば、H.264AVCの場合は、“1b”と記述される。これにより、副ストリームが受信側の装置において利用可能かどうか、副ストリームにアクセスする前に知ることができる。なおtype属性は、第1の実施の形態で示すstream_typeと同様に、副ストリームの用途別に値を記述してもよい。
sync要素は、主ストリームと副ストリームの同期に関する情報を示すものであり、type属性、pcr_pid属性、pcr_offset属性、main_sync_tag属性及びsub_sync_tag属性から構成される。
sync要素におけるtype属性は、主ストリームと副ストリームの同期手段の有無及び方法を示すものである。値が“pcr_main”の場合は、主ストリームを含むプログラムのPCRを利用することを示す。値が“pcr_sub”の場合は、副ストリームを含むプログラムのPCRを利用することを示す。値が“independent”の場合は、独立した同期トラックを用いた同期を行うことを示す。値が記述されない場合は、受信側の装置において主ストリームと副ストリームの同期は行わず、主ストリームの復号・表示を行う際は主ストリーム内のPCRに従い、副ストリームの復号・表示を行う際は副ストリーム内のPCRに従う。これにより、受信側の装置は、主ストリームと副ストリームの間のクロック同期の有無及び方法を知ることができる。
pcr_pid属性は、type属性が“pcr_main”又は“pcr_sub”の場合に、PCR_PIDを明示的に指定するものである。例えば、値が“1db”であれば、PIDが0x01DBであるPCRを参照する。値が記述されない場合は、当該ストリームのPMTにて記述されたPCR_PIDを使用する。これにより、受信側の装置は、同期再生時に固有のPCRを利用するべきか否か、利用する場合にそのPCRのPIDを知ることができる。
pcr_offset属性には、type属性が“pcr_main”又は“pcr_sub”であって、PCR参照時にオフセット値を加算する場合に、そのオフセット値が記述される。“−200000000”から“200000000”の間の一の値(16進整数値)がオフセット値として記述する。例えば、sync要素のtype属性が“pcr_main”であって主ストリーム内のPCRを利用する場合において、副ストリームの復号・表示を行うときに、受信側の装置は、pcr_offset属性の値に従って主ストリーム内のPCRをオフセットした値を使用する。sync要素のtype属性が“pcr_sub”であって副ストリーム内のPCRを利用する場合は、主ストリームの復号・表示を行うときに、pcr_offset属性の値に従って副ストリーム内のPCRをオフセットした値を使用する。pcr_offset属性を指定することによって、主ストリームと副ストリームの間でPCRの開始値を合わせることができない場合でも、同期再生を実現することができる。
main_sync_tag属性は、type属性が“independent”の場合に、主ストリームの同期トラックのcomponent_tagの値を示すものである。
sub_sync_tag属性は、type属性が“independent”の場合に、副ストリームの同期トラックのcomponent_tagの値を示すものである。
main_sync_tag属性とsub_sync_tag属性を用いることにより、PCRの値によらず、主ストリームと副ストリームを同期させることが可能となる。
ここで、図17にexternal_ES_link_info要素の記述例を示す。図17では、副ストリームは、location要素により、“arib://0001.0002.0003.0004/05”で示される位置に存在していることが分かる。また、stream要素におけるtype属性が“1b”であるので、副ストリームは、H.264AVC形式であることが分かる。さらに、sync要素により、主ストリームと副ストリームとの同期は、主ストリームのPCRを用いること、PIDが0x01DBであるPCRであること、副ストリームでは、主ストリームのPCRにオフセット値“−100”を加算することが分かる。
3.3 送信装置1200
送信装置1200は、図18に示すように、右目用ビデオエンコーダ201、右目用ビデオストリーム格納部203、ファイル保持部1205、多重化部1206及び送信部1207から構成されている。
(1)ファイル保持部1205
ファイル保持部1205は、IP上のビデオ・オン・デマンドサービス等における映像ストリーム等を送信するに先立って送信する再生制御メタファイルを保持している。再生制御メタファイルとは、「デジタルテレビ情報化研究会 デジタルテレビ ネットワーク機能仕様 ストリーミング機能仕様書 コーデック編」にて規定されるものである。
本実施の形態では、副ストリームの情報を記述した、再生制御メタファイル中のERIにおいて、当該ストリームとは別TSで伝送される主ストリームの参照情報が記述された新規要素(subset_service_ES_info)が追加されている。なお、新規要素(subset_service_ES_info)については、後述する。
これにより、IP上のビデオ・オン・デマンドサービス等における映像ストリーム視聴時に、副ストリームの内容を解析する前に、同時に利用可能な主ストリームを特定することができる。
(2)多重化部1206
多重化部1206は、右目用ビデオストリーム格納部203に格納されている右目用ビデオストリーム(副ストリーム)などを多重化して、MPEG2−TS形式のTSを生成し、送信部1207を介して送信する。
(3)送信部1207
送信部1207は、ファイル保持部1205で保持されている再生制御メタファイルを送信、及び多重化部1206で生成されたMPEG2−TS形式のTSを送信する。
3.4 subset_service_ES_infoについて
図19に、subset_service_ES_infoの項目を示す。
subset_service_ES_info要素は、副ストリームと、主ストリームとの関係を示すものである。
location要素は、主ストリームの、放送、通信又は蓄積媒体上での位置を示すものである。副ストリームの位置は、uri属性中にURI形式で記述される。uri属性の記述方法は、図16におけるlocation要素のuri属性と同様である。これにより、受信側の装置は、主ストリームがどのようしてアクセス可能であるかを知ることができる。
stream要素は、主ストリームの特性を示すものであり、type属性、dependency属性及びparent_lli属性を含んでいる。
stream要素のtype属性には、主ストリームのstream_typeが、ISO/IEC 13818−1にて規定される値で記述する。例えば、H.264AVCの場合は、“1b”が記述される。これにより、主ストリームが受信側の装置において利用可能かどうか、主ストリームにアクセスする前に知ることができる。
dependency属性は、副ストリームが主ストリームに依存せずに再生可能かどうかを示すものである。値が“false”を示す場合は、当該副ストリームが単独で再生可能であることを示す。“true”を示す場合は、当該副ストリームが、主ストリームと同時に利用する場合のみ再生可能であることを示す。これにより、主ストリームと無関係に副ストリームが受信側の装置よりアクセスされた場合に、送信側の意図に従って副ストリームの再生を許可/抑制することができる。
parent_lli属性には、DRMへの参照を記述するLLI(License Link Information)に関する情報を示すものである。値が“false”を示す場合は、副ストリームの再生制御メタファイル中のLLIを利用することを示す。値が“true”を示す場合は、主ストリームの再生制御メタファイル中のLLIを利用することを示す。これにより、主ストリームと副ストリームを個別の鍵で暗号化することによる煩雑さや処理負荷を防ぐと同時に、主ストリームと無関係に副ストリームが受信側の装置よりアクセスされた場合に、送信側の意図しない形で再生されることを防ぐことができる。
sync要素は、図16に示すsync要素と同様であるので、ここでの説明は省略する。
図20に、subset_service_ES_info要素の記述例を示す。図20では、主ストリームは、location要素により、“arib://0001.0002.0003.0004/05”で示される位置に存在していることが分かる。また、stream要素のtype属性により、主ストリームはH.264AVC形式であること、dependency属性により、当該副ストリームは主ストリームと同時に利用する場合のみ再生可能であること、parent_lli属性により、DRMへの参照は、主ストリームの再生制御メタファイル中のLLIを利用することが分かる。さらに、sync要素により、主ストリームと副ストリームとの同期は、主ストリームのPCRを用いること、PIDが0x01DBであるPCRであること、副ストリームでは、主ストリームのPCRにオフセット値“−100”を加算することが分かる。
3.5 受信再生装置1300
ここでは、受信再生装置1300の構成について説明する。
受信再生装置1300は、図21に示すように、制御部1301、受信処理部1302、再生処理部303、出力部304及び送信部1305から構成されている。
(1)制御部1301
制御部1301は、受信再生装置1300の全体の制御を行うものである。
具体的には、制御部1301は、ユーザ(視聴者)の操作により、送信が要求されたコンテンツを識別する再生制御メタファイルURLを特定する。制御部1301は、特定した再生制御メタファイルURLを含むファイル要求情報を生成し、生成したファイル要求情報を、送信部1305を介して送信装置1100又は送信装置1200へ送信する。なお、ファイル要求情報の送信先は、ユーザ(視聴者)の操作により決定される。また、再生制御メタファイルURLの特定は、例えば、次のように行う。制御部1301は、送信装置1100又は送信装置1200からコンテンツ(番組)の送信を要求する際に、先ずコンテンツの送信側で管理されているコンテンツ(ストリーム)それぞれの再生制御メタファイルURLと、コンテンツの名称を送信装置から受け取ると、受信再生装置1300のディスプレイ(図示せず)にコンテンツの名称を一覧表示させる。制御部1301は、一覧表示されたコンテンツの名称から一の名称がユーザの操作により選択されると、選択されたコンテンツの名称に対応する再生制御メタファイルURLを特定する。
また、制御部1301は、受信処理部1302から再生制御メタファイルを受け取る。制御部1301は、再生制御メタファイルを解析し、再生すべき映像のPID及び音声のPID等を特定し、特定した各PIDを再生処理部303へ通知する。また、制御部301は、受け取った再生制御メタファイルに上記の新規記述子の有無を判断することにより、受信した再生制御メタファイルに対応するTSと同時に再生すべき情報を含む他のTSの存在の有無を判断する。例えば、受信した再生制御メタファイルに新規要素“external_ES_link_info”の存在の有無により、副ストリームの存在の有無を判断する。制御部1301は、external_ES_link_info要素が存在すると判断する場合には副ストリームを特定する。制御部1301は、主ストリームを含むTSについての送信要求を、送信部1305を介して、送信装置1200へ送信するとともに、特定した副ストリームを含むTSについての送信要求を送信部1305を介して、送信装置1200へ送信する。さらに、副ストリームを含むTSを受信、復調するよう受信処理部302へ指示する。さらに、制御部1301は、external_ES_link_info要素から同期に関する情報を取得し、取得した情報に基づいて、同期方法を特定し、その結果を再生処理部303へ通知する。
なお、制御部1301は、受信した再生制御メタファイルに新規要素“subset_service_ES_info”が記述されている場合には、副ストリームのみでの再生の可否を判断する。副ストリームのみでの再生が不可であると判断した場合には、主ストリームの特定、同期情報の取得を行う。
(2)送信部1305
送信部1305は、制御部1301からファイル要求情報を受け取ると、指定された送信先(送信装置1100又は送信装置1200)へ送信する。
(3)受信処理部1302
受信処理部1302は、図21に示すように、第1受信部1310と第2受信部1311とを有している。
第1受信部1310は、送信装置1100から送信された再生制御メタファイルを受信する。また、第1受信部1310は、主ストリームを含むTSを受信及び復調し、復調して得られたMPEG2形式のトランスポートストリームを再生処理部303へ出力する。
第2受信部1311は、送信装置1200から送信された再生制御メタファイルを受信する。また、第2受信部1311は、副ストリームを含むTSを受信及び復調し、復調して得られたMPEG2形式のトランスポートストリームを再生処理部303へ出力する。
3.6 動作
ここでは、各装置の動作について説明する。なお、説明の便宜上、主ストリームは左目映像のストリーム、副ストリームは右目映像のストリームであるとする。
(1)動作概要
本実施の形態に係る番組配信システムの動作概要について、図22に示す流れ図を用いて説明する。
受信再生装置1300の制御部1301は、送信が要求された番組(コンテンツ)を識別する再生制御メタファイルURLを含むファイル要求情報を生成し(ステップS200)、生成したファイル要求情報を、ユーザ操作により決定された送信装置(送信装置1100又は送信装置1200)へ送信する(ステップS205)。
送信装置(例えば、送信装置1100)は、受信再生装置1300から受け取った再生制御メタファイルURLに対応する再生制御メタファイルを特定し(ステップS210)、特定した再生制御メタファイルを受信再生装置1300へ送信する(ステップS215)。
受信再生装置1300は、再生制御メタファイルを受信すると、受信した再生制御メタファイルの内容を解釈し、解釈結果に応じた再生処理を行う(ステップS220)。
(2)再生処理
ここでは、図22に示すステップS220で行われる再生処理について、図23に示す流れ図を用いて説明する。
受信再生装置1300の受信処理部1302は、ユーザ操作により決定された送信装置(例えば、送信装置1100)から再生制御メタファイルを受信する(ステップS300)。
制御部1301は、受信した再生制御メタファイルを用いて、当該再生制御メタファイルに対応するTSが主ストリームを含むものであるか、副ストリームを含むものであるか、若しくは双方とも含まないものであるかを判別する(ステップS305)。具体的には、制御部301は、受信した再生制御メタファイルに、新規要素“external_ES_link_info”が記載されている場合には、対応するTSには主ストリームが含まれると、新規要素“subset_service_ES_info”が記載されている場合には、対応するTSには副ストリームが含まれると、判別する。また、上記新規要素の何れも記載されていない場合には、通常のTSであると判別する。
TSに主ストリームが含まれると判別する場合(ステップS305における「主ストリーム」)、制御部1301は、external_ES_link_infoの記述内容を参照して、副ストリームを特定する(ステップS310)。具体的には、制御部301は、location要素のur属性を参照して、副ストリームの取得方法を特定する。
制御部1301は、主ストリーム及び副ストリームそれぞれについての送信要求を、送信装置1100及び送信装置1200に対して行う(ステップS315)。
再生処理部303は、制御部1301の指示に基づいて、受信した主ストリーム及び副ストリームの同時再生を行う(ステップS320)。具体的には、先ず制御部301は、external_ES_link_infoを取得している場合には、sync要素を参照して、同期方法を特定する。同期制御部322は、特定された同期方法に基づいて、PCR_PID属性を参照して、例えば主ストリームに含まれるPCRを抽出し、抽出したPCRを用いて主ストリーム用システムクロック及び副ストリーム用システムクロックを生成し、主ストリーム用システムクロックを第1映像復号部323に、副ストリーム用システムクロックを第2映像復号部324に、それぞれ逐次出力する。また、制御部1301は、第1受信部1310で受信したTSから主ストリーム映像を抽出するよう、第1多重化分離部320に指示を、第2受信部1311で受信したTSから副ストリーム映像を抽出するよう、第2多重化分離部321に指示を行う。制御部1301の指示により、再生処理部303の第1映像復号部323は主ストリームから左目用映像を生成し、第2映像復号部324は副ストリームから右目用映像を生成し、映像処理部326は、生成された左目用映像及び右目用映像を3D表示するための処理を行う。
受信したTSに副ストリームが含まれると判別した場合(ステップS305における「副ストリーム」)、制御部1301は、subset_service_ES_info要素を参照して、副ストリームのみで再生可能であるか否かを判断する(ステップS325)。具体的には、制御部301は、subset_service_ES_infoのstream要素におけるdependency属性を参照することで上記判断が可能である。
単独で再生可能でないと判断する場合には(ステップS325における「No」)、制御部1301は、subset_service_ES_info要素を参照して、主ストリームを特定する(ステップS330)。その後、処理はステップS315へ移行する。
単独で再生可能であると判断する場合には(ステップS325における「Yes」)、制御部1301は、副ストリームについての送信要求を、送信装置1200に対して行う(ステップS335)。第2受信部1311が副ストリームを受信し、再生処理部303が副ストリームのみの再生を行う(ステップS340)。
受信したTSに主ストリーム及び副ストリームの何れともが含まれないと判別した場合(ステップS305における「その他」)、制御部1301は、副ストリームについての送信要求を、送信装置(ユーザ操作により指定された装置)に対して行う(ステップS345)。第1受信部1310がストリームを受信し、再生処理部303が、受信したストリームのみの再生を行う(ステップS350)。
4.変形例1
上記各実施の形態では、主ストリームと副ストリームとのリンク付けを、番組の送信形態に応じて、PMTで行う場合、及びERIで行う場合について説明したが、これに限定されない。
本変形例では、主ストリームが、副ストリームを特定する際の情報を、PMTではなく、「ARIB STD−B10」にて規定されるSI(Service Information)に記載する。具体的には、SIに含まれるSDT(Service Description Table)若しくはEIT(Event Information Table)の記述子ループに、当該ストリームとは別TSで伝送される副ストリームの参照情報が記述された、同じく「ARIB STD−B10」にて規定されたhyperlink_descriptor()を配置する。
図24にhyperlink_descriptor()の構造の一例を示す。
descriptor_tagには、他の記述子と本記述子を区別するための、一意な値が記述される。
descriptor_lengthには、次のフィールドから本記述子末尾までのバイト数が記述される。
hyper_linkage_typeは、リンクの形態を示す。ここでは新規に、synchronized_stream(0x0B)を定義して使用する。
link_destination_typeは、リンク先種別を示す。ここでは新規に、link_to_external_component(0x08)を定義して使用する。
selector_lengthは、後続のセレクタ領域のバイト長を示す。
selector_byteには、リンク先種別毎に規定される形式によってリンク先が記述される。ここではlink_to_external_component(0x08)に対応して、新規にlink_external_component_info()を定義して使用する。link_external_component_info()の各フィールドの意味は後述する。
private_dataは、将来拡張に用いるものである。
図25にlink_external_component_info()の構造の一例を示す。
Reservedは、将来拡張のための領域であり、二進数の“1”がビット数分記述される。
TS_location_typeは、副ストリームが伝送されるネットワークの種別を示す。値“00”の場合は、副ストリームが、主ストリームと同じ放送ネットワークで伝送されることを示す。値“01”の場合は、副ストリームが、後続のtransport_stream_locationにて示される、主ストリームと異なる放送ネットワークで伝送されることを示す。値“10”の場合は、副ストリームが、後続のuri_charで示されるURIによってアクセス可能な、放送以外の媒体によってもアクセス可能であることを示す。これにより、受信側の装置は、副ストリームがどのようにアクセス可能かを知ることができる。
component_type_flagは、後続のstream_content及びcomponent_typeの記述の有無を示すフラグである。
sync_reference_typeは、図4と同様である。
transport_stream_idは、参照する副ストリームが伝送されるtransport_stream_idを示す。
service_idは、参照する副ストリームを含むプログラムのservice_idを示す。なおservice_idはprogram_numberと同義である。event_idは、参照する副ストリームを含むイベントのevent_idを示す。参照する副ストリームを含むイベントを特定しない場合は、event_idに無効値(0xffff)を格納する。
component_tagは、参照する副ストリームのcomponent_tagを示す。transport_stream_id、service_id、component_tagを記述することにより、主ストリームの利用時に、同時に利用可能な副ストリームのESを特定することができる。さらにevent_idを指定することにより、主ストリームを含むイベントと異なる時間に放送される副ストリームを含むイベントを指定することができる。この場合、受信側の装置は、いずれか放送時間の早い方(もしくは双方)を録画後、蓄積した主ストリームもしくは副ストリームを用いて同期再生を行う。
original_network_idは、参照する副ストリームが別の放送ネットワーク(例:地上波放送に対する衛星放送)で伝送される場合に、副ストリームの伝送されるネットワークを示すことができる。これにより、副ストリームが主ストリームとは別の放送ネットワークで伝送される場合でも、受信機はその伝送位置を知ることができる。
uri_lengthは、後続のuri_charのバイト数を示す。
uri_charは、参照する副ストリームが放送以外の媒体によってもアクセス可能な場合に、副ストリームが含まれるTSにアクセスするためのURIを記述する。URIの記述例は、第1の実施の形態と同様であるので、ここでの説明は省略する。
stream_contentは、指定される副ストリームの種別(映像、音声、データ)を示す。
component_typeは、指定される副ストリームのコンポーネントの詳細種別を示す。 stream_contentとcomponent_typeにより、副ストリームが受信機において利用可能かどうか、副ストリームにアクセスする前に知ることができる。 なおstream_contentとcomponent_typeは、図4におけるstream_typeと同様に、副ストリームの用途別に値を記述してもよい。
PCR_location_flag以降の記述は、図4と同様であるので、ここでの説明は省略する。ただし、主ストリームの同期トラックはmain_sync_PIDの代わりにmain_sync_tagを用いて記述する。また、副ストリームの同期トラックはsub_sync_PIDの代わりにsub_sync_tagを用いて記述する。
以上が、新規記述子“hyperlink_descriptor()”及び“link_external_component_info()”の構造についての説明である。これらの記述子により、事前に放送番組の再生予約・録画予約を行う場合でも、受信側の装置(デジタルテレビ)は、あらかじめ利用可能な副ストリームを特定し、再生・記録するストリームの選択ができる。
5.変形例2
ここでは、主ストリームと連動した、「ARIB STD−B24」に規定されるデータ放送中のobject要素を用いて、当該ストリームとは別TSで伝送される副ストリームの参照情報を記述する場合について説明する。
図26に、本変形例にて使用する拡張属性の一覧、及びそれらを用いて副ストリームを指定するデータ放送コンテンツの記述例を示す。
図26(a)は、主ストリームを示すobject要素に対する、副ストリームを指定するための拡張属性を示すものである。
substream_typeは、副ストリームのmime−typeを示す。例えば、放送波で伝送されるMPEG−4であれば、“video/X−arib−mpeg4”を指定する。これにより、副ストリームが受信側の装置において利用可能かどうか、副ストリームにアクセスする前に知ることができる。なお、substream_type属性は、図4におけるstream_typeと同様に、副ストリームの用途別に値を記述してもよい。
substream_dataは、副ストリームのURLを示す。uri属性の記述方法は、図16におけるlocation要素のuri属性と同様である。これにより、受信側の装置は、副ストリームの位置を知ることができる。
substream_sync_typeは、主ストリームと副ストリームの同期手段の有無、及び方法を示す。値が“pcr_main”を示すものである場合は、主ストリームを含むプログラムのPCRを利用することを示す。値が“pcr_sub”を示すものである場合は、副ストリームを含むプログラムのPCRを利用することを示す。値が“independent”を示すものである場合は、独立した同期トラックを用いた同期を行う。値が記述されない場合は、受信側の装置において主ストリームと副ストリームの同期は行わず、主ストリームの復号・表示を行う際は主ストリーム内のPCRに従い、副ストリームの復号・表示を行う際は副ストリーム内のPCRに従う。これにより、受信側の装置は、主ストリームと副ストリームの間のクロック同期の有無及び方法を知ることができる。
substream_sync_pcr_pidは、substream_sync_type属性が“pcr_main”、又は“pcr_sub”の場合に、PCR_PIDを明示的に指定するものである。例えば、値が“1db”であれば、PIDが0x01DBであるPCRを参照する。値が記述されない場合は、当該ストリームのPMTにて記述されたPCR_PIDを使用する。これにより、受信側の装置は、同期再生時に固有のPCRを利用するべきか否か、利用する場合にそのPCRのPIDを知ることができる。
substream_sync_pcr_offsetには、substream_sync_type属性が“pcr_main”、又は“pcr_sub”であって、PCR参照時にオフセット値を加算する場合に、そのオフセット値が記述される。オフセット値として、“−200000000”から“200000000”の間の一の値(16進整数値)が記述される。例えば、substream_sync_typeが“pcr_main”であって主ストリーム内のPCRを利用する場合は、副ストリームの復号・表示を行うときに、substream_sync_pcr_offsetの値に従って主ストリーム内のPCRをオフセットした値を使用する。substream_sync_typeが“pcr_sub”であって副ストリーム内のPCRを利用する場合は、主ストリームの復号・表示を行うときに、substream_sync_pcr_offsetの値に従って副ストリーム内のPCRをオフセットした値を使用する。substream_sync_pcr_offsetを指定することによって、主ストリームと副ストリームの間でPCRの開始値を合わせることができない場合でも、同期再生を実現することができる。
substream_sync_main_tagには、substream_sync_type属性が“independent”の場合に、主ストリームの同期トラックを示すcomponent_tagが記述される。
substream_sync_sub_tagには、substream_sync_type属性が“independent”の場合に、副ストリームの同期トラックを示すcomponent_tagが記述される。substream_sync_main_tag属性とsubstream_sync_sub_tag属性を用いることにより、PCRの値によらず、主ストリームと副ストリームを同期させることが可能となる。
図26(b)は、上記の拡張属性を用いて副ストリームを指定するデータ放送コンテンツの記述例を示すものである。
substream_typeの記述内容により、副ストリームは、MPEG−4形式により放送波で伝送されることが分かる。
substream_dataの記述内容により、副ストリームは、“arib://0001.0002.0003.0004/05”で示される位置に存在していることが分かる。
substream_sync_type及びsubstream_sync_pcr_pidのそれぞれの記述により、主ストリームと副ストリームとの同期の際には、主ストリームを含むプログラムのPCRを利用し、利用するPCRはPIDが0x01DBであるものを参照することが分かる。
また、substream_sync_pcr_offsetの記載により、主ストリームと副ストリームとの同期の際には、オフセット値“−100”を用いることが分かる。
以上が、「ARIB STD−B24」に規定されるデータ放送中のobject要素を用いて、副ストリームの参照情報を記述する場合について説明である。これにより、データ放送コンテンツを用いて、主ストリームの映像音声サービス視聴時に、同時に利用可能な副ストリームを特定することができる。
6.変形例3
ここでは、サーバ型放送において主ストリームを含むコンテンツの情報を記述する、「ETSI TS 102 822 Part3−1」にて規定されるメタデータ中のProgramInformation要素中に、当該ストリームとは別TSで伝送される副ストリームの参照情報を記述する場合について説明する。具体的には、ProgramInformation要素に含まれるAVAttributes要素に記述されるVideoAttributes要素中に、新規要素“ExternalES”を定義し記述する。
図27、及び図28において、VideoAttributes要素中にExternalES要素を定義する構造(スキーマ)の一例を示す。
図27におけるブロックB500の記述は、LocationType型と呼ばれ、副ストリームの放送、通信又は蓄積媒体上での位置が記述される。副ストリームの位置は、LocationType型に含まれるuri属性中にURI形式で記述する。uri属性の記述方法は、図16におけるlocation要素のuri属性と同様であるので、ここでの説明は省略する。これにより、受信側の装置は、副ストリームがどのようにアクセス可能かを知ることができる。
ブロックB501の記述は、StreamType型と呼ばれ、副ストリームの特性が記述される。StreamType型におけるtype属性では、副ストリームの属性を文字列で記述し、具体的には「ISO/IEC 13818−1」にて規定されるstream_typeの値が記述される。例えば、H.264AVCの場合は、“1b”が記述される。これにより、副ストリームが受信側の装置において利用可能かどうか、副ストリームにアクセスする前に知ることができる。なおtype属性は、図4におけるstream_typeと同様に、副ストリームの用途別に値を記述してもよい。
ブロックB502の記述は、SyncType型と呼ばれ、主ストリームと副ストリームの同期に関する情報が記述される。
SyncType型におけるtype属性は、主ストリームと副ストリームの同期手段の有無及び方法を示す。値が“pcr_main”を示すものである場合は、主ストリームを含むプログラムのPCRを利用することを示す。値が“pcr_sub”を示すものである場合は、副ストリームを含むプログラムのPCRを利用することを示す。値が“independent”を示すものである場合は、独立した同期トラックを用いた同期を行うことを示す。値が記述されない場合は、受信機において主ストリームと副ストリームの同期は行わず、主ストリームの復号・表示を行う際は主ストリーム内のPCRに従い、副ストリームの復号・表示を行う際は副ストリーム内のPCRに従うことを示す。これにより、受信側の装置は、主ストリームと副ストリームの間のクロック同期の有無及び方法を知ることができる。
pcr_pid属性は、type属性が“pcr_main”、又は“pcr_sub”を示す場合に、PCR_PIDを明示的に指定するものである。例えば、値が“1db”であれば、PIDが0x01DBであるPCRを参照する。値が記述されない場合は、当該ストリームのPMTにて記述されたPCR_PIDを使用する。これにより、受信側の装置は、同期再生時に固有のPCRを利用するべきか否か、利用する場合にそのPCRのPIDを知ることができる。
pcr_offset属性には、type属性が“pcr_main”、又は“pcr_sub”であって、PCR参照時にオフセット値を加算する場合に、そのオフセット値が記述される。オフセット値として、“−200000000”から“200000000”の間の一の値(16進整数値)が記述される。
sync属性が“pcr_main”であって主ストリーム内のPCRを利用する場合は、副ストリームの復号・表示を行うときに、受信側の装置は、offset属性の値に従って主ストリーム内のPCRをオフセットした値を使用する。sync属性が“pcr_sub”であって副ストリーム内のPCRを利用する場合は、主ストリームの復号・表示を行うときに、受信側の装置は、pcr_offset属性の値に従って副ストリーム内のPCRをオフセットした値を使用する。
pcr_offset属性を指定することによって、主ストリームと副ストリームの間でPCRの開始値を合わせることができない場合でも、同期再生を実現することができる。
main_sync_tag属性は、type属性が“independent”の場合に、主ストリームの同期トラックのcomponent_tagの値を示す。
sub_sync_tag属性は、type属性が“independent”の場合に、副ストリームの同期トラックのcomponent_tagの値を示す。main_sync_tag属性とsub_sync_tag属性を用いることにより、PCRの値によらず、主ストリームと副ストリームを同期させることが可能となる。
ブロックB503の記述は、ExternalEsType型と呼ばれ、副ストリームに関する情報を示し、LocationType型のLocation要素、StreamType型のStream要素、SyncType型のSync要素を含む。これら要素は、上記にて説明しているので、ここでの説明は省略する。
ブロックB504は、VideoAttributesType型と呼ばれ、新規要素である、ExternalEsType型のExternalEs要素が追加される。
上記にて示す新規要素“ExternalEs”を用いて副ストリームを指定するERIの記述例を、図29に示す。
図29において、<ExternalEs>から</ExternalEs>までの記述が新規要素の内容である。
Location要素の記述により、副ストリームは、“arib://0001.0002.0003.0004/05”で示される位置に存在していることが分かる。
Stream要素の記述により、ストリームのタイプがH.264AVCであることが分かる。
Sync要素におけるtype属性、pcr_pid属性及びpcr_offset属性の記述により、主ストリームと副ストリームとの同期の際には、主ストリームを含むプログラムのPCRを利用し、利用するPCRはPIDが0x01DBであるものを参照し、オフセット値“−100”を用いることが分かる。
以上が、VideoAttributes要素中にExternalES要素を定義し、副ストリームの参照情報を記述する場合の説明である。これにより、放送、通信を跨って共通なコンテンツ情報の記述を可能とするメタデータを用いて、利用可能な副ストリームを特定することができる。
7.その他の変形例
また、上記各実施の形態及び変形例に限らず、例えば、以下のような変形例が考えられる。
(1)上記第1の実施の形態において、新規記述子“external_ES_link_descriptor()”をPMTのセカンドループD102に記述するものとしたが、これに限定されない。
副ストリームが、特定の主ストリームESに対応するものではなく、プログラムに対して追加される場合(例:副ストリームが追加言語の字幕ESの場合など)は、external_ES_link_descriptor()を、PMTのファーストループD100に記載してもよい。
これにより、プログラムに対応する副ストリームを容易に記述することができる。
また、“external_ES_link_descriptor()”を新規に定義するのではなく、既存の一つ又は複数の記述子を拡張して“external_ES_link_descriptor()”に記載された各情報を追加するとしてもよいし、ユーザ拡張データとして、主ストリームESかつ/又は副ストリームES内に追加してもよい。
(2)上記第2の実施の形態において、「デジタルテレビ情報化研究会 デジタルテレビ ネットワーク機能仕様 ストリーミング機能仕様書 コーデック編」にて規定される再生制御メタファイルを例に説明したが、新規記述子“external_ES_link_info()”の追加は当該ファイルに限定されない。
「Open IPTV Forum Specification Volume 5 − Declarative Application Environment」にて規定されるContent Access Descriptorや、「ISO/IEC 14496−12」(ISO Base Media File Format)におけるヘッダ等、映像音声ストリームの属性を記述するメタ情報に追加してもよい。
また、新規記述子“subset_ervice_ES_ info”についても同様に、「デジタルテレビ情報化研究会 デジタルテレビ ネットワーク機能仕様 ストリーミング機能仕様書 コーデック編」にて規定される再生制御メタファイルに追加するだけでなく、 「Open IPTV Forum Specification Volume 5 − Declarative Application Environment」にて規定されるContent Access Descriptorや、「ISO/IEC 14496−12」(ISO Base Media File Format)におけるヘッダ等、映像音声ストリームの属性を記述するメタ情報に追加してもよい。
また、上記の各新規記述子は、ERIに記述されるとしたが、これに限定されない。上記の各新規記述子は、再生制御ファイルに含まれていればよく、必ずしもERIに記載されている必要はない。
(3)上記変形例1において、「ARIB STD−B10」にて規定されるSI情報を例に説明したが、他に「ETSI EN 300 468」(DVB−SI)、「ATSC A65」(ATSC Program and System Information Protocol)等、MPEG2 Private Section形式を用いる情報形式を利用してもよい。
または、副ストリームの情報は、hyperlink_descriptor()に記述するのではなく、新規に記述子を定義して、同等の情報を記述してもよい。
さらに、上記変形例2において、「ARIB STD−B24」にて規定されるデータ放送を例に説明したが、他に「ETSI ES 202 184」(MHEG−5 Broadcast Profile)、「ETSI TS 101 812」(Multimedia Home Platform)、「CEA−2014」(Web4CE)、「HTML−5」等、文書中より映像オブジェクトにアクセスできるマルチメディア方式を利用してもよい。
(4)上記第1の実施の形態において、新規記述子“service_subset_ES_descriptor()”をPMTのセカンドループに記述するものとしたが、これに限定されない。
副ストリームを含むプログラムを構成するESが、当該副ストリームのみである場合には、service_subset_ES_ descriptor()を、PMTのファーストループに記載してもよい。また、service_subset_ES_ descriptor ()を新規に定義するのではなく、既存の一つ又は複数の記述子を拡張して、service_subset_ES_ descriptor ()に記載された各情報を追加してもよい。
(5)上記実施の形態等で示したexternal_ES_link_descriptor()、service_subset_ES_descriptor()、hyper_link_descriptor ()及びExternalES要素は、1つ記載された場合について説明したが、これに限定されない。
これら情報は、複数個配置されてもよい。
(6)上記各実施の形態では、主ストリームを左目映像のストリーム、副ストリームを右目映像のストリームとして説明したが、主ストリームと副ストリームとの組み合わせは、これに限定されない。
stream_typeを用いて副ストリームの用途を特定したように、主ストリームと副ストリームとの組み合わせは、3D映像の制御(stream_typeの値“0x80”、“0x81”、“0x85”から“0x87”)、主ストリームの映像の高詳細化(stream_typeの値が“0x82”から“0x84”)、自由視点の切り替え(stream_typeの値が“0x88”から“0x8A”)といったように多種多様である。例えば、副ストリームが主ストリームの映像を高精細化するための差分成分である場合には、映像処理部は、第2映像復号部で生成された差分成分を、第1映像復号部で生成された映像に付加する。
また、新たな値を定義して、副ストリームを字幕データや音声データとしてもよい。この場合、受信再生装置は、字幕データを復号する字幕データ復号部、及び副ストリームの音声データを復号する音声復号部を設ける。副ストリームが字幕データである場合には、映像処理部は、第1映像復号部で生成された映像に、字幕データ復号部で生成された字幕データを重畳する。また、副ストリームが音声データである場合には、受信再生装置は、副ストリームに含まれる音声データを復号し、出力する。なお、主ストリームにも音声データが含まれる場合には、ユーザ操作により、双方の音声を出力してもよいし、一方の音声のみを出力してもよい。
(7)上記各実施の形態において、主ストリームの送信形態と副ストリームの送信形態とは、同一のものとしたが、これに限定されない。
主ストリームの送信形態と、副ストリームの送信形態とは、互いに異なってもよい。例えば、主ストリームは、PMT等のSI/PSIを含むトランスポートストリームに含まれるとし、副ストリームは、IP放送で送信されるトランスポートストリームであってもよし、その逆であってもよい。
(8)上記実施の形態において、PMT、再生制御ファイルの生成、特に新規記述子及び新規要素である、“external_ES_descriptor()”、“service_subset_ES_descriptor()”、“external_ES_link_info”、“subset_service_ES_info”、“hyper_link_descriptor ()”、link_external_component_info()、object要素及び“ExternalES要素”の生成は、例えば、送信装置100又は外部の装置において、パラメータ変数として、記述子等の記述要素をパラメータ変数として予め記憶しておき、これらパラメータ変数に対する情報をユーザから受け付けることで行ってもよい。また、上記生成の方法は、一例であり他の方法であってもよい。
(9)上記各実施の形態では、受信再生装置の一例としてデジタルテレビであるとしたが、これに限定されない。受信再生装置を、DVDレコーダ、BD(Blu−ray Disc)レコーダやセットトップボックスに適用してもよい。
(10)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(11)上記の各装置を構成する構成要素の一部又は全部は、1個の集積回路から構成されているとしてもよい。
(12)上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。
(13)上記の実施の形態及び変形例で説明した手法の手順を記述したプログラムをメモリに記憶しておき、CPU(Central Processing Unit)などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。
また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。なお、上記プログラムを記憶する媒体としては、例えば、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROM、フラッシュメモリ等がある。
(14)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
8.補足
以上説明したように、主ストリームとは異なる伝送路(TS)上の副ストリームを特定するための情報を、主ストリームへのアクセス情報に追加して記載することで、受信再生装置にて副ストリームの存在を認識し、取得し、主ストリームとの同期再生及び録画を実現することができる。
以下、更に本発明の一実施形態としての送信装置、受信再生装置の構成及びその変形例と効果について説明する。
(1)本発明の一態様は、送信装置であって、1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持する保持手段と、前記ストリーム特定情報を送信する送信手段とを備えることを特徴とする。
この構成によると、送信装置は、ストリーム特定情報を送信するので、受信側では、当該ストリーム特定情報を用いることで、各種情報が個別に伝送用ストリームで送信されても、同時に再生すべき伝送用ストリームを特定することができる。なお、ストリーム特定情報は、上記実施の形態及び変形例で記載した新規記述子及び新規要素である、“external_ES_descriptor()”、“service_subset_ES_descriptor()”、“external_ES_link_info”、“subset_service_ES_info”、“hyper_link_descriptor ()”、link_external_component_info()、object要素及び“ExternalES要素”に相当する。
(2)ここで、前記一の伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであって、PMT(Program Map Table)が対応付けられており、前記送信手段は、前記一の伝送用ストリームと、前記ストリーム特定情報が記載された前記PMTとを多重化して送信するとしてもよい。
この構成によると、送信装置は、前記ストリーム特定情報が記載されたPMTと前記別の伝送用ストリームとを多重化して送信するので、受信側は、PMTを用いて、当該別の伝送用ストリームと同時に再生すべき情報を含む前記伝送用ストリームを当該別の伝送用ストリームを復号する前に特定することができる。
(3)ここで、前記ストリーム特定情報は、さらに、前記複数の伝送用ストリームを同時に再生する際に同期をとるための同期情報を含むとしてもよい。
この構成によると、送信装置は、同期情報を含めて前記ストリーム特定情報を送信するので、受信側は、前記複数の伝送用ストリームを同時に再生する際には、同期情報を用いることで、各伝送用ストリームに含まれる情報それぞれについて同期をとりつつ再生することができる。
(4)ここで、前記同期情報は、再生の同期の基準として、前記複数の伝送用ストリームそれぞれに含まれるPCR(Program_Clock_Reference)のうち何れかを指定するものであるとしてもよい。
この構成によると、送信装置は、複数の伝送用ストリームそれぞれに含まれるPCRのうち1つのPCRを用いることを示す前記同期情報を送信するので、受信側は、指定されたPCR、つまり当該PCRを含む伝送用ストリームに含まれる情報の再生タイミングを基準として他の伝送用ストリームを再生することができる。
(5)ここで、前記同期情報は、前記複数の伝送用ストリームそれぞれが同一のタイムスタンプを使用することを示すものであるとしてもよい。
この構成によると、送信装置は、タイムスタンプを用いることを示す前記同情報を送信するので、受信側は、タイムスタンプを基準として前記複数の伝送用ストリームを再生することができる。
(6)ここで、前記PMTには、前記一の伝送用ストリームが単独で再生可能であるか否かを示す再生情報が含まれるとしてもよい。
この構成によると、送信装置は、再生情報を送信するので、受信側は、当該再生情報が単独で再生可能であることを示している場合には、他の伝送用ストリームの情報を同時再生することなく、当該別の伝送用ストリームの情報の再生を行うことができる。
(7)ここで、前記一の伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであって、SI/PSI(Service Information/Program Specific Information)が対応付けられており、前記送信手段は、前記一の伝送用ストリームと、前記ストリーム特定情報が記載されたSI/PSIとを多重化して送信するとしてもよい。
この構成によると、送信装置は、前記ストリーム特定情報が記載されたSI/PSIと前記別の伝送用ストリームとを多重化して送信するので、受信側は、SI/PSIを用いて、前記伝送用ストリームを受信する前に特定することができる。
(8)ここで、前記一の伝送用ストリームは、IP(Internet Protocol)ネットワークで配信されるストリームであって、再生制御メタファイルが対応付けられており、前記送信手段は、前記ストリーム特定情報を含む前記再生制御メタファイルを、前記一の伝送用ストリームとは別に送信するとしてもよい。
この構成によると、送信装置は、前記ストリーム特定情報が記載された再生制御メタファイルを送信するので、受信側は、再生制御メタファイルを用いて、前記伝送用ストリームを受信する前に前記別の伝送用ストリームを特定することができる。
(9)ここで、前記一の伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであって、データ放送コンテンツ記述子が対応付けられており、前記送信手段は、前記一の伝送用ストリームと、前記ストリーム特定情報が記載された前記データ放送コンテンツ記述子とを多重化して送信するとしてもよい。
この構成によると、送信装置は、前記ストリーム特定情報が記載されたデータ放送コンテンツ記述子と、前記別の伝送用ストリームとを多重化して送信するので、受信側は、当該別の伝送用ストリームの再生を再生する際に、データ放送コンテンツを用いて前記伝送用ストリームを特定することができる。
(10)ここで、前記一の伝送用ストリームは、サーバ型放送において送信されるものであって、メタデータが対応付けられ、前記送信手段は、前記ストリーム特定情報が番組要素情報に記載された前記メタデータを送信するとしてもよい。
この構成によると、送信装置は、前記ストリーム特定情報が記載された番組要素情報を含むメタデータを送信するので、受信側は、メタデータを用いて、前記伝送用ストリームを特定することができる。
(11)また、本発明の一態様は、番組を受信し、再生する受信再生装置であって、番組を構成する第1伝送用ストリームと、前記第1伝送用ストリームと同時に再生すべき第2伝送用ストリームが送信されているか否かを示す送信情報とを受信する第1受信手段と、前記送信情報を用いて、前記第2伝送用ストリームが送信されているか否かを判断する判断手段と、前記判断手段で前記第2伝送用ストリームが送信されていると判断される場合、前記第2伝送用ストリームを受信する第2受信手段と、前記判断手段で前記第2伝送用ストリームが送信されていると判断される場合には、前記第1伝送用ストリーム及び前記第2伝送用ストリームの双方を再生し、前記判断手段で前記第2伝送用ストリームが送信されていないと判断される場合には、前記第1伝送用ストリームを再生する再生手段とを備えることを特徴とする。
この構成によると、受信再生装置は、送信情報を用いることで、第1伝送用ストリームと同時に再生すべき第2伝送用ストリームの有無を判断することができる。これにより、受信再生装置は、第2伝送用ストリームが存在すると判断する場合には2つのストリーム(第1伝送用ストリームと第2伝送用ストリーム)双方を再生するので、視聴者は多種多様のサービスを受けることができる。ここで、送信情報は、上記実施の形態及び変形例で示すPMT、EIT、再生制御ファイルに相当する。
(12)ここで、前記第1伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであり、前記第1受信手段は、 前記第1伝送用ストリームと多重化されたPMT(Program Map Table)に記述された前記送信情報を受信するとしてもよい。
この構成によると、受信再生装置は、PMTを用いて、第1伝送用ストリーム復号する前に、第2伝送用ストリームの有無を特定することができる。
(13)ここで、前記送信情報は、さらに、前記第1伝送用ストリームと前記第2伝送用ストリームとを同時に再生する際に同期をとるための同期情報を含んでおり、前記再生手段は、前記同期情報に基づいて、前記第1伝送用ストリームの情報と、前記第2ストリームの情報とについて同期再生を行うとしてもよい。
この構成によると、受信再生装置は、第1伝送用ストリーム及び第2伝送用ストリームを同時に再生する際には、同期情報を用いることで、各伝送用ストリームに含まれる情報それぞれについて同期をとりつつ再生することができる。
(14)ここで、前記再生手段は、前記第1伝送用ストリームのPCR(Program_Clock_Reference)及び前記第2伝送用ストリームのPCRのうち、前記同期情報が示すPCRを用いて前記同期再生を行うとしてもよい。
この構成によると、受信再生装置は、指定されたPCRに応じた伝送用ストリームに含まれる情報の再生タイミングを基準として他の伝送用ストリームを再生することができる。
(15)ここで、前記再生手段は、前記同期情報が示すタイムスタンプを用いて、前記同期再生を行うとしてもよい。
この構成によると、受信再生装置は、タイムスタンプを基準として第1伝送用ストリーム及び第2伝送用ストリームを同時再生することができる。
(16)ここで、 前記第1伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであり、前記第1受信手段は、前記第1伝送用トリームと多重化されたSI/PSI(Service Information/Program Specific Information)に記述された前記送信情報を受信するとしてもよい。
この構成によると、受信再生装置は、SI/PSIを用いて、第2伝送用ストリームを受信する前に特定することができる。
(17)ここで、前記第1伝送用ストリームは、IP(Internet Protocol)ネットワークで配信されるストリームであり、前記第1受信手段は、前記第1伝送用ストリームの受信に先立って、前記第1伝送用ストリームに対応する再生制御メタファイルに含まれる前記送信情報を受信するとしてもよい。
この構成によると、受信再生装置は、再生制御メタファイルを用いて、第1伝送用ストリームを受信する前に第2伝送用ストリームを特定することができる。
(18)ここで、前記複数の伝送用ストリームのうち少なくとも1つの伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであり、前記第1受信手段は、前記第1伝送用トリームと多重化されたデータ放送コンテンツ記述子に記述された前記送信情報を受信するとしてもよい。
この構成によると、受信再生装置は、データ放送コンテンツを用いて、第1伝送用ストリームの再生する際に、第2伝送用ストリームを特定することができる。
(19)ここで、前記第1伝送用ストリームは、サーバ型放送において送信されるものであり、前記第1受信手段は、前記第1伝送用ストリームに対応するメタデータに含まれる番組要素情報に記載された前記送信情報を受信するとしてもよい。
この構成によると、受信再生装置は、メタデータを用いて、第2伝送用ストリームを特定することができる。
(20)ここで、前記第2受信手段において、前記判断に先立って、前記第2伝送用ストリームと、当該第2伝送用ストリームが単独で再生可能であるか否かを示す再生情報とを受信すると、前記判断手段は、さらに、前記再生情報に基づいて当該第2伝送用ストリームが単独で再生可能であるか否かを判断し、前記再生手段は、さらに、前記判断手段で前記第2伝送用ストリームが単独で再生可能であると判断される場合には、前記第2伝送用ストリームを再生するとしてもよい。
この構成によると、受信再生装置は、再生情報が単独で再生可能であることを示している場合には、第1伝送用ストリームの情報を同時再生することなく、第2伝送用ストリームの情報の再生を行うことができる。
本発明は、番組の映像だけでなく、字幕データ、他視点の映像等の多種多様の情報を送信する装置、及び番組の映像及び多種多様の情報を受信し、再生する装置に適用することができる。
10 番組配信システム
100、200、1100、1200 送信装置
101 左目用ビデオエンコーダ
102 オーディオエンコーダ
103 左目用ビデオストリーム格納部
104 オーディオストリーム格納部
105、205 情報保持部
106、206、1106、1206 多重化部
107、207、1107、1207 送信部
201 右目用ビデオエンコーダ
203 右目用ビデオストリーム格納部
300、1300 デジタルテレビ(受信再生装置)
301、1301 制御部
302、1302 受信処理部
303 再生処理部
304 出力部
310、1310 第1受信部
311、1311 第2受信部
320 第1多重化分離部
321 第2多重化分離部
322 同期制御部
323 第1映像復号部
324 第2映像復号部
325 音声復号部
326 映像処理部
1105、1205 ファイル保持部
1305 送信部

Claims (22)

  1. 1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持する保持手段と、
    前記ストリーム特定情報を送信する送信手段とを備える
    ことを特徴とする送信装置。
  2. 前記一の伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであって、PMT(Program Map Table)が対応付けられており、
    前記送信手段は、
    前記一の伝送用ストリームと、前記ストリーム特定情報が記載された前記PMTとを多重化して送信する
    ことを特徴とする請求項1に記載の送信装置。
  3. 前記ストリーム特定情報は、さらに、
    前記複数の伝送用ストリームを同時に再生する際に同期をとるための同期情報を含む
    ことを特徴とする請求項2に記載の送信装置。
  4. 前記同期情報は、
    再生の同期の基準として、前記複数の伝送用ストリームそれぞれに含まれるPCR(Program_Clock_Reference)のうち何れかを指定するものである
    ことを特徴とする請求項3に記載の送信装置。
  5. 前記同期情報は、
    前記複数の伝送用ストリームそれぞれが同一のタイムスタンプを使用することを示すものである
    ことを特徴とする請求項3に記載の送信装置。
  6. 前記PMTには、前記一の伝送用ストリームが単独で再生可能であるか否かを示す再生情報が含まれる
    ことを特徴とする請求項2に記載の送信装置。
  7. 前記一の伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであって、SI/PSI(Service Information/Program Specific Information)が対応付けられており、
    前記送信手段は、
    前記一の伝送用ストリームと、前記ストリーム特定情報が記載されたSI/PSIとを多重化して送信する
    ことを特徴とする請求項1に記載の送信装置。
  8. 前記一の伝送用ストリームは、IP(Internet Protocol)ネットワークで配信されるストリームであって、再生制御メタファイルが対応付けられており、
    前記送信手段は、前記ストリーム特定情報を含む前記再生制御メタファイルを、前記一の伝送用ストリームとは別に送信する
    ことを特徴とする請求項1に記載の送信装置。
  9. 前記一の伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであって、データ放送コンテンツ記述子が対応付けられており、
    前記送信手段は、
    前記一の伝送用ストリームと、前記ストリーム特定情報が記載された前記データ放送コンテンツ記述子とを多重化して送信する
    ことを特徴とする請求項1に記載の送信装置。
  10. 前記一の伝送用ストリームは、サーバ型放送において送信されるものであって、メタデータが対応付けられ、
    前記送信手段は、
    前記ストリーム特定情報が番組要素情報に記載された前記メタデータを送信する
    ことを特徴とする請求項1に記載の送信装置。
  11. 番組を受信し、再生する受信再生装置であって、
    番組を構成する第1伝送用ストリームと、前記第1伝送用ストリームと同時に再生すべき第2伝送用ストリームが送信されているか否かを示す送信情報とを受信する第1受信手段と、
    前記送信情報を用いて、前記第2伝送用ストリームが送信されているか否かを判断する判断手段と、
    前記判断手段で前記第2伝送用ストリームが送信されていると判断される場合、前記第2伝送用ストリームを受信する第2受信手段と、
    前記判断手段で前記第2伝送用ストリームが送信されていると判断される場合には、前記第1伝送用ストリーム及び前記第2伝送用ストリームの双方を再生し、前記判断手段で前記第2伝送用ストリームが送信されていないと判断される場合には、前記第1伝送用ストリームを再生する再生手段とを備える
    ことを特徴とする受信再生装置。
  12. 前記第1伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであり、
    前記第1受信手段は、
    前記第1伝送用ストリームと多重化されたPMT(Program Map Table)に記述された前記送信情報を受信する
    ことを特徴とする請求項11に記載の受信再生装置。
  13. 前記送信情報は、さらに、前記第1伝送用ストリームと前記第2伝送用ストリームとを同時に再生する際に同期をとるための同期情報を含んでおり、
    前記再生手段は、
    前記同期情報に基づいて、前記第1伝送用ストリームの情報と、前記第2ストリームの情報とについて同期再生を行う
    ことを特徴とする請求項12に記載の受信再生装置。
  14. 前記再生手段は、前記第1伝送用ストリームのPCR(Program_Clock_Reference)及び前記第2伝送用ストリームのPCRのうち、前記同期情報が示すPCRを用いて前記同期再生を行う
    ことを特徴とする請求項13に記載の受信再生装置。
  15. 前記再生手段は、前記同期情報が示すタイムスタンプを用いて、前記同期再生を行う
    ことを特徴とする請求項13に記載の受信再生装置。
  16. 前記第1伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであり、
    前記第1受信手段は、
    前記第1伝送用トリームと多重化されたSI/PSI(Service Information/Program Specific Information)に記述された前記送信情報を受信する
    ことを特徴とする請求項11に記載の受信再生装置。
  17. 前記第1伝送用ストリームは、IP(Internet Protocol)ネットワークで配信されるストリームであり、
    前記第1受信手段は、
    前記第1伝送用ストリームの受信に先立って、前記第1伝送用ストリームに対応する再生制御メタファイルに含まれる前記送信情報を受信する
    ことを特徴とする請求項11に記載の受信再生装置。
  18. 前記複数の伝送用ストリームのうち少なくとも1つの伝送用ストリームは、MPEG2−TS(Moving Picture Experts Group 2−Transport Stream)形式のストリームであり、
    前記第1受信手段は、
    前記第1伝送用トリームと多重化されたデータ放送コンテンツ記述子に記述された前記送信情報を受信する
    ことを特徴とする請求項11に記載の受信再生装置。
  19. 前記第1伝送用ストリームは、サーバ型放送において送信されるものであり、
    前記第1受信手段は、
    前記第1伝送用ストリームに対応するメタデータに含まれる番組要素情報に記載された前記送信情報を受信する
    ことを特徴とする請求項11に記載の受信再生装置。
  20. 前記第2受信手段において、前記判断に先立って、前記第2伝送用ストリームと、当該第2伝送用ストリームが単独で再生可能であるか否かを示す再生情報とを受信すると、
    前記判断手段は、さらに、前記再生情報に基づいて当該第2伝送用ストリームが単独で再生可能であるか否かを判断し、
    前記再生手段は、さらに、前記判断手段で前記第2伝送用ストリームが単独で再生可能であると判断される場合には、前記第2伝送用ストリームを再生する
    ことを特徴とする請求項11に記載の受信再生装置。
  21. 1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持する保持手段を有する送信装置で用いられる送信方法であって、
    前記ストリーム特定情報を送信する送信ステップを含む
    ことを特徴とする送信方法。
  22. 番組を受信し、再生する受信再生装置で用いられる受信再生方法であって、
    番組を構成する第1伝送用ストリームと、前記第1伝送用ストリームと同時に再生すべき第2伝送用ストリームが送信されているか否かを示す送信情報とを受信する第1受信ステップと、
    前記送信情報を用いて、前記第2伝送用ストリームが送信されているか否かを判断する判断ステップと、
    前記判断ステップで前記第2伝送用ストリームが送信されていると判断される場合、前記第2伝送用ストリームを受信する第2受信ステップと、
    前記判断ステップで前記第2伝送用ストリームが送信されていると判断される場合には、前記第1伝送用ストリーム及び前記第2伝送用ストリームの双方を再生し、前記判断ステップで前記第2伝送用ストリームが送信されていないと判断される場合には、前記第1伝送用ストリームを再生する再生ステップとを含む
    ことを特徴とする受信再生方法。
JP2013524615A 2011-07-21 2012-07-20 送信装置、受信再生装置、送信方法及び受信再生方法 Pending JPWO2013011696A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161510145P 2011-07-21 2011-07-21
US61/510,145 2011-07-21

Publications (1)

Publication Number Publication Date
JPWO2013011696A1 true JPWO2013011696A1 (ja) 2015-02-23

Family

ID=47557895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013524615A Pending JPWO2013011696A1 (ja) 2011-07-21 2012-07-20 送信装置、受信再生装置、送信方法及び受信再生方法

Country Status (7)

Country Link
US (1) US20140147088A1 (ja)
JP (1) JPWO2013011696A1 (ja)
KR (1) KR20140038482A (ja)
CA (1) CA2841197A1 (ja)
MX (1) MX2014000673A (ja)
TW (1) TW201322767A (ja)
WO (1) WO2013011696A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889888B (zh) * 2013-06-05 2022-04-01 太阳专利托管公司 再现方法、装置及生成方法、装置
WO2015029401A1 (ja) * 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法ならびに送信装置および受信装置
JP6625318B2 (ja) 2013-08-29 2019-12-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法および受信方法
JP7406882B2 (ja) * 2019-05-14 2023-12-28 キヤノン株式会社 画像処理装置、制御方法、および、プログラム
JP6791344B2 (ja) * 2019-12-11 2020-11-25 ソニー株式会社 送信装置及び送信方法、並びに受信装置及び受信方法
JP7160161B2 (ja) * 2020-10-26 2022-10-25 ソニーグループ株式会社 送信方法及び送信装置、並びに受信方法及び受信装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007080357A (ja) * 2005-09-13 2007-03-29 Toshiba Corp 情報記憶媒体、情報再生方法、情報再生装置
KR101556132B1 (ko) * 2007-08-24 2015-09-30 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR100972792B1 (ko) * 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
JP2010263615A (ja) * 2009-04-08 2010-11-18 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法

Also Published As

Publication number Publication date
CA2841197A1 (en) 2013-01-24
MX2014000673A (es) 2014-03-21
KR20140038482A (ko) 2014-03-28
US20140147088A1 (en) 2014-05-29
TW201322767A (zh) 2013-06-01
WO2013011696A1 (ja) 2013-01-24

Similar Documents

Publication Publication Date Title
KR100972792B1 (ko) 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
KR101372376B1 (ko) 디지털 방송 시스템의 스테레오스코픽 비디오 수신 방법
KR101831775B1 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
US9392256B2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
EP2744214A2 (en) Transmitting device, receiving device, and transceiving method thereof
US9516086B2 (en) Transmitting device, receiving device, and transceiving method thereof
MX2012008816A (es) Metodo y aparato para generar flujo de datos para proporcionar servicio multimedia tridimensional, y metodo y aparato para recibir el flujo de datos.
KR101781887B1 (ko) 방송 신호 송수신 방법 및 장치
CN103168473B (zh) 数字接收机以及用于处理数字接收机中的3d 内容的方法
WO2013011696A1 (ja) 送信装置、受信再生装置、送信方法及び受信再生方法
CN103262549A (zh) 用于接收数字广播信号的设备和方法
KR20150004318A (ko) 3d 서비스를 위한 신호 처리 장치 및 방법
JP5602539B2 (ja) 受信装置
JP5957770B2 (ja) 映像処理装置、方法、プログラム、記録媒体及び集積回路
KR102016674B1 (ko) 하이브리드 서비스를 제공하는 수신 장치 및 하이브리드 서비스 제공 방법
JP5933063B2 (ja) 受信装置および受信方法
JP5933062B2 (ja) 送受信システムおよび送受信方法
JP5980858B2 (ja) 受信装置および受信方法
Park et al. File based hybrid broadcasting system for higher quality 3D content
JP2016226008A (ja) 受信装置および受信方法
KR20130115975A (ko) 하이브리드 서비스를 제공하기 위한 송신 시스템과 수신 장치 및 그 서비스 제공 방법들