JP5874870B1 - 受信装置、および送信装置、並びにデータ処理方法 - Google Patents
受信装置、および送信装置、並びにデータ処理方法 Download PDFInfo
- Publication number
- JP5874870B1 JP5874870B1 JP2015545222A JP2015545222A JP5874870B1 JP 5874870 B1 JP5874870 B1 JP 5874870B1 JP 2015545222 A JP2015545222 A JP 2015545222A JP 2015545222 A JP2015545222 A JP 2015545222A JP 5874870 B1 JP5874870 B1 JP 5874870B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- subtitle
- ttml
- message
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
Abstract
Description
なお、TTMLについては、例えば特許文献1(特開2012−169885号公報)に記載がある。
TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
MPEG−2TSの規定するTSパケットの格納データとして受信する通信部と、
前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理部を有する受信装置にある。
TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
生成メッセージを格納したMPEG−2TSの規定するTSパケットを生成するデータ処理部と、
前記TSパケットを送信する通信部を有する送信装置にある。
受信装置において実行するデータ処理方法であり、
通信部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
MPEG−2TSの規定するTSパケットの格納データとして受信し、
データ処理部が、前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理方法にある。
送信装置において実行するデータ処理方法であり、
データ処理部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
生成メッセージを格納したMPEG−2TSの規定するTSパケットを生成し、
通信部が、前記TSパケットを送信するデータ処理方法にある。
具体的には、送信装置から受信装置にTTML字幕データを格納したDDBメッセージと、字幕データの制御情報等を格納したDIIメッセージをMPEG−2TSの規定するTSパケットとして送信する。受信装置は、DDBメッセージ内のTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行する。DIIメッセージは、字幕表示タイミングの制御モードであるタイムモード(TMD)や、字幕の即時表示やTTML記述に従った表示等を選択的に実行させる動作モード(OPM)を規定しており、受信装置はDIIのモード指定に応じた表示制御が可能となる。
本構成により、TTML字幕データの確実な表示制御を実現する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.通信システムの構成例について
2.字幕データと字幕対応情報を格納したDDB、DIIの概要について
3.DDBメッセージのデータ構造について
4.DIIメッセージのデータ構造について
5.PMT(プログラム・マップ・テーブル)の構造について
6.タイムモード(TMD)の各モード対応の具体的処理について
6−1.TMD=1:TTML記述+EIT starttimeのモード設定時の処理について
6−2.TMD=2:TTML記述+NPTのモード設定時の処理について
6−3.TMD=3:TTML記述+絶対時刻のモード設定時の処理について
6−4.TMD=15:時刻制御なしのモード設定時の処理について
7.動作モード(OPM)の各モード対応の具体的処理について
7−1.OPM=0:ライブモードのモード設定時の処理について
7−2.OPM=1:セグメンテーションモードのモード設定時の処理について
7−3.OPM=2:プログラムモードのモード設定時の処理について
8.送信装置と受信装置の実行する処理の処理シーケンスについて
9.送信装置と受信装置の構成例について
10.本開示の構成のまとめ
まず、図1を参照して本開示の処理を実行する通信システムの一構成例について説明する。
図1に示すように、通信システム10は、画像データや音声データ、さらに字幕データ、さらに各種の制御情報等のデータを送信する通信装置である送信装置20と、送信装置20の送信するデータを受信する通信装置である受信装置30を有する。
一方、受信装置30は、一般ユーザのクライアント装置であり、具体的には、例えばテレビ31、PC32、携帯端末33等によって構成される。
MPEG−2TSフォーマットは、画像(Video)、音声(Audio)、字幕(Caption)等、コンテンツ構成データである符号化データを放送波を介して伝送する際のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
MPEG−2TSフォーマットは、ISO13818−1において標準化されたフォーマットであり、例えばBD(Blu−ray(登録商標) Disc)に対するデータ記録や、デジタル放送等に用いられている。
図2には、送信装置20が受信装置30に対して送信するデータの種類を示している。送信装置20が受信装置30に対して送信するデータには以下のデータがある。
(a)画像データ(Video ES)50
(b)音声データ(Audio ES)60
(c)字幕データ(Caption ES)70
(d)シグナリングデータ80
これらの各データはいずれもMPEG−2TSフォーマットで規定されるTSパケットのペイロードとしてTSパケットに格納して送信する。
なお、ESはエレメンタリストリームでありTSパケットに格納する画像、音声、字幕等の符号化データである。
(b1)字幕対応情報(=DII(ダウンロード・インフォ・インディケーション)メッセージ)71、
(b2)各チャンネル対応の字幕データを含む字幕チャンネル(Caption cjannel)(=DDB(ダウンロード・データ・ブロック)メッセージ)72〜74、
これらが含まれる。
字幕チャンネルは、例えば日本語、英語等の言語種別や、通常字幕や難聴者向け等の種類に応じた異なるデータ態様の字幕ごとに設定されるチャンネルである。
これらのメッセージ送信態様については、さらに後段で説明する。
シグナリングデータ80は、番組ガイド等の案内情報や通知情報、制御情報等によって構成される。
図3を参照してMPEG−2TSフォーマットで規定されるTSパケットの構成について説明する。
図3(A)に示すように、TSパケットはヘッダ(TPヘッダ)とペイロード部を有する。1つのTSパケットのペイロードには画像、音声、字幕等、いずれか一種類のデータの符号化データが格納される。
パケットIDに基づいて、ペイロードのデータ種類(画像,音声,字幕等)を判別することが可能な構成となっている。
TSパケットのペイロードには、例えば、画像や音声等の符号化データであるエレメンタリストリーム(ES)が格納される。
(a)同期用バイト(Sync byte)
(b)トランスポートエラー識別子(Transport_error_indicator)
(c)ペイロードユニットスタート識別子(Payload_unit_start_indicator)
(d)トランスポートプライオリティ(Transport_priority)
(e)プログラムID(PID)
(f)トランスポートスクランブリングコントロール(Transport scrambling control)
(g)アダプテーションフィールドコントロール(Adaptation field contrpl)
(h)コンティニュイテイカウンタ(Continuity counter)
字幕データは、画像データに重畳して表示するデータであり、表示位置や表示タイミングの制御が必要となる。
以下、図4以下を参照して字幕データに関する処理について説明する。
送信装置20から受信装置30に対して送信する字幕関連データには以下のデータがある。
字幕対応情報(=DII(ダウンロード・インフォ・インディケーション)メッセージ)71、
各チャンネル対応の字幕データを含む字幕チャンネル(Caption cjannel)(=DDB(ダウンロード・データ・ブロック)メッセージ)72、
シグナリングデータ80、
これらのデータが、受信装置30側で字幕を表示する際に必要となるデータを含んでいる。
さらにDDBメッセージに格納されたTTML字幕データに対する制御情報や属性情報を含む字幕対応情報をDIIメッセージとして送信する。
送信装置20は、これら各メッセージをカルーセル方式(DSM−CCカルーセル)に従って送信する。
送信装置20は、まず、図5(A)に示すように字幕データであるTTML字幕データを格納した1つ以上のDDBメッセージに対して、TTML字幕データの制御情報や属性情報を格納したDIIメッセージを生成する。
なお、字幕の種類とは、日本語や英語等の言語種類のみならず、字幕タイプや、字幕の表示タイミングを規定したタイムモード等、様々な要素によって区別され、これら各要素が同一要素からなるTTML字幕データを1つのモジュールとする。
なお、DDBメッセージのデータ構造については後段で詳細に説明する。
DIIメッセージには、複数のモジュール対応の制御情報や属性情報を、モジュール単位で個別に記録可能な構成を持つ。
例えば各モジュール、すなわち各DDBメッセージに格納されたTTML字幕データの種類や、表示タイミング等を含む表示制御情報などが記述される。
なお、DIIメッセージの詳細についても後段で説明する。
DBB対応のセクションヘッダには、モジュールID、モジュールバージョン等が記録される。ペイロードにはTTML字幕データが格納される。なお、DBBのデータ構造については後段で詳細に説明する。
DIIメッセージのペイロードには1つ以上のモジュール対応の制御情報や属性情報がモジュールID、モジュールバージョンに対応付けて記録される。ヘッダには、DIIメッセージに制御情報や属性情報を記録したモジュールのモジュール数(number of modules)等の情報が記録される。
これらDBBメッセージ、DIIメッセージからなるセクションは、図5(C)に示すように、所定長のTSパケットの1つのペイロードに収まらない場合には複数のペイロードに分割して格納され、放送波を介して送信される。
受信装置30は、受信する多数のTSパケット各々のヘッダを解析し、各ヘッダのPID(パケット識別子)に基づいて、画像、音声、字幕等の各データ格納パケットを分類して、それぞれのデータ種類に応じた処理を行なう。
具体的には、例えば、PSI/SI(Program Specific Information)とよばれるデータ等によって構成される。
PSI/SIには、例えば、以下のデータが含まれる。
PMT(Program Map Table)
NIT(Network Information Table)
EIT(Envent Information Table)
これらのテーブル等が含まれる。
受信装置30は、PMTを参照して各データ種別のPIDを確認して、確認したデータ種別対応のPIDに基づいて、受信パケットをデータ種類別に分離する。
はチャンネル番号や、変調方式等、各チャンネルの送信データの受信に必要となる設定情報などが含まれる。
なお、シグナリングデータ80には、これらの他、例えば番組表等、様々なデータが含まれる。受信装置30はシグナリングデータ80を利用して、受信装置の様々な設定等を行うことが可能となり、また番組に関する様々な情報を得ることができる。
シグナリングデータ80には、これらのデータの他、受信装置30において利用可能な様々な通知データ等が含まれる。
例えば図2、図4を参照して説明した(A)字幕チャンネル#1,72には、図6に示す(B)DDBメッセージが含まれ、DDBメッセージには、TTML字幕データが格納されている。
TTML字幕データは、例えば、図6(C)に示すようなXML形式のデータであり、実際に表示される文字列の他、表示領域、表示タイミング等の情報を記述可能なとした構成を持つ。
受信装置30は、このようなTTML字幕データを解釈して、図6(D)に示すような表示データ、すなわち、他のTSパケットから取得して復号した画像データに字幕を重畳した表示データを生成して表示部に表示する処理を行う。
次にTTML字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージのデータ構造について図7を参照して説明する。
(a)モジュールID(moduleID)、
(b)モジュールバージョン(moduleVersion)
(c)ブロックナンバー(blockNumber)
(d)ブロックデータバイト(blockDataByte)
この制御処理については後段で詳細に説明する。
ブロックデータバイトは、TTML字幕データを格納するフィールドである。先に図6(c)を参照して説明したXML形式のTTML字幕データが格納される。
次にTTML字幕データに対する属性情報や制御情報等の字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージのデータ構造について図8を参照して説明する。
図8に示すDIIメッセージの字幕モジュール情報[moduleInfoByte]記録フィールドに、モジュール単位の制御情報、属性情報が記録される。
なお、この字幕モジュール情報[moduleInfoByt]記録フィールドは、複数のモジュールに対応する複数の制御情報や属性情報を順次記録可能である。すなわちループ構成を有し、各ループに各モジュール単位の制御情報や属性情報を記録することを可能とした構成を持つ。
図9は、字幕モジュール情報[moduleInfoByt]記録フィールドに記録される字幕モジュール情報記述子(caption module info descriptot)を示す図である。
(1)字幕チャンネルタグ(caption_channel_tag)
(2)言語コード(ISO_639_language_code)
(3)字幕タイプ(Type)
(4)タイムモード(TMD)
(5)表示モード(DMF)
(6)動作モード(OPM)
(7)表示書式(Format)
(8)圧縮モード(Compression_mode)
以下、これらの情報の詳細について、順次、説明する。
字幕チャンネルタグ(caption_channel_tag)は、モジュール単位、すなわちモジュールID毎の字幕チャンネルを識別するタグである。
図10に字幕チャンネルタグ(caption_channel_tag)のデータ構成例を示す。
字幕チャンネルタグ(caption_channel_tag)は8ビット構成であり、
上位4ビット(Bit7〜4)が利用態様、
下位4ビット(Bit3〜0)が言語種類、
を示す。
0000=通常字幕
0001=難聴者向け字幕、
等である。
例えば難聴者向け字幕とは、例えば、通常の字幕データに加えて(大きな声で)、(かすれた声で)等の解説付きの字幕などである。
このような異なる字幕に対応させた識別タグを設定する。
0000=第1言語、
0001=第2言語、
0010=第3言語、
このような設定で言語の種類(日本語、英語、フランス語等)を示す。
なお、字幕チャンネルタグは、これらのデータの他、字幕チャンネルのその他の属性(property)情報を含める構成としてもよい。
言語コード(ISO_639_language_code)は、字幕チャンネルタグ(caption_channel_tag)の下位4ビットで示される言語種類をISO639−2で規定される言語コードとして示したデータである。
例えば日本語の場合は、
jpn(01101010 01110000 01101110)
となる。
字幕タイプ(Type)は、字幕のタイプを示す情報である。
図11に具体例を示す。
00=字幕基本情報
01=字幕拡張情報
10=文字スーパー
これらの字幕タイプを識別する情報を記録する。
なお、字幕基本情報は、基本的な字幕データであることを示す。字幕拡張情報は、文字の表示形式を変更したリッチな表現を行う場合などに用いられる。ただし、受信装置側で理科できる場合にのみ利用される。文字スーパーは、ニュース速報等の文字であることなどを識別させるためのデータである。
タイムモード(TMD)は、字幕の表示タイミングの制御に用いる時刻制御モードを示す。具体的には、図12に示すように、以下の各モードのいずれかが記録される。
0001=TTML記述+EIT starttime
0010=TTML記述+NPT
0011=TTML記述+絶対時刻
1111=提示制御なし(受信時、即時表示等)
図6(c)に示すTTML字幕データには、以下の表示タイミング制御情報が記録されている。
<p begin "427s"dur="1s">
このTTML記述は、番組開始から427秒の時点から1秒間「こんにちは」という文字を表させるための表示タイミングに関する記述である。
DIIメッセージに記録されたタイムモード(TMD)は、どのような場合でも、確実に映像に合わせた表示タイミングで字幕の表示を可能とするために用いられるデータである。
なお、タイムモード(TMD)に記録可能な4つのモードの具体的な処理態様については、後段で説明する。
表示モード(DMF)は、
字幕の表示モードを示す情報である。具体例を図13に示す。
表示モード(DMF)は4ビット構成であり、
上位2ビット(Bit3〜2)が受信時処理態様、
下位2ビット(Bit1〜0)が記録再生時処理態様、
を示す。
00=受信時自動表示、
01=受信時自動非表示、
10=受信時選択表示
これらの各表示モードの何れかを規定する。
01=受信時自動非表示は、TTMLを格納したDDBメッセージの受信時に受信したTTML字幕データに記録された字幕は非表示とすることを規定したモードである。
10=受信時選択表示は、例えばユーザによるリモコン設定などにより、TTMLを格納したDDBメッセージの受信時に受信したTTML字幕データの字幕を表示または非表示とすることを可能としたモードである。
00=記録再生時自動表示、
01=記録再生時自動非表示、
10=記録再生時選択表示
これらの各表示モードの何れかを規定する。
01=記録再生時自動非表示は、TTMLを格納したDDBメッセージを含むコンテンツの再生時にTTML字幕データに記録された字幕は非表示とすることを規定したモードである。
10=記録再生時選択表示は、コンテンツ再生時に例えばユーザによるリモコン設定などにより、TTML字幕データの字幕を表示または非表示とすることを可能としたモードである。
動作モード(OPM)は、字幕の表示制御に適用する動作モード規定情報である。具体例を図14に示す。動作モード(OPM)としては以下の各モードの設定が可能である。
00=ライブモード(Live mode)
01=セグメンテーションモード(Segmentation mode)
10=プログラムモード(Program mode)
なお、動作モード(OPM)の各モード設定時の処理の具体例については、後段で詳細に説明する。
表示書式(Format)は、字幕データを表示する表示画面の表示書式を規定する記述子である。具体的には、図15に示すように、以下の各書式の設定がなされる。
0000=1920×1080(HD)
0001=3840×2160(4K)
0010=7860×4320(8K)
例えば、これらの表示画面に対応する字幕データであることを示す。
圧縮モード(Compression_mode)は、TTML字幕データの圧縮モードを示す記述子である。具体的には、図16に示すように以下の各アッシュクモードのいずれかが設定される。
000=圧縮なし
001=EXIによる圧縮
010=BIMによる圧縮
011=ZIPによる圧縮
例えば、TTML字幕データが上記のいずれの圧縮処理がなされたデータであるかを示す情報を設定する。
先に図4を参照して説明したように、送信装置20から受信装置30に送信されるシグナリングデータ80は、番組ガイド等の案内情報や通知情報、制御情報等によって構成される。
具体的には、PSI/SI(Program Specific Information)とよばれるデータなどが含まれ、例えば
PMT(Program Map Table)
NIT(Network Information Table)
これらのテーブル等が含まれる。
受信装置30は、PMTを参照して各データ種別のPIDを確認して、確認したデータ種別対応のPIDに基づいて、受信パケットをデータ種類別に分類することが可能となる。
図17は、PMTのデータ構造を示す図である。
PMTに記録される主なデータは以下のデータである。
(1)サービス識別子(program_number)
(2)PCR_PID
(3)エレメンタリストリーム(ES)情報
(3a)ストリームタイプ
(3b)エレメンタリPID
(3c)エレメンタリ対応情報(情報記述子:descriptor)
(2)PCR_PIDは、プログラム・クロック・リフェランス(program clock reference)PIDであり、サービス(番組等のコンテンツ)対応のタイムスタンプを格納したパケットのPID情報である。
画像(Video)、音声(Audio)、字幕(Caption)各々の情報が順次、記録される。
(3a)ストリームタイプ
(3b)エレメンタリPID
(3c)データコンポーネント(ES)情報(ES情報)
(3b)エレメンタリPIDは、ストリームタイプで規定された種類のデータを格納したTSパケットのPIDを示す。
(3c)データコンポーネント情報(ES情報)には、ストリームタイプで規定された種類のデータ(ES:画像、音声、字幕)に関する追加情報、すなわち各ES単位の制御情報、属性情報等の追加情報が記録される。
データコンポーネント情報(ES情報)には、
(p)データコンポーネント識別子(data_component_id)
(q)データコンポーネント追加情報(additional_data_component_info)
これらの各データフィールドが設定される。
データコンポーネント追加情報(additional_data_component_info)フィールドに画像、音声、字幕対応の様々な追加情報が記録可能となる。
(a)字幕チャンネル数
(b)スタートモジュール識別子
(c)デフォルトプロパティフラグ
(d)字幕チャンネルリストフラグ
(e)各字幕チャンネル共通情報
(f)各字幕チャンネルタグと言語との対応リスト
(b)スタートモジュール識別子は、最初の字幕チャンネルに相当するのモジュールの識別子である。複数の字幕チャンネルを含む場合には、各字幕チャンネルのモジュールのモジュール識別子はこの値に対して1ずつインクリメントした値となる。
(d)字幕チャンネルリストフラグは、「(f)各字幕チャンネルの字幕チャンネルタグリスト」にデータが記録されているか否かを示すフラグである。
(1)字幕タイプ(Type)
(2)動作モード(OPM)
(3)表示書式(Format)
(4)タイムモード(TMD)
(5)表示モード(DMF)
これらの各情報が記録される。
次に、DIIメッセージに記録される字幕モジュール情報記述子(caption module info descriptot)の1つであるタイムモード(TMD)の各モード対応の具体的処理について説明する。
0001=TTML記述+EIT starttime
0010=TTML記述+NPT
0011=TTML記述+絶対時刻
1111=提示制御なし(受信時、即時表示等)
まず、タイムモード(TMD)が、TMD=1、すなわち、
0001=TTML記述+EIT starttime
上記設定である場合の字幕表示制御について図20、図21を参照して説明する。
このTMD=1のモード設定は、受信装置30に、TTMLに記述された字幕表示時間と、EIT(Envent Information Table)の記録情報を適用して表示タイミングを制御させるモードである。
図20に示すようにEITには、以下の各データが記録される。
(a)番組のID(event_id)
(b)番組開始時刻(start_time)
(c)番組時間長(duration)
例えばこれらの情報が含まれる。
(b)番組開始時刻(start_time)
を用いてTTML字幕データの字幕表示タイミングを決定する。
受信装置30の実行するTTML字幕データの表示タイミング制御処理について図21を参照して説明する。
(a)EIT
(b)DIIメッセージ
(c)DDBのTTML
(d)字幕の表示された画像例
これらの各データを示している。
受信装置30は、EITをPSI/SIから取得し、DIIメッセージと、DDBメッセージは字幕対応ESから取得する。
さらに、図21の最上段には、時間軸(t)を示している。
start_time=t0
上記情報が記録されている。
これは、番組が開始される絶対時刻を示す情報である。
TMD=1(=0001)
上記データが記録されている。
これは、先に図12を参照して説明したように、
TMD=0001=TTML記述+EIT starttime
この設定であり、TTML記述とEITのスタートタイム記述に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを示している。
<p begin="427s" dur="1s">
上記データがある。
これは、番組開始時間から427秒後にTTMLに記録された字幕データ「こんにちは」を1秒間表示することを行わせるための記述データである。
なお、
<div region="r1">
このデータは、字幕「こんにちは」の表示領域の指定情報である。
TMD=0001=TTML記述+EIT starttime
この設定であることを確認する。
すなわち、TTML記述とEITのスタートタイム記述に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを確認する。
DDBのTTMLには、字幕表示タイミング情報として
<p begin="427s" dur="1s">
上記データが記録されている。
EITには、番組開始時刻情報として、
start_time=t0
上記情報が記録されている。
EITには、番組開始時刻情報として記録された、
start_time=t0
この番組開始の絶対時刻情報を確認し、この絶対時刻t0から、受信装置30の保持する時計に基づいて、
DDBのTTMLの字幕表示タイミング情報、
<p begin="427s" dur="1s">
上記情報に記録された427秒をカウントする。
この表示結果が図21(d)に示す表示データである。
次に、タイムモード(TMD)が、TMD=2、すなわち、
0002=TTML記述+NPT
上記設定である場合の字幕表示制御について図22、図23を参照して説明する。
このTMD=2のモード設定は、受信装置30に、TTMLに記述された字幕表示時間と、NPT(Normal Play Time)の記録情報を適用して表示タイミングを制御させるモードである。
NPT(ノーマルプレイタイム)の時間情報(nt)と、
これら2つの時間情報の対応データを持つ。このNPT参照データは、送信装置20から
受信装置30に順次、更新データが送信される。
図22に示すようにNPTには、以下の各データが記録される。
(a)STC時間情報(STC_Reference)
(b)NPT時間情報(NPT_Reference)
例えばこれらの情報が含まれる。
NPT時間は、番組開始からの時間情報であり、例えばCM等、番組が中断した時点で停止され、番組の進行に従ってカウントされる時間情報である。
すなわち、STC時間情報(STC_Reference)は、常時、進行するが、NPT時間情報(NPT_Reference)は、番組が進行している時間のみ進行し、CM等の中断時には進行しない。
(a)STC時間情報(STC_Reference)は、時間の経過と同じ経過を示すデータに更新されるが、
(b)NPT時間情報(NPT_Reference)は、番組の先頭からの時間を示し、かつ番組が中断している場合は更新されず、放送された番組時間に相当する時間のみを示す時間情報となる。
(a)STC時間情報(STC_Reference)=t0
(b)NPT時間情報(NPT_Reference)=0
上記のように、NPT時間のカウントが開始されるが、その後の時間情報の増加は等しく進む。これらのカウントは90KHzクロックにより行われる。これは27MHzクロックに基づくカウンタ値であるSTCの上位部分に相当する。
しかし、番組開始後、CM等の番組中断事由が発生すると、上記2つの時間情報の増加はずれたものとなる。
すなわち、
(a)STC時間情報(STC_Reference)=s1
(b)NPT時間情報(NPT_Reference)=n1
(a)STC時間情報(STC_Reference)=s1
(b)NPT時間情報(NPT_Reference)=n1
これらの2つの時間の対応情報を用いてTTML字幕データの字幕表示タイミングを決定する。
受信装置30の実行するTTML字幕データの表示タイミング制御処理について図23を参照して説明する。
(a)DIIメッセージ
(b)DDBのTTML
(c)NPT
(d)字幕の表示された画像例
これらの各データを示している。
さらに、図23の最上段には、NPTとSTC対応の時間軸(t)を示している。
TMD=2(=0010)
上記データが記録されている。
これは、先に図12を参照して説明したように、
TMD=0010=TTML記述+NPT
この設定であり、TTML記述とNPT記述に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを示している。
<p begin="276392t" dur="1s">
上記データがある。
さらに、
<tt ttp:tickrate="90000">
上記データがある。
<p begin="276392t" dur="1s">は、90KHzクロックのカウント値で字幕表示開始時刻を示している。
図21を参照して説明したTTMLでは秒(s)単位のデータとして字幕の表示タイミングを記述していたが、この図23に示す例では、90KHzクロックのカウント値で示している。TMD=2(=0010)の場合、これがNPT時間で字幕表示開始時刻を示すことになる。
なお、
<div region="r1">
このデータは、字幕「こんにちは」の表示領域の指定情報である。
(a)STC時間情報(STC_Reference)=sx
(b)NPT時間情報(NPT_Reference)=nx
これらの2つの時間の対応情報が記録されている。
なお、NPT参照データは逐次更新されており、受信装置30は最も新しいNPT参照データを利用する。
TMD=0010=TTML記述+NPT
この設定であることを確認する。
すなわち、TTML記述とNPTの記述に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを確認する。
DDBのTTMLには、字幕表示タイミング情報として
<p begin="276392t" dur="1s">
NPT参照データには、
(a)STC時間情報(STC_Reference)=s1
(b)NPT時間情報(NPT_Reference)=n1
これらの2つの時間の対応情報が記録されている。
なお、NPT参照データは逐次更新されており、受信装置30は最も新しいNPT参照データを利用する。
取得したNPTには、例えば、以下の2つの時間情報の対尾合うデータが記録されている。
(a)STC時間情報(STC_Reference)=s1=400000t
(b)NPT時間情報(NPT_Reference)=n1=253000t
NPT時間情報(n1)は、番組の実放送時間をカウントした値である。
<p begin="276392t" dur="1s">
上記字幕表示開始時刻であるNPT時間値=276392tをSTC値 St1に換算する。。
すなわち、St1=276392+(400000−253000)=423392
。
この表示結果が図23(d)に示す表示データである。
次に、タイムモード(TMD)が、TMD=3、すなわち、
0011=TTML記述+絶対時刻
上記設定である場合の字幕表示制御について図24を参照して説明する。
このTMD=3のモード設定は、受信装置30に、TTMLに記述された字幕表示時間と、絶対時刻を適用して表示タイミングを制御させるモードである。
受信装置30の実行するTTML字幕データの表示タイミング制御処理について図24を参照して説明する。
(a)DIIメッセージ
(b)DDBのTTML
(c)字幕の表示された画像例
これらの各データを示している。
受信装置30は、DIIメッセージと、DDBメッセージを字幕対応ESから取得する。
さらに、図24の最上段には、時間軸(t)を示している。
TMD=3(=0011)
上記データが記録されている。
これは、先に図12を参照して説明したように、
TMD=0011=TTML記述+絶対時刻
この設定であり、TTML記述と絶対時刻に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを示している。
<p begin="13:40:11" dur="1s">
上記データがある。
これは、絶対時刻=13:40:11にTTMLに記録された字幕データ「こんにちは」を1秒間表示することを行わせるための記述データである。
なお、
<div region="r1">
このデータは、字幕「こんにちは」の表示領域の指定情報である。
TMD=0001=TTML記述+絶対時刻
この設定であることを確認する。
すなわち、TTML記述と絶対時刻に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを確認する。
DDBのTTMLには、字幕表示タイミング情報として
<p begin="13:40:11s" dur="1s">
上記データが記録されている。
この表示結果が図24(c)に示す表示データである。
次に、タイムモード(TMD)が、TMD=15、すなわち、
1111=時刻制御なし
上記設定である場合の字幕表示制御について図25を参照して説明する。
このTMD=15のモード設定は、受信装置30に、時刻制御なしで字幕を表示させるモードである。例えばTTML字幕データを格納したDDBメッセージの受信後、速やかに表示を行う。例えば、ライブの字幕翻訳データの表示や、ニュース速報の表示などにおいて適用される。
図25には、
(a)DIIメッセージ
(b)DDBのTTML
(c)字幕の表示された画像例
これらの各データを示している。
受信装置30は、DIIメッセージと、DDBメッセージを字幕対応ESから取得する。
さらに、図25の最上段には、時間軸(t)を示している。
TMD=15(=1111)
上記データが記録されている。
これは、先に図12を参照して説明したように、
TMD=1111=時刻制御なし
この設定であり、字幕の表示タイミングの制御情報がないコンテンツであることを示している。
なお、
<div region="r1">
このデータは、字幕「こんにちは」の表示領域の指定情報である。
TMD=1111=時刻制御なし
この設定であることを確認する。
すなわち、字幕の表示タイミングの制御のないコンテンツであることを確認する。
DDBのTTMLには、字幕表示タイミング情報が記録されていない。
この表示結果が図25(c)に示す表示データである。これは、例えば同時通訳の翻訳文の字幕表示などである。
次に、DIIメッセージに記録される字幕モジュール情報記述子(caption module info descriptot)の1つである動作モード(OPM)の各モード対応の具体的処理について説明する。
00=ライブモード(Live mode)
01=セグメンテーションモード(Segmentation mode)
10=プログラムモード(Program mode)
まず、動作モード(OPM)が、OPM=0、すなわち、
OPM=00=ライブモード
上記設定である場合の字幕表示制御について図26を参照して説明する。
このOPM=0のモード設定は、受信装置30に、受信したTTML字幕データを、受信時に即時表示させるモードである。例えば同時通訳等の字幕データの表示などの際に利用されるモードである。
(a)DIIメッセージ
(b)〜(e)TTML字幕データを格納したDDBメッセージ
これらの各データを示している。
受信装置30は、DIIメッセージと、DDBメッセージを字幕対応ESから取得する。
さらに、図26の下段には、時間軸(t)と、時間経過に従って適用されるTTML字幕データと字幕表示例を示している。
OPM=0(=00)
上記データが記録されている。
これは、先に図14を参照して説明したように、
OPM=00=ライブモード
この設定であり、受信したTTML字幕データを、受信時に即時表示させるモードであることを示している。
なお、
<div region="r1">
<div region="r2">
<div region="r3">
これらのデータは、各TTML字幕データに含まれる字幕の表示領域の指定情報である。r1,r2,r3は異なる領域の指定情報である。
OPM=00=ライブモード
この設定であることを確認する。
すなわち、字幕の表示を、TTML字幕データの受信時に即時実行するモードであることを確認する。
受信装置30は、受信したDDBメッセージからTTML字幕データを取り出してTTML字幕データに記録された表示制御情報(表示領域指定のみ)に従って、字幕データを表示する。
受信装置は、まず、(b)DDBメッセージ(TTML1)を受信し、このDDBメッセージに格納されたTTML1に従った字幕表示を行う。
画像(p)は、(b)DDBメッセージ(TTML1)に格納されたTTML1に従って表示される字幕重畳画像である。
TTML1に格納された字幕データ「ありがとう」を、TTML1に記録された領域指定情報の指定領域(r1)に表示する。表示タイミングは時間(t1)となる。この時間(t1)は、受信装置30がTTML1を格納したDDBメッセージを受信して必要な処理を実行後、表示可能な最短のタイミングである。
画像(q)は、(c)DDBメッセージ(TTML2)に格納されたTTML2に従って表示される字幕重畳画像である。
TTML2に格納された字幕データ「どういたしまして」を、TTML2に記録された領域指定情報の指定領域(r2)に表示する。表示タイミングは時間(t2)となる。この時間(t2)は、受信装置30がTTML2を格納したDDBメッセージを受信して必要な処理を実行後、表示可能な最短のタイミングである。
画像(r)は、(d)DDBメッセージ(TTML3)に格納されたTTML3に従って表示される字幕重畳画像である。
TTML3に格納された字幕データ「例の件ですが」を、TTML3に記録された領域指定情報の指定領域(r2)に表示する。表示タイミングは時間(t3)となる。この時間(t3)は、受信装置30がTTML3を格納したDDBメッセージを受信して必要な処理を実行後、表示可能な最短のタイミングである。
画像(s)は、(e)DDBメッセージ(TTML4)に格納されたTTML4に従って表示される字幕重畳画像である。
TTML4に格納された字幕データ「○△×*・・・」を、TTML4に記録された領域指定情報の指定領域(r2)に表示する。
さらに、TTML4に格納されたもう1つの字幕データ「(バタン ドアの音)」を、TTML4に記録された領域指定情報の指定領域(r3)に表示する。
ここで、TTML2、TTML3、TTML4における指定領域r2は同一の領域を示す。本例では示していないがいわゆるロールアップモードの指定がある場合にはTTML3においても、TTML2の指定領域r2で指定された文字列の後半を残してTTML3の指定領域r2で指定された文字列を加えて表示することが想定される。そのようなケースを想定するとライブモードの場合、各TTMLを独立して処理することはできない。
この処理により、例えば生中継の会話における翻訳文の表示などを遅滞なく実行することが可能となる。またこの動作モードの場合には以前のTTML字幕データとの依存関係が発生しうる。
次に、動作モード(OPM)が、OPM=1、すなわち、
OPM=01=セグメンテーションモード
上記設定である場合の字幕表示制御について図27を参照して説明する。
このOPM=1のモード設定は、映画コンテンツのように、予め字幕データが準備されたコンテンツに適用されるモードであり、受信装置30に、DIIメッセージとTTML字幕データの制御情報に規定された表示タイミングに従った表示を実行させるモードである。
(a)DIIメッセージ
(b)〜(c)TTML字幕データを格納したDDBメッセージ
これらの各データを示している。
受信装置30は、DIIメッセージと、DDBメッセージを字幕対応ESから取得する。
さらに、図27の下段には、時間軸(t)と、時間経過に従って適用されるTTML字幕データと字幕表示例を示している。
OPM=1(=01)
上記データが記録されている。
これは、先に図14を参照して説明したように、
OPM=01=セグメンテーションモード
この設定であり、受信したTTML字幕データを、DIIメッセージとTTML字幕データの制御情報に規定された表示タイミングに従った表示を実行させるモードであることを示している。
(b)DDB(TTML1)には、
<p begin="156s" duration="5s">
上記字幕表示タイミング情報が記録されている。
<p begin="170s">
上記字幕表示タイミング情報が、字幕「どういたしまして」に対応付けて記録されている。
さらに、
<p begin="175s">
上記字幕表示タイミング情報が、字幕「例の件ですが」・・・「○△×*」・・に対応付けて記録されている。
これらはいずれも表示領域(r2)に対応する字幕データの表示タイミング情報として記録されている。
<p begin="180s">
上記字幕表示タイミング情報が、字幕「バタン ドアの音」に対応付けて記録されている。
これは表示領域(r3)に対応する字幕データの表示タイミング情報として記録されている。
<div region="r1">
<div region="r2">
<div region="r3">
これらのデータは、各TTML字幕データに含まれる字幕の表示領域の指定情報である。r1,r2,r3は異なる領域の指定情報である。
まず、受信装置30は、DIIメッセージを参照して、動作モードの確認を行う。
OPM=01=セグメンテーションモード
この設定であることを確認する。
すなわち、字幕表示を、DIIメッセージとTTML字幕データの制御情報に規定された表示タイミングに従って表示するモードであることを確認する。
受信装置30は、受信したDDBメッセージからTTML字幕データを取り出してTTML字幕データに記録された表示制御情報に従って、字幕データを表示する。
受信装置は、まず、(b)DDBメッセージ(TTML1)を受信し、このDDBメッセージに格納されたTTML1に従った字幕表示を行う。
画像(p)は、(b)DDBメッセージ(TTML1)に格納されたTTML1に従って表示される字幕重畳画像である。
TTML1に格納された字幕データ「ありがとう」を、TTML1に記録された領域指定情報の指定領域(r1)に表示する。表示タイミングは時間(t1)となる。
この時間(t1)は、TTML1に記録された字幕表示時間情報、すなわち、
<p begin="156s" duration="5s">
上記字幕表示タイミング情報に対応する時間である。
画像(q)〜(s)は、(c)DDBメッセージ(TTML2)に格納されたTTML2に従って表示される字幕重畳画像である。
この画像が画像(q)となる。
表示タイミングは時間(t2)となる。この時間(t2)は、TTML2に記録された「どういたしまして」に対応する字幕表示時間情報、すなわち、
<p begin="170s">
上記字幕表示タイミング情報に対応する時間である。
この画像が画像(r)となる。
表示タイミングは時間(t3)となる。この時間(t3)は、TTML2に記録された「例の件ですが」に対応する字幕表示時間情報、すなわち、
<p begin="175s">
上記字幕表示タイミング情報に対応する時間である。
この画像が画像(s)となる。
表示タイミングは時間(t3)となる。
この字幕データ「○△×*・・・」については、TTML2に記録された「例の件ですが」に続く字幕であり、指定領域(r2)に入りきらないため、古い字幕を消去して上書きして表示される。したがって表示タイミングが指定時間(t2)からずれて表示される。なお、前述したようにロールアップ表示を行う構成としてもよい。
この画像が画像(s)となる。
表示タイミングは時間(t3)となる。この時間(t3)は、TTML2に記録された「(バタン ドアの音)」に対応する字幕表示時間情報、すなわち、
<p begin="180s">
上記字幕表示タイミング情報に対応する時間である。
この処理により、例えば映画等のコンテンツの画像のシーンと同期した字幕表示を実行することが可能となる。またこの動作モードの場合には各TTML字幕データの処理を独立して行うことができる。よって新たなTTML字幕データの処理を行う場合には以前のTTML字幕データの影響なく処理することが可能である。
次に、動作モード(OPM)が、OPM=2、すなわち、
OPM=10=プログラムモード
上記設定である場合の字幕表示制御について図28を参照して説明する。
このOPM=2のモード設定は、例えば1つの番組単位の字幕の全てを記録したTTMLファイルを準備して、送信装置から受信装置に繰り返し送信し、受信装置が1つのTTMLファイルを利用して1番組の字幕表示を実行するモードである。
(a)DIIメッセージ
(b)DDBメッセージから抽出したTTML字幕データ(TTML1)
(c)DIIメッセージ
これらの各データを示している。
受信装置30は、DIIメッセージと、DDBメッセージを字幕対応ESから取得する。
さらに、図28の下段には、時間軸(t)と、時間経過に従って適用されるTTML字幕データと字幕表示例を示している。
OPM=2(=10)
上記データが記録されている。
これは、先に図14を参照して説明したように、
OPM=10=プログラムモード
この設定であり、例えば1つの番組単位の字幕の全てを記録したTTMLファイルを利用して1つの番組の字幕表示を実行するモードである。
なお、DDBメッセージを1回伝送するだけでは伝送した後にこの放送サービスを選局した場合に字幕表示ができないので、本モードにおいては同じTTML字幕データファイルを繰り返し送信する。
字幕「ありがとう」に対して、
<p begin="156s" duration="5s">
上記字幕表示タイミング情報が記録され、
<div region="r1">
上記表示領域情報が記録されている。
<p begin="170s">
上記字幕表示タイミング情報が記録され、
<div region="r2">
上記表示領域情報が記録されている。
<p begin="175s">
上記字幕表示タイミング情報が記録されている。
<p begin="180s">
上記字幕表示タイミング情報が記録され、
<div region="r3">
上記表示領域情報が記録されている。
まず、受信装置30は、DIIメッセージを参照して、動作モードの確認を行う。
OPM=10=プログラムモード
この設定であることを確認する。
すなわち、字幕表示を、1つの番組対応の字幕をすべて記録したTTML字幕データファイルに従って表示するモードであることを確認する。
受信装置は、再構築したTTML1に従った字幕表示を行う。
画像(p)は、TTML1に従って表示される字幕重畳画像である。
TTML1に格納された字幕データ「ありがとう」を、TTML1に記録された領域指定情報の指定領域(r1)に表示する。表示タイミングは時間(t1)となる。
この時間(t1)は、TTML1に記録された字幕表示時間情報、すなわち、
<p begin="156s" duration="5s">
上記字幕表示タイミング情報に対応する時間である。
画像(q)〜(s)は、TTML1に従って表示される字幕重畳画像である。
TTML1に格納された字幕データ「どういたしまして」を、TTML1に記録された領域指定情報の指定領域(r2)に表示する。
この画像が画像(q)となる。
表示タイミングは時間(t2)となる。この時間(t2)は、TTML1に記録された「どういたしまして」に対応する字幕表示時間情報、すなわち、
<p begin="170s">
上記字幕表示タイミング情報に対応する時間である。
この画像が画像(r)となる。
表示タイミングは時間(t3)となる。この時間(t3)は、TTML1に記録された「例の件ですが」に対応する字幕表示時間情報、すなわち、
<p begin="175s">
上記字幕表示タイミング情報に対応する時間である。
この画像が画像(s)となる。
表示タイミングは時間(t3)となる。
この字幕データ「○△×*・・・」については、TTML1に記録された「例の件ですが」に続く字幕であり、指定領域(r2)に入りきらないため、古い字幕を消去して上書きして表示される。したがって表示タイミングが指定時間(t2)からずれて表示される。なお、前述したようにロールアップ表示を行う構成としてもよい。
この画像が画像(s)となる。
表示タイミングは時間(t3)となる。この時間(t3)は、TTML1に記録された「(バタン ドアの音)」に対応する字幕表示時間情報、すなわち、
<p begin="180s">
上記字幕表示タイミング情報に対応する時間である。
この処理により、例えば映画等のコンテンツについて、コンテンツ表示期間内にDDBメッセージの受信、解析処理を並列に実行する必要がなくなり、受信装置の処理負荷を軽減することが可能となる。またこの動作モードの場合にも各TTML字幕データの処理を独立して行うことができる。よって新たなTTML字幕データの処理を行う場合には以前のTTML字幕データの影響なく処理することが可能である。
先に説明したように、DIIメッセージに記録される動作モード(OPM)は、
00=ライブモード(Live mode)
01=セグメンテーションモード(Segmentation mode)
10=プログラムモード(Program mode)
これらのモード設定が可能な構成となっている。
01=セグメンテーションモード(Segmentation mode)は、映画コンテンツのように、予め字幕データが準備されたコンテンツに適用されるモードであり、DIIメッセージとTTML字幕データの制御情報に規定された表示タイミングに従った表示を実行させる場合のモードである。
10=プログラムモード(Program mode)は、例えば1つの番組単位の字幕の全てを記録したTTMLファイルを準備して、送信装置から受信装置に送信し、受信装置が1つのTTMLファイルを利用して1番組の字幕表示を実行するモードである。
OPM=00=受信TTMLに従った字幕の即時表示を行う、
OPM=01=受信TTMLに記録されたタイミングに基づいて字幕表示を行う、
これらの差異である。
従って、受信TTMLに字幕の表示タイミングの記述が含まれない場合は即時表示を行うというルールに従う設定とした場合、すべてOPM=01とすることも可能である。
ただし、前述した通りOPM=00の場合には、以前受信したTTML字幕データと独立して処理できないケースが存在する。一方でOPM=01の場合には各TTML字幕データは独立して処理することが可能である。受信装置における処理としては、新たに受信したTTML字幕データを直前のTTML字幕データ表示用データ格納用メモリ領域に上書きしてよいか、あるいは一旦別の領域に格納して関係性を確認すべきか判断する情報が必要である。、つまり先行受信したTTML字幕データに基づく字幕表示と独立した処理の可否を示すフラグ(独立処理可否フラグ)を、DIIメッセージに設定する構成としてもよい。
次に、図29、図30に示すフローチャートを参照して、送信装置と受信装置の実行する処理シーケンスについて説明する。
まず、図29に示すフローチャートを参照して送信装置20の実行する処理について説明する。図29に示すフローに従った処理は、送信装置20のデータ処理部において実行される。例えばデータ処理部内のプログラム実行機能を有するCPUの制御の下、記憶部に格納されたプログラムに従って実行される。
なお、図29に示すフローは、字幕に対する処理を中心として説明するフローである。
DDBメッセージは、先に図7を参照して説明したデータ構造を持つメッセージデータである。
なお、DDBメッセージは、字幕種類ごとに規定されるモジュール単位のメッセージとして生成する。
字幕種類とは、言語の種類のみならず、字幕チャンネルタグや、字幕タイプ等によっても区別される。
DIIメッセージには、モジュール単位で制御情報や属性情報が記録され、同一モジュールに属するTTML文字データは、同一の制御がなされることになる。
DIIメッセージは、先に図8〜図16を参照して説明した複数の字幕関連の制御情報や属性情報を格納したメッセージである。
前述したようにDIIメッセージの字幕モジュール情報[moduleInfoByt]記録フィールドには、以下の記述子が記録される。
(1)字幕チャンネルタグ(caption_channel_tag)
(2)言語コード(ISO_639_language_code)
(3)字幕タイプ(Type)
(4)タイムモード(TMD)
(5)表示モード(DMF)
(6)動作モード(OPM)
(7)表示書式(Format)
(8)圧縮モード(Compression_mode)
PMTは、先に図17〜図19を参照して説明したデータ構造を有する。
PMTには、例えば以下の情報が記録される。
(a)字幕チャンネル識別子
(b)スタートモジュール識別子
(c)デフォルトプロパティフラグ
(d)字幕チャンネルリストフラグ
(e)各字幕チャンネル共通情報
(f)各字幕チャンネルタグと言語との対応リスト
(1)字幕タイプ(Type)
(2)動作モード(OPM)
(3)表示書式(Format)
(4)タイムモード(TMD)
(5)表示モード(DMF)
これらの情報が記録される。
なお、送信装置20は、この他、画像、音声を格納したパケットや、その他の制御情報を格納したパケットも生成して送信する。
なお、図30に示すフローは、字幕に対する処理を中心として説明するフローである。
ステップS202において、受信パケットのパケット識別子(PID)に基づいて、データ種類ごと(画像、音声、字幕等)のパケットに分類する。
次に、通信装置である送信装置20と、受信装置30の装置構成例について、図31以下を参照して説明する。
送信装置20は、データ処理部121、通信部122、記憶部123を有する。
受信装置30は、データ処理部151、通信部152、記憶部153、入力部154、出力部155を有する。
具体的には、画像、音声データの格納パケットの生成、字幕データを格納したパケット生成、配信処理を実行する。さらに、PSI/SI等のシグナリングデータの生成、配信処理を実行する。
なお、字幕データ格納パケットには、XML形式のTTML字幕データを格納したDDBメッセージ、およびDDBメッセージに対する制御情報を格納したDIIメッセージを格納したパケットが含まれる。
記憶部123は配信対象とする画像、音声、字幕等の各データなどが格納される。
さらに、記憶部123は、データ処理部121の実行するデータ処理のワークエリアとして利用され、また各種パラメータの記憶領域としても利用される。
通信部152は、送信装置20から配信されるデータ、例えば画像、音声、字幕を格納したパケットやシグナリングデータを受信する。
字幕データにはDDBメッセージ、DIIメッセージが含まれる。
具体的にはDDBメッセージ、DIIメッセージ、その他のPMT等の制御信号に従った字幕の表示制御を実行する。
再生データは表示部やスピーカ等の出力部155に出力される。
記憶部153は受信した画像、音声、字幕等の各データが格納される。
さらに、記憶部153は、データ処理部151の実行するデータ処理のワークエリアとして利用され、また各種パラメータの記憶領域としても利用される。
データ処理部121は、画像データ処理部201、音声データ処理部202、字幕データ処理部203、制御信号生成部204、パケット生成部205を有する。
画像データ処理部201は、受信装置に送信するコンテンツの構成データである画像データに対する処理、例えば符号化処理等の送信用データ生成処理を行ない、TSパケットに格納する画像エレメンタリストリームを生成してパケット生成部205に供給する。
具体的には、TTML字幕データを格納したDDBメッセージ、さらに、DDBメッセージに対応する制御情報や属性情報を格納したDIIメッセージの生成処理を行ない、パケット生成部205に供給する。
なお、パケット生成部205の生成するTSパケットには画像、音声、字幕等のデータ種別に応じたパケット識別子(PID)が設定される。
通信部122はパケット生成部205から入力するパケットを放送波を介して出力する。
受信装置30のデータ処理部151は、パケット分離部301、画像データ処理部302、音声データ処理部303、字幕データ処理部304、制御部305、重畳処理部306を有する。
音声データ処理部303は、音声データを格納したパケットから音声データを主値得し、復号処理等、音声の再生処理に必要な処理を実行する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
MPEG−2TSの規定するTSパケットの格納データとして受信する通信部と、
前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理部を有する受信装置。
前記データ処理部は、
前記DIIメッセージに記録されたモジュール単位の字幕表示制御情報に従って字幕表示制御を行う前記(1)に記載の受信装置。
前記データ処理部は、DIIメッセージに記録されたタイムモード(TMD)の設定モードに応じた字幕表示タイミングの制御を実行する前記(1)または(2)に記載の受信装置。
前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述とEITの利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、EITから得られるコンテンツ開始時間情報を併用して字幕表示タイミングを決定する前記(3)に記載の受信装置。
前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述とNPTの利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、NPTから得られるNPT時間情報とSTC(システムタイムクロック)時間情報との対応データを併用して字幕表示タイミングを決定する前記(3)または(4)に記載の受信装置。
前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述と絶対時刻の利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、絶対時刻を併用して字幕表示タイミングを決定する前記(3)〜(5)いずれかに記載の受信装置。
前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML字幕データの表示タイミング制御なしを示すモードである場合、DDBメッセージから取得したTTML字幕データを即時表示する字幕表示タイミング制御を行う前期(3)〜(6)いずれかに記載の受信装置。
前記データ処理部は、DIIメッセージに記録された動作モード(OPM)の設定モードに応じた字幕表示制御を実行する前記(1)〜(7)いずれかに記載の受信装置。
前記データ処理部は、DIIメッセージの動作モードの設定がライブモードである場合、DDBメッセージから取得したTTML字幕データを、受信後、即時表示する表示制御を実行する前記(8)に記載の受信装置。
前記データ処理部は、DIIメッセージの動作モードの設定がセグメンテーションモードである場合、DDBメッセージから取得したTTML字幕データを、TTML記述の表示タイミングに従って表示する前記(8)または(9)に記載の受信装置。
前記データ処理部は、DIIメッセージの動作モードの設定がプログラムモードである場合、番組単位のTTML字幕データを利用した字幕表示制御を実行する前記(8)〜(10)いずれかに記載の受信装置。
前記データ処理部は、PMTの記録情報を利用して前記TTML字幕データの表示制御を実行する前記(1)〜(11)いずれかに記載の受信装置。
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
生成メッセージを格納したMPEG−2TSの規定するTSパケットを生成するデータ処理部と、
前記TSパケットを送信する通信部を有する送信装置。
字幕種類単位で設定されるモジュール単位の字幕表示制御情報を含むDIIメッセージを生成する前記(13)に記載の送信装置。
EIT(Envent Information Table)、または、
NPT(Normal Play Time)、または、
絶対時刻、
のいずれかの情報を選択的に適用して字幕表示タイミングを決定させるタイムモード(TMD)指定情報を含むDIIメッセージを生成する前記(13)または(14)に記載の送信装置。
前記通信部は、前記TTML字幕データに対応する制御情報を記録したPMTを送信する前記(13)〜(16)いずれかに記載の送信装置。
通信部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
MPEG−2TSの規定するTSパケットの格納データとして受信し、
データ処理部が、前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理方法。
データ処理部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
生成メッセージを格納したMPEG−2TSの規定するTSパケットを生成し、
通信部が、前記TSパケットを送信するデータ処理方法。
具体的には、送信装置から受信装置にTTML字幕データを格納したDDBメッセージと、字幕データの制御情報等を格納したDIIメッセージをMPEG−2TSの規定するTSパケットとして送信する。受信装置は、DDBメッセージ内のTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行する。DIIメッセージは、字幕表示タイミングの制御モードであるタイムモード(TMD)や、字幕の即時表示やTTML記述に従った表示等を選択的に実行させる動作モード(OPM)を規定しており、受信装置はDIIのモード指定に応じた表示制御が可能となる。
本構成により、TTML字幕データの確実な表示制御を実現する装置、方法が実現される。
20 送信装置
21 放送局
30 受信装置
31 TV
32 PC
33 携帯端末
50 画像データ
60 音声データ
70 字幕データ
71 字幕対応情報
72〜74 字幕チャンネル
80 シグナリングデータ
121 データ処理部
122 通信部
123 記憶部
151 データ処理部
152 通信部
153 記憶部
154 入力部
155 出力部
201 画像データ処理部
202 音声データ処理部
203 字幕データ処理部
204 制御信号生成部
205 パケット生成部
301 パケット分離部
302 画像データ処理部
303 音声データ処理部
304 字幕データ処理部
305 制御部
306 重畳処理部
401 CPU
402 ROM
403 RAM
404 バス
405 入出力インタフェース
406 入力部
407 出力部
408 記憶部
409 通信部
410 ドライブ
411 リムーバブルメディア
Claims (19)
- TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
MPEG−2TSの規定するTSパケットの格納データとして受信する通信部と、
前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理部を有する受信装置。 - 前記DIIメッセージは、字幕種類単位で設定されるモジュール単位の字幕表示制御情報を含み、
前記データ処理部は、
前記DIIメッセージに記録されたモジュール単位の字幕表示制御情報に従って字幕表示制御を行う請求項1に記載の受信装置。 - 前記DIIメッセージは、字幕表示タイミングを規定したタイムモード(TMD)の設定情報を含み、
前記データ処理部は、DIIメッセージに記録されたタイムモード(TMD)の設定モードに応じた字幕表示タイミングの制御を実行する請求項1に記載の受信装置。 - 前記DIIメッセージのタイムモード(TMD)は、TTML記述とEIT(Envent Information Table)を利用したモードを指定可能な構成を有し、
前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述とEITの利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、EITから得られるコンテンツ開始時間情報を併用して字幕表示タイミングを決定する請求項3に記載の受信装置。 - 前記DIIメッセージのタイムモード(TMD)は、TTML記述とNPT(Normal Play Time)を利用したモードを指定可能な構成を有し、
前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述とNPTの利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、NPTから得られるNPT時間情報とSTC(システムタイムクロック)時間情報との対応データを併用して字幕表示タイミングを決定する請求項3に記載の受信装置。 - 前記DIIメッセージのタイムモード(TMD)は、TTML記述と絶対時刻を利用したモードを指定可能な構成を有し、
前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述と絶対時刻の利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、絶対時刻を併用して字幕表示タイミングを決定する請求項3に記載の受信装置。 - 前記DIIメッセージのタイムモード(TMD)は、TTML字幕データの表示タイミング制御なしを示すモードを指定可能な構成を有し、
前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML字幕データの表示タイミング制御なしを示すモードである場合、DDBメッセージから取得したTTML字幕データを即時表示する字幕表示タイミング制御を行う請求項3に記載の受信装置。 - 前記DIIメッセージは、字幕表示制御情報を規定した動作モード(OPM)の設定情報を含み、
前記データ処理部は、DIIメッセージに記録された動作モード(OPM)の設定モードに応じた字幕表示制御を実行する請求項1に記載の受信装置。 - 前記DIIメッセージの動作モード(OPM)は、TTML字幕データを受信後、即時表示させるライブモードを指定可能な構成を有し、
前記データ処理部は、DIIメッセージの動作モードの設定がライブモードである場合、DDBメッセージから取得したTTML字幕データを、受信後、即時表示する表示制御を実行する請求項8に記載の受信装置。 - 前記DIIメッセージの動作モード(OPM)は、TTML字幕データを、TTML記述に従って表示させるセグメンテーションモードを指定可能な構成を有し、
前記データ処理部は、DIIメッセージの動作モードの設定がセグメンテーションモードである場合、DDBメッセージから取得したTTML字幕データを、TTML記述の表示タイミングに従って表示する請求項8に記載の受信装置。 - 前記DIIメッセージの動作モード(OPM)は、番組単位のTTML字幕データを利用した字幕表示処理を実行させるプログラムモードを指定可能な構成を有し、
前記データ処理部は、DIIメッセージの動作モードの設定がプログラムモードである場合、番組単位のTTML字幕データを利用した字幕表示制御を実行する請求項8に記載の受信装置。 - 前記通信部は、前記TTML字幕データに対応する制御情報を記録したPMT(Program Map Table)を受信し、
前記データ処理部は、PMTの記録情報を利用して前記TTML字幕データの表示制御を実行する請求項1に記載の受信装置。 - TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
生成メッセージを格納したMPEG−2TSの規定するTSパケットを生成するデータ処理部と、
前記TSパケットを送信する通信部を有する送信装置。 - 前記データ処理部は、
字幕種類単位で設定されるモジュール単位の字幕表示制御情報を含むDIIメッセージを生成する請求項13に記載の送信装置。 - 前記データ処理部は、
EIT(Envent Information Table)、または、
NPT(Normal Play Time)、または、
絶対時刻、
のいずれかの情報を選択的に適用して字幕表示タイミングを決定させるタイムモード(TMD)指定情報を含むDIIメッセージを生成する請求項13に記載の送信装置。 - 前記データ処理部は、TTML字幕データの即時表示、またはTTML記述に従った表示を選択的に実行させる動作モード(OPM)指定情報を含むDIIメッセージを生成する請求項13に記載の送信装置。
- 前記データ処理部は、前記TTML字幕データに対応する制御情報を記録したPMT(Program Map Table)を生成し、
前記通信部は、前記TTML字幕データに対応する制御情報を記録したPMTを送信する請求項13に記載の送信装置。 - 受信装置において実行するデータ処理方法であり、
通信部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
MPEG−2TSの規定するTSパケットの格納データとして受信し、
データ処理部が、前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理方法。 - 送信装置において実行するデータ処理方法であり、
データ処理部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
生成メッセージを格納したMPEG−2TSの規定するTSパケットを生成し、
通信部が、前記TSパケットを送信するデータ処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015545222A JP5874870B1 (ja) | 2014-05-12 | 2015-04-17 | 受信装置、および送信装置、並びにデータ処理方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014098663 | 2014-05-12 | ||
JP2014098663 | 2014-05-12 | ||
PCT/JP2015/061803 WO2015174207A1 (ja) | 2014-05-12 | 2015-04-17 | 受信装置、および送信装置、並びにデータ処理方法 |
JP2015545222A JP5874870B1 (ja) | 2014-05-12 | 2015-04-17 | 受信装置、および送信装置、並びにデータ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5874870B1 true JP5874870B1 (ja) | 2016-03-02 |
JPWO2015174207A1 JPWO2015174207A1 (ja) | 2017-04-20 |
Family
ID=54479751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015545222A Active JP5874870B1 (ja) | 2014-05-12 | 2015-04-17 | 受信装置、および送信装置、並びにデータ処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5874870B1 (ja) |
WO (1) | WO2015174207A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017154607A1 (ja) * | 2016-03-10 | 2017-09-14 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2020137091A (ja) * | 2019-02-26 | 2020-08-31 | 日本電気株式会社 | 信号処理モジュール、信号符号化装置、信号処理方法、および信号処理用プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012111513A1 (ja) * | 2011-02-15 | 2012-08-23 | ソニー株式会社 | 表示制御方法、記録媒体、表示制御装置 |
US20120320267A1 (en) * | 2011-06-15 | 2012-12-20 | Echostar Technologies L.L.C. | Systems and methods for processing timed text in video programming |
JP2015159366A (ja) * | 2014-02-21 | 2015-09-03 | 日本放送協会 | 受信機 |
WO2015173975A1 (ja) * | 2014-05-15 | 2015-11-19 | ソニー株式会社 | 受信装置、および送信装置、並びにデータ処理方法 |
-
2015
- 2015-04-17 JP JP2015545222A patent/JP5874870B1/ja active Active
- 2015-04-17 WO PCT/JP2015/061803 patent/WO2015174207A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012111513A1 (ja) * | 2011-02-15 | 2012-08-23 | ソニー株式会社 | 表示制御方法、記録媒体、表示制御装置 |
US20120320267A1 (en) * | 2011-06-15 | 2012-12-20 | Echostar Technologies L.L.C. | Systems and methods for processing timed text in video programming |
JP2015159366A (ja) * | 2014-02-21 | 2015-09-03 | 日本放送協会 | 受信機 |
WO2015173975A1 (ja) * | 2014-05-15 | 2015-11-19 | ソニー株式会社 | 受信装置、および送信装置、並びにデータ処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2015174207A1 (ja) | 2017-04-20 |
WO2015174207A1 (ja) | 2015-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101898304B1 (ko) | 송신 장치, 송신 방법, 수신 장치, 수신 방법, 프로그램 및 방송 시스템 | |
KR102256350B1 (ko) | 수신 장치, 및 송신 장치, 및 데이터 처리 방법 | |
US6557171B1 (en) | Digital tv broadcast sending apparatus, digital tv broadcast receiving apparatus, and digital tv broadcast sending / receiving system which facilitate preselection of tv programs, and computer readable recording medium storing a program for achieving a function of the digital tv broadcast receiving apparatus | |
KR100782835B1 (ko) | 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치 | |
US20140237536A1 (en) | Method of displaying contents, method of synchronizing contents, and method and device for displaying broadcast contents | |
JP7031589B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP6384119B2 (ja) | 受信装置、および送信装置、並びにデータ処理方法 | |
CN103491430B (zh) | 流媒体数据处理方法和电子设备 | |
JP5713140B1 (ja) | 受信装置、およびデータ処理方法 | |
US20130209063A1 (en) | Digital receiver and content processing method in digital receiver | |
JP2002152688A (ja) | デジタル放送記録再生装置 | |
JP5874870B1 (ja) | 受信装置、および送信装置、並びにデータ処理方法 | |
JP5316542B2 (ja) | デジタル放送方法およびデータ受信装置 | |
JP5316543B2 (ja) | データ伝送装置およびデータ受信装置 | |
JP5672409B1 (ja) | 受信装置、およびデータ処理方法 | |
JP5713142B1 (ja) | 受信装置、およびデータ処理方法 | |
JP5713141B1 (ja) | 受信装置、およびデータ処理方法 | |
JP5672411B1 (ja) | 受信装置、およびデータ処理方法 | |
JP2000013759A (ja) | 情報送信装置および方法、情報受信装置および方法、並びに提供媒体 | |
JP2016116032A (ja) | 受信装置、放送システム、受信方法及びプログラム | |
JP2016165123A (ja) | 信号処理装置及びプログラム | |
JP5672410B1 (ja) | 受信装置、およびデータ処理方法 | |
JP2013157919A (ja) | 受信装置、受信方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20151215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5874870 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |