JP6444015B1 - 送信装置および受信装置、ならびにプログラム - Google Patents

送信装置および受信装置、ならびにプログラム Download PDF

Info

Publication number
JP6444015B1
JP6444015B1 JP2018188542A JP2018188542A JP6444015B1 JP 6444015 B1 JP6444015 B1 JP 6444015B1 JP 2018188542 A JP2018188542 A JP 2018188542A JP 2018188542 A JP2018188542 A JP 2018188542A JP 6444015 B1 JP6444015 B1 JP 6444015B1
Authority
JP
Japan
Prior art keywords
text
unit
data
processing unit
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018188542A
Other languages
English (en)
Other versions
JP2019033512A (ja
Inventor
馬場 秋継
秋継 馬場
俊二 砂崎
俊二 砂崎
洋一 所
洋一 所
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2014113439 priority Critical
Priority to JP2014113439 priority
Application filed by 日本放送協会 filed Critical 日本放送協会
Application granted granted Critical
Publication of JP6444015B1 publication Critical patent/JP6444015B1/ja
Publication of JP2019033512A publication Critical patent/JP2019033512A/ja
Application status is Active legal-status Critical

Links

Images

Abstract

【課題】適切なタイミングでタイムドテキストを伝送することのできる、送信装置および受信装置、ならびにそれらのプログラムを提供する。
【解決手段】送信装置において、テキスト設定部は、提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後の前記タイムドテキストデータをMMT伝送方式における一つのメディアプロセッシングユニットに格納し、前記提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成する。多重化部は、前記テキスト設定部が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する。
そして、送信部は、前記多重化部によって多重化して得られた配信データを送出する。
【選択図】図1

Description

本発明は、送信装置および受信装置、ならびにそれらのプログラムに関する。特に、テレビ放送の、送信装置、受信装置、プログラムに関する。

テレビ放送における字幕テキスト等のデータは、テキストそのものと、そのテキストを視聴者側で提示するタイミングの情報とを含むものである。このような提示タイミングが指定されたテキストデータを、タイムドテキスト(timed text)、またはタイムドテキストデータと呼ぶ。このような提示タイミングに関する指定を伴うテキストの表現方法の一つとして、TTML(Timed Text Markup Language,タイムドテキストマークアップ言語)がある。TTMLを用いることにより、テキストの表示に関して、表示タイミングや、表示レイアウト属性(表示位置など)を指定して記述することができる。デジタルテレビ放送における、字幕テキストやその他のスーパーインポーズなどの情報を伝送するためにこのTTMLを利用することも検討されている。なお、字幕テキストは、例えば、放送コンテンツにおける音声発話の内容を、音声発話と同じ言語やあるいは異なる言語で表示するために用いられる。

非特許文献1には、TTMLについての規定が記載されている。その第8章にはスタイリング(文字のフォントを含む)について記載されている。また第9章にはレイアウトについて記載されている。また第10章にはタイミングについて記載されている。

「Timed Text Markup Language 1 (TTML1) (Second Edition) W3C Recommendation 24 September 2013」,[online],2013年9月24日,World Wide Web Consortium(W3C),[平成26年(西暦2014年)5月25日検索],インターネット<URL: http://www.w3.org/TR/ttaf1-dfxp/ >

非特許文献1は、TTMLデータそのものに関する規約を定めるものであるため、データ形式について記載されているが、そのデータを伝送する手順等については記載されていない。従来技術では、映像コンテンツの字幕等のタイムドテキストをTTMLで記述して伝送する場合には、コンテンツ全体についてのタイムドテキスト(例えば、1時間の映像コンテンツであれば、1時間分の映像に対応するタイムドテキスト)を予め伝送していた。

しかしながら、そのような従来技術による方法では、受信装置側で蓄積しなければならないタイムドテキストのデータ量が膨大になり、必要となるメモリ等の資源が多くなってしまうという問題がある。また、コンテンツ全体についてのタイムドテキストを予め伝送するために、例えば、番組開始前に充分な時間の余裕をもってタイムドテキストの伝送を行わなければならないという問題がある。また、放送の場合には、番組の途中から受信装置の電源がオンされる場合もあり、そのような場合にもタイムドテキストを遅滞なく伝送することは技術的な困難を伴う。

本発明は、上記の課題認識に基づいて行なわれたものであり、放送等において、適切なタイミングでタイムドテキストを伝送することのできる、送信装置および受信装置、ならびにそれらのプログラムを提供するものである。

また、本発明のさらなる課題は、上記のタイムドテキストの伝送において、画像、音声、ウェブフォントなどを組み合わせた字幕データあるいは文字スーパーのデータを確実に表示させるための、送信装置および受信装置、ならびにそれらのプログラムを提供することである。

[1]上記の課題を解決するため、本発明の一態様による送信装置は、提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後の前記タイムドテキストデータをMMT伝送方式における一つのメディアプロセッシングユニットに格納し、前記提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成するテキスト設定部と、前記テキスト設定部が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する多重化部と、前記多重化部によって多重化して得られた配信データを送出する送信部と、を具備することを特徴とする。

[2]また、本発明の一態様は、上記の送信装置において、前記テキスト設定部は、分割後の前記タイムドテキストデータと、当該分割後の前記タイムドテキストデータから参照されるリソースファイルとの各々を、同一のメディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納することによって前記テキストアセットを生成する、ことを特徴とする。

[3]また、本発明の一態様は、上記の送信装置において、前記テキスト設定部は、あるメディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、前記テキストアセットを生成する、ことを特徴とする。

[4]また、本発明の一態様は、上記の送信装置において、前記テキスト設定部は、あるメディアプロセッシングユニット内における各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、前記テキストアセットを生成する、ことを特徴とする。

[5]そして、本発明の一態様による受信装置は、外部から配信データを含む信号を受信する受信部と、前記受信部が受信した前記配信データから、MMT伝送方式における一連のメディアプロセッシングユニットとして成るテキストアセットを分離する分離部と、
前記分離部によって分離された前記テキストアセットから前記メディアプロセッシングユニットを順次抽出し、前記メディアプロセッシングユニットに含まれるタイムドテキストデータを抽出するテキスト処理部と、前記テキスト処理部によって抽出された前記タイムドテキストデータから提示タイミングの情報を取得するとともに、前記タイムドテキストデータに含まれるテキストを前記提示タイミングの情報にしたがうタイミングで提示するよう制御する提示制御部と、を具備することを特徴とする。

[6]また、本発明の一態様は、上記の受信装置において、前記テキストアセットは、複数の提示タイミンググループに分割された結果として得られた前記提示タイミンググループごとのメディアプロセッシングユニットから成り、前記メディアプロセッシングユニットは、分割後の前記タイムドテキストデータと、当該分割後の前記タイムドテキストデータから参照されるリソースファイルとの各々を、当該メディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納して成るものであり、前記テキスト処理部は、前記メディアプロセッシングユニット内の前記タイムドテキストデータおよび前記リソースファイルを抽出し、前記提示制御部は、前記テキスト処理部によって抽出された前記タイムドテキストと前記リソースファイルに基づいて提示用のレイアウトを生成し、前記提示タイミングの情報にしたがうタイミングで提示する、ことを特徴とする。

[7]また、本発明の一態様は、上記の受信装置において、前記テキスト処理部が抽出した前記リソースファイルを、当該リソースファイルが属するメディアプロッシングユニットの処理の間、一時的に蓄積するとともに、当該メディアプロッシングユニットの処理の終了後には一時的に蓄積した前記リソースファイルを消去するリソース一時蓄積部、をさらに具備することを特徴とする。

[8]また、本発明の一態様は、上記の受信装置において、前記テキスト処理部が前記リソースファイルのうちの少なくとも一つの抽出に失敗したときには、前記提示制御部は、前記タイムドテキストと、抽出に失敗しなかった前記リソースファイルとに基づいて、提示用のレイアウトを生成する、ことを特徴とする。

[9]また、本発明の一態様は、上記の受信装置において、前記テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを格納しており、前記テキスト処理部は、前記メディアプロセッシングユニットを処理する際に、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数と、当該メディアプロセッシングユニット内における受信済みのメディアフラグメントユニットの数とに基づいて、当該メディアプロセッシングユニットにおける全てのメディアフラグメントユニットの受信を完了したか否かを判定し、前記提示制御部は、前記テキスト処理部による判定の結果に基づき、当該メディアプロセッシングユニット内の全てのメディアフラグメントユニットの受信が完了している場合に提示用のレイアウトを生成する、ことを特徴とする。

[10]また、本発明の一態様は、上記の受信装置において、前記テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを格納しているものであり、前記テキスト処理部は、前記メディアプロセッシングユニットにおける前記所定のメディアフラグメントユニットを取得した際に、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについてメディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを参照することによって、当該メディアプロセッシングユニットに含まれる全てのメディアフラグメントユニットに含まれるファイルを処理するために必要な計算資源を確保する処理を行う、ことを特徴とする。

[11]また、本発明の一態様は、提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後の前記タイムドテキストデータをMMT伝送方式における一つのメディアプロセッシングユニットに格納し、前記提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成するテキスト設定手段、前記テキスト設定手段が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する多重化手段、としてコンピューターを機能させるプログラムである。

[12]また、本発明の一態様は、受信手段が受信した配信データから、MMT伝送方式における一連のメディアプロセッシングユニットとして成るテキストアセットを分離する分離手段、前記分離手段によって分離された前記テキストアセットから前記メディアプロセッシングユニットを順次抽出し、前記メディアプロセッシングユニットに含まれるタイムドテキストデータを抽出するテキスト処理手段、前記テキスト処理手段によって抽出された前記タイムドテキストデータから提示タイミングの情報を取得するとともに、前記タイムドテキストデータに含まれるテキストを前記提示タイミングの情報にしたがうタイミングで提示するよう制御する提示制御手段、としてコンピューターを機能させるプログラムである。

本発明によれば、映像等のコンテンツに付随するタイムドテキストを、提示タイミングのグループごとに分割して、適切なタイミングで伝送することができる。つまり、コンテンツ全体に対応するタイムドテキストをまとめて予め伝送する必要がない。
また、タイムドテキストから参照されるリソースファイル等を確実に伝送し、提示することができる。

本発明の実施形態による送信装置および受信装置の各々の概略機能構成を示すブロック図である。 同実施形態による送信装置から受信装置へ伝送される、字幕等のタイムドテキストを伝送するためのデータ構成(アセットの構成)を示す概略図である。 同実施形態による送信装置から受信装置へ伝送される、字幕伝送アセット内の各MFUにおける、字幕サンプルヘッダーのデータ構成を示す概略図である。 同実施形態による字幕サンプルヘッダーにおける、データタイプの値とその意味を示す概略図である。

次に、図面を参照しながら、本発明の実施形態について説明する。
図1は、本実施形態における送信装置および受信装置の各々の概略機能構成を示すブロック図である。なお、テレビ放送システムにおいて、実際には受信装置2は多数存在するが、本図では便宜上1台の受信装置のみを示している。
図示するように、送信装置1は、送信部11と、多重化部12と、映像・音声設定部14と、テキスト設定部15とを含んで構成される。また、受信装置2は、受信部21と、分離部22と、映像・音声処理部24と、テキスト処理部25と、リソース一時蓄積部26と、テキスト提示制御部27と、合成表示・出力部28とを含んで構成される。
なお、送信装置1および受信装置2は、テレビ放送の信号をそれぞれ送受信するものである。テレビ放送の信号の送受信のためには、テキストアセットだけではなく、映像や音声や制御情報などの処理のための機能を各装置は有するが、ここでは、本発明に直接関係する機能のみについて説明し、その他の機能については説明を省略する。

まず送信装置1内の各部の機能から説明する。
送信部11は、多重化部12によって多重化して得られた配信データを変調して放送信号として送出するものである。送信部11は、電波(地上波や放送衛星波)あるいはテレビ用ケーブルにより、放送信号を送信する。
多重化部12は、テキスト設定部15が生成したテキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する。多重化部12は、MMT(MPEG Media Transport)伝送方式による多重化を行う。具体的には、多重化部12は、テキストアセットとともに、映像・音声設定部14によって生成される映像アセットや音声アセットを多重化し、配信データを生成する。ここで、テキストアセットとは、字幕アセットや文字スーパーアセットである。
映像・音声設定部14は、供給される映像信号や音声信号を取得し、符号化し、それぞれ、映像アセットや音声アセットのコンテンツデータとして生成する。映像や音声はストリーム型のデータであり、これらを総称してストリーム型コンテンツデータと呼ぶ。

テキスト設定部15は、提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後のタイムドテキストデータをMMT伝送方式における一つのメディアプロセッシングユニットに格納し、提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成する。

ここで、テキストアセットとは、字幕アセットあるいは文字スーパーアセットである。
タイムドテキストデータは、受信機側の提示のタイミング(年月日、時分秒など)の情報を含んでいる。提示タイミンググループとは、1つまたはそれ以上の提示タイミングの集合である。提示タイミンググループが複数の提示タイミングを含むとき、それらは、隣接するタイミングの一群である。
なお、テキストアセットの内部のデータ構成については後で図面を参照しながら詳述する。

テキスト設定部15は、また、分割後のタイムドテキストデータと、当該分割後のタイムドテキストデータから参照されるリソースファイルとの各々を、同一のメディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納することによってテキストアセットを生成する。

テキスト設定部15は、また、あるメディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、テキストアセットを生成する。具体的には、テキスト設定部15は、メディアプロセッシングユニット内の先頭のメディアフラグメントユニットにおけるヘッダー部分に、その総数を表すデータを格納する。

テキスト設定部15は、また、あるメディアプロセッシングユニット内における各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、テキストアセットを生成する。具体的には、テキスト設定部15は、メディアプロセッシングユニット内の先頭のメディアフラグメントユニットにおけるヘッダー部分に、後続する各メディアフラグメントユニットが格納するファイルのデータタイプとデータサイズ(バイト数)の情報を格納する。この情報は、テキストアセットを受信する受信装置側では、すべてのメディアフラグメントユニットのデータの処理のためのヒント情報となり得る。つまり、受信装置側ではヒント情報に基づいて、リソースファイルを処理するための計算資源(受信機側における、メモリやコンピューター処理の資源)を準備することができる。
なお、テキスト設定部15は、ヒント情報の格納を省略するようにしても良い。

送信装置1から送出された放送信号は、電波(地上波や放送衛星波)により、あるいはケーブルにより、多数の受信装置2に伝送される。

次に、受信装置2内の各部の機能について説明する。
受信部21は、外部から放送信号を受信する。この放送信号には、送信装置1によって送信された配信データが含まれている。受信部21は、受信した放送信号を復調する。
分離部22は、受信部21が受信した配信データから、MMT伝送方式における一連のメディアプロセッシングユニットとして成るテキストアセットを分離する。また、分離部22は、配信データから、映像アセットや音声アセットなどを分離する。
映像・音声処理部24は、分離部22によって分離された映像アセットや音声アセットをそれぞれ復号し、映像信号および音声信号を生成する。映像・音声処理部24は、同時に、映像および音声の提示タイミングに関する情報を、それぞれ、映像アセットおよび音声アセットから抽出する。

テキスト処理部25は、分離部22によって分離されたテキストアセットからメディアプロセッシングユニットを順次抽出し、メディアプロセッシングユニットに含まれるタイムドテキストデータを抽出する。
テキスト提示制御部27は、テキスト処理部25によって抽出されたタイムドテキストデータから提示タイミングの情報を取得するとともに、そのタイムドテキストデータに含まれるテキストを指定された提示タイミングで提示するよう制御する。なお、テキスト提示制御部27は、テキストを、指示されたレイアウトに従って配置する。テキストアセットは、後述するように、画像のリソースファイルや、音声のリソースファイルや、フォントファイルを含んでいる場合があり、テキスト提示制御部27は、これらの各リソースをも統合してレイアウトする。
なお、受信機側の表示画面において、字幕プレーンと文字スーパープレーンとは別のプレーンである。したがって、テキスト提示制御部27は、字幕アセットとして取得したテキストについては字幕プレーンにおいて提示するようにし、文字スーパーアセットとして取得したテキストについては文字スーパープレーンにおいて提示するようにする。つまり、テキスト提示制御部27は、これら両プレーンを互いに独立に制御する。
合成表示・出力部28は、テキスト提示制御部27によって出力される字幕プレーンおよび文字スーパープレーンと、映像・音声処理部24から出力される映像プレーンとを合成して画面を表示するとともに、映像・音声処理部24から渡される音声を出力する。

なお、テキストアセットは、複数の提示タイミンググループに分割された結果として得られた提示タイミンググループごとのメディアプロセッシングユニットから成る。また、メディアプロセッシングユニットは、分割後のタイムドテキストデータと、当該分割後のタイムドテキストデータから参照されるリソースファイルとの各々を、当該メディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納して成るものである。
テキスト処理部25は、メディアプロセッシングユニット内のタイムドテキストデータおよび単数または複数のリソースファイルを抽出する。なお、テキスト処理部25は、抽出したリソースファイルをリソース一時蓄積部26に一時的に記憶させる。
リソース一時蓄積部26は、抽出されたリソースファイルを一時的に記憶する。つまり、リソース一時蓄積部26は、いわゆるキャッシュメモリの役割を果たす。本実施形態では、リソースファイルが参照されるのは1つのメディアプロセッシングユニットの範囲内においてのみである。したがって、あるメディアプロセッシングユニットの処理が完了して、次の新たなメディアプロセッシングユニットの受信および処理に移る際には、リソース一時蓄積部26の内容は一旦消去される。つまり、あるメディアプロセッシングユニットから次のメディアプロセッシングユニットの処理に移る段階で、リソース一時蓄積部26の内容を毎回クリアすることができる。即ち、本実施形態が複数のメディアプロセッシングユニット(各々は提示タイミングのグループに対応)に分割してタイムドテキストを伝送する方式をとっているため、リソースファイルを蓄積するメモリの容量が最小限で済む。
つまり、リソース一時蓄積部26は、テキスト処理部25が抽出したリソースファイルを、当該リソースファイルが属するメディアプロッシングユニットの処理の間、一時的に蓄積するとともに、当該メディアプロッシングユニットの処理の終了後には一時的に蓄積したリソースファイルを消去するものである。
そして、テキスト提示制御部27は、テキスト処理部25によって抽出されたタイムドテキストとリソースファイルに基づいて提示用のレイアウトを生成し、提示タイミングの情報にしたがうタイミングで提示するよう制御する。

テキスト処理部25がリソースファイルのうちの少なくとも一つの抽出に失敗したときには、テキスト提示制御部27は、タイムドテキストと、抽出に失敗しなかったリソースファイルとに基づいて、提示用のレイアウトを生成する。
つまり、伝送におけるメディアフラグメントユニットの単位と、論理的なファイル(タイムドテキストデータのファイルおよび画像や音声やフォントなどのリソースファイル)の単位とを一致させる。これにより、仮に一部のメディアフラグメントユニットの受信に失敗した場合にも、他のメディアフラグメントユニット(即ち他の論理的なファイル)への影響を及ぼすことなく、字幕や文字スーパーの提示を行うことができるようになる。

また、テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを格納している。
テキスト処理部25は、メディアプロセッシングユニットを処理する際に、当該メディアプロセッシングユニット内におけるメディアフラグメントユニットの総数と、当該メディアプロセッシングユニット内における受信済みのメディアフラグメントユニットの数とに基づいて、当該メディアプロセッシングユニットにおける全てのメディアフラグメントユニットの受信を完了したか否かを判定する。なお、メディアプロセッシングユニット内におけるメディアフラグメントユニットの連番を付与して、メディアフラグメントユニット内に格納することにより、テキスト処理部25は、受信したメディアフラグメントユニットが、当該メディアプロセッシングユニットにおける何番目のものであるかを知ることができる。
テキスト提示制御部27は、テキスト処理部25による判定の結果に基づき、当該メディアプロセッシングユニット内の全てのメディアフラグメントユニットの受信が完了している場合に提示用のレイアウトの生成を開始することができる。

また、テキストアセット内のメディアプロセッシングユニットにおける所定のメディアフラグメントユニットは、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについて、メディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを格納しているものである。
テキスト処理部25は、メディアプロセッシングユニットにおける所定のメディアフラグメントユニットを取得した際に、当該メディアプロセッシングユニットにおける各々のメディアフラグメントユニットについてメディアフラグメントユニットが格納するファイルのデータタイプおよびデータサイズを表すデータを参照することによって、当該メディアプロセッシングユニットに含まれる全てのメディアフラグメントユニットに含まれるファイルを処理するために必要な計算資源(メモリやCPU)を確保する処理を行う。
具体的には、メディアプロセッシングユニット内の先頭のメディアフラグメントユニットのヘッダー部分に後続する各メディアフラグメントユニットのデータタイプおよびデータ長の情報を格納することにより、テキスト処理部は、そのメディアフラグメントユニットを受けた段階で、予め、計算資源の確保を行っておくことができる。

次に、伝送されるデータについて説明する。
図2は、字幕等のタイムドテキストを伝送するためのデータ構成(アセットの構成)を示す概略図である。本実施形態では、送信装置1は、映像や音声やテキストなどからなるテレビの放送信号をMMT(MPEG Multimedia Transport)方式で多重化して送信する。
同図では、字幕アセットの例を示しているが、文字スーパー(文字によるスーパーインポーズ)アセットの場合も同様である。映像アセットや、音声アセットや、字幕アセットや、文字スーパーアセットなどが、ひとつのパッケージを構成する。あるパッケージ内における各アセットの所在は、MPテーブル(MMTパッケージテーブル;不図示)において指し示される。

図示するように、字幕アセットは、複数のMPU(Media Processing Unit,メディアプロセッシングユニット,メディア処理ユニット)の時系列として構成される。各MPUは、複数のMFU(Media Fragment Unit,メディアフラグメントユニット,メディア断片ユニット)に分割して伝送することができる。ここで、MFUへの分割のしかたは一般的には任意であるが、本実施形態では、TTML文書や、TTML文書から参照される画像ファイル、音声ファイル、フォントファイルなど、これらの論理的なファイルの単位を、MFUの単位と一致させる。また、各MPU内における先頭のMFUは、TTML文書ファイルとする。つまり、1つのMPUは、1つのTTML文書ファイル(1つ目のMFU)と、そのTTML文書から参照するリソース(画像ファイル、音声ファイル、動画ファイル、フォントファイル等であり、各々のファイルがMFUに相当)から成る。但し、TTML文書から参照されるこれらのリソース数は、0個以上(0個であってもよい)である。なお、TTML文書の中には、TTMLの規約に基づく提示タイミングの情報が含まれる。1つのTTML文書内に、隣接する複数の提示タイミングが含まれていても良い。なお、1つのTTML文書内に複数の提示タイミングが含まれている場合にも、MPUは、それらのタイミングのうちの代表的タイミングの情報、例えば複数の提示タイミングのうち最初の提示タイミングをMUPタイムスタンプとして有することができる。上記のように、字幕伝送アセットに含まれる各MPUは、1つまたは複数の提示タイミングをもつTTML文書による字幕データとその関連データをカプセル化したものである。

また、本実施形態では、各MFUは、字幕サンプルヘッダーを有している。各MPUにおける1つ目のMFU(これは、TTML文書のMFUである)の字幕サンプルヘッダーには、当該MFUに関する情報だけではなく、当該MPU内の他のMFUに関する情報をも格納することができる。字幕サンプルヘッダーについては、図3を用いて説明する。

図3は、送信装置1が送信する字幕伝送アセット内の各MFUにおける、字幕サンプルヘッダーのデータ構成を示す概略図である。文字スーパーにおける各MFUのヘッダーも、同様のデータ構成を有する。同図では、データ構造と、そのデータ構造に含まれる各データ項目のビット数およびデータ表記を示している。同図では、データ構造は、ブロック構造を有する形式言語で表現されている。なお、データ表記における「uimsbf」は、「unsigned integer, most significant bit first」、即ち、符号なし整数であって最上位ビットが先頭であることを表す。また「bslbf」は、「bit string, left bit first」、即ち、ビット列であって左ビットが先頭であることを表す。

字幕サンプルヘッダー内の各フィールドについて以下に説明する。
(1)subtitle_tag (字幕識別タグ): 字幕や文字スーパーのストリームを識別するためのラベルである。
(2)subtitle_sequence_number (字幕シーケンス番号): 当該字幕アセット中で送る字幕データ全体のシーケンス番号を示す。同一MPU内において共通の番号が格納される。また、連続するMPU間で1ずつインクリメントされる。
(3)subsample_number (字幕データ番号): 当該MPUでの、字幕データ(subsample)の番号を昇順で表す。当該MPU中の最初のMFUで送られる字幕データの番号は「0」である。同一MPU内において連続するMFU間で1ずつインクリメントされる。
(4)last_subsample_number (最終字幕データ番号):当該MPUで送る、字幕データの最後のsubsample_numberを示す。
(5)data_type (データタイプ):本MFUで送る字幕データ(subsample)のデータタイプを示す。データタイプの種類とその値については、後述する。

(6)length_extension_flag (データ長拡張フラグ): 下に現れるデータ長のフィールドのビット数を拡張するか否かを示すフラグである。ビット数を拡張して32ビットとする(0から、4,294,967,295まで表現可能)場合にはその値は「1」、ビット数を拡張せずに16ビットとする(0から、65,535まで表現可能)場合にはその値は「0」とする。
(7)subsamples_info_flag (字幕データヒント情報フラグ):当該MPUで伝送する、全ての字幕データ(subsample)に関するヒント情報を記述するか否かを表すフラグ情報である。ヒント情報が含まれる場合には場合の値は「1」、含まれない場合の値は「0」とする。

(8)data_size (データサイズ):当該MFUで送る字幕データのサイズ(バイト数)を示す。
(9)subsample_i_content_type (i番目字幕データタイプ):i番目の字幕データ(MFU)のデータタイプを示す。データ型の種類とその値については、後述する。
(10)subsample_i_data_size (i番目字幕データサイズ):i番目の字幕データ(MFU)のサイズを示す。
(11)data_byte (データバイト):当該MFUの字幕データのデータバイトである。

なお、当該MFUの字幕データ番号が「0」(即ち、先頭のMFU)であって、且つ(4)の最終字幕データ番号が0より大きく(即ち、TTML文書から参照されるリソースファイルのMFUが1個以上存在し)、且つ(7)の字幕データヒント情報フラグが「1」である場合に、そしてその場合にのみ、(9)のi番目字幕データタイプと(10)のi番目字幕データサイズのペアのループは存在する。
また、(6)のデータ長拡張フラグは、(8)のデータサイズと(10)のi番目字幕データサイズの、両方のビット数に対して効く。

図4は、上述した字幕サンプルヘッダーにおける、データタイプ(図3におけるデータ構造の第6行)およびi番目字幕データタイプ(図3におけるデータ構造の第19行)の値とその意味を示す概略図である。なお、データタイプはビット列表現である。
データタイプの値が「0000」であるとき、そのMFUは、ARIB−TTMLの文書ファイルを格納している。ARIB−TTMLは、TTMLの規格の一つである。
データタイプの値が「0001」であるとき、そのMFUは、PNG(Portable Network Graphics)形式の画像ファイルを格納している。
データタイプの値が「0010」であるとき、そのMFUは、SVG(Scalable Vector Graphics)形式の画像ファイルを格納している。
データタイプの値が「0011」であるとき、そのMFUは、PCM(AIFF−C)形式の音声ファイルを格納している。PCMは、パルスコード変調を表す。AIFFは、Audio Interchange File Formatの略である。
データタイプの値が「0100」であるとき、そのMFUは、MP3(MPEG-1 Audio Layer-3)形式の音声ファイルを格納している。
データタイプの値が「0101」であるとき、そのMFUは、MPEG−4 AAC(Advanced Audio Coding,先進的音響符号化)形式の音声ファイルを格納している。なお、MPEGは、Moving Picture Experts Groupの略である。
データタイプの値が「0110」であるとき、そのMFUは、SVG(Scalable Vector Graphics)形式のフォントファイルを格納している。SVGは、ベクターフォントの一種である。
データタイプの値が「0111」であるとき、そのMFUは、WOFF(Web Open Font Format)形式のフォントファイルを格納している。
データタイプの値の「1000」から「1111」までの値は、将来の使用のためにリザーブされている。

なお、上述した実施形態における送信装置、受信装置の機能の少なくとも一部をコンピューターで実現するようにしても良い。その場合、これらの機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上説明した本実施形態の構成によれば、MMTによる伝送において、画像や音声、ウェブフォントなどを組み合わせた字幕あるいは文字スーパーを確実に表示させることができるようになる。

また、本実施形態の構成によれば、メディアを意識してMFUを構成し、つまり、論理的なファイル(TTMLファイルやリソースファイル)の単位とMFU単位とを一致させて伝送するようにしていることで、パケットロスのような伝送品質低下が発生したときの誤りの伝搬を抑えることが可能である。例えば、画像ファイルの部分のMFUがロスしても、最低限、字幕テキストの文字は表示可能であるなどといった、耐障害性が得られる。

また、本実施形態の構成によれば、subsample_number(MPU内における当該MFU(受信中のMFU)の通し番号)とlast_subsample_number(MPU内におけるMFUの総数の情報)を、各MFUのヘッダー内に入れるようにしたことで、当該MFUがMPU中の最後のMFUかどうかを判別でき、これにより全てのデータが揃ったタイミングで確実に字幕の提示ができる。なお、仮にこのヒント情報がないと、MPUのデータが揃ったかどうかわからず、タイムリーな提示ができない。

また、本実施形態の構成によれば、最初のMFUにつける字幕サンプルヘッダー中に、後続のMFUに入る字幕情報に関する情報(データタイプおよびデータサイズ)を入れることで、受信機が予めメモリを確保するなどの準備ができるようになる。

以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
例えば、本発明をテレビ放送以外に適用しても良い。テレビ放送に限らず、MMT伝送方式を用いてストリーム型コンテンツおよびタイムドテキストを配信するサービス(例えば、インターネットを利用したコンテンツ配信サービス)等において、上述の実施形態と同様の構成を適用することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、例えば、テレビ放送のためのシステム(送信装置や受信装置)のために利用可能である。また、本発明は、テレビ放送に限らず、タイムドテキストを伴ったストリーム型のコンテンツを配信するためのシステムのために利用可能である。

1 送信装置
2 受信装置
11 送信部
12 多重化部
14 映像・音声設定部
15 テキスト設定部
21 受信部
22 分離部
24 映像・音声処理部
25 テキスト処理部
26 リソース一時蓄積部
27 テキスト提示制御部
28 合成表示・出力部

Claims (2)

  1. 提示タイミングが指定されたタイムドテキストデータを複数の提示タイミンググループに分割するとともに、分割後の前記タイムドテキストデータをMMT伝送方式における一つのメディアプロセッシングユニットに格納し、前記提示タイミンググループごとの複数のメディアプロセッシングユニットから成るテキストアセットを生成するテキスト設定部と、
    前記テキスト設定部が生成した前記テキストアセットを少なくとも含むコンテンツデータを多重化して配信データを生成する多重化部と、
    前記多重化部によって多重化して得られた配信データを送出する送信部と、
    を具備し、
    前記テキスト設定部は、分割後の前記タイムドテキストデータと、当該分割後の前記タイムドテキストデータから参照されるリソースファイルとの各々を、同一のメディアプロセッシングユニット内の、別のメディアフラグメントユニットにそれぞれ格納することによって前記テキストアセットを生成し、
    前記テキスト設定部は、あるメディアプロセッシングユニット内におけるメディアフラグメントユニットの総数を表すデータを、当該メディアプロセッシングユニット内における所定のメディアフラグメントユニット内に格納して、前記テキストアセットを生成する、
    ことを特徴とする送信装置。
  2. コンピューターを、請求項1に記載の送信装置として機能させるためのプログラム。
JP2018188542A 2014-05-30 2018-10-03 送信装置および受信装置、ならびにプログラム Active JP6444015B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014113439 2014-05-30
JP2014113439 2014-05-30

Publications (2)

Publication Number Publication Date
JP6444015B1 true JP6444015B1 (ja) 2018-12-26
JP2019033512A JP2019033512A (ja) 2019-02-28

Family

ID=55225176

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015108638A Active JP6416698B2 (ja) 2014-05-30 2015-05-28 送信装置および受信装置、ならびにプログラム
JP2018188543A Active JP6444016B1 (ja) 2014-05-30 2018-10-03 送信装置および受信装置、ならびにプログラム
JP2018188542A Active JP6444015B1 (ja) 2014-05-30 2018-10-03 送信装置および受信装置、ならびにプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015108638A Active JP6416698B2 (ja) 2014-05-30 2015-05-28 送信装置および受信装置、ならびにプログラム
JP2018188543A Active JP6444016B1 (ja) 2014-05-30 2018-10-03 送信装置および受信装置、ならびにプログラム

Country Status (1)

Country Link
JP (3) JP6416698B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108702529A (zh) * 2016-01-19 2018-10-23 索尼公司 发送设备、发送方法、接收设备和接收方法
GB2557194A (en) * 2016-11-29 2018-06-20 Sony Corp A decoder, encoder, computer program and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238147A (ja) * 2005-02-25 2006-09-07 Toshiba Corp コンテンツ再生装置、字幕再生方法及びプログラム
US20120272281A1 (en) * 2011-04-22 2012-10-25 Samsung Electronics Co., Ltd. Method and apparatus for transmitting media data, and method and apparatus for receving media data
JP2015216524A (ja) * 2014-05-12 2015-12-03 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
JP2015220517A (ja) * 2014-05-15 2015-12-07 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238147A (ja) * 2005-02-25 2006-09-07 Toshiba Corp コンテンツ再生装置、字幕再生方法及びプログラム
US20120272281A1 (en) * 2011-04-22 2012-10-25 Samsung Electronics Co., Ltd. Method and apparatus for transmitting media data, and method and apparatus for receving media data
JP2015216524A (ja) * 2014-05-12 2015-12-03 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
JP2015220517A (ja) * 2014-05-15 2015-12-07 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
デジタル放送におけるデータ放送符号化方式と伝送方式 ARIB STD−B24, vol. 5.6版(第一分冊), JPN6014055286, 25 September 2012 (2012-09-25), JP, pages p.170−180 *
青木 秀一: "スーパーハイビジョンの放送に向けたメディアトランスポート技術MMT", 情報処理学会 研究報告 オーディオビジュアル複合情報処理(AVM)2013−AVM−083,[ONLI, vol. No.30, JPN6018014164, 28 November 2013 (2013-11-28), JP *

Also Published As

Publication number Publication date
JP2019009818A (ja) 2019-01-17
JP2019033512A (ja) 2019-02-28
JP6416698B2 (ja) 2018-10-31
JP6444016B1 (ja) 2018-12-26
JP2016006958A (ja) 2016-01-14

Similar Documents

Publication Publication Date Title
US10009131B2 (en) Transmitting device, transmitting method, receiving device, receiving method, program, and broadcasting system
US9271038B2 (en) Receiving device, receiving method, providing device, providing method, programs, and broadcasting system
CN202663513U (zh) 接收器、发送器、及广播系统
JP5963373B2 (ja) ストリーミングメディアのモニタリング
CN103329562B (zh) 接收装置、接收方法、提供装置、提供方法和广播系统
US20060107195A1 (en) Methods and apparatus to present survey information
US20190007718A1 (en) Method and apparatus for decoding metadata including multiple segments of an audiovisual stream
JP5668512B2 (ja) 情報処理装置、及び、情報処理方法
US7702996B2 (en) Apparatus and method for converting multimedia contents
CN104126308B (zh) 用于递送补充内容的方法、计算机可读存储介质和接收设备
US8776150B2 (en) Implementation method and system for a media-on-demand frame-spanning playing mode in a peer-to-peer network
CN100534170C (zh) 广播节目内容的检索及配送系统
DE112011104029B4 (de) Rundfunkdienst-Sendeverfahren, Rundfunkdienst-Empfangsverfahren und Rundfunkdienst- Empfangsgerät
CN103210660A (zh) 接收设备、接收方法、程序和广播系统
US20060267986A1 (en) Method and apparatus for transmitting and receiving partial font file
CN104683827A (zh) 提供与主要广播媒体内容关联的辅助内容的方法和装置
WO2012106271A1 (en) Stitching advertisements into a manifest file for streaming video
KR101147736B1 (ko) 디지털 데이터 방송 방법 및 장치
CN104756505A (zh) 用于过顶实况媒体递送中的广告插入的方法和系统
CN103650525A (zh) 用于交互式电视的触发参数表的扩展
CN1441929A (zh) 传送多媒体描述
JP2007528144A (ja) マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置
CN1300399A (zh) 发送和接收设备、发送和接收系统、发送和接收方法
JP4430036B2 (ja) 拡張型字幕ファイルを用いて付加情報を提供する装置及び方法
CN1266518A (zh) 数字数据发送接收系统及其方法

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181003

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181126

R150 Certificate of patent or registration of utility model

Ref document number: 6444015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150