JPWO2013088986A1 - 受信装置及びその制御方法、配信装置及び配信方法、プログラム、並びに配信システム - Google Patents

受信装置及びその制御方法、配信装置及び配信方法、プログラム、並びに配信システム Download PDF

Info

Publication number
JPWO2013088986A1
JPWO2013088986A1 JP2012081308A JP2013549216A JPWO2013088986A1 JP WO2013088986 A1 JPWO2013088986 A1 JP WO2013088986A1 JP 2012081308 A JP2012081308 A JP 2012081308A JP 2013549216 A JP2013549216 A JP 2013549216A JP WO2013088986 A1 JPWO2013088986 A1 JP WO2013088986A1
Authority
JP
Japan
Prior art keywords
text information
display
content
distribution
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012081308A
Other languages
English (en)
Other versions
JP6122781B2 (ja
Inventor
義治 出葉
義治 出葉
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011275324 priority Critical
Priority to JP2011275324 priority
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to PCT/JP2012/081308 priority patent/WO2013088986A1/ja
Publication of JPWO2013088986A1 publication Critical patent/JPWO2013088986A1/ja
Application granted granted Critical
Publication of JP6122781B2 publication Critical patent/JP6122781B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Abstract

本技術は、フラグメント化されたテキスト情報の表示を継続することができるようにする受信装置及びその制御方法、配信装置及び配信方法、プログラム、並びに配信システムに関する。受信部は、IPTVサーバからライブ配信されるコンテンツのストリームを受信し、TTデコーダは、受信したストリームに含まれる字幕データに対応するフラグメント化されたテキスト情報を解析し、表示制御部は、TTデコーダによる解析結果に従って、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に、第1のテキスト情報の表示が継続されるように表示を制御する。本技術は、例えば、IPを利用してデジタルテレビ放送を配信するIPTVにおけるIPTVクライアントに適用することができる。

Description

本技術は、受信装置及びその制御方法、配信装置及び配信方法、プログラム、並びに配信システムに関し、特に、フラグメント化されたテキスト情報の表示を継続することができるようにした受信装置及びその制御方法、配信装置及び配信方法、プログラム、並びに配信システムに関する。

近年のインターネットの普及に伴い、例えばIP(Internet Protocol)を用いて動画配信を行うIPTV(Internet Protocol TeleVision)などのインターネットストリーミングに関するサービスが各種提供されている。インターネットストリーミングにおける標準化の流れとして、HTTP(HyperText Transfer Protocol)ストリーミングによるVOD(Video On Demand)ストリーミングや、ライブストリーミングに適用される方式の標準化が行われている。コンテナレイヤのフォーマットとしては、MP4ファイルフォーマットが有力視されている。

また、ストリームの構成要素として字幕データが格納されている場合、字幕データを格納したファイルを基に、字幕の表示が行われることになる(例えば、特許文献1参照)。

字幕(サブタイトル)の表示には、W3C(World Wide Web Consortium)により標準化されたTTML(Timed Text Markup Language)を利用するのが標準になりつつある。W3CのTTMLは、他の標準化団体でも採用が進んでおり、Timed Text系の有力なフォーマットとして注目されている。

TTMLは、XML(Extensible Markup Language)ドキュメントで処理に比較的時間がかかるといわれている。従って、それをライブストリーミングに適用する際には連続して短い時間に細切れに生成されるチャンク化されたTTMLドキュメントインスタンスをリアルタイム処理しなければならず、フォーマットや処理系に工夫が必要となる。そのため、現在、アダプティブストリーミングフォーマットの標準となりそうなDASH(Dynamic Adaptive Streaming over HTTP)や、ストリーミングの主要なファイルフォーマットであるMP4において、リアルタイム処理可能なようにTTMLを格納する方式が必須であると考えられている。

特開2009−301605号公報

TTMLは、その構造上、レイアウトやスタイルの属性を指定するイニシャライズドキュメントインスタンスと、表示される文字列からなるボディドキュメントインスタンスにタイプが分けられる。これは、TTMLの規格で、Informative Annexとして既に規定されている。

これら2種類の記述内容のTTMLドキュメントを1つのドキュメントとしてまとめて配信することも可能であるが、受信側でその都度、XMLドキュメント全体をパースしていては処理系のオーバヘッドがかかる可能性がある。TTMLのStyle属性やLayout属性等の表示形式に関する属性は、レンダリングコンテクスト初期化時に一度だけ受信側に通知すればよく、実際のTTMLのテキストチャンク(表示する文字列)は、レンダリングコンテクストの設定に必要な内容とは分離して、続けて通知することができる。

しかしながら、このように分離して送られるフラグメント化されたテキスト情報は、当該テキスト情報を表示中に、次のフラグメントが取得されると、表示を継続しておくことができない。特に、ライブ放送などでは、どのタイミングで、どの字幕に対応するテキスト情報が表示されるべきかをあらかじめ知ることができないため、現在表示中のテキスト情報の表示を継続させることができない。

そのため、フラグメント化されたテキスト情報の表示を継続するための技術方式の確立が求められている。

本技術はこのような状況に鑑みてなされたものであり、フラグメント化されたテキスト情報の表示を継続することができるようにするものである。

本技術の第1の側面の受信方法は、ライブ配信されるコンテンツのストリームを受信する受信部と、受信した前記ストリームに含まれる字幕データに対応するフラグメント化されたテキスト情報を解析する解析部と、解析結果に従って、前記テキスト情報のうち、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に、前記第1のテキスト情報の表示が継続されるように表示を制御する制御部とを備える。

前記テキスト情報は、その内容を記述した構造化文書と、前記構造化文書に適用される表示形式を定義した表示定義文書から構成され、前記第1のテキスト情報の内容を記述した第1の構造化文書には、前記第1のテキスト情報の表示開始を示す時刻が記述され、前記第2のテキスト情報の内容を記述した第2の構造化文書には、前記第1のテキスト情報の表示終了を示す時刻及び前記第2のテキスト情報の表示開始を示す時刻が記述されており、前記制御部は、解析結果に従って、前記第1の構造化文書に記述された前記第1のテキスト情報の表示開始を示す時刻に応じて、前記第1のテキスト情報の表示を開始した後、前記第2の構造化文書に記述された前記第1のテキスト情報の表示終了を示す時刻に応じて、表示中の前記第1のテキスト情報の表示を終了する。

前記第2の構造化文書に記述された前記第2のテキスト情報の表示開始を示す時刻は、前記第1のテキスト情報の表示終了を示す時刻よりも時間的に先となり、前記制御部は、解析結果に従って、前記第2の構造化文書に記述された前記第2のテキスト情報の表示開始を示す時刻に応じて、前記第2のテキスト情報の表示を開始する。

前記第2の構造化文書には、前記第2のテキスト情報の表示終了を示す時刻がさらに記述されており、前記制御部は、解析結果に従って、前記第2の構造化文書に記述された前記第2のテキスト情報の表示終了を示す時刻に応じて、前記第2のテキスト情報の表示を終了する。

前記第2の構造化文書に記述された前記第2のテキスト情報の表示終了を示す時刻は、前記第1のテキスト情報の表示終了を示す時刻よりも時間的に後となる。

前記表示定義文書は、その表示形式の定義内容が変更されるまで、同一のものが前記構造化文書に適用されるようになされる。

前記ストリームは、MP4ファイルフォーマットに準拠したフォーマットのデータであり、前記字幕データは、TTML(Timed Text Markup Language)の規格に準拠している。

本技術の第1の側面の制御方法及びプログラムは、前述した本技術の第1の側面の受信装置に対応する、制御方法及びプログラムである。

本技術の第1の側面の受信装置、制御方法、及びプログラムにおいては、ライブ配信されるコンテンツのストリームが受信され、受信されたストリームに含まれる字幕データに対応するフラグメント化されたテキスト情報が解析され、その解析結果に従って、テキスト情報のうち、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に、第1のテキスト情報の表示が継続されるように表示が制御される。

本技術の第2の側面の配信装置は、ライブ配信するためのコンテンツのストリームを生成するコンテンツ生成部と、前記コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に前記第1のテキスト情報の表示が継続されるようにフラグメント化された前記テキスト情報を取得するテキスト情報取得部と、前記字幕データを含む前記コンテンツのストリームをライブ配信する配信部とを備える。

本技術の第2の側面の配信方法及びプログラムは、前述した本技術の第2の側面の配信装置に対応する、配信方法及びプログラムである。

本技術の第2の側面の配信装置、配信方法、及びプログラムにおいては、ライブ配信するためのコンテンツのストリームが生成され、コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に第1のテキスト情報の表示が継続されるようにフラグメント化されたテキスト情報が取得され、字幕データを含むコンテンツのストリームがライブ配信される。

本技術の第3の側面の配信システムは、配信装置及び受信装置からなる配信システムにおいて、前記配信装置は、ライブ配信するためのコンテンツのストリームを生成するコンテンツ生成部と、前記コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に前記第1のテキスト情報の表示が継続されるようにフラグメント化された前記テキスト情報を取得するテキスト情報取得部と、前記字幕データを含む前記コンテンツのストリームをライブ配信する配信部とを備え、前記受信装置は、前記コンテンツのストリームを受信する受信部と、受信した前記ストリームに含まれる前記字幕データに対応するフラグメント化された前記テキスト情報を解析する解析部と、解析結果に従って、前記テキスト情報のうち、前記第2のテキスト情報を表示する場合に、前記第1のテキスト情報の表示が継続されるように表示を制御する制御部とを備える。

配信装置や受信装置は、独立した装置であってもよいし、1つの装置を構成するブロックであってもよい。

本技術の第3の側面の配信システムにおいては、配信装置によって、ライブ配信するためのコンテンツのストリームが生成され、コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に第1のテキスト情報の表示が継続されるようにフラグメント化されたテキスト情報が取得され、字幕データを含むコンテンツのストリームがライブ配信され、受信装置によって、コンテンツのストリームが受信され、受信したストリームに含まれる字幕データに対応するフラグメント化されたテキスト情報が解析され、その解析結果に従って、テキスト情報のうち、第2のテキスト情報を表示する場合に、第1のテキスト情報の表示が継続されるように表示が制御される。

本技術の第1の側面乃至第3の側面によれば、フラグメント化されたテキスト情報の表示を継続することができる。

TTMLの構成を示す図である。 MP4ファイルフォーマットにおけるBOXの構成を示す図である。 BOXの階層構造を示す図である。 MP4ファイルフォーマットを用いたストリーミングを示す図である。 Movieの構成を示す図である。 MovieにおけるBOX構造を示す図である。 Non-fragment Movieの構成を示す図である。 Fragmented Movieの構成を示す図である。 本技術の一実施の形態に係るストリーミング配信システムの構成例を示す図である。 IPTVクライアントにて映像に重畳表示されるサブタイトルを時系列に表した図である。 イニシャライズドキュメントインスタンスの記述例を示す図である。 ボディドキュメントインスタンスの記述例を示す図である。 サブタイトルの表示例を示す図である。 ボディドキュメントインスタンスの記述例を示す図である。 サブタイトルの表示例を示す図である。 サブタイトルの表示例を示す図である。 サブタイトルの表示例を示す図である。 ストリーミング配信処理を示すフローチャートである。 サブタイトルデータ挿入処理を示すフローチャートである。 コンテンツ再生処理を示すフローチャートである。 TTデコード処理を示すフローチャートである。 ボディドキュメントインスタンス処理を示すフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照しながら本技術の実施の形態について説明する。

最初に、TTMLについて説明する。TTMLは、W3Cによって規定されたマークアップ言語であり、テキストの表示位置(レイアウト)、表示のタイミングなどを指定することができる。

例えば、サーバからTTMLで記述された情報を伝送し、クライアントに解析させることにより、クライアントのディスプレイにおいて、指定された時刻に、指定された書体で、指定された領域に、所定の文字列を表示させることができる。このようにTTMLで記述された情報を用いれば、例えば、コンテンツの映像や音声と同期させて字幕(サブタイトル)を表示させることができる。

TTMLは、ドキュメントインスタンスと称されるテキストの集合体によって構成され、ドキュメントインスタンスは、主に2つのタイプに分類される。1つは、イニシャライズドキュメントインスタンス(Initialization Document Instance)と称される、ドキュメントインスタンスであり、例えば、サブタイトルとして表示される文字の色、フォント、表示位置などを指定する記述によって構成されるインスタンスとされる。他の1つは、ボディドキュメントインスタンス(Body Document Instance)と称される、ドキュメントインスタンスであり、サブタイトルとして実際に表示される文字列などの記述によって構成されるインスタンスとされる。

なお、以下の説明では、Initialization Document Instanceを省略して、Init Instanceとも記述する。また、Body Document Instanceを省略して、Body Instanceとも記述する。

[TTMLの構成]
図1は、TTMLの構成を説明する図である。

図1に示すように、イニシャライズドキュメントインスタンスは、styling要素やlayout要素などの要素によって、サブタイトルとして表示される文字の色、フォント、表示位置などのレンダリングコンテクストが指定される。

この例では、layout要素の「<region xml:id="subtitleArea" style="s1" ・・・>」という記述によって、s1というレンダリングコンテクストが定義されている。例えば、1つのイニシャライズドキュメントインスタンスの中で、s1,s2,・・・のように複数の種類のレンダリングコンテクストを定義することも可能である。

また、ボディドキュメントインスタンスには、p要素などの要素が記述される。例えば、p要素の「<p xml:id= ・・・>」という記述によって、サブタイトルの文字列、並びに表示開始時刻及び表示終了時刻等の属性が指定される。

このように、TTMLは、イニシャライズドキュメントインスタンスと、ボディドキュメントインスタンスの組み合わせによってなる階層構造を有する記述とされる。それらのインスタンスの組み合わせによってなる階層構造が、図1の左下の領域に図示されている。

例えば、ストリームを受信して表示する受信機において、図1に示されるTTMLを受信させて解析させることにより、コンテンツの中の所定の時間帯に所定のテキスト情報(文字列)を表示させることが可能となる。すなわち、受信機のディスプレイにおいて、ボディドキュメントインスタンスのp要素によって指定された文字列、並びに表示開始時刻及び表示終了時刻などを示す属性に基づいて、サブタイトルの表示が適宜変更されていく。図1の例では、ボディドキュメントインスタンスのp要素によって指定された文字列F1,文字列F2,・・・が時間の経過に伴って切り替えられて表示される。

なお、TTMLの詳細については、「"Timed Text Markup Language (TTML) 1.0" W3C Recommendation 18 November 2010」などに開示されている。

[MP4ファイルフォーマットの詳細]
次に、MP4ファイルフォーマットについて説明する。MP4ファイルフォーマットは、自由度が高いファイルフォーマットであり、BOXと称されるさまざまなサイズのデータが集まってMP4ファイルを構成するように規定されている。BOXにはいろいろな種類があり、自由に増やすことができる。

MP4ファイルフォーマットにおけるBOXの構成を図2に示す。図2において、Box Size、Box Typeと表示されている領域には、当該BOXのサイズとタイプ(種類)が記述される。また、Box Dataと表示される領域には、例えば、エンコードされたビデオデータ、オーディオデータ、サブタイトルのデータなどが格納される。

また、MP4ファイルフォーマットにおいては、前述したBOXが階層構造を有するように規定されている。すなわち、図3に示されるように、上位の階層のBOXのBox Data領域の中に下位の階層のBOXを格納できるようになされている。

MP4ファイルフォーマットにおいては、例えば、オーディオデータのデコード単位、ビデオデータの1フレームなど、伝送されるコンテンツの単位データがサンプル(Sample)と称される。そして、複数のサンプルによってチャンク(Chunk)が構成される。例えば、図4に示されるように、オーディオ(audio)のチャンクと、ビデオ(Video)のチャンクによってストリーミングが構成される。

MP4ファイルフォーマットにおいては、例えば、一連のビデオのチャンクの集合体、一連のオーディオのチャンクの集合体などをトラック(Track)と称する。そして、複数のトラックを統合したデータが、ムービー(Movie)と称される。

図5は、ムービーの構成を説明する図である。図5の例では、ビデオのトラックと、オーディオのトラックによって1つのムービーが構成されている。ムービーは、前述したように、BOX構造を有する。図6は、ムービーにおけるBOX構造を説明する図である。図6の例では、ムービーのBOXの中に、Movie Metadata boxと、Movie Data boxが格納されている。

Movie Metadata boxは、Movie Data boxの中に格納された各サンプルの格納位置に係る情報と、再生時刻や再生時間に係る情報が記述されたBOXとされる。例えば、各サンプルの格納位置に係る情報としては、adrs = 1000などが記述され、再生時刻や再生時間に係る情報としては、Δt = 10などが記述される。また、必要に応じてコーデックパラメータなども記述される。Movie Data boxは、各サンプルが格納されたBOXとされる。なお、MP4ファイルフォーマットの規格では、Movie Metadata boxは、moovと称され、Movie Data boxは、mdatと称される。

図6に示されるようなムービー(Movie)を受信機で受信して解析することにより、時刻t0,t10,t20,・・・において、それぞれSample1,Sample2,Sample3,・・・が再生されるようにすることができる。

また、ムービーは、大別すると2種類に分類される。1つは、Non-fragment Movieと称され、例えば映画やドラマなどのコンテンツの伝送に適している。他の1つは、Fragmented Movieと称され、例えばニュースやスポーツ中継などのコンテンツの伝送に適している。

図7は、Non-fragment Movieの構成を説明する図である。

図7に示すように、Non-fragment Movieの先頭にはFile Type(ftyp)と称されるBOXが配置される。ftypは、ファイルタイプ、互換性情報などが格納されたBOXとされる。ftypに続いて、前述したmoovと、mdatが配置される。前述したように、moovにはコーデックパラメータ、格納位置情報、再生時間情報などが記述されている。また、前述したように、mdatには、オーディオデータのデコード単位、ビデオデータの1フレームなどからなるサンプルが格納される。

Non-fragment Movieでは、moovによって、ムービー(Movie)全体のレンダリングコンテクストが定義されるようになされている。すなわち、映画やドラマなどのコンテンツの場合、どのタイミングで、どの映像、どの音声、どの字幕が再生されるべきかがあらかじめ分かっているので、各サンプルを受信する前に、ムービー全体のレンダリングコンテクストを定義することができる。

一方、ニュースやスポーツ中継などのライブコンテンツの場合、どのタイミングで、どの映像、どの音声、どの字幕が再生されるべきかをあらかじめ知ることができない。このため、ライブコンテンツの伝送には、Fragmented Movieが採用される。

図8は、Fragmented Movieの構成を説明する図である。

図8に示されるように、Fragmented Movieは、Non-fragment Movieの場合と同様に、ftypとmoovが配置されるが、その後は、Fragmentと称されるBOXが複数配置される。Fragmentは、Movie Fragment(moof)と称されるBOXと、mdatによって構成される。図8の例では、各Fragmentのそれぞれにmoofが設けられており、moofは、いわばFragmentのヘッダ情報とされる。moofには、当該Fragmentに格納されているmdatのサンプルに関しての格納位置情報、再生時間情報などが記述されている。すなわち、Fragmented Movieでは、Non-fragment Movieの場合と異なり、各Fragmentごとに、各Fragmentのレンダリングコンテクストが定義されるようになされている。

なお、図8に示されるMovie Fragment Random Access(mfra)は、Fragmented Movieの最後に挿入されるBOXとされ、ランダムアクセス用情報などが格納される。

また、図7及び図8に示される例は、MP4ファイルフォーマットとしてのムービーの構成を示したものであり、例えば、インターネットストリーミングなどが行われる際には、図7及び図8を参照して前述したデータが所定の伝送フォーマットで配信されることになる。この伝送フォーマットにおいては、例えば、図8に示されるmoovが、Fragment間に挿入されて複数回繰り返して配信されるようになされている。

ところで、前述したように、IPTV等のインターネットストリーミングにおける標準化に際して、コンテナレイヤにおいて採用するフォーマットとして、MP4ファイルフォーマットを用いることが検討されている。また、ストリーミングの構成要素として字幕(サブタイトル)がある場合、TTMLが多く利用されており、ストリーミングの標準化においても注目されている。

例えば、ニュースなどのライブコンテンツの映像にサブタイトルを挿入する場合、あらかじめサブタイトルの文字列(テキスト情報)を確定させておくことができない。このため、放送のストリーミング中に、サブタイトルの文字列をその都度、挿入する処理が必要となる。このような場合、例えば、受信機に、TTMLのイニシャライズドキュメントインスタンスを受信させてレンダリングコンテクストを解析させた後、その都度、ボディドキュメントインスタンスが受信されるようにすることが望ましい。

しかしながら、このようにボディドキュメントインスタンスごとに分離して送られる、フラグメント化されたテキスト情報は、各ボディドキュメントインスタンスごとに独立している。そのため、あるフラグメント化されたテキスト情報を表示中に、次のフラグメント化されたテキスト情報を表示させようとすると、先のテキスト情報の表示を継続させることができない。特に、ニュースなどのライブコンテンツでは、どのタイミングで、どの映像、どの音声、どの字幕が再生されるべきかをあらかじめ知ることができず、現在表示しているテキスト情報の表示を継続させるための技術方式が確立されていなかった。

そこで、本技術では、Fragmented Movieとして伝送されるコンテンツにおいて、サブタイトルのテキスト情報を挿入する場合に、フラグメント化されたテキスト情報の表示を継続させることができるようにする。

[ストリーミング配信システム]
図9は、本技術の一実施の形態に係るストリーミング配信システムの構成例を示す図である。図9に示されるストリーミング配信システム10は、TTサーバ20、IPTVサーバ30、及びIPTVクライアント40から構成される。

IPTVサーバ30は、例えば、コンテンツをストリーミング放送する送信機として構成され、IPTVクライアント40は、例えば、ストリーミング放送を受信する受信機として構成される。そして、TTサーバ20は、ストリーミング放送されるコンテンツに挿入されるサブタイトルに係るデータを生成する装置とされる。

TTサーバ20は、TTフラグメント生成部21及びサンプル挿入部22から構成される。

TTフラグメント生成部21は、TTMLのドキュメントインスタンスが格納される、Fragmentのデータを生成し、サンプル挿入部22に供給する。なお、ここでは、図8を参照して前述したようなTTMLのドキュメントインスタンスが格納されるFragmentのデータが生成される。

サンプル挿入部22は、TTMLのドキュメントインスタンスを生成する。また、サンプル挿入部22は、TTフラグメント生成部21からのFragmentのデータの中のmdatのサンプルとして、生成したTTMLのドキュメントインスタンスを挿入する。サンプル挿入部22は、TTMLのドキュメントインスタンスが挿入されたFragmentのデータを、IPTVサーバ30に出力する。

また、NTP同期されたタイムスタンプ生成部25により生成されたタイムスタンプが、TTフラグメント生成部21及びサンプル挿入部22に適宜供給されるようになされている。

IPTVサーバ30は、コンテンツサンプル生成部31、フラグメントマルチプレクサ32、及びフラグメント配信部33から構成される。

コンテンツサンプル生成部31は、例えば、コンテンツを構成する音声や映像のデータなどをエンコードして、オーディオデータやビデオデータなどを生成する。コンテンツサンプル生成部31は、それらのオーディオデータやビデオデータなどに基づいて、サンプルを生成し、フラグメントマルチプレクサ32に供給する。

フラグメントマルチプレクサ32には、TTサーバ20のサンプル挿入部22からのFragmentのデータと、コンテンツサンプル生成部31からのサンプルのデータが供給される。フラグメントマルチプレクサ32は、コンテンツサンプル生成部31からのサンプルのデータを、mdatの中に格納したFragmentを生成する。

フラグメントマルチプレクサ32は、生成したFragmentのデータと、サンプル挿入部22からのFragmentのデータを多重化する。すなわち、オーディオデータ、ビデオデータが格納されたFragmentと、TTMLドキュメントインスタンスが格納されたFragmentが多重化されることになる。フラグメントマルチプレクサ32は、多重化されたFragmentのデータを、フラグメント配信部33に供給する。

フラグメント配信部33は、フラグメントマルチプレクサ32からの多重化されたFragmentのデータを、ネットワークなどを介して配信する。これにより、コンテンツがストリーミング配信されることになる。

なお、NTP同期されたタイムスタンプ生成部25により生成されたタイムスタンプが、コンテンツサンプル生成部31及びフラグメントマルチプレクサ32に適宜供給されるようになされている。

IPTVクライアント40は、計時部41、受信部42、フラグメントデマルチプレクサ43、TTデコーダ44、コンテンツデコーダ45、及び表示制御部46から構成される。

計時部41は、IPTVクライアント40の各部にNTP同期された時刻情報を供給する。

受信部42は、IPTVサーバ30から送信されたFragmented Movieを、ネットワークを介して受信し、フラグメントデマルチプレクサ43に供給する。

フラグメントデマルチプレクサ43は、受信部42からのFragmented Movieを取得し、Fragmented Movieを構成する各Fragmentを抽出する。フラグメントデマルチプレクサ43は、moovの記述を解析して、Fragmented Movieには、TTMLのドキュメントインスタンスが格納されたFragmentが存在しているか否かを判定する。

フラグメントデマルチプレクサ43は、TTMLのドキュメントインスタンスが格納されたFragmentが存在していると判定された場合、Fragmentのデータを、TTデコーダ44に供給する。また、フラグメントデマルチプレクサ43は、TTMLのドキュメントインスタンスが格納されたFragmentが存在しないと判定された場合、Fragmentのデータを、コンテンツデコーダ45に供給する。

TTデコーダ44には、フラグメントデマルチプレクサ43からのTTMLのドキュメントインスタンスが格納されたFragmentのデータが供給される。TTデコーダ44は、TTMLのドキュメントインスタンスが格納されたサンプルのデータをデコードする。なお、TTデコーダ44におけるデコードは、主に、TTMLドキュメントインスタンスの構文解析を意味するものである。

TTデコーダ44は、Fragmentのmoofの記述を解析して、当該Fragmentに格納されているTTMLドキュメントインスタンスのタイプを判定する。TTデコーダ44は、TTMLドキュメントインスタンスのタイプが、イニシャライズドキュメントインスタンスであると判定された場合、mdatのサンプルの中に格納されたイニシャライズドキュメントインスタンスの記述を解析し、レンダリングコンテクストを設定する。

なお、TTデコーダ44は、一度レンダリングコンテクストを設定した後は、イニシャライズドキュメントインスタンスに変更があったと判定された場合にのみ、mdatのサンプルの中に格納されたイニシャライズドキュメントインスタンスの記述を解析し、レンダリングコンテクストを再設定する。

また、TTデコーダ44は、TTMLドキュメントインスタンスのタイプが、ボディドキュメントインスタンスであると判定された場合、mdatのサンプルの中に格納されたボディドキュメントインスタンスを解析し、サブタイトルの表示データを生成する。ここで生成されたサブタイトルの表示データは、表示時刻に係る情報とともに、表示制御部46に供給される。

コンテンツデコーダ45には、フラグメントデマルチプレクサ43からのTTMLのドキュメントインスタンスが格納されていないFragmentのデータが供給される。コンテンツデコーダ45は、mdatのサンプルの中に格納されたオーディオデータ、ビデオデータなどをデコードし、映像の表示データ、音声の出力データなどを生成する。ここで生成された映像の表示データ、音声の出力データなどは、表示時刻、出力時刻などに係る情報とともに表示制御部46に供給される。

表示制御部46には、TTデコーダ44からのサブタイトルの表示データ及び表示時刻に係る情報、又はコンテンツデコーダ45からの映像の表示データ及び表示時刻に係る情報、並びに音声の出力データ及び出力時刻に係る情報が供給される。

表示制御部46は、表示時刻に係る情報に基づいて、コンテンツの映像にサブタイトルを重畳して表示させるための映像信号を生成して、後段のディスプレイ(不図示)などに供給する。また、表示制御部46は、出力時刻に係る情報に基づいて、コンテンツの音声を出力させるための音声信号を生成して、後段のスピーカ(不図示)などに供給する。

ストリーミング配信システム10は、以上のように構成される。

[サブタイトルの表示例]
図9のストリーミング配信システム10によって、例えば、次のようなサブタイトルの表示を制御することができる。図10は、Fragmented Movieとしてライブ配信されるコンテンツを受信するIPTVクライアント40にて、コンテンツの映像に重畳表示されるサブタイトルの表示を時系列で表した図である。

例えばTTサーバ20により、図11に示されるようなTTMLのドキュメントインスタンス(Init Instance)がFragmentに格納され、IPTVサーバ30から配信されると、Fragmented Movieとして配信されるFragment0のデータが、IPTVクライアント40により受信される。

図11は、イニシャライズドキュメントインスタンスの記述の一例である。図11の例では、サブタイトルの文字の色、フォントなどを指定する記述がなされ、サブタイトルの表示位置として、"subtitleArea1"と、"subtitleArea2"が記述されている。

図10に戻り、図11のイニシャライズドキュメントインスタンスを格納したmdat0のサンプル(Sample0)が格納されたFragment0が、IPTVクライアント40により取得されると、サブタイトルとして表示されるテキスト情報の文字の色、フォント、表示位置等のレンダリングコンテクストが指定されることになる。

また、TTサーバ20により、図12に示されるようなTTMLのドキュメントインスタンス(Body Instance1)がFragmentに格納され、IPTVサーバ30から配信されると、Fragmented Movieとして配信されるFragment1のデータが、IPTVクライアント40により受信される。

図12は、ボディドキュメントインスタンスの記述の一例である。図12の例では、p要素の開始タグと終了タグにより指定される、"It seems a paradox, does it not,"である文字列が、サブタイトルの文字列とされる。また、p要素の属性として、id属性、begin属性、region属性が指定される。id属性には、サブタイトルを識別するためのIDが指定される。begin属性には、サブタイトルの表示開始時刻が指定される。region属性には、サブタイトルの表示位置を指定するための文字列が指定される。

図10に戻り、図12のボディドキュメントインスタンス(Body Instance1)を格納したmdat1のサンプル(Sample1)が格納されたFragment1が、IPTVクライアント40により取得されると、図11の記述に従って設定されたレンダリングコンテクストに基づいて、図12の記述によって指定されたサブタイトルの文字列が表示される。すなわち、図12のボディドキュメントインスタンスでは、begin属性として"0.1s"が指定されているので、IPTVクライアント40では、当該ボディドキュメントインスタンスを取得してから0.1秒後に、図13に示すような、"It seems a paradox, does it not,"である文字列が表示される。

また、図12の例では、id属性として"subtitle1"が指定されているので、サブタイトルの文字列は、"subtitle1"により特定される。また、region属性として"subtitleArea1"が指定されているので、図11の"subtitleArea1"により指定される表示位置に、サブタイトルの文字列が表示される。

その後、TTサーバ20により、図14に示されるようなTTMLドキュメントインスタンス(Body Instance2)がFragmentに格納され、IPTVサーバ30から配信されると、Fragmented Movieとして配信されるFragment2のデータが、IPTVクライアント40により受信される。

図14は、ボディドキュメントインスタンスの記述の一例である。図14の例では、上段のp要素のid属性である"subtitle1"により特定される"It seems a paradox, does it not,"である文字列と、下段のp要素のid属性である"subtitle2"により特定される"that the image formed on the Retina should be inverted ?"である文字列が、サブタイトルの文字列とされる。また、上段のp要素には、サブタイトルの表示終了時刻を指定するためのend属性として"3s"が指定され、region属性として"subtitleArea1"が指定される。さらに、下段のp要素には、begin属性、end属性、及びregion属性として、それぞれ、"1s"、"5s"、"subtitleArea2"がそれぞれ指定される。

図10に戻り、図14のボディドキュメントインスタンス(Body Instance2)を格納したmdat2のサンプル(Sample2)が格納されたFragment2が、IPTVクライアント40により取得されると、図11の記述に従って設定されたレンダリングコンテクストに基づいて、図14の記述によって指定されたサブタイトルの文字列が表示される。すなわち、図14のボディドキュメントインスタンスでは、"subtitle2"により特定されるサブタイトルの文字列のbegin属性として"1s"が指定されているので、IPTVクライアント40では、当該ボディドキュメントインスタンスを取得してから1秒間は、図15に示すような、subtitle1により特定される"It seems a paradox, does it not,"である文字列のみが表示される。

その後、図14のボディドキュメントインスタンスを取得してから、"subtitle2"のbegin属性により指定された1秒を経過すると、図16に示すように、"subtitle1"により特定される"It seems a paradox, does it not,"である文字列の下段に、"subtitle2"の"that the image formed on the Retina should be inverted ?"が表示される。なお、"subtitle2"のサブタイトルの文字列は、region属性として"subtitleArea2"が指定されているので、図11の"subtitleArea2"により指定される表示位置に表示される。

"subtitle2"により特定されるサブタイトルの文字列のbegin属性により指定される時刻から、"subtitle1"により特定されるサブタイトルの文字列のend属性により指定される時刻までの間は、図16の"subtitle1"及び"subtitle2"により特定されるサブタイトルの文字列が上下に表示される状態が継続される。そして、図14のボディドキュメントインスタンス(Body Instance2)の取得後、"subtitle1"のend属性により指定された3秒を経過すると、"subtitle1"のサブタイトルの文字列の表示が消されて、図17に示すように、"subtitle2"のサブタイトルの文字列のみが表示される。

図10に戻り、その後、"subtitle1"により特定されるサブタイトルの文字列のend属性により指定される時刻から、"subtitle2"により特定されるサブタイトルの文字列のend属性により指定される時刻までの間は、図17の"subtitle2"により特定されるサブタイトルの文字列のみが表示される状態が継続される。そして、図14のボディドキュメントインスタンス(Body Instance2)の取得後、"subtitle2"のend属性により指定された5秒を経過すると、"subtitle2"のサブタイトルの文字列の表示が消されて、サブタイトルの表示が終了される。

このように、例えば、図12のボディドキュメントインスタンス(Body Instance1)の次に、図14のボディドキュメントインスタンス(Body Instance2)が取得されるとき、"subtitle1"のサブタイトルの文字列のbegin属性がBody Instance1により指定され、そのend属性がBody Instance2により指定されるようにする。これにより、Body Instance2が取得された後も、"subtitle1"のサブタイトルの文字列の表示を継続することが可能となる。

[ストリーミング配信処理]
次に、図9のストリーミング配信システム10を構成する各装置で行われる処理の詳細について説明する。

まず、図18のフローチャートを参照して、IPTVサーバ30にて行われるストリーミング配信処理を説明する。この処理は、例えば、ライブコンテンツにサブタイトルを挿入して、Fragmented Movieとしてネットワークなどを介して配信する場合に実行される。

ステップS21において、IPTVサーバ30は、コンテンツのデータを取得する。このとき、例えば、コンテンツを構成する音声や映像のデータなどが取得される。

ステップS22において、コンテンツサンプル生成部31は、例えば、コンテンツを構成する音声や映像のデータなどをエンコードして、オーディオデータや、ビデオデータなどを生成する。そして、コンテンツサンプル生成部31は、それらのオーディオデータ、ビデオデータに基づいて、サンプル(Sample)のデータを生成する。

ステップS23において、フラグメントマルチプレクサ32は、ステップS22にて生成されたサンプルのデータを、mdatの中に格納したFragmentを生成する。

ステップS24において、TTサーバ20は、サブタイトルデータ挿入処理を実行する。これにより、ストリーミング配信されるコンテンツのデータに、サブタイトルに関するデータが挿入される。

ここで、図19のフローチャートを参照して、図18のステップS24に対応する、サブタイトルデータ挿入処理の詳細について説明する。

ステップS41において、TTML文が生成される。

ステップS42において、TTフラグメント生成部21は、TTMLのドキュメントインスタンスが格納される、Fragmentのデータを生成する。

ステップS43において、サンプル挿入部22は、ステップS41にて生成されたTTML文に基づいて、TTMLのドキュメントインスタンスを生成するとともに、ステップS42にて生成されたFragmentの中のmdatのサンプルとしてTTMLのドキュメントインスタンスを挿入する。

ステップS44において、サンプル挿入部22は、ステップS43の処理によりTTMLドキュメントインスタンスが挿入されたFragmentを出力する。これにより、IPTVサーバ30のフラグメントマルチプレクサ32に、当該Fragmentが供給される。

なお、NTP同期されたタイムスタンプ生成部25により生成されたタイムスタンプが、TTフラグメント生成部21及びサンプル挿入部22に適宜供給されるようになされている。

図18のフローチャートに戻り、ステップS24の処理の後、ステップS25において、フラグメントマルチプレクサ32は、図19のステップS42にて生成されたFragmentと、ステップS23にて生成されたFragmentを多重化する。すなわち、ここでは、オーディオデータやビデオデータなどが格納されたFragmentと、TTMLのドキュメントインスタンスが格納されたFragmentが多重化される。

ステップS26において、フラグメントマルチプレクサ32は、Fragment Movieのデータを生成する。

ステップS27において、フラグメント配信部33は、ステップS26にて生成されたFragment Movieを、ネットワークなどを介して配信する。

以上のようにして、ストリーミング配信処理が実行される。

次に、図20のフローチャートを参照して、IPTVクライアント40にて行われるコンテンツ再生処理について説明する。

ステップS61において、受信部42は、図18のステップS27にて配信されたFragment Movieを受信する。

ステップS62において、フラグメントデマルチプレクサ43は、ステップS61にて受信したFragment Movieのmoovの記述を解析する。

ステップS63において、フラグメントデマルチプレクサ43は、ステップS61にて受信したFragment Movieを構成するFragmentを抽出する。

ステップS64において、フラグメントデマルチプレクサ43は、ステップS62の解析結果に基づいて、当該Fragment Movieには、TTMLドキュメントインスタンスが格納されたFragmentが存在しているか否かを判定する。

ステップS64において、当該Fragment Movieには、TTMLドキュメントインスタンスが格納されたFragmentが存在すると判定された場合、処理は、ステップS65に進められる。

ステップS65において、フラグメントデマルチプレクサ43は、各Fragmentのmoofの記述をチェックする。

ステップS66において、フラグメントデマルチプレクサ43は、当該FragmentにTTMLドキュメントインスタンスが格納されているか否かを判定する。

ステップS66において、当該FragmentにTTMLドキュメントインスタンスが格納されていないと判定された場合、処理は、後述するステップS68に進められる。一方、ステップS66において、フラグメントデマルチプレクサ43は、当該FragmentにTTMLドキュメントインスタンスが格納されていると判定された場合、処理は、ステップS67に進められる。

ステップS67において、TTデコーダ44は、TTデコード処理を実行する。

TTデコード処理では、Fragmentのmoofの記述の解析結果に従い、TTMLドキュメントインスタンスのタイプが、イニシャライズドキュメントインスタンスである場合、mdatのサンプルの中に格納されたイニシャライズドキュメントインスタンスの記述が解析され、レンダリングコンテクストが設定される。また、TTMLドキュメントインスタンスのタイプが、ボディドキュメントインスタンスである場合、mdatのサンプルの中に格納されたボディドキュメントインスタンスが解析され、サブタイトルの表示データが生成される。サブタイトルの表示データは、表示開始又は表示終了を指示する表示時刻に係る情報とともに、表示制御部46に供給される。

なお、TTデコード処理の詳細は、図21及び図22を参照して後述する。

一方、ステップS64において、当該Fragment Movieには、TTMLドキュメントインスタンスが格納されたFragmentが存在しないと判定された場合、処理は、ステップS68に進められる。

ステップS68において、コンテンツデコーダ45は、mdatのサンプルの中に格納されたオーディオデータ、ビデオデータなどをデコードする。

ステップS69において、コンテンツデコーダ45は、ステップS68の処理の結果得られた映像の表示データ、音声の出力データなどを出力する。ここで生成された映像の表示データ、音声の出力データなどは、表示時刻、出力時刻などに係る情報とともに、表示制御部46に供給される。

ステップS70において、表示制御部46は、表示開始又は表示終了を指示する表示時刻に係る情報等に基づいて、コンテンツの映像にサブタイトルを重畳して表示させるための映像信号を生成して、後段のディスプレイ(不図示)などに供給する。また、表示制御部46は、出力時刻に係る情報などに基づいて、コンテンツの音声を出力させるための音声信号を生成し、後段のスピーカ(不図示)などに供給する。

すなわち、図20のステップS69にて生成された映像の表示データ、音声の出力データと、後述する図22のステップS105にて生成されたサブタイトルの表示データが同期して表示又は出力される。

ステップS71において、Fragment Movieが終了したか否かが判定される。例えば、図8に示されるMovie Fragment Random Access(mfra)が受信された場合、Fragment Movieが終了したと判定される。また、ユーザが受信を停止するように指令した場合、Fragment Movieが終了したと判定される。

ステップS71において、まだ、Fragment Movieが終了していないと判定された場合、処理は、ステップS63に戻り、以降の処理が繰り返される。一方、ステップS71において、Fragment Movieが終了したと判定された場合、図20のコンテンツ再生処理は、終了する。

以上のようにして、コンテンツ再生処理が実行される。

次に、図21のフローチャートを参照して、図20のステップS67に対応するTTデコード処理の詳細について説明する。

ステップS81において、TTデコーダ44は、フラグメントデマルチプレクサ43からのFragmentを読み込む。

ステップS82において、TTデコーダ44は、Fragmentのmoofの記述を解析して、TTMLドキュメントインスタンスのタイプが、イニシャライズドキュメントインスタンスであるか否かを判定する。

ステップS82において、TTMLドキュメントインスタンスのタイプが、イニシャライズドキュメントインスタンスでないと判定された場合、処理は、ステップS83に進められる。ステップS83において、TTデコーダ44は、現在のFragmentを破棄する。そして、処理は、ステップS81に戻り、以降の処理が繰り返される。

一方、ステップS82において、TTMLドキュメントインスタンスのタイプが、イニシャライズドキュメントインスタンスであると判定された場合、処理は、ステップS84に進められる。ステップS84において、TTデコーダ44は、イニシャライズドキュメントインスタンス処理を行い、mdatのサンプルの中に格納されたイニシャライズドキュメントインスタンスの記述を解析し、レンダリングコンテクストを設定する。

ステップS84にてレンダリングコンテクストの設定が終了すると、処理は、ステップS85に進められる。ステップS85において、TTデコーダ44は、フラグメントデマルチプレクサ43からのFragmentを読み込む。

ステップS86において、TTデコーダ44は、Fragmentのmoofの記述を解析して、TTMLドキュメントインスタンスのタイプが、イニシャライズドキュメントインスタンスであるか否かを判定する。

ステップS86において、TTMLドキュメントインスタンスのタイプが、イニシャライズドキュメントインスタンスでないと判定された場合、当該タイプがボディドキュメントインスタンスとなるので、処理は、ステップS87に進められる。ステップS87において、TTデコーダ44は、ボディドキュメントインスタンス処理を行う。

ここで、図22のフローチャートを参照して、図21のステップS87に対応するボディドキュメントインスタンス処理について説明する。

ステップS101において、TTデコーダ44は、XMLパース処理を行い、ボディドキュメントインスタンスに含まれる要素を抽出する。TTデコーダ44は、抽出された1又は複数の要素のそれぞれについて順次、ステップS102以降の処理を実行する。

ステップS102において、TTデコーダ44は、抽出された要素がp要素であるか否かを判定する。ステップS102において、抽出された要素がp要素でないと判定された場合、処理は、ステップS103に進められる。ステップS103において、TTデコーダ44は、p要素以外の他の要素の処理を行う。

ステップS103の処理が終了すると、処理は、ステップS108に進められる。ステップS108において、TTデコーダ44は、全ての要素について処理が終了したか否かを判定する。

ステップS108において、全ての要素について処理が終了していないと判定された場合、処理は、ステップS102に戻り、ステップS102の判定処理が行われる。そして、ステップS102において、抽出された要素がp要素であると判定された場合、処理は、ステップS104に進められる。ステップS104において、TTデコーダ44は、当該p要素にbegin属性が含まれるか否かを判定する。

ステップS104において、当該p要素にbegin属性が含まれると判定された場合、処理は、ステップS105に進められる。ステップS105において、TTデコーダ44は、通常のp要素の処理を行う。

例えば、図12のボディドキュメントインスタンスに対してXMLパースの処理が行われた場合、p要素にbegin属性が含まれているので、通常のp要素の処理が行われ、"It seems a paradox, does it not,"である文字列からなるサブタイトルの表示データが生成される。生成されたサブタイトルの表示データは、0.1秒後の表示開始を指示する表示時刻に係る情報とともに、表示制御部46に供給される。

一方、ステップS104において、当該p要素にbegin属性が含まれていないと判定された場合、処理は、ステップS106に進められる。ステップS106において、TTデコーダ44は、p要素のid属性の解析結果に基づいて、同一のサブタイトルが既に表示されているか否かを判定する。

ステップS106において、同一のサブタイトルが既に表示されていると判定された場合、処理は、ステップS107に進められる。ステップS107において、TTデコーダ44は、表示中のサブタイトルが継続して表示されるようにする。

例えば、図14のボディドキュメントインスタンスに対してXMLパースの処理が行われた場合、上段のp要素にはbegin属性が含まれておらず、さらに、図12のボディドキュメントインスタンスによって、id属性が"subtitle1"となるサブタイトルが既に表示されているので、ステップS107の処理が実行される。すなわち、TTデコーダ44は、表示中のid属性が"subtitle1"となるサブタイトルが継続して表示されるように、例えば、end属性により指定される、3秒後の表示終了を指示する表示時刻に係る情報を、表示制御部46に供給する。

また、例えば、図14のボディドキュメントインスタンスの下段のp要素には、begin属性が含まれているので、ステップS105の処理が実行される。すなわち、TTデコーダ44は、"subtitle2"の"that the image formed on the Retina should be inverted ?"である文字列からなるサブタイトルの表示データを生成する。そして、生成されたサブタイトルのデータは、1秒後の表示開始と5秒後の表示終了を指示する表示時刻に係る情報とともに、表示制御部46に供給される。

ステップS105又はS107の処理が終了すると、ステップS108の判定処理が行われる。ステップS108において、全ての要素について処理が終了したと判定された場合、処理は、図21のステップS87に戻り、以降の処理が繰り返される。

すなわち、Fragmentが読み込まれ、TTMLドキュメントインスタンスのタイプが、イニシャライズドキュメントインスタンスであるか否かが判定される(ステップS86)。ステップS86の判定処理で、イニシャライズドキュメントインスタンスでないと判定された場合には、再度、ボディドキュメントインスタンス処理が行われる(ステップS87)。一方、ステップS86の判定処理で、イニシャライズドキュメントインスタンスであると判定された場合には、処理は、ステップS88に進められる。

ステップS88において、TTデコーダ44は、読み込まれたFragmentに格納されたイニシャライズドキュメントインスタンスの表示形式の定義内容が、設定されているレンダリングコンテクストの定義内容と異なっているか否かを判定する。

ステップS88において、レンダリングコンテクストの定義内容と異なっていると判定された場合、処理は、ステップS84に進められ、それ以降の処理が繰り返される。すなわち、この場合、イニシャライズドキュメントインスタンス処理が再度実行され、レンダリングコンテクストの再設定が行われる(ステップS84)。一方、ステップS88において、レンダリングコンテクストの定義内容と同一であると判定された場合、処理は、ステップS85に戻り、それ以降の処理が繰り返される。すなわち、この場合、レンダリングコンテクストの再設定は行われずに、再度、フラグメントデマルチプレクサ43からのFragmentが読み込まれることになる。

なお、図20のステップS71において、Fragment Movieが終了したと判定され、図20のコンテンツ再生処理が終了するまで、図21のTTデコード処理は繰り返し実行される。

以上、図21及び図22を参照して、TTデコード処理を説明した。

以上のように、先に読み込まれるFragmentに格納されたボディドキュメントインスタンスに記述されるサブタイトルに対してはbegin属性を付加し、次に読み込まれるFragmentに格納されたボディドキュメントインスタンスに記述される同一のサブタイトルに対してend属性を付加することで、次のFragmentが読み込まれても、先に読み込まれたFragmentのサブタイトルの表示を継続させることができる。

[本技術を適用したコンピュータの説明]
前述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図23は、前述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ100において、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。

バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記録部108、通信部109、及びドライブ110が接続されている。

入力部106は、キーボード、マウス、マイクロフォンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記録部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア111を駆動する。

以上のように構成されるコンピュータ100では、CPU101が、例えば、記録部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、前述した一連の処理が行われる。

コンピュータ100(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア111に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

コンピュータ100では、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記録部108にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部109で受信し、記録部108にインストールすることができる。その他、プログラムは、ROM102や記録部108に、あらかじめインストールしておくことができる。

なお、コンピュータ100が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

ここで、本明細書において、コンピュータ100に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。

また、プログラムは、1のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、前述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成をとることができる。

(1)
ライブ配信されるコンテンツのストリームを受信する受信部と、
受信した前記ストリームに含まれる字幕データに対応するフラグメント化されたテキスト情報を解析する解析部と、
解析結果に従って、前記テキスト情報のうち、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に、前記第1のテキスト情報の表示が継続されるように表示を制御する制御部と
を備える受信装置。
(2)
前記テキスト情報は、その内容を記述した構造化文書と、前記構造化文書に適用される表示形式を定義した表示定義文書から構成され、
前記第1のテキスト情報の内容を記述した第1の構造化文書には、前記第1のテキスト情報の表示開始を示す時刻が記述され、
前記第2のテキスト情報の内容を記述した第2の構造化文書には、前記第1のテキスト情報の表示終了を示す時刻及び前記第2のテキスト情報の表示開始を示す時刻が記述されており、
前記制御部は、解析結果に従って、前記第1の構造化文書に記述された前記第1のテキスト情報の表示開始を示す時刻に応じて、前記第1のテキスト情報の表示を開始した後、前記第2の構造化文書に記述された前記第1のテキスト情報の表示終了を示す時刻に応じて、表示中の前記第1のテキスト情報の表示を終了する
(1)に記載の受信装置。
(3)
前記第2の構造化文書に記述された前記第2のテキスト情報の表示開始を示す時刻は、前記第1のテキスト情報の表示終了を示す時刻よりも時間的に先となり、
前記制御部は、解析結果に従って、前記第2の構造化文書に記述された前記第2のテキスト情報の表示開始を示す時刻に応じて、前記第2のテキスト情報の表示を開始する
(2)に記載の受信装置。
(4)
前記第2の構造化文書には、前記第2のテキスト情報の表示終了を示す時刻がさらに記述されており、
前記制御部は、解析結果に従って、前記第2の構造化文書に記述された前記第2のテキスト情報の表示終了を示す時刻に応じて、前記第2のテキスト情報の表示を終了する
(2)又は(3)に記載の受信装置。
(5)
前記第2の構造化文書に記述された前記第2のテキスト情報の表示終了を示す時刻は、前記第1のテキスト情報の表示終了を示す時刻よりも時間的に後となる
(4)に記載の受信装置。
(6)
前記表示定義文書は、その表示形式の定義内容が変更されるまで、同一のものが前記構造化文書に適用されるようになされる
(2)乃至(5)のいずれかに記載の受信装置。
(7)
前記ストリームは、MP4ファイルフォーマットに準拠したフォーマットのデータであり、
前記字幕データは、TTML(Timed Text Markup Language)の規格に準拠している
(1)乃至(6)のいずれかに記載の受信装置。
(8)
受信装置の制御方法において、
前記受信装置が、
ライブ配信されるコンテンツのストリームを受信し、
受信した前記ストリームに含まれる字幕データに対応するフラグメント化されたテキスト情報を解析し、
解析結果に従って、前記テキスト情報のうち、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に、前記第1のテキスト情報の表示が継続されるように表示を制御する
ステップを含む制御方法。
(9)
コンピュータを、
ライブ配信されるコンテンツのストリームを受信する受信部と、
受信した前記ストリームに含まれる字幕データに対応するフラグメント化されたテキスト情報を解析し、
解析結果に従って、前記テキスト情報のうち、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に、前記第1のテキスト情報の表示が継続されるように表示を制御する制御部と
して機能させるためのプログラム。
(10)
ライブ配信するためのコンテンツのストリームを生成するコンテンツ生成部と、
前記コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に前記第1のテキスト情報の表示が継続されるようにフラグメント化された前記テキスト情報を取得するテキスト情報取得部と、
前記字幕データを含む前記コンテンツのストリームをライブ配信する配信部と
を備える配信装置。
(11)
配信装置の配信方法において、
前記配信装置が、
ライブ配信するためのコンテンツのストリームを生成し、
前記コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に前記第1のテキスト情報の表示が継続されるようにフラグメント化された前記テキスト情報を取得し、
前記字幕データを含む前記コンテンツのストリームをライブ配信する
ステップを含む配信方法。
(12)
コンピュータを、
ライブ配信するためのコンテンツのストリームを生成するコンテンツ生成部と、
前記コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に前記第1のテキスト情報の表示が継続されるようにフラグメント化された前記テキスト情報を取得するテキスト情報取得部と、
前記字幕データを含む前記コンテンツのストリームをライブ配信する配信部と
として機能させるためのプログラム。
(13)
配信装置及び受信装置からなる配信システムにおいて、
前記配信装置は、
ライブ配信するためのコンテンツのストリームを生成するコンテンツ生成部と、
前記コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に前記第1のテキスト情報の表示が継続されるようにフラグメント化された前記テキスト情報を取得するテキスト情報取得部と、
前記字幕データを含む前記コンテンツのストリームをライブ配信する配信部と
を備え、
前記受信装置は、
前記コンテンツのストリームを受信する受信部と、
受信した前記ストリームに含まれる前記字幕データに対応するフラグメント化された前記テキスト情報を解析する解析部と、
解析結果に従って、前記テキスト情報のうち、前記第2のテキスト情報を表示する場合に、前記第1のテキスト情報の表示が継続されるように表示を制御する制御部と
を備える
配信システム。

10 ストリーミング配信システム, 20 TTサーバ, 21 TTフラグメント生成部, 22 サンプル挿入部, 25 タイムスタンプ生成部, 30 IPTVサーバ, 31 コンテンツサンプル生成部, 32 フラグメントマルチプレクサ, 33 フラグメント配信部, 40 IPTVクライアント, 41 計時部, 42 受信部, 43 フラグメントデマルチプレクサ, 44 TTデコーダ, 45 コンテンツデコーダ, 46 表示制御部, 100 コンピュータ, 101 CPU

Claims (13)

  1. ライブ配信されるコンテンツのストリームを受信する受信部と、
    受信した前記ストリームに含まれる字幕データに対応するフラグメント化されたテキスト情報を解析する解析部と、
    解析結果に従って、前記テキスト情報のうち、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に、前記第1のテキスト情報の表示が継続されるように表示を制御する制御部と
    を備える受信装置。
  2. 前記テキスト情報は、その内容を記述した構造化文書と、前記構造化文書に適用される表示形式を定義した表示定義文書から構成され、
    前記第1のテキスト情報の内容を記述した第1の構造化文書には、前記第1のテキスト情報の表示開始を示す時刻が記述され、
    前記第2のテキスト情報の内容を記述した第2の構造化文書には、前記第1のテキスト情報の表示終了を示す時刻及び前記第2のテキスト情報の表示開始を示す時刻が記述されており、
    前記制御部は、解析結果に従って、前記第1の構造化文書に記述された前記第1のテキスト情報の表示開始を示す時刻に応じて、前記第1のテキスト情報の表示を開始した後、前記第2の構造化文書に記述された前記第1のテキスト情報の表示終了を示す時刻に応じて、表示中の前記第1のテキスト情報の表示を終了する
    請求項1に記載の受信装置。
  3. 前記第2の構造化文書に記述された前記第2のテキスト情報の表示開始を示す時刻は、前記第1のテキスト情報の表示終了を示す時刻よりも時間的に先となり、
    前記制御部は、解析結果に従って、前記第2の構造化文書に記述された前記第2のテキスト情報の表示開始を示す時刻に応じて、前記第2のテキスト情報の表示を開始する
    請求項2に記載の受信装置。
  4. 前記第2の構造化文書には、前記第2のテキスト情報の表示終了を示す時刻がさらに記述されており、
    前記制御部は、解析結果に従って、前記第2の構造化文書に記述された前記第2のテキスト情報の表示終了を示す時刻に応じて、前記第2のテキスト情報の表示を終了する
    請求項3に記載の受信装置。
  5. 前記第2の構造化文書に記述された前記第2のテキスト情報の表示終了を示す時刻は、前記第1のテキスト情報の表示終了を示す時刻よりも時間的に後となる
    請求項4に記載の受信装置。
  6. 前記表示定義文書は、その表示形式の定義内容が変更されるまで、同一のものが前記構造化文書に適用されるようになされる
    請求項2に記載の受信装置。
  7. 前記ストリームは、MP4ファイルフォーマットに準拠したフォーマットのデータであり、
    前記字幕データは、TTML(Timed Text Markup Language)の規格に準拠している
    請求項1に記載の受信装置。
  8. 受信装置の制御方法において、
    前記受信装置が、
    ライブ配信されるコンテンツのストリームを受信し、
    受信した前記ストリームに含まれる字幕データに対応するフラグメント化されたテキスト情報を解析し、
    解析結果に従って、前記テキスト情報のうち、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に、前記第1のテキスト情報の表示が継続されるように表示を制御する
    ステップを含む制御方法。
  9. コンピュータを、
    ライブ配信されるコンテンツのストリームを受信する受信部と、
    受信した前記ストリームに含まれる字幕データに対応するフラグメント化されたテキスト情報を解析する解析部と、
    解析結果に従って、前記テキスト情報のうち、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に、前記第1のテキスト情報の表示が継続されるように表示を制御する制御部と
    して機能させるためのプログラム。
  10. ライブ配信するためのコンテンツのストリームを生成するコンテンツ生成部と、
    前記コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に前記第1のテキスト情報の表示が継続されるようにフラグメント化された前記テキスト情報を取得するテキスト情報取得部と、
    前記字幕データを含む前記コンテンツのストリームをライブ配信する配信部と
    を備える配信装置。
  11. 配信装置の配信方法において、
    前記配信装置が、
    ライブ配信するためのコンテンツのストリームを生成し、
    前記コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に前記第1のテキスト情報の表示が継続されるようにフラグメント化された前記テキスト情報を取得し、
    前記字幕データを含む前記コンテンツのストリームをライブ配信する
    ステップを含む配信方法。
  12. コンピュータを、
    ライブ配信するためのコンテンツのストリームを生成するコンテンツ生成部と、
    前記コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に前記第1のテキスト情報の表示が継続されるようにフラグメント化された前記テキスト情報を取得するテキスト情報取得部と、
    前記字幕データを含む前記コンテンツのストリームをライブ配信する配信部と
    として機能させるためのプログラム。
  13. 配信装置及び受信装置からなる配信システムにおいて、
    前記配信装置は、
    ライブ配信するためのコンテンツのストリームを生成するコンテンツ生成部と、
    前記コンテンツの字幕データに対応するテキスト情報として、第1のテキスト情報よりも時間的に後に表示が開始される第2のテキスト情報を表示する場合に前記第1のテキスト情報の表示が継続されるようにフラグメント化された前記テキスト情報を取得するテキスト情報取得部と、
    前記字幕データを含む前記コンテンツのストリームをライブ配信する配信部と
    を備え、
    前記受信装置は、
    前記コンテンツのストリームを受信する受信部と、
    受信した前記ストリームに含まれる前記字幕データに対応するフラグメント化された前記テキスト情報を解析する解析部と、
    解析結果に従って、前記テキスト情報のうち、前記第2のテキスト情報を表示する場合に、前記第1のテキスト情報の表示が継続されるように表示を制御する制御部と
    を備える
    配信システム。
JP2013549216A 2011-12-16 2012-12-04 受信装置及びその制御方法、配信装置及び配信方法、プログラム、並びに配信システム Active JP6122781B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011275324 2011-12-16
JP2011275324 2011-12-16
PCT/JP2012/081308 WO2013088986A1 (ja) 2011-12-16 2012-12-04 受信装置及びその制御方法、配信装置及び配信方法、プログラム、並びに配信システム

Publications (2)

Publication Number Publication Date
JPWO2013088986A1 true JPWO2013088986A1 (ja) 2015-04-27
JP6122781B2 JP6122781B2 (ja) 2017-04-26

Family

ID=48612440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013549216A Active JP6122781B2 (ja) 2011-12-16 2012-12-04 受信装置及びその制御方法、配信装置及び配信方法、プログラム、並びに配信システム

Country Status (9)

Country Link
US (1) US9584837B2 (ja)
EP (1) EP2793464A4 (ja)
JP (1) JP6122781B2 (ja)
KR (1) KR20140102201A (ja)
CN (1) CN103988520B (ja)
BR (1) BR112014013976A2 (ja)
IN (1) IN2014MN01009A (ja)
RU (1) RU2616552C2 (ja)
WO (1) WO2013088986A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015159366A (ja) * 2014-02-21 2015-09-03 日本放送協会 受信機
JP6461638B2 (ja) * 2014-02-21 2019-01-30 日本放送協会 受信機
US9860574B2 (en) 2014-02-23 2018-01-02 Lg Electronics Inc. Method and apparatus for transceiving broadcast signal
JP6331670B2 (ja) * 2014-05-12 2018-05-30 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
JP6384119B2 (ja) * 2014-05-15 2018-09-05 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
WO2016159636A1 (ko) * 2015-03-30 2016-10-06 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
JP2017011325A (ja) * 2015-06-16 2017-01-12 ソニー株式会社 受信装置、送信装置、及び、データ処理方法
EP3370429A1 (en) * 2015-10-28 2018-09-05 Sony Corporation Transmission device, transmission method, receiver, and reception method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007610A (ja) * 2002-04-26 2004-01-08 Matsushita Electric Ind Co Ltd 逆多重化装置
JP2006238147A (ja) * 2005-02-25 2006-09-07 Toshiba Corp コンテンツ再生装置、字幕再生方法及びプログラム
JP2007067895A (ja) * 2005-08-31 2007-03-15 Fujitsu Ltd テキスト編集・再生装置、コンテンツ編集・再生装置及びテキスト編集・再生方法
JP2009177720A (ja) * 2008-01-28 2009-08-06 Sony Corp 表示制御装置、表示制御方法、およびプログラム
JP2010266552A (ja) * 2009-05-13 2010-11-25 Nippon Telegr & Teleph Corp <Ntt> テロップ表示装置及びテロップ表示方法
JP2011216930A (ja) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd 映像再生装置、映像表示装置および映像再生方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1781149B (zh) * 2003-04-09 2012-03-21 Lg电子株式会社 具有用于管理文本字幕数据重现的数据结构的记录媒体以及记录和重现的方法和装置
EP1620852B1 (en) * 2003-04-23 2014-06-04 LG Electronics Inc. Method and apparatus for synchronous reproduction of main contents recorded on an interactive recording medium and additional contents therefor
US20050078221A1 (en) * 2003-09-26 2005-04-14 Koji Kobayashi Apparatus for generating video contents with balloon captions, apparatus for transmitting the same, apparatus for playing back the same, system for providing the same, and data structure and recording medium used therein
KR100739682B1 (ko) * 2003-10-04 2007-07-13 삼성전자주식회사 텍스트 기반의 서브 타이틀 정보를 기록한 정보저장매체,그 처리장치 및 방법
KR100619053B1 (ko) * 2003-11-10 2006-08-31 삼성전자주식회사 서브 타이틀을 기록한 정보저장매체 및 그 처리장치
KR20050078907A (ko) * 2004-02-03 2005-08-08 엘지전자 주식회사 고밀도 광디스크의 서브타이틀 재생방법과 기록재생장치
JP4577409B2 (ja) 2008-06-10 2010-11-10 ソニー株式会社 再生装置、再生方法、プログラム、及び、データ構造
CN102301733B (zh) * 2009-01-29 2015-12-02 联想创新有限公司(香港) 显示设备、通信设备、显示方法和程序记录介质
JP2010219735A (ja) * 2009-03-16 2010-09-30 Kddi Corp 放送受信装置
JP2011155539A (ja) * 2010-01-28 2011-08-11 Toshiba Corp 映像信号処理装置およびその表示方法
US8914534B2 (en) * 2011-01-05 2014-12-16 Sonic Ip, Inc. Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
CN103688532B (zh) 2011-07-29 2018-05-04 索尼公司 流式传输分发装置和方法、流式传输接收装置和方法、流式传输系统
US9749504B2 (en) * 2011-09-27 2017-08-29 Cisco Technology, Inc. Optimizing timed text generation for live closed captions and subtitles
JP5903924B2 (ja) 2012-02-17 2016-04-13 ソニー株式会社 受信装置および字幕処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007610A (ja) * 2002-04-26 2004-01-08 Matsushita Electric Ind Co Ltd 逆多重化装置
JP2006238147A (ja) * 2005-02-25 2006-09-07 Toshiba Corp コンテンツ再生装置、字幕再生方法及びプログラム
JP2007067895A (ja) * 2005-08-31 2007-03-15 Fujitsu Ltd テキスト編集・再生装置、コンテンツ編集・再生装置及びテキスト編集・再生方法
JP2009177720A (ja) * 2008-01-28 2009-08-06 Sony Corp 表示制御装置、表示制御方法、およびプログラム
JP2010266552A (ja) * 2009-05-13 2010-11-25 Nippon Telegr & Teleph Corp <Ntt> テロップ表示装置及びテロップ表示方法
JP2011216930A (ja) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd 映像再生装置、映像表示装置および映像再生方法

Also Published As

Publication number Publication date
IN2014MN01009A (en) 2015-07-03
CN103988520B (zh) 2017-05-10
US20140310762A1 (en) 2014-10-16
EP2793464A4 (en) 2015-09-02
RU2616552C2 (ru) 2017-04-17
WO2013088986A1 (ja) 2013-06-20
RU2014123510A (ru) 2015-12-20
CN103988520A (zh) 2014-08-13
JP6122781B2 (ja) 2017-04-26
US9584837B2 (en) 2017-02-28
EP2793464A1 (en) 2014-10-22
KR20140102201A (ko) 2014-08-21
BR112014013976A2 (pt) 2017-06-13

Similar Documents

Publication Publication Date Title
Sodagar The mpeg-dash standard for multimedia streaming over the internet
CN103858366B (zh) 终端设备、服务器设备、信息处理方法、程序和互锁应用进给系统
US20110116772A1 (en) Method and apparatus for providing trick play service
US9591361B2 (en) Streaming of multimedia data from multiple sources
JP4028469B2 (ja) マルチメディア放送送受信装置及び方法
WO2012111514A1 (ja) 情報処理装置、情報処理方法、及びプログラム
EP2499793B1 (en) Adaptive streaming method and apparatus
KR101783579B1 (ko) 파일 포맷 기반의 적응적 스트림 생성, 재생 방법 및 장치와 그 기록 매체
JP2007013994A (ja) ローカル3次元ビデオを具現するためのエンコーディング/デコーディング方法及び装置
KR20130115227A (ko) 수신 장치, 수신 방법 및 프로그램
JP2003304511A (ja) 通信端末、サーバ装置、中継装置、放送通信システム、放送通信方法及びプログラム
JP6014870B2 (ja) ストリーミング・メディア・コンテンツのリアルタイム・トランスマックス変換の方法およびシステム
EP2868097A1 (en) Method and system for ad insertion in over-the-top live media delivery
KR20120080214A (ko) 다이내믹 미디어 파일 스트리밍을 위한 시스템, 방법 및 장치
US8732783B2 (en) Apparatus and method for providing additional information using extension subtitles file
JPWO2012096372A1 (ja) コンテンツ再生装置、コンテンツ再生方法、配信システム、コンテンツ再生プログラム、記録媒体、およびデータ構造
JP6088439B2 (ja) マルチメディアストリーミングシステムにおけるコンテンツの格納及び再生のための装置及びその方法
US9699521B2 (en) Method for transceiving media files and device for transmitting/receiving using same
DK2824933T3 (da) Fremgangsmåde og indretning til at tilvejebringe HTTP-streamingindhold baseret på attributter af klienten.
CN108513143A (zh) 提供串流内容的装置及方法
JP2007173987A (ja) マルチメディアデータ送受信システム、及び装置、又はプログラム
KR100994949B1 (ko) 사용자 사양에 따른 비트스트림 필터링 방법
CN103051931B (zh) 回看节目录制、播放方法、服务器、客户端及系统
JP6333226B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR101717555B1 (ko) 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151203

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170403

R150 Certificate of patent or registration of utility model

Ref document number: 6122781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150