JP6715910B2 - インターネット経由で同時配信されるテレビ番組における字幕データの処理システム、処理方法およびプログラム - Google Patents

Description

本発明は、字幕配信に関し、更に詳しくは、テレビ局からインターネット経由で同時配信されるテレビ番組における字幕データの処理に関する。

テレビ局から放送されるテレビ番組を視聴者がテレビ受像機を用いて視聴するというのは、映画館へ行って映画を見るのと同様に、歴史的に最も一般的な動画視聴方法である。ここで、テレビ受像機とは、ワンセグ機能を有するスマートフォンや携帯ゲーム機を含むものとする。他方で、インターネットなどの通信回線の高速化および低価格化に伴い、インターネット経由で配信される動画を、パソコン、タブレット、スマートフォンなどを使って視聴するという動画視聴方法も、現在では、広く普及している。

最近では、テレビ局が一部の番組をインターネット経由の動画として配信することも開始されている。このような既に行われているテレビ番組のインターネット配信においては、何らかの形式でいったん記憶媒体に記憶されたテレビ番組を、オンデマンド形式で、動画コンテンツとして配信しているのであって、現にテレビ放送されつつある番組を、リアルタイムまたは実質的にリアルタイムで同時配信するのとは異なる。

しかし、各テレビ局では、近い将来に、テレビ放送される番組を、インターネット経由でリアルタイムまたは実質的にリアルタイムで同時配信することが、計画されている。そのように、放送されつつある現在進行形のテレビ番組が、インターネット経由で同時配信されると、テレビ番組を、従来のようにテレビ受像機で視聴することができるのと同時に、パソコン、タブレット、スマートフォンなどを使っても視聴することができるようになる。視聴者の側からすると、テレビ放送される番組も、インターネット配信動画も、見た目は同じようなものに見える。しかし、テレビ放送とインターネット配信では、動画コンテンツを視聴者に届ける仕組みが異なる。そのため、特に、動画コンテンツのレンダリングに伴いディスプレイ上に同時進行的に表示される字幕データをどのように処理すべきかについて、従来、様々な試みがなされてきた。

テレビ放送される動画コンテンツを、インターネットなどの通信回線を経由して配信するために、ＨＴＴＰ動画配信形式が一般的に用いられている。

ＨＴＴＰ動画配信形式で配信するためには、テレビの放送信号を入力すると、Ｈ．２６４やＨ．２６５等の圧縮コーデックを用いてインターネット配信に適した動画形式にリアルタイム変換（エンコード）するエンコーダとそれを、ＨＬＳやＭＰＥＧ−ＤＡＳＨと呼ばれる、インターネット配信に適したファイル形式にリアルタイム変換（パッケージング）するパッケージャが必要である。このエンコーダ（狭義）とパッケージャを一体としてエンコーダ（広義）でエンコードとパッケージングを行い、放送信号をリアルタイムに配信に適した方式に変換する場合もある。動画コンテンツを受信する端末によって、配信に適したファイル形式やＤＲＭ等の暗号化形式が異なるため、パッケージャでそれぞれに適したファイル形式に変換し、必要に応じでＤＲＭ等の暗号化を行うことが一般的である。例えば、Ａｐｐｌｅ社のｉＰｈｏｎｅへは、ＨＬＳ方式で配信を行い、Ｇｏｏｇｌｅ社のＡｎｄｒｏｉｄ端末へは、ＭＰＥＧ−ＤＡＳＨ方式で配信を行うなどが行われている。インターネットなどの通信回線を経由して、テレビ番組である動画コンテンツを配信する場合には、音声を含む映像に関しては、このエンコーダとパッケージャによって、配信する動画ファイルが生成される。しかし、インターネットを経由して同時配信するためには、テレビ放送される番組における字幕データの処理に、何らかの工夫が必要となる。

テレビ放送される番組は、ＡＲＩＢ（一般社団法人電波産業会）によって定められた標準規格に従うことになっている。このＡＲＩＢ規格によると、テレビ放送される字幕データは、映像とは別に、テキストデータの形で放送信号に載せて、送信装置から送出される。テレビ受像機は、放送信号を受信すると、放送信号から映像と字幕テキストとをそれぞれ抽出して、映像信号と字幕テキスト信号とにおいて定められた表示時刻に従い、それらの両者を同期させながら表示する。字幕テキストの表示は、定められた表示開始時刻と表示終了時刻とによって制御される。

字幕テキストの表示に関しては、例えば、次の３つの特許文献に、関連する技術が記載されている。特許文献１（特開２００９−１７７７２０号公報）には、現在の字幕と過去の字幕とを同時に表示する技術が記載されている。特許文献１に記載の技術では、表示部が２つの画面を有している。第１の画面である現在画面には、受信した放送信号から抽出された映像信号をそのままデコードして得られた番組の映像に同期させて、現在の字幕が表示される。他方で、第２の画面である過去画面には、現在画面に表示されている現在の映像および字幕よりも所定時間だけ早いタイミングで表示された過去の字幕が表示される。この技術は、例えば、テレビ受像機に適用できるとされる。

特許文献２（特開２００３−０１８４９１号公報）には、画面に表示された後に消えてしまう字幕を記憶し、記憶した字幕を使用して出力の制御を可能にする技術が記載されている。具体的には、特許文献２に記載の技術では、記憶装置に記憶された多重化された時間情報を有するストリームを、時間情報を保持したまま分離して、分離した情報が字幕情報ならば、字幕とその時間情報を字幕リスト保持用メモリに保持し、分離した情報が映像情報ならば、時間情報に基づいて、その映像情報に対応する時間情報の字幕履歴と合成して出力する。分離した情報が音声情報ならば、時間情報を用いることにより、その音声情報に対応した映像と同じタイミングで出力する。そして、字幕履歴の特定の字幕を選択すると、字幕リスト保持用メモリに記憶されているその字幕に対応した時間情報に基づいて、上記ストリーム出力を制御する。

特許文献１および２のような従来技術においても、エンコーダがテレビ局によって放送される信号から映像および音声をエンコードして、ファイルとして出力することは可能である。しかし、そのようなエンコーダでは、字幕データをリアルタイムにエンコードすることができない。その結果として、放送と同時に、インターネットなどの通信回線を経由してテレビ番組を配信しようとしても、字幕なしの映像だけしか配信できないという問題がある。現在実施されているインターネットを経由した動画コンテンツの同時配信においても、字幕データは配信されていない。

つまり、特許文献１および特許文献２に記載の技術によると、視聴者側で、過去の字幕を見ることが可能であり、過去の字幕に基づいて出力ストリームを制御することも可能になるが、テレビ放送される番組における字幕データのリアルタイムでの生成は不可能である。しかし、もちろん、インターネットなどの通信回線を経由してテレビ番組の動画コンテンツを配信する場合にも、受信側（視聴者側）でリアルタイムに字幕が表示されることが望まれる。

特許文献３（特開２０１７−２０４６９５号公報）に記載の技術は、そのような課題を認識した上で、開発されたものであると思われる。すなわち、特許文献３には、放送信号を基にして、リアルタイムで配信可能な字幕データを生成するための字幕データ生成装置およびそのプログラムが記載されている。具体的には、特許文献３記載の字幕データ生成装置は、特許文献３の図１に図解されているように、字幕抽出部と、字幕変換部と、記憶部と、データ生成部と、出力部とを備えている。字幕抽出部は、外部から取得した放送信号から字幕データを抽出する。字幕変換部は、字幕データから字幕テキストと字幕テキストの表示時刻の情報とを取得し、字幕テキストをその表示時刻と関連付けて出力する。記憶部は、放送信号に基づいてエンコード、パッケージングされた動画ファイルを記憶する。データ生成部は、記憶部が記憶する動画ファイルの表示時刻と同期するように、字幕テキストを含む字幕ファイルを生成する。出力部は、記憶部から読み出した動画ファイルとデータ生成部が生成した字幕ファイルとを出力する。以上のような構成により、特許文献３記載の字幕生成装置は、リアルタイムで配信可能な字幕データを生成する。

特開２００９−１７７７２０号公報 特開２００３−０１８４９１号公報 特開２０１７−２０４６９５号公報

上述した特許文献３に記載の字幕データ生成装置によると、字幕テキストを含む字幕ファイルのリアルタイムでの生成が可能になる。しかし、本発明では、特許文献３に記載の字幕生成装置とは異なるパッケージャという構成要素を用いることによって、より簡潔な仕組みにより、リアルタイムでの字幕配信を可能にする。

本発明によると、動画信号変換システムであって、字幕データを含む動画信号を受け取る手段と、受け取られた動画信号から、動画データと字幕データとを抽出する手段と、抽出された動画データと字幕データとを変換して、変換動画データと変換字幕データとを生成する手段であって、変換動画データと変換字幕データとが、共通の時間情報を有する、手段と、変換字幕データから、ネットワーク配信するための複数の種類のネットワーク配信用字幕データを生成する手段と、複数の種類のネットワーク配信用字幕データの少なくとも１つの配信用字幕データと変換動画データとを、共通の時間情報を用いて合成して、ネットワーク配信するための複数の異なる動画信号を生成する手段と、を備える動画信号変換システムが提供される。

更に、本発明によると、テレビ放送における規格に準拠したテレビ放送信号を、インターネット経由の配信に適した形式に変換するための字幕データ処理システムであって、テレビ放送信号を、映像データと、音声データと、字幕データとに分離する手段と、分離された字幕データをその性質と受信端末とに応じて複数の種類の字幕データに分離し、分離されたそれぞれの種類の字幕データをインターネット経由の配信に適したデータにそれぞれの性質に応じて変換する手段と、性質に応じて変換されたそれぞれの字幕データと、先に分離された映像データおよび音声データとを、字幕データの表示時刻と映像データおよび音声データの表示時刻とをが同期するように関連付けて、再度多重化する手段と、を備える字幕データ処理システムが提供される。

更にまた、ある実施形態では、それぞれの性質に応じて分離され変換された複数の種類の字幕データは、標準字幕（ＷｅｂＶＴＴ／ＴＴＭＬ）データと、拡張字幕データと、イメージ字幕データとである。

本発明によると、動画信号変換方法であって、字幕データを含む動画信号を受け取るステップと、受け取られた動画信号から、動画データと字幕データとを抽出するステップと、抽出された動画データと字幕データとを変換して、変換動画データと変換字幕データとを生成するステップであって、変換動画データと変換字幕データとが、共通の時間情報を有する、ステップと、変換字幕データから、ネットワーク配信するための複数の種類のネットワーク配信用字幕データを生成するステップと、複数の種類のネットワーク配信用字幕データの少なくとも１つの配信用字幕データと変換動画データとを、共通の時間情報を用いて合成して、ネットワーク配信するための複数の異なる動画信号を生成するステップと、を含む動画信号変換方法が提供される。

更に、本発明によると、テレビ放送における規格に準拠したテレビ放送信号を、インターネット経由の配信に適した形式に変換するための字幕データ処理方法であって、テレビ放送信号を、映像データと、音声データと、字幕データとに分離するステップと、分離された字幕データをその性質と受信端末とに応じて複数の種類の字幕データに分離し、分離されたそれぞれの種類の字幕データをインターネット経由の配信に適したデータにそれぞれの性質に応じて変換するステップと、性質に応じて変換されたそれぞれの字幕データと、先に分離された映像データおよび音声データとを、字幕データの表示時刻と映像データおよび音声データの表示時刻とがを同期するように関連付けて、再度多重化するステップと、を含む字幕データ処理方法が提供される。

更にまた、ある実施形態では、それぞれの性質に応じて分離され変換された複数の種類の字幕データは、標準字幕（ＷｅｂＶＴＴ／ＴＴＭＬ）データと、拡張字幕データと、イメージ字幕データとである。

更に、本発明によると、上記の字幕データ処理方法にステップをコンピュータに実行させるコンピュータプログラムも提供される。

テレビ局から放送されるＳＤＩ形式の信号が、本発明による字幕配信システムを構成するエンコーダとパッケージャとを介して、インターネット経由で配信されるＨＴＴＰ動画配信形式の信号に変換される様子を示す概略図である。 パッケージャの内部構成を含む本発明による信号処理の概要を示す図である。 本発明における信号処理の一例を示すフローチャートである。 特許文献３の場合に、字幕出力に遅延が生じ得る理由を説明するタイムチャートである。 本発明の場合に、字幕出力に遅延が生じない理由を説明するタイムチャートである。

図１を参照すると、本発明による字幕配信システムの概要が図解されている。左側のブロックはエンコーダ１０１であり、このエンコーダ１０１は、テレビ局によって放送された字幕情報を含む映像信号がＳＤＩ（ＳＤ−ＳＤＩ，ＨＤ−ＳＤＩ等）で入力されると、この放送信号から映像と字幕とをそれぞれ抽出し、ＭＰＥＧ２−ＴＳ形式の動画ストリームにＡＲＩＢ ＳＴＤ−Ｂ３７形式の字幕が重畳された信号を出力する 。ＭＰＥＧ２−ＴＳ形式の動画ストリームにＡＲＩＢ ＳＴＤ−Ｂ３７形式の字幕が重畳された信号を出力するエンコーダは既存の技術である。

図１の右側のブロックは、パッケージャ１０２であり、エンコーダ１０１から出力された信号を受け取り、インターネット経由で配信されるためのデータ処理を行う。パッケージャ１０２は、文字通り、複数の機能のパッケージングを行う、すなわち、複数の機能をまとめて実行する構成要素であり、具体的な内部構成については、図２を参照して後述される。パッケージャ１０２は、インターネットを経由して個々の視聴者に配信されるＨＴＴＰ動画配信形式の信号を出力する。

次に図２は、図１のパッケージャ１０２の内部で実行される機能を含む態様で本発明による字幕配信システムの概要を図解している。図１のエンコーダ１０１からは、上述したように、ＭＰＥＧ２−ＴＳ形式の動画ストリームにＡＲＩＢ ＳＴＤ−Ｂ３７形式の字幕が重畳された信号が出力されるのであるが、エンコーダ１０１から出力されるこの信号がパッケージャ１０２に入力されると、デマルチプレクサ２０１によって、映像／音声データと、字幕データとが分離される。字幕データから分離された映像／音声データは、必要に応じて変換されマルチプレクサ２０５に送られる。字幕データは、その性質に応じて、標準字幕（ＴＴＭＬ／ＷｅｂＶＴＴ）への変換を行うブロック２０２と、拡張字幕への変換を行うブロック２０３と、カスタムイメージ字幕への変換を行うブロック２０４とにおいて、それぞれの変換が行われる。

ブロック２０２における標準字幕（ＴＴＭＬ／ＷｅｂＶＴＴ）への変換では、ＡＲＩＢ外字は、文字コード変換テーブルを用いて、代替文字に変換される。文字の色や背景色などの変換にも対応する。ただし、ＡＲＩＢで用いられるルビ文字指定（フォントサイズおよび位置指定）の場合には、ＷｅｂＶＴＴ／ＴＴＭＬの＜ｒｕｂｙ＞タグとの互換性が、一部制限される場合があり得る。また、ＡＲＩＢの絶対座標の変換が、一部制限される場合があり得る。動画コンテンツを受信する端末の標準的な字幕表示機能で実現可能な表現に制限されるため、ＡＲＩＢで規定されている全ての字幕表示を実現することはできない。

ブロック２０３における拡張字幕への変換では、ＡＲＩＢ字幕機能を包含しているフォーマットに変換する。字幕の一部を、ウエブフォントや埋め込みフォントで提供する事も、テキストではなくイメージとして提供することも可能である。ビットマップ文字表記など、ＡＲＩＢの大部分の機能が表現可能である。ただし、動画コンテンツを受信する端末の標準字幕表示機能を用いることができないために、動画コンテンツを受信する端末での字幕表示機構が、別途必要になる。

ブロック２０４におけるイメージへの変換では、字幕データの画像への変換がなされる。その場合には、サーバにおいて、ＡＲＩＢ字幕をイメージファイルに変換する。動画コンテンツを受信する端末におけるテキストのレンダリング方式による差分は存在しない。つまり、フォント等による表示問題は生じない。ただし、当然であるが、テキストと比較すると、データ容量は大きくなる。

これらのブロック２０２、２０３、２０４において変換された字幕データは、先に分離された映像／音声データもしくは、分離された映像／音声データがＤＲＭ等によって暗号化等の変換されたデータと、マルチプレクサ２０５において、再度多重化され、インターネット経由で配信されるＨＴＴＰ動画配信形式のデータが出力される。エンコーダから出力されたＡＲＩＢ ＳＴＤ−Ｂ３７が重畳されたＭＰＥＧ２−ＴＳが入力されるデマルチプレクサ２０１から、映像／音声データと字幕データとが再度多重化されるマルチプレクサ２０５までの構成を、本発明では、集合的にパッケージャ１０２と称する。

パッケージャ２０１から出力された信号は必要に応じてデータを保存するストレージ２０６を介してオリジンサーバ２０７に送られる。元は、放送局から放送されるテレビ番組であった動画コンテンツが、この段階に至ると、インターネット経由での配信に適した形式に変換されており、現在でも一般的に行われている動画コンテンツの配信と同様に、インターネットを経由して、視聴者のパソコン、タブレット、スマートフォンなど、インターネット接続されたデバイスであるプレイヤ２０８に配信され、視聴される。その際に、本発明のパッケージャ１０２の内部において、標準字幕、拡張字幕、イメージ字幕などに変換された元のテレビ番組における字幕が、動画のレンダリングと同期して、視聴者のデバイス上で、適切にレンダリングされる。

図３のフローチャートには、ＡＲＩＢ形式の放送信号が本発明において処理される際に、字幕の種類に応じて別個の処理を受ける様子の一例が示されている。

ここで、本発明と、先行技術文献として挙げた特許文献３に記載の技術との差異について、付言する。特許文献３に記載の字幕データ生成装置は、字幕抽出部と、字幕変換部と、記憶部と、データ生成部と、出力部とを備え、字幕抽出部は、放送信号から字幕データを抽出する。字幕変換部は、字幕データから字幕テキストと字幕テキストの表示時刻の情報とを取得し、字幕テキストをその表示時刻と関連付けて出力する。記憶部は、放送信号に基づいてエンコードされたＨＴＴＰ配信形式のセグメント化された動画ファイルとプレイリストファイルを記憶する。データ生成部は、記憶部が記憶する動画ファイルの表示時刻と同期するように、字幕テキストを含む字幕ファイルを生成する。出力部は、記憶部から読み出した動画ファイルとデータ生成部が生成した字幕ファイルと編集したプレイリストファイルを出力する。このような構成により、特許文献３記載の字幕生成装置は、リアルタイムで配信可能な字幕データを生成していた。特許文献３に記載の字幕データ生成装置では、あらかじめタイムコード挿入器で付加された時刻情報をもとに、エンコーダとパッケージャで出力されたＨＴＴＰ配信形式の動画ファイルと字幕データに時刻情報を付与し、その時刻情報をもとに別々に作成された動画ファイルと字幕データを単に関連付けて出力しているだけである。

これに対し、本発明による字幕配信では、元のテレビ放送されている動画コンテンツに含まれる様々な字幕データを、その性質や受信する端末に応じて異なる字幕に変換することにより、元のテレビ番組の中で多様な字幕が用いられている場合であっても、格別の遅延を伴うことなく、インターネット接続されたデバイスに向けて、テレビ放送される動画コンテンツを同時配信することを可能になる。

特許文献３に記載の字幕データ生成装置に入力される、エンコード装置から出力されたＨＴＴＰ配信形式のファイルと、放送信号（ＳＤＩ）は、タイムコード挿入機によって時刻情報が挿入されている必要があるが、本発明による字幕配信では、タイムコードの挿入は必ずしも必要とされない。特許文献３の場合には、字幕と映像とを分離した後で合成しているために、同期のための時刻が必要であるのに対して、本発明の構成によると、映像と字幕とが、ＭＰＥＧ２−ＴＳ内で同期されているために、別に同期のための時刻情報を入れる必要がないからである。

放送のインターネット同時配信においては、従来の放送と同様の可用性が求められる事が想定される。インターネットでのライブ配信でも、可用性を高める技術が利用されているが、字幕を付与する事によって可用性を犠牲にすることはできない。本発明において、複数台のエンコーダ装置を同期して動作させ、同期された複数のＭＰＥＧ−ＴＳストリームを出力させる既存の技術を活用することで、パッケージャにおいても字幕が付与されたＨＴＴＰ配信形式の同期した出力を得ることができる。同期した出力は、冗長系の再生切り替えに必要である。本発明により、エンコーダとパッケージャという少ない構成を用いて、冗長された配信システムを構築することが可能である。より複雑な構成において冗長性を考慮する必要があった、従来の字幕技術に比べて、コストや可用性の点でもメリットがある。

ＡＲＩＢ規格の字幕データは、表示開始タイミングのみが指定されており、次の字幕データ（表示クリア指示データを含む）のタイミングまで表示を続ける、標準的な字幕データ（ＴＴＭＬ／ＷｅｂＶＴＴ）においては、字幕データとともに表示開始と表示終了のタイミングを記述する必要がある。言い換えると標準字幕のデータファイルを作成するためには、字幕表示を終了するタイミングを待たずに字幕ファイルを作成することができない。特許文献３記載の字幕生成装置も同様であり、長時間同じ字幕を表示している番組では字幕データの作成に時間がかかり、ひいては動画の再生を途中で停止せざるをえない可能性がある。動画再生の中断を未然に防ぐためには、意図的に動画ファイルの出力を遅延させ、その遅延時間内に字幕の処理を行う必要があるため、配信のリアルタイム性を犠牲にする必要が生じる。本発明の拡張字幕、イメージ字幕方式においては、ＡＲＩＢ字幕規格と同様に表示開始のタイミングのみを指定し、次の字幕もしくは字幕非表示の指示があるまで表示することで、字幕表示終了のタイミングを待たずに字幕データを出力することができる。このことから意図的な遅延を付加する必要がなく、遅延の少ない配信を実現することができる。 また、本発明では動画のプレイリストファイル出力するパッケージャで字幕を出力しているため、動画のプレイリストを出力するタイミングをパッケージャが知る事ができる。標準字幕においても動画のプレイリストファイルの出力タイミングに合わせて、字幕データの表示終了タイミングを指定し、次の字幕データとして同じ表示内容を記載することで、字幕表示終了のタイミングを待たずして字幕を出力できるため、動画の再生に意図的な遅延を加えることなく安定した動画の再生が可能であり、遅延のない標準字幕の出力が可能になる。

なお、これに関して、図４には、特許文献３の場合に、字幕出力に遅延が生じ得る理由を説明するタイムチャートが示されている。また、図５には、本発明の場合に、字幕出力に遅延が生じない理由を説明するタイムチャートが示されている。

また、本発明によると、パッケージャの部分は、必ずしも各テレビ局が用意することは必要ないことを指摘しておきたい。例えば、テレビ局は、図１のエンコーダ１０１までを自前で用意して、それ以降の構成については、動画配信サービスを担当する第三者に任せることも可能である。本発明において、エンコーダから出力されるＭＰＥＧ−ＴＳストリームは、高々数メガｂｐｓでありインターネット等の回線を用いて伝送することがＳＤＩ信号と比べて容易であること、エンコーダから入力されたストリームを様々な配信形式やＤＲＭなどの暗号化形式に応じて、パッケージング処理を行うパッケージャの出力は入力の数倍の帯域を必要とされることから、より広帯域なネットワーク接続が提供されるクラウド等のデータセンターに設置されるのが一般的である。

本発明におけるパッケージャが担う機能は、動画コンテンツの内容とは独立なデータ処理であり、コストを考慮するならば、各テレビ局が独自に用意するよりも、複数のテレビ局からの番組を集合的に処理する機構を用意する方が、合理的であると考えられるからである。

Claims (7)

1. 動画信号変換システムであって、
   字幕データを含む動画信号を受け取る手段と、
   受け取られた動画信号から、動画データと字幕データとを抽出する手段と、
   抽出された動画データと字幕データとを変換して、変換動画データと変換字幕データとを生成する手段であって、前記変換動画データと前記変換字幕データとが、共通の時間情報を有する、手段と、
   前記変換字幕データから、ネットワーク配信するための複数の種類のネットワーク配信用字幕データを生成する手段であって、該複数の種類のネットワーク配信字幕データが、標準字幕（ＷｅｂＶＴＴ／ＴＴＭＬ）データと、拡張字幕データと、イメージ字幕データとであり、拡張字幕データ及びイメージ字幕データの各々は、各字幕テキストを表示する時刻情報として表示開始時刻情報のみを含み、標準字幕（ＷｅｂＶＴＴ／ＴＴＭＬ）データは、各字幕テキストを表示する時刻情報として表示開始時刻情報と、該字幕テキストが関連する動画のプレイリストファイルの出力タイミングに合わせた表示終了時刻情報を含む、手段と、
   前記複数の種類のネットワーク配信用字幕データの少なくとも１つの配信用字幕データと前記変換動画データとを、前記共通の時間情報を用いて合成して、ネットワーク配信するための複数の異なる動画信号を生成する手段と、
   を備える、動画信号変換システム。
2. テレビ放送における規格に準拠したテレビ放送信号を、インターネット経由の配信に適した形式に変換するための字幕データ処理システムであって、
   前記テレビ放送信号を、映像データと、音声データと、字幕データとに分離する手段と、
   前記分離された字幕データをその性質に応じて複数の種類の字幕データに分離し、分離されたそれぞれの種類の字幕データをインターネット経由の配信に適したデータにそれぞれの性質に応じて変換する手段と、
   性質に応じて変換されたそれぞれの字幕データと、先に分離された映像データおよび音声データとを、前記字幕データの表示時刻と前記映像データおよび音声データの表示時刻とが同期するように関連付けて、再度多重化する手段と、
   を備える、字幕データ処理システム。
3. 前記それぞれの性質に応じて分離され変換された複数の種類の字幕データが、標準字幕（ＷｅｂＶＴＴ／ＴＴＭＬ）データと、拡張字幕データと、イメージ字幕データとである、請求項２に記載の字幕データ処理システム。
4. 動画信号変換方法であって、
   字幕データを含む動画信号を受け取るステップと、
   受け取られた動画信号から、動画データと字幕データとを抽出するステップと、
   抽出された動画データと字幕データとを変換して、変換動画データと変換字幕データとを生成するステップであって、前記変換動画データと前記変換字幕データとが、共通の時間情報を有する、ステップと、
   前記変換字幕データから、ネットワーク配信するための複数の種類のネットワーク配信用字幕データを生成するステップであって、該複数の種類のネットワーク配信字幕データが、標準字幕（ＷｅｂＶＴＴ／ＴＴＭＬ）データと、拡張字幕データと、イメージ字幕データとであり、拡張字幕データ及びイメージ字幕データの各々は、各字幕テキストを表示する時刻情報として表示開始時刻情報のみを含み、標準字幕（ＷｅｂＶＴＴ／ＴＴＭＬ）データは、各字幕テキストを表示する時刻情報として表示開始時刻情報と、該字幕テキストが関連する動画のプレイリストファイルの出力タイミングに合わせた表示終了時刻情報を含む、ステップと、
   前記複数の種類のネットワーク配信用字幕データの少なくとも１つの配信用字幕データと前記変換動画データとを、前記共通の時間情報を用いて合成して、ネットワーク配信するための複数の異なる動画信号を生成するステップと、
   を含む、動画信号変換方法。
5. テレビ放送における規格に準拠したテレビ放送信号を、インターネット経由の配信に適した形式に変換するための字幕データ処理方法であって、
   前記テレビ放送信号を、映像データと、音声データと、字幕データとに分離するステップと、
   前記分離された字幕データをその性質に応じて複数の種類の字幕データに分離し、分離されたそれぞれの種類の字幕データをインターネット経由の配信に適したデータにそれぞれの性質に応じて変換するステップと、
   性質に応じて変換されたそれぞれの字幕データと、先に分離された映像データおよび音声データとを、前記字幕データの表示時刻と前記映像データおよび音声データの表示時刻とが同期するように関連付けて、再度多重化するステップと、
   を含む、字幕データ処理方法。
6. 前記それぞれの性質に応じて分離され変換された複数の種類の字幕データが、標準字幕（ＷｅｂＶＴＴ／ＴＴＭＬ）データと、拡張字幕データと、イメージ字幕データとである、請求項５に記載の字幕データ処理方法。
7. コンピュータに請求項４から６のいずれかに含まれるステップを実行させるコンピュータプログラム。

Images