JP6399686B2 - 受信機 - Google Patents

Description

本発明は、映像コンテンツに重畳して表示させる字幕文字列を扱う受信機に関する。

近年、デジタルテレビ放送において字幕サービス（クローズドキャプション）が提供されており、従来の映像コンテンツに文字列を重畳することで、聴覚障碍者もテレビ放送を楽しむことができる。非特許文献１には、字幕情報をＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）に収容して伝送する技術が開示されている。また、字幕情報をＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）のＭＦＵ（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）またはＭＰＵ（Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に収容して伝送する方式が検討されている。字幕情報に含まれる字幕文字列は、字幕情報で定義される時刻制御モードに応じて、番組または時刻に同期して表示されたり、同期せずに受信後に即時表示されたりする。非特許文献１に記載の字幕情報には、映像コンテンツのうち当該字幕情報と同時に伝送される部分が表示されるタイミングで、当該部分に重畳して表示される字幕文字列が格納される。そのため、受信機は、受信した字幕情報を順次表示させることで、映像コンテンツに対応する字幕文字列を表示させることができる。

「デジタル放送におけるデータ放送符号化方式と伝送方式 標準規格」、ＡＲＩＢ ＳＴＤ−Ｂ２４、５．４版、社団法人電波産業会、平成２１年１２月１６日

しかしながら、１つの字幕情報に含まれる字幕文字列は、あるタイミングで表示すべき１つの字幕文字列だけであるため、非特許文献１に記載の方法では、受信機は、表示装置に確実に字幕文字列を表示させることができるものの、番組全体に係る字幕文字列を用いたサービスを提供することができない。
本発明の目的は、上述した課題を解決する受信機を提供することにある。

第１の態様は、放送波に多重された映像コンテンツを受信する映像受信部と、前記映像コンテンツのうち前記映像送信部が送信している部分に重畳して表示させる文字列である字幕文字列を１つ含む基本字幕情報を受信する基本字幕受信部と、前記映像コンテンツに重畳して表示させる複数の字幕文字列と当該字幕文字列の表示時刻とを関連付けた拡張字幕情報を受信する拡張字幕受信部と、前記映像コンテンツに係る前記拡張字幕情報から所定の検索文字列を検索し、前記検索文字列を含む字幕文字列に関連付けられた表示時刻を取得する文字列検索部とを備え、前記基本字幕取得部は、前記放送波に多重された前記基本字幕情報を取得し、前記拡張字幕取得部は、ネットワークを介して送信された前記拡張字幕情報を取得する受信機である。

上記態様のうち少なくとも１つの態様によれば、受信機は、一の時刻に画面に表示される字幕文字列を含む基本字幕情報と複数の字幕文字列を格納する拡張字幕情報を受信する。これにより、受信機は、基本字幕情報を用いて確実に字幕文字列を表示しつつ、拡張字幕情報を用いて字幕文字列を用いたサービスを提供することができる。

一実施形態による放送システム１の構成を示す概略ブロック図である。 基本字幕情報の一例を示す図である。 拡張字幕情報の一例を示す図である。 映像コンテンツ及び字幕情報を取得するＨＴＭＬ５アプリケーションの例を示す図である。 字幕検索アプリケーションの実行時の受信機３００の動作を示すフローチャートである。 字幕表示アプリケーションの実行時の受信機３００の動作を示すフローチャートである。

以下、図面を参照しながら実施形態について詳しく説明する。
図１は、一実施形態による放送システム１の構成を示す概略ブロック図である。
放送システム１は、放送送出装置１００、サーバ装置２００、受信機３００を備えるシステムである。なお、放送送出装置１００及びサーバ装置２００は放送事業者が所有するものであり、受信機３００は利用者が所有するものである。

放送送出装置１００は、映像パケット生成部１０１と基本字幕パケット生成部１０２と放送部１０３とを備える。
映像パケット生成部１０１は、映像コンテンツをＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）データ、ＭＦＵ（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）データまたはＭＰＵ（Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）データに格納する。
基本字幕パケット生成部１０２は、基本字幕情報をＰＥＳデータ、ＭＦＵデータまたはＭＰＵデータに格納する。基本字幕情報は、ＴＴＭＬ（Ｔｉｍｅｄ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）の形式で記述された情報である。また、基本字幕情報には、一の時刻に画面に表示される字幕文字列が含まれる。つまり、基本字幕情報は、経時的に変化する映像コンテンツの内容に合わせて逐次変化する。

図２は、基本字幕情報の一例を示す図である。
基本字幕情報は、図２に示すように、一の時刻に画面に表示される字幕文字列を格納するＴＴＭＬ形式のデータである。図２に示す例では、００：００：１１：０６から００：００：１２：１４までの時刻に表示される字幕文字列が基本字幕情報に格納されている。このように、基本字幕情報に一の時刻に画面に表示される字幕文字列を格納することで、基本字幕情報のデータサイズが小さくなり、放送送出装置１００は、基本字幕情報を短時間で確実に送出することができる。
なお、図２に示す例は、基本字幕情報が字幕文字列の表示時刻及び非表示時刻を格納するものであるが、これに限られず、基本字幕情報は、表示時刻及び非表示時刻を格納していなくても良い。この場合、受信機３００は、当該基本字幕情報を受信した場合に、即時に字幕情報を表示装置に表示させる。

放送部１０３は、映像コンテンツを格納したＰＥＳ、ＭＦＵまたはＭＰＵ、及び基本字幕情報を格納したＰＥＳ、ＭＦＵまたはＭＰＵを放送波に多重して逐次送出する。つまり、映像コンテンツを格納したＰＥＳデータ及び基本字幕情報を格納したＰＥＳデータから生成されるＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）、または、映像コンテンツを格納したＭＦＵデータ及び基本字幕情報を格納したＭＦＵデータから生成されるＭＭＴＰ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）または、映像コンテンツを格納したＭＰＵデータ及び基本字幕情報を格納したＭＰＵデータから生成されるＴＳが、放送波に多重され、遂次送出される。本実施形態において放送部１０３は、映像送信部の一例であり、また基本字幕送信部の一例である。

サーバ装置２００は、拡張字幕送信部２０１を備える。拡張字幕送信部２０１は、ネットワークを介して拡張字幕情報を受信機３００に送信する。拡張字幕情報は、ＴＴＭＬの形式で記述された情報である。また、拡張字幕情報には、映像コンテンツに重畳して表示させる複数の字幕文字列と、当該字幕文字列を表示する時刻情報とが含まれる。

図３は、拡張字幕情報の一例を示す図である。
拡張字幕情報は、図３に示すように、ある番組において画面に表示される複数の字幕文字列を格納するＴＴＭＬ形式のデータである。図３に示す例では、００：００：００：２６から００：００：０５：０９までの時刻に表示される字幕文字列、００：００：０５：１４から００：００：０７：０２までの時刻に表示される字幕文字列、００：００：０７：０７から００：００：１１：０１までの時刻に表示される字幕文字列、００：００：１１：１６から００：００：１２：１４までの時刻に表示される字幕文字列が、基本字幕情報に格納されている。このように、拡張字幕情報に複数の字幕文字列を格納することで、受信機３００は、当該字幕文字列を映像コンテンツのメタデータとして取り扱うことができる。

受信機３００は、放送受信部３０１、トランスポート復号部３０２、映像・音声復号部３０３、基本字幕復号部３０４、拡張字幕受信部３０５、基本字幕処理部３０６、アプリケーション実行部３０７、表示制御部３０８を備える。
放送受信部３０１は、放送送出装置１００から送出された放送波を受信する。
トランスポート復号部３０２は、放送波に多重されたＴＳまたはＭＭＴＰパケットを、ＰＥＳデータ、ＭＦＵデータまたはＭＰＵデータとセクションデータとに分離し、ＰＥＳデータ、ＭＦＵデータまたはＭＰＵデータを映像・音声復号部３０３へ出力する。

映像・音声復号部３０３は、トランスポート復号部３０２から受け付けたＰＥＳデータ、ＭＦＵデータまたはＭＰＵデータを映像コンテンツに復号することで、映像コンテンツを取得する。映像・音声復号部３０３は、映像取得部の一例である。
基本字幕復号部３０４は、トランスポート復号部３０２から受け付けたＰＥＳデータ、ＭＦＵデータまたはＭＰＵデータを基本字幕情報に復号することで、基本字幕情報を取得する。基本字幕復号部３０４は、基本字幕取得部の一例である。
拡張字幕受信部３０５は、映像・音声復号部３０３が複合した映像コンテンツに係る拡張字幕情報をサーバ装置２００から受信する。拡張字幕受信部３０５は、拡張字幕取得部の一例である。

基本字幕処理部３０６は、基本字幕復号部３０４が復号した基本字幕情報に基づいて、字幕文字列の文字色、配置及び表示・非表示のタイミングを制御する。基本字幕処理部３０６は、受信機３００の組み込みソフトウェア（レジデントアプリ）である。
アプリケーション実行部３０７は、ＨＴＭＬ５に準拠して記述されたアプリケーションを実行する。アプリケーション制御部が実行する当該アプリケーションには、字幕情報を処理するアプリケーションが含まれる。

表示制御部３０８は、映像・音声復号部３０３が復号した映像コンテンツを表示させる表示信号を表示装置（図示せず）に出力する。また、利用者の操作によって字幕の表示の指示があった場合、基本字幕処理部３０６が処理した字幕情報を映像コンテンツに重畳して表示させる表示信号を表示装置に出力する。また、利用者の操作によってアプリケーションの実行の指示があった場合、アプリケーション実行部３０７が実行するアプリケーションを映像コンテンツに重畳して表示させる表示信号を表示装置に出力する。

このように、本実施形態では、基本字幕情報と拡張字幕情報のそれぞれを受信する。これにより、受信機３００は、拡張字幕情報が受信できなくても、基本字幕情報の受信により確実に基本字幕情報に含まれる字幕文字列を表示装置に表示させることができ、拡張字幕情報を受信できる場合は、受信した拡張字幕情報に含まれる字幕文字列を表示装置に表示させることができ、また拡張字幕情報をメタデータとして用いた処理を行うことができる。

ここで、アプリケーション実行部３０７が映像コンテンツ及び字幕情報を取得する方法について説明する。
図４は、映像コンテンツ及び字幕情報を取得するＨＴＭＬ５アプリケーションの例を示す図である。
アプリケーション実行部３０７が実行するアプリケーションは、ＨＴＭＬ５に準拠して記述されている。当該アプリケーションにおいて、映像コンテンツは、図４（Ａ）に示すｖｉｄｅｏタグ、または図４（Ｂ）に示すｏｂｊｅｃｔタグにおいて参照される。そして、字幕情報は、図４（Ａ）、（Ｂ）に示すように、映像コンテンツを参照するタグに内包されるｔｒａｃｋタグにおいて参照される。また、字幕情報が基本字幕情報であるか拡張字幕情報であるかは、ｔｒａｃｋタグのｋｉｎｄ属性が示す値に基づいて識別される。なお、複数の言語の字幕情報が存在する場合、図４（Ａ）、（Ｂ）に示すように複数のｔｒａｃｋタグを用いてそれぞれの言語の字幕情報を参照する。なお、多言語の字幕文字列の参照方法は、これに限られず、例えば、１つの字幕情報の中に複数の言語の字幕文字列を格納しても良い。この場合、字幕文字列は、ｄｉｖタグによって言語ごとに分割される。

このように、本実施形態では、アプリケーション実行部３０７は、通常ネットワークを介して取得する情報を参照するｔｒａｃｋタグを用いて、ネットワークを介して受信した拡張字幕情報に加え、放送波に多重された基本字幕情報をも取得する。
そして、図４（Ｃ）に示すように、アプリケーションにＪａｖａＳｃｒｉｐｔ（登録商標）によりｔｒａｃｋタグによって参照される字幕情報のキュー（字幕文字列）を取得する命令を記載されていることで、アプリケーション実行部３０７は、字幕情報を処理することができる。

なお、図２、図３に示すように、基本字幕情報及び拡張字幕情報の各字幕文字列には、ＩＤが割り振られている。そのため、図４（Ｃ）に示すように、基本字幕情報を参照するｔｒａｃｋタグからＩＤを取得することで、現在表示されている字幕文字列を特定し、当該字幕文字列と同じＩＤを有する字幕文字列を、拡張字幕情報を参照するｔｒａｃｋタグから取得することができる。また、アプリケーションに、字幕の表示シーンの切り替わりをイベントとして起動するイベントハンドラが記述されている場合、指定したＩＤの字幕情報が表示されたことをトリガとして所定の処理を実行することができ、また指定したＩＤの字幕情報が消去されたことをトリガとして所定の処理を実行することができる。

以下に、アプリケーション実行部３０７が実行するアプリケーションの例について説明する。
第１の例として、字幕検索アプリケーションについて説明する。字幕検索アプリケーションは、拡張字幕情報に含まれる文字列の中から、利用者が指定する文字列を検索するアプリケーションである。この場合、アプリケーション実行部３０７は、文字列検索部として動作する。

図５は、字幕検索アプリケーションの実行時の受信機３００の動作を示すフローチャートである。
アプリケーション実行部３０７は、利用者の操作によって字幕検索アプリケーションを実行すると、拡張字幕受信部３０５から拡張字幕情報を取得する（ステップＳ１０１）。次に、アプリケーション実行部３０７は、利用者から検索文字列の入力を受け付ける（ステップＳ１０２）。利用者が赤外線リモコンやスマートフォンなどの入力装置を介して検索文字列を入力すると、アプリケーション実行部３０７は、入力を受け付けた検索文字列が、拡張字幕情報に含まれるか否かを判定する（ステップＳ１０３）。アプリケーション実行部３０７は、検索文字列が拡張字幕情報に含まれないと判定した場合（ステップＳ１０３：ＮＯ）、現在視聴している番組において検索文字列に該当する発言が出てこない旨を表示させる指示を、表示制御部３０８に出力する（ステップＳ１０４）。これにより、利用者は、現在視聴している番組に目的の話題が出現しないことが分かる。

他方、アプリケーション実行部３０７は、検索文字列が拡張字幕情報に含まれると判定した場合（ステップＳ１０３：ＹＥＳ）、当該検索文字列の表示時刻を特定し（ステップＳ１０５）、当該表示時刻を表示させる指示を、表示制御部３０８に出力する（ステップＳ１０６）。これにより、利用者は、現在視聴している番組おいて目的の話題が出現する時刻を知ることができる。

第２の例として、字幕表示アプリケーションについて説明する。字幕表示アプリケーションは、拡張字幕情報を用いて字幕文字列を表示させるアプリケーションである。本実施形態では、字幕表示アプリケーションは、レジデントアプリである基本字幕処理部３０６とは別個に設けられるが、これに限られず、他の実施形態では、受信機３００が基本字幕処理部３０６に代えて、当該字幕表示アプリケーションを実行する字幕処理部をレジデントアプリとして備えても良い。

図６は、字幕表示アプリケーションの実行時の受信機３００の動作を示すフローチャートである。
アプリケーション実行部３０７は、利用者の操作によって字幕表示アプリケーションを実行すると、拡張字幕受信部３０５から拡張字幕情報を取得する（ステップＳ２０１）。アプリケーション実行部３０７は、拡張字幕情報の取得に成功したか否かを判定する（ステップＳ２０２）。アプリケーション実行部３０７は、拡張字幕情報の取得に失敗したと判定した場合（ステップＳ２０２：ＮＯ）、基本字幕復号部３０４から基本字幕情報を取得する（ステップＳ２０３）。拡張字幕情報は、データサイズが大きく、またネットワークを介してサーバ装置２００から受信する場合、回線の状態などにより、受信完了までに時間がかかる可能性がある。他方、基本字幕情報は、データサイズが小さく、かつ放送波に多重して送出されるため、受信の確実性が高い。アプリケーション実行部３０７は、基本字幕情報を取得すると、基本字幕情報に含まれる字幕文字列を表示させる指示を表示制御部３０８に出力する（ステップＳ２０４）。そして、ステップＳ２０１に戻り、再度拡張字幕情報の受信を試みる。

他方、アプリケーション実行部３０７は、拡張字幕情報の取得に成功したと判定した場合（ステップＳ２０２：ＹＥＳ）、取得した拡張字幕情報に含まれる字幕文字列のうち、現在時刻に関連付けられた字幕文字列を表示させる指示を表示制御部３０８に出力する（ステップＳ２０５）。基本字幕情報は、データサイズを小さくするために、字幕文字列が一部カットされている可能性がある。他方、拡張字幕情報は、データサイズを小さくする必要がないため、発言される文言がすべて字幕文字列に表れている可能性がある。したがって、拡張字幕情報を用いて字幕文字列を表示させることで、より情報量の多い字幕を表示させることができる。また、アプリケーション実行部３０７は、利用者の操作によって過去の表示時刻に関連付けられた字幕文字列の表示を可能としても良い。例えば、字幕が表示されているときに赤外線リモコンの上ボタンが押下されたときに、現在表示している字幕文字列の１つ前の時刻に関連付けられた字幕文字列を表示させるようにしても良い。

次に、アプリケーション実行部３０７は、視聴されていた番組が継続して視聴されているか否かを判定する（ステップＳ２０６）。アプリケーション実行部３０７は、番組を継続して視聴されていると判定した場合（ステップＳ２０６：ＹＥＳ）、ステップＳ２０５に戻り、継続して拡張字幕情報を用いて字幕文字列を表示させる。他方、視聴していた番組が終了したか、または視聴していたチャンネルが切り替えられたかによって番組の視聴が終了した場合、アプリケーション実行部３０７は、処理を終了する。

以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、サーバ装置２００が拡張字幕送信部２０１を備える場合について説明したが、これに限られない。例えば、放送送出装置１００が拡張字幕情報をＰＥＳデータ、ＭＦＵデータまたはＭＰＵデータに格納する拡張字幕パケット生成部を備え、放送部１０３が当該ＰＥＳデータ、ＭＦＵデータまたはＭＰＵデータを放送波に多重して送信しても良い。この場合、放送部１０３は、拡張字幕送信部２０１の一例である。

上述の受信機３００は、コンピュータに実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置に記憶されている。ＣＰＵは、プログラムを補助記憶装置から読み出して主記憶装置に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵは、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置に確保する。

なお、少なくとも１つの実施形態において、補助記憶装置は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェースを介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータに配信される場合、配信を受けたコンピュータが当該プログラムを主記憶装置に展開し、上記処理を実行しても良い。

１…放送システム １００…放送送出装置 １０１…映像パケット生成部 １０２…基本字幕パケット生成部 １０３…放送部 ２００…サーバ装置 ２０１…拡張字幕送信部 ３００…受信機 ３０１…放送受信部 ３０２…トランスポート復号部 ３０３…映像・音声復号部（映像取得部） ３０４…基本字幕復号部（基本字幕取得部） ３０５…拡張字幕受信部（拡張字幕取得部） ３０６…基本字幕処理部 ３０７…アプリケーション実行部（文字列検索部） ３０８…表示制御部

Claims (1)

1. 放送波に多重された映像コンテンツを取得する映像取得部と、
   前記映像コンテンツに重畳して一の時刻に画面に表示される字幕文字列を含む基本字幕情報を取得する基本字幕取得部と、
   前記映像コンテンツおよび前記基本字幕取得部が取得した前記字幕文字列を表示させる表示信号を表示装置に出力する表示制御部と、
   前記映像コンテンツに重畳して表示させる複数の字幕文字列と当該字幕文字列の表示時刻とを関連付けた拡張字幕情報を取得する拡張字幕取得部と、
   前記映像コンテンツに係る前記拡張字幕情報から所定の検索文字列を検索し、前記検索文字列を含む字幕文字列に関連付けられた表示時刻を取得する文字列検索部と
   を備え、
   前記基本字幕取得部は、前記放送波に多重された前記基本字幕情報を取得し、
   前記拡張字幕取得部は、ネットワークを介して送信された前記拡張字幕情報を取得する
   受信機。

Images