JP5672410B1 - 受信装置、およびデータ処理方法 - Google Patents

受信装置、およびデータ処理方法 Download PDF

Info

Publication number
JP5672410B1
JP5672410B1 JP2014222333A JP2014222333A JP5672410B1 JP 5672410 B1 JP5672410 B1 JP 5672410B1 JP 2014222333 A JP2014222333 A JP 2014222333A JP 2014222333 A JP2014222333 A JP 2014222333A JP 5672410 B1 JP5672410 B1 JP 5672410B1
Authority
JP
Japan
Prior art keywords
data
display
ttml
subtitle
caption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014222333A
Other languages
English (en)
Other versions
JP2015220747A (ja
Inventor
義治 出葉
義治 出葉
北里 直久
直久 北里
山岸 靖明
靖明 山岸
淳 北原
淳 北原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014222333A priority Critical patent/JP5672410B1/ja
Application granted granted Critical
Publication of JP5672410B1 publication Critical patent/JP5672410B1/ja
Publication of JP2015220747A publication Critical patent/JP2015220747A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】TTML字幕データの字幕表示途切れのない確実な表示制御を実現する装置、方法を提供する。【解決手段】TTML字幕データの字幕表示終了時間規定属性の設定値が継続表示指示値である場合、画像ファイルの再生終了タイミング以降も、表示中の字幕データのメモリ保存と表示処理を継続し、TTML字幕データファイルの切り換え処理を実行する。TTML字幕データの字幕表示開始時間規定属性の設定値が継続表示指示値である場合、表示処理継続中の文字列があるか否かを判定し、ある場合は、表示文字の継続表示を続行する。これらの処理によってTTML字幕データの字幕表示途切れのない表示制御が実現される。【選択図】図8

Description

本開示は、受信装置、およびデータ処理方法に関する。さらに詳細には字幕データの送受信や処理を実行する受信装置、およびデータ処理方法に関する。
映像に対して字幕を重畳して表示する方式には様々な方式があるが、表示領域や表示タイミング等の制御を可能としたXML(Extensible Markup Language)形式の字幕データであるTTML(Timed Text Markup Language)の利用が多くなってきている。
TTMLは、HTML5等のwebアプリケーションとの連携も可能であるという特徴を持つ。
なお、TTMLについては、例えば特許文献1(特開2012−169885号公報)に記載がある。
特開2012−169885号公報
上記の字幕データであるTTML字幕データは、表示する字幕データとともに字幕の表示タイミングを示す情報を記述可能な構成を持つ。しかし、TTMLファイルの切り換え処理を行なう際に、字幕データの表示が途切れてしまう可能性がある。
本開示は、TTML字幕データの制御情報を用いた字幕表示処理において、字幕表示途切れを解消することを可能とした処理を実現する受信装置、およびデータ処理方法を提供することを目的とする。
本開示の第1の側面は、
TTML(Timed Text Markup Language)字幕データを受信する通信部と、
前記TTML字幕データを適用した字幕表示制御を実行するデータ処理部を有し、
前記TTML字幕データは、字幕表示の終了処理に関する制御を行うend属性を持つ制御データを有し、該end属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データである受信装置にある。
さらに、本開示の第2の側面は、
受信装置において実行するデータ処理方法であり、
通信部が、TTML(Timed Text Markup Language)字幕データを受信するステップと、
データ処理部が、前記TTML字幕データを適用した字幕表示制御を実行するステップを有し、
前記TTML字幕データは、字幕表示の終了処理に関する制御を行うend属性を持つ制御データを有し、該end属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データであるデータ処理方法にある。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、TTML字幕データの字幕表示途切れのない確実な表示制御を実現する装置、方法が実現される。
具体的には、TTML字幕データの字幕表示終了時間規定属性の設定値が継続表示指示値である場合、画像ファイルの再生終了タイミング以降も、表示中の字幕データのメモリ保存と表示処理を継続し、TTML字幕データファイルの切り換え処理を実行する。TTML字幕データの字幕表示開始時間規定属性の設定値が継続表示指示値である場合、表示処理継続中の文字列があるか否かを判定し、ある場合は、表示文字の継続表示を続行する。
本構成により、TTML字幕データの字幕表示途切れのない表示制御が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の処理を実行する通信システムの一構成例について説明する図である。 送信装置の送信データについて説明する図である。 TTML字幕データを利用した字幕表示処理について説明する図である。 TTML字幕データを利用した字幕表示処理について説明する図である。 TTML字幕データを利用した字幕表示処理において発生する字幕途切れについて説明する図である。 TTML字幕データを利用した字幕表示処理において発生する字幕途切れについて説明する図である。 TTML字幕データを利用した字幕表示処理において発生する字幕途切れについて説明する図である。 字幕途切れの発生を防止したTTML字幕データを利用した字幕表示制御処理について説明する図である。 字幕途切れの発生を防止したTTML字幕データを利用した字幕表示制御処理について説明する図である。 字幕途切れの発生を防止したTTML字幕データを利用した字幕表示制御処理のシーケンスについて説明するフローチャートを示す図である。 字幕途切れの発生を防止したTTML字幕データを利用した字幕表示制御処理のシーケンスについて説明するフローチャートを示す図である。 字幕途切れの発生を防止したTTML字幕データを利用した字幕表示制御処理のシーケンスについて説明するフローチャートを示す図である。 送信装置と受信装置の構成例について説明する図である。 送信装置の構成例について説明する図である。 受信装置の構成例について説明する図である。 通信装置である送信装置と受信装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の受信装置、および送信装置、並びにデータ処理方法の詳細について説明する。なお、説明は以下の項目に従って行なう。
1.通信システムの構成例について
2.字幕データの概要について
3.TTML字幕データファイルの切り換え時の問題点について
4.字幕途切れの解消を実現する実施例について
5.字幕表示制御シーケンスについて
6.送信装置と受信装置の構成例について
7.本開示の構成のまとめ
[1.通信システムの構成例について]
まず、図1を参照して本開示の処理を実行する通信システムの一構成例について説明する。
図1に示すように、通信システム10は、画像データや音声データ、さらに字幕データ、さらに各種の制御情報等のデータを送信する送信装置20と、送信装置20の送信するデータを受信する受信装置30を有する。
送信装置20は、具体的には、例えば放送局21やコンテンツサーバ22等、コンテンツを提供する側の装置である。
一方、受信装置30は、一般ユーザのクライアント装置であり、具体的には、例えばテレビ31、PC32、携帯端末33等によって構成される。
送信装置20と受信装置30間のデータ通信は、インターネット等のネットワークを介した双方向通信、一方向通信、あるいは、放送波等による一方向通信の少なくともいずれか、あるいは両者を利用した通信として行われる。
送信装置20から受信装置30に対するデータ送信は、例えば、MPEG−2TS、
MP4、MMT(MPEG Media Transport)など、様々なフォーマットに従って実行される。なお、本開示の処理を実行する場合、データ配信フォーマットは限定されない。
MPEG−2TS、MP4、MMTフォーマットのいずれも、画像(Video)、音声(Audio)、字幕(Caption)等、コンテンツ構成データである符号化データと、これらの制御情報を送信するフォーマットを規定している。
送信装置20は、コンテンツデータを符号化し、符号化データおよび符号化データのメタデータを含むデータファイルを生成し、生成した符号化データをパケットに格納して放送波やネットワークを介して送信する。
送信装置20が受信装置30に提供するデータは、画像、音声、字幕等の再生対象データの他、番組ガイド等の案内情報や通知情報、制御情報等によって構成される。
送信装置20の送信データの例について図2を参照して説明する。
図2には、送信装置20が受信装置30に対して送信するデータの種類を示している。送信装置20が受信装置30に対して送信するデータには以下のデータがある。
(a)画像データ(Video)50
(b)音声データ(Audio)60
(c)字幕データ(Subtitle)70
(d)シグナリングデータ80
これらの各データが、通信フォーマットで規定されるパケットのペイロードとして送信される。
なお、シグナリングデータは、受信装置30に対する通知情報や制御情報であり、画像データ、音声データ、字幕データの受信、復号、再生に必要となる設定情報、データ属性情報、制御情報等によって構成される。
[2.字幕データの概要について]
本開示の構成では、字幕データは表示領域や表示タイミング等の制御を可能としたXML(Extensible Markup Language)形式の字幕データであるTTML(Timed Text Markup Language)を用いる。
TTML字幕データを利用した字幕表示制御例について説明する。
図3は、送信装置20が受信装置30に対して送信する字幕データ(Subtitle)70に格納されるXML形式のTTML字幕データの構成例と、TTML字幕データを利用して受信装置30において実行する字幕表示例を示す図である。
送信装置20が受信装置30に対して送信する(A)字幕データ(Subtitle)70には、例えば図3(B)に示すようなTTML字幕データが格納されている。
TTML字幕データは、図3(B)に示すようなXML形式のデータであり、実際に表示される文字列の他、表示領域、表示タイミング等の情報を記述可能なとした構成を持つ。
受信装置30は、このようなTTML字幕データを解釈して、図3(C)に示すような表示データ、すなわち、他のパケットから取得して復号した画像データに字幕を重畳した表示データを生成して表示部に表示する処理を行う。
図3(B)に示すTTML字幕データには、以下の情報が記録されている。
<div regon="r1">
<p begin ="00:00:01.878" end="00:00:05.334">
こんにちは
<p begin ="00:00:08.608" end="00:00:15.296">
よろしくね
</p>
</div?
このTTMLデータは、
字幕データ「こんにちは」と、「よろしくね」の2つの文字列を、それぞれの指定時間に指定領域に表示させる制御を実現するTTMLデータである。
<div regon="r1">は、
表示画面の特定の表示領域[r1]に字幕を表示させるための制御情報である。
<p begin ="00:00:01.878" end="00:00:05.334">は、
字幕データ「こんにちは」の表示開始時間と表示終了時間を規定した制御情報である。
表示開始時間=00時00分01秒878、
表示終了時間=00時00分05秒334、
上記設定で字幕データ「こんにちは」を表示させるための制御情報である。
なお、時間は、受信装置30のシステムクロックに基づいて計測可能である。
<p begin ="00:00:08.608" end="00:00:15.296">は、
字幕データ「よろしくね」の表示開始時間と表示終了時間を規定した制御情報である。
表示開始時間=00時00分08秒608、
表示終了時間=00時00分15秒296、
上記設定で字幕データ「よろしくね」を表示させるための制御情報である。
すなわち、このTTML字幕データは、以下の字幕表示を実行させる制御情報を持つ。
字幕「こんにちは」を時間0時00分01秒878から、00時00分05秒334まで、表示領域[r1]に表示する。
その後、字幕「よろしくね」を時間0時00分08秒608から、00時00分15秒296まで、表示領域[r1]に表示する。
これらの2つの字幕表示を実行させる制御情報である。
このTTMLデータに基づく表示結果が、図3(C1)〜(C2)の表示データとなる。
字幕データは、表示時間の規定された画像データに対して重畳して表示される。
図3(C1)は、字幕「こんにちは」を画像に重畳して表示した表示画像例であり、時間0時00分01秒878から、00時00分05秒334までの表示データに相当する。
図3(C2)は、(C1)の後の表示データであり、字幕「よろしくね」を画像に重畳して表示した表示画像例である。時間0時00分08秒608から、00時00分15秒296までの表示データに相当する。
図3に示す例は、字幕データの表示開始時間を示す属性(begin)と、表示終了時間を示す属性(end)を利用したTTML字幕データの例であるが、この他、例えば図4に示すように、字幕データの表示開始時間を示す属性(begin)と、表示期間(duration)を示す属性(dur)を利用したTTML字幕データもある。
図4(B)に示すTTML字幕データには、以下の情報が記録されている。
<div regon="r1">
<p begin ="00:00:01.878" dur="03.456">
こんにちは
<p begin ="00:00:08.608" dur="06.668">
よろしくね
</p>
</div?
このTTMLデータでも、図3に示す例と同様、
字幕データ「こんにちは」と、「よろしくね」の2つの文字列を、それぞれの指定時間に表示させる制御を実現するTTMLデータである。
<div regon="r1">は、
表示画面の特定の表示領域[r1]に字幕を表示させるための制御情報である。
<p begin ="00:00:01.878" dur="03.456">は、
字幕データ「こんにちは」の表示開始時間と表示期間を規定した制御情報である。
表示開始時間=00時00分01秒878、
表示期間=03秒456、
上記設定で字幕データ「こんにちは」を表示させるための制御情報である。
なお、時間は、受信装置30のシステムクロックに基づいて計測可能である。
<p begin ="00:00:08.608" dur="06.668">は、
字幕データ「よろしくね」の表示開始時間と表示期間を規定した制御情報である。
表示開始時間=00時00分08秒608、
表示期間=06秒688、
上記設定で字幕データ「よろしくね」を表示させるための制御情報である。
すなわち、このTTML字幕データは、以下の字幕表示を実行させる制御情報を持つ。
字幕「こんにちは」を時間0時00分01秒878から03秒456の期間、表示領域[r1]に表示する。
その後、字幕「よろしくね」を時間0時00分08秒608から06秒688の期間、表示領域[r1]に表示する。
これらの2つの字幕の表示を実行させる制御情報である。
このTTMLデータに基づく表示結果が、図4(C1)〜(C2)の表示データとなる。
字幕データは、表示時間の規定された画像データに対して重畳して表示される。
図4(C1)は、字幕「こんにちは」を画像に重畳して表示した表示画像例であり、時間0時00分01秒878から03秒456の期間の表示データに相当する。
図4(C2)は、(C1)の後の表示データであり、字幕「よろしくね」を画像に重畳して表示した表示画像例である。時間0時00分08秒608から06秒688の期間の表示データに相当する。
図3、図4を参照して説明したように、TTML字幕データは、字幕データとなる文字列と、各文字列の表示タイミング、表示領域等の制御情報を含むデータとして生成される。
なお、図3、図4で説明した以外にも様々な制御情報の設定が可能である。
[3.TTML字幕データファイルの切り換え時の問題点について]
図3、図4を参照して説明したように、TTML字幕データには、字幕データとなる文字列と、各文字列の表示タイミング、表示領域等の制御情報が含まれる。
しかし、このTTMLデータに含まれる表示タイミング制御情報を用いた処理を行なうと、TTMLデータファイルの切り換え時に表示文字列の消失、すなわち字幕途切れが発生するという問題がある。
この問題点について図5を参照して説明する。
図5には、以下の(a),(b)2つの情報を示している。
(a)受信装置30が、送信装置20から、順次、受信するデータファイル
(b)受信装置30が実行する字幕データの表示シーケンス
図5(b)の時間軸(t)に示すように、左から右に時間が経過するものとする。
図5に示す例は、受信装置30が、送信装置20から画像/音声データファイル101〜103と、これらのデータファイルに同期させた処理を行なう3つのTTML字幕データファイル(TTML−1〜3)111〜113を受信した場合の処理例を示している。受信装置30は、受信した3つの字幕データファイル111〜113を利用して、字幕表示処理を実行する。
なお、画像/音声データファイル101〜103の各々は、例えばMPEG−2TS、MP4やMMT等のデータ転送方式で規定される転送単位、処理単位となるデータファイルである。
例えばデータ通信フォーマットがMP4の場合、画像/音声データファイル101〜103の各々は、MP4で処理単位として規定される符号化データのファイル「mdat」に対応する。
また、データ通信フォーマットがMMTの場合、画像/音声データファイル101〜103の各々は、MMTで処理単位として規定される符号化データのファイル「MFU」に対応する。
これらのデータファイルには、所定期間の再生画像と再生音声が格納されている。なお、図5では、画像/音声データファイル101〜103の各々を1つのファイルとして示しているが、画像ファイルト音声ファイルは個別のファイルとして転送する場合もある。
画像、音声のデータファイル101〜103には、ファイル切り換え時の処理期間を考慮し、処理期間にデータ途切れが発生しないように再生用データが格納されている。
一方、字幕データファイル111〜113の各々は図3、図4を参照して説明したと同様のTTML字幕データである。
字幕データファイル111〜113の各々は、画像/音声データファイル101〜103と同期した処理を行なうため、それぞれのファイルにタイムスタンプが設定されている。
受信装置30は、タイムスタンプを参照した処理を実行することで、画像、音声、字幕の同期制御を行うことが可能となる。
タイムスタンプを参照することで字幕データファイル111〜113の各々について、どの画像/音声データファイル101〜103と対応付けて処理を行なうべきかを判断することができる。
図5(a)に示すように、TTML字幕データファイル(TTML−1)111は、以下の字幕表示制御データを格納している。
文字列(文字1)について、
表示開始時間(begin)=00:00:01.878
表示終了時間(end)=00:00:05.334
文字列(文字2)について、
表示開始時間(begin)=00:00:08.608
表示終了時間(end)=00:00:15.296
受信装置30の字幕データ処理部は、このTTML字幕データファイル(TTML−1)111を利用して、図5(b)に示すように、文字列1と、文字列2の字幕表示を実行する。
すなわち、文字列1を、
時刻t1=00:00:01.878に表示を開始し、時刻t2=00:00:05.334に表示終了する。
さらに、文字列2について、
時刻t3=00:00:08.608に表示を開始し、時刻t4=00:00:15.296に表示を終了する。
次のTTML字幕データファイル(TTML−2)112は、以下の字幕表示制御データを格納している。
文字列(文字3)について、
表示開始時間=00:00:16.278
表示終了時間=00:00:24.556
文字列(文字4)について、
表示開始時間=00:00:25.008
表示終了時間=00:00:36.178
受信装置30の字幕データ処理部は、TTML字幕データファイル(TTML−1)111の表示処理終了後、処理対象をTTML字幕データファイル(TTML−2)112に切り換え、このTTML字幕データファイル(TTML−2)112を利用して、図5(b)に示すように、文字列3と、文字列4の字幕表示を実行する。
すなわち、文字列3を、
時刻t5=00:00:16.278に表示を開始し、時刻t6=00:00:24.556に表示終了する。
さらに、文字列4について、
時刻t7=00:00:25.008に表示を開始する。
しかし、文字列4の表示終了時間=t9=00:00:36.178は、TTML字幕データファイル(TTML−2)112に対応付けられた同期処理データファイル、すなわち画像/音声データファイル102の画像再生終了時間(t8=00:00:35.442)より遅い時間の設定となっている。
図に示す例では、画像/音声データファイル102の画像再生終了時間は、t8=00:00:35.442であるものとする。
受信装置30は、メインデータである画像/音声データファイル102の再生終了時間(t8=00:00:35.442)になると、次の画像/音声データファイル103に対する処理切り換えを行い、このファイル切り換えに際して、字幕データファイルの切り換えも併せて実行する。
画像/音声データについては、データ途切れが発生しないように、ファイル切り換え時の処理時間を考慮した再生データが先行ファイルに格納されているため、データ途切れは発生しない。
しかし、TTML字幕データは、表示開始時間と、表示終了時間または表示期間を制御情報として有するのみであり、画像データのようなファイル切り換えによるデータ継続性が考慮されていない。
受信装置30の字幕データ処理部は、TTML字幕データファイルの切り換えにより、表示中の字幕データの表示を停止してしまう。すなわち、表示用字幕データを格納したメモリから消去し、字幕表示を停止して次のTTML字幕データの処理に移行する。
この結果、図5のTTML字幕データ(TTML−2)112の字幕(文字4)の表示は途切れることになる。
すなわち、字幕データ処理部は、画像/音声データファイルの切り換えに併せて字幕データファイルの切り換えを行い、このファイル切り換え処理の際に、表示文字データのメモリからの消去と、表示停止処理を行う。
このように、TTML字幕データ(TTML−2)112の字幕(文字4)の表示終了時間がメインデータである画像/音声データファイル102の再生終了時間より後に設定されている場合、ファイル切り換えによる表示文字データの表示の強制終了がなされ、文字表示が途絶えることになる。
すなわち、図5(B)に示す時間t8〜t9の期間、字幕表示途切れが発生してしまう。
図5に示す例における文字表示の途切れ発生状況について詳しく説明する。
図5(b)に示す時間t8=00:00.35.442は、メインデータである画像/音声データファイル102の再生終了時間に相当する。
TTML字幕データファイル(TTML−2)112は、
文字列4について、
表示開始時間=00:00:25.008
表示終了時間=00:00:36.178
上記の表示タイミング制御情報を記録している。
文字列4の表示終了時間=00:00:36.178は、TTML−2と同期再生対象として設定されたメインデータである画像/音声データファイル102の再生終了時間(t8=00:00:35.442)より後の時間の設定となっている。
このように、TTML字幕データに記録された表示終了時間が、メインデータである画像/音声データファイルの再生終了時間より後に設定されていても、受信装置30の字幕データ処理部は、画像/音声データファイルの切り換えに同期した字幕データファイルの切り換えを行う。このファイル切り換えにより、図5(B)に示す時間t8〜t9の期間、字幕表示途切れが発生する。
その後、受信装置30の字幕データ処理部は、次の字幕データファイル(TTML−3)113の処理を開始する。
次のTTML字幕データファイル(TTML−3)113は、以下の字幕表示制御データを格納している。
文字列(文字4)について、
表示開始時間=00:00:36.178
表示終了時間=00:00:50.856
図5(b)に示すように、受信装置30の字幕データ処理部は、この表示制御情報に従って、
文字列4を、
時刻t9=00:00:36.178に表示を開始し、時刻t10=00:00:50.856に表示終了する。
字幕データファイル(TTML−2)112と、字幕データファイル(TTML−3)113の制御情報は、本来、以下の制御情報である。
文字列(文字4)を、表示開始時間(t7)から表示終了時間(t10)まで継続させて表示させる制御情報である。
しかし、同期処理データファイルである画像/音声データファイル102の再生終了時間(t8=00:00:35.442)に併せて、字幕データファイルの切り換えを行うことで、上述した時間t8〜t9の字幕途切れを発生させてしまう。
なお、TTML字幕データにおける字幕表示終了時間の属性(end)に値(時間情報)を記録しない設定とすることも可能である。属性(end)に値(時間情報)を記録しない場合、その字幕については、字幕データファイルの処理最終時間まで、字幕表示を実行する。
すなわち、図6に示す字幕データファイル(TTML−2)112に示す設定である。
図6に示す字幕データファイル(TTML−2)112は、以下の情報によって構成されている。
<p begin="00:00:16.278"
end="00:00:24.556" >
文字3</p>
<p begin="00:00:25.008">
文字4</p>
上記の字幕データファイル(TTML−2)112は、
文字列(文字3)について、
表示開始時間=00:00:16.278
表示終了時間=00:00:24.556
文字列(文字4)について、
表示開始時間=00:00:25.008
これらの情報を有している。
文字列(文字4)についての表示終了時間を記録していない設定である。この場合、字幕表示制御を実行する字幕データ処理部は、文字列(文字4)を字幕データファイルの処理最終時間まで、字幕表示を実行する。
しかし、この場合、字幕データファイル(TTML2)112の処理最終時間は、同期処理データである画像/音声ファイル102の画像再生終了時間(t8=00:00:35.442)となる。この時点で、TTML字幕データファイルの切り換え処理を行なうことになり、やはり、このファイル切り換え処理の間、文字列(文字4)の表示は途切れてしまうことになる。
さらに、先に図4を参照して説明したように、TTML字幕データにおける字幕表示終了時間の属性(end)の代わりに、表示期間(duration)を示す属性(dur)を用いることも可能である。
表示期間(duration)を示す属性(dur)を用いた例を図7に示す。
図7に示す字幕データファイル(TTML−2)112は、以下の情報によって構成されている。
<p begin="00:00:16.278"
dur="08.278">
文字3</p>
<p begin="00:00:25.008"
dur="11.170">
文字4</p>
上記の字幕データファイル(TTML−2)112は、
文字列(文字3)について、
表示開始時間=00:00:16.278
表示期間=08.278秒
文字列(文字4)について、
表示開始時間=00:00:25.008
表示期間=11.170秒
これらの情報を有している。
しかし、この場合も、図5、図6を参照して説明したと同様、文字列(文字4)は字幕データファイルの切り換えに際して表示途切れが発生する。
字幕データファイル(TTML−2)112の制御情報に従い、文字列4は、表示開始時間=00:00:25.008から表示を開始する。
表示期間=11.170秒が終了する時間は、図7(b)に示す時間t9=00:00:36.178である。
この時間t9は、TTML−2と同期再生対象として設定されたメインデータである画像/音声データファイル102の再生終了時間(t8=00:00:35.442)より後の時間の設定となっている。
このように、TTML字幕データに記録された表示終了時間が、メインデータである画像/音声データファイルの再生終了時間より後に設定されていても、受信装置30の字幕データ処理部は、画像/音声データファイルの切り換えに同期した字幕データファイルの切り換えを行う。このファイル切り換えにより、図7(b)に示す時間t8〜t9の期間、字幕表示途切れが発生する。
このように、TTML字幕データに記録される制御情報の種類に関わらず、字幕途切れが発生してしまう。
[4.字幕途切れの解消を実現する実施例について]
上述した字幕途切れの問題点を解決した実施例について、以下説明する。
図8は、受信装置30における処理例を示す図である。
図5〜図7を参照して説明した処理例と同様、図8には、以下の(a),(b)2つの情報を示している。
(a)受信装置30が、送信装置20から、順次、受信するデータファイル
(b)受信装置30が実行する字幕データの表示シーケンス
図8(b)の時間軸(t)に示すように、左から右に時間が経過する。
図8に示す例は、受信装置30が、送信装置20から画像/音声データファイル101〜103と、これらのデータファイルに同期させて処理を行なう3つのTTML字幕データファイル(TTML−1〜3)121〜123を受信した場合の処理例である。受信装置30は、受信した3つの字幕データファイル121〜123を利用して字幕表示処理を実行する。
なお、画像/音声データファイル101〜103の各々は、例えばMPEG−2TS、MP4やMMT等のデータ転送方式で規定される転送および処理単位となる1つのデータファイルである。
例えばデータ通信フォーマットがMP4の場合、画像/音声データファイル101〜103の各々は、MP4で処理単位として規定される符号化データのファイル「mdat」に対応する。
また、データ通信フォーマットがMMTの場合、画像/音声データファイル101〜103の各々は、MMTで処理単位として規定される符号化データのファイル「MFU」に対応する。
これらのデータファイルには、所定期間の再生画像や所定期間の再生音声が格納されている。なお、図には、画像/音声データファイルとして1つにまとめて示しているが、画像データファイルと音声データファイルは個別のデータファイルとして設定可能である。
画像/音声データファイル101〜103には、ファイル切り換え時の処理期間を考慮し、ファイル切り換え期間にデータ途切れが発生しないように再生用データが格納される。
一方、字幕データファイル121〜123の各々は図3、図4を参照して説明したと同様のTTML字幕データである。
字幕データファイル121〜123の各々は、画像/音声データファイル101〜103と同期した処理を行なうため、それぞれのファイルには、タイムスタンプが設定されている。
受信装置30は、画像、音声、字幕各データファイルのタイムスタンプを参照して処理を行なうことで、画像、音声、字幕の各データを同期させて出力することが可能となる。受信装置30は、タイムスタンプを参照することで字幕データファイル121〜123の各々について、どの画像/音声データファイル101〜103と対応付けて処理を行なうかを判断できる。
図8(a)に示すように、TTML字幕データファイル(TTML−1)121は、以下の字幕表示制御データを格納している。
文字列(文字1)について、
表示開始時間=00:00:01.878
表示終了時間=00:00:05.334
文字列(文字2)について、
表示開始時間=00:00:08.608
表示終了時間=00:00:15.296
これは、先に図5を参照して説明したTTML字幕データファイル(TTML−1)111と同様の制御情報である。
受信装置30の字幕データ処理部は、このTTML字幕データファイル(TTML−1)121を利用して、図8(b)に示すように、文字列1と、文字列2の字幕表示を実行する。
すなわち、文字列1を、
時刻t1=00:00:01.878に表示を開始し、時刻t2=00:00:05.334に表示を終了する。
さらに、文字列2について、
時刻t3=00:00:08.608に表示を開始し、時刻t4=00:00:15.296に表示を終了する。
次のTTML字幕データファイル(TTML−2)122は、以下に示すデータを記録している。
<p begin="00:00:16.278"
end="00:00:24.556" >
文字3</p>
<p begin="00:00:25.008"
end="indefinite" >
文字4</p>
このデータは、以下の意味を有する。
文字列(文字3)について、
表示開始時間=00:00:16.278
表示終了時間=00:00:24.556
文字列(文字4)について、
表示開始時間=00:00:25.008
表示終了時間=継続表示指示値(indefinite)
文字列(文字4)の
表示終了時間=不定(indefinite)
この設定が、先に説明した図5のTTML字幕データ(TTML−2)112とは異なっている。
この表示終了時間=継続表示指示値(indefinite)は、表示対象文字の表示を継続させながら、ファイル切り換えを実行させるための制御情報である。
受信装置30の画像音声データ処理部は、TTML字幕データファイル(TTML−2)122と同期処理対象に設定されているメインデータである画像/音声データファイル102の再生終了時間(t8=00:00:35.442)になると、次の画像/音声データファイル103に対する処理切り換えを行う。
一方、字幕データ処理部は、処理対象としているTTML字幕データに基づいて表示中の文字に関する制御情報として、
表示終了時間=継続表示指示値(indefinite)
この設定がなされている場合、表示部に対する表示文字列を保存したメモリの文字列を消去することなく、メモリ格納データを利用した文字表示を継続する。この文字表示継続処理に並列して、ファイル切り換えを実行する。
図8に示す例では、先に説明した図5〜図7の例と同様、TTML字幕データ(TTML−2)122の文字列(文字4)を表示中に、TTML字幕データファイル(TTML−2)122と同期処理対象に設定されているメインデータである画像/音声データファイル102の再生終了時間(t8=00:00:35.442)になる。
ここで、字幕データ処理部は、TTML字幕データ(TTML−2)122の文字列(文字4)の文字表示終了時間が、
表示終了時間=継続表示指示値(indefinite)
上記設定であることの確認に基づいて、以下の処理を実行する。
字幕データ処理部は、表示部に対する表示文字列(文字4)を保存したメモリの文字列を消去することなく、メモリ格納データ(文字4)を利用した文字表示を継続する。
さらに、この文字表示を継続させたまま、並列してファイル切り換え、すなわち、TTML字幕データ(TTML−2)122から、TTML字幕データ(TTML−3)123へのファイル切り換えを実行する。
次のTTML字幕データファイル(TTML−3)123は、以下に示す構成を持つ。
<p begin="indefinite8"
end="00:00:50.856" >
文字4</p>
このデータは、以下の意味を有する。
文字列(文字4)について、
表示開始時間=継続表示指示値(indefinite)
表示終了時間=00:00:50.856
このファイル切り換え時点で、受信装置30の字幕データ処理部は、先行処理ファイルであるTTML字幕データファイル(TTML−2)122の制御情報(文字列(文字4)の表示終了時間=継続表示指示値(indefinite))に従って、文字データ(文字4)のメモリ保存と文字表示を継続している。
字幕データ処理部は、処理対象ファイルをTTML字幕データファイル(TTML−3)123に切り換えて、切り換え後のTTML字幕データファイル(TTML−3)123から、以下の文字列(文字4)の制御情報を検出する。
表示開始時間=継続表示指示値(indefinite)
表示終了時間=00:00:50.856
字幕データ処理部は、TTML字幕データ(TTML−3)123の文字列(文字4)の文字表示開始時間が、
表示開始時間=継続表示指示値(indefinite)
上記設定であることを確認する。
この確認に基づいて、字幕データ処理部は、
(a)表示開始時間=継続表示指示値(indefinite)が設定された文字列(文字4)、
(b)メモリ保存および表示継続されている文字列、
これらの両者が一致するか否かを判定する。
上記(a),(b)の文字列が一致している場合、現在継続表示中の文字列をそのままメモリに保存し、表示を継続する。
ただし、文字表示制御処理は、ファイル切り換え後のファイル、すなわち、TTML字幕データ(TTML−3)123に基づく処理として実行する。
この処理対象ファイルの切り換えによって、文字列(文字4)は、TTML字幕データ(TTML−3)123に記録された表示終了時間=t10=00:00:50.856まで、表示を継続し、時間t10において表示が終了する。
このような処理を行なうことで、図8(b)に示すように文字列(文字4)はファイル切り換え時の途切れを発生させることなく。継続して表示されることになる。
なお、上記の(a),(b)が一致しない場合もある。
例えば、途中から番組(コンテンツ)を受信した受信装置は、図8に示す字幕データファイル(TTML−2)122を受信せずに、字幕データファイル(TTML−3)123を受信して番組を視聴する場合である。
この場合、
(a)表示開始時間=継続表示指示値(indefinite)が設定された文字列(文字4)、
(b)メモリ保存および表示継続されている文字列、
上記(a)のデータは、字幕データファイル(TTML−3)123から取得できる。
しかし、上記(b)のデータは存在しない。すなわち、メモリに保存され表示継続中の文字列は存在しない。
この場合は、受信装置30の字幕データ処理部は、字幕データファイル(TTML−3)123のみに従って処理を実行する。
字幕データ処理部は、TTML字幕データファイル(TTML−3)123から、以下の文字列(文字4)の制御情報を検出する。
表示開始時間=継続表示指示値(indefinite)
表示終了時間=00:00:50.856
この検出情報に従って、文字列(文字4)の表示を即時表示し、表示終了時間=00:00:50.856に表示を終了させる。
このように、メモリ保存、表示継続中の文字列がない場合、字幕データ処理部は、
表示開始時間=継続表示指示値(indefinite)
この制御情報に従って、指定の文字列を即時表示する処理を行なう。
なお、図8を参照して説明した実施例では、表示開始時間または、表示終了時間のいずれか一方のみを、継続表示指示値(indefinite)とした例のみを示しているが、
表示開始時間=継続表示指示値(indefinite)
表示終了時間=継続表示指示値(indefinite)
このように、開始、終了の双方とも継続表示指示値(indefinite)とした制御情報もある。
この場合は、まず、
表示開始時間=継続表示指示値(indefinite)
この制御情報に基づいて、以下の(a),(b)の比較処理を行なう。
(a)表示開始時間=継続表示指示値(indefinite)が設定された文字列、
(b)メモリ保存および表示継続されている文字列、
この比較処理において、(a)=(b)の場合のみ、表示継続中の文字表示をそのまま継続して、処理対象ファイルを切り換える。
さらに、
表示終了時間=継続表示指示値(indefinite)
この制御情報に従って、文字表示を継続したまま、次のTTML字幕データファイルへの切り換え処理を行なう。
このような処理を行なうことで、3以上のTTML字幕データファイルを適用して同一字幕データの表示を継続させて行うことが可能となる。
このように、本実施例では、字幕データ処理部は、TTML字幕データファイルに記録された特定文字列(文字x)に対する制御情報として、、
表示終了時間=継続表示指示値(indefinite)
上記情報が記録されている場合、その特定文字列(文字x)の表示用データを格納したメモリからの消去を行わず、表示を継続する。
この表示継続中に、処理対象ファイルの切り換えを実行する。
さらに、切り換え後のTTML字幕データファイルに記録された制御情報として、上記特定文字列(文字x)に対する制御情報として、、
表示開始時間=継続表示指示値(indefinite)
上記情報が記録されている場合、その特定文字列(文字x)の表示用データがメモリに格納されていて、その表示が実行されている場合、その表示を継続する。
この表示継続しながら、切り換え後の処理対象ファイルに基づく処理を開始する。
このような処理を実行することで、図8に示すように、文字列(文字4)は、画像/音声データファイルの画像再生時間終端(t8)において途切れることなく、時間t7〜t10の期間、連続して表示されることになる。
図8に示す例では、文字列(文字4)は、
字幕データファイル(TTML−2)122のに規定された表示開始時間、
表示開始時間=t7=00:00:25.008
から、
字幕データファイル(TTML−3)122のに規定された表示終了時間、
表示終了時間=t10=00:00:50.856
このt7〜t10の期間、表示途切れを発生させることなく、表示可能となる。
図8に示す例は、字幕表示終了時間を示す属性(end)を用いた処理例であるが、先に図7を参照して説明した表示期間(duration)を示す属性(dur)を用いた場合も図8に示すと同様の字幕継続表示を行うことが可能である。
図9に、表示期間(duration)を示す属性(dur)を用いた実施例を示す。
図9に示すTTML字幕データファイル(TTML−2)132は、以下に示すデータを記録している。
<p begin="00:00:16.278"
dur="08.278" >
文字3</p>
<p begin="00:00:25.008"
dur="indefinite" >
文字4</p>
このデータは、以下の意味を有する。
文字列(文字3)について、
表示開始時間=00:00:16.278
表示期間=08.278秒
文字列(文字4)について、
表示開始時間=00:00:25.008
表示期間=継続表示指示値(indefinite)
文字列(文字4)の制御情報である
dur="indefinite" >に対する処理は、
図8を参照して説明した制御情報、
end="indefinite" >
と同様の処理となる。
すなわち、この表示期間=継続表示指示値(indefinite)は、表示対象文字の表示を継続させながら、ファイル切り換えを実行させるための制御情報である。
受信装置30の画像音声データ処理部は、TTML字幕データファイル(TTML−2)122と同期処理対象に設定されているメインデータである画像/音声データファイル102の再生終了時間(t8=00:00:35.442)になると、次の画像/音声データファイル103に対する処理切り換えを行う。
一方、字幕データ処理部は、処理対象としているTTML字幕データに基づいて表示中の文字に関する制御情報として、
表示期間(dur)=継続表示指示値(indefinite)
この設定がなされている場合、表示部に対する表示文字列を保存したメモリの文字列を消去することなく、メモリ格納データを利用した文字表示を継続する。この文字表示継続処理に並列して、ファイル切り換えを実行する。
図9に示す例では、先に説明した図5〜図7の例と同様、TTML字幕データ(TTML−2)132の文字列(文字4)を表示中に、TTML字幕データファイル(TTML−2)132と同期処理対象に設定されているメインデータである画像/音声データファイル102の再生終了時間(t8=00:00:35.442)になる。
ここで、字幕データ処理部は、TTML字幕データ(TTML−2)122の文字列(文字4)の文字表示期間(duration)が、
表示期間=継続表示指示値(indefinite)
上記設定であることの確認に基づいて、以下の処理を実行する。
字幕データ処理部は、表示部に対する表示文字列(文字4)を保存したメモリの文字列を消去することなく、メモリ格納データ(文字4)を利用した文字表示を継続する。
さらに、この文字表示を継続させたまま、並列して、ファイル切り換え、すなわち、TTML字幕データ(TTML−2)132から、TTML字幕データ(TTML−3)133へのファイル切り換えを実行する。
次のTTML字幕データファイル(TTML−3)133は、以下に示す構成を持つ。
<p begin="indefinite8"
end="00:00:50.856" >
文字4</p>
このデータは、以下の意味を有する。
文字列(文字4)について、
表示開始時間=継続表示指示値(indefinite)
表示終了時間=00:00:50.856
このファイル切り換え時点で、受信装置30の字幕データ処理部は、先行処理ファイルであるTTML字幕データファイル(TTML−2)132の制御情報(文字列(文字4)の表示期間=継続表示指示値(indefinite))に従って、文字データ(文字4)のメモリ保存と文字表示を継続している。
字幕データ処理部は、処理対象ファイルをTTML字幕データファイル(TTML−3)133に切り換えて、切り換え後のTTML字幕データファイル(TTML−3)133から、以下の文字列(文字4)の制御情報を検出する。
表示開始時間=継続表示指示値(indefinite)
表示終了時間=00:00:50.856
字幕データ処理部は、TTML字幕データ(TTML−3)123の文字列(文字4)の文字表示開始時間が、
表示開始時間=継続表示指示値(indefinite)
上記設定であることを確認する。
この確認に基づいて、字幕データ処理部は、
(a)表示開始時間=継続表示指示値(indefinite)が設定された文字列(文字4)、
(b)メモリ保存および表示継続されている文字列、
これらの両者が一致するか否かを判定する。
上記(a),(b)の文字列が一致している場合、現在継続表示中の文字列をそのままメモリに保存し、表示を継続する。
ただし、文字表示制御処理は、ファイル切り換え後のファイル、すなわち、TTML字幕データ(TTML−3)133に基づく処理として実行する。
この処理対象ファイルの切り換えによって、文字列(文字4)は、TTML字幕データ(TTML−3)133に記録された表示終了時間=t10=00:00:50.856まで、表示を継続し、時間t10において表示が終了する。
このような処理を行なうことで、図9(b)に示すように文字列(文字4)はファイル切り換え時の途切れを発生させることなく。継続して表示されることになる。
このように、字幕表示終了時間を示す属性(end)、表示期間(duration)を示す属性(dur)、いずれを用いた場合もファイル切り換えに伴う表示途切れを発生させることなく、継続した字幕表示を行うことが可能になる。
なお、図8、図9を参照して説明した実施例では、
字幕の継続表示を実行させる制御情報として、
各属性(end,begin,dur)に対して設定する継続表示指示値を[indefinite]とした例を説明したが、この値は、一例であり、その他、例えば[00:00:00.000]、あるいはその他の値を継続表示指示値として、上述した処理と同様の字幕継続表示を実行させる構成としてもよい。
また、定規実施例では、各属性(end,begin,dur)に対して設定する値を、すべて[indefinite]として統一した例を説明したが、属性ごとに異なる値を設定して、上記と同様の処理を行なわせる構成としてもよい。
[5.字幕表示制御シーケンスについて]
次に、受信装置30において実行する字幕表示制御シーケンスについて、図10〜図13を参照して説明する。
図10に示すフローチャートは、受信装置30において実行する字幕表示制御に関する処理シーケンスを説明するフローである。
図10に示すフローに従った処理は、例えば、受信装置におけるプログラム実行機能を持つCPU等を有するデータ処理部の制御の下に、記憶部に格納されたプログラムに従って実行される。
以下、各ステップの処理について説明する。
(ステップS101)
まず、受信装置は、ステップS101において、画像、音声、字幕の各データを格納したデータを受信する。
受信データには、TTML字幕データが含まれる。
(ステップS102)
次に、受信装置は、受信データから、TTML字幕データファイルを抽出する。
図3、図4等を参照して説明したように、TTML字幕データファイルには、表示文字列と、その文字列に対応する表示タイミング等の制御情報が記録されている。
(ステップS103)
受信装置の字幕データ処理部は、TTML字幕データファイルから、表示対象とする字幕データを選択する。
TTML字幕データの記録データ順に従って処理対象となる字幕データを選択して、制御情報に従った字幕表示処理を開始する。
(ステップS104)
次に、字幕データ処理部は、ステップS104において、表示対象字幕データの表示終了時間を規定した表示終了時間規定属性(end属性またはdur属性)対応処理を実行する。
このステップS104の処理の詳細について、図11に示すフローを参照して説明する。
(ステップS201)
まず、字幕データ処理部は、ステップS201において、表示対象文字列の表示終了時間規定属性(end属性またはdur属性)が継続表示指示値(indefinite)か否かを判定する。
継続表示指示値(indefinite)である場合はステップS202に進み、継続表示指示値(indefinite)でない場合は、ステップS203に進む。
(ステップS202)
表示対象文字列の表示終了時間規定属性(end属性またはdur属性)が継続表示指示値(indefinite)であることが確認された場合、受信装置は、ステップS202において、以下の処理を実行する。
表示対象字幕データを、配信データ単位(メインデータである画像、音声データファイル)の終端後もメモリに継続して保存し、メモリ保存文字列の表示処理を継続する。
字幕データ処理部は、メインデータである画像、音声データファイルの切り換え処理に併せて、TTML字幕データファイルの切り換え処理を行なうが、このファイル切り換え処理の間も、示終了時間規定属性(end属性またはdur属性)が継続表示指示値(indefinite)であることが確認された文字列(文字x)については、メモリ保存と表示を継続して行う。
(ステップS203)
一方、表示対象文字列の表示終了時間規定属性(end属性またはdur属性)が継続表示指示値(indefinite)でないことが確認された場合、受信装置は、ステップS203において、以下の処理を実行する。
表示対象字幕データを、表示終了時間規定属性(end属性またはdur属性)の指定に従って表示を終了する。
これらのステップS201〜S203の処理を図10のフローのステップS104の処理として実行する。
その後、ステップS105の処理に移行する。
(ステップS105)
受信装置の字幕データ処理部は、次のステップS105において、表示対象字幕データの表示開始時間を規定した表示開始時間規定属性(begin属性)対応処理を実行する。
このステップS105の処理の詳細について、図12に示すフローを参照して説明する。
(ステップS301)
まず、字幕データ処理部は、ステップS301において、表示対象文字列の表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)か否かを判定する。
継続表示指示値(indefinite)でない場合はステップS302に進み、継続表示指示値(indefinite)である場合は、ステップS303に進む。
(ステップS302)
表示対象文字列の表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)でない場合、字幕データ処理部は、ステップS302において以下の処理を行なう。
表示対象字幕データを、表示開始時間規定属性(begin属性)の指定時間に表示を開始する表示制御を実行する。
(ステップS303)
一方、表示対象文字列の表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)である場合、字幕データ処理部は、ステップS303において以下の処理を行なう。
表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)とされた文字列と、同一の文字データが、メモリに保存され表示継続中であるかを判定する。
処理対象となる文字と同一の文字がメモリに保存され表示継続中である場合は、ステップS304に進み、そうでない場合はステップS305に進む。
(ステップS304)
表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)とされた文字列と、同一の文字データが、メモリに保存され表示継続中である場合は、字幕テータ処理部は、ステップS304において以下の処理を行なう。
メモリに保存され、表示中の字幕の表示を継続して実行する。
(ステップS305)
一方、表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)とされた文字列と、同一の文字データが、メモリに保存されておらず表示継続中でない場合は、字幕テータ処理部は、ステップS305において以下の処理を行なう。
表示対象字幕データを、即時表示する処理を行なう。
なお、このケースは、先に説明したように、例えば図8に示す例で、字幕データファイル(TTML−2)122を受信せず、字幕データファイル(TTML−3)123から受信して、途中から番組(コンテンツ)を視聴する場合の処理等に対応する処理である。
これらのステップS301〜S305の処理を図10のフローのステップS105の処理として実行する。
その後、ステップS106の処理に移行する。
(ステップS106)
受信装置の字幕データ処理部は、ステップS106において、次の表示対象字幕データがあるか否かを判定し、ある場合は、ステップS103以下の処理を繰り返す。ない場合は処理を終了する。
なお、図10に示すフロー中、ステップS103〜S106の処理は、1つのTTML字幕データファイルに対する処理であり、ステップS101〜S102において、新たなTTML字幕データファイルの受信と抽出が実行される毎に、繰り返し実行される。
この図10〜図13を参照して説明した処理を実行することで、先に図8、図9を参照して説明したように、TTML字幕ファイルの切り換え時に、字幕表示途切れを発生させることなく、継続した字幕表示を行うことが可能となる。
[6.送信装置と受信装置の構成例について]
次に、通信装置である送信装置20と、受信装置30の装置構成例について、図13以下を参照して説明する。
図13には、送信装置20と、受信装置30の構成例を示している。
送信装置20は、データ処理部141、通信部142、記憶部143を有する。
受信装置30は、データ処理部151、通信部152、記憶部153、入力部154、出力部155を有する。
送信装置20のデータ処理部141は、データ配信サービスを実行するための各種のデータ処理を実行する。例えばデータ配信サービスの構成データの生成や送信制御を行う。
具体的には、画像、音声データの格納パケットの生成、字幕データ、その他のシグナリングデータを格納したパケット生成、配信処理を実行する。
なお、字幕データ格納パケットは、XML形式のTTML字幕データを格納したパケットである。
通信部142は、データ処理部141の生成した画像、音声、字幕、その他のシグナリングデータ等の制御信号の送信処理を行う。
記憶部143は配信対象とする画像、音声、字幕等の各データなどが格納される。
さらに、記憶部143は、データ処理部141の実行するデータ処理のワークエリアとして利用され、また各種パラメータの記憶領域としても利用される。
一方、受信装置30は、データ処理部151、通信部152、記憶部153、入力部154、出力部155を有する。
通信部152は、送信装置20から配信されるデータ、例えば画像、音声、字幕を格納したパケットやシグナリングデータを受信する。
字幕データはTTML字幕データである。
データ処理部151は、例えば、上述した実施例に従った字幕データの表示制御を実行する。
具体的には例えばTTML字幕データに従った字幕の表示制御を実行する。
ユーザの指示コマンド、例えばコンテンツ指定コマンド等は入力部154を介して入力される。
再生データは表示部やスピーカ等の出力部155に出力される。
記憶部153は受信した画像、音声、字幕等の各データが格納される。
さらに、記憶部153は、データ処理部151の実行するデータ処理のワークエリアとして利用され、また各種パラメータの記憶領域としても利用される。
図14は、送信装置20のデータ処理部141の詳細構成を示す図である。
データ処理部141は、画像データ処理部201、音声データ処理部202、字幕データ処理部203、制御信号生成部204、パケット生成部205を有する。
画像データ処理部201は、受信装置に送信するコンテンツの構成データである画像データに対する処理、例えば符号化処理等の送信用データ生成処理を行ない、パケットに格納する符号化画像データを生成してパケット生成部205に供給する。
音声データ処理部202は、受信装置に送信するコンテンツの構成データである音声データに対する処理、例えば符号化処理等の送信用データ生成処理を行ない、パケットに格納する符号化音声データを生成してパケット生成部205に供給する。
字幕データ処理部は、受信装置に送信するコンテンツの構成データである字幕データに対する処理を行なう。
具体的には、TTML字幕データの生成処理を行ない、パケット生成部205に供給する。
制御信号生成部204は、例えば番組情報等からなる制御信号を生成してパケット生成部205に出力する。
パケット生成部205は、画像、音声、字幕、制御信号を格納したパケットを生成して通信部142に供給する。
なお、パケット生成部205の生成するパケットには画像、音声、字幕等のデータ種別に応じたパケット識別子が設定される。
通信部142はパケット生成部205から入力するパケットを、放送波やネットワークを介して出力する。
図15は、受信装置30のデータ処理部151の詳細構成を示す図である。
受信装置30のデータ処理部151は、パケット分離部301、画像データ処理部302、音声データ処理部303、字幕データ処理部304、制御部305、重畳処理部306を有する。
パケット分離部301は、通信部152を介して受信するパケットのパケット識別子に基づいて受信パケットをデータ種別(画像、音声、字幕、制御信号)ごとに分離して、分離した各パケットを各データ処理部に供給する。
画像データ処理部302は、画像データを格納したパケットから画像データを取得し、復号処理等、画像の再生処理に必要な処理を実行する。
音声データ処理部303は、音声データを格納したパケットから音声データを取得し、復号処理等、音声の再生処理に必要な処理を実行する。
字幕データ処理部304は、字幕関連データを格納したパケットから、TTML字幕データを取得し、TTML字幕データに記録された制御情報を適用して、字幕の出力タイミングを制御して字幕の出力を行う。
制御部305は、上述した字幕関連の制御信号の出力の他、画像データ処理部302、音声データ処理部303、字幕データ処理部304、重畳処理部306の各処理部における処理制御を実行する。
重畳処理部306は、画像データ処理部302から出力される画像データと、字幕データ処理部304から出力される字幕データの重畳処理を実行して、表示部に出力する。
図16は、送信装置20、受信装置30として適用可能な通信装置のハードウェア構成例を示している。
CPU(Central Processing Unit)401は、ROM(Read Only Memory)402、または記憶部408に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)403には、CPU401が実行するプログラムやデータなどが記憶される。これらのCPU401、ROM402、およびRAM403は、バス404により相互に接続されている。
CPU401はバス404を介して入出力インタフェース405に接続され、入出力インタフェース405には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部406、ディスプレイ、スピーカなどよりなる出力部407が接続されている。CPU401は、入力部406から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部407に出力する。
入出力インタフェース405に接続されている記憶部408は、例えばハードディスク等からなり、CPU401が実行するプログラムや各種のデータを記憶する。通信部409は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
入出力インタフェース405に接続されているドライブ410は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア411を駆動し、データの記録あるいは読み取りを実行する。
なお、データの符号化あるいは復号は、データ処理部としてのCPU401の処理として実行可能であるが、符号化処理あるいは復号処理を実行するための専用ハードウェアとしてのコーデックを備えた構成としてもよい。
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) TTML(Timed Text Markup Language)字幕データを受信する通信部と、
前記TTML字幕データを適用した字幕表示制御を実行するデータ処理部を有し、
前記TTML字幕データは、字幕表示の終了処理に関する制御を行うend属性を持つ制御データを有し、該end属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データである受信装置。
(2) 前記データ処理部は、
前記TTML字幕データの制御データがend属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕の継続表示処理を実行する(1)に記載の受信装置。
(3) 前記データ処理部は、
前記TTML字幕データの制御データがend属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕データのメモリ保存と表示処理を継続する制御を実行する(1)または(2)に記載の受信装置。
(4) 前記データ処理部は、
前記TTML字幕データの制御データがend属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
前記TTML字幕データに対する同期処理ファイルである画像ファイルの再生終了タイミング以降も、表示中の字幕データのメモリ保存と表示処理を継続する制御を実行する(1)〜(3)いずれかに記載の受信装置。
(5) 前記データ処理部は、
前記TTML字幕データの制御データがend属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕データのメモリ保存と表示処理を継続させたまま、処理対象とするTTML字幕データファイルの切り換え処理を実行する(1)〜(4)いずれかに記載の受信装置。
(6) 受信装置において実行するデータ処理方法であり、
通信部が、TTML(Timed Text Markup Language)字幕データを受信するステップと、
データ処理部が、前記TTML字幕データを適用した字幕表示制御を実行するステップを有し、
前記TTML字幕データは、字幕表示の終了処理に関する制御を行うend属性を持つ制御データを有し、該end属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データであるデータ処理方法。
(7) 前記データ処理部は、
前記TTML字幕データの制御データがend属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕の継続表示処理を実行する(6)に記載のデータ処理方法。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、TTML字幕データの字幕表示途切れのない確実な表示制御を実現する装置、方法が実現される。
具体的には、TTML字幕データの字幕表示終了時間規定属性の設定値が継続表示指示値である場合、画像ファイルの再生終了タイミング以降も、表示中の字幕データのメモリ保存と表示処理を継続し、TTML字幕データファイルの切り換え処理を実行する。TTML字幕データの字幕表示開始時間規定属性の設定値が継続表示指示値である場合、表示処理継続中の文字列があるか否かを判定し、ある場合は、表示文字の継続表示を続行する。
本構成により、TTML字幕データの字幕表示途切れのない表示制御が実現される。
10 通信システム
20 送信装置
21 放送局
22 データ配信サーバ
30 受信装置
31 TV
32 PC
33 携帯端末
50 画像データ
60 音声データ
70 字幕データ
80 シグナリングデータ
101〜103 画像/音声データファイル
111〜113 字幕データファイル(TTML)
121〜123 字幕データファイル(TTML)
141 データ処理部
142 通信部
143 記憶部
151 データ処理部
152 通信部
153 記憶部
154 入力部
155 出力部
201 画像データ処理部
202 音声データ処理部
203 字幕データ処理部
204 制御信号生成部
205 パケット生成部
301 パケット分離部
302 画像データ処理部
303 音声データ処理部
304 字幕データ処理部
305 制御部
306 重畳処理部
401 CPU
402 ROM
403 RAM
404 バス
405 入出力インタフェース
406 入力部
407 出力部
408 記憶部
409 通信部
410 ドライブ
411 リムーバブルメディア

Claims (7)

  1. TTML(Timed Text Markup Language)字幕データを受信する通信部と、
    前記TTML字幕データを適用した字幕表示制御を実行するデータ処理部を有し、
    前記TTML字幕データは、字幕表示の終了処理に関する制御を行うend属性を持つ制御データを有し、該end属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データである受信装置。
  2. 前記データ処理部は、
    前記TTML字幕データの制御データがend属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
    表示中の字幕の継続表示処理を実行する請求項1に記載の受信装置。
  3. 前記データ処理部は、
    前記TTML字幕データの制御データがend属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
    表示中の字幕データのメモリ保存と表示処理を継続する制御を実行する請求項1に記載の受信装置。
  4. 前記データ処理部は、
    前記TTML字幕データの制御データがend属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
    前記TTML字幕データに対する同期処理ファイルである画像ファイルの再生終了タイミング以降も、表示中の字幕データのメモリ保存と表示処理を継続する制御を実行する請求項1に記載の受信装置。
  5. 前記データ処理部は、
    前記TTML字幕データの制御データがend属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
    表示中の字幕データのメモリ保存と表示処理を継続させたまま、処理対象とするTTML字幕データファイルの切り換え処理を実行する請求項1に記載の受信装置。
  6. 受信装置において実行するデータ処理方法であり、
    通信部が、TTML(Timed Text Markup Language)字幕データを受信するステップと、
    データ処理部が、前記TTML字幕データを適用した字幕表示制御を実行するステップを有し、
    前記TTML字幕データは、字幕表示の終了処理に関する制御を行うend属性を持つ制御データを有し、該end属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データであるデータ処理方法。
  7. 前記データ処理部は、
    前記TTML字幕データの制御データがend属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
    表示中の字幕の継続表示処理を実行する請求項6に記載のデータ処理方法。
JP2014222333A 2014-10-31 2014-10-31 受信装置、およびデータ処理方法 Active JP5672410B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014222333A JP5672410B1 (ja) 2014-10-31 2014-10-31 受信装置、およびデータ処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014222333A JP5672410B1 (ja) 2014-10-31 2014-10-31 受信装置、およびデータ処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014101126A Division JP6384119B2 (ja) 2014-05-15 2014-05-15 受信装置、および送信装置、並びにデータ処理方法

Publications (2)

Publication Number Publication Date
JP5672410B1 true JP5672410B1 (ja) 2015-02-18
JP2015220747A JP2015220747A (ja) 2015-12-07

Family

ID=52573891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014222333A Active JP5672410B1 (ja) 2014-10-31 2014-10-31 受信装置、およびデータ処理方法

Country Status (1)

Country Link
JP (1) JP5672410B1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009283124A (ja) * 2004-02-17 2009-12-03 Panasonic Corp システムlsi

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009283124A (ja) * 2004-02-17 2009-12-03 Panasonic Corp システムlsi

Also Published As

Publication number Publication date
JP2015220747A (ja) 2015-12-07

Similar Documents

Publication Publication Date Title
JP6384119B2 (ja) 受信装置、および送信装置、並びにデータ処理方法
TWI571868B (zh) 用於定序內容之方法及裝置
JP5979483B2 (ja) コンテンツ再生装置、コンテンツ再生システム、及びコンテンツ再生方法
CN104869467A (zh) 媒体播放中的信息输出方法、装置和系统
CN103491430B (zh) 流媒体数据处理方法和电子设备
US11758245B2 (en) Interactive media events
JP5672409B1 (ja) 受信装置、およびデータ処理方法
JP2006332759A (ja) 電子機器、画像制御方法、及び画像制御用のプログラム
US20220394328A1 (en) Consolidated Watch Parties
JP6590043B2 (ja) 受信装置、および送信装置、並びにデータ処理方法
US20160322080A1 (en) Unified Processing of Multi-Format Timed Data
US10820061B2 (en) Apparatus, systems and methods for presentation of media content using an electronic Braille device
JP5672411B1 (ja) 受信装置、およびデータ処理方法
JP5672410B1 (ja) 受信装置、およびデータ処理方法
JP5874870B1 (ja) 受信装置、および送信装置、並びにデータ処理方法
JP5899738B2 (ja) 情報処理システム、情報処理装置及び情報処理プログラム
JP6324596B2 (ja) 映像再生装置、映像再生方法およびプログラム
WO2014010069A1 (ja) 映像送信方法、字幕表示装置、及び映像送信装置
JP6192547B2 (ja) 映像記録再生装置および映像記録再生方法
JP5899718B2 (ja) 情報処理システム、情報処理装置及び情報処理プログラム
JP2018125886A (ja) 映像再生装置および映像再生方法
JP6380695B1 (ja) 処理装置、再生装置、処理方法、再生方法及びプログラム
JP5161323B2 (ja) 再生方法及び装置
WO2012131832A1 (ja) 音声読み上げシステム、音声読み上げ装置、および音声読み上げ方法
JP5228623B2 (ja) 放送映像再生方法、システム及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141031

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20141031

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20141117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141208

R151 Written notification of patent or utility model registration

Ref document number: 5672410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250