JP5027827B2 - テキスト再生装置、テキスト記録再生装置、テキスト再生方法、制御プログラム、および記録媒体 - Google Patents

Description

本発明は、時系列データと時間的に関連付けられたテキストデータを再生するテキスト再生装置、テキスト記録装置、テキスト再生方法、制御プログラム、および記録媒体に関するものである。

近年、デジタル放送の普及に伴い、クローズドキャプションデータ（以下ＣＣデータ）が付加されている番組が増加している。クローズドキャプションが付加された番組は、リモコンに備えられた「字幕」キーを押すことで、字幕を表示しながら番組を視聴することが可能である。この字幕のデータは、本来のターゲットである聴覚障害者だけでなく、一般視聴者にも有用であることが認識されてきている。

例えば、ワンセグ対応携帯電話などでテレビ番組を視聴する際、ヘッドホンをつける煩わしさから、字幕を表示した状態で視聴する人などを見かける。また、字幕だけを見れば番組の内容が大体つかめることから、録画したコンテンツの概要を把握したり、面白そうな箇所だけ視聴できるよう、録画の際に字幕をまとめて記録し、字幕のみを一覧表示する機能が提案されている。

非特許文献１、特許文献１には、字幕を保存しておき、字幕をリスト表示することで、コンテンツの内容の確認を効率化する技術が開示されている。それぞれの特徴として、非特許文献１では、字幕リストに加えて、定期的に抽出した画像を字幕に合わせて表示することで、字幕だけでは表せない雰囲気を伝えている。また、特許文献１ではシーン検出を行い、字幕に「シーン切換」のような言葉を追加することで、字幕上でシーンの切り替わりタイミングがわかるようにしている。

任天堂株式会社、"ワンセグ受信アダプタ ＤＳテレビ：特長 「読むＴＶ」"、［online］、［平成２０年１１月１２日検索］、インターネット＜ＵＲＬ：http://www.nintendo.co.jp/ds/unsj/feature/index.html＞

特開２００８−１７２４３９号公報

しかしながら、ＣＣデータは、必ずしもすべての区間に付加されているとは限らない。例えば、字幕（テロップと呼ばれるものも含む）がオープンキャプションとしてビデオに焼きこまれている場合は、ＣＣデータの付加は省略されることがある。また、ドラマや映画で場面切換時など映像自体で内容が表現されている場合、その区間ではＣＣデータは付加されない。このようにＣＣデータが付加されている番組であっても、ＣＣデータの無い区間がありうる。

従って、特許文献１を含む上述の従来技術では、字幕リスト表示中、このようなＣＣデータの無い区間の存在がユーザにはわからない。また、ＣＣデータの無い区間で何が起こっているのかがユーザにはわからない。そのため、字幕リスト表示だけ見ていたのでは面白いシーンを見逃してしまうのではないかとユーザは不安を感じ、場合によっては字幕リスト表示の使用をやめてしまうおそれがある。

また、非特許文献１のように定期的に抽出した画像を表示することや、あるいはタイムコードを付与して字幕表示することも考えられるが、ユーザの視聴の妨げになったり、タイムコード表示や画像表示の分、字幕表示領域が減少してしまい、字幕リスト表示のメリットを損ねてしまう。

本発明は、上述のような実状に鑑みてなされたものであり、その目的は、「表示領域をあまり要さず映像／音声データの内容を提示できる」といった字幕リスト表示のメリットを失うことなく、ＣＣデータの無い区間が存在していることを字幕リスト表示時にユーザに提示することが可能な、テキスト再生装置、テキスト記録再生装置、テキスト再生方法、制御プログラム、および記録媒体を提供することにある。

上述の課題を解決するために、本発明の第１の技術手段は、時系列データに時間的に関連付けられたテキストデータを描画する描画部を備えたテキスト再生装置であって、前記テキストデータの時間間隔を取得する間隔取得部と、前記間隔取得部で取得した時間間隔が所定の閾値を上回るか否かを評価する間隔評価部とをさらに備え、前記描画部は、前記間隔取得部で取得した時間間隔に応じて、前記テキストデータを装飾するための装飾画像を変更することで、前記時間間隔を反映して前記テキストデータを描画し、前記間隔評価部で前記所定の閾値を上回ると評価された場合には、前記所定の閾値の場合と同じ描画方法で描画を行うことを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記時系列データは少なくともビデオデータを含むことを特徴としたものである。

第３の技術手段は、第１又は第２の技術手段におけるテキスト再生装置と、時系列データと時間的に関連付けられたテキストデータを取得して記録する記録部と、を備えたテキスト記録再生装置であって、前記テキスト再生装置は、前記記録部で記録されたテキストデータを再生対象とすることを特徴としたものである。

第４の技術手段は、時系列データに時間的に関連付けられたテキストデータを再生するテキスト再生方法であって、間隔取得部が、前記テキストデータの時間間隔を取得する取得ステップと、間隔評価部が、前記取得ステップで取得した時間間隔が所定の閾値を上回るか否かを評価する評価ステップと、描画部が、前記取得ステップで取得した時間間隔に応じて、前記テキストデータを装飾するための装飾画像を変更することで、前記時間間隔を反映して前記テキストデータを描画し、前記評価ステップで前記所定の閾値を上回ると評価された場合には、前記所定の閾値の場合と同じ描画方法で描画を行うステップと、を含むことを特徴としたものである。

第５の技術手段は、第４の技術手段におけるテキスト再生方法をコンピュータに実行させるための制御プログラムである。

第６の技術手段は、第５の技術手段における制御プログラムをコンピュータ読み取り可能に記録した記録媒体である。

本発明によれば、「表示領域をあまり要さず映像／音声データの内容を字幕で提示できる」といった字幕リスト表示のメリットを失うことなく、ＣＣデータの無い区間が存在していることを字幕リスト表示時にユーザに提示することが可能になる。

本発明の第１の実施形態に係るテキスト記録再生装置の概略構成例を示す機能ブロック図である。 図１のテキスト記録再生装置におけるユーザ操作送信部のキー群の一例を示す図である。 図１のテキスト記録再生装置における合成部から出力される状態毎の表示例（但し、字幕再生状態の表示例は従来の例）を示す図である。 図１のテキスト記録再生装置における状態遷移の概略を示す説明図である。 図１のテキスト記録再生装置のデータ保持部におけるファイル・ディレクトリ構成の一例を示す図である。 図１のテキスト記録再生装置のデータ保持部に保持された字幕ファイルの一例を示す構成図である。 図１のテキスト記録再生装置における全体制御部の、ライブ視聴状態に遷移する際の初期化処理例を説明するためのフローチャートである。 図１のテキスト記録再生装置における全体制御部のライブ視聴状態での処理例を説明するためのフローチャートである。 図１のテキスト記録再生装置における全体制御部の録画状態での処理例を説明するためのフローチャートである。 図１のテキスト記録再生装置における全体制御部の通常再生状態での処理例を説明するためのフローチャートである。 図１のテキスト記録再生装置における全体制御部の字幕再生状態での処理例を説明するためのフローチャートである。 図１１における処理のうち、字幕レンダリング部が施す字幕表示更新処理の一例を説明するためのフローチャートである。 図１のテキスト記録再生装置における字幕レンダリング部で描画される字幕および濃淡パターンの一例を示す図である。 図１３の濃淡パターンの生成方法の一例を説明するための図である。 本発明の第２の実施形態に係るテキスト記録再生装置の概略構成例を示す機能ブロック図である。 図１５のテキスト記録再生装置のデータ保持部におけるファイル・ディレクトリ構成の一例を示す図である。 図１５のテキスト記録再生装置のデータ保持部に保持された字幕ファイルの一例を示す構成図である。 図１５のテキスト記録再生装置における全体制御部の録画状態での処理例を説明するためのフローチャートである。 図１５のテキスト記録再生装置における字幕レンダリング部が施す字幕表示更新処理の一例を説明するためのフローチャートである。 図１９の字幕表示更新処理における代表画像描画処理の一例を説明するためのフローチャートである。 図１５のテキスト記録再生装置における字幕レンダリング部で描画される字幕および代表画像の一例を示す図である。 図１５のテキスト記録再生装置における字幕レンダリング部で描画される字幕および代表画像の他の例を示す図である。

〔第１の実施形態〕
本発明の第１の実施形態について図１〜図１４に基づいて説明すれば、以下のとおりである。

＜システム構成＞
図１は、本発明の第１の実施形態に係るテキスト記録再生装置の概略構成例を示す機能ブロック図である。本実施形態に係るテキスト記録再生装置（以下、記録再生装置という）１は、デジタル放送を受信し、録画・再生する装置である。

記録再生装置１は、図１に示すように、全体制御部１０、データ受信部１１、字幕データ抽出部１２、データ記録部１３、データ保持部１４、データ読み出し部１５、切換部１６、ＯＳＤ（On Screen Display）生成部１７、字幕レンダリング部１８、同期部１９、ＡＶ（Audio Visual）再生部２０、合成部２１、ユーザ操作受信部２２、およびユーザ操作送信部２３を備えて構成されている。以下、各構成要素について説明する。

全体制御部１０は、ユーザ操作受信部２２からのユーザ操作など各種イベント通知に基づき、記録再生装置１を構成する各部を制御する。

データ受信部１１は、ＲＦ入力から入力されるデジタル放送の信号を復調し、視聴あるいは録画の対象となるサービスに対応するＭＰＥＧ（Moving Picture Experts Group）−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（以下、ＡＶデータという）を抽出し、字幕データ抽出部１２、並びに、データ記録部１３および／または切換部１６に送出する。さらに同時に、データ受信部１１は、受信するＡＶデータの属性情報やエントリポイントに関する情報を検出して全体制御部１０に通知する。

字幕データ抽出部１２は、全体制御部１０からの指令に基づき、データ受信部１１から送出されるＡＶデータから字幕データ（＝ＣＣデータ）を含むパケットを抜き出し、後述するデータフォーマットに整形し図示しないメモリに保持する。そして、字幕データ抽出部１２は、全体制御部１０からの指示に基づきメモリに保持した字幕データをデータ記録部１３に送出する。

データ記録部１３は、データ受信部１１から送出されるＡＶデータおよび字幕データ抽出部１２から送出される字幕データを、全体制御部１０からの指示に従って、データ保持部１４に記録する。また、データ記録部１３は、データ保持部１４における空き容量がない等の事態が発生した場合には、全体制御部１０に対し、通知を発する。

データ保持部１４は、ハードディスクドライブやフラッシュメモリなど不揮発性の記録媒体であり、ＵＤＦ（Universal Disk Format）やＦＡＴ（File Allocation Table）などのファイルシステムで管理されており、各種データはファイルとして取り扱うことが可能である。

データ読み出し部１５は、ユーザ操作受信部２２、ＡＶ再生部２０、および字幕レンダリング部１８からの指令に基づき、データ保持部１４に記録されたデータを読み出す。この指令は、図１において点線で制御情報のやり取りを示しているように、各部１８、２０、２２から全体制御部１０を介してデータ読み出し部１５に伝えられるか、あるいは、全体制御部１０が各部１８、２０、２２からの通知に基づき決定されデータ読み出し部１５に伝えられる。

切換部１６は、データ受信部１１からのＡＶデータあるいはデータ読み出し部１５からのＡＶデータのいずれを後述するＡＶ再生部２０に送出するかを、全体制御部１０からの指令に基づき切り換える。

ＯＳＤ生成部１７は、全体制御部１０からの指令に基づき、字幕表示やＡＶ再生以外のＧＵＩ（Graphical User Interface）を生成する。ＯＳＤ生成部１７での描画対象の一例として、後述するリスト表示画面（図３の画面３３）がある。

字幕レンダリング部１８は、全体制御部１０からの指令に基づき、データ保持部１４に記録された字幕データから後述する字幕表示画面を生成し、合成部２１に出力する。字幕レンダリング部１８は、字幕データのうちどの区間が現在表示されているかを把握しておくため、表示開始字幕ＩＤ、表示終了字幕ＩＤを内部に保持する。また、字幕レンダリング部１８は、現在注目している字幕（＝カレント字幕）を把握しておくため、カレント字幕のＩＤをカレント字幕ＩＤとして内部に保持する。

ＡＶ再生部２０は、全体制御部１０からの指令に基づき、切換部１６から送出されるＡＶデータのデコードを行い、合成部２１に出力する。同期部１９は、字幕レンダリング部１８の出力とＡＶ再生部２０の出力とを同期させる。

合成部２１は、全体制御部１０からの指令に基づき、ＯＳＤ生成部１７、字幕レンダリング部１８、ＡＶ再生部２０が生成あるいはデコードした映像を切換・合成して、外部に映像信号として出力する。

ユーザ操作送信部２３、ユーザ操作受信部２２は、それぞれ記録再生装置１のリモコン本体、記録再生装置１の本体側に設けられた受信部に相当する。

ユーザ操作送信部２３が備えるキー群の一例を図２に示す。図２で例示するキー群２３ａのいずれかのキーをユーザが押下した際、それぞれのキーに対応する指令を無線信号で発する。例えば、再生キーは再生指令を発する。ユーザ操作受信部２２はこの無線信号を受信して指令を解読し、全体制御部１０に伝える。

＜状態定義と状態遷移＞
記録再生装置１では次のI〜Vの状態が定義されており、状態間はユーザ操作などのイベントで遷移する。

（I）ライブ視聴状態：受信したデジタル放送をリアルタイムに表示する状態
（II）録画状態：受信中の番組を表示しつつ録画している状態
（III）リスト表示状態：録画済の番組のリストを表示してユーザに選択させる状態
（IV）字幕再生状態：選択した録画済の番組の字幕を再生している状態
（V）通常再生状態：選択した録画済の番組を再生している状態

図３に、各状態において合成部２１から出力される映像出力の例、すなわち表示例を示す。画面３１は、字幕再生状態（字幕リスト表示状態）IVの表示例である。字幕のみを表示しており、さらに、現在注目している字幕（＝カレント字幕）を示すため、特定の字幕をハイライト表示する。ハイライト表示されたカレント字幕３１ａは、ユーザ操作送信部２３からのイベントなどに基づき、上下の字幕に切り替わる。

但し、字幕再生状態IVの表示例として挙げた画面３１は、従来の字幕再生状態の画面であり、後述する時間間隔を反映した字幕データの描画という本発明の主たる特徴を組み込んだ画面ではない。本発明では、画面３１の代わりに時間間隔を反映した描画がなされた画面が表示されるが、その詳細は後述する。

画面３２は、ライブ視聴状態I、通常再生状態V、録画状態IIでの表示例である。これらの状態では、映像のみが表示される。

画面３３は、リスト表示状態IIIでの表示例、つまりリスト表示画面例である。画面３３には、前述のようにデータ保持部１４に保持されたＡＶデータ（録画済みの番組のＡＶデータ）に関し、番組リストが表示される。カレント番組を示すため、特定の番組をハイライト表示する。ハイライト表示されたカレント番組３３ａは、ユーザ操作送信部２３からユーザ操作受信部２２を介して全体制御部１０が受信したイベントなどに基づき、上下の番組に切り替わる。ユーザは、例えばユーザ操作送信部２３のキー群２３ａのうち上キーや下キーなどを用いて番組を切り換える操作ができる。

図４に、各状態間の遷移の概略を示す。以下、状態遷移について、図４に沿って簡単に説明する。
まず、電源投入により、初期状態からライブ視聴状態Iに遷移する。ライブ視聴状態Iでは、録画リスト指令を受けることでリスト表示状態IIIに遷移し、録画指令を受けることで録画状態IIに遷移する。録画状態IIにおいては、停止指令を受けることでライブ視聴状態Iに戻る。

リスト表示状態IIIにおいては、取り消し指令を受けることでライブ視聴状態Iに戻り、図示しない上下左右指令によりカレント番組を切り換え、再生指令を受けることでカレント番組を対象とした通常再生状態Vに遷移し、字幕再生指令を受けることでカレント番組を対象とした字幕再生状態IVに遷移する。

通常再生状態Vにおいては、停止指令を受けることでライブ視聴状態Iに戻り、字幕再生指令を受けることで、現在再生中の時刻に対応する字幕をカレント字幕として字幕再生状態IVに遷移する。

字幕再生状態IVにおいては、停止指令を受けることでライブ視聴状態Iに戻り、上下左右指令によりカレント字幕を切り換える。また、字幕再生状態IVでは、再生指令を受けることで通常再生状態Vに遷移する。このとき、再生は、現在再生中のカレント字幕に対する時刻から始まる。

＜記録データフォーマット＞
図５および図６を用いてデータ保持部１４における記録フォーマットを説明する。図５は、データ保持部１４におけるファイル・ディレクトリ構成の一例を示す図で、図６は、データ保持部１４に保持された字幕ファイルの一例を示す構成図である。

図５で例示するように、データ保持部１４におけるルートディレクトリ１４ａには、ビデオデータを格納するＣＬＩＰディレクトリ１４ｄと、ビデオデータに関する管理情報を格納するＩＮＦＯディレクトリ１４ｅと、字幕データ（字幕ファイル）を格納するＣＣディレクトリ１４ｃと、録画した番組リストを管理するインデックスファイル１４ｂとを置く。

インデックスファイル１４ｂには、番組のタイトルおよび番組のＡＶデータを格納したＣＬＩＰファイルのファイル名を格納する。

ＣＬＩＰディレクトリ１４ｄには、録画したＡＶデータであるクリップファイルを置く。なお１回の録画により１つのクリップファイルが生成されることになる。ファイル名は例えば５桁の数字に、拡張子ＣＬＰを付加したものとする。

ＩＮＦＯディレクトリ１４ｅには、ＡＶデータの属性情報やランダムアクセス情報といった管理情報を格納する管理情報ファイルを置く。管理情報ファイルのファイル名は、対応するクリップファイルのファイル名の拡張子をＩＮＦに置き換えたものとする。このため、クリップファイルが特定されれば、対応する管理情報ファイルを特定することが可能である。

ＣＣディレクトリ１４ｃには、ＡＶデータから抜き出した字幕データを格納する字幕データファイルを置く。字幕データのファイル名は、対応するクリップファイルのファイル名の拡張子をＣＣに置き換えたものとする。このため、クリップファイルが特定されれば、対応する字幕ファイルを特定することが可能である。

図６（Ａ）に示すように、字幕ファイル４０はヘッダ４１と字幕テーブル４２で構成する。字幕テーブル４２の構成を図６（Ｂ）に示す。１字幕は字幕テーブルの１レコードで管理され、１レコードは、表示開始時刻フィールド、表示終了時刻フィールド、字幕データフィールドで構成され、固定長である。表示開始時刻および表示終了時刻は、対応するクリップファイルに格納されたＡＶデータの先頭時刻を０とした時：分：秒で表す。なお、各レコードは、先頭を０とした昇順のＩＤで指し示す。各レコードは固定長であるため、ＩＤから簡単に目的のレコードを参照することが可能である。

＜初期化処理＞
図７を用いて、初期状態からライブ視聴状態Iに遷移する際の全体制御部１０の初期化処理を説明する。
まず、各処理部を初期化する（Ｓ１０ａ）。次に、データ読み出し部１５を通じて、インデックスファイルを読み出し（Ｓ１０ｂ）、ライブ視聴モードに移行する（Ｓ１０ｃ）。

＜ライブ視聴状態Iでの処理＞
図８を用いて、ライブ視聴状態に遷移した際の全体制御部１０の処理を説明する。
まず、データ受信部１１からの送出データをＡＶ再生部２０に送るように切換部１６を切り換え（Ｓ２０ａ）、合成部２１への入力をＡＶ再生部２０からの出力に切り換える（Ｓ２０ｂ）。

＜録画状態IIでの処理＞
図９を用いて、録画状態IIに遷移した際の全体制御部１０の処理の流れを説明する。
まず、初期化を行い（Ｓ３０ａ）、次に字幕データ抽出部１２に対し抽出開始を指示し（Ｓ３０ｂ）、データ記録部１３に対し録画開始を指示する（Ｓ３０ｃ）。録画中はデータ受信部１１から通知される属性情報やエントリポイントに関する情報を、管理情報ファイルとして後に記録するため、図示しないメモリに格納していく。

その後、指令や通知を待ち（Ｓ３０ｄ）、停止指令や記録領域無しの通知があったら（Ｓ３０ｅでＹＥＳとなった段階で）、データ記録部１３に対し録画停止指示を出し（Ｓ３０ｆ）、字幕データ抽出部１２に対し字幕データ抽出停止を指示する（Ｓ３０ｇ）。その後、各種管理情報をデータ保持部１４に記録する（Ｓ３０ｈ）。具体的には、図示しないメモリ上のインデックス情報を更新した上でデータ記録部１３を通じて、データ保持部１４上のインデックスファイルを更新する。また、図示しないメモリ上のＡＶデータの管理情報を、データ記録部１３を通じて、データ保持部１４上に管理情報ファイルとして記録する。さらに、字幕データ抽出部１２に保持されている字幕データを字幕ファイルとしてデータ保持部１４に記録するように字幕データ抽出部１２およびデータ記録部１３に指示する。最後にライブ視聴状態に遷移する（Ｓ３０ｉ）。

＜リスト表示状態IIIでの処理＞
図示しないメモリ中のインデックスファイルに基づき、図３の画面３３に示す番組リストを表示し、前述のようにユーザ操作に応じてカレント番組の変更および状態遷移を行う。

＜通常再生状態Vでの処理＞
図１０を用いて、通常再生状態Vに遷移した際の全体制御部１０の処理の流れを説明する。
まず、初期化を行い（Ｓ４０ａ）、カレント番組に対応する管理情報ファイルの読み出しを行い（Ｓ４０ｂ）、データ読み出し部１５に対してカレント番組のカレント再生時刻からの読み出しを指示する（Ｓ４０ｃ）。

その後、データ読み出し部１５および切換部１６を通じて、ＡＶ再生部２０にカレント番組に関するＡＶデータの送出を行いながら、指令や通知を待つ（Ｓ４０ｄ）。停止指令や再生終端到達通知などがあったら（Ｓ４０ｅでＹＥＳとなった段階で）、データ読み出し部１５に対して読み出し停止を指令し（Ｓ４０ｆ）、ライブ視聴状態Iに遷移する（Ｓ４０ｇ）。字幕再生指令だった場合（Ｓ４０ｈでＹＥＳの場合）、データ読み出し部１５に対して読み出し停止を指示し（Ｓ４０ｉ）、字幕再生状態IVに遷移する（Ｓ４０ｊ）。

＜字幕再生状態IVでの処理＞
次に図１１を用いて、字幕再生状態IVに遷移した場合の全体制御部１０の処理の流れを説明する。
まず、カレント番組に対応する字幕ファイルの読み出し（Ｓ５０ａ）、続いて字幕表示初期化を字幕レンダリング部に指令する。字幕表示初期化は、カレント字幕ＩＤをカレント再生時刻に最も近い表示開始時刻の字幕ＩＤに設定した後、字幕表示更新処理を行うことで為される。なお、字幕表示更新処理については後ほど説明する。

次に、指令や通知を待ち（Ｓ５０ｃ）、停止指令があった場合（Ｓ５０ｄでＹＥＳの場合）、ライブ視聴状態Iに遷移する（Ｓ５０ｅ）。再生指令があった場合（Ｓ５０ｆでＹＥＳの場合）、読み出し済みの字幕ファイルの内容からカレント字幕ＩＤに対応する表示開始時刻を検索し、その表示開始時刻をＡＶ再生部２０に対して、カレント時刻として設定する（Ｓ５０ｇ）。その後、通常再生状態Vに遷移する（Ｓ５０ｈ）。

上下左右指令があった場合（Ｓ５０ｉでＹＥＳの場合）、字幕レンダリング部１８に対し内部状態を更新するよう指令を出す（Ｓ５０ｊ）。このとき、字幕レンダリング部１８では、上指令に対して、カレント字幕ＩＤをデクリメント、下指令に対して、カレント字幕ＩＤのインクリメントを行い、カレント字幕ＩＤが表示開始字幕ＩＤと表示終了字幕ＩＤの範囲外になった場合、カレント字幕ＩＤが範囲内に収まるよう、表示開始字幕ＩＤと表示終了字幕ＩＤを補正する。その後、字幕レンダリング部１８に対して、字幕表示更新処理を指示し（Ｓ５０ｋ）、指令待ち（Ｓ５０ｃ）に戻る。

続いて、図１２を用いて、字幕レンダリング部１８における字幕表示更新処理の流れを説明する。この字幕表示更新処理は、Ｓ５０ｂの初期化処理に含まれる字幕表示更新処理として、およびＳ５０ｋの指示により実行される字幕表示更新処理として施される。この字幕表示更新処理では、背景を描画した後、字幕を描画する。

まず、最初の段階である背景描画について説明する。描画対象となる字幕のＩＤであるｉｄｘを表示開始字幕ＩＤ（ここではｂｇｎ）に初期化する（Ｓ６０ａ）。描画が画面下端に到達したか否かを判定し（Ｓ６０ｂ）、到達していなければ、ｉｄｘ番目の字幕の表示開始時刻とｉｄｘ−１番目の字幕の表示終了時刻から字幕間の時間間隔を取得し（Ｓ６０ｃ）、時間間隔に基づき濃淡パターンを描画する（Ｓ６０ｄ）。時間間隔と濃淡パターンの関係については後述する。

次に、ｉｄｘをインクリメントし（Ｓ６０ｅ）、Ｓ６０ｂに戻る。ここで、描画が画面下端に達していれば（Ｓ６０ｂでＹＥＳとなった段階で）、以下の手順で次の段階である字幕描画を進める。

背景描画時と同様、再生開始字幕ＩＤでｉｄｘを再度初期化し（Ｓ６０ｆ）、描画が画面下端に到達したか否かをチェックする（Ｓ６０ｇ）。到達していなければ（Ｓ６０ｇでＮＯの場合）、ｉｄｘがカレント字幕ＩＤ（ここではｃｕｒｒ）と一致しているか否かを調べ（Ｓ６０ｈ）、一致していれば字幕を選択描画（ハイライト描画）し（Ｓ６０ｉ）、そうでなければ通常描画する（Ｓ６０ｋ）。Ｓ６０ｉ、Ｓ６０ｋの処理後、ｉｄｘをインクリメントし（Ｓ６０ｊ）、Ｓ６０ｇに戻る。一方、描画が画面下端に到達していたら（Ｓ６０ｇでＹＥＳとなった段階で）、ｉｄｘ−１を表示終了字幕ＩＤに設定した上で、処理を終了する。

Ｓ６０ｉおよびＳ６０ｋで例示したように、字幕レンダリング部１８は、時系列データに時間的に関連付けられた字幕データ（ＣＣデータ）を描画する描画部を有する。ここで、本実施形態では、時系列データに少なくともビデオデータが含まれることを前提として説明している。また、Ｓ６０ｃで例示したように、字幕レンダリング部１８は、その字幕データの時間間隔を取得する間隔取得部を有する。この例では、間隔取得部は、全体制御部１０、データ読み出し部１５を介して、データ保持部１４から時間間隔を取得している。

そして、Ｓ６０ｄで例示したように、描画部は、間隔取得部で取得した時間間隔を反映して字幕データを描画する。ここで描画されたものが表示出力されることになる。また、再生対象（描画対象）となる字幕データは、データ受信部１１による受信やその他の方法で取得され、データ記録部１３によりデータ保持部１４に記録されたものとすればよい。このように記録再生装置１は、字幕データを取得して記録する記録部を備える。

＜字幕再生状態IVでの字幕再生の具体例＞
図１３および図１４を用いて、図１２のＳ６０ｄの処理で描画される濃淡パターンの具体例およびその生成方法について説明する。図１３は、本実施形態における字幕レンダリング部１８で描画される字幕および濃淡パターンの一例を示す図で、図１４は、図１３の濃淡パターンの生成方法の一例を説明するための図である。

ここで例示する、時間間隔を反映した字幕データ描画の方法は、（i）字幕データの描画時に字幕を装飾する背景等の画像（装飾画像）を描画可能にしておき、時間間隔に応じてその装飾画像を変更しながら描画する方法、の一例である。

図１３で例示する字幕再生状態IVでの画面（字幕リスト表示画面）５０では、「昔々、・・・」とはじまる字幕と共に、５１〜５３で示すような濃淡パターン（グラデーションパターン）を表示している。字幕の１行目と２行目との行間の濃淡パターン５１や字幕の３行目と４行目との行間の濃淡パターン５３と、字幕の２行目と３行目との行間の濃淡パターン５２とが異なるように、行によって後続する行間の黒さが異なるが、この黒さが字幕間の時間差に対応している。この濃淡パターンによって、ユーザは直感的に字幕間の時間差を知ることができる。そのため、ユーザは、ＣＣデータの無い区間があることとその度合いとを知ることができ、必要に応じて、通常再生状態Vに遷移し、実際の映像を確認することもできる。

図１４を用いて、この濃淡パターンの生成方法について説明する。
濃淡パターン５３に対応する字幕の３行目と４行目との行間を例に挙げて、図１４（Ａ）に生成の基準座標の定義を示している。ある字幕ｎを表示したときの中心の画面上での座標をｙ（ｎ）、次の字幕ｎ＋１の画面上での座標をｙ（ｎ＋１）としたとき、その間隔をＹ（ｎ）とする。字幕ｎの中心を０と置くと、字幕ｎ＋１の中心はＹ（ｎ）となる。その間の背景の輝度を、例えば図１４（Ｂ）に示すようなカーブで結ぶ。ここでは値２５５を白として、値０を黒としているため、字幕の中心を白として、中間が灰色になるようにする。座標ｙのときの輝度をＷ（ｙ）としたとき、Ｗ（ｙ）は以下のとおりとする。

Ｗ（ｙ）＝２５５×（Ｔｇ／Ｇ）×｛２＋ｃｏｓ（２π×ｙ／Ｙ）｝／３，
ｆｏｒ Ｔｇ≦Ｇ
Ｗ（ｙ）＝２５５×｛２＋ｃｏｓ（２π×ｙ／Ｙ）｝／３， ｆｏｒ Ｔｇ＞Ｇ

ここで、ＹはＹ（ｎ）に相当し、Ｔｇは字幕ｎと字幕ｎ−１との時間差を示し、Ｇは定数である。この例では、Ｔｇ≧Ｇの場合、字幕間の中間で輝度値８５の灰色となる。なお、Ｗ（ｙ）は、上記式の計算結果を四捨五入、切り下げ、切り上げなどの処理で丸めることにより、整数の輝度値を実際の計算結果として出力するものとする。

以上の式に基づき算出した濃度で背景を描画することで、図１３に示すような濃淡パターン５１〜５３を背景として含む字幕リスト表示画面５０を生成することが可能となる。

また、定数Ｇで場合分けした式を示したように、描画部は、閾値Ｇを上回ると評価された場合には、その閾値Ｇの場合と同じ描画方法で描画する（同じ反映方法で描画する）ようにしてもよい。そのためには、記録再生装置１は、間隔取得部で取得した時間間隔が所定の閾値Ｇより上回るか否かを評価する間隔評価部を備えておけばよい。一方で、閾値Ｇ以下の場合には、上述したように時間間隔を反映した描画を行えばよい。このような閾値Ｇにより描画方法を変えることで、ユーザにとって閾値Ｇ以下での時間間隔に応じた見え方の違いがはっきりする。

＜効果＞
第１の実施形態によれば、字幕の時間間隔に応じた描画を行っているため、ユーザは字幕リスト表示時に字幕間の時間差を直感的に知ることができる。従って、ユーザはＣＣデータの無い区間が存在していること、さらにはその度合いを知ることができる。これにより、ＣＣデータの無い区間によって生じ得るユーザの不安、つまり面白いシーンを見逃してしまうのではないかというユーザの不安を、軽減することが可能になる。さらに、この方法では、「表示領域をあまり要さず映像／音声データの内容を字幕で提示して、ユーザに伝える」といった字幕リスト表示のメリットを損なうこともない。

〔第２の実施形態〕
本発明の第２の実施形態について図１５〜図２２に基づいて説明する。本実施形態では、上記（i）の描画方法の他の例として、字幕の無い区間についてその区間の代表画像を描画することを、主たる特徴とする。つまり、第２の実施形態では、第１の実施形態のように装飾画像として背景画像を描画するのではなく、装飾画像として字幕無し区間の代表画像を描画する。

図１５は、本発明の第２の実施形態に係る記録再生装置の概略構成例を示す機能ブロック図である。なお、説明の便宜上、第１の実施形態において示したブロックと同一の機能を有するブロックには、同一の符号を付し、その説明を省略する。また、第１の実施形態において定義した用語については、特に断らない限り本実施形態においてもその定義に則って用いるものとする。

＜システム構成＞
本実施形態に係る記録再生装置１ａは、図１の記録再生装置１と同様に、デジタル放送を受信し、録画・再生する装置である。記録再生装置１ａの構成は、代表画像抽出部２４を追加している点と、字幕レンダリング部１８の振る舞いが異なる点以外は第１の実施形態と共通である。区別のため、第２の実施形態における字幕レンダリング部１８を字幕レンダリング部１８ａと呼ぶ。

代表画像抽出部２４は、全体制御部１０からの指令に基づき、データ受信部１１から送出されるＡＶデータ中のビデオデータをデコードし、デコード結果中の輝度値の急変を検出する。輝度値の変化が閾値を上回った場合、シーン切換が発生したと判断し、直後のイメージを縮小・ＪＰＥＧ圧縮した画像（代表画像）とその記録開始からの時刻を図示しないメモリに保持する。その後、全体制御部１０からの指令に従って、保持した代表画像データと時刻データ（タイムスタンプ）をデータ記録部１３に送出する。

字幕レンダリング部１８ａは、字幕レンダリング部１８の機能に加え、字幕データを前述の代表画像データと併せて字幕表示画面を生成する。なお、画面イメージと生成方法については後述する。

＜状態定義と状態遷移＞
第１の実施形態と共通であるため省略する。

＜記録データフォーマット＞
図１６および図１７を用いてデータ保持部１４における記録フォーマットを説明する。図１６は、記録再生装置１ａのデータ保持部１４におけるファイル・ディレクトリ構成の一例を示す図で、図１７は、記録再生装置１ａのデータ保持部１４に保持された字幕ファイルの一例を示す構成図である。

図１６で例示するように、記録再生装置１ａにおけるルートディレクトリ１４ａには、図５で示した各ディレクトリ１４ｂ〜１４ｅおよびインデックスファイル１４ｂの他に、前述の代表画像データを格納するためのＲＥＰディレクトリ１４ｆを置く。

そして、このＲＥＰディレクトリ１４ｆには、ＡＶデータから抽出した代表画像を１個以上格納する代表画像ファイルを置く。代表画像ファイルのファイル名は、対応するクリップファイルのファイル名の拡張子をＲＥＰに置き換えたものとする。このため、クリップファイルが特定されれば、対応する代表画像ファイルを特定することが可能である。

個々の代表画像は前述のようにＪＰＥＧフォーマットであり、各代表画像はパディングデータを後続させることでサイズを調整し、固定長の領域に格納する。各代表画像は先頭を０とする昇順のＩＤ（代表画像ＩＤ）で参照する。各画像は固定長であるため、代表ＩＤから各代表画像データは単純な計算でアクセスすることが可能である。

図１７（Ａ）に示すように、字幕ファイル４０ａは図６の字幕ファイル４０に代表画像テーブル４３を加えて構成する。代表画像テーブル４３の構成を図１７（Ｂ）に示す。１代表画像は、代表画像テーブル４３の１レコードで管理され、１レコードは、表示時刻と、代表画像ＩＤで構成され、固定長である。表示時刻は、代表画像を抜き出した時刻であり、対応するクリップファイルに格納されたＡＶデータの先頭時刻を０とした時：分：秒で表す。なお、各レコードは、先頭を０とした昇順のＩＤで指し示す。各レコードは固定長であるため、ＩＤから簡単に目的のレコードを参照することが可能である。

＜初期化処理＞
第１の実施形態と共通であるため省略する。
＜ライブ視聴状態Iでの処理＞
第１の実施形態と共通であるため省略する。

＜録画状態IIでの処理＞
図１８を用いて、録画状態IIに遷移した際の全体制御部１０の処理の流れを説明する。
処理の流れは、図９を用いて説明した第１の実施形態とほぼ同じであるが、録画開始指示（Ｓ１１０ｂ）の直後に代表画像抽出部２４に抽出開始を指示する（Ｓ１１０ｃ）点と、字幕データ抽出停止指示（１１０ｈ）の直後に、代表画像抽出部２４に対し、データ記録部１３を通じて、代表画像をデータ保持部１４に記録することを指示する（Ｓ１１０ｉ）点とが異なる。

＜リスト表示状態IIIでの処理＞
第１の実施形態と共通であるため省略する。
＜通常再生状態Vでの処理＞
第１の実施形態と共通であるため省略する。

＜字幕再生状態IVでの処理＞
次に、字幕再生状態IVに遷移した場合の全体制御部１０の処理の流れを説明する。ここでは、図１９を用いて、第１の実施形態と異なる字幕レンダリング部１８ａの処理に絞って説明する。図１９は、字幕レンダリング部１８ａが施す字幕表示更新処理の一例を説明するためのフローチャートである。

第１の実施形態における図１２で説明した処理の流れと類似するが、背景画像の描画の処理（図１２のＳ６０ｃ〜６０ｅ）が存在しない点と、字幕間の時間差を算出するステップ（Ｓ１２０ｃ）と、時間差が閾値ＴＨＲを上回るか否かを判定するステップ（Ｓ１２０ｄ）と、閾値ＴＨＲを上回った場合にのみ代表画像を描画するステップ（Ｓ１２０ｅ）とが存在する点が異なる。代表画像の描画処理については後述する。

このように、本実施形態における描画部は、字幕データの時間間隔が閾値ＴＨＲを上回ると評価された場合にのみ代表画像を描画することで、時間間隔を反映した描画を行う。つまり、閾値ＴＨＲを上回ると評価された場合にのみ、時間間隔を反映するように字幕データと共に代表画像を描画する。描画する代表画像は、代表画像抽出部２４でビデオデータから抽出されデータ保持部１４に保持された代表画像を、データ読み出し部１５を介して字幕レンダリング部１８ａが取得したものである。このように記録再生装置１ａは、代表画像を取得する特徴取得部を備える。また、時間間隔の評価は、第１の実施形態で説明した間隔評価部と同様の間隔評価部を備えておけばよい。但し、第２の実施形態における間隔評価部は、間隔取得部で取得した時間間隔が所定の閾値ＴＨＲを上回るか否かを評価する。

このような処理により、字幕の無い区間においても、ユーザはその区間で何があったのかが概要を把握することが可能となり、字幕の無い区間が存在していることを示すだけでなく、その区間に存在している情報をユーザに提示することができ、字幕表示機能を使用するユーザの不安を軽減することが可能となる。

次に、図２０および図２１を用いて、代表画像描画処理（Ｓ１２０ｅ）の流れ、およびその処理により表示された画面イメージの例を説明する。図２０は、Ｓ１２０ｅの代表画像描画処理の一例を説明するためのフローチャートで、図２１は、字幕レンダリング部１８ａで描画される字幕および代表画像の一例（字幕再生状態IVでの画面表示例）を示す図である。

まず、描画対象字幕であるｉｄｘ番目の字幕開始時刻と、ｉｄｘ−１番目の字幕終了時刻を取得する（Ｓ１３０ａ）。次に、取得した読み出し済みの代表画像テーブルから、この期間内で取得した代表画像ＩＤを検索し（Ｓ１３０ｂ）、検索された代表画像ＩＤを持つ代表画像を代表画像ファイルから読み出し、描画する（Ｓ１３０ｃ）。

この描画により表示された画面は、図２１のようになる。図２１の例では、字幕の１行目と２行目との間に、その間に生じたシーン切換時の代表画像６１、６２が表示され、字幕の３行目と４行目との間に、その間に生じたシーン切換時の代表画像６３が表示されている。

＜効果＞
このように、第２の実施形態によれば、第１の実施形態の効果に加えて、字幕データの無い区間に存在している情報を、字幕リスト表示時にユーザに提示することが可能になり、ユーザは字幕無し区間の存在だけでなく字幕無し区間でどのようなことがあったのかを知ることができる。

第２の実施形態においても、第１の実施形態と同様に字幕リスト表示のメリットを損ねるものではないが、この点について補足する。代表画像６１〜６３は、非特許文献１のように字幕の有無に拘わらず定期的に抽出した画像が表示されている訳ではなく、時間間隔の開いた部分（字幕無し区間）の画像のみ（且つシーンチェンジがなされたときの画像）である。従って、非特許文献１のように画像が字幕リスト表示の表示領域を占有することを防止できるため、字幕リスト表示のメリットをあまり損ねることなく、字幕データの無い区間の存在をユーザに提示することができる。

＜バリエーション＞
本実施形態で字幕と共に表示させる代表画像６１〜６３は、映像・音声データの再生を開始するための位置としてユーザが選択できるように表示させてもよい。例えば、代表画像６２をユーザが選択した場合にはその代表画像６２を取得した位置から映像・音声データの再生を開始できる。

また、本実施形態では、代表画像と字幕を別の行に表示しているが、それに限定されるものではない。例えば、図２２に字幕レンダリング部１８ａで描画される字幕および代表画像の他の例を示したように字幕と同一行に表示してもよいし、字幕の背景に（つまり字幕と重なることを許容して）表示してもよい。

また、本実施形態では、シーン切換が検出されたときを代表画像として検出した例を挙げたが、この例は、ユーザにとってシーン切換がないような部分は存在する字幕リスト表示で十分であることを前提としている。代わりに、閾値ＴＨＲを上回る場合に、シーン切換が１つも検出されなかった場合には最も輝度値の変化が激しかった部分をシーン切換が生じたと判定して、最低限１つの代表画像を抽出するように構成してもよい（シーン切換検出の閾値を下げることに相当）。

また、本実施形態では、代表画像を描画するかどうかを単一の閾値で判断した例を挙げているが、それに限定されるものではなく、間隔評価部が字幕の間隔を所定の評価基準に基づき評価する処理を実行し、描画部が間隔評価部での評価に応じて特徴取得部で取得された特徴情報を描画することで「時間間隔を反映した描画」を行うものであればよい。なお、この所定の評価基準の一例が、上述した閾値ＴＨＲを上回るか否かに相当する。

例えば、ある閾値ＴＨＲ１（＞ＴＨＲ）以下の場合にはシーン切換検出の閾値を上げて代表画像が抽出される度合いを下げるようにし、閾値ＴＨＲ１を上回る場合にはシーン切換検出の閾値を下げて代表画像が抽出される度合いを上げるようにしてもよい。この例では、代表画像が描画される確率が、ＴＨＲ以下の場合にゼロ、ＴＨＲを上回りＴＨＲ１以下の場合にＰ０、ＴＨＲ１を上回る場合にＰ１（＞Ｐ０）とすることができる。

また、本実施形態では、字幕と共に表示する画像としてシーン切換検出に基づく代表画像を用いたが、それに限られるものではない。記録容量が十分あれば、代表画像の代わりに、定期的に取得した画像を用いてもよいことは言うまでもない。

また、本実施形態では、字幕の無い区間を示す情報としてビデオデータから抜き出した代表画像等の画像情報を表示させているが、画像情報に限定されるものではなく、時系列データから抽出した他の特徴情報を表示するようにしてもよい。なお、上述した代表画像抽出部２４は、時系列データから特徴情報を抽出する特徴抽出部の一例に相当する。他の特徴情報としては、例えば、画像から抽出した色調や輝度でもよいし、視覚情報以外であってもかまわない。例えば、オーディオデータから抜き出した、字幕の無い区間の音響的特徴、例えばＢＧＭ／音声／雑音／無音の区別のような情報を文字情報として表示出力してもよい。

また、本実施形態では、字幕のある区間についても、ＡＶデータから抽出した特徴情報を保持しているが、字幕のある区間についてはそれらの情報を破棄するようにしてもよい。より具体的に説明すると、第２の実施形態では、時系列データから特徴情報を抽出する特徴抽出部を備えると共に、第１の実施形態で説明した記録部を備えるが、第２の実施形態における記録部は、字幕データの存在しない区間のみ、特徴抽出部で抽出された特徴情報を記録する（字幕データ無し区間に限定して記録する）ようにしてもよい。再生対象は、この記録部で記録された字幕データおよび特徴情報となる。

このような処理により、特徴情報を記録・保持するためのメモリ容量を削減することができるといった付加的な効果を奏する。勿論、特徴情報の抽出処理が少なくて済むように、特徴抽出部における特徴情報を抽出処理自体を、字幕データの存在しない区間のみ実行するように構成してもよい。

〔第３の実施形態〕
第３の実施形態では、第１の実施形態において主に描画部が異なるだけであり、同様の部分の説明を省略する。

第３の実施形態における描画部は、所定の閾値ＴＨＲ２を上回ると評価された場合にのみ、「時間間隔を反映した描画」を実行する。第１の実施形態について上述したのと同様に、上記評価は間隔評価部で実行すればよい。第３の実施形態におけるこの間隔評価部は、間隔取得部で取得した時間間隔が閾値ＴＨＲ２（≠Ｇ）を上回るか否かを評価すればよい。

「時間間隔を反映した描画」の具体例として、第１の実施形態と同様に濃淡パターンによる描画を挙げて説明する。例えば、閾値ＴＨＲ２として１ｓを採用すると、時間間隔が０．５ｓのとき濃淡差無し（グラデーション無し）、２ｓでは濃淡差が小さいグラデーション、５ｓでは濃淡差が大きい（例えば、２ｓのときの２．５倍濃度差が大きい）グラデーションなどとすることができる。

なお、第３の実施形態においても、第１の実施形態で説明した閾値Ｇによる場合分けを併せて適用することができる。但し、閾値ＴＨＲ２＜閾値Ｇとする。上述の具体例で説明すると、閾値Ｇを６ｓとした場合、７ｓでは６ｓのときの濃淡差と同じグラデーションとなる。

＜効果＞
第３の実施形態によれば、第１の実施形態の効果の他に、閾値ＴＨＲ２以下での「時間間隔を反映した描画」が不要となる分だけ、処理量を少なくすることができる。

＜第１、第３の実施形態に共通のバリエーション＞
第１、第３の実施形態においては、字幕間の時間差を背景の濃淡で表現した例を挙げたが、時間差がユーザに直感的にわかればどのような方法であっても同様の効果が得られる。例えば、字幕の横に時間差に応じた棒グラフを出してもよい。

他の表現方法について例示する。第１〜第３の実施形態では、時間間隔を反映した字幕データ描画の方法として、上記（i）の「時間間隔に応じて装飾画像を変更しながら描画する」方法を説明した。この方法の代わりに、第１、第３の実施形態においては、（ii）字幕データ自身の描画方法を時間間隔に応じて変更しながら描画する方法、を採用することもできる。

上記（ii）の「時間間隔を反映した描画」方法としては、例えば、時間間隔が短いほど薄い色で長いほど濃い色で字幕を描画すること、逆に時間間隔が短いほど濃い色で長いほど薄い色で字幕を描画すること、時間間隔が短いほど細い文字で長いほど太い文字で字幕を描画すること、逆に時間間隔が短いほど太い文字で長いほど細い文字で字幕を描画すること、などが挙げられる。他の例として、時間間隔が長いほど行間を長くし、行間の長さで時間間隔を表現してもよい。但し、この例の場合には、極端に字幕表示領域を行間で占有してしまわないように、第１の実施形態で閾値Ｇを上回るか否かで別の処理を行ったのと同様に、時間間隔が所定の閾値Ｇを上回ったときには常にその閾値Ｇに対応する長さの行間で描画することが望ましい。

上記（ii）の方法を採用した場合でも、第１または第３の実施形態の効果と同様の効果を奏する。但し、上記（i）の描画方法の方が、上記（ii）の描画方法よりも字幕自体の読み易さが保たれるという点において好適である。

＜第１〜第３の実施形態に共通するバリエーション＞
上述した第１〜第３の実施形態では、字幕間の時間差を、グラデーションや代表画像などで視覚的に表現することを前提に説明した。しかし、字幕間の時間差は、視覚的表現に限らず、例えばカレント字幕を変更した際に、音を出し、その音の高さで時間差を表現してもよい。また、同様に、第２の実施形態におけるＢＧＭ／音声／雑音／無音の区別のような情報を文字情報として表示出力するのではなく、音で出力してもよい。

また、第１〜第３の実施形態では、デジタル放送を対象として説明したが、本発明はそれに限定されない。例えば、ネットワークを用いたＶｏＤ（Video on Demand）やＩＰ放送にも適用可能である。

また、第１〜第３の実施形態では主にビデオデータを、字幕データに時間的に関連付ける対象としているが、時系列データであればよく、例えば音声データのみであっても適用可能である。但し、第２の実施形態において、特徴情報としてビデオデータから抽出された代表画像等の画像データを使用する場合には、時系列データに少なくともビデオデータを含む必要がある。

また、第１〜第３の実施形態では字幕データ（ＣＣデータ）を表示の対象としているが、テキストデータであればどのような情報であってもよい。例えば、ユーザが録画時などに付加しておいたコメントであっても適用可能である。

また、記録再生装置１、１ａの各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）またはＭＰＵ（Micro Processing Unit）等の主制御部を用いてソフトウェア（制御プログラム）によって実現してもよい。

すなわち、記録再生装置１、１ａは、上述した各部の機能を実現するための制御プログラムを実行するＣＰＵやＭＰＵ、上記制御プログラムや上記制御プログラムを実行する際に必要な各種データを格納したＲＯＭ（read only memory）やＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）やハードディスクなどのプログラム格納メモリ、上記制御プログラムを展開するＲＡＭ（random access memory）等の作業用メモリ、上記制御プログラムで処理後のデータを格納する記憶装置（上記ＥＥＰＲＯＭやハードディスク等と兼ねてもよい）などを備えるようにしてもよい。

上記制御プログラムは、そのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記記録再生装置１、１ａに供給すればよい。そして、その記録再生装置１、１ａ内部のコンピュータ（ＣＰＵやＭＰＵ）が、その記録媒体に記録されているプログラムコードを読み出し実行することによっても、上述した記録再生装置１、１ａの各部の機能は達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスク、ＣＤ（Compact Disc）−ＲＯＭ／ＭＯ（Magneto Optical Disk）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）／ＢＤ（Blu-ray Disc）／ＣＤ−Ｒ（Recordable），ＤＶＤ−Ｒ，ＢＤ−Ｒ／ＣＤ−ＲＷ（ReWritable），ＤＶＤ−ＲＷ，ＢＤ−ＲＥ（REwritable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（Erasable and Programmable ROM）／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、記録再生装置１、１ａを通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value Added Network）、ＣＡＴＶ（Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等なども利用可能である。また、通信ネットワークを構成する伝送媒体も、特に限定されるものではなく、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、ＵＳＢ（Universal Serial Bus）、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンで用いられるような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（High Data Rate、CDMA2000対応携帯電話用高速データ転送規格）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

また、第１〜第３の実施形態では、テキスト記録再生装置について説明したが、本発明は、記録処理を行う部位を備えず、記録済みの字幕データを再生するテキスト再生装置として構成することもできる。テキスト記録再生装置としてはビデオレコーダが、テキスト再生装置としてはビデオディスクプレーヤが例示できる。

さらに、第１〜第３の実施形態におけるテキスト記録再生装置／テキスト再生装置は、ビデオディスクプレーヤやビデオレコーダといったＡＶデータを記録／記録再生するための専用の機器として構成するに限らず、汎用のＰＣ（Personal Computer）等に組み込んで、ＰＣをその装置として機能させることもできる。この場合、上記制御プログラムは、ＰＣのＣＰＵが実行するプログラムに該当することになる。

最後に、本発明に係るテキスト再生方法について説明する。第１〜第３の実施形態ではテキスト記録再生装置やテキスト再生装置を挙げて本発明について説明しているが、本発明は、装置における処理のシーケンスも例示したように、このような装置におけるテキスト再生方法としての形態も採り得る。

つまり、このテキスト再生方法は、時系列データに時間的に関連付けられたテキストデータを再生するテキスト再生方法であって、間隔取得部が、テキストデータの時間間隔を取得するステップと、描画部が、間隔取得部で取得した時間間隔を反映して前記テキストデータを描画するステップと、を含む。その他の応用例についても、記録再生装置１、１ａで説明した通りであり、説明を省略する。なお、上記制御プログラムは、このようなテキスト再生方法を、コンピュータ（汎用ＰＣ、あるいはレコーダやプレーヤの制御部）に実行させるためのプログラムに相当することになる。

本発明に係るテキスト再生装置は、時系列情報と時間的に関連付けられたテキストをリスト表示する際のユーザの使い勝手をよくすることができるため、字幕やコメントをリスト表示するビデオプレーヤやＰＣ用ソフトウェアなどに好適に利用することができる。

１，１ａ…記録再生装置、１０…全体制御部、１１…データ受信部、１２…字幕データ抽出部、１３…データ記録部、１４…データ保持部、１５…データ読み出し部、１６…切換部、１７…ＯＳＤ生成部、１８，１８ａ…字幕レンダリング部、１９…同期部、２０…ＡＶ再生部、２１…合成部、２２…ユーザ操作受信部、２３…ユーザ操作送信部、２４…代表画像抽出部。

Claims (6)

1. 時系列データに時間的に関連付けられたテキストデータを描画する描画部を備えたテキスト再生装置であって、
   前記テキストデータの時間間隔を取得する間隔取得部と、前記間隔取得部で取得した時間間隔が所定の閾値を上回るか否かを評価する間隔評価部とをさらに備え、
   前記描画部は、前記間隔取得部で取得した時間間隔に応じて、前記テキストデータを装飾するための装飾画像を変更することで、前記時間間隔を反映して前記テキストデータを描画し、前記間隔評価部で前記所定の閾値を上回ると評価された場合には、前記所定の閾値の場合と同じ描画方法で描画を行うことを特徴とするテキスト再生装置。
2. 請求項１に記載のテキスト再生装置であって、
   前記時系列データは少なくともビデオデータを含むことを特徴とするテキスト再生装置。
3. 請求項１又は２に記載のテキスト再生装置と、時系列データと時間的に関連付けられたテキストデータを取得して記録する記録部と、を備えたテキスト記録再生装置であって、
   前記テキスト再生装置は、前記記録部で記録されたテキストデータを再生対象とすることを特徴とするテキスト記録再生装置。
4. 時系列データに時間的に関連付けられたテキストデータを再生するテキスト再生方法であって、
   間隔取得部が、前記テキストデータの時間間隔を取得する取得ステップと、
   間隔評価部が、前記取得ステップで取得した時間間隔が所定の閾値を上回るか否かを評価する評価ステップと、
   描画部が、前記取得ステップで取得した時間間隔に応じて、前記テキストデータを装飾するための装飾画像を変更することで、前記時間間隔を反映して前記テキストデータを描画し、前記評価ステップで前記所定の閾値を上回ると評価された場合には、前記所定の閾値の場合と同じ描画方法で描画を行うステップと、
   を含むことを特徴とするテキスト再生方法。
5. 請求項４に記載のテキスト再生方法をコンピュータに実行させるための制御プログラム。
6. 請求項５に記載の制御プログラムをコンピュータ読み取り可能に記録した記録媒体。

Images