JP5410128B2 - コンテンツ表示制御装置、コンテンツ表示制御方法、プログラム、記録媒体 - Google Patents

Description

本発明は、映像データと、当該映像データとタイムスタンプを介して関連付けられたとテキストデータとを含むコンテンツの表示を制御するコンテンツ表示制御装置、コンテンツ表示制御方法、プログラム及び記録媒体に関する。

テレビジョン放送コンテンツにおいて、映像に重畳してテレビ画面に表示される文字情報には、クローズドキャプション及びオープンキャプションの２種類がある。クローズドキャプションは、映像データと分離した状態で送信される文字情報であり、受信機側で映像データと合成することによって画面に表示されるものである。一方、オープンキャプションは、映像データに合成された状態で送信される文字情報であり、受信機側で映像データを表示することによって画面に表示されるものである。クローズドキャプションは、一般に字幕と称されることがあり、受信機側で表示又は非表示を選択することができるものであるが、オープンキャプションは、テロップのように映像を表示すると常に表示され、非表示設定することができない。

このように、ユーザは映像情報や音声情報だけでなく、文字情報による放送内容の理解が可能である。近年、より効率よく放送内容を理解するための文字情報の表示方法が開発されている。特許文献１には、すでに表示した字幕を、新たに表示された字幕と共に画面上に残して表示する放送受信装置が記載されている。これにより、ユーザがより字幕の内容を把握しやすくすることを目的としている。また、特許文献２には、字幕を映像とは異なる表示装置に表示することによって、字幕の表示と映像の表示とが干渉して字幕が読みづらいという問題を解決する装置が記載されている。また、特許文献３には、字幕が挿入されている映像のみを字幕と共に順次再生するダイジェスト表示によって、全体映像を逐次再生しなくても放送内容を理解可能にすることを目的とした映像再生装置が記載されている。

特開２００２−２３２７９８号公報（２００２年８月１６日公開） 特開２００１−２４９６４号公報（２００１年１月２６日公開） 特開２００８−８５９４６号公報（２００８年４月１０日公開）

しかしながら、放送コンテンンツにおいては、オープンキャプション及びクローズドキャプションの両方読むことで初めて、文字情報による放送コンテンツの内容理解が可能なように作成されているものがあり、このような場合、クローズドキャプションからのみでは文字情報による放送コンテンツの内容理解が十分ではない。特許文献１〜３に記載の装置はいずれも、文字情報の表示領域にクローズドキャプションのみを表示するものであり、ユーザが放送コンテンツの内容を十分に理解することが困難である。

本発明は、上記課題を解決するためになされたものであり、その目的は、ユーザが文字情報により十分にコンテンツの内容を把握することが可能なようにコンテンツを表示させるコンテンツ表示制御装置、コンテンツ表示制御方法、プログラム、及び記録媒体を提供にすることにある。

（コンテンツ表示制御装置）
本発明に係るコンテンツ表示制御装置は、上記課題を解決するために、表示画面上の映像表示領域に映像データを表示すると共に、当該映像データにタイムスタンプを介して関連付けられたテキストデータを当該表示画面上の文字表示領域に表示するコンテンツ表示制御装置であって、上記映像データ中の文字領域を抽出する抽出手段と、上記抽出された文字領域と、上記テキストデータとを、上記文字表示領域に表示する表示手段とを備えていることを特徴としている。

上記の構成によれば、コンテンツ表示制御装置は、表示画面上の映像表示領域に映像データを表示すると共に、当該映像データにタイムスタンプを介して関連付けられたテキストデータを当該表示画面上の文字表示領域に表示する。そして、文字表示領域には、抽出手段が映像データから抽出した文字領域と、当該映像データにタイムスタンプを介して関連付けられたテキストデータとの両方が、表示手段によって表示される。したがって、コンテンツを視聴するユーザは、テキストデータのみではなく、映像データに含まれる文字情報からもコンテンツの内容を理解することができるので、ユーザがコンテンツの内容を十分に理解することができる。

また、本発明に係るコンテンツ表示制御装置において、上記抽出手段は、上記文字領域を、字句領域と背景領域とを含む画像データとして抽出し、上記表示手段は、上記抽出された画像データと、上記テキストデータとを、上記文字表示領域に表示することが好ましい。

上記の構成によれば、抽出手段は、映像データに含まれる文字領域を、字句領域と背景領域とを含む画像データとして抽出し、文字表示領域には、当該画像データとテキストデータとが、表示手段によって表示される。これにより、ユーザは、文字表示領域に表示される文字領域を表す画像データとテキストデータとから、コンテンツの内容を十分に理解することができる。

また、本発明に係るコンテンツ表示制御装置において、上記抽出手段は、上記画像データを抽出する際、上記字句領域を予め定められた所定の大きさに調整し、上記表示手段は、上記調整後の画像データと、上記テキストデータとを、上記文字表示領域に表示することが好ましい。

上記の構成によれば、抽出手段は、映像データから文字領域の画像データを抽出する際、字句領域を予め定められた所定の大きさに調整する。そして、表示手段は、調整後の画像データとテキストデータとを文字表示領域に表示する。したがって、例えば、画像データの大きさをテキストデータの大きさに合わせることによって、文字表示領域の見やすさが向上する。

また、本発明に係るコンテンツ表示制御装置において、上記抽出手段は、上記文字領域中の字句領域を表す、テキスト形式の字句領域データとして、上記文字領域を抽出し、上記表示手段は、上記字句領域データと、上記テキストデータとを上記文字表示領域に表示することが好ましい。

上記の構成によれば、抽出手段は、映像データに含まれる文字領域を、文字領域中の字句領域を表す、テキスト形式の字句領域データとして抽出する。そして、表示手段は、抽出されたテキスト形式の字句領域データとテキストデータとを文字表示領域に表示する。このように、文字表示領域に、テキストデータと同じテキスト形式の字句領域データを表示することによって、文字表示領域の見やすさが向上する。

また、本発明に係るコンテンツ表示制御装置において、上記抽出手段は、上記文字領域中の字句領域から抽出した各用語の重み付け係数を、上記テキストデータから抽出した各用語の比較重み付け係数と比較し、上記重み付け係数が予め定められた所定の重み付け係数よりも大きい場合に、上記文字領域を上記字句領域データとして抽出することが好ましい。

上記の構成によれば、抽出手段は、まず、テキストデータから抽出した各用語の比較重み付け係数と、文字領域中の字句領域から抽出した各用語の重み付け係数とを比較する。そして、重み付け係数が、予め定められた所定の重み付け係数よりも大きい場合に、当該文字領域を字句領域データとして抽出する。このように、抽出手段は、テキストデータに基づいて、字句領域データの抽出処理を行うので、字句領域データの抽出精度が向上する。

また、本発明に係るコンテンツ表示制御装置において、上記表示手段は、上記字句領域データを、上記テキストデータと異なる表示形式によって表示することが好ましい。これにより、ユーザは、文字表示領域に表示される文字情報の種別を理解することができるので、コンテンツの内容を十分に理解することができる。

また、本発明に係るコンテンツ表示制御装置において、上記表示手段は、上記文字領域を含む映像データとタイムスタンプを介して関連付けられたテキストデータを表示する時刻とは異なる時刻に、当該文字領域を表示することが好ましい。

上記の構成によれば、表示手段は、映像データから抽出した文字領域とテキストデータとを重複しないように表示するので、ユーザは文字領域とテキストデータとの両方を視聴することによって、コンテンツの内容を十分に理解することができる。

また、本発明に係るコンテンツ表示制御装置は、上記文字領域と上記テキストデータとを統合した文字情報データを作成する統合手段をさらに備え、上記表示手段は、上記文字情報データを上記文字表示領域に表示することが好ましい。

上記の構成によれば、統合手段は、抽出手段が抽出した文字領域とテキストデータとを統合して文字情報データを作成する。そして、表示手段は、統合手段が作成した文字情報データを表示する。したがって、コンテンツを視聴するユーザは、テキストデータと文字領域とからコンテンツの内容を十分に理解することができる。

また、本発明に係るコンテンツ表示制御装置において、上記統合手段は、上記抽出された文字領域と、予め重要データであると設定された比較文字領域とを比較し、上記文字領域が当該重要データであると判定した場合に、上記文字領域と上記テキストデータとを統合した上記文字情報データを作成することが好ましい。

上記の構成によれば、統合手段は、まず、予め重要データであると設定された比較文字領域と、抽出手段が抽出した文字領域とを比較して、文字領域が重要データであるか否かを判定する。そして、文字領域が重要データであると判定した時には、当該文字領域とテキストデータとを統合して文字情報データを作成し、文字領域が重要データではないと判定した時には、当該文字領域をテキストデータと統合せず、文字情報データを作成しない。これにより、ユーザがコンテンツの内容を理解するのに必要とする文字情報のみを文字表示領域に表示することができるので、ユーザがより容易にコンテンツの内容を理解することができる。

（コンテンツ表示制御方法）
本発明に係るコンテンツ表示制御方法は、映像データを表示画面上の映像表示領域に表示すると共に、当該映像データにタイムスタンプを介して関連付けられたテキストデータを当該表示画面上の文字表示領域に表示するコンテンツ表示制御装置が実行するコンテンツ表示制御方法であって、上記映像データ中の文字領域を抽出する抽出ステップと、上記抽出された文字領域と、上記テキストデータとを、上記文字表示領域に表示する表示ステップとを備えていることを特徴としている。

上記の構成によれば、本発明に係るコンテンツ表示制御装置と同様の作用効果を奏する。

（コンテンツ表示装置）
本発明に係るコンテンツ表示装置は、本発明に係るコンテンツ表示制御装置を備えていることを特徴としている。上記の構成によれば、コンテンツ表示装置は、表示画面上の映像表示領域に映像データを表示すると共に、当該映像データにタイムスタンプを介して関連付けられたテキストデータを当該表示画面上の文字表示領域に表示する。そして、文字表示領域には、コンテンツに含まれるテキストデータと、コンテンツの映像データに含まれる文字領域との両方が表示される。したがって、コンテンツを視聴するユーザは、テキストデータのみではなく、映像データに含まれる文字情報からもコンテンツの内容を理解することができる。その結果、ユーザがコンテンツの内容を十分に理解することができる。

（プログラム、記録媒体）
なお、上記コンテンツ表示制御装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記コンテンツ表示制御装置をコンピュータにおいて実現するプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明に係るコンテンツ表示制御装置は、表示画面上の映像表示領域に映像データを表示すると共に、当該映像データにタイムスタンプを介して関連付けられたテキストデータを当該表示画面上の文字表示領域に表示するコンテンツ表示制御装置であって、上記映像データ中の文字領域を抽出する抽出手段と、上記抽出された文字領域と、上記テキストデータとを、上記文字表示領域に表示する表示手段とを備えているので、コンテンツを視聴するユーザは、テキストデータのみではなく、映像データに含まれる文字情報からもコンテンツの内容を理解することが可能であり、ユーザがコンテンツの内容を十分に理解することができる。

本発明の一実施形態に係るコンテンツ再生装置の要部構成の概略を示すブロック図である。 クローズドキャプションデータを含むクローズドキャプションテーブルの一例を示す図である。 オープンキャプションデータを含むオープンキャプションテーブルの一例を示す図である。 字幕統合データを含む字幕統合テーブルの一例を示す図である。 字幕統合テーブルのサブクローズドテーブルの一例を示す図である。 字幕統合データのサブオープンテーブルの一例を示す図である。 本発明に係る再生制御装置における再生データ作成処理の流れの一例を示すフローチャートである。 本発明に係る再生制御装置における字幕統合データの作成処理の流れを示すフローチャートである。 本発明に係る再生制御装置における重要データ判別処理の流れを示すフローチャートである。 オープンキャプションの字句領域と背景領域とを説明する図である。 放送コンテンツの一例を示す図である。 本発明に係るコンテンツ再生装置が再生する字幕表示領域の一例を示す図である。 本発明に係るコンテンツ再生装置が再生する字幕表示領域の他の例を示す図である。 本発明に係る再生制御装置における字幕再生処理の流れを示すフローチャートである。 字幕統合データを含む字幕統合テーブルの他の例を示す図である。 本発明に係る再生制御装置における字幕統合データの作成処理の流れの他の例を示すフローチャートである。 クローズドキャプションテーブルから作成した重要語句テーブルの例を示す図である。 本発明に係るコンテンツ再生装置が再生する字幕表示領域の他の例を示す図である。 本発明に係るコンテンツ再生装置が再生する字幕表示領域の他の例を示す図である。

〔第１の実施形態〕
本発明の一実施形態について、図１から図１４に基づいて説明すれば、以下の通りである。なお、本実施形態においては、受信したテレビジョン放送コンテンツを記録及び再生するコンテンツ再生制御装置及びコンテンツ再生装置について説明するが、本発明はこれに限定されず、付加テキストを含むストリーミングコンテンツ、付加テキストを含むダウンロードコンテンツ（蓄積コンテンツ、ファイルコンテンツ等）、及び付加テキストを含むＩＰ放送コンテンツを記録及び再生する装置にも好適に利用可能である。このような装置として、テレビジョン受像機、ＰＣ（Personal Computer）等を使用可能である。

（コンテンツ再生装置１００）
本発明に係るコンテンツ再生装置（コンテンツ表示装置）１００の構成について、図１を参照して以下に説明する。図１は、本発明の第１の実施形態に係るコンテンツ再生装置１００の要部構成の概略を示すブロック図である。コンテンツ再生装置１００は、コンテンツデータを含むデジタル放送信号を受信し、放送コンテンツを記録及び再生する。具体的には、表示画面上の映像表示領域にコンテンツデータに含まれる映像データを表示すると共に、当該映像データにタイムスタンプを介して関連付けられたテキストデータを表示画面上の文字表示領域に表示する。

図１に示すように、コンテンツ再生装置１００は、コンテンツ再生制御装置（コンテンツ表示制御装置）１０、ユーザ操作部１１、及び表示部２１を備えている。さらに、全体制御部１２、データ受信部１３、データ生成部（抽出手段）１４、データ保持部１５、データ読み出し部１６、ＡＶ再生部１７、同期部１８、字幕再生部１９、及びデータ再生部（表示手段）２０を備えている。データ生成部１４は、さらに、オープンキャプション抽出部１４１、クローズドキャプション抽出部１４２、及び字幕統合部（統合手段）１４３を備えている。

ユーザ操作部１１は、ユーザの操作に応じて、そのユーザの操作を表す操作信号をコンテンツ再生制御装置１０に出力する入力装置である。ユーザは、ユーザ操作部１１を操作することによって、再生制御装置１０に録画又は再生等の操作内容を入力する。ユーザ操作部１１は、ユーザがコンテンツ再生装置１００に設けられた操作ボタンを押したときに、その操作を表す操作信号を再生制御装置１０に出力するものであってよく、一般的なリモートコントローラーのように、ユーザが操作ボタンを押したときに出力される、その操作を表す赤外線信号を受信して、再生制御装置１０に出力するものであってもよい。

（再生制御装置１０）
再生制御装置１０は、ユーザ操作部１１からの操作信号に基づいて、放送コンテンツの記録及び再生を制御する。再生制御装置１０において、全体制御部１２は、ユーザ操作部１１からの操作信号に基づいて、再生制御装置１０の各構成部材を制御する。以下、再生制御装置１０の各構成部材の機能は、特に示さない限り、全体制御部１２によって制御されるものである。

データ受信部１３は、ＲＦ入力端子から入力されるデジタル放送信号を受信して復調し、再生又は録画の対象となるサービスに対応するＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（以下、放送コンテンツと称する）を抽出して、データ生成部１４に送信する。これと同時に、受信した放送コンテンツの属性情報やエントリポイントに関する情報を検出して、全体制御部１２に通知する。

データ生成部１４は、データ受信部１３から送信された放送コンテンツを受信し、受信した放送コンテンツデータからデータ保持部１５に記録するデータを生成する。データ生成部１４が受信した放送コンテンツデータには、音声データ、映像データ、及び字幕データが含まれており、これらの各データについて、データ保持部１５に記録するデータを生成する。データ生成部１４は受信した放送コンテンツデータに含まれる音声データ及び映像データを、適切なデータフォーマットに整形し、データ保持部１５に送信する。

オープンキャプション抽出部１４１は、データ受信部１３から送信される放送コンテンツデータから映像データを含むパケットを抽出し、抽出した映像データ中のオープンキャプション（文字領域）をさらに抽出する。このとき、当該パケット中に含まれるオープンキャプションの表示時刻情報（表示開始時刻情報及び表示終了時刻情報）、オープンキャプションを構成する画素の配列を表す画像データ、オープンキャプションの形状を表す図形情報、並びにオープンキャプションの表示位置を表す座標情報を抽出する。

そして、オープンキャプション抽出部１４１は、抽出したオープンキャプションを後述するデータフォーマットに整形してオープンキャプションデータを作成し、図示しないメモリに保持する。メモリに保持されたオープンキャプションデータは、全体制御部１２の制御にしたがって、字幕統合部１４３に送信される。映像データ中からのオープンキャプションの抽出には従来公知の技術を用いることができる。

クローズドキャプション抽出部１４２は、データ受信部１３から送信される放送コンテンツからクローズドキャプション（テキストデータ）を含むパケットを抽出し、当該パケット中に含まれるクローズドキャプションの表示時刻情報、クローズドキャプションの字幕文データ及びフォントサイズデータを抽出する。そして、クローズドキャプション抽出部１４２は、抽出したクローズドキャプションを後述するデータフォーマットに整形してクローズドキャプションデータを作成し、図示しないメモリに保持する。メモリに保持されたクローズドキャプションデータは、全体制御部１２の制御にしたがって、字幕統合部１４３及びデータ読み出し部１６に送信される。

字幕統合部１４３は、オープンキャプション抽出部１４１及びクローズドキャプション抽出部１４２において作成したオープンキャプションデータ及びクローズドキャプションデータを統合して、字幕統合データ（文字情報データ）を作成し、図示しないメモリに保持する。メモリに保持された字幕統合データは、全体制御部１２の制御にしたがって、データ保持部１５に送信される。

データ保持部１５は、データ生成部１４から送信された音声データ、映像データ、クローズドキャプション抽出部１４２から送信されたクローズドキャプションデータ、及び字幕統合部１４３から送信された字幕統合データ（以下、まとめて再生データと称することもある）を受信し、図示しないメモリに記録する記録処理を行う。データ保持部１５は、メモリ中に空き容量がない等の事態が発生した場合、全体制御部１２に対して通知する。データ保持部１５に再生データを保存することによって、放送コンテンツの録画が可能である。また、データ保持部１５に保存にした再生データを用いて、タイムスタンプを介して字幕データが関連付けられた映像データ及び音声データのみを再生するダイジェスト再生を行うこともできる。

データ読み出し部１６は、ユーザ操作部１１から再生を表す操作信号を受信したときに、再生データをデータ保持部１５から読み出し、ＡＶ再生部１７及び字幕再生部１９に送信する。

ＡＶ再生部１７は、データ読み出し部１６から送信された映像データ及び音声データ（以下、ＡＶデータと称する）のデコード処理を行い、デコード処理したＡＶデータを同期部１８に送信する。

字幕再生部１９は、データ読み出し部１６から送信された字幕統合データ又はクローズドキャプションデータのデコード処理を行い、デコード処理した字幕統合データ又はクローズドキャプションデータを同期部１８に送信する。

同期部１８は、ＡＶ再生部１７から送信されたＡＶデータと、字幕再生部１９から送信された字幕統合データ又はクローズドキャプションデータとの同期処理を行い、同期処理したＡＶデータをＡＶ再生部１７に送信し、同期処理した字幕統合データ又はクローズドキャプションデータを字幕再生部１９に送信する。

ＡＶ再生部１７は同期処理されたＡＶデータを、字幕再生部１９は同期処理された字幕統合データ若しくはクローズドキャプションデータを、それぞれデータ再生部２０に送信する。

データ再生部２０は、ＡＶ再生部１７及び字幕再生部１９から受信した、同期処理されたＡＶデータ及び字幕統合データ又はクローズドキャプションデータの再生処理を行い、表示部２１に表示させる。

（オープンキャプションデータ及びクローズドキャプションデータ）
オープンキャプション抽出部１４１及びクローズドキャプション抽出部１４２において作成するオープンキャプションデータ及びクローズドキャプションデータについて、図２及び３を参照して以下に説明する。図２は、クローズドキャプションデータを含むクローズドキャプションテーブル２００の一例を示す図であり、図３は、オープンキャプションデータを含むオープンキャプションテーブル３００の一例を示す図である。以下では、オープンキャプション及びクローズドキャプションを、単に字幕と称することもある。

図２に示すように、クローズドキャプション抽出部１４２において作成するクローズドキャプションテーブル２００は、放送コンテンツデータに含まれる映像データにタイムスタンプを介して関連付けられたクローズドキャプションデータを含んでいる。タイムスタンプとは、クローズドキャプションの再生タイミングを制御する情報であり、時刻情報と称することもある。

クローズドキャプションテーブル２００は、クローズドキャプションデータを字幕文データ及び表示フォントサイズ（表示サイズ）として、時刻情報に関連付けて含んでいる。クローズドキャプションテーブル２００において、クローズドキャプションデータは、時刻情報に基づいて表示順に並べられている。例えば、クローズドキャプションテーブル２００は、表示サイズ「中」の字幕文データ「続いては天気です。」を、時刻Ｂに関連付けて含んでおり、順に時刻Ｄ及び時刻Ｅにそれぞれ関連付けられた字幕文データ及び表示サイズを含んでいる。

図３に示すように、オープンキャプション抽出部１４１において作成するオープンキャプションテーブル３００は、放送コンテンツに含まれる映像データ中に含まれるオープンキャプションデータを含んでいる。オープンキャプションテーブル３００は、オープンキャプションデータを、画素の配列により表された画像データ、オープンキャプションの形状を表す図形情報、及びオープンキャプションの表示位置を表す領域座標として、表示開始時刻情報及び表示終了時刻情報に関連付けて含んでいる。

オープンキャプションテーブル３００において、オープンキャプションデータは、表示開始時刻情報及び表示終了時刻情報に基づいて表示順に並べられている。例えば、オープンキャプションテーブル３００は、形状が「円」であり、領域座標が「中心＝（６００，５００） 半径＝１００」の画像データを、開始時刻Ａ及び終了時刻Ｃに関連付けて含んでおり、順に、形状が「矩形」であり、領域座標が「（４００，１００）（４００，３００）（８００，１００）（８００，３００）」の画像データを、開始時刻Ｅ及び終了時刻Ｆに関連付けて含んでいる。なお、映像データ中から抽出したオープンキャプションの図形情報の算出が困難な場合には、図形情報をオープンキャプションテーブル３００に含めないことも可能である。

（字幕統合データ）
次に、字幕統合部１４３において作成する字幕統合データについて、図４〜６を参照して以下に説明する。図４は、字幕統合データを含む字幕統合テーブル４００の一例を示す図であり、図５は、字幕統合テーブル４００のサブクローズドテーブル５００の一例を示す図であり、図６は、字幕統合テーブル４００のサブオープンテーブル６００の一例を示す図である。

字幕統合部１４３は、クローズドキャプションテーブル２００とオープンキャプションテーブル３００とを統合し、これらのデータを一元に管理する字幕統合テーブル４００を作成する。字幕統合部１４３による字幕統合テーブル４００の作成の詳細については、後述する。図４に示すように、字幕統合テーブル４００は、オープンキャプション及びクローズドキャプションの字幕の種別を表す種別情報を、字幕の表示時刻を表す時刻情報及び字幕を識別するための字幕ＩＤに関連付けて含んでおり、字幕の種別を表す種別情報を管理するものである。

字幕統合テーブル４００は、字幕ＩＤ「１」に関連付けて、時刻Ｂに表示させる字幕情報の種別「クローズ」を含んでおり、順に、字幕ＩＤ「２」〜「４」にそれぞれ関連付けて、時刻Ｄに表示させる字幕情報の種別「クローズ」、時刻Ｈに表示させる字幕情報の種別「オープン」、時刻Ｇに表示させる字幕情報の種別「クローズ」を含んでいる。

サブクローズドテーブル５００及びサブオープンテーブル６００は、字幕統合テーブル４００に関連付けられたサブテーブルである。図５に示すように、サブクローズドテーブル５００は、クローズドキャプションデータを字幕文データ及び表示サイズとして、字幕ＩＤに関連付けて含んでいる。サブクローズドテーブル５００における字幕ＩＤは、字幕統合テーブル４００における字幕ＩＤに対応しており、字幕統合テーブル４００の種別「クローズ」で表される字幕データがサブクローズドテーブル５００に含まれている。

図５に示すように、サブクローズドテーブル５００は、表示サイズ「中」の字幕文データ「続いては天気です。」を、字幕ＩＤ「１」に関連付けて含んでおり、順に字幕ＩＤ「２」及び「４」にそれぞれ関連付けられた字幕文データ及び表示サイズを含んでいる。例えば、字幕統合テーブル４００の字幕ＩＤ「１」で表される、時刻Ｂに表示され種別「クローズ」の字幕は、表示サイズ「中」の字幕文データ「続いては天気です。」である。

図６に示すように、サブオープンテーブル６００は、オープンキャプションを、画素座標、当該画素座標条の色情報、並びに背景領域及び字句領域のいずれであるかとして、字幕ＩＤに関連付けて含んでいる。サブオープンテーブル６００における字幕ＩＤは、字幕統合テーブル４００における字幕ＩＤに対応しており、字幕統合テーブル４００の種別「オープン」で表される字幕データがサブオープンテーブル６００に含まれている。

サブオープンテーブル６００において、オープンキャプションを構成する各画素の座標及び当該画素の色情報が字幕ＩＤ「３」に関連付けて含まれている。また各画素が表示されたときに背景領域になるのか字句領域になるのかを判定した結果に関する情報が、画素毎に字幕ＩＤ「３」に関連付けて含まれている。サブオープンテーブル６００の字幕ＩＤ「３」に関連付けられた画素座標「（０，０）」は、色情報「２５５，２５５，１５３」であり、表示されたときにオープンキャプションの背景領域となる。同様に、サブオープンテーブル６００には、字幕ＩＤ「３」で表されるオープンキャプションの全ての画素について、画素座標、色情報、及び背景領域か字句領域かの判定結果が含まれる。

（再生データ作成処理）
データ生成部１４における再生データの作成処理について、図７を参照して以下に説明する。図７は、データ生成部１４が再生データを作成するときに行う処理の流れの一例を示すフローチャートである。

まず、データ生成部１４は、ステップＳ７０において、データ受信部１３が受信した放送コンテンツデータから、音声データ、映像データ及び字幕データを抽出する。このとき、クローズドキャプション抽出部１４２が、放送コンテンツデータから、字幕データとしてクローズドキャプションを抽出する。

次に、ステップＳ７１において、データ生成部１４が抽出したデータの種類が、音声データ、映像データ及び字幕データの何れであるかを判定する。ステップＳ７１において、抽出したデータが音声データであると判定したとき（音声データ）、抽出した音声データから、データ保持部１５に保存する記録データを作成し、データ保持部１５に送信する（ステップＳ７２）。

ステップＳ７１において、抽出したデータが映像データであると判定したとき（映像データ）、抽出した映像データから、データ保持部１５に保存する記録データを作成してデータ保持部１５に送信すると共に、オープンキャプション抽出部１４１は、当該映像データからオープンキャプションを抽出する。さらに、抽出したオープンキャプションから、データ保持部１５に保存するオープンキャプションデータを作成する（ステップＳ７３）。

ステップＳ７１において、抽出したデータが字幕データとしてのクローズドキャプションであると判定したとき（字幕データ）、クローズドキャプション抽出部１４２は、抽出したクローズドキャプションから、データ保持部１５に保存するクローズドキャプションデータを作成する（ステップＳ７４）。

次に、ステップＳ７５において、字幕統合部１４３は、ステップＳ７３において作成したオープンキャプションデータと、ステップＳ７４において作成したクローズドキャプションデータとを統合して字幕統合データを作成する字幕統合処理を行い、作成した字幕統合データをデータ保持部１５に送信する。

（字幕統合処理）
字幕統合部１４３における字幕統合データの作成処理について、図８を参照して以下に説明する。図８は、字幕統合部１４３が字幕統合データを作成するときに行う処理の流れの一例を示すフローチャートである。

まず、字幕統合部１４３は、ステップＳ８０において、対応時刻をインクリメントする。次に、対応時刻が記録終了時刻か否かを判定する（ステップＳ８１）。ステップＳ８１において、対応時刻が記録終了時刻ではないと判定したとき（Ｎｏ）、当該対応時刻に関連付けられたクローズドキャプションデータがクローズドキャプションテーブル２００に存在するか否かを判定する（ステップＳ８２）。

ステップＳ８２において、対応時刻に関連付けられたクローズドキャプションがクローズドキャプションテーブル２００に存在すると判定したとき（Ｙｅｓ）、ステップＳ８９において、当該クローズドキャプションのデータを字幕統合テーブル４００及びサブクローズドテーブル５００に記録し、字幕統合データを作成する。ステップＳ８２において、対応時刻に関連付けられたクローズドキャプションがクローズドキャプションテーブル２００に存在しないと判定したとき（Ｎｏ）、当該対応時刻に関連付けられたオープンキャプションがオープンキャプションテーブル３００に存在するか否かを判定する（ステップＳ８３）。

ステップＳ８３において、対応時刻に関連付けられたオープンキャプションがオープンキャプションテーブル３００に存在すると判定したとき（Ｙｅｓ）、ステップＳ８５において、当該オープンキャプションについて、重要データの判別処理を行う。ステップＳ８５における重要データの判別処理の詳細については、後述する。ステップＳ８３において、対応時刻に関連付けられたオープンキャプションがオープンキャプションテーブル３００に存在しないと判定したとき（Ｎｏ）、ステップＳ８０において、次の対応時刻をインクリメントする。

次に、ステップＳ８６において、ステップＳ８５における重要データの判別処理の結果が重要データであるか否かを判定する。ステップＳ８６において、重要データの判別処理の結果が重要データであると判定したとき（Ｙｅｓ）、当該オープンキャプションの画像調整処理を行う（ステップＳ８７）。ステップＳ８７における画像調整処理の詳細については、後述する。ステップＳ８６において、重要データの判別処理の結果が重要データではないと判定したとき（Ｎｏ）、ステップＳ８０において、次の対応時刻をインクリメントする。

次に、ステップＳ８７において画像調整処理したオープンキャプションの表示時刻決定処理を行う（ステップＳ８８）。ステップＳ８８における表示時刻決定処理の詳細については、後述する。ステップＳ８８において表示時刻決定処理したオープンキャプションを、ステップＳ８９において、字幕統合テーブル４００及びサブオープンテーブル６００に記録し、字幕統合データを作成する。ステップＳ８９において、字幕統合データを作成した後、ステップＳ８０において、次の対応時刻をインクリメントする。字幕統合部１４３は、ステップＳ８１において、対応時刻が記録終了時刻であると判定するまで（Ｙｅｓ）、この処理を繰り返す。

（重要データ判別処理）
字幕統合部１４３における重要データ判別処理について、図９を参照して以下に説明する。図９は、字幕統合部１４３が重要データを判別するときに行う処理の流れの一例を示すフローチャートである。字幕統合部１４３における重要データ判別処理は、オープンキャプションと、予め設定した重要データの条件を有する文字領域データ（比較文字領域）とを比較し、オープンキャプションが重要データであると判定する。なお、重要データの条件については、以下に説明するものに限定されず、放送コンテンツの内容等に応じて適宜決定すればよい。

まず、ステップＳ９０において、対応時刻のオープンキャプションの表示時間中に表示されるクローズドキャプションが存在するか否かを判定する。ステップＳ９０において、表示されるクローズドキャプションが存在すると判定したとき（Ｙｅｓ）、当該オープンキャプションは重要データではないと判別する。ステップＳ９０において、表示されるクローズドキャプションが存在しないと判定したとき（Ｎｏ）、当該オープンキャプションが表示される位置の領域座標が、表示部２１の画面の下側中央を表しているか否かを判定する（ステップＳ９１）。

ステップＳ９１において、領域座標が表示部２１の画面の下側中央を表していないと判定したとき（Ｎｏ）、当該オープンキャプションは重要データではないと判別する。ステップＳ９１において、領域座標が表示部２１の画面の下側中央を表していると判定したとき（Ｙｅｓ）、当該オープンキャプションの形状が矩形であるか否かを判定する（ステップＳ９２）。

ステップＳ９２において、オープンキャプションの形状が矩形ではないと判定したとき（Ｎｏ）、当該オープンキャプションは重要データではないと判別する。ステップＳ９２において、オープンキャプションの形状が矩形であると判定したとき、当該オープンキャプションは重要データであると判別する。

（画像調整処理）
字幕統合部１４３における画像調整処理について、図１０を参照して以下に説明する。図１０は、オープンキャプションの字句領域と背景領域とを説明する図である。画像調整処理において、字幕統合部１４３は、オープンキャプションの字句領域を予め定められた所定の大きさに調整する。図１０に示すように、映像データから抽出されたオープンキャプション１０１は、矩形の背景領域と、字句領域「明日は雨です。」とを有している。画像調整処理において、字幕統合部１４３はオープンキャプション１０１を、字句領域１０２と、背景領域１０３とに分離する分離処理と、分離した字句領域１０２の表示サイズを調整する表示サイズ調整処理と、背景領域１０３の画像を調整する画像調整処理と、調整した字句領域１０２及び背景領域１０３に関して、サブオープンテーブル６００に登録するデータを作成するサブオープンデータ作成処理とを行う。

分離処理においては、対応時刻の前後数フレームについて、オープンキャプションの表示図形内の画素が固定値を取る領域の分散を算出することによって、字句領域１０２と背景領域１０３とを分離する。オープンキャプションの図形情報がない場合には、分離処理は行わず、全てを字句領域１０２と判定する。次に、表示サイズ調整処理において、分離処理した字句領域１０２の表示サイズが予め定められた所定の表示サイズになるように、字句領域１０２の表示サイズを拡大又は縮小する。所定の表示サイズは、適宜設定されるものであるが、対応時刻前後のクローズドキャプションの表示サイズに適合するように設定されてもよい。

画像調整処理においては、表示サイズが調整された字句領域１０２に合わせて、分離処理された背景領域１０３の画像を調整する。このとき、背景領域１０３が表示部２１の字幕表示領域の背景と一致するように、背景領域の画像を調整してもよい。そして、サブオープンデータ作成処理において、表示サイズ又は画像を調整した字句領域１０２及び背景領域１０３に関して、サブオープンテーブル６００に登録するデータを生成する。

（表示時刻決定処理）
表示時刻決定処理において、字幕統合部１４３は、対応時刻のオープンキャプションの表示開始時刻から表示終了時刻の間において、字幕統合テーブル４００に時刻情報として登録する時刻を算出する。オープンキャプションの表示時刻は、オープンキャプションとクローズドキャプションとの表示時刻が重ならないように、オープンキャプションを、クローズドキャプションの表示時刻とは異なる時刻に表示するように、決定すればよい。表示時刻の算出方法としては、例えば、オープンキャプションの表示開始時刻又は表示終了時刻とする方法や、表示開始時刻と表示終了時刻との中間値とする方法等が挙げられる。

（字幕の表示形態）
ここで、表示部２１における字幕の表示形態について、図１１〜１３を参照して以下に説明する。図１１は、放送コンテンツデータ１１０の一例を示す図であり、図１２及び１３は、表示部２１に表示される字幕の例を示す図である。図１１に示すように、放送コンテンツ１１０において、クローズドキャプションデータ１１３は、映像データ１１１と時刻情報１１２を介して関連付けられている。

そして、映像データ１１１において、時刻Ａ〜Ｃの画像及び時刻Ｅ〜Ｆの画像には、それぞれオープンキャプションが含まれている。このとき、従来の再生装置のように、表示部２１の字幕表示領域にクローズドキャプションデータ１１３のみが表示される場合、時刻Ｅ〜Ｆの画像に表示されるオープンキャプションの情報「明日は雨です。」が字幕表示領域に表示されず、ユーザが字幕から放送コンテンツの内容を十分に理解することができない。

本発明においては、図１２及び１３に示すように、クローズドキャプション及びオープンキャプションの両方を表示部２１の字幕表示領域に表示するので、ユーザが字幕から放送コンテンツの内容を十分に理解することができる。ここで、図１２及び１３に示すように、字幕表示領域１２０及び１３０には、新たな字幕を表示したときに、既に表示している字幕を削除せずに表示し、字幕データを時系列にスクロール表示する。

そして、図１２に示すように、字幕表示領域１２０には、オープンキャプション１２１を画像として表示する。オープンキャプション１２１の画像の表示サイズは、前後のクローズドキャプションの表示サイズとの比較によって決定する事ができる。また、他の表示形態として、図１３に示すように、字幕表示領域１３０において、オープンキャプション１３１を画像として表示しているが、その背景領域を字幕表示領域１３０の背景と同一として、背景領域の形状が判別されないようにしている。これにより、字幕表示領域１３０の見やすさを向上している。

（字幕再生処理）
データ生成部１４が生成した再生データは、データ保持部１５に記録され、ユーザ操作部１１からの再生の指示を受け付けたとき、データ読み出し部１６がデータ保持部１５から読み出し、ＡＶ再生部１７及び字幕再生部１９においてデコードされた後、同期部１８において同期処理され、データ再生部２０により再生処理されて表示部２１に表示される。

データ再生部２０における字幕再生処理について、図１４を参照して以下に説明する。図１４は、データ再生部２０が字幕データを再生するときに行う処理の流れの一例を示すフローチャートである。なお、字幕再生処理は、以下に示す処理に限定されず、映像データと字幕データとを時刻情報に基づき時系列に再生するような、従来公知の処理を行ってもよい。

まず、ステップＳ１４０において、データ再生部２０は、対象時刻をインクリメントする。次に、対象時刻が再生終了時刻か否かを判定する（ステップＳ１４１）。ステップＳ１４１において、対象時刻が再生終了時刻ではないと判定したとき（Ｎｏ）、字幕統合テーブル４００に対象時刻の字幕データが存在するか否かを判定する（ステップＳ１４２）。ステップＳ１４１において、対象時刻が再生終了時刻であると判定したとき（Ｙｅｓ）、字幕の再生を終了する。

ステップＳ１４２において、字幕統合テーブル４００に対象時刻の字幕データが存在すると判定したとき（Ｙｅｓ）、対象時刻の字幕データを、タイムスタンプを介して関連付けられた映像データと共に表示部２１に表示して（ステップＳ１４３）、ステップＳ１４０に戻り、次の対象時刻をインクリメントする。

ステップＳ１４２において、字幕統合テーブル４００に対象時刻の字幕データが存在しないと判定したとき（Ｎｏ）、ステップＳ１４０において、次の対象時刻をインクリメントする。データ再生部２０は、ステップＳ１４０において、対象時刻が再生終了時刻であると判定するまで（Ｙｅｓ）、この処理を繰り返す。

コンテンツ再生装置１００においては、上記のように、全ての映像データと字幕データとを再生する再生処理以外に、タイムスタンプを介して字幕が関連付けられた映像データのみを再生するダイジェスト再生処理を行うこともできる。ダイジェスト再生処理においても、クローズドキャプションのみではなく、オープンキャプションが関連付けられた映像データも再生するので、より高精度なダイジェスト再生が可能である。

〔第２の実施形態〕
本発明の他の実施形態について、図１５〜１９に基づいて説明すれば、以下の通りである。本実施形態においては、映像データから抽出されたオープンキャプションに対して文字認識処理を行い、オープンキャプションを、オープンキャプション中の字句領域を表す、テキスト形式のデータ（字句領域データ）として抽出して字幕統合テーブルに記録し、再生する点において、上述した第１の実施形態と異なっているが、使用するコンテンツ再生装置１００及び再生制御装置１０は、第１の実施形態において用いたものと同一である。本実施形態においては、第１の実施形態と異なる点についてのみ説明し、第１の実施形態と同一の機能を有する部材には、同一の符号を付してその説明を省略する。また、第１の実施形態において定義した用語については、特に断らない限り本実施形態においてもその定義に則って用いる。

（字幕統合データ）
本実施形態において作成する字幕統合データについて、図１５を参照して以下に説明する。図１５は、字幕統合データを含む字幕統合テーブル１５０の一例を示す図である。なお、字幕統合テーブル１５０の作成に用いるクローズドキャプションテーブル２００及びオープンキャプションテーブル３００、並びにサブクローズドテーブル５００及びサブオープンテーブル６００は、第１の実施形態と同一である。

図１５に示すように、字幕統合部１４３において作成する字幕統合テーブル１５０は、字幕データのテキストデータ、字幕データの表示サイズ情報、及び字幕データの種別を表す種別情報を、字幕データの表示時刻を表す時刻情報に関連付けて含んでいる。字幕統合テーブル１５０において、時刻Ｂに表示される、表示サイズ「中」の種別「クローズ」であるテキストデータ「続いては天気です。」は、時刻Ｂに関連付けて含まれており、順に時刻Ｄ、時刻Ｈ及び時刻Ｇに表示される字幕データが含まれている。このように、字幕統合テーブル１５０は、クローズドキャプションとオープンキャプションとを、テキストデータとして一元管理するためのテーブルである。

（字幕統合処理）
本実施形態においては、字幕統合テーブル１５０に字幕データを記録して、字幕統合データを作成する。字幕統合部１４３における字幕統合データの作成処理の他の例について、図１６を参照して以下に説明する。図１６は、字幕統合部１４３が字幕統合データを作成するときに行う処理の流れの他の例を示すフローチャートである。

まず、字幕統合部１４３は、ステップＳ１６０において、対応時刻をインクリメントする。次に、対応時刻が記録終了時刻か否かを判定する（ステップＳ１６１）。ステップＳ１６１において、対応時刻が記録終了時刻ではないと判定したとき（Ｎｏ）、当該対応時刻に関連付けられたクローズドキャプションがクローズドキャプションテーブル２００に存在するか否かを判定する（ステップＳ１６２）。

ステップＳ１６２において、対応時刻に関連付けられたクローズドキャプションがクローズドキャプションテーブル２００に存在すると判定したとき（Ｙｅｓ）、ステップＳ１６９において、当該クローズドキャプションのデータを字幕統合テーブル１５０及びサブクローズドテーブル５００に記録し、字幕統合データを作成する。ステップＳ１６２において、対応時刻に関連付けられたクローズドキャプションがクローズドキャプションテーブル２００に存在しないと判定したとき（Ｎｏ）、当該対応時刻に関連付けられたオープンキャプションがオープンキャプションテーブル３００に存在するか否かを判定する（ステップＳ１６３）。

ステップＳ１６３において、対応時刻に関連付けられたオープンキャプションがオープンキャプションテーブル３００に存在すると判定したとき（Ｙｅｓ）、ステップＳ１６５において、当該オープンキャプションについて、重要データの判別処理を行う。ステップＳ１６５における重要データの判別処理は、第１の実施形態と同様に行う。ステップＳ１６３において、対応時刻に関連付けられたオープンキャプションがオープンキャプションテーブル３００に存在しないと判定したとき（Ｎｏ）、ステップＳ１６０において、次の対応時刻をインクリメントする。

次に、ステップＳ１６６において、ステップＳ１６５における重要データの判別処理の結果が重要データであるか否かを判定する。ステップＳ１６６において、重要データの判別処理の結果が重要データであると判定したとき（Ｙｅｓ）、当該オープンキャプションの文字認識処理を行い、オープンキャプションの字句領域を表す、テキスト形式のデータを抽出する（ステップＳ１６７）。ステップＳ１６７における文字認識処理の詳細については、後述する。ステップＳ１６６において、重要データの判別処理の結果が重量データではないと判定したとき（Ｎｏ）、ステップＳ１６０において、次の対応時刻をインクリメントする。

次に、ステップＳ１６７において文字認識処理して、テキストデータとして抽出したオープンキャプションの表示時刻決定処理を行う（ステップＳ１６８）。ステップＳ１６８における表示時刻決定処理は、第１の実施形態と同様に行う。ステップＳ１６８において表示時刻決定処理したオープンキャプションを、ステップＳ１６９において、字幕統合テーブル１５０及びサブオープンテーブル６００に記録し、字幕統合データを作成する。ステップＳ１６９において、対応時刻のクローズドキャプション又はオープンキャプションを字幕統合テーブル１５０に記録した後、ステップＳ１６０において、次の対応時刻をインクリメントする。字幕統合部１４３は、ステップＳ１６１において、対応時刻が記録終了時刻であると判定するまで（Ｙｅｓ）、この処理を繰り返す。

（文字認識処理）
本実施形態において、字幕統合部１４３は、字幕統合データを作成するとき、オープンキャプションテーブルに含まれるオープンキャプションデータに対して文字認識処理を行い、オープンキャプションの字句領域を表すテキストデータを抽出し、抽出したテキストデータを字幕統合テーブル１５０に記録する。字幕統合部１４３における文字認識処理の例について、図１７を参照して以下に説明する。図１７は、クローズドキャプションテーブル１７０から作成した重要語句テーブル１７１の例を示す図である。なお、オープンキャプションデータに対する文字認識処理は、以下に説明する方法に限定されず、従来公知の文字認識処理方法によっても行うことができる。

字幕統合部１４３は、図１７に示すクローズドキャプションテーブル１７０を用いて文字認識処理をおこなう。図１７に示すように、クローズドキャプションテーブル１７０は、クローズドキャプションを字幕文データ及び表示サイズとして、時刻情報に関連付けて含んでいる。クローズドキャプションテーブル１７０において、クローズドキャプションは、時刻情報に基づいて表示順に並べられている。

文字認識処理において、字幕統合部１４３は、まず、従来公知の文字認識技術を用いて、オープンキャプションデータ中の字句領域の各用語の特徴量を表す重み付け係数を抽出する。このような文字認識技術として、パターンマッチ法、ゾンデ法、ストロークアナリシス法等が挙げられる。そして、抽出した重み付け係数と、予め用意された文字特徴データの特徴量を表す重み付け係数とを比較して、重み付け評価を行う。このとき、抽出した重み付け係数と文字特徴データの重み付け係数とが一致するものは、重み付けを大きくする。

次に、図１７に示すクローズドキャプションテーブル１７０を用いて、対象となるオープンキャプションデータと表示時刻の近いクローズドキャプションデータから文字を抽出し、重要語句テーブル１７１を作成する。このとき、例えばクローズドキャプションデータから漢字文字を抽出し、重要語句テーブル１７１に記録する。重要語句テーブル１７１は、抽出した漢字文字を、抽出前のクローズドキャプションの表示時刻情報及び語句ＩＤに関連付けて含んでいる。例えば、重要語句テーブル１７１において、語句ＩＤ１〜３の時刻Ｂに関連付けられた漢字文字はそれぞれ、クローズドキャプションテーブルの時刻Ｂに関連付けられた字幕文データ「続いては天気です。」に含まれる漢字文字である。

ここで、重み付け評価したオープンキャプションデータを、さらにクローズドキャプションデータから抽出した漢字文字に基づいて、重み付け評価する。すなわち、オープンキャプションデータの字句領域の用語が、ひらがな及びカタカナではないと判定したとき、当該用語の重み付け係数と、重要語句テーブル１７１において、オープンキャプションデータの表示時刻に近い表示時刻情報に関連付けられた漢字文字をキーワードとして、その重み付け係数（比較重み付け係数）を比較し、重み付け評価を行う。例えば、オープンキャプションデータの字句領域の用語が上記漢字文字の類語（シソーラス）に含まれる場合には、重み付け係数を大きくする。このとき、最初の重み付け評価において重み付け係数が小さかったものを次の重み付け評価の対象からはずすことで、より文字認識処理に要する時間を短縮することができる。

最後に、２回の重み付け評価による重み付け係数が、予め定められた所定の重み付け係数よりも大きいものを、文字認識処理の結果として、字幕統合テーブル１５０に記録する。このように、オープンキャプションデータの文字認識処理に、クローズドキャプションデータを参照することによって、認識処理の難易度が高い漢字文字においてもご認識を防ぎ、認識精度の向上と認識処理時間の短縮とを実現することができる。

（字幕の表示形態）
ここで、表示部２１における字幕の表示形態について、図１８及び１９を参照して以下に説明する。図１８及び１９は、表示部２１に表示される字幕の例を示す図である。本実施形態においては、オープンキャプションデータをテキストデータとして字幕統合テーブル１５０に記録しているので、図１８に示すように、字幕表示領域１８０において、オープンキャプション１８１は、他のクローズドキャプションと同様にテキストデータとして表示されている。このとき、オープンキャプション１８１の表示サイズは、前後のクローズドキャプションの表示サイズとの比較によって決定することができる。これにより、字幕表示領域１８０の見やすさを向上している。

また、図１９に示すように、字幕表示領域１９０において、オープンキャプション１９１は他のクローズドキャプションと同様にテキストデータとして表示されているが、他のクローズドキャプションと区別できるように、オープンキャプション１９１を「明日は雨です。（テロップ）」と、オープンキャプションであることを明確に表示している。このように、オープンキャプションを、クローズドキャプションと異なる表示形式で表示することによって、クローズドキャプション及びオープンキャプション１９１の両方を字幕表示領域１９０に表示し、かつこれらの字幕の種別を明確に理解することができるので、ユーザの字幕からの放送コンテンツの内容理解がより容易になる。

（プログラム及び記録媒体）
再生制御装置１０に含まれている各ブロックは、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてソフトウェアによって実現してもよい。

すなわち再生制御装置１０は、各機能を実現するプログラムの命令を実行するＣＰＵ、このプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、上記プログラムを実行可能な形式に展開するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。この構成により、本発明の目的は、所定の記録媒体によっても、達成できる。

この記録媒体は、上述した機能を実現するソフトウェアである再生制御装置１０のプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録していればよい。再生制御装置１０に、この記録媒体を供給する。これにより、コンピュータとしての再生制御装置１０（またはＣＰＵやＭＰＵ）が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。

プログラムコードを再生制御装置１０に供給する記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。

また、再生制御装置１０を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して再生制御装置１０に供給する。この通信ネットワークは再生制御装置１０にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等であればよい。

この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、デジタル放送受信機等のコンテンツ表示装置に好適に利用可能である。

１０ コンテンツ再生制御装置（コンテンツ表示制御装置）
１４ データ生成部（抽出手段）
２０ データ再生部（表示手段）
１００ コンテンツ再生装置（コンテンツ表示装置）
１４３ 字幕統合部（統合手段）

Claims (12)

1. 表示画面に映像データを表示すると共に、当該映像データにタイムスタンプを介して関連付けられたクローズドキャプションを、当該表示画面上のクローズドキャプションを表示するための領域として予め定められた領域である字幕表示領域に表示するコンテンツ表示制御装置であって、
   上記映像データ中のオープンキャプションを抽出する抽出手段と、
   上記抽出されたオープンキャプションと、上記クローズドキャプションとを、上記字幕表示領域に時系列順に表示する表示手段とを備えていることを特徴とするコンテンツ表示制御装置。
2. 上記抽出手段は、上記オープンキャプションを、当該オープンキャプションの字句を構成する画像と当該オープンキャプションの背景を構成する画像とを含む画像データとして抽出し、
   上記表示手段は、上記抽出された画像データと、上記クローズドキャプションとを、上記字幕表示領域に表示することを特徴とする請求項１に記載のコンテンツ表示制御装置。
3. 上記抽出手段は、上記画像データを抽出する際、上記オープンキャプションの字句を構成する画像を予め定められた所定の大きさに調整し、
   上記表示手段は、上記調整後の画像データと、上記クローズドキャプションとを、上記字幕表示領域に表示することを特徴とする請求項２に記載のコンテンツ表示制御装置。
4. 上記抽出手段は、上記オープンキャプション中の字句に対応するテキストデータとして、上記オープンキャプションを抽出し、
   上記表示手段は、上記オープンキャプション中の字句に対応するテキストデータと、上記クローズドキャプションとを上記字幕表示領域に表示することを特徴とする請求項１に記載のコンテンツ表示制御装置。
5. 上記抽出手段は、上記オープンキャプションから抽出した各用語の重み付け係数を、上記クローズドキャプションから抽出した各用語の比較重み付け係数と比較し、上記重み付け係数が予め定められた所定の重み付け係数よりも大きい場合に、上記オープンキャプションを上記オープンキャプション中の字句に対応するテキストデータとして抽出することを特徴とする請求項４に記載のコンテンツ表示制御装置。
6. 上記表示手段は、上記オープンキャプション中の字句に対応するテキストデータを、上記クローズドキャプションと異なる表示形式によって表示することを特徴とする請求項４又は５に記載のコンテンツ表示制御装置。
7. 上記表示手段は、上記オープンキャプションを含む映像データとタイムスタンプを介して関連付けられたクローズドキャプションを表示する時刻とは異なる時刻に、当該オープンキャプションを表示することを特徴とする請求項１〜６のいずれか１項に記載のコンテンツ表示制御装置。
8. 上記オープンキャプションと上記クローズドキャプションとを統合した文字情報データを作成する統合手段をさらに備え、
   上記表示手段は、上記文字情報データを上記字幕表示領域に表示することを特徴とする請求項１〜７のいずれか１項に記載のコンテンツ表示制御装置。
9. 上記統合手段は、上記抽出されたオープンキャプションと、予め重要データであると設定された比較オープンキャプションとを比較し、上記オープンキャプションが当該重要データであると判定した場合に、上記オープンキャプションと上記クローズドキャプションとを統合した上記文字情報データを作成することを特徴とする請求項８に記載のコンテンツ表示制御装置。
10. 表示画面に映像データを表示すると共に、当該映像データにタイムスタンプを介して関連付けられたクローズドキャプションを、当該表示画面上のクローズドキャプションを表示するための領域として予め定められた領域である字幕表示領域に表示するコンテンツ表示制御装置が実行するコンテンツ表示制御方法であって、
    上記映像データ中のオープンキャプションを抽出する抽出ステップと、
    上記抽出されたオープンキャプションと、上記クローズドキャプションとを、上記字幕表示領域に時系列順に表示する表示ステップとを備えていることを特徴とするコンテンツ表示制御方法。
11. 請求項１〜９のいずれか１項に記載のコンテンツ表示制御装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
12. 請求項１１に記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

Images