JP4821733B2 - 字幕付映像再生端末装置、プログラム - Google Patents

Description

本発明は、字幕文及び映像を処理する字幕付映像再生端末装置と、コンピュータを字幕付映像再生端末装置として機能させるプログラムと、に関する。

特許文献１は、字幕文を表示時刻が付与された状態でストリームから抽出し、ユーザが字幕文を選択したときに、その字幕文とその字幕文の表示時刻に対応する映像とを合成して表示する字幕表示装置、を開示する（特許文献１ ３頁右欄５０行〜４頁左欄３９行 参照）。
特開２００３−１８４９１号公報

特許文献１の字幕表示装置は、ユーザが選択した字幕文と、字幕文の表示開始時間情報に応じた映像とを表示する。そのため、特許文献１の字幕表示装置では、字幕文の文字列の含有量などによっては、ユーザがストリームを視聴するときや字幕を選択するときの画面の視認性や操作性が悪くなるおそれがある。この問題は、携帯可能であるという特性から、小型化が要請され、画面サイズに制限のある携帯端末装置の場合には、顕著となる。

また、特許文献１の字幕表示装置では、字幕文を表示するタイミングと、映像を表示するタイミングとが、大きくずれてしまうことがある。この場合、表示されている字幕文と映像とが大きく異なってしまう。特許文献１は、この再生タイミングの差を調整する手段について、何も示唆していない。

本発明は、上記実情に鑑みてなされたものであり、表示画像の視認性や操作性の高い携帯端末装置を提供することを目的とする。
また、本発明は、字幕文と対応する映像とを適切に再生することができる携帯端末装置を提供することを他の目的とする。

上記課題を解決するため、本発明の字幕付映像再生端末装置は、
複数の字幕文を定義する字幕信号と複数の映像を定義する映像信号とを、再生タイミングを対応付けて記憶する記憶手段と、
前記記憶手段に記憶されている字幕信号により定義される複数の字幕文のうちのいずれかを選択する字幕選択手段と、
前記字幕選択手段により選択された字幕文を再生する字幕再生手段と、
前記記憶手段に記憶された前記映像信号を再生する映像再生手段と、
前記字幕選択手段により字幕文を選択し、選択した字幕文と該字幕文に対応する映像信号とを前記字幕再生手段及び前記映像再生手段により再生する字幕視聴モードと、前記映像再生手段により映像信号を再生する通常視聴モードと、を切り替えるモード切替手段と、
を備え、
前記映像信号は、前記映像を単独で定義する独立フレームと他の映像フレームを参照して映像を定義するフレームとを含み、
前記映像再生手段は、前記モード切替手段が動作モードを通常視聴モードから字幕視聴モードに、又は字幕視聴モードから通常視聴モードに切り替えた際に、再生する映像信号の先頭を、前記字幕選択手段によって選択された前記字幕文に対応する独立フレームに設置する、
ことを特徴とする。

この場合、前記映像再生手段は、例えば、前記モード切替手段が動作モードを字幕視聴モードから通常視聴モードに切り替えた際に、再生する映像信号の先頭を、前記字幕選択手段で選択された字幕文の再生タイミングの時間的に直前となる独立フレームに設置する。また、前記映像再生手段は、前記映像再生手段により再生中の映像信号の再生タイミングを判別する映像再生タイミング判別手段と、前記モード切替手段が動作モードを通常視聴モードから字幕視聴モードに切り替えた際に、前記映像再生タイミング判別手段により判別した再生タイミングの時間的に直後の再生タイミングを持つ字幕文を選択状態として、字幕視聴モードに設定する手段と、を含むようにしてもよい。

前記映像再生手段は、前記モード切替手段が動作モードを通常視聴モードから字幕視聴モードに、又は字幕視聴モードから通常視聴モードに切り替えた際に、切替前に再生していた前記映像信号の再生タイミング以降で最先の再生タイミングを有する字幕文を抽出し、再生する映像信号の先頭を、前記字幕文の再生のタイミングより後の独立フレームに設置するようにしてもよい。また、前記映像再生手段は、前記字幕選択手段で選択された字幕文の再生タイミングを判別する字幕文再生タイミング判別手段と、前記字幕文再生タイミング判別手段により判別された字幕文の再生タイミングに対応する前記映像信号の再生開始タイミングを判別する映像再生開始タイミング判別手段と、前記字幕文再生タイミング判別手段で判別した字幕文の再生タイミングと、前記映像再生開始タイミング判別手段で判別した映像信号の再生開始タイミングと、の差分を求める差分演算手段と、前記差分演算手段で求めた差分が所定値以上であるか否かを判別する差分判別手段と、前記差分判別手段で前記差分が所定値以上であると判別されたときに、前記記憶手段が記憶する映像信号が定義する映像に代えて、所定の画像を表示する手段と、を含むようにしてもよい。

また、前記字幕選択手段は、選択対象の字幕文のリストを表示するリスト表示手段と、表示されたリストのうちから任意の字幕文を選択する手段とを含み、字幕視聴モードにおいては、前記映像再生手段により再生された映像と、前記字幕再生手段により再生された字幕文と、前記リスト表示手段によるリストとが画面に表示されるように構成してもよい。また、通常視聴モードにおいては、前記映像再生手段により再生された映像と、前記字幕再生手段により再生された字幕文とが画面に表示されるように構成してもよい。

更に、コンピュータに対して本発明の主要機能を実行させるためのプログラムを提供する。

本発明の字幕付映像再生端末装置によれば、字幕文を適宜選択して字幕文と映像を両方再生する状態と、映像を再生する状態とを適宜切り替えることができ、視認性及び操作性が向上する。

（実施形態１）
以下、本発明の実施形態に係る字幕付映像再生端末装置を説明する。本実施形態は、字幕付映像再生端末装置を、コンテンツ受信機能を備える携帯電話１に適用した例である。携帯電話１は、任意のデータ転送方式に則ったコンテンツを受信可能であるが、以下ではワンセグ放送におけるコンテンツを受信する場合について説明する。

携帯電話１は、コンテンツ録画再生機能を備える携帯電話で、例えば、図１に示すような折り畳み型のものであり、キーボード２、表示パネル５、等を備えている。

キーボード２は、カーソルキー３と表示切替ボタン４、その他各種のボタン、を備え、ユーザに操作されて、様々なデータや指示の入力に使用される。例えば、字幕付映像の再生及び終了、字幕文のリスト（以下、「字幕リスト」という）の表示又は非表示、等の指示の入力に使用される。

表示パネル５は、ドットマトリクスタイプのＬＣＤ（液晶表示）パネル等から構成され、任意のデータ（例えば、字幕付映像、字幕リスト、等）を表示する。通話用マイク６は、通話音声を入力する。通話用スピーカ７は、受話音声を出力する。スピーカ８は、コンテンツ再生時の音声等を出力する。

次に、携帯電話１の回路構成について説明する。携帯電話１は、図２に示すように、制御部１１、記憶部１２、操作部１３、表示部１４、チューナ１５、デコード部１６、音声出力部１７、音声入力部１８、通信部１９、バス２０、を備える。

制御部１１は、マイクロプロセッサユニット等から構成され、携帯電話１全体の動作を制御する。例えば、録画したコンテンツの再生の開始・終了を制御する。また、制御部１１は、各種のデータ（字幕文、映像、字幕リスト、等）を、表示部１４を介して、表示パネル５に表示させる。

記憶部１２は、各種のデータを記憶する。例えば、記憶部１２は、制御部１１の動作制御用プログラムを記憶する。記憶部１２は、携帯電話１に内蔵されるメモリ、取り外し可能な外部メモリ、のいずれから構成されてもよい。操作部１３は、前述のキーボード２、カーソルキー３、表示切替ボタン４、等を備え、ユーザからの操作を受け付け、操作信号を制御部１１に入力する。

表示部１４は、表示パネル５とドライバ回路等から構成され、制御部１１の制御下にて画像を表示パネル５に表示する。チューナ１５は、アンテナを介して受信したワンセグ放送のコンテンツを復調し、復調信号をデコード部１６に出力する。デコード部１６は、チューナ１５が出力したコンテンツを復号し、出力する。

音声出力部１７は、前述の通話用スピーカ７とスピーカ８、ＤＡＣ（Digital Analog Converter）等を備え、例えば、制御部１１が再生したコンテンツの音声信号にＤＡ変換を施し、スピーカ８により放音する。音声入力部１８は、通話時等に、音声信号を収集し、通信部１９に供給する。通信部１９は、基地局を介して、通話音声、各種のデータ、等を送受信する。バス２０は、各部間で相互にデータを伝送する。

次に、本実施形態に特徴的な字幕リスト表示動作に必要な情報について説明する。図２に示す記憶部１２は、図３（ａ）に示すように、コンテンツ録画データ１２１と、字幕管理データ１２２と、シークポイント管理情報１２３と、を記憶する。

ワンセグ放送のコンテンツ（テレビ信号）は、図３（ｂ）に示すようなＴＳＰ（Transport Stream Packet、トランスポートストリームパケット）から構成される。ＴＳＰは、映像データをペイロードに格納する映像パケットＶ、音声データをペイロードに格納する音声パケットＡ、字幕データをペイロードに格納する字幕パケットＣとが混在したストリームから構成される。

制御部１１は、受信したＴＳＰを構成する各パケットを、格納しているデータの種類に応じて分類し、さらに、各パケットに付与されているパケット番号などに基づいて再配置して、図３（ｃ）に示すビデオＰＥＳ（Packetized Elementary Stream）１３１、音声ＰＥＳ１３２、字幕ＰＥＳ１３３を生成し、これらを、コンテンツ録画データ１２１として、記憶部１２に格納する。

ビデオＰＥＳ１３１は、パケット化された映像フレームの圧縮符号化データであり、各映像フレーム（映像）を定義するデータを含む。また、各映像フレームは、その再生タイミングを示すデータを含む。

ワンセグ放送におけるＴＳＰは予測符号化方式に則ったデータである。従って、ビデオＰＥＳ１３１は、他の映像フレームを参照しないＩＤＲ（Instantaneous Decoder Refresh）フレーム（独立映像パケットＶＩに対応する）と、自己の再生タイミングよりも先に再生されるＩＤＲフレームを参照するＰフレーム（参照映像パケットＶＰに対応する）と、を含む。

なお、ワンセグ放送では、映像フレームのフレームレートは１５フレーム／秒である。

音声ＰＥＳ１３２は、パケット化された音声の圧縮符号化データである。

字幕ＰＥＳ１３３は、パケット化された字幕文の圧縮符号化データである。字幕ＰＥＳ１３３は、字幕管理データ１２２の生成に必要な情報を有する。例えば、字幕ＰＥＳ１３３は、字幕文Ｍｎ（ｎ：１〜Ｎ、Ｎ：コンテンツ録画データ１２１内の字幕ＰＥＳの数）と、字幕再生タイミングｔｍｎ（ｎ：１〜Ｎ）と、制御符号ＣＳｎ（ｎ：１〜Ｎ）と、を示す情報を有する。

「字幕文Ｍｎ」は、字幕付映像の字幕文の内容を示し、字幕管理データ１２２の字幕文Ｍｎとして格納されるデータである。「字幕再生タイミングｔｍｎ」は、字幕文Ｍｎを再生するタイミングを示し、ＰＴＳ（Presentation Time Stamp）単位で表されている。ワンセグ放送では、各字幕文は、１５秒に１回の割合で生成される。

字幕管理データ１２２は、図４に示すように、「字幕表示時刻ＴＭｎ」と「字幕文Ｍｎ」とを対応付ける。「字幕表示時刻ＴＭｎ」は、字幕文Ｍｎが表示される時刻を示す。本実施形態では、字幕表示時刻ＴＭｎは、コンテンツ録画データ１２１の再生開始時を基準としたオフセット時刻とする。「字幕文Ｍｎ」は、字幕付映像の字幕文の内容を示す。

シークポイント管理情報１２３は、図５に示すように、各フレームの映像表示時刻ＴＲｎ（ｎ：１〜Ｎ）と、映像位置ＰＲｎ（ｎ：１〜Ｎ）と、を対応付けている。

「映像表示時刻ＴＲｎ」は、各映像フレームが表示される時刻を示し、ＰＴＳ単位で表される。「映像位置ＰＲｎ」は、コンテンツ録画データ１２１における映像フレームの位置を示すインデックスである。本実施形態では、ＩＤＲフレームの先頭を含むＴＳＰの番号により「映像位置ＰＲｎ」を表す。

次に、上記構成を有する実施形態１の携帯電話１の動作について説明する。なお、携帯電話１の通信動作自体は通常の携帯電話と同一であり、以下、本実施形態で特徴的な字幕付映像の再生動作について説明する。

携帯電話１は、字幕リストを表示することなく字幕付映像のみを再生する「通常視聴モード」と、字幕リストを表示し、字幕文の選択をうけつけながら、字幕付映像を再生する「リスト付字幕視聴モード」と、を備える。リスト付字幕視聴モードでは、ユーザ（視聴者）は、リストから任意の字幕文を選択することができ、選択された字幕文が再生されると共に該字幕文に対応する映像が再生される。

ユーザは、表示切替ボタン４及びソフトキーの操作により、コンテンツ録画データ１２１を視聴するときに「リスト付字幕視聴モード」と「通常視聴モード」との間で、画面の表示状態を切替可能である。

ユーザが「リスト付字幕視聴モード」を選択すると、制御部１１は、字幕付映像を再生表示すると共に、現在再生中の字幕文とその字幕文から所定のタイミングだけ前後にある字幕文とを示す字幕リストを表示させる。

「リスト付視聴モード」で表示される画面は、例えば、図７（ａ）に示す画面Ｄ１である。本実施形態では、字幕リスト中に示される字幕文の数は５つである。

制御部１１は、字幕リストを表示するときに、字幕管理データ１２２から字幕文Ｍｎを読み出す。このため、制御部１１は、コンテンツ録画データ１２１が含む字幕ＰＥＳから情報を抽出し、予め字幕管理データ１２２を生成しておく。以下、制御部１１が、この字幕管理データ１２２を生成する動作について説明する。

制御部１１は、コンテンツ（ＴＶ信号）の録画後、字幕管理データ１２２の生成を開始する。図６に示すように、制御部１１は、コンテンツ録画データ１２１内の字幕ＰＥＳの有無を判別し、無ければ（ステップＳ１１；Ｎｏ）、処理を終える。

字幕ＰＥＳが有れば（ステップＳ１１；Ｙｅｓ）、制御部１１は、字幕ＰＥＳの抽出後（ステップＳ１２）、その字幕ＰＥＳから字幕文Ｍｎを抽出できたか否かを判別する（ステップＳ１３）。抽出できたら（ステップＳ１３；Ｙｅｓ）、字幕ＰＥＳを解析し、字幕再生タイミングｔｍｎを取得する。

続いて、制御部１１は、字幕再生タイミングｔｍｎから、コンテンツ録画データ１２１の先頭にある映像の映像再生タイミングを減じ、先頭の映像の再生開始から字幕文Ｍｎの再生時に至る経過時間を求める（ステップＳ１４）。

さらに、制御部１１は、求めた経過時間を時分秒単位に換算し（ステップＳ１５）、その経過時間（字分秒単位）を、字幕表示時刻ＴＭｎとして字幕管理データ１２２に格納する（ステップＳ１６）。

続いて、制御部１１は、字幕ＰＥＳ１３３から字幕文Ｍｎを抽出し、字幕管理データ１２２に格納する（ステップＳ１７）。制御部１１は、コンテンツ録画データ１２１の最後に達するまで（ステップＳ１８；Ｙｅｓ）、上述した処理を繰り返す。以上で、字幕管理データ１２２の生成が終了する。

ユーザが「リスト付視聴モード」から「通常視聴モード」への切替を指示すると、制御部１１は、表示部１４に指示し、字幕リストの表示を終了させる。このとき、制御部１１は、図７（ａ）に示す画面Ｄ１に代えて、図７（ｂ）に例示するように、字幕付映像のみが再生されている画面Ｄ２を表示させる。この際、制御部１１は、空いたスペースを活用するために、例えば、映像及び字幕文の表示サイズを、縦横ｋ倍して、相対的に大きな画面で画像を表示する。或いは、字幕リスト以外の任意の情報（例えば、受信したニュース、メッセージ等）を表示してもよい。

この状態において、ユーザが「通常視聴モード」から「リスト付視聴モード」への切替を指示すると、制御部１１は、字幕付映像の再生動作を維持しつつ字幕リストを表示させる。例えば、図７（ｃ）に示す画面Ｄ３を表示させる。

以下、制御部１１が、ユーザ操作に応じて、字幕付映像の表示状態を「通常視聴モード」と「リスト付視聴モード」との間で切り替える処理について説明する。

図８に示すように、ユーザによるソフトキー（例えば、図７（ａ）に示す「ｓｏｆｔ１」）の押下を検出すると、制御部１１は、移行先の視聴モードとして、「リスト付視聴モード」と「通常視聴モード」とのいずれが指示されたかを判別する（ステップＳ２１）。制御部１１は、検出時の視聴モードが「通常視聴モード」なら、「リスト付視聴モード」への移行が指示されたと判別する。

「リスト付視聴モード」への移行なら（ステップＳ２１；リスト付視聴モード）、制御部１１は、移行が指示されたときに再生していた映像の映像表示時刻（以下、「切替時表示時刻ＴＳ」という）を取得する（ステップＳ２２）。切替時表示時刻ＴＳは、例えば、現在表示中の映像の映像表示時刻ＴＲｎ、映像表示時刻を管理するための基準時刻（ＳＴＣ）、等から取得できる。

続いて、制御部１１は、この切替時表示時刻ＴＳと字幕管理データ１２２内の各字幕表示時刻ＴＭｎとを比較し、切替時表示時刻ＴＳ以後において最先の字幕表示時刻ＴＭｎを有する字幕文Ｍｎを特定する（ステップＳ２３）。これが、切替後に再生を開始する字幕文となる。

続いて、制御部１１は、特定した字幕文Ｍｎ及びその字幕文より所定のタイミングだけ前又は後に再生される字幕文を示す字幕リストを表示させる（ステップＳ２４）。このとき、制御部１１は、字幕リスト表示用のリスト領域ＬＡの中央に、現在再生中の字幕文Ｍｎを表示させる。

続いて、制御部１１は、字幕文Ｍｎに対応する映像表示時刻を有する映像をコンテンツ録画データ１２１から抽出し、映像領域ＲＡに表示させる（ステップＳ２５）。

図９に示すように、制御部１１は、ビデオＰＥＳから映像フレームの情報を抽出し（ステップＳ２５１）、その情報に基づき、抽出した映像フレームがＩＤＲフレームか否かを判別する（ステップＳ２５２）。ＩＤＲフレームでなければ（ステップＳ２５２；Ｎｏ）、処理はステップＳ２５１に戻る。

一方、ＩＤＲフレームなら（ステップＳ２５２；Ｙｅｓ）、コンテンツ録画データ１２１内で先頭の映像の再生開始からそのＩＤＲフレームの再生に至るまでの経過時間を求める（ステップＳ２５３）。このとき、抽出中のＩＤＲフレームの映像再生タイミング（ＰＴＳ単位）から先頭の映像の再生タイミングを減じる。

次に、制御部１１は、そのＩＤＲフレームが、現在再生中の字幕文Ｍｎに対応する可能性の有無を判別する。そのため、字幕文Ｍｎの字幕表示時刻ＴＭｎが、今回求めた経過時刻より大きいか否かを判別する（ステップＳ２５４）。

字幕表示時刻ＴＭｎが今回求めた経過時間より小さければ（ステップＳ２５４；Ｙｅｓ）、抽出中のＩＤＲフレームは、現在再生中の字幕文Ｍｎよりも先に再生され、字幕文Ｍｎに対応する可能性がある。そのため、制御部１１は、そのＩＤＲフレームの映像位置を保存し（ステップＳ２５５）、処理はステップＳ２５１に戻る。

一方、字幕表示時刻が今回求めた経過時刻より大きければ（ステップＳ２５４；Ｎｏ）、前回抽出したＩＤＲフレームは、字幕文Ｍｎの再生タイミングの直前に再生され、現在再生中の字幕文Ｍｎに対応する。このとき、制御部１１は、ステップＳ２５５で格納した映像位置ＰＲｎからＩＤＲフレームを読み出し、表示パネル５に表示させる（ステップＳ２５６）。そして、処理は図８にリターンし、終了する。

一方、ステップＳ２１において「通常視聴モード」への移行であると判別すると、制御部１１は、字幕リストを表示することなく字幕付映像の一般的な再生を行うため、処理をステップＳ２６に移す。

再生中の字幕文Ｍｎが有する字幕表示時刻ＴＭｎと、シークポイント管理情報１２３内の各映像表示時刻ＴＲｎとを比較し、字幕表示時刻ＴＭｎの直前の映像表示時刻ＴＲｎを特定する（ステップＳ２６）。

さらに、特定した映像表示時刻ＴＲｎに対応する映像位置ＰＲｎが示すパケットの映像フレームを再生する（ステップＳ２７）。図５の例では、映像表示時刻ＴＲｎに対応付けられた映像位置ＰＲｎ（ＴＳＰの番号）が示すビデオＰＥＳのＩＤＲフレームＩｎから再生を開始する。また、制御部１１は、現在再生中の映像に対応する字幕文Ｍｎを再生する（ステップＳ２８）。

続いて、ステップＳ２９〜Ｓ３０の処理を行い、字幕付映像を再生する。制御部１１は、図示しないタイマにより所定時間の経過を検出すると（ステップＳ２９；Ｙｅｓ）、再生中の字幕文がコンテンツ録画データ１２１内で最後の字幕文か否かを判別する。最後の字幕文でなければ（ステップＳ３０；Ｎｏ）、処理はステップＳ２６に戻り、最後の字幕文なら（ステップＳ３０；Ｙｅｓ）、字幕付映像の再生を終える。以上で、リスト付視聴モードと通常視聴モードとを切替えて、コンテンツを再生する処理が終了する。

以上説明したように、本実施形態では、「リスト付字幕視聴モード」と「通常視聴モード」とを適宜切り替えることができる。リスト付字幕視聴モードでは、表示された字幕リストを用いて、任意の字幕を適宜選択して、選択した字幕と対応する映像を表示させることができる。

一方、通常視聴モードでは、字幕リストが表示されず、小さい画面を有効に利用して種々の情報を表示することができる。例えば、映像と字幕とを空いたスペースを使って表示しても良く、或いは、他の情報を表示することもできる。従って、一方で、字幕選択時の操作性を維持しつつ、他方で、画面に表示する情報量を抑えることによる視認性の向上をバランスよく維持することができる。

（実施形態２）
なお、動作モードを切り替えた際に、再生映像の開始点及び再生する字幕文の選択の仕方によっては、映像が時間軸を遡るような印象を与えることがある。

この点を、図１０を参照して具体例に基づいて説明する。
図１０は、映像ＰＥＳ及び字幕ＰＥＳにより定義される映像フレーム（ＩＤＲとＰ）と字幕（Ｍｎ）との表示タイミングを例示する図である。

ここで、例えば、「リスト付字幕視聴モード」下での字幕文Ｍ２及びＩＤＲフレームＩ２の再生中に、ユーザが「通常視聴モード」への切替を指示したとする。このとき、制御部１１は、切替前に再生していた字幕文Ｍ２の直前にあるＩＤＲフレーム、即ち、ＩＤＲフレームＩ２から再生を開始する。

さらに、この「通常視聴モード」への切替後、ＩＤＲフレームＩ２〜ＰフレームＰ４の間にあるいずれかの映像フレームの再生中に「リスト付字幕視聴モード」への切替が指示されたとする。このとき、制御部１１は、指示されたときに再生していた映像の再生タイミングの時間的に直前の字幕文Ｍ１を再生し、続いて、その字幕文Ｍ１の時間的に直前に位置するＩＤＲフレームＩ１から映像の再生を開始する。
このため、表示が遡った印象を視聴者に与えてしまう虞がある。この点は、動作モードの切り替えを頻繁に行うと、顕著になる。

このような問題を解決するためには、「リスト付字幕視聴モード」から「通常視聴モード」に切り替えた際に、切替前に表示していた映像の表示時刻（表示タイミング）よりも遅い再生タイミングを有する字幕文を再生表示すればよい。即ち、ユーザが視聴モードを「リスト付視聴モード」から「通常視聴モード」に切替えたときに、切替前に再生していた映像の再生タイミングをステップＳ２８で特定し、特定した再生タイミング以後で最先の再生タイミングを有する字幕文をステップＳ３０で抽出し、再生を開始させるようにすればよい。

同様に、「通常視聴モード」から「リスト付字幕視聴モード」に切り替えた際に、ステップＳ２３で選択する字幕文を、ステップＳ２２で特定した再生タイミング以後で最先の再生タイミングを有する字幕文とし、さらに、ステップＳ２５で再生する映像の開始点を該字幕文の再生タイミングより後の独立フレームというようにすればよい。

図１０を例に説明すると、例えば、「通常視聴モード」→「リスト付字幕視聴モード」の切替時にフレームＰ３を表示していたとすると、図８のステップＳ２８でフレームＰ３の表示時刻を判別し、その直後の独立映像フレームＩＤＲ３から映像の再生を開始し（ステップＳ２９）、フレームＰ３の時間的に直後の字幕文Ｍ２を再生する（ステップＳ３０）。

また、「リスト付字幕視聴モード」→「通常視聴モード」の切替時にフレームＰ３を表示していたとすると、図８のステップＳ２３でフレームＰ３の表示時刻を判別し（ステップＳ２２）、その直後の字幕文Ｍ２を再生対象とし（ステップＳ２３）、独立映像フレームＩＤＲ３から映像の再生を開始する（ステップＳ２５）。

これにより、視聴モードの切替を短期間で繰り返し行われた場合でも、字幕付映像の再生中に、再生タイミングを遡って字幕文及び映像が表示されることを回避できる。

以上説明したように、実施形態２によれば、短時間でリスト付字幕視聴モードと通常視聴モードを切り替えたときに、切替前に再生していた映像の再生タイミング以降で最先の再生タイミングを有する字幕文を抽出し、再生を開始させる。これにより、視聴モードの切替の繰り返しにより、既に再生された字幕文が再度表示されることを回避できる。

視聴モードの切り替え時に選択する映像フレームと字幕文は上述の例に限定されず、適宜選択可能である。

（実施形態３）
携帯電話は、一般的に、現在位置を変えながらコンテンツを受信する。そのため、現在位置によっては、放送波を良好に受信できず、コンテンツ録画データ１２１の一部が欠落する場合がある。

例えば、図１１の例では、コンテンツ録画データ１２１は、コンテンツの欠落する時間帯（データ欠落区間ＴＢ）において、ＰフレームＰ２１〜ＰフレームＰ３４のデータ及びがＩフレームＩＤＲ２〜ＩＤＲ６のデータ、及び字幕文Ｍ２〜Ｍ３のデータが欠落している。

このコンテンツ録画データ１２１を、「通常視聴モード」にてデータ欠落区間ＴＢの直後まで再生したときに、ユーザが「リスト付字幕視聴モード」への切替を指示したとする。このとき、再生中の字幕文は字幕文Ｍ４である。

制御部１１は、切替後に最初に再生する映像として、字幕文Ｍ４の直前のＩＤＲフレームを抽出する。ここでは、データ欠落区間ＴＢにおける映像フレームが存在しないため、字幕文Ｍ４の直前にあるＩＤＲフレームとしてＩフレームＩＤＲ１を抽出する。この場合、再生中の字幕文Ｍ４の内容にそぐわない映像が再生されるおそれがある。

この問題を解決するには、データ欠落区間ＴＢにおけるコンテンツの再生中、その映像に代えて、所定の画面（例えば、黒で塗りつぶした画面）を表示させればよい。以下、このような動作を行う実施形態３の携帯電話１について説明する。

実施形態３にて、リスト付字幕視聴モードと通常視聴モードとを切替えて、コンテンツを再生する処理は、基本的に図８を参照して説明した処理と同一である。ただし、実施形態３では、「リスト付字幕視聴モード」にて、前述したステップＳ２５に代えて、図１２に示すステップＶ１１〜Ｖ１３の処理を実行する。

制御部１１は、図８に示すステップＳ２１〜Ｓ２３の処理を行い、「リスト付字幕視聴モード」への切替を検出すると、再生する字幕文を特定する。次に、処理は図１２のステップＶ１１に進み、特定した字幕文の字幕表示時刻ＴＭｎと、その字幕表示時刻の直前のＩＤＲフレームの映像表示時刻との差を求める。この映像表示時刻は、特定した字幕文Ｍｎの字幕表示時刻ＴＭｎと、シークポイント管理情報１２３内の映像表示時刻ＴＲｎとを比較し、特定される。

その差が所定値（例えば、５秒）以上の場合（ステップＶ１１；Ｙｅｓ）、コンテンツ録画データ１２１の映像に代えて、所定の画面（例えば、黒で塗りつぶした画面、画像が欠落している旨のメッセージ）を表示させる（ステップＶ１２）。これにより、コンテンツ録画データ１２１のデータが一部欠落していても、再生中の字幕文にそぐわない映像が表示されることを回避できる。

一方、求めた差が所定値より小さければ、映像位置ＰＲｎが示す映像フレームを表示させる（ステップＶ１３）。ステップＶ１３の処理は、図９で示した例と同じである。

以上説明したように、実施形態３によれば、コンテンツ録画データ１２１内にデータ欠落区間ＴＢが存在し、その区間が所定時間より大きい場合、コンテンツの映像に代えて、所定の画面を表示させる。これにより、再生中の字幕文にそぐわない映像が表示されることを回避できる。

なお、この発明は上記実施形態１〜３に限定されず、種々の変形及び応用が可能である。

上記実施の形態においては、字幕文の選択を容易にするために字幕文のリストを表示したが、字幕文の選択を可能とする手法は任意である。例えば、字幕文に対応するアイコンやボタンを表示し、これらの選択により字幕文を選択するようにしてもよい。また、字幕文のリストを階層化する等してもよい。さらに、キーボードからの入力で直接字幕文の選択を受け付けるようにしてもよい。

以下、本実施形態の変形例について説明する。図８の例において「リスト付字幕視聴モード」から「通常視聴モード」に切り替えた場合、「リスト付字幕視聴モード」にてステップＳ２５の処理を終了していれば、ステップＳ２８〜Ｓ２９の処理を行わずともよい。その場合、切替前に再生していた映像フレームから再生を行えばよい。

字幕表示時刻ＴＭｎは、字幕付映像の再生開始時に限らず、任意の時刻を基準として表してもよい。また、字幕表示時刻ＴＭｎ及び映像表示時刻ＴＲｎは、時分秒単位又はＰＴＳ（Presentation Time Stamp）単位に限らず、任意の単位で表してもよい。

「通常視聴モード」では、字幕文を表示せずにコンテンツを再生してもよい。また、必要に応じて、早送り機能を有するよう構成してもよい。

「通常視聴モード」から「リスト視聴モード」へ切替えた場合、ビデオＰＥＳからの映像フレーム抽出処理を行わずに、字幕管理データ１２２の字幕表示時刻ＴＭｎとシークポイント管理情報１２３の映像表示時刻ＴＲｎとを比較し、字幕表示時刻ＴＭｎの直前の映像位置ＰＲｎが示すＴＳＰの映像を表示させてもよい。

その他、本発明の概念は、専用のコンピュータシステムに限らず、例えば、コンテンツ録画再生機能を備える、ＰＤＡ、電子カメラ、電子腕時計、携帯型ＴＶ、カーナビゲーション装置、等の任意の字幕付映像再生端末装置に適用可能である。即ち、コンピュータを携帯電話１として機能・動作させるためのコンピュータプログラムを作成し、配布し、貸与し、これをコンピュータにインストールして、携帯電話１として、これを使用、譲渡、貸与などしてもよい。

本発明の実施の形態に係る携帯電話を開いた状態で正面から見たときの外観図である。 図１に示す携帯電話の構成を示すブロック図である。 （ａ）は、記憶部に格納されるデータの例を示す図、（ｂ）は、ＴＳＰの構成を例示する図、（ｃ）は、コンテンツデータの構成例を示す図、（ｄ）は、字幕ＰＥＳの構成例を示す図である。 字幕管理データのデータ構造の一例を示す図である。 シークポイント管理情報のデータ構造の一例を示す図である。 コンテンツ録画データから情報を抽出して、字幕管理データを生成する処理を示すフローチャートである。 （ａ）は、リスト付字幕視聴モードで表示される画面の第１の例を示す図である。（ｂ）は、通常視聴モードで表示される画面の例を示す図である。（ｃ）は、リスト付視聴モードで表示される画面の第２の例を示す図である。 「リスト付視聴モード」と「通常視聴モード」とを切り替えて字幕付映像を再生する処理を示すフローチャートである。 実施形態１及び２に係る映像抽出処理を示すフローチャートである。 映像フレームと字幕データの再生タイミングの一例を示す図である。 映像フレームが一部欠落したコンテンツ録画データの一例を示す図である。 実施形態３に係る映像抽出処理を示すフローチャートである。

符号の説明

１…携帯電話、２…キーボード、３…カーソルキー、４…表示切替ボタン、５…表示パネル、６…通話用マイク、７…通話用スピーカ、８…スピーカ、１１…制御部、１２…記憶部、１３…操作部、１４…表示部、１５…チューナ、１６…デコード部、１７…音声出力部、１８…音声入力部、１９…通信部、２０…バス、１２１…コンテンツ録画データ、１２２…字幕管理データ、１２３…シークポイント管理情報、１３１…ビデオＰＥＳ、１３２…音声ＰＥＳ、１３３…字幕ＰＥＳ

Claims (8)

1. 複数の字幕文を定義する字幕信号と複数の映像を定義する映像信号とを、再生タイミングを対応付けて記憶する記憶手段と、
   前記記憶手段に記憶されている字幕信号により定義される複数の字幕文のうちのいずれかを選択する字幕選択手段と、
   前記字幕選択手段により選択された字幕文を再生する字幕再生手段と、
   前記記憶手段に記憶された前記映像信号を再生する映像再生手段と、
   前記字幕選択手段により字幕文を選択し、選択した字幕文と該字幕文に対応する映像信号とを前記字幕再生手段及び前記映像再生手段により再生する字幕視聴モードと、前記映像再生手段により映像信号を再生する通常視聴モードと、を切り替えるモード切替手段と、
   を備え、
   前記映像信号は、前記映像を単独で定義する独立フレームと他の映像フレームを参照して映像を定義するフレームとを含み、
   前記映像再生手段は、前記モード切替手段が動作モードを通常視聴モードから字幕視聴モードに、又は字幕視聴モードから通常視聴モードに切り替えた際に、再生する映像信号の先頭を、前記字幕選択手段によって選択された前記字幕文に対応する独立フレームに設置する、
   ことを特徴とする字幕付映像再生端末装置。
2. 前記映像再生手段は、前記モード切替手段が動作モードを字幕視聴モードから通常視聴モードに切り替えた際に、再生する映像信号の先頭を、前記字幕選択手段で選択された字幕文の再生タイミングの時間的に直前となる独立フレームに設置する手段を含む、
   ことを特徴とする請求項１に記載の字幕付映像再生端末装置。
3. 前記映像再生手段は、
   前記映像再生手段により再生中の映像信号の再生タイミングを判別する映像再生タイミング判別手段と、
   前記モード切替手段が動作モードを通常視聴モードから字幕視聴モードに切り替えた際に、前記映像再生タイミング判別手段により判別した再生タイミングの時間的に直後の再生タイミングを持つ字幕文を選択状態として、字幕視聴モードに設定する手段と、
   を含む、
   ことを特徴とする請求項１又は２に記載の字幕付映像再生端末装置。
4. 前記映像再生手段は、前記モード切替手段が動作モードを通常視聴モードから字幕視聴モードに、又は字幕視聴モードから通常視聴モードに切り替えた際に、切替前に再生していた前記映像信号の再生タイミング以降で最先の再生タイミングを有する字幕文を抽出し、再生する映像信号の先頭を、前記字幕文の再生のタイミングより後の独立フレームに設置する、
   ことを特徴とする請求項１乃至３の何れか１項に記載の字幕付映像再生端末装置。
5. 前記映像再生手段は、
   前記字幕選択手段で選択された字幕文の再生タイミングを判別する字幕文再生タイミング判別手段と、
   前記字幕文再生タイミング判別手段により判別された字幕文の再生タイミングに対応する前記映像信号の再生開始タイミングを判別する映像再生開始タイミング判別手段と、
   前記字幕文再生タイミング判別手段で判別した字幕文の再生タイミングと、前記映像再生開始タイミング判別手段で判別した映像信号の再生開始タイミングと、の差分を求める差分演算手段と、
   前記差分演算手段で求めた差分が所定値以上であるか否かを判別する差分判別手段と、
   前記差分判別手段で前記差分が所定値以上であると判別されたときに、前記記憶手段が記憶する映像信号が定義する映像に代えて、所定の画像を表示する手段と、
   を含む、ことを特徴とする請求項１乃至４の何れか１項に記載の字幕付映像再生端末装置。
6. 前記字幕選択手段は、選択対象の字幕文のリストを表示するリスト表示手段と、表示されたリストのうちから任意の字幕文を選択する手段とを含み、
   前記字幕視聴モードにおいては、前記映像再生手段により再生された映像と、前記字幕再生手段により再生された字幕文と、前記リスト表示手段によるリストとが画面に表示される、
   ことを特徴とする請求項１乃至５の何れか１項に記載の字幕付映像再生端末装置。
7. 前記通常視聴モードにおいては、前記映像再生手段により再生された映像と、前記字幕再生手段により再生された字幕文とが画面に表示される、ことを特徴とする請求項１乃至６の何れか１項に記載の字幕付映像再生端末装置。
8. コンピュータに、
   複数の字幕文を定義する字幕信号と複数の映像を定義する映像信号とを、再生タイミングを対応付けて記憶手段に記憶する記憶処理、
   前記記憶手段に記憶されている字幕信号により定義される複数の字幕文のうちのいずれかを選択する字幕選択処理、
   前記字幕選択処理により選択された字幕文を再生する字幕再生処理、
   前記記憶手段に記憶された前記映像信号を再生する映像再生処理、
   前記字幕選択処理により字幕文を選択し、選択した字幕文と該字幕文に対応する映像信号とを前記字幕再生処理及び前記映像再生処理により再生する字幕視聴モードと、前記映像再生処理により映像信号を再生する通常視聴モードと、を切り替えるモード切替処理、
   を実行させ、
   前記映像信号は、前記映像を単独で定義する独立フレームと他の映像フレームを参照して映像を定義するフレームとを含み、
   前記映像再生処理は、前記モード切替処理において動作モードが通常視聴モードから字幕視聴モードに、又は字幕視聴モードから通常視聴モードに切り替えられた際に、再生する映像信号の先頭を、前記字幕選択処理において選択された前記字幕文に対応する独立フレームに設置する、
   ためのコンピュータプログラム。

Images