JP5036267B2 - 携帯型電子装置 - Google Patents

Description

本発明は、字幕付の映像を再生可能な携帯型電子装置に関する。

字幕付映像のストリームを録画しておき、字幕付の状態で映像を再生できる字幕表示装置が特許文献１に開示されている。特許文献１に開示された字幕表示装置は、ストリームの字幕信号が定義する字幕文を、字幕文を表示する表示時間情報とともに記憶して、字幕履歴情報を作成する。ストリームの映像信号には字幕履歴情報を付加し、ユーザが選択した字幕の表示時間情報に基づいて、字幕履歴情報が合致する映像を再生する（特許文献１ 参照）。
特開２００３−１８４９１号公報

特許文献１の字幕表示装置では、ユーザが選択した字幕文と、字幕文の表示時間情報に応じた映像とを表示する。そのため、特許文献１に開示された字幕付映像の再生機能を単純に携帯端末装置の小型画面に適用した場合、字幕文の文字列の含有量により、ユーザがストリームを視聴するときや字幕を選択するときの画面の視認性が悪くなるおそれがある。

更に、特許文献１の字幕表示装置は、字幕文を表示するタイミングと、映像を表示するタイミングと、の差を調整する手段について、何も考慮されていない。

本発明は、上記実情に鑑みてなされたものであり、携帯型電子装置で字幕付映像を再生するときの、字幕文を選択する表示画面の視認性が悪化しない携帯型電子装置を提供することを目的とする。

上記課題を解決するため、本発明における携帯型電子装置は、
複数の字幕文を定義する字幕信号と映像を定義する映像信号とを、再生タイミングを対応付けてそれぞれ記憶する記憶手段と、
前記記憶手段に記憶されている字幕信号により定義される複数の字幕文のうちの何れかを選択する字幕選択手段と、
前記字幕選択手段により選択された字幕文を再生する字幕再生手段と、
前記映像信号を、前記字幕選択手段により選択された字幕文の再生タイミングに対応する再生タイミングから再生して表示する映像再生表示手段と、を備え、
前記映像再生表示手段は、前記字幕選択手段によって選択された字幕文が変更されたときに、変更前に表示されていた映像フレームと、変更後の字幕文の表示タイミングに対応する表示タイミングを有する映像フレームと、の間にある映像フレームを、間引いて表示する、ことを特徴とする。

本発明によれば、字幕リストに表示された字幕文から選択された字幕文の再生タイミング情報に基づいて、字幕文の再生タイミングに対応する再生タイミングを有する映像を再生できる。

（実施形態１）
以下、本発明の実施形態に係る携帯電話装置１を説明する。
この携帯電話装置１は、図１に示す外観のように、画面表示部１４、アンテナ１９Ａ、音声マイク２０、音声スピーカ２１、操作部２２、を備えている。

また、携帯電話装置１は、図２に示す回路構成のように、制御部１１、記憶部１２、外部記録メディア１３、画面表示部１４、チューナ１５、アンテナ１５Ａ、デコード部１６、ＤＡＣ（Digital Analog Converter）１７、スピーカ１８、通信部１９、アンテナ１９Ａ、音声マイク２０、音声スピーカ２１、操作部２２、バス１０、を備える。

制御部１１は、ＣＰＵ（Central Processing Unit)から構成され、記憶部１２に格納された動作プログラムに従って、携帯電話装置１の全体的な動作を制御する。
例えば、制御部１１は、ユーザがテレビ番組を視聴するときのテレビジョン放送の受信の開始・終了や、ユーザがテレビ番組を録画するときのコンテンツの録画の開始・終了を制御する。また、制御部１１は、ユーザ認証手段による正規ユーザか否かの判別処理や、ユーザ判別手段によるユーザの判別処理を実行する。

記憶部１２は、フラッシュメモリなどの不揮発性メモリ、ＲＡＭ（Random Access Memory）等から構成され、i）図８（ａ）乃至図８（ｄ）のフローチャートに示す処理を制御部１１に実行させるためのプログラム、ii）字幕リストの字幕文を保持する字幕管理データ、iii）字幕文の再生タイミングに対応した映像信号が定義する映像、iv）字幕文の表示タイミングから遡った再生タイミングから、映像を再生表示する期間情報を保持する調整期間テーブルＴＢ、v）正規ユーザが予め登録したパスワード情報、等を記憶する。
また、記憶部１２は、制御部１１のワークメモリとして機能する。

外部記録メディア１３は、スマートメディア、ＩＣカード等の着脱可能な可搬型メモリから構成され、例えば、ユーザＩＤや画面表示部１４に表示する映像データを格納している。

画面表示部１４は、ドットマトリクスタイプのＬＣＤ（液晶表示）パネルとドライバ回路等から構成され、任意の画像を表示する。

チューナ１５は、アンテナ１５Ａを介して地上デジタル放送の電波信号を受信して復調し、復調信号を制御部１１に出力する。なお、チューナ１５が受信する電波信号は、例えば、ワンセグ放送におけるデータ転送方式（ＡＲＩＢ運用規定ＴＲ−Ｂ１４に記載）に則った形式である。
デコード部１６は、チューナ１５から出力されたコンテンツを、映像信号、音声信号、字幕信号に分離すると共に復号し、出力する。

ＤＡＣ１７は、制御部１１からのディジタルオーディオ信号をアナログオーディオ信号に変換して、スピーカ１８に出力する。
スピーカ１８は、ＤＡＣ１７から供給されたアナログオーディオ信号を放音する。
通信部１９は、アンテナ１９Ａを通じ、基地局と交信し、音声信号、映像信号、データ信号を送受信する。
音声マイク２０は、通話時等に、音声信号を収集し、通信部１９に供給する。
音声スピーカ２１は、通話時等に、復調された音声信号を出力する。

操作部２２は、ユーザが指示やデータを入力するための各種のキー若しくはボタンを備え、制御部１１への各種の指示やデータを入力する。例えば、テレビジョン放送の受信の開始・終了の指示や、ユーザがテレビ番組を録画するときのコンテンツの録画の開始・終了の指示、ユーザ認証時のパスワードの入力等が可能である。
また、操作部２２には、上下方向のカーソルキーが設けられている。ユーザは、カーソルキーを操作することにより画面上に表示されたカーソルをスクロールさせ、字幕リストから任意の字幕文を選択できる。
更に、操作部２２には、字幕付映像の再生表示とともに、字幕リストを画面に表示するリスト表示モードと、字幕リストを画面に表示しないリスト非表示モードと、を切り替えるリスト表示切替ボタンが設けられている。

バス１０は、制御部１１、記憶部１２、外部記録メディア１３、画面表示部１４、ＤＡＣ１７の間で相互にデータを伝送する。

次に、制御部１１が、画面表示部１４に字幕リストを表示する動作について説明する。
先ず、ユーザが字幕付映像を視聴するときに、画面表示部１４に表示される画面を、図３（ａ）、３（ｂ）を参照して、以下に説明する。なお、図３（ｂ）の画面Ｄ２の内、画面Ｄ１と同一の構成要素には、図３（ａ）と同一の符号を付している。

ユーザが字幕付映像を視聴するときの画面表示モードには、リスト表示モードと、リスト非表示モードの２つがあり、ユーザは、操作部２２上のリスト表示切替ボタンを押下することにより、画面表示部１４に、画面Ｄ１又は画面Ｄ２の何れを表示するか選択できる。
リスト表示モードにおける画面Ｄ１は、図３（ａ）に示す画面であり、リスト非表示モードにおける画面Ｄ２は、図３（ｂ）に示す画面である。

リスト表示モードにおける画面Ｄ１は、図３（ａ）に示すように、ピクト領域ＰＡ、映像領域ＤＡ、字幕領域ＳＡ、字幕リスト領域ＬＡ、ソフトキー領域ＦＡ、を有する。

ピクト領域ＰＡは、携帯電話の受信状況やバッテリの残量、現在日時、等を表示する領域である。
映像領域ＤＡは、字幕リストから選択中である字幕文の再生タイミングに対応する再生タイミングを有する映像を表示する領域である。図３（ａ）では、選択中の字幕文の再生タイミングに対応した再生タイミングの映像として、人物の顔が表示されている。
字幕領域ＳＡは、字幕リストからユーザが選択している字幕文に対応する字幕内容を表示する領域である。

字幕リスト領域ＬＡは、複数の字幕文をリスト形式に並べた字幕リストを表示する領域であり、５個の字幕文を表示する字幕リスト枝領域ＬＡ１〜ＬＡ５を含む。字幕リスト枝領域ＬＡ１〜ＬＡ５にそれぞれ対応して表示される字幕文ＳＴ１〜ＳＴ５は、記憶部１２に記憶された字幕管理データＭＤに含まれる字幕文の一部である。
リスト表示モードにより、字幕リスト領域ＬＡにユーザが選択可能な字幕リストの字幕文が画面に表示される。

また、ユーザがカーソルキーにより、字幕リストから字幕文を選択している間、選択される字幕文は字幕リスト領域ＬＡの中央に位置するようにスクロール表示される。スクロール表示の動作については、詳細を後述する。

なお、ソフトキー領域ＦＡは、ソフトキー領域ＦＡに近接する操作部２２の所定のキーにより現在選択されている動作モード等を表示する領域である。

また、リスト非表示モードにおける画面Ｄ２について説明する。画面Ｄ２は、図３（ｂ）に示す画面のように、字幕リストを表示しないため、画面を構成する主要部分が映像領域ＤＡとなる。
ユーザはコンテンツを視聴するときに、リスト非表示モードの画面Ｄ２を選択して、字幕付映像を再生表示することにより、映像に集中することができる。

リスト表示モードの画面Ｄ１にて、字幕リスト領域ＬＡに表示される字幕文は、記憶部１２に格納される字幕管理データＭＤ内に保持される字幕文の一部である。以下、字幕管理データＭＤ内部のデータについて、図４を参照して説明する。

字幕管理データＭＤは、Ｎ個の字幕データＳ１〜ＳＮ（Ｎ：正の整数）を含む。ここで、字幕データＳＮは、字幕管理データＭＤに保持される字幕データの内、最終行にある字幕データである。
字幕データＳＭ（Ｍ：１〜Ｎまでの正の整数）は、字幕文Ｓｔを表示する表示時刻Ｔｄと、字幕文Ｓｔと、を対応付けたデータである。字幕データＳＭは、字幕管理データＭＤ内において、表示時刻Ｔｄにより昇順にソートされている。

表示時刻Ｔｄは、各字幕データに対応する表示時刻Ｔｄ１〜ＴｄＮ（Ｎ：正の整数）のグループの総称であり、字幕文Ｓｔを再生表示する表示時刻Ｔｄを格納する。表示時刻Ｔｄは、再生する映像の先頭の再生時刻を基準時刻０としたときに、映像を先頭から再生したときの経過時刻を示すオフセット時刻である。
なお、表示時刻Ｔｄは、時分秒で表しても、ＰＴＳ（Presentation Time Stamp）を用いて表してもよい。ＰＴＳにより表示時刻を表すときは、ＰＴＳの精度としては、９０ｋＨｚのクロック周波数が使用される。

字幕文Ｓｔは、字幕文Ｓｔ１〜ＳｔＮ（Ｎ：正の整数）のグループの総称である。字幕文Ｓｔ１〜ＳｔＮは、それぞれ表示時刻Ｔｄ１〜ＴｄＮになったときに表示する字幕文の内容である。

即ち、図４においては、ユーザが字幕リスト枝領域ＬＡ３の字幕文Ｓｔ３（こんばんわ。）を選択しているので、字幕管理データＭＤに保持されている字幕文Ｓｔ３が表示されている。
このとき、字幕リスト枝領域ＬＡ１には、字幕文Ｓｔ３よりも２つ前のＳｔ１（おはよう。）が、字幕リスト枝領域ＬＡ２には、字幕データＳｔ３よりも１つ前の字幕文Ｓｔ２（こんにちわ。）が表示される。また、字幕リスト枝領域ＬＡ４、ＬＡ５には、字幕文Ｓｔ３に後続する、字幕文Ｓｔ４（さようなら。）、Ｓｔ５（おやすみ。）が表示されている。
これにより、ユーザが字幕リストから選択可能な字幕文が、字幕リスト枝領域ＬＡ１〜ＬＡ５に表示される。

字幕リスト内にて選択されている字幕文が、字幕リスト領域ＬＡの中心にスクロール表示される動作について説明する。前提として、ユーザが選択中の字幕文には、字幕管理データＭＤ内で先頭行からＭ番目の字幕文ＳｔＭ（Ｍ：１からＮまでの正の整数）が該当するとする。
このとき、制御部１１は、字幕文ＳｔＭを字幕リスト枝領域ＬＡ３に表示するよう指示する字幕表示信号を画面表示部１４に出力する。

制御部１１は、字幕リスト枝領域ＬＡ１、ＬＡ２に表示される字幕文がどの字幕文かを判別するために、Ｍ−１が２以上であるか否かを判別する。Ｍ−１が２以上であれば、字幕リスト枝領域ＬＡ１、ＬＡ２にそれぞれ、字幕文ＳｔＭの２つ前に記憶される字幕文ＳｔＭ−２、字幕文ＳｔＭの１つ前に記憶される字幕文ＳｔＭ−１を表示する。
Ｍ−１が１であれば、ユーザが選択中の字幕文は先頭から２行目の字幕文Ｓｔ２であるから、字幕リスト枝領域ＬＡ１には何も表示せず、字幕リスト枝領域ＬＡ２には字幕文Ｓｔ１を表示する。
更に、Ｍ−１が０であれば、ユーザが選択中の字幕文は先頭行にある字幕文Ｓｔ１であるから、字幕リスト表示枝領域ＬＡ１、ＬＡ２には何も表示しない。

また、制御部１１は、字幕リスト枝領域ＬＡ４、ＬＡ５に表示される字幕文がどの字幕文かを判別するために、Ｎ−Ｍが２以上であるか否かを判別する。
Ｎ−Ｍが２以上であれば、ユーザが選択中の字幕文ＳｔＭは最終行にある字幕文ＳｔＮよりも２つ以上前の字幕文である。このとき、制御部１１は、字幕リスト枝領域ＬＡ４、ＬＡ５にそれぞれ、字幕文ＳｔＭの１つ後に記憶される字幕文ＳｔＭ＋１、字幕文ＳｔＭの２つ後に記憶される字幕文ＳｔＭ＋２を表示する。
Ｎ−Ｍが１であれば、制御部１１は、字幕リスト枝領域ＬＡ４には字幕文ＳｔＮを表示して、字幕リスト枝領域ＬＡ５には何も表示しない。更に、Ｎ−Ｍが０であれば、ユーザが選択中の字幕文は最終行にある字幕文ＳｔＮであるから、制御部１１は、字幕リスト枝領域ＬＡ１、ＬＡ２には何も表示しない。
これにより、ユーザがカーソルキーにより、字幕リストから字幕文を選択している間、選択される字幕文は字幕リスト領域ＬＡの中央に位置するようにスクロール表示される。

なお、リスト表示モードにおける画面Ｄ１が表示された状態において、ユーザが操作部２２の上下方向のカーソルキーを押下して、字幕リスト領域ＬＡの字幕文をスクロールさせたときの画面が遷移する状態を、図５（ａ）、５（ｂ）に示す。

リスト非表示モードにおける画面Ｄ２において、ユーザがカーソルを移動させたときは、図５（ｃ）、５（ｄ）に示す画面表示となる。このときは、ユーザのカーソルキーの操作に応じて、字幕管理データＭＤ内で選択される字幕文Ｓｔが変更されているため、画面Ｄ２の字幕領域ＳＡに表示される字幕文が変更される。

次に、制御部１１が、字幕管理データＭＤの生成に必要とされる録画されたテレビジョン信号ＳＧから情報を取得して、字幕管理データＭＤに登録する動作について、図６、図７のフローチャートを参照して説明する。

先ず、図６に示す録画されたテレビジョン信号ＳＧに含まれる情報について、以下に説明する。
テレビジョン信号ＳＧには、パケット化された字幕の圧縮符号化データである字幕ＰＥＳ（Packetized Elementary Stream）、映像信号、等が含まれ
、映像信号には、テレビジョン信号ＳＧの先頭にある映像を再生する再生タイミングＴｆが情報として含まれる。なお、再生タイミングＴｆは、ＰＴＳ単位で表されている。

字幕ＰＥＳには、字幕文Ｓｔを再生する再生タイミングＴＭ、区切情報ＣＳ、等の情報が含まれる。
再生タイミングＴＭは、字幕を再生するタイミングをＰＴＳによって表したタイミング情報である。再生タイミングＴＭは、複数の字幕再生タイミングＴＭ１〜ＴＭＮ（Ｎ：整数）を含んでもよい。

区切情報ＣＳは、字幕文を所定の単位にまとめて区切ることを示す符号である。区切情報ＣＳは、複数の区切情報ＣＳ１乃至ＣＳＮ（Ｎ：整数）の総称である。
制御部１１は、字幕ＰＥＳに制御符号ＣＳが含まれているときは、最初の制御符号ＣＳ１の直前で字幕情報に含まれる文字列を区切る。

次に、図７のフローチャートを参照して、制御部１１が、テレビジョン信号ＳＧから取得した情報を、字幕管理データＭＤに登録する動作について説明する。なお、制御部１１は、テレビジョン信号ＳＧに含まれる区切情報ＣＳと同数だけ、字幕管理データＭＤ内の字幕データ３ＢＮ（Ｎ：整数）を作成する。

図７のフローチャートは、チューナ１５が出力したテレビジョン信号ＳＧを、制御部１１が受け取って、記憶部１２への格納が完了したときに起動される。

図７のフローの処理が起動されると、先ず、制御部１１は、テレビジョン信号ＳＧから字幕ＰＥＳの抽出を試みて、字幕ＰＥＳが抽出できたか否かを判別する（ステップＰ１）。字幕ＰＥＳが抽出できずにファイル終端になれば（ステップＰ１でＮｏ）、制御部１１は字幕管理データＭＤの生成処理を終了する。

字幕ＰＥＳが抽出できたならば（ステップＰ１でＹｅｓ）、制御部１１は、抽出した字幕ＰＥＳに含まれる情報が字幕文であるか否かを判別する（ステップＰ２）。情報が字幕文でなければ（ステップＰ２でＮｏ）、制御部１１は、次の字幕ＰＥＳを抽出するため、処理をステップＰ１に戻す。
字幕文であれば（ステップＰ２でＹｅｓ）、制御部１１は、字幕ＰＥＳを解析し、字幕ＰＥＳに含まれる字幕再生タイミングＴＭ１と、字幕文Ｓｔ１に格納するべき字幕文と、を取り出す（ステップＰ３）。

制御部１１は、字幕ＰＥＳより抽出した字幕文の再生タイミングＴＭ１から、テレビジョン信号ＳＧの先頭にある映像の再生タイミングＴｆを差し引き、映像の先頭から再生したときの経過時刻Ｔｐ１（ＰＴＳ単位）を求める。
制御部１１は、経過時刻Ｔｐ１（ＰＴＳ単位）を通常の時分秒単位に換算し、換算した経過時刻Ｔｐ１（字分秒単位）を、字幕管理データＭＤの表示時刻Ｔｄ１として格納する（ステップＰ４）。
即ち、図７においては、表示時刻Ｔｄ１として、００：００：００が格納される。

また、図６において、字幕管理データＣＤの字幕文３Ｂ１には、制御符号ＣＳ１直前までの字幕文（おはよう。）を、字幕データ３Ｂ１に格納する（ステップＰ５）。

最初の字幕データＳ１を字幕管理データＭＤに登録すると、制御部１１は、処理をステップＰ１に戻して、区切情報ＣＳ１よりも前にある字幕再生タイミングＴＭ１を検索する。制御部１１は、字幕管理データＭＤの表示時刻Ｔｄ２として、表示時刻Ｔｄ１（００：００：００）に、ＰＴＳ単位から時分秒単位へと換算した映像再生タイミングＴＭ１（００：００：２０）を加えた、表示時刻Ｔｄ２（００：００：２０）を格納する（ステップＰ４）。
また、制御部１１は、字幕文３Ｂ２には、最初の制御符号ＣＳ１から次の制御符号ＣＳ２までの間に含まれる字幕情報Ｊ２（こんにちわ。）を格納する（ステップＰ５）。
制御部１１は、以下、区切情報ＣＳＮ（Ｎ：整数）がなくなるまで、テレビジョン信号ＳＧから字幕再生タイミングＴＭＮ（Ｎ：整数）を抽出して、字幕管理データＭＤの生成処理を繰り返す。

なお、区切情報ＣＳ１よりも前に区切情報ＣＳがなければ、制御部１１は、字幕文Ｓｔ１に、テレビジョン信号ＳＧに含まれる全ての字幕文を格納する。

制御部１１は、テレビジョン信号ＳＧから抽出した字幕ＰＥＳに区切情報ＣＳＭ（Ｍ：正の整数）が含まれているときに、字幕データＳＭ（Ｍ：正の整数）を作成して、字幕データを字幕管理データＭＤに登録する。
これにより、ユーザは、制御符号ＣＳを区切とした字幕リストから、字幕を選択できる。

また、リスト表示モードにおける画面Ｄ１が表示された状態で、ユーザが字幕リスト領域ＬＡでカーソルをスクロールしたとき、画面Ｄ１に表示される映像も追随して入れ替える必要がある。映像フレームの入替動作は、制御部１１が、テレビジョン信号ＳＧが定義する映像フレームをシークすることによって実行される。

テレビジョン信号ＳＧに含まれる映像フレームのシーク動作は、図５に示すように、字幕を再生する再生タイミングに基づいて、字幕の再生タイミングに対応した再生タイミングを有する映像フレームをシークして行われる。

映像フレームには、独立フレーム、非独立フレームの２種類がある。
独立フレームは、他の映像フレームの参照を必要としない映像フレームである（以下、「ＩＤＲフレーム」と呼ぶ）。また、ＩＤＲフレームは、自己の映像フレームを参照する非独立フレームが、自己のＩＤＲフレームの表示タイミングよりも前の全ての映像フレームを参照することを禁止する。

非独立フレームは、自己の表示時刻よりも前の、他の映像フレームを参照する映像フレームである（以下、「Ｐフレーム」と呼ぶ）。Ｐフレームは、自己の映像フレームの表示時刻よりも前にある映像フレームとの差分である。即ち、図６に示すＰフレームＰ１１、Ｐ１２は、ＩＤＲフレームＩ１を参照し、ＰフレームＰ２１、Ｐ２２は、ＩＤＲフレームＩ２を参照する。

映像フレームをシークする実施形態を変更することで、映像フレームを表示する機能を変形することができる。
映像フレーム表示機能の変形としては、例えば、i）選択された字幕文の再生タイミングの直前の再生タイミングを有する画像フレームを表示する機能（実施形態１）、ii）選択された字幕文が変更されたとき、変更前に表示されていた映像フレームと、変更後の字幕文の再生タイミングに対応する再生タイミングを有する映像フレームと、の間にある映像フレームを、間引いて表示する機能（実施形態２）、iii）選択された字幕文が変更されたとき、変更前に表示されていた映像フレームから、変更後の字幕文の再生タイミングに対応する再生タイミングを有する映像フレームまでの間にある映像フレームを、巻き戻して表示する機能（実施形態３）、iv）選択された字幕文が変更されたとき、変更前に表示されていた映像フレームから、変更後の字幕文の再生タイミングに対応する再生タイミングを有する映像フレームまでの間にある映像フレームを、早送りして表示する機能（実施形態４）、が想定される。

以下、映像フレームをシークする実施形態１から実施形態４までを、図６、図８（ａ）乃至（ｄ）を参照して説明する。
図８（ａ）のフローチャートは、ユーザがカーソルキーを操作してカーソルを移動させ、字幕リストの字幕文を選択したときに起動される。
図８（ｂ）乃至（ｄ）のフローチャートは、ユーザが上下のカーソルキーを押下してカーソルを移動させ、字幕リスト領域ＬＡで選択された字幕文を変更したときに起動される。
なお、以下の実施形態１乃至４の説明において、変更前に選択されていた字幕文をＳｔＬ、変更後に選択された字幕文をＳｔＭで示す。

（実施形態１）
映像シーク処理の実施形態１について、図８（ａ）のフローチャートを参照して説明する。
実施形態１は、選択された字幕文ＳｔＭの直前のＩＤＲフレームの映像を表示するための機能である。

制御部１１は、テレビジョン信号ＳＧから、先頭にある映像フレームの情報を抽出する（ステップＡ１）。制御部１１は、抽出した映像フレームの情報から、抽出した映像フレームがＩＤＲフレームか否かを判別する（ステップＡ２）。ＩＤＲフレームでなければ（ステップＡ２でＮｏ）、制御部１１は、処理をステップＡ１に戻し、次の映像フレームの情報を抽出する。
ＩＤＲフレームであれば（ステップＡ２でＹｅｓ）、制御部１１は、ＩＤＲフレームの表示タイミングから、テレビジョン信号ＳＧの先頭にある映像の表示タイミングＴｆを減じて、先頭からの経過時刻ＴｐＭを求める（ステップＡ３）。制御部１１は、経過時刻ＴｐＭと、選択されている字幕文ＳｔＭの表示時刻ＴｄＭを比較する（ステップＡ４）。

表示時刻ＴｄＭの方が大きければ（ステップＡ４でＹｅｓ）、制御部１１は、ステップＡ３で抽出した映像フレームのデータの位置を保存する（ステップＡ５）。制御部１１は、処理をステップＡ１に戻し、更に映像フレームをシークする。
次に抽出された映像フレームの経過時刻が、再度、字幕文ＳｔＭの表示時刻ＴｄＭよりも大きければ（ステップＡ４でＹｅｓ）、新しく抽出した映像フレームのデータの位置を保存する（ステップＡ５）。

次に抽出された映像フレームの経過時間よりも表示時刻ＴｄＮが小さければ（ステップＡ４でＮｏ）、制御部１１は、ステップＡ５で保存した情報を元に、映像フレームを表示する（ステップＡ６）。

制御部１１は、変更後に選択された字幕文ＳｔＭを、字幕領域ＳＡに表示する（ステップＡ７）。また、選択された字幕文ＳｔＭが、字幕リスト領域ＬＡの中心に位置するよう、字幕リストをスクロールする（ステップＡ８）。

実施形態１では、抽出されたＩＤＲフレームの経過時間を判別することにより、選択した字幕文ＳｔＭの直前のＩＤＲフレームの映像フレームが表示できる。
例えば、図６に示す字幕文Ｓｔ１（おはよう。）が選択されたときは、ＩＤＲフレームＩ１が表示される。図５の字幕文Ｓｔ２（こんにちわ。）が選択されたときは、ＩＤＲフレームＩ３が表示される。

（実施形態２）
映像シーク処理の実施形態２について、図８（ｂ）のフローチャートを用いて説明する。
実施形態２の映像シーク処理は、変更前に選択されていた字幕文ＳｔＬに対応する映像と、変更後に選択された字幕文ＳｔＭに対応する映像と、の間に存在するＩＤＲフレームの映像だけを間引いて表示するための機能である。

図８（ｂ）のフローの処理が起動されると、制御部１１は、先ず、変更前の字幕文ＳｔＬの表示タイミングの映像フレームから開始して、表示タイミングよりも後の映像フレームの情報を抽出する（ステップＢ１）。制御部１１は、抽出した映像フレームの情報から、ＩＤＲフレームか否かを判別する（ステップＢ２）。ＩＤＲフレームでなければ（ステップＢ２でＮｏ）、制御部１１は処理をステップＢ１に戻し、次の映像フレームの情報を抽出する。
ＩＤＲフレームであれば（ステップＢ２でＹｅｓ）、ＩＤＲフレームの表示タイミング（ＰＴＳ）から先頭の映像の表示タイミングＴｆを差し引き、先頭の映像から再生したときの経過時刻Ｔｐを求める（ステップＢ３）。求めた経過時刻Ｔｐと、変更後に選択された字幕文ＳｔＭの表示時刻ＴｄＭを比較する（ステップＢ４）。

経過時刻Ｔｐよりも、変更後に選択された表示時刻ＴｄＭの方が大きければ（ステップＢ４でＹｅｓ）、ステップＢ３で抽出した映像フレームを表示する（ステップＢ５）。表示時刻ＴｄＭの方が小さければ（ステップＢ４でＮｏ）、抽出した映像フレームを表示することなく、画像のシークを終了する。
制御部１１は、新しく選択された字幕データ３Ｎの字幕文３ＢＮを、字幕表示領域２１Ｃに表示する（ステップＢ６）。変更後に選択された字幕文ＳｔＭが字幕リスト領域ＬＡの中心に位置するよう、字幕リストをスクロール表示する（ステップＢ７）。

これにより、変更後に選択された字幕文ＳｔＭの直前のＩＤＲフレームが表示される。また、変更前に表示されていた映像フレームと、変更後に選択された字幕文ＳｔＭの再生タイミングに対応する再生タイミングを有する映像フレームと、の間にある映像フレームを表示できる。

即ち、図６に示す字幕文Ｓｔ１が選択された状態から、字幕文Ｓｔ２が新たに選択されたときには、先ず、ＩＤＲフレームＩ２が表示された後、ＩＤＲフレームＩ３が表示される。

（実施形態３）
次に、映像シーク処理の実施形態３について、図８（ｃ）のフローチャートを用いて説明する。
実施形態３は、変更前に選択されていた字幕文ＳｔＬの表示時刻よりも前の表示時刻を有する字幕文ＳｔＭが、変更後に選択されたときに、
変更前に表示されていた映像フレームから、変更後の字幕文の再生タイミングに対応する再生タイミングを有する映像フレームまでの間にある映像フレームを、巻き戻して表示する機能である。

図８（ｃ）のフローの処理が起動されると、制御部１１は、先ず、変更前に表示されていた映像の再生タイミングから開始して、変更前に表示されていた映像の再生タイミングよりも前の表示時刻に向けて、テレビジョン信号ＳＧの映像フレームの情報を抽出する（ステップＣ１）。

制御部１１は、抽出した映像フレームの情報をデコード部１６に出力する。デコード部１６は、抽出した映像データをデコードする（ステップＣ２）。
制御部１１は、変更後の字幕文ＳｔＭの再生タイミングに対応する再生タイミングから、先頭にある映像の表示時刻Ｔｆを減じて、先頭の映像から再生されたときの経過時刻Ｔｐを求める（ステップＣ３）。制御部１１は、先頭からの経過時刻Ｔｐと、変更後に選択された字幕文ＳｔＭの表示時刻ＴｄＭを比較する（ステップＣ４）。

表示時刻ＴｄＭの方が小さければ（ステップＣ４でＮｏ）、制御部１１は、ステップＣ２でデコードした映像フレームを画面表示部１４に表示させる（ステップＣ５）。制御部１１は、処理をステップＣ１に戻し、次の映像フレームを抽出する。
変更後に選択された表示時刻ＴｄＭの方が大きければ（ステップＣ４でＹｅｓ）、制御部１１は、映像フレームのシーク処理を終了して、処理をステップＣ６に移す。

制御部１１は、新しく選択された字幕文ＳｔＭを、字幕領域ＳＡに表示する（ステップＣ６）。変更後に選択された字幕文ＳｔＭが字幕リスト領域ＬＡの中心に配置するよう、字幕リストをスクロール表示する（ステップＣ７）。

これにより、変更前の字幕文の表示時刻直前の映像フレームから、変更後に選択された字幕文の表示時刻直前の映像フレームまでが、映像領域ＤＡに巻き戻して表示される。また、映像フレームの巻き戻し表示が完了すると、変更後に選択された字幕文の再生タイミングに対応した再生タイミングを有する映像フレームから再生する準備が整った状態となっている。
なお、図６に示す字幕文Ｓｔ２が選択されており、変更後に字幕文Ｓｔ１が選択されたときは、ＩＤＲフレームＩ２の映像が映像領域ＤＡに表示される。

（実施形態４）
次に、映像シーク処理の実施形態４を、図８（ｄ）のフローチャートを用いて説明する。
実施形態４は、変更前に選択されていた字幕文ＳｔＬの表示時刻よりも後の表示時刻を有する字幕文ＳｔＭが変更後に選択されたときに、変更前に表示されていた映像フレームと、変更後に選択された字幕文ＳｔＭに対応する映像フレームと、の間にある映像フレームを早送りで表示する機能である。

図８（ｄ）のフローの処理が起動されると、制御部１１は、先ず、変更前に選択されていた字幕文ＳｔＬから開始して、字幕文ＳｔＬの再生タイミングよりも後の再生タイミングに向けて、テレビジョン信号ＳＧに含まれる映像フレームの情報を抽出する（ステップＤ１）。

制御部１１は、抽出した映像フレームの情報をデコード部１６に出力する。デコード部１６は、抽出した映像データをデコードする（ステップＤ２）。
制御部１１は、映像フレームの再生タイミングから、テレビジョン信号ＳＧの先頭にある映像の再生タイミングＴｆを減じて、先頭からの経過時刻Ｔｐを求める（ステップＤ３）。制御部１１は、先頭からの経過時刻Ｔｐと、変更後に選択された字幕文ＳｔＭの表示時刻ＴｄＭを比較する（ステップＤ４）。

表示時刻ＴｄＭの方が大きければ（ステップＤ４でＹｅｓ）、制御部１１は、ステップＤ２でデコードした映像フレームを表示する（ステップＤ５）。制御部１１は、処理をステップＤ１に戻し、次の映像フレームを抽出する。
変更後に選択された表示時刻ＴｄＭの方が小さければ（ステップＤ４でＮｏ）、制御部１１は、映像フレームのシーク処理を終了して、処理をステップＤ６に移す。

制御部１１は、変更後に選択された字幕文ＳｔＭを、字幕領域ＳＡに表示する（ステップＤ６）。また、制御部１１は、変更後に選択された字幕文ＳｔＭが字幕リスト領域ＬＡの中心に位置するよう、字幕リストをスクロール表示する（ステップＤ７）。

これにより、変更後に選択された字幕文ＳｔＭの表示時刻直前の映像フレームが映像領域ＤＡに表示されるとともに、変更前に表示されていた映像フレームと、変更後に選択された字幕文ＳｔＭの再生タイミングに対応した再生タイミングを有する映像フレームと、の間にある映像フレームを早送りで表示できる。なお、映像表示のステップＤ５は、適宜間引くようにしてもよい。
なお、図６の字幕文Ｓｔ１が選択されていた状態から、変更後に字幕文Ｓｔ２が選択されるときには、ＩＤＲフレームＩ１、ＰフレームＰ２１、Ｐ２２、ＩＤＲフレームＩ２が表示される。

次に、選択された字幕文の表示タイミングから記憶部１２に記憶されている期間情報が示す期間だけ遡った再生タイミングから、映像を再生して表示する動作について説明する。
ニュースやスポーツ等の生放送の場合、映像よりも字幕文の表示が遅延するときがある。本発明は、字幕文の表示と映像の表示との時間的な対応関係を調整する機能を提供する。

本発明の携帯電話装置１は、字幕文の再生タイミングと、字幕文の再生タイミングに対応した再生タイミングを有する映像の再生タイミングと、を調整するために、図９（ａ）に示す、表示タイミングを調整するための調整期間テーブルＴＢを、記憶部１２内に有する。

調整期間テーブルＴＢは、ジャンルの識別子Ｇ、調整期間ＡＴ、から構成される。
ジャンルの識別子Ｇ１〜ＧＮ（Ｎ：整数）は、ニュース、スポーツ、ドラマ等、映像データのコンテンツの内容に応じたジャンルを識別するためのフラグを格納する。なお、映像データのジャンルの識別子は、例えば、ワンセグ放送であれば、ＥＩＴ（Event Information Table）等から取得できる。
調整期間ＡＴは、複数の調整期間ＡＴ１〜ＡＴＮのグループの総称である。調整期間ＡＴ１乃至ＡＴＮ（Ｎ：整数）はそれぞれ、映像信号のジャンルの識別子Ｇ１〜ＧＮのときに用いられる。

制御部１１は、選択されている字幕文ＳｔＭの表示時刻ＴｄＭより、先頭の映像の再生時刻Ｔｆを減じた経過時刻Ｔｐから、更に調整期間ＡＴを差し引く。調整期間ＡＴを用いた経過時刻Ｔｐの修正は、図８（ａ）ではステップＡ３、図８（ｂ）ではステップＢ３、図８（ｃ）ではステップＣ３、図８（ｄ）ではステップＤ３の処理に適用する。

制御部１１は、映像の再生タイミングに対する字幕文の再生タイミングの期間の差Ｔｄを、調整期間ＡＴにより調整して、字幕文が調整期間ＡＴが示す期間だけ遡った再生タイミングにて、字幕を再生表示する。
これにより、携帯電話装置１は、映像と字幕文との再生タイミングの間に期間の差がある番組でも、再生タイミングの期間の差を変更して、字幕付映像を再生表示できる。

例えば、携帯電話装置１が受信する番組のジャンルがニュースであって、図９（ａ）のジャンルの識別子Ｇ１に該当したとする。
調整期間テーブルＴＢによる字幕表示の遅延を修正しないときには、図９（ｂ）に示すように、映像が表示された後に、字幕文が遅延して再生表示される。

調整期間テーブルＴＢの調整期間ＡＴ１を用いて、字幕表示の遅延期間を修正したときは、図９（ｃ）に示すように、映像Ｉの表示時刻に対して、字幕文と映像とを同一の再生タイミングにて、画面に再生表示することができる。

調整期間テーブルＴＢに保持される調整期間ＡＴは、図１０に示すように、ユーザが調整期間を設定できるインターフェースを設けて、ユーザ自身が任意に設定するようにしてもよい。これにより、ユーザが任意に設定した調整期間ＡＴが変更された再生タイミングで、字幕文が再生表示される。

更に、携帯電話装置１にユーザ認証手段を設けて、ユーザが調整期間を変更するときに、ユーザ認証が成功したか否かをパスワード認証によって判別する。これにより、調整期間を変更しようとしているユーザが正規ユーザであると判別したときに、ユーザの指示に応答して、期間情報を変更することができる。なお、記憶部１２にはユーザ認証に用いるパスワード情報が、正規ユーザによって予め登録されている。

携帯電話装置１を、複数のユーザにより共有して利用するときには、ユーザＩＤによってユーザを判別するユーザ判別手段を設け、ユーザ判別手段により判別されたユーザに対応する期間情報を設定するようにすればよい。

本発明の実施形態は、ワンセグ放送で用いられるＡＲＩＢ運用規定ＴＲ−Ｂ１４に則った形式に留まらず、映像、字幕を含み、各映像と各字幕を表示する時刻が付されている形式で保存される映像データに対し、全て適用可能である。

図４に示す字幕管理データＭＤの字幕文ＳｔＭの内容を、字幕リスト枝領域ＬＡＮに全て表示できない場合、字幕文ＳｔＭの先頭の１行分の文字列だけを表示してもよい。

また、本発明の実施形態は、図４の字幕リスト領域ＬＡに表示する内容を、字幕文ＳｔＭに加え、表示時刻ＴｄＭも表示するように構成してもよい。表示時刻ＴｄＭの表示位置は、例えば、図４の各字幕リスト枝領域ＬＡ１〜ＬＡ５では、字幕文の後部に表示すればよい。
これにより、ユーザは字幕文が表示される時刻を知ることができ、テレビジョン信号ＳＧにおける字幕の再生される時間を知ることができる。

本発明の実施形態は、テレビジョン信号ＳＧを解析して映像フレームを抽出するに留まらず、ＴＶ信号４内のＩＤＲフレームの位置情報を含むテーブルを予め作成しておき、ユーザが、任意のＩＤＲフレームを選択できるようにしてもよい。

本発明の実施形態は、図４の字幕リスト領域ＬＡに表示される字幕文ＳｔＭとして、ユーザが字幕リストから選択した字幕文ＳｔＭを表示するだけでなく、ユーザが選択した映像の再生タイミングに対応する再生タイミングを有する字幕文ＳｔＭを抽出して表示してもよい。

本発明の概念では、番組のジャンル毎に字幕表示のタイミングを設定するだけでなく、全てのジャンルの番組で同一のタイミングに設定してもよい。

その他、本発明の概念は、携帯電話装置に限らず、例えば、ＰＨＳ、ＰＤＡ（Personal Digital Assistants）、電子カメラ、電子腕時計、ノート型ＰＣ、携帯型ＴＶ、携帯型映像記録装置・再生装置、カーナビゲーション装置、であっても同様に適用可能である。

本発明に従った携帯電話装置を開いた状態を、正面から見た外観図である。 本発明に従った携帯電話装置の回路構成を示すブロック図である。 （ａ）は、本発明に従った携帯電話装置の字幕表示リストを表示したときの画面構成を示す図である。（ｂ）は、本発明に従った携帯電話装置の字幕表示リストを表示しないときの画面構成を示す図である。 図３（ａ）の画面表示部の字幕表示リストの表示データと、記憶部内の字幕管理データとの関係を示す模式図である。 （ａ）は、字幕リストを表示した画面にて、ユーザがカーソルをスクロールして、選択する字幕を変更する前の画面構成を示す図である。（ｂ）は、字幕リストを表示した画面にて、ユーザが、カーソルをスクロールして、選択する字幕を変更した後の画面構成を示す図である。（ｃ）は、字幕リストを表示しない画面にて、ユーザがカーソルをスクロールして、選択する字幕を変更する前の画面構成を示す図である。（ｄ）は、字幕リストを表示しない画面にて、ユーザが、カーソルをスクロールして、選択する字幕を変更した後の画面構成を示す図である。 字幕文データ信号に含まれる情報を抽出して、字幕管理データを生成する動作を示す図である。 字幕管理データを生成する動作を示すフローチャートである。 本発明に従った携帯電話装置が、コンテンツを再生する動作を示すフローチャートである。 本発明に従った携帯電話装置が、コンテンツを再生する動作を示すフローチャートである。 本発明に従った携帯電話装置が、コンテンツを巻き戻し再生する動作を示すフローチャートである。 本発明に従った携帯電話装置が、コンテンツを早送り再生する動作を示すフローチャートである。 （ａ）は、映像と字幕との表示時刻の差を修正するための調整時間テーブルのイメージを示す図である。（ｂ）は、図９（ａ）の調整期間テーブルにより、映像表示に対する字幕表示の遅延を修正する前の画面表示を示す図である。（ｃ）は、図９（ａ）の調整期間テーブルにより、映像表示に対する字幕表示の遅延を修正した後の画面表示を示す図である。 調整期間テーブルの調整期間の設定値を、ユーザが任意に変更可能としたときの画面構成のイメージを示す図である。

符号の説明

１・・・携帯電話装置、１１・・・制御部、１２・・・記憶部、１３・・・外部記録メディア、１４・・・画面表示部、１５・・・チューナ、１５Ａ・・・アンテナ、１６・・・デコード部、１７・・・ＤＡＣ、１８・・・スピーカ、１９・・・通信部、１９Ａ・・・アンテナ、２０・・・音声マイク、２１・・・音声スピーカ、２２・・・操作部、１０・・・バス、Ｄ１・・・リスト表示モードにおける画面、Ｄ２・・・リスト非表示モードにおける画面、ＰＡ・・・ピクト領域、ＤＡ・・・映像表示領域、ＳＡ・・・字幕領域、ＬＡ・・・字幕リスト領域、ＦＡ・・・ソフトキー領域、ＭＤ・・・字幕管理データ、ＳＧ・・・テレビジョン信号

Claims (12)

1. 複数の字幕文を定義する字幕信号と映像を定義する映像信号とを、再生タイミングを対応付けてそれぞれ記憶する記憶手段と、
   前記記憶手段に記憶されている字幕信号により定義される複数の字幕文のうちの何れかを選択する字幕選択手段と、
   前記字幕選択手段により選択された字幕文を再生する字幕再生手段と、
   前記映像信号を、前記字幕選択手段により選択された字幕文の再生タイミングに対応する再生タイミングから再生して表示する映像再生表示手段と、を備え、
   前記映像再生表示手段は、前記字幕選択手段によって選択された字幕文が変更されたときに、変更前に表示されていた映像フレームと、変更後の字幕文の表示タイミングに対応する表示タイミングを有する映像フレームと、の間にある映像フレームを、間引いて表示する、ことを特徴とする携帯型電子装置。
2. 前記字幕選択手段は、
   前記字幕信号で定義される字幕文のリストを表示する字幕リスト表示手段と、
   ユーザの操作に応答して、前記字幕リスト表示手段に表示されたリストのうちから何れかの字幕を選択する選択手段と、
   を備える、ことを特徴とする請求項１に記載の携帯型電子装置。
3. 前記字幕リスト表示手段は、前記選択手段により選択された字幕文が表示されている字幕リストの中央に位置するように、表示している字幕リストをスクロール表示する手段を備える、
   ことを特徴とする請求項２に記載の携帯型電子装置。
4. 前記字幕リスト表示手段は、前記字幕文のリストに、前記字幕文に含まれる文字列の一部又は全部と該字幕文の表示タイミングとを表示する、ことを特徴とする請求項２又は３に記載の携帯型電子装置。
5. 前記字幕リスト表示手段は、前記字幕信号に２つの所定の区切情報が含まれているときには、前記２つの区切情報で挟まれた字幕文のリストを作成する、ことを特徴とする請求項２に記載の携帯型電子装置。
6. 前記映像再生表示手段は、
   選択された字幕文の表示タイミングの直前の映像を定義する映像フレームから映像フレーム再生して表示する、ことを特徴とする請求項１乃至５のいずれか１項に記載の携帯型電子装置。
7. 前記映像信号は、予測符号化方式による映像信号であり、
   前記映像再生表示手段は、ユーザによって選択された字幕文が変更されたときに、少なくとも、変更前に表示された独立した映像フレームと、変更後の字幕文の表示タイミングに対応する独立した映像フレームと、の間にある、独立した映像フレームを表示する、ことを特徴とする請求項１乃至６のいずれか１項に記載の携帯型電子装置。
8. 前記携帯型電子装置は、所定の期間を特定する期間情報を格納する格納手段を備え、
   前記字幕再生手段は、選択された字幕文の表示タイミングから前記格納手段に記憶されている期間情報が示す期間だけ遡った再生タイミングから、当該字幕文を再生して表示する、ことを特徴とする請求項１乃至７のいずれか１項に記載の携帯型電子装置。
9. 前記期間情報をユーザの指示に応答して設定する設定手段を備える、ことを特徴とする請求項８に記載の携帯型電子装置。
10. ユーザが、所定の条件に合致するか否かを判別するユーザ認証手段を備え、
    前記設定手段は、
    前記ユーザ認証手段により、ユーザが所定の条件に合致すると判別したときに、前記ユーザの指示に応答して、前記期間情報を変更する、ことを特徴とする請求項９に記載の携帯型電子装置。
11. 前記映像信号には、映像のジャンルが予め割り当てられており、
    前記期間情報を映像信号のジャンルに応じて変更する変更手段を備える、
    ことを特徴とする請求項８乃至１０のいずれか１項に記載の携帯型電子装置。
12. ユーザを判別するユーザ判別手段を備え、
    前記ユーザ判別手段により判別されたユーザに対応する期間情報を設定する、ことを特徴とする請求項８乃至１１のいずれか１項に記載の携帯型電子装置。

Images