以下、図1乃至25を参照して、本発明の実施形態に係る字幕付映像再生端末装置を説明する。以下では、字幕付映像再生端末装置を、コンテンツ受信機能を備える携帯電話1に適用する例について説明する。
携帯電話1は、コンテンツ録画再生機能を備える携帯電話であり、例えば、図1に示すような折り畳み型のものであり、キーボード2、表示パネル5、スピーカ8、等を備えている。
キーボード2は、カーソルキー3と表示切替ボタン4、その他各種のボタン、を備えており、ユーザに操作されて、様々なデータや指示、例えば、字幕付映像の再生及び終了、等の指示、を入力するために使用される。
表示パネル5は、ドットマトリクスタイプのLCD(液晶表示)パネル等から構成され、任意の画像、例えば、複数の字幕文と各字幕文に対応する映像、等を表示する。通話用マイク6は、通話音声を入力する。通話用スピーカ7は、受話音声を出力する。スピーカ8は、コンテンツ再生時の音声等を出力する。
また、携帯電話1は、図2に示すように、制御部11、記憶部12、操作部13、表示部14、チューナ15、デコード部16、音声出力部17、音声入力部18、通信部19、バス20、を備える。
制御部11は、マイクロプロセッサユニット等から構成され、記憶部12が記憶する動作プログラムに従って、携帯電話1全体の動作を制御する。例えば、制御部11は、ユーザがテレビ番組を録画するときのコンテンツの録画の開始・終了、録画したコンテンツの再生の開始・終了、等を制御する。
また、制御部11は、各種のデータ(字幕文、映像、ピクトアイコン、ソフトキー、等)を、表示部14を介して、表示パネル5に表示させる。
記憶部12は、制御部11のプログラム、音声データ、映像データ、その他のユーザデータを記憶する。例えば、記憶部12は、図5、図9、図11、図13、図16、図18、図20、図23、図25を参照して後述する処理を制御部11に実行させるためのプログラム、を記憶する。記憶部12は、携帯電話1に内蔵されるメモリ、又は、取り外し可能な外部メモリ、のいずれから構成されていてもよい。
また、記憶部12は、字幕管理データ121と映像データ122とを記憶する。
字幕管理データ121は、図3に示すように、「表示時刻T」と「字幕文M」とを対応付けるデータである。
「表示時刻T」は、字幕付映像の再生を開始してからの、字幕文が表示される時刻を示すデータである。「字幕文M」は、字幕付映像の字幕文の内容を示すデータである。
映像データ122は、字幕付映像の映像信号に含まれる、i)1枚毎の「映像(映像フレーム)」が連続するデータ、ii)各「映像(映像フレーム)」を再生する「再生タイミング」を示すデータ、である。具体例で説明すると、TV信号の映像信号が、図4に示す映像データ122を含む場合、「映像R」は人物の顔を示す各映像R1〜RNの連続データであり、各映像R1〜RNの下に示す「再生タイミングTR1〜TRN」は、各映像R1〜RNが再生されるタイミングを示している。
なお、ワンセグ放送においては、映像のフレームレートは15フレーム/秒である。このため、1つの字幕文には、その再生タイミングに対応する映像フレームとして複数の映像フレームが対応する。しかし、本実施形態では理解を容易にするため、1つの字幕文に1つの映像フレームが対応するものとして説明する。
図2に示す操作部13は、前述のキーボード2、カーソルキー3、表示切替ボタン4、等を備え、ユーザにより操作され、各種の指示やデータを入力する。操作部13は、例えば、表示パネル5上に表示させる各字幕文及び各映像の数を選択するために使用される。
表示部14は、表示パネル5とドライバ回路等から構成され、制御部11の制御下に画像を表示パネル5に表示する。
チューナ15は、アンテナを介して、テレビジョン信号(以下、「TV信号」という)を受信して復調し、復調信号を制御部11に出力する。チューナ15が受信するTV信号は、例えば、ワンセグ放送におけるデータ転送方式(ARIB運用規定TR−B14に記載)に則った形式である。デコード部16は、チューナ15が出力したコンテンツを、映像信号、音声信号、字幕信号に分離すると共に復号し、出力する。
音声出力部17は、前述の通話用スピーカ7とスピーカ8、DAC(Digital Analog Converter)等から構成され、例えば、制御部11が再生したコンテンツの音声信号を、スピーカ8により放音する。
音声入力部18は、通話時等に、音声信号を収集し、通信部19に供給する。通信部19は、基地局を介して、字幕信号、映像信号、音声信号、等を送受信する。バス20は、各部間で相互にデータを伝送する。
次に、図5乃至25を参照して、上記構成を有する携帯電話1の字幕付映像の再生動作について説明する。なお、この携帯電話の通信動作自体は通常の携帯電話と同一であり、以下、本実施形態で特徴的な字幕付映像の再生動作について説明する。
携帯電話1は、1つの字幕文とその字幕文に対応する1つの映像とを表示させることが可能である。また、携帯電話1は、本実施形態で特徴的な、複数の字幕文と各字幕文に対応する各映像とを同時に再生表示させることも可能である(以下、この表示状態を「複数映像表示モード」という)。ユーザは、表示切替ボタン4又はソフトキーの操作により、字幕付映像を視聴するときに、表示パネル5に同時に表示させる字幕文及び映像の数を選択することが可能である。
携帯電話1は、各字幕文と、各字幕文のタイミングに対応するタイミングを有する映像と、を再生することにより、字幕付映像を再生する。そのため、制御部11は、字幕文とその字幕文が再生されるタイミングとを対応付ける字幕管理データ121を生成する。以下、字幕管理データ121を生成する動作について説明する。
制御部11は、コンテンツの録画後、TV信号が含む字幕PES(Packetized Elementary Stream)に格納されている情報を抽出し、字幕管理データ121を生成する。
字幕PESは、パケット化された字幕の圧縮符号化データで、字幕管理データ121を生成するために必要な情報を有する。具体例で説明すると、TV信号が図6に示すTV信号SGとした場合、字幕PESは、字幕文Mn(n:1〜N、N:TV信号SGに含まれる字幕PESの数)、字幕再生タイミングtn(n:1〜N)の情報、制御符号CSn(n:1〜N)、等の情報を有する。
「字幕文」は、字幕付映像の字幕文の内容を示すデータである。「字幕再生タイミング」は、「字幕文」を再生するタイミングをPTS(Presentation Time Stamp)単位で表したタイミングである。図6に示すTV信号SGの例では、複数の字幕再生タイミングt1〜tNは、各字幕文M1〜MNを再生するタイミング(PTS単位)に対応する。
制御符号は、字幕文を所定の単位にまとめて区切ることを意味する符号である。図6に示すTV信号SGの例では、複数の制御符号CS1〜CSNは、各字幕文M1〜MNに対応し、各字幕文を区切ることを意味する。制御部11は、TV信号SGに含まれる制御符号CSn(n:1〜N)の数と同数の字幕文を抽出する。以下、制御部11が、前述の字幕PESから情報を抽出し、字幕管理データ121を生成する処理(図5)について、図6のテレビジョン(TV)信号SGを例に説明する。
図5に示すように、制御部11は、字幕管理データ121の生成を開始すると、先ず、上述したTV信号SGから字幕PESの抽出を試み、TV信号SG内の字幕PESの有無を判別する(ステップS11)。無ければ(ステップS11;No)、制御部11は、字幕管理データ121の生成を終了する。
TV信号内に字幕PESが有れば(ステップS11;Yes)、字幕PESの抽出後(ステップS12)、制御部11は、その字幕PESに含まれる情報から字幕文が抽出できたか否かを判別する(ステップS13)。字幕文が抽出できたら(ステップS13;Yes)、制御部11は、字幕PESを解析し、字幕文の再生タイミング(PTS単位)を示す情報を取り出す。
続いて、制御部11は、図6に示すTV信号SGの字幕PESから最初に抽出した字幕文M1の字幕再生タイミングt1から、先頭にある映像R1の再生タイミングTR1を差し引き、先頭の映像R1の再生開始から字幕文M1の再生時に至るまでの経過時間(PTS単位)を求める(ステップS14)。ここで得られる経過時間(PTS単位)は、先頭の映像の再生タイミングを基準時刻0としたときのオフセット時刻に相当する。
続いて、制御部11は、ステップS14で求めた経過時間(PTS単位)を通常の時分秒単位に換算し(ステップS15)、その経過時間(字分秒単位)を、表示時刻T1として字幕管理データ121に格納する(ステップS16)。
ステップS15、S16の処理内容を、図6を参照して、具体的に説明すると、制御部11は、ステップS14で求めた経過時刻(PTS単位)を時分秒単位に換算した「00:00:00」を、表示時刻T1として字幕管理データ121に格納する。なお、字幕文の表示時刻は、時分秒単位に換算せずPTS単位のまま表してもよい。
表示時刻の格納後、制御部11は、字幕管理データ121に格納する字幕文をTV信号から抽出する。そのため、制御部11は、図6に示すように、TV信号SGの最初の字幕PESに含まれる制御符号CS1直前で区切られる文字列(「おはよう。いい天気ですね。」)を、字幕管理データ121の字幕文M1として格納する(ステップS17)。なお、TV信号SG内に制御符号CS1しか含まれない場合、制御部11は、TV信号SGに含まれる全ての字幕文を字幕文M1として字幕管理データ121に格納させる。
最初の字幕文M1の格納後、制御部11は、TV信号SG内の最後の制御符号CSNに達したか否かを判別する(ステップS18)。最後の制御符号に達していなければ(ステップS18;No)、処理はステップS11に戻る。制御部11は、次の字幕PESを抽出し(ステップS12)、図6に示すTV信号内の制御符号CS1と制御符号CS2との間にある字幕再生タイミング(PTS単位)t2を取得する。取得後、制御部11は、その字幕再生タイミング(PTS単位)t2から先頭の映像R1の再生タイミングTR1を差し引き(ステップS14)、求めた経過時間をPTS単位から時分秒単位へ換算する(ステップS15)。
続いて、制御部11は、ステップ15にて単位を換算した経過時間(時分秒単位)(図6では、「00:00:20」)を表示時刻T2として字幕管理データ121に格納する(ステップS16)。
また、制御部11は、字幕管理データ121の字幕文M2として、最初の制御符号CS1から次の制御符号CS2までの間に含まれる文字列を格納する(ステップS17)。図6に示すTV信号SGの例では、制御部11は、制御符号CS1と制御符号CS2との間にある文字列「こんにちわ。」を格納する。なお、制御部11は、字幕文Mn(n:1〜N)を表示時刻Tn(n:1〜N)により昇順にソートする。
制御部11は、TV信号SG内の最後の制御符号CSNに達するまで(ステップS18;Yes)、以上の処理を繰り返し、字幕管理データ121を生成する。
ユーザが、表示切替ボタン4又はソフトキーの操作により、「複数映像表示モード」を選択すると、制御部11は、生成した字幕管理データ121に基づいて、複数の字幕文と各字幕文の再生タイミングに対応する再生タイミングが付与された各映像とを同時に再生表示させる。なお、K個(Kコマ)の字幕文及び各映像を同時に表示する複数映像表示モードを「Kコマ表示モード」という。
以下では、3つの字幕文と各字幕文の再生タイミングに対応する各映像とを同時に表示させる「3コマ表示モード」を例にとり、本実施形態の複数の字幕文と各字幕文の再生タイミングに対応する映像とを同時に再生表示する動作について説明する。
ユーザが、表示切替ボタン4又はソフトキーを操作して「3コマ表示モード」を選択すると、制御部11は、表示パネル5上に各データを表示させる領域全体から、3つの字幕文と各字幕文に対応する各映像とを表示させるための領域を割り当てる処理を行う。以下、この処理について、図7を参照して、説明する。
先ず、制御部11は、表示パネル5全体に対応する仮想的な表示領域Dから、ピクトアイコンを表示させるためのピクト領域PA、ソフトキーを表示させるためのソフトキー領域FA、を差し引く。
次に、制御部11は、ピクト領域PA及びソフトキー領域FAを差し引いた表示領域Dの残りの領域から、i)字幕文を表示させるための字幕領域MAとして割り当てる仮想的な領域のサイズ及び位置、ii)映像を表示させるための映像領域RAとして割り当てる仮想的な領域のサイズ及び位置、を決定する。字幕領域MA及び映像領域RAは、例えば、ワンセグ放送における字幕仮想プレーン及び映像仮想プレーンである。
字幕領域MA、映像領域RAのサイズを求める手法は任意であるが、一例として以下の手法が採用できる。制御部11は、字幕文に含まれる文字の数とフォントデータの縦横の画素数とに基づいて、字幕文の表示に必要な領域のサイズを決定する。また、制御部11は、各映像の縦横の画素数から、各映像の表示に必要な領域のサイズを決定する。
サイズの決定後、制御部11は、字幕領域MA及び映像領域RAを表示領域D内で確保する位置を決定する。字幕領域MA、映像領域RAの位置を求める手法は任意であるが、一例として以下の手法が採用できる。制御部11は、映像領域MAと映像領域RAとが重ならないように、各領域の位置を決定する。なお、字幕領域MA及び映像領域RAの位置を決定したときに、制御部11は、字幕領域MA、映像領域RAを示す矩形の4つの頂点の座標値(x,y)をそれぞれ記憶部12に記憶させる。
続いて、制御部11は、表示させる字幕文の数及び映像の数(「3コマ表示モード」では共に「3」)に応じて、字幕領域MA及び映像領域RAをそれぞれ複数の領域に分割する。制御部11は、字幕領域MAの縦方向(y方向)の幅(y2−y1)を均等に3分割したときの2つの分割点に対応するy座標値を求める。求めたy座標値が、図8に示す字幕領域MA2を定義する矩形の4つの頂点のy座標値となる。
また、制御部11は、図7に示す字幕領域MA上のx座標の最小値x1及び最大値x0を、先に求めた2つの分割点のy座標値に組み合わせ、図8に示す字幕領域MA2の4つの頂点の座標値(x,y)を定める。制御部11は、字幕領域MAから字幕領域MA2を除いて得られる2つの領域をそれぞれ、図8に示す字幕領域MA1、MA3に設定する。図7に示す映像領域RAを図8に示す映像領域RA1〜RA3に分割するときも、字幕領域MAを3分割するときと実質的に同一の手法を適用すればよい。
制御部11は、分割後の字幕領域は、字幕管理データ121に登録されている連続した字幕文Mnを表示する領域である。図8に示す「3コマ表示モード」の画面D1の例では、制御部11は、字幕領域MA1上に図3に示す字幕管理データ121の内で最先の再生タイミング(表示時刻T1)を有する字幕文M1が表示させ、字幕領域MA2には、字幕文M1の次順の表示時刻T2を有する字幕文M2を表示させる。また、制御部11は、字幕領域MA3に字幕文M2の次順の字幕文M3を表示させる。
制御部11は、分割後の各映像領域に、分割後の各字幕領域に表示されている各字幕文の再生タイミングに対応する再生タイミングを有する各映像をそれぞれ表示させる。図8に示す画面D1の例では、制御部11は、分割後の映像領域RA1〜RA3に、字幕文M1〜M3の再生タイミングに対応した映像として人物の顔を示す映像R1〜R3を表示させる。
制御部11は、複数の映像領域上に現在再生中の各字幕文に対応する各映像を表示させるために、TV信号SGの映像信号から、各字幕文の再生タイミングに対応する映像(映像フレーム)を抽出する。以下、制御部11が、映像データ122を検索して、図8に示す画面D1に表示されている各映像を各映像領域に表示させる処理について説明する。
ユーザが、操作部13の操作により、字幕付映像視聴用のアプリケーションの開始又は「3コマ表示モード」の選択を指示すると、制御部11は図9のフローの処理を実行する。
図9の処理において、制御部11は、TV信号SGの映像データ122から、表示パネル5上の各映像領域に表示させる数(以下、「表示映像数」という)の映像を取得する。制御部11は、取得した映像の数(以下、「取得完了数」という)が「表示映像数」に達するまで、映像の取得を繰り返し、取得した各映像を各映像領域上に表示させる。
「取得完了数」のカウントを開始するため、制御部11は、先ず、取得済映像カウンタC(図示せず)をクリアして0に設定する(ステップS21)。また、ステップS21にて、制御部11は、TV信号SGから取得する予定の映像の数(以下、「取得予定数」という)を、「表示映像数」に一致するよう設定する。図8に示す「3コマ表示モード」の画面D1の例では表示映像数は「3」であり、制御部11は、取得予定数を「3」に設定する。
次に、制御部11は、TV信号SGの映像信号に含まれるビデオPESを抽出し、ビデオPESに含まれる情報に基づいて、各字幕文の表示時刻に対応する映像の再生タイミング(PTS単位)を特定する。そのため、制御部11は、TV信号SGの映像信号からビデオPESを抽出し、TV信号SGの内で最も先頭にある映像フレームの情報を抽出する(ステップS22)。
この映像フレームの情報は、映像のデータ及びその映像が再生される再生タイミングを示す情報を含む。映像フレームの情報は、例えば、ワンセグ放送であれば、IDR(Instantaneous Decoder Refresh)アクセスユニット又は非IDRアクセスユニットである。具体例で説明すると、TV信号が図6に示すTV信号SGとした場合、映像フレームの情報は、映像(映像フレーム)のデータ、その先頭にある映像R1を再生する再生タイミングTR1を示す情報、を含む。なお、再生タイミングTR1は、PTS単位で表されている。
TV信号SGが含む映像フレームには、独立フレームと非独立フレームとの2種類がある。独立フレーム(以下、「IDRフレーム」という)は、他の映像フレームの参照を必要としない映像フレームである。IDRフレームは、自己の映像フレームを参照する非独立フレームが、自己のIDRフレームの再生タイミングよりも前の全ての映像フレームを参照することを禁止する。
非独立フレーム(以下、「Pフレーム」という)は、自己の再生タイミングよりも先に再生されるIDRフレームを参照する映像フレームである。具体例で説明すると、IDRフレームが図6に示す映像R1、Pフレームが図6に示す映像R2であるとした場合、Pフレームである映像R2は、IDRフレームである映像R1を参照する。なお、Pフレームは、自己の映像フレームの表示時刻よりも前にある映像フレームとの差分である。
制御部11は、ステップS22で抽出した映像フレームの情報から、抽出した映像フレームがIDRフレームか否かを判別する(ステップS23)。抽出した映像フレームがIDRフレームでなければ(ステップS23;No)、処理はステップS22に戻り、制御部11は、最も先頭にあるIDRフレームの情報を抽出するために、次の映像フレームの情報をTV信号SGから抽出する。
一方、現在抽出中の映像フレームがIDRフレームであれば(ステップS23;Yes)、制御部11は、先頭の映像フレームの再生を開始してからそのIDRフレームの再生に至るまでの経過時間を求める(ステップS24)。このとき、制御部11は、そのIDRフレームが有する再生タイミング(PTS単位)からTV信号SGの先頭にある映像R1の再生タイミング(PTS単位)TR1を差し引いて、その経過時間を求める。なお、ステップS24で求めた経過時間は、TV信号SG内で先頭にある映像の再生時刻を基準時刻0としたときの、現在抽出されている映像の再生時に至るまでのオフセット時刻である。
制御部11は、字幕管理データ121の最初に格納されている字幕文M1の表示時刻T1が、ステップS24で求めた経過時間よりも大きいか否かを判別する(ステップS25)。この判別処理は、現在抽出されているIDRフレームが、字幕文M1が対応する映像R1により参照されるフレームである可能性の有無を判別するために行われる。
字幕文M1の表示時刻の方が小さければ(ステップS25;No)、現在抽出されているIDRフレームは、字幕文M1に対応する映像R1よりも後に再生されるフレームであり、映像R1により参照されない。このとき、次の映像フレームの情報を抽出するために、処理はステップS22に戻る。
字幕文M1の表示時刻T1が、先頭の映像の再生開始から現在抽出中のIDRフレームの再生時に至るまでの経過時間よりも大きい場合(ステップS25;Yes)、現在抽出中のIDRフレームは、字幕文M1よりも先に再生されるものであり、字幕文M1が対応する映像フレームによって参照されるフレームの可能性がある。そのため、制御部11は、ステップS24で抽出した映像フレームのデータの位置(例えば、記憶部12内で格納されているアドレス)を保存する(ステップS26)。その後、処理はステップS22に戻り、制御部11は、更に映像フレームをシークし、その情報を抽出する。
制御部11は、次に抽出した映像フレームの再生タイミングからTV信号SGの最も先頭にある映像R1の再生タイミングTR1を差し引いて、次に抽出した映像フレームの経過時間を求める。その経過時間も字幕文M1の表示時間T1より小さければ(ステップS25;Yes)、その映像フレームは、直前に抽出したIDRフレームよりも後に再生され、かつ、字幕文M1よりも前に再生される。そのため、制御部11は、直前に抽出した映像フレームのデータの位置の代わりに、現在抽出中の映像フレームのデータの位置を記憶部12に記憶させる(ステップS26)。
一方、ステップS25において、先頭の映像の再生開始から現在抽出中の映像フレームが再生されるまでの経過時間よりも、字幕文M1の表示時刻T1が小さければ(ステップS25;No)、現在抽出中のIDRフレームは、字幕文M1に対応する映像R1よりも後に再生され、かつ、前回抽出されたIDRフレームは、字幕文M1に対応する映像R1よりも先に再生されるIDRフレームの内で再生タイミングが最も近い映像R1に近いフレームである。そのため、制御部11は、ステップS26で保存した位置を、映像領域RA1に表示させる映像R1が参照するIDRフレームの位置として、記憶部12に記憶させる(ステップS27)。
続いて、制御部11は、映像フレームを1つ取得したことを示すため、取得済映像カウンタCに1を加える(ステップS28)。ここで、取得済映像カウンタCを1加算したことにより、「取得完了数」が、映像領域に表示させる映像の数と同数に設定された「取得予定数」に達した場合、以後、映像データ122から映像を抽出する必要がない。制御部11は、その判別を行うため、取得済映像カウンタCが「取得予定数」に達したか否かを判別する(ステップS29)。「取得予定数」に達していなければ(ステップS29;No)、処理はステップS22に戻り、制御部11は、更に映像フレームをシークする。
取得映像数カウンタCの値が「取得予定数」(3コマ表示モードでは3)に達した場合(ステップS29;Yes)、制御部11は、映像データの位置情報を基に、各映像フレームを読み出す。ここで読み出される各映像フレームは、図8に示す画面D1に表示されている映像R1〜R3に相当する。
続いて、制御部11は、表示部14を介し、映像データ122から読み出された映像R1を、表示パネル5上の映像領域RA1に表示させる。また、制御部11は、映像データ122内で映像R1の次の再生タイミングを有する映像R2を映像領域RA2に表示させ、映像R2の次の映像R3を映像領域RA3に表示させる(ステップS210)。なお、このとき、制御部11は、上述した手法により、映像R1〜R3を表示させるために、映像領域RAを分割して各映像領域RA1〜RA3を設定する処理を行う。
また、制御部11は、映像領域に表示された映像が有する再生タイミングに対応する再生タイミングの字幕文を、字幕領域MA1、MA2、MA3に表示する。図8に示す画面D1の例では、字幕領域MA1〜MA3に字幕文M1〜M3を表示させる。以上で、複数の字幕文を各字幕領域に表示し、各字幕文に対応する映像を各映像領域に表示できる。
次に、各字幕領域及び各映像領域上に、現在表示中の各字幕文及び各映像を、別の字幕文及び別の映像に入れ替えて表示させることにより、ユーザの利便性を向上させる実施形態について説明する。上記に説明した「3コマ表示モード」にて、現在表示中の字幕文及び映像を、1コマ(1字幕文)ずつ上又は下方向にコマ送り(1コマスクロール)できると、ユーザはコンテンツの内容を逐次把握可能となり、利便性が向上する。
各字幕領域及び各映像領域に現在表示中の字幕文及び映像を1コマスクロールさせる場合、各字幕領域及び各映像領域に、現在表示中の各字幕文及び各映像に代えて、その前又は後の再生タイミングを有する字幕文及びその字幕文に対応する映像を表示すればよい。
具体例として、1コマだけ下方向にスクロールさせる対象の画面が図10(a)に示す画面D21であるとする。画面D21に代えて、図10(b)に示す画面D22を表示させるためには、画面D21上の字幕領域MA1〜MA3に現在表示されている各字幕文M1〜M3に替えて、その次の再生タイミングを有する各字幕文M2〜M4を表示させればよい。また、各字幕文M2〜M4に対応する各映像R2〜R4を、現在表示中の各映像R1〜R3に代えて、各映像領域RA1〜RA3に表示させればよい。
以下、図11を参照して、各字幕領域に表示されている字幕文を、1コマずつスクロール表示させる動作について説明する。なお、画面D21及びD22に表示される字幕文は、図3に示す字幕管理データ121に格納されている字幕文であるものとし(字幕文の数はN個)、字幕領域MA1に現在表示中の映像は、字幕管理データ121の先頭からn番目に位置する字幕文Mnであるとする(n:1からNまでの正の整数)。
制御部11は、ユーザがカーソルキー3を下方向に押下すると(ステップS31;Yes)、(N−n)が2よりも大きいか否かを判別する(ステップS32)。(N−n)が2よりも大きければ(ステップS32;No)、字幕領域MA3に現在表示中の字幕文は、字幕管理データ121の最後に格納されている字幕文MN(最後の再生タイミングを有する字幕文)ではない。このとき、制御部11は、各字幕領域MA1〜MA3に、現在表示中の各字幕文に代えて、各字幕文の次順にある各字幕文を表示させる(ステップS33)。具体例では、図10(a)の画面D21に表示中の字幕文M1〜M3が、図10(b)の画面D22の字幕文M2〜M4に入れ替わる。
また、制御部11は、ステップS33で新たに表示させた各字幕文に対応する各映像を映像データ122から読み出し、各字幕領域RA1〜RA3に表示させる(ステップS34)。具体例では、画面D21に表示中の映像R1〜R3が、画面D22の映像R2〜R4に入れ替わる。以上で、下方向に1画面スクロール表示させる処理が終了する。
一方、ステップS32において(N−n)が2であれば、字幕領域MA3に表示中の字幕文は字幕管理データ121内の最後に格納されている字幕文である。このとき、制御部11は、処理を終了し、ユーザが下方向にカーソルキー3を押下しても、現在の各字幕領域MA1〜MA3に表示されている字幕の表示を維持する。
一方、ユーザがカーソルキー3を上方向に押下した場合(ステップS35;Yes)、1コマずつ前の字幕文及び映像を表示させる上スクロール表示が実行される。
このとき、制御部11は、最先の字幕領域MA1に表示中の字幕文Mnが、字幕管理データ121の内で先頭にある字幕文M1か否かを判別するため、(n−1)が0よりも大きいか否かを判別する(ステップS36)。
(n−1)が0よりも大きければ(ステップS36;No)、字幕領域MA1に表示中の字幕文Mnは、先頭の字幕文M1ではない。このとき、制御部11は、各字幕領域MA1〜MA3に、表示中の各字幕文よりも1つ前の表示時刻が付与された各字幕文を表示させる(ステップS37)。更に、制御部11は、ステップS37で新たに表示させた字幕文に対応する映像を映像データ122から読み出し、映像領域RA1〜RA3に表示させる(ステップS38)。
具体的には、図10(b)に示す画面D22が表示されている場合、ユーザが上方向にカーソルキー3を押下すると、ステップS37の処理により、字幕領域MA1〜MA3には、表示中の字幕文M2〜M4に代えて、字幕文M1〜M3が表示される。また、ステップS38の処理により、映像領域RA1〜RA3には、字幕文M1〜M3の再生タイミングに対応した映像R1〜R3が、表示中の映像R2〜R4に代えて、表示される。これにより、図10(a)に示す画面D21が表示される。
一方、ステップS36において(n−1)が0であれば(ステップS36;Yes)、字幕領域MA1に表示中の字幕文は、字幕管理データ121内で先頭にある字幕文M1である。このとき、制御部11は、ユーザが上方向にカーソルキー3を押下しても、各字幕領域MA1〜MA3上で表示中の字幕文M1〜M3の表示を維持する。以上で、ユーザがカーソルキー3を上方向又は下方向に押下したときに、字幕文とその字幕文に対応する映像とを1コマスクロールして、表示させることができる。
なお、上記に説明した1コマスクロールのフローの処理内容を一部変更し、現在表示中の各字幕文を、各字幕文から数えて「表示映像数(3コマ表示モードでは3)」だけ前又は後に位置する各字幕文に全て入れ替える。このとき、あたかも本のページをめくるように表示させることができる(この動作を、以下「ページめくり」という)。
また、以下では、表示中の各字幕文及び各映像に代えて、「表示映像数」分後の再生タイミングが付与された各字幕分及び各映像を表示させる動作を、「ページを送る」という。また、「表示映像数」分前の再生タイミングが付与された各字幕分及び各映像を表示させる動作を、「ページを戻す」という。以下、「3コマ表示モード」を例にとり、携帯電話1が「ページめくり」を行うときの処理について説明する。
図13に示すように、制御部11は、ユーザにより「ページ送り」が指示されたか否かを判別するため、カーソルキー3の右方向への押下の有無を判別する(ステップS41)。有れば(ステップS41;Yes)、制御部11は、「ページ送り」の可否を判別するため、各字幕領域MA1〜MA3に最後から3番目以内の字幕文が表示中か否かを判別する(ステップS42)。表示中でなければ(ステップS42;No)、制御部11は、字幕領域MA1〜MA3に、現在表示中の各字幕文に代えて、現在表示中の各字幕文よりも3つ後の再生タイミングが付与されている字幕文を表示させる(ステップS43)。また、各字幕領域MA1〜MA3に表示させた字幕文に対応する映像を、各映像領域RA1〜RA3に表示させ、ページを送る(ステップS44)。
ページを送ったときの表示パネル5上の画面の遷移を、具体例で説明する。ページを送る対象の画面が図12(a)に示す画面D31であるとする。画面D31上の映像領域RA1、RA2、RA3には映像R1、映像R2、映像R3が表示され、字幕領域MA1、MA2、MA3には字幕文M1、字幕文M2、字幕文M3が表示されている。
ここで、ユーザがカーソルキー3を右方向に押すと、制御部11は、字幕領域MA1〜MA3に、字幕文M1〜M3よりも「表示映像数(3)」だけ後の再生タイミングが付与された字幕文M4〜M6を表示させ、かつ、映像領域RA1〜RA3に映像R4〜R6を表示させる。このとき、図12(b)に示す画面D32が表示パネル5に表示される。以後、ユーザがカーソルキー3を右方向に押すごとに、順次、字幕文及びその字幕文に対応する映像のページが送られる。
また、ページを戻す場合、制御部11は、図13に示すステップS45においてカーソルキー3の左方向への押下の有無を判別する。有れば(ステップS45;Yes)、最先の字幕領域MA1に表示されている字幕文Mnが、字幕管理データ121において先頭の表示時刻が付与された字幕文M1か否かを判別する(ステップS46)。
先頭の字幕文M1でなければ(ステップS46;No)、ページ戻しが可能である。このとき、制御部11は、現在表示中の各字幕文よりも「表示映像数(3)」だけ前の表示時刻が付与された各字幕文を字幕管理データ121から読み出し、各字幕領域MA1〜MA3に表示させる(ステップS47)。また、各字幕領域MA1〜MA3に表示させた各字幕文に対応する各映像を、各映像領域RA1〜RA3に表示させ、ページが戻る(ステップS48)。
以上で、「ページめくり(ページの送り又は戻し)」が可能となる。なお、ページめくりにおける画面の切替方法は、カーソルキー3の左右方向の押下に限らず、ソフトキー領域FA上に表示されたソフトキー等を操作部13により操作してもよい。
次に、「字幕文の表示」に関して、ユーザの利便性を向上させるための実施形態について説明する。上記で説明した実施形態では、コンテンツの字幕文に含まれる文字数が、字幕領域が表示できる文字数よりも多い場合、その字幕文を字幕領域に表示しても、字幕文が途中で途切れて全文が表示されないという問題がある。
この問題を解決するには、例えば、字幕領域を拡大して、各字幕領域が表示できる文字数を、コンテンツの字幕文に含まれる文字数よりも大きくすればよい。以下、字幕文の文字数が字幕領域に表示できる文字数(以下、「表示可能文字数」という)よりも多い場合に、字幕領域を拡大して、表示可能文字数より多くの文字を含む字幕文(以下、「長い字幕文」という。)を表示する動作について説明する。
図16に示すように、ユーザがカーソルキーで任意の字幕文を選択すると、制御部11は、選択された字幕文の文字数を取得し(ステップS51)、その文字数が「表示可能文字数」よりも大きいか否かを判別する(ステップS52)。取得した字幕文の文字数が、「表示可能文字数」以下であり、現在確保されている字幕領域で表示可能であれば(ステップS52;No)、処理を終了する。
一方、取得した字幕文が「長い字幕文」であり、その文字数が「表示可能文字数」よりも大きい場合(ステップS52;Yes)、現在確保されている字幕領域では字幕文の内容を全て表示できない。このとき、「長い字幕文」に続きがあることを示すため、制御部11は、「表示可能文字数」分の文字を「長い字幕文」の先頭から取得し、字幕領域に表示させると共に、「長い字幕文」の内で非表示の文字を表示するよう促すマークを、字幕領域上に表示させる(ステップS53)。
ユーザが選択した字幕文が「長い字幕文」であるときに、ステップS53にて表示される画面を具体例で説明する。ユーザが「長い字幕文」を選択したときの画面が、図14に示す画面D41であるとすると、字幕領域MA2に表示されている字幕文M2は、表示可能文字数よりも多くの文字数を含む「長い字幕文M2」であり、現在の字幕領域MA2上に全文を表示することができない。
このとき、制御部11は、「長い字幕文M2」の文字の内で先頭から「表示可能文字数」分までの文字を、字幕領域MA2に表示させる。また、「長い字幕文M2」の文字の内で非表示の文字を表示するようユーザに促すためのマーク(「←」)を表示させる。
続いて、制御部11は、ユーザによる操作部13の操作を検出するまで待機し、検出した場合に、その操作が「長い字幕文」の全文字の表示を指示する操作か否かを判別する(ステップS54)。全文字の表示の指示は、表示確定キー(図示せず)の押下により行うようにしてもよい。全文字の表示の指示でなければ(ステップS54;No)、処理を終了する。全文字の表示の指示であれば(ステップS54;Yes)、制御部11は、選択された「長い字幕文」を表示するために必要な字幕領域のサイズを算出する(ステップS55)。
ステップS55の処理について、具体的に説明する。ユーザが、カーソルキー3を操作して、図14に示す画面D41上の字幕領域MA2を選択したとする。このとき、ユーザが続けて操作部13を操作し、「長い字幕文」の全文字の表示を指示すると、制御部11は、字幕管理データ121に格納されている字幕文(「こんにちわ。今日も元気に頑張りましょう。」)の文字数(20文字)を取得する。更に、制御部11は、例えば、取得した文字数に等しいか若しくはそれよりも大きい数と、各文字のフォントデータの画素のサイズ(縦方向の画素数×横方向の画素数)とを乗じて、「長い字幕文」の全文字を表示できる字幕領域のサイズを求める。
続いて、制御部11は、求めたサイズに従い、「長い字幕文」を表示させる字幕領域を表示領域上に確保する(ステップS56)。制御部11は、その字幕領域に「長い字幕文」の全文を表示させる(ステップS57)。以上で、「長い字幕文」の全文を、字幕領域を拡張して表示する処理が終了する。
なお、ステップ56の処理によりサイズが拡張された字幕領域に、ステップS57の処理により「長い字幕文」の全文が表示された画面の例について説明する。図15(a)に示す画面D42の例では、ユーザが各字幕文M1〜M3の全文を見られるよう、制御部11は、字幕領域MA2と字幕領域MA1及びMA3との重複を避け、字幕領域MA2の縦方向のサイズを一定に保ち、横方向にのみサイズを拡張して領域を確保する。
また、図15(b)に示す画面D43の例では、制御部11は、ユーザが字幕文M2の全文と共に各映像R1〜R3を見られるよう、字幕領域MA2と映像領域R2との重複を避け、字幕領域MA2の横方向のサイズを一定に保ち、縦方向にのみサイズを拡張して領域を確保する。このとき、「長い字幕文」を表示している字幕領域以外の字幕領域MA1、MA3上には字幕文を表示しないようにしている。なお、図15(a)に示す画面D42及び図15(b)に示す画面D43が表示された状態から、図14に示すサイズ拡張前の画面D41が表示された状態に戻る場合、確定キーの再押下又は操作部13の操作等により、「長い字幕文」の全文表示の終了を指示すればよい。
次に、コンテンツ再生時の「映像の表示」に関して、ユーザにとっての利便性を向上させる実施形態について説明する。
先ず、同一の大きさの映像領域において、同時に表示される映像の数を増やすことで、ユーザがコンテンツの内容の前後関係をより把握し易くする実施形態について説明する。
一般的にテレビ放送で送信される映像の形式には、その横のサイズと縦のサイズとの比(アスペクト比)が4:3である映像(以下、「通常映像」という)と、16:9である映像(以下、「横長映像」という)と、がある。
具体例として、通常映像が、図17(a)に示す通常映像R1、R2、R3であるとし、また、横長映像が、図17(b)に示す横長映像Y1、Y2、Y3、Y4であるとする。各通常映像R1〜R3のサイズは、縦240画素×横320画素であり、各横長映像Y1〜Y4のサイズは、縦180画素×横320画素である。ここで、縦のサイズが720画素で、横のサイズが通常映像R1〜R3及び横長映像Y1〜Y4の横のサイズ(320画素)と等しい映像領域を確保したとする。このとき、確保した映像領域には、図17(a)に示す画面D51のように、通常映像R1〜R3を縦方向に直列に3つ表示することが可能である。また、この映像領域には、図17(b)に示す画面D52のように、横長映像Y1〜Y4を縦方向に直列に4つ表示することが可能である。
即ち、通常映像の縦のサイズと横長映像の縦のサイズとが共に公約数である縦のサイズを有する映像領域を確保した場合、通常映像よりも多くの横長映像を同時に表示でき、ユーザは、より多くの映像を確認することができる。なお、このことは映像領域の横のサイズについても同様に当てはまる。
以下、映像データ122から読み出した映像が、通常映像であるときに「3コマ表示モード」にて画面を表示させ、横長映像であるときに「4コマ表示モード」にて画面を表示させる処理について説明する。前提として、処理の起動時、制御部11は、表示パネル5の表示領域上に、縦のサイズが720画素、横のサイズが320画素、である映像領域を確保しているものとする。
図18に示すように、ユーザが操作部13を操作して、字幕付映像視聴用のアプリケーションの開始、又は、複数映像表示モードの選択、を指示すると、制御部11は、画面設定処理を開始する。開始後、制御部11は、映像データ122から読み出した映像のサイズを、その縦方向及び横方向の画素数等に基づいて、取得する(ステップS61)。
取得後、制御部11は、映像データ122から読み出した映像のサイズのアスペクト比を求め、そのアスペクト比が16:9であれば横長映像と判別し(ステップS62;Yes)、「表示映像数」を4に設定する(ステップS63)。
続いて、制御部11は、表示領域上で確保した映像領域の縦のサイズ(720画素)をステップS63で設定した「表示映像数」で除算し、縦180画素×横320画素の縦方向に直列に並ぶ4つの各映像領域RA1〜RA4に分割する(ステップS65)。
また、制御部11は、分割した映像領域に対応するよう字幕領域を分割する(ステップS66)。制御部11は、ステップS65で分割した各映像領域に各横長映像Y1〜Y4を表示させ、ステップS66で分割した各字幕領域に各映像に対応する各字幕文を表示させる。このとき、表示パネル5上には、図17(b)に示す画面D52が表示される。
一方、制御部11は、映像のサイズのアスペクト比が4:3であれば通常映像と判別し(ステップS62;No)、「表示映像数」を3に設定する(ステップS64)。続いて、制御部11は、この映像領域の縦のサイズを3等分し、縦240画素×横320画素の縦方向に直列に並ぶ3つの各映像領域RA1〜RA3に分割する(ステップS65)。また、制御部11は、分割後の映像領域に対応するよう字幕領域を分割する(ステップS66)。制御部11は、ステップS65で分割した映像領域に通常映像R1〜R3を表示させ、ステップS66で分割した字幕領域に各映像に対応する字幕文を表示させる。このとき、表示パネル5上には、図17(a)に示す画面D51が表示される。
以上で、コンテンツの映像の形式(横長映像又は通常映像)に対応して、各映像を表示させ、特に横長映像であった場合には、通常映像よりも多くの映像を表示させることができる。なお、この実施形態でも、i)1コマスクロール、ii)ページめくり、iii)字幕領域の表示可能文字数よりも長い字幕文の表示、が適用可能である。
上記で説明した実施形態では、複数の映像を縦方向に直列に表示させる表示形態について説明した。しかし、本実施形態の携帯電話1は、字幕領域及び映像領域の表示位置を変更して、字幕文及び映像を各種の配置で表示させることができる。
以下では、4つの字幕文と各字幕文に対応する各映像とを格子状に配置して表示させる場合を例にとり、実施形態の変形について説明する。なお、字幕文と各字幕文に対応する映像とを格子状に配置して表示する動作状態を「横長表示モード」といい、字幕文と各字幕文に対応する映像とを縦方向に直列に並べて表示する動作状態を「縦長表示モード」という。
「横長表示モード」で表示される画面は、例えば、図19に示す表示画面D6のように、表示パネル5上の表示領域の長手方向と各横長映像Y1〜Y4の長手方向とが一致した状態で、各横長映像Y1〜Y4を表示領域上で格子状に配置したものである。一方、「縦長表示モード」で表示される画面は、例えば、上述した図8に示す画面D1である。ユーザは、操作部13を操作して、「縦長表示モード」と「横長表示モード」とを切替えることができる。
以下、「縦長表示モード」及び「横長表示モード」に対応した画面を設定する処理について説明する。図20に示すように、制御部11は、表示領域の長手方向(以下、「横長方向」という)に対するコンテンツの映像の表示方向を取得する(ステップS71)。このとき、制御部11は、TV信号SGの映像信号に含まれる解像度の情報に基づいて、映像の表示方向を取得する。解像度の情報は、例えば、ワンセグ放送における横長映像の映像仮想プレーンであれば「320画素×180画素×16ビット」である。
続いて、制御部11は、取得した映像の表示方向が、表示領域の横長方向に一致しているか否かを判別する(ステップS72)。横長方向に一致していれば(ステップS72;Yes)、制御部11は、映像データ122から取得する映像数(「取得予定数」)を4に設定する(ステップS73)。設定後、制御部11は、「横長表示モード」の表示画面を設定するための処理を実行する。
制御部11は、映像領域を横長に配置する設定(ステップS74)、及び、映像領域の配置に対応した字幕領域の設定(ステップS75)において、各映像領域及び各字幕領域を格子状に配置できるよう、表示領域上に字幕領域及び映像領域として割り当てるための領域を確保する。確保後、制御部11は、その領域を縦方向の中心位置及び横方向の中心位置でそれぞれ区切り、格子状に配置された4つの領域に分割する。
制御部11は、分割後の各領域において、ステップS71で判別した表示方向に各映像を配置し、配置した各領域を映像領域に設定する(ステップS74)。設定後の映像領域を具体例で説明すると、例えば、図19に示す画面D6上の4つの映像領域RA1〜RA4である。
また、制御部11は、分割後の各領域からステップS75で設定した各映像領域を差し引いた残りの領域を、各字幕領域に設定する(ステップS75)。設定後の各字幕領域は、具体例で説明すると図19に示す画面D6上の4つの字幕領域MA1〜MA4である。続いて、制御部11は、各字幕領域に、各映像領域に表示される各映像の再生タイミングに対応する各字幕文を表示させる。
また、ステップS72で判別した映像の表示方向が縦長方向であれば(ステップS72;No)、制御部11は、「取得予定数」を3に設定し(ステップS76)、「縦長表示モード」の画面を設定するための処理を実行する。このとき、制御部11は、各映像領域及び各字幕領域を表示パネル5上で縦方向に直列に配置できるよう、画面D6の縦方向のサイズを均等に3分割し、直列に配置された3つの領域を生成する。以後のステップS77及びステップS78の処理内容については、上述したステップS74及びS75と実質的に同一である。
以上で、「縦長表示モード」及び「横長表示モード」に対応した画面を設定できる。なお、この画面設定処理は、ユーザが操作部13を操作して、字幕付映像視聴用のアプリケーションの開始、又は、複数映像表示モードの選択、を指示したときに、上述した図9に示すフローの前に起動することで、コンテンツの映像の表示方向に応じて、自動的に「縦長表示モード」及び「横長表示モード」で画面を表示できる。なお、本実施形態でも、1画面スクロール、ページめくり、「長い字幕文」表示時の字幕領域の拡大、を適用できる。
次に、表示パネル5上に「互いに異なるコンテンツの映像」がそれぞれ表示されているときに、ユーザの利便性を向上させる実施形態について説明する。複数のコンテンツの映像が同時に表示パネル5上に表示されていると、ユーザは、各映像が同一のコンテンツに含まれている映像であるか、互いに異なるコンテンツに含まれている映像であるか、分別することが難しい。
複数の映像が同時に表示パネル5に表示されているときに、各映像が同一のコンテンツに含まれるか、又は、互いに異なるコンテンツに含まれるか、を区別するためには、各コンテンツにタイトルを付与し、複数の映像が同一のコンテンツに含まれる映像か否かを区別すればよい(以下、この表示状態を「タイトル付表示モード」という)。
タイトル付表示モードの動作を実現するための携帯電話1の基本構成は図2に示す構成と同一である。ただし、図2に示す記憶部12は、複数のコンテンツにそれぞれ対応する字幕管理データ121及び映像データ122を記憶する。
また、記憶部12は、コンテンツリストデータ123を記憶する。コンテンツリストデータ123は、図21に例示するように、「タイトルTL」、「録画日時TT」、「ジャンルTJ」、の項目を含み、各コンテンツに、これらの各項目を対応付ける。
「タイトルTL」は、各コンテンツに付与されているタイトルを示す項目である。「録画日時TT」は、各コンテンツの録画が開始された日付及び時刻から、終了された日付及び時刻までの期間を示す項目である。「ジャンルTJ」は、各コンテンツがその内容に応じて分類された分野、例えば、ニュース、スポーツ、ドラマ、等を示す項目である。なお、ジャンルTJに格納すべき情報は、例えば、ワンセグ放送であれば、EIT(Event Information Table)等から取得できる。
ユーザは、操作部13を操作して、「タイトルTL」が付与されたコンテンツを選択することが可能である。制御部11は、ユーザが選択したコンテンツのタイトルTLをコンテンツリストデータ123から読み出し、そのタイトルTLを、表示部14を介して表示パネル5に表示させる。コンテンツリストデータ123から読み出されたタイトルTLが表示された画面(以下、「タイトル付画面」という)は、具体例で説明すると、図22(a)に示す画面D71である。
タイトル付画面D71を表示させる場合、表示パネル5上の表示領域の左下には、コンテンツリストデータ123から選択した現在再生中のコンテンツのタイトルTL1を表示するためのタイトル領域TAが設けられ、タイトル領域TAにはタイトルTL1(「月の話」)が表示されている。なお、タイトルTL1のコンテンツは、図21に示すコンテンツリストデータ123内で録画日時TTが最も新しいコンテンツである。
また、表示領域の中央部には、縦方向に直列配置された映像領域RA1〜RA3が設けられ、タイトル領域TAに現在表示中のタイトルTL1に対応する映像R11〜R13が表示されている。更に、字幕領域MA1〜MA3には、映像R11〜R13に対応する再生タイミングを有する字幕文M11〜M13が表示されている。
なお、映像が矩形で定義される所定領域に表示されている場合、所定領域上の中心位置近傍に映像が表示されている方が、ユーザにとって視認性が良好な傾向がある。そのため、制御部11は、現在再生されているコンテンツの複数の映像を表示する映像領域RA1〜RA3を、表示領域の横方向の中央位置近傍で縦方向に直列に配置されるように設定する。
表示領域の左中央には、図21に示すコンテンツリストデータ123内で録画日時TTが最も新しいコンテンツの映像を表示するための映像領域RA4が設けられている。ただし、図22(a)の例では、最新のコンテンツ(タイトルTL1のコンテンツ)は現在再生中であるため、その次に録画日時TTが新しいコンテンツ(タイトルTL2(「鳥のさんぽ」))の映像R22が表示されている。
表示領域の右中央には、コンテンツリストデータ123内で録画日時TTが最も古いコンテンツを表示させるための映像領域RA5が設けられ、タイトルTL(「車でドライブ」)のコンテンツの映像R32が表示されている。なお、映像領域RA4、RA5に表示させる映像は任意であり、例えば、コンテンツの最初のIDRフレーム、字幕管理データ121内で先頭にある字幕文に対応した映像、等でもよい。
ユーザは、表示領域上に画面D71が表示されている状態において、カーソルキー3を左右方向に押下し、現在選択中のコンテンツに代えて、他のコンテンツを選択することが可能である。このとき、制御部11は、ユーザが新たに選択したコンテンツの映像を表示させると共に、そのコンテンツに付与されているタイトルTLをタイトル領域TAに表示させる。以下、ユーザによるカーソルキー3の押下に応答して、制御部11が、表示パネル5に表示させる画面を、図22(a)に示す画面D71から図22(b)に示す画面D72に切替える場合を例にとり、タイトルTLの表示を切り替える処理について説明する。
図23に示すように、制御部11は、左方向にカーソルキー3が押下されたことに応答して(ステップS81;Yes)、コンテンツリストデータ123の内で、現在タイトル領域TAにタイトルTLが表示されているコンテンツの再生を終了する。これに伴い、表示領域中央部の縦方向に直列に設けられた各映像領域RA1〜RA3への各映像の表示が終了する(ステップS82)。続いて、制御部11は、表示領域の左中央に設けられた映像領域RA4に表示中の映像R22を含むコンテンツの再生を開始する(ステップS83)。
コンテンツの再生開始に伴い、制御部11は、コンテンツリストデータ123から再生を開始したコンテンツのタイトルTL2を読み出し、タイトル領域TAに表示させる(ステップS84)。
また、制御部11は、字幕領域MA1〜MA3に、再生を開始したタイトルTL2のコンテンツの字幕文M21〜M23をそれぞれ表示させる(ステップS85)と共に、各字幕文M21〜M23の再生タイミングに対応する映像R21〜R23を、表示パネル5上の中央に配置される映像領域RA1〜RA3にそれぞれ表示させる(ステップS86)。これにより、図22(b)に示すタイトル付画面D72が表示される。
なお、表示パネル5上に画面D72が表示された状態で、ユーザがカーソルキー3を右方向に押下すると(ステップS87;Yes)、制御部11は、現在再生中のタイトルTL2のコンテンツ、即ち、映像領域RA1〜RA3に現在表示中のコンテンツの再生を終了する(ステップS88)。続いて、制御部11は、表示領域の右中央に設けられた映像領域RA5に映像R12が表示されているコンテンツの再生を開始し(ステップS89)、上記に説明したステップS84〜S86の処理と実質的に同一の処理(ステップS810〜S812)を実行し、図22(a)に示すタイトル付画面D71を表示させる。以上で、タイトル付画面を表示する処理が終了する。
次に、コンテンツ再生中の「映像の表示」に関して、ユーザの利便性をより向上させる実施形態について説明する。上記で説明した実施形態では、各映像を同時に表示させるときの映像領域として、全て同一のサイズの領域を割り当てた。
しかし、複数の映像を表示させる各映像領域を全て同じサイズで確保すると、各映像の内にユーザが着目したい映像(例えば、現在再生されている場面の映像)が含まれている場合でも、他の映像と同一のサイズで表示されてしまう。この問題を解決するには、ユーザが着目したい映像が表示されている映像領域を大きくして、表示される映像を拡大すればよい。
以下、制御部11が、ユーザの操作により選択され現在再生中のコンテンツの映像を拡大して、表示パネル5に表示させる動作について説明する。また、現在再生されている映像を拡大して表示させる動作状態を、「映像拡大表示モード」という。
図25に示すように、映像拡大表示モードでは、ユーザが操作部13を操作して、図22(a)に示す画面D71の中央に表示されている映像を選択すると、制御部11は、図24に示す画面D8のように、映像領域RA2を拡大して映像領域RA6を新たに確保し、表示領域の中央部に映像領域RA6を配置する(ステップS91)。なお、映像拡大表示モードにおいて、画面D8の中心位置に拡大した映像領域RA6を配置するのは、矩形で定義される表示領域上では、中心位置近傍の方がユーザにとって視認性が良好なためである。続いて、制御部11は、ユーザに選択されたコンテンツの現在の再生場面の映像を拡大して、表示部14を介し表示パネル5に表示させる(ステップS92)。
次に、制御部11は、各字幕領域MA1〜MA3に表示中の字幕文の次の表示時刻が付与された各字幕文の有無を判別し(ステップS93)、無ければ(ステップS93;No)、映像拡大表示の処理を終了する。有れば(ステップS93;Yes)、制御部11は、次の表示時刻が付与された各字幕文を読込む(ステップS94)と共に、各字幕文の表示時刻に対応した映像を検出する(ステップS95)。この映像を検出する手法は、図9を参照して、上述した手法と実質的に同一である。
字幕文の読込と映像の検出とを完了すると、制御部11は、タイマ(図示せず)をスタートして時間を計時し、所定時間が経過したことを検出する(ステップS96)。なお、タイマにより時間を計時するのは、字幕管理データ121に格納されている字幕文Mnの表示時刻Tnに達したことを検出するためである。
所定時間の経過を検出すると(ステップS96;Yes)、制御部11は、各字幕領域MA1〜MA3に字幕文を表示させる(ステップS97)と共に、拡大された映像領域RA6に、ステップS97で表示させた各字幕文の表示時刻に対応する各映像を表示させる(ステップS98)。即ち、映像領域RA6上に、タイトルTL1のコンテンツの映像が字幕文の再生タイミングに合わせて順次表示される。
以後、制御部11は、字幕管理データ121内でそのコンテンツに係る最後の字幕文MNに到達するまで(ステップS93;No)、上記処理の実行を繰り返す。以上で、拡大された映像領域にコンテンツの映像を再生表示しつつ、そのコンテンツに含まれる字幕文を再生表示する処理が完了する。
以上説明したように、本実施形態によれば、表示パネル5上に、表示時刻が付与された複数の字幕文を再生表示すると共に、各字幕文に付与された表示時刻に対応した各映像を再生表示することができる。これにより、ユーザは字幕付映像の現在の再生場面の字幕文及び映像の前後に再生される字幕文と映像とを見ることができ、ユーザは字幕付映像の内容の把握がより容易になる。
本実施形態によれば、ユーザによる操作に応じて、現在表示パネル5に表示されている字幕文と各字幕文に対応する映像とを、字幕管理データ121の内で1つ前又は後に位置する字幕文とその字幕文に対応する映像とに入れ替えて表示させ、字幕付映像の「1コマスクロール」を行う。これにより、ユーザは、現在表示中の映像に付与された再生タイミングよりも前に遡って映像を確認したり、表示中の映像の後に再生される映像を確認することができる。
本実施形態によれば、ユーザによる操作に応じて、現在表示中の字幕文及び各字幕文に対応する映像を、字幕管理データ121の内で所定タイミングだけ前又は後に再生される字幕文及びその字幕文に対応する映像に入れ替えて表示させ、字幕付映像の「ページめくり」を行う。これにより、ユーザは同時に多くの映像の内容を確認できると共に、「1コマスクロール」に比べて、より短い時間で字幕付映像の字幕文又は映像を見つけることができる。
本実施形態によれば、制御部11は、字幕領域で表示できる文字の数より数の大きい字幕文がその字幕領域に割り当てられた場合、ユーザの操作に応答して、字幕領域のサイズを拡大し、字幕文が含む全文字を表示させる。これにより、ユーザは、現在確保されている字幕領域で表示できる文字数より多くの文字を含む字幕文でも、その字幕文の全文を一度に読むことができ、利便性が向上される。
また、本実施形態によれば、字幕領域のサイズを拡大したときに、他の各字幕領域又は各映像領域に重ならないように、サイズを拡大した字幕領域を配置する。これにより、ユーザは、字幕領域で表示できる文字の数より数の大きい字幕文の前後にある字幕文の表示と各字幕文に対応する映像の表示とを欠くことなく、サイズ拡張前に全文字を表示できなかった字幕文の全文を読むことができる。
本実施形態によれば、コンテンツの映像の形式(「横長映像」又は「通常映像」)に対応して、各映像を表示させる映像領域上で、映像を表示させる数を変更する。特に、表示対象の映像が「横長映像」である場合、「通常映像」が画面に同時に表示される数よりも多くの映像を表示させる。これにより、ユーザは、視聴するコンテンツの映像が「横長映像」であった場合、「通常映像」を含むコンテンツを視聴する場合に比べ、より多くの情報を取得できる。
本実施形態によれば、互いに異なる各コンテンツの映像が同時に表示されている場合でも、その内から現在ユーザにより映像が選択されているコンテンツについては、タイトル領域TAにそのタイトルを表示させる。これにより、現在ユーザが選択中のコンテンツの映像を、他のコンテンツの映像から分別できると共に、他のコンテンツの映像を確認することができる。
また、本実施形態によれば、同時に表示パネル5に表示されている映像からユーザに映像が選択されたコンテンツを、字幕付映像で再生表示する。これにより、ユーザは選択した映像を含むコンテンツの内容を字幕表示により容易に把握できると共に、現在再生中のコンテンツと他のコンテンツとを分別できる。
本実施形態によれば、表示領域の中央部に配置された映像領域に、再生中のコンテンツの現在の再生場面の映像が表示される。このとき、映像の視認性を向上させるため、現在の再生場面の映像が表示されている映像領域は他の映像領域よりも大きくしている。これにより、映像の視認性が向上されると共に、拡大されている映像を含むコンテンツが選択されていることを認識し易くなる。
以下、本実施形態の変形について説明する。「長い字幕文」の全文を表示する場合、図15(b)に示す画面D43の例のように、「長い字幕文」を表示している字幕領域以外の字幕領域MA1、MA3上には字幕文を非表示にするに限らず、表示させるようにしてもよい。
「複数のコンテンツの映像」が同時に表示されている場合、図22(a)に示すタイトル付画面D71のタイトル領域TAには、現在再生中のコンテンツのタイトルだけを表示するに限らず、現在映像が表示されている他のコンテンツのタイトルも表示するようにしてもよい。
また、タイトル付画面D71のタイトル領域TAには、現在再生中のコンテンツのタイトルのみならず、そのコンテンツよりも所定数だけ前又は後にコンテンツリストデータ123に格納されているコンテンツのタイトルTLを示すリストを表示するようにしてもよい。
タイマが計時する所定時間は、ユーザにより任意に設定可能としてもよく、また、表示する字幕文に含まれる文字数が多くなるに伴って、制御部11が所定時間を大きくするようにしてもよい。
「映像拡大表示モード」において、ユーザが操作部13を操作することにより、図24の画面D8において現在選択中の拡大表示を終了可能とし、図22(a)の画面D71の表示に戻るようにしても良い。
その他、本発明の概念は、専用のコンピュータシステムに限らず、例えば、コンテンツ録画再生機能を備える、PDA、電子カメラ、電子腕時計、携帯型TV、カーナビゲーション装置、等の任意の携帯型電子装置に適用可能である。即ち、コンピュータを携帯電話1として機能・動作させるためのコンピュータプログラムを作成し、配布し、貸与し、これをコンピュータにインストールして、携帯電話1として、これを使用、譲渡、貸与などしてもよい。
1…携帯電話、2…キーボード、3…カーソルキー、4…表示切替ボタン、5…表示パネル、6…通話用マイク、7…通話用スピーカ、8…スピーカ、11…制御部、12…記憶部、13…操作部、14…表示部、15…チューナ、16…デコード部、17…音声出力部、18…音声入力部、19…通信部、20…バス、121…字幕管理データ、122…映像データ、123…コンテンツリストデータ
PA…ピクト領域、RA1,RA2,RA3,RA4,RA5,RA6…映像領域、MA1,MA2,MA3,MA4…字幕領域、FA…ソフトキー領域、TA…タイトル領域、SG…テレビジョン信号
D1…3コマ表示モードの画面、D21…1コマ下スクロール前の画面、D22…1コマ下スクロール後の画面、D31…ページ送り前の画面、D32…ページ送り後の画面、D41…「長い字幕文」の全文表示前の画面、D42…「長い字幕文」の全文表示後の第1の画面、D43…「長い字幕文」の全文表示後の第2の画面、D51…3コマ表示モードにおける通常映像を表示した画面、D52…4コマ表示モードにおける横長映像を表示した画面、D6…「横長表示モード」の画面、D71…第1のタイトル付画面、D72…第2のタイトル付画面、D8…「映像拡大表示モード」の画面