JP5196634B2 - ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム - Google Patents

Description

本発明は、ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラムに関する。

いわゆる第３世代と呼ばれる携帯電話機は、極めて高いビットレートのデータ伝送を誇り、従来の世代の携帯電話機では難しかった動画像のストリーミング再生をも実現するに至っている。このような携帯電話機の高スペック化に伴い、各種サービスプロバイダから携帯電話機の利用者に向けて配信されるコンテンツも静止画像から動画像へと変化しつつあり、動画像のコンテンツの配信環境をより良くするための技術も提案されている。例えば、特許文献１に開示された携帯電話端末は、動画像のコンテンツをストリーミング再生している間に自端末に宛てた着信が入ると、コンテンツの配信元のサーバに対して配信の中断を要求する。そして、着信元の相手との通話が終了すると改めてサーバへ配信を要求し、中断された箇所からストリーミング再生を再開できるようになっている。この種の携帯電話機による動画像のストリーミング再生は、コンテンツの一部に相当する数十フレーム分の画像をエンコードして得たビデオデータを受信し、そのビデオデータをデコードして得た画像を表示させている間に次の数十フレーム分のビデオデータを受信する、という手順を繰り返しながら進められる。
特開２００６−２７０７２９号公報

ところで、携帯電話機向けの動画像のコンテンツの配信を受ける利用者の多くは、コンテンツを再生させる前にその概要を確認し、指定した箇所からコンテンツを再生させたいとの希望を持っている。しかしながら、これまでの携帯電話機は、動画像のコンテンツをストリーミング再生している間でなければ、早送りや巻き戻しの操作を受け付け得ないようになっており、使い勝手が悪いという問題がある。

このような背景の下、本発明は、動画像のコンテンツを再生する前にその概要を利用者に了解させ、利用者が指定した箇所からコンテンツを再生できるような仕組みとして発案された。具体的には、動画像のコンテンツを再生するに先立ち、当該動画像のコンテンツをなす一連のまたは一部のフレーム画像を縮小したサムネイル画像と、そのサムネイル画像と対応する字幕を示すテキストデータとを取得し、利用者がテキストデータ若しくはサムネイル画像を選択することにより、所定の位置から動画像データの取得と再生を行うシステムを発案した。

しかし、通信が不安定な状況下では、テキストデータとサムネイル画像データを取得するのに失敗するおそれがある。加えて、記憶容量に制限がある場合、取得するデータを少なくし、円滑な再生を行いたいという要望もある。

本発明は、再生箇所を検索するためのサムネイル画像データをオンデマンドで取得できる仕組みを提供することを目的とする。

本発明の好適な態様であるビデオコンテンツ再生端末は、操作手段と、通信手段と、表示手段と、記憶手段と、ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータとビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、通信手段を介して取得し、取得した各対を記憶手段に記憶させる第１の制御手段と、記憶手段から特定した一又は複数の対のテキストデータが示す字幕を表示手段に表示させるとともに、その対のタイムコードを含む第１のリクエストを通信手段を介して発信する第２の制御手段と、第１のリクエストに含まれるタイムコードが示す時間軸上の位置での再生が予定されるフレーム画像の縮小画像を示すサムネイル画像データを通信手段を介して取得し、取得したサムネイル画像データが示す縮小画像を字幕と対応付けて表示手段に表示させる第３の制御手段と、表示された字幕の選択を操作手段の操作を通じて受け付ける手段であって、字幕の選択を受け付けると、その選択にかかる字幕と対をなすタイムコードを含む第２のリクエストを通信手段を介して発信する第４の制御手段と、第２のリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を表示手段に順次表示させる第５の制御手段と、を有し、第３の制御手段は、サムネイル画像データが示す縮小画像を字幕と対応付けて表示手段に表示させるときに、字幕のみを先に表示し、サムネイル画像データのデコードにより得られたサムネイル画像を後から字幕に対応付けて表示させるものである。

また、第２の制御手段は、時間軸上の位置が連続するタイムコードを含む複数の対の纏まりを操作手段の操作に応じて記憶手段から特定し、特定した対の各々のテキストデータが示す字幕を時間軸上の位置が先行するものから並べて表示手段に表示させるとともに、それらの対の各々のタイムコードを含む第１のリクエストを同時にまたは個別に通信手段を介して発信するようにしてもよい。

また、操作手段は、先行する字幕へのシフトを指示する第１のボタン、を有し、第２の制御手段は、第１のボタンが操作されるたびに、表示手段に並べて表示されている字幕のうち時間軸上の位置が最も前の字幕のテキストデータと対をなすタイムコードを記憶手段から特定し、特定したタイムコードに先行するタイムコードと対をなすテキストデータが示す字幕を、並べて表示されている字幕のうち時間軸上の位置が最も後の字幕を除いた字幕と併せて表示手段に表示させるとともに、先行するタイムコードを含む第１のリクエストを通信手段を介して発信する巻戻し方向スクロール制御手段を有してもよい。

また、操作手段は、後続する字幕へのシフトを指示する第２のボタン、を有し、第２の制御手段は、第２のボタンが操作されるたびに、表示手段に並べて表示されている字幕のうち時間軸上の位置が最も後の字幕のテキストデータと対をなすタイムコードを記憶手段から特定し、特定したタイムコードに後続するタイムコードと対をなすテキストデータが示す字幕を、並べて表示されている字幕のうち時間軸上の位置が最も前の字幕を除いた字幕と併せて表示手段に表示させるとともに、後続するタイムコードを含む第１のリクエストを通信手段を介して発信する早送り方向スクロール制御手段を有してもよい。

本発明の別の好適な態様であるビデオコンテンツ再生プログラムは、操作手段、通信手段、表示手段、および記憶手段を有するコンピュータに、ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータとビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、通信手段を介して取得し、取得した各対を記憶手段に記憶させる第１の制御機能と、記憶手段から特定した一又は複数の対のテキストデータが示す字幕を表示手段に表示させるとともに、その対のタイムコードを含む第１のリクエストを通信手段を介して発信する第２の制御機能と、第１のリクエストに含まれるタイムコードが示す時間軸上の位置での再生が予定されるフレーム画像の縮小画像を示すサムネイル画像データを通信手段を介して取得し、取得したサムネイル画像データが示す縮小画像を字幕と対応付けて表示手段に表示させる第３の制御機能と、表示された字幕の選択を操作手段の操作を通じて受け付ける機能であって、字幕の選択を受け付けると、その選択にかかる字幕と対をなすタイムコードを含む第２のリクエストを通信手段を介して発信する第４の制御機能と、第２のリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を表示手段に順次表示させる第５の制御機能と、を実現させ、第３の制御機能は、サムネイル画像データが示す縮小画像を字幕と対応付けて表示手段に表示させるときに、字幕のみを先に表示し、サムネイル画像データのデコードにより得られたサムネイル画像を後から字幕に対応付けて表示させるものである。

本発明によると、再生箇所を検索するためのサムネイル画像データをオンデマンドで取得することができる。

（発明の実施の形態）
本発明の実施形態について、以下、図面を参照しながら説明する。

図１は、本実施形態にかかる動画像コンテンツ配信システムの全体構成図である。図１に示すように、このシステムは、コンテンツ配信サーバ装置１０が接続されるインターネット通信網９１、携帯電話端末３０（「ビデオコンテンツ再生端末」に相当）が接続される移動体パケット通信網９２、及びそれらの両通信網９１，９２の間に介在するゲートウェイサーバ装置９３より構成される。なお、この実施形態は、本発明にかかるコンテンツの配信を、インターネット通信網９１と移動体パケット通信網９２を利用して行うものであるが、放送網を通じてコンテンツを配信するようにしてもよい。

インターネット通信網９１は、ＴＣＰ（transmission control protocol）／ＩＰ（internet protocol）や、そのＴＣＰ／ＩＰ上で実現される、ＨＴＴＰ（hyper text transfer protocol）、ＳＭＴＰ（simple mail transfer protocol）などに準拠した手順でデータを伝送するノードの集合体であり、サーバ装置やルータを有する。 移動体パケット通信網９２は、ＴＣＰ／ＩＰを簡素化したプロトコルや、そのＴＣＰ／ＩＰ上で実現される、ＨＴＴＰに相当するプロトコルなどに準拠した手順でデータを転送するノードの集合体であり、基地局やパケット加入者処理装置を有する。

ゲートウェイサーバ装置９３は、移動体パケット通信網９２とインターネット通信網９１を相互接続する移動パケット関門中継交換局内にて稼働するコンピュータであり、一方の通信網のノードから他方の通信網のノードに宛てて送出されたデータは、このゲートウェイサーバ装置９３にてプロトコル変換された上で、他方の通信網のノードへと転送される。

図２は、コンテンツ配信サーバ装置１０のハードウェア概略構成を示す図である。コンテンツ配信サーバ装置１０は、動画像、音声、および字幕によって映画や興業などのビデオコンテンツを表現する各種フォーマットのデータ（以下、それらの集合体を「ビデオコンテンツデータ」と呼ぶ）を携帯電話端末３０からの要求に応じて配信する。

図２に示すように、このサーバ装置１０は、制御部１１、通信インターフェース１２、及びハードディスク１３を備えている。制御部１１は、ＣＰＵ１４、ＲＡＭ１５、ＲＯＭ１６を内蔵する。通信インターフェース１２は、ＴＣＰ／ＩＰ、ＨＴＴＰなどのプロトコルに従った手順でデータを送受信する。

ハードディスク１３は、コンテンツデータベース１７およびメニュー画面表示支援データ１８を記憶する。コンテンツデータベース１７は、複数のビデオコンテンツデータを収録したデータベースである。ビデオコンテンツデータの各々は、ビデオデータ、テキストデータ、サムネイル画像データを取り纏めたものである。ビデオデータは、動画像として再生される一連のフレーム画像の画像信号とそれらのフレーム画像と併せて再生される一連の音声の音声信号とを、所定のエンコード規格に従ってエンコードしたデータである。一連のフレーム画像および音声の信号は、ＭＰＥＧ（Moving Picture Experts Group）-４など規格に従ってエンコードするとよい。この種のエンコード規格においては、フレーム画像および音声が、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けたうえで、圧縮符号化される。

テキストデータは、ビデオデータの一連のフレーム画像と併せて表示する字幕の文字列を示すデータである。テキストデータが示す各字幕は、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けられている。

サムネイル画像データは、ビデオデータの一連のフレーム画像の中から離散的に抽出したフレーム画像の縮小画像であるサムネイル画像の画像信号を、所定のエンコード規格に従ってエンコードしたデータである。サムネイル画像データが示す各サムネイル画像も、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けられている。サムネイル画像の信号は、ＧＩＦ（Graphics Interchange Format）などの規格に従ってエンコードするとよい。

メニュー画面表示支援データ１８は、コンテンツデータベース１７に収録された各コンテンツデータの記憶領域を示すアドレスとそれらのコンテンツデータのタイトルを示す各文字列との関連付けを、所定のマークアップ言語によって記述したデータである。

図３は、携帯電話端末３０のハードウェア概略構成を示す図である。携帯電話端末３０は、通信部３１（「通信手段」に相当）、操作部３２（「操作手段」に相当）、液晶表示部３３（「表示手段」に相当）、収音部３４、放音部３５、および制御部３６（「第１の制御手段」、「第２の制御手段」、「第３の制御手段」、「第４の制御手段」、「第５の制御手段」、「早送り方向スクロール制御手段」、「巻戻し方向スクロール制御手段」に相当）を備える。通信部３１は、制御部３６による制御の下、移動体パケット通信網９２の基地局と無線通信を行う。

操作部３２は、カーソルを上下左右方向に移動させた上で確定するマルチファンクションボタン（後述）、番号や文字などを入力するダイヤルボタンなどの各種ボタンからなり、利用者によって入力操作が行われると、その入力操作に対応した操作信号を制御部３６に供給する。液晶表示部３３は、液晶パネル等の表示装置から構成されており、制御部３６による制御の下に各種情報を表示する。収音部３４はマイクロホンであり、放音部３５はスピーカである。

制御部３６は、ＣＰＵ３７、ＲＯＭ３８、ＲＡＭ３９（「記憶手段」に相当）、及びＥＥＰＲＯＭ４０を有している。ＣＰＵ３７は、ＲＡＭ３９をワークエリアとして利用しつつ、ＲＯＭ３８やＥＥＰＲＯＭ４０に記憶された各種プログラムを実行する。

ＲＯＭ３８は、ＯＳ（Operating Ｓystem）プログラム、メーラプログラム、ブラウザプログラム、呼接続支援プログラム、およびビデオコンテンツ再生プログラムを記憶する。ＯＳプログラムは、各種ハードウェアリソースの駆動や調停などといった基幹的な処理の手順を記したプログラムである。呼接続支援プログラムは、他の携帯電話機や固定電話との間の呼接続や通話に関わる処理の手順を記したプログラムである。メーラプログラムは、電子メールの作成や送受信に関わる処理の手順を記したプログラムである。ブラウザプログラムは、サイトの閲覧に関わる処理の手順を記したプログラムである。

ビデオコンテンツ再生プログラムは、コンテンツ配信サーバ装置１０のコンテンツデータベース１７に収録されたビデオコンテンツデータのストリーミング再生や再生するコンテンツデータの選択に関わる処理の手順を記したプログラムである。このプログラムに記された手順に従ったＣＰＵ３７の動作を通じて、後に詳述するコンテンツ選択支援処理およびコンテンツ再生処理が実行される。

ＥＥＰＲＯＭ４０には、携帯電話端末３０からのリクエストに応じてゲートウェイサーバ装置９３やインターネット通信網９１のサーバ装置からダウンロードされるプログラムが記憶される。

次に、本実施形態にかかる特徴的な処理であるコンテンツ選択支援処理とコンテンツ再生処理について説明する。

図４および図５は、コンテンツ選択支援処理を示すフローチャートである。図４および図５に示す一連の処理は、コンテンツデータベース１７に収録された各コンテンツデータのタイトルを列記したメニュー画面が液晶表示部３３に表示された状態で、それらのいずれかのタイトルが操作部３２の操作を通じて選択されると、開始される。メニュー画面は、メニュー画面表示支援データ１８のＵＲＬ（Uniform Resource Locator）を含むリクエストを移動体パケット通信網９２へ発信し、コンテンツ配信サーバ装置１０から返信されるレスポンスに含まれるメニュー画面表示支援データ１８を解釈して得た内容を基に、液晶表示部３３に表示される。

メニュー画面に表示されたタイトルのいずれかが選択されると（Ｓ１００：Ｙｅｓ）、制御部３６は、ビデオコンテンツ再生プログラムを起動させる（Ｓ１１０）。以降の処理は、このビデオコンテンツ再生プログラムが示す手順に従って行われる。

制御部３６は、テキストデータを求めるコンテンツ配信サーバ装置１０宛てのリクエストを、通信部３１から発信する（Ｓ１２０）。このリクエストには、ステップＳ１００で選択されたタイトルを示す識別子が内包される。発信されたリクエストは、移動体パケット通信網９２、ゲートウェイサーバ装置９３、およびインターネット通信網９１を経由してコンテンツ配信サーバ装置１０まで送信される。

リクエストを受信したコンテンツ配信サーバ装置１０の制御部１１は、そのリクエストに含まれる識別子が指し示すコンテンツのビデオコンテンツデータをコンテンツデータベース１７から特定し（Ｓ１３０）、そのビデオコンテンツデータから取得したテキストデータを含むレスポンスを通信インターフェース１２から発信する（Ｓ１４０）。発信されたレスポンスは、インターネット通信網９１、ゲートウェイサーバ装置９３、および移動体パケット通信網９２を経由して、リクエストの発信元の携帯電話端末３０まで送信される。

レスポンスを受信した携帯電話端末３０の制御部３６は、そのレスポンスに含まれるテキストデータをＲＡＭ１６に記憶する（Ｓ１５０）。このテキストデータが示す各字幕がコンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対をなしていることは、上述した通りである。

続いて、制御部１１は、ＲＡＭ１６にて各字幕と対応付けられた一連のタイムコードの中から、コンテンツの冒頭により近い時間軸上の位置を示す３つのタイムコードを取得し（Ｓ１６０）、取得した３つのタイムコードを含むコンテンツ配信サーバ装置１０宛てのリクエストを通信部３１から発信するとともに（Ｓ１７０）、それらのタイムコードと対をなす字幕を埋め込んだ再生箇所検索画面を液晶表示部３３に表示させる（Ｓ１８０）。

図６は、再生箇所検索画面を示す図である。この画面は、再生時間表示領域５２の下に、字幕表示領域５３とサムネイル画像表示領域５４とを左右に並べて配したレイアウトになっている。再生時間表示領域５２は、細長い矩形状の上下の２つの枠５２ａ，５２ｂに分かれ、上側の枠５２ａには、コンテンツの冒頭から末尾までの間の時間軸上の位置を百分率によって示す数値が表示される。下側の枠５４ｂには、コンテンツの冒頭から末尾までの時間軸上の位置を、時間、分、および秒により表す数値が表示される。また、その時間、分、および秒を表す数値の背後は、コンテンツの冒頭から末尾までの時間軸上の位置を表すインジケータとなっている。

字幕表示領域５３には、ステップＳ１８０にて埋め込まれた字幕、つまり、コンテンツの冒頭により近い時間軸上の位置と対応する３つの字幕が、上段、中段、下段に分かれて表示されている。３つのうち時間軸上の位置が一番前の字幕は上段に表示され、時間軸上の位置が一番後の字幕は下段に表示される。サムネイル画像表示領域５４には、サムネイル画像を埋め込むための３つの矩形枠が、字幕の各々の真横に相当する位置に表示されている。ただし、後述するステップＳ１９０にて、コンテンツ配信サーバ装置１０からサムネイル画像データを取得するまで、それらの矩形枠は空白のままにされる。

リクエストを受信したコンテンツ配信サーバ装置１０の制御部１１は、そのリクエストに含まれる３つのタイムコードと対をなすサムネイル画像データをステップＳ１３０で特定したビデオコンテンツデータから取得し（Ｓ１９０）、取得した３つのサムネイル画像データを含むレスポンスを通信インターフェース１２から発信する（Ｓ２００）。

レスポンスを受信した携帯電話端末３０の制御部３６は、そのレスポンスに含まれる３つのサムネイル画像データをそれぞれデコードして得た各サムネイル画像を、再生箇所検索画面のサムネイル画像表示領域５４に表示させる（Ｓ２１０）。具体的には、レスポンスに含まれる３つのサムネイル画像データをＲＡＭ３９に確保したバッファ領域に記憶したうえで、それらの画像データを時間軸上の位置が先行するものから順に１つずつデコードし、デコードを経て得られたサムネイル画像をサムネイル画像表示領域５４の上の矩形枠から順に並べて表示させていく。

図７は、ステップＳ２１０における表示が行われている途中の再生箇所検索画面を示す図である。図７は、上段の矩形枠へのサムネイル画像の表示が完了した後、その下の矩形枠へのサムネイル画像の表示が完了する前の画面の様子を示すものとなっており、サムネイル画像が未取得であることを示す「Loading」の文字列が、上段を除く２つの矩形枠の中にそれぞれ記されている。

ステップＳ２１０にて、画像のサムネイル画像表示領域５４の３つの矩形枠へサムネイル画像が表示されると、利用者は、操作部３２のマルチファンクションボタンの上下の操作を通じて字幕の早送りまたは巻戻しを指示することができる。早送りの指示はマルチファンクションの下ボタンの押下を通じて下され、巻戻しの指示はその上ボタンの押下を通じて下される。また、早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示は、下ボタンと上ボタンの間の確定ボタンの押下を通じて下される。

早送りの指示が下されると（Ｓ２２０：Ｙｅｓ）、制御部３６は、字幕表示領域５３の下段に表示された字幕に後続する字幕をＲＡＭ３９のテキストデータから取得するとともに（Ｓ２４０）、サムネイル画像データを求めるコンテンツ配信サーバ装置１０宛てのリクエストを、通信部３１から発信する（Ｓ２５０）。このリクエストには、ステップＳ２４０で取得したテキストデータと対をなすタイムコードが含まれる。

リクエストを受信したコンテンツ配信サーバ装置１０の制御部１１は、そのリクエストに含まれるタイムコードと対応するサムネイル画像データをステップＳ１３０で特定したビデオコンテンツデータから取得し（Ｓ２６０）、取得したサムネイル画像データを含むレスポンスを通信インターフェース１２から発信する（Ｓ２７０）。

レスポンスを受信した携帯電話端末３０の制御部３６は、そのレスポンスに含まれるサムネイル画像データおよびステップＳ２４０で取得した字幕を、再生箇所検索画面に表示されたサムネイル画像データと字幕の３つの組のうち時間軸上の位置が最も前の組に代えて表示させる（Ｓ２８０）。このステップＳ２８０における表示の切り換えは、以下の手順に従う。まず、字幕表示領域５３およびサムネイル画像表示領域５４の中段に表示されていた字幕とサムネイル画像を、各々の領域の上段に移動させるとともに、字幕表示領域５３およびサムネイル画像表示領域５４の下段に表示されていた字幕とサムネイル画像を、各々の領域の中段に移動させる。次に、ステップＳ２４０で取得した字幕を字幕表示領域５３の下段に表示させるとともに、ステップＳ２７０で発信されたレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像をサムネイル画像表示領域５４の下段に表示させる。

下ボタンが押下されるたびに、ステップＳ２４０からステップＳ２８０の処理が繰り返され、再生箇所選択画面の字幕表示領域５３とサムネイル画像表示領域５４に並ぶ字幕とサムネイル画像の３つの組のうち下の２つが上にスクロールし、新たな組が下段に現れる。利用者は、下ボタンの押下を繰り返すことにより、再生箇所選択画面に表示される字幕とサムネイル画像の組をより後の時間軸上の位置と対応するものへと順次切り換え、再生を希望する箇所の字幕が字幕表示領域５３の中段に至ったときに確定ボタンを押下する。

一方、巻戻しの指示が下されると（Ｓ２３０：Ｙｅｓ）、制御部３６は、字幕表示領域５３の上段に表示された字幕に先行する字幕をＲＡＭ３９のテキストデータから取得するとともに（Ｓ２９０）、サムネイル画像データを求めるコンテンツ配信サーバ装置１０宛てのリクエストを、通信部３１から発信する（Ｓ３００）。このリクエストには、ステップＳ２９０で取得したテキストデータと対をなすタイムコードが含まれる。

リクエストを受信したコンテンツ配信サーバ装置１０の制御部１１は、そのリクエストに含まれるタイムコードと対応するサムネイル画像データをステップＳ１３０で特定したビデオコンテンツデータから取得し（Ｓ３１０）、取得したサムネイル画像データを含むレスポンスを通信インターフェース１２から発信する（Ｓ３２０）。

レスポンスを受信した携帯電話端末３０の制御部３６は、そのレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像およびステップＳ２９０で取得した字幕を、再生箇所検索画面に表示されたサムネイル画像データと字幕の３つの組のうち時間軸上の位置が最も後の組に代えて表示させる（Ｓ３３０）。このステップＳ３３０における表示の切り換えは、以下の手順に従う。まず、字幕表示領域５３およびサムネイル画像表示領域５４の中段に表示されていた字幕とサムネイル画像を、各々の領域の下段に移動させるとともに、字幕表示領域５３およびサムネイル画像表示領域５４の上段に表示されていた字幕とサムネイル画像を、各々の領域の中段に移動させる。次に、ステップＳ２９０で取得した字幕を字幕表示領域５３の上段に表示させるとともに、ステップＳ３２０で発信されたレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像をサムネイル画像表示領域５４の上段に表示させる。

上ボタンが押下されるたびに、ステップＳ２９０からステップＳ３３０の処理が繰り返され、再生箇所選択画面の字幕表示領域５３とサムネイル画像表示領域５４に並ぶ字幕とサムネイル画像の３つの組のうち上の２つが下にスクロールし、新たな組が上段に現れる。利用者は、上ボタンの押下を繰り返すことにより、再生箇所選択画面に表示される字幕とサムネイル画像の組をより後の時間軸上の位置と対応するものへと順次切り換え、再生を希望する箇所の字幕が字幕表示領域５３の中段に至ったときに確定ボタンを押下する。

ステップＳ２８０またはステップＳ３３０が実行された後、確定ボタンが押下されると（Ｓ３４０：Ｙｅｓ）、ストリーミング再生処理が開始される。

図８は、ストリーミング再生処理を示すフローチャートである。確定ボタンが押下されると（Ｓ３４０：Ｙｅｓ）、制御部３６は、ビデオデータを求めるコンテンツ配信サーバ装置１０宛てのリクエストを、通信部３１から発信するとともに（Ｓ３５０）、ストリーミング再生画面を液晶表示部３３に表示させる（Ｓ３６０）。このリクエストには、確定ボタンが押下された時に字幕表示領域５３の中段に表示されていた字幕と対をなすタイムコードが含まれる。ストリーミング再生画面のレイアウトの詳細は、後述する。

リクエストを受信したコンテンツ配信サーバ装置１０の制御部１１は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する（Ｓ３７０）。

コンテンツ配信サーバ装置１０によるビデオデータのダウンロードが始まると、制御部３６は、ストリーミング再生画面を通じたビデオデータのストリーミング再生を開始する（Ｓ３８０）。ストリーミング再生が始まると、ビデオデータのエンコード、そのエンコードを経て得られるフレーム画像の表示と音声の放音、およびフレーム画像と対応する字幕の表示の関わる処理が並行して行われる。これらの処理の手順を具体的に示すと、以下のようになる。コンテンツ配信サーバからダウンロードされるビデオデータはＲＡＭ３９に確保したバッファ領域に記憶される。制御部３６は、そのバッファ領域に記憶されるビデオデータをデコードし、デコードを経て得られる一連のフレーム画像をストリーミング再生画面のフレーム画像表示領域５５（後述）に順次表示させるとともに、その音声を放音部３５から放音させる。各フレーム画像の表示の切り換えのタイミング、および、音声の放音のタイミングは、デコードの際にそれらのフレーム画像や音声の信号と併せて得られるタイムコードを基に特定される。また、制御部３６は、フレーム画像と時間軸上の位置を同じくするタイムコードと対をなす字幕をＲＡＭ３９に記憶されているテキストデータから取得し、それらの字幕をストリーミング再生画面の字幕表示領域５６（後述）に順次表示させる。

図９は、ストリーミング再生画面を示す図である。この画面は、再生時間表示領域５２の下に、フレーム画像表示領域５５と字幕表示領域５６を上下に並べて配したレイアウトになっている。フレーム画像表示領域５５には、ビデオデータをデコードして得たフレーム画像が表示される。字幕表示領域５６には、ＲＡＭ３９のテキストデータから取得される字幕が表示される。それらの領域５５，５６のフレーム画像および字幕が時間軸の流れに従って切り換えられることは、上述した通りである。

ステップＳ３８０にて、ストリーミング再生が始まると、利用者は、操作部３２のマルチファンクションボタンの左右の操作を通じて字幕の早送りまたは巻戻しを指示することができる。早送りの指示はマルチファンクションの右ボタンの押下を通じて下され、巻戻しの指示はその左ボタンの押下を通じて下される。また、早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示は、確定ボタンの押下を通じて下される。

早送りの指示が下されると（Ｓ３９０：Ｙｅｓ）、制御部３６は、字幕表示領域５６に表示された字幕に後続する字幕をＲＡＭ３９のテキストデータから取得し（Ｓ４１０）、その字幕をストリーミング再生画面の字幕表示領域５６に表示させるとともに（Ｓ４２０）、ビデオデータを求めるコンテンツ配信サーバ装置１０宛てのリクエストを、通信部３１から発信する（Ｓ４３０）。このリクエストには、ステップＳ４１０で取得した字幕と対をなすタイムコードが含まれる。

リクエストを受信したコンテンツ配信サーバ装置１０の制御部１１は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する（Ｓ４４０）。つまり、このステップＳ４４０では、リクエストを受信するまで続いていたビデオデータのダウンロードが一旦途切れ、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降のビデオデータのダウンロードが改めて開始される。

一方、巻戻しの指示が下されると（Ｓ４００：Ｙｅｓ）、制御部３６は、字幕表示領域５６に表示された字幕に先行する字幕をＲＡＭ３９のテキストデータから取得し（Ｓ４５０）、その字幕をストリーミング再生画像の字幕表示領域５６に表示させるとともに（Ｓ４６０）、ビデオデータを求めるコンテンツ配信サーバ装置１０宛てのリクエストを、通信部３１から発信する（Ｓ４７０）。このリクエストには、ステップＳ４５０で取得した字幕と対をなすタイムコードが含まれる。

リクエストを受信したコンテンツ配信サーバ装置１０の制御部１１は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する（Ｓ４８０）。このステップＳ４８０も上述したステップＳ４４０と同様に、リクエストを受信するまで続いていたビデオデータのダウンロードが一旦途切れ、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降のビデオデータのダウンロードが改めて開始される。

以上説明した本実施形態にかかる携帯電話端末３０のコンテンツ選択支援処理においては、メニュー画面からユーザが選択したタイトルと対応するビデオコンテンツデータのテキストデータをコンテンツ配信サーバ装置１０から受信した携帯電話端末３０が、時間軸上の位置が連続する３つの字幕をそのテキストデータから取得し、取得した字幕およびそれらと対応するサムネイル画像を再生箇所検索画面に表示させるようになっている。さらに、操作部３２の上下の操作を通じてその再生箇所検索画面に表示された字幕とサムネイル画像の対を上下にスクロールさせ、スクロールによりサムネイル画像が新たに現れるたびに、そのサムネイル画像の画像データをコンテンツ配信サーバ装置１６への要求と引き換えに受信するようになっている。このように、コンテンツの冒頭から末尾に至る字幕のテキストデータは一括して受信する一方で、テキストデータよりもデータ容量の大きいサムネイル画像データはいわゆるオンデマンドで受信するようにすることで、操作部３２の上下の操作に対するスクロールの追随性を高めるとともに、携帯電話端末３０のメモリリソースを効率的に利用することができる。

また、上記実施形態にかかる携帯電話端末３０のコンテンツ再生処理においては、フレーム画像表示領域５５と字幕表示領域５６とを個別に配したストリーミング再生画面を液晶表示部３３に表示させ、字幕表示領域５６に表示された字幕を操作部３２の左右の操作を通じて左右にスクロールさせるようになっている。そして、その左右の操作を通じて早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示が下されると、その箇所からビデオデータの再生が行われるようになっている。このように、フレーム画像表示領域５５におけるビデオデータの再生を中断しないまま字幕表示領域５６の字幕を早送りまたは巻戻しさせ、再生位置の確定の指示が下されたところでその位置からビデオデータを改めて再生させるようにすることにより、巻戻しおよび早送りの操作性をより向上させることができる。

（他の実施形態）
本発明は、種々の変形実施が可能である。

上記実施形態にかかる携帯電話端末３０のコンテンツ選択支援処理においては、マルチファンクションボタンの上下の操作によって早送りまたは巻戻しの指示が下されると、サムネイル画像データを求めるコンテンツ配信サーバ装置１０宛てのリクエストがまず発信され、そのレスポンスに含まれるサムネイル画像データのデコードを実行した後に、デコードを経て得たサムネイル画像とそれに対応する字幕とが纏めて表示されるようになっている。これに対し、早送りまたは巻戻しの指示が下された時点で字幕のみを先に切り換え、サムネイル画像データのデコードにより得られたサムネイル画像を後から表示させるようにしてもよい。

本発明の実施形態にかかる動画像コンテンツ配信システムの全体構成図である。 コンテンツ配信サーバ装置のハードウェア概略構成図である。 携帯電話端末のハードウェア概略構成図である。 コンテンツ選択支援処理を示すフローチャートである（前半部分）。 コンテンツ選択支援処理を示すフローチャートである（後半部分）。 再生箇所検索画面を示す図である。 再生箇所検索画面を示す図である。 ストリーミング再生処理を示すフローチャートである。 ストリーミング再生画面を示す図である。

符号の説明

１０…コンテンツ配信サーバ装置、９１…インターネット通信網、９２…移動体パケット通信網、９３…ゲートウェイサーバ装置、３０…携帯電話端末、１１，３６…制御部、１２…通信インターフェース、１３…ハードディスク、１４，３７…ＣＰＵ、１５，３８…ＲＯＭ、１６，３９…ＲＡＭ、１７…コンテンツデータベース、１８…メニュー画面表示支援データ、４０…ＥＥＰＲＯＭ、３１…通信部、３２…操作部、３３…液晶表示部、３４…収音部、３５…放音部、５２…再生時間表示領域、５３，５６…字幕表示領域、５４…サムネイル画像表示領域、５５…フレーム画像表示領域、

Claims (5)

1. 操作手段と、
   通信手段と、
   表示手段と、
   記憶手段と、
   ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータと前記ビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、前記通信手段を介して取得し、取得した各対を前記記憶手段に記憶させる第１の制御手段と、
   前記記憶手段から特定した一又は複数の対のテキストデータが示す字幕を前記表示手段に表示させるとともに、その対のタイムコードを含む第１のリクエストを前記通信手段を介して発信する第２の制御手段と、
   前記第１のリクエストに含まれるタイムコードが示す時間軸上の位置での再生が予定されるフレーム画像の縮小画像を示すサムネイル画像データを前記通信手段を介して取得し、取得したサムネイル画像データが示す縮小画像を前記字幕と対応付けて前記表示手段に表示させる第３の制御手段と、
   前記表示された字幕の選択を前記操作手段の操作を通じて受け付ける手段であって、字幕の選択を受け付けると、その選択にかかる字幕と対をなすタイムコードを含む第２のリクエストを前記通信手段を介して発信する第４の制御手段と、
   前記第２のリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを前記通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を前記表示手段に順次表示させる第５の制御手段と、
   を有し、
   前記第３の制御手段は、サムネイル画像データが示す縮小画像を前記字幕と対応付けて前記表示手段に表示させるときに、前記字幕のみを先に表示し、前記サムネイル画像データのデコードにより得られたサムネイル画像を後から前記字幕に対応付けて表示させる、
   ことを特徴とするビデオコンテンツ再生端末。
2. 前記第２の制御手段は、
   時間軸上の位置が連続するタイムコードを含む複数の前記対の纏まりを前記操作手段の操作に応じて前記記憶手段から特定し、特定した対の各々のテキストデータが示す字幕を時間軸上の位置が先行するものから並べて前記表示手段に表示させるとともに、それらの対の各々のタイムコードを含む第１のリクエストを同時にまたは個別に前記通信手段を介して発信する、
   ことを特徴とする請求項１に記載のビデオコンテンツ再生端末。
3. 前記操作手段は、
   先行する字幕へのシフトを指示する第１のボタン、
   を有し、
   前記第２の制御手段は、
   前記第１のボタンが操作されるたびに、前記表示手段に並べて表示されている字幕のうち時間軸上の位置が最も前の字幕のテキストデータと対をなすタイムコードを前記記憶手段から特定し、特定したタイムコードに先行するタイムコードと対をなすテキストデータが示す字幕を、前記並べて表示されている字幕のうち時間軸上の位置が最も後の字幕を除いた字幕と併せて前記表示手段に表示させるとともに、前記先行するタイムコードを含む前記第１のリクエストを前記通信手段を介して発信する巻戻し方向スクロール制御手段、
   を有することを特徴とする請求項２に記載のビデオコンテンツ再生端末。
4. 前記操作手段は、
   後続する字幕へのシフトを指示する第２のボタン、
   を有し、
   前記第２の制御手段は、
   前記第２のボタンが操作されるたびに、前記表示手段に並べて表示されている字幕のうち時間軸上の位置が最も後の字幕のテキストデータと対をなすタイムコードを前記記憶手段から特定し、特定したタイムコードに後続するタイムコードと対をなすテキストデータが示す字幕を、前記並べて表示されている字幕のうち時間軸上の位置が最も前の字幕を除いた字幕と併せて前記表示手段に表示させるとともに、前記後続するタイムコードを含む前記第１のリクエストを前記通信手段を介して発信する早送り方向スクロール制御手段、
   を有することを特徴とする請求項２に記載のビデオコンテンツ再生端末。
5. 操作手段、通信手段、表示手段、および記憶手段を有するコンピュータに、
   ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータと前記ビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、前記通信手段を介して取得し、取得した各対を前記記憶手段に記憶させる第１の制御機能と、
   前記記憶手段から特定した一又は複数の対のテキストデータが示す字幕を前記表示手段に表示させるとともに、その対のタイムコードを含む第１のリクエストを前記通信手段を介して発信する第２の制御機能と、
   前記第１のリクエストに含まれるタイムコードが示す時間軸上の位置での再生が予定されるフレーム画像の縮小画像を示すサムネイル画像データを前記通信手段を介して取得し、取得したサムネイル画像データが示す縮小画像を前記字幕と対応付けて前記表示手段に表示させる第３の制御機能と、
   前記表示された字幕の選択を前記操作手段の操作を通じて受け付ける機能であって、字幕の選択を受け付けると、その選択にかかる字幕と対をなすタイムコードを含む第２のリクエストを前記通信手段を介して発信する第４の制御機能と、
   前記第２のリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを前記通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を前記表示手段に順次表示させる第５の制御機能と、
   を実現させ、
   前記第３の制御機能は、サムネイル画像データが示す縮小画像を前記字幕と対応付けて前記表示手段に表示させるときに、前記字幕のみを先に表示し、前記サムネイル画像データのデコードにより得られたサムネイル画像を後から前記字幕に対応付けて表示させる、
   ことを特徴とするビデオコンテンツ再生プログラム。

Images