JP5954756B2 - 動画再生システム - Google Patents

Description

本発明は、動画データの動画映像を再生し得る端末機を有する動画再生システムに関する。

従来、動画データを動画サーバからストリーミング方式でクライアントの端末機に伝送し、該端末機で動画データの動画映像を再生するシステムが知られている（例えば特許文献１、２を参照）。

また、例えばインターネットの動画データの提供サイトでは、端末機で再生させる動画データの映像の一定時間間隔毎の複数のサムネイル画像（静止画像）を、端末機の表示画面中のスライドバーの操作に応じて時系列的に表示させるものが知られている。

特開２００１−１２５２６０号公報 特開２０１３−４６２７６号公報

動画サーバから伝送される動画データの動画映像を端末機で再生して見る場合、該動画データの全体のうちの一部の映像だけを重点的に見ることが必要となる場合が多々ある。

例えば、スポーツトレーナ等が、スポーツの競技もしくは練習を撮影してなる動画映像を見ることで、選手の動きの確認及び分析等を行う場合、該動画映像の全体のうちの一部の特定のシーンの映像（例えば柔道の選手が技をかける近辺の時間帯のシーンの映像等）を詳細に見ることの必要性が高い。

このような場合、動画データの全体から、見たいシーンの映像部分を素早く探索することと、該映像部分の瞬時瞬時の映像の変化を詳しく確認することとが要求される。

しかしながら、前記特許文献１，２のものでは、利用者は、動画データの通常再生、早送り再生、あるいは、コマ送り再生を行いながら、動画データの全体から見たいシーンを探索せざるを得ず、その探索を効率よく行うことは困難である。

一方、動画データの映像の一定時間間隔毎の複数のサムネイル画像（静止画像）を端末機に表示させるようにしたシステムでは、該サムネイル画像によって、見たいシーンもしくはその近辺の映像部分を素早く探索することが可能である。

ここで、利用者が見たいシーンもしくはその近辺の映像部分を探索した後に、該映像部分の瞬時瞬時の映像の変化を詳細に確認する上では、時間的に隣り合うサムネイル画像の間の時間間隔はできるだけ短いことが好ましいと考えられる。

しかるに、従来のシステムでは、動画サーバから端末機に伝送して表示させるサムネイル画像は、動画データの全体の映像の一定時間間隔毎の静止画像である。このため、時間的に隣り合うサムネイル画像の間の時間間隔を十分に短くすると、動画サーバから端末機に伝送することが必要となるデータ量が膨大になって、動画サーバと端末機との間の通信負荷が過大なものとなりやすい。ひいては、動画サーバや端末機の処理能力が低下してしまう。

このため、従来のシステムでは、時間的に隣り合うサムネイル画像の間の時間間隔を十分に短い時間にすることは困難である。ひいては、従来のシステムでは、端末機に表示されるサムネイル画像によって、利用者が見たいシーンもしくはその近辺の映像部分の瞬時瞬時の映像の変化を詳細に確認することは困難であった。

本発明はかかる背景に鑑みてなされたものであり、動画データのサムネイル画像を用いて、見たいシーンの映像部分を素早く探索することと、該映像部分の瞬時瞬時の映像の変化を詳しく確認することとを実現できるシステムを提供することを目的とする。

本発明の動画再生システムは、上記の目的を達成するために、動画データを再生する機能を有する端末機と、前記動画データを前記端末機との通信によって該端末機に伝送する動画サーバとを備える動画再生システムにおいて、
前記動画サーバは、前記動画データの時間軸上での複数のサンプリング時刻のそれぞれに対応する該動画データの静止画像を示す複数のサムネイル画像を、前記端末機からの要求に応じて該端末機に伝送するように構成されていると共に、該複数のサムネイル画像を前記端末機に送信するとき、該複数のサムネイル画像の総数以下の複数のサムネイル画像を、前記動画データの静止画像よりも低い解像度の画像として規則的に配列させた形態で各々包含するように作成された１つ又は複数の合成画像を前記端末機に送信するように構成されており、
前記端末機は、前記動画サーバから伝送された前記サムネイル画像を表示させるための所定の操作が行われた場合に、該所定の操作により指示されたサンプリング時刻に対応するサムネイル画像を該端末機で表示するように構成されている共に、該所定の操作により指示された時刻に対応するサムネイル画像を表示するとき、該サムネイル画像を含む前記合成画像のうちの該サムネイル画像の配置部分を拡大して表示するように構成されており、
前記動画サーバが前記端末機に伝送する前記複数のサムネイル画像は、それぞれに対応する前記複数のサンプリング時刻のうちの互いに隣り合うサンプリング時刻の時刻間隔をサムネイル画像間時間と定義したとき、前記動画データの動画映像の全体のうちの着目対象のシーンを含む時間帯として設定された特定の部分時間帯でのサムネイル画像間時間が、他の時間帯でのサムネイル画像間時間よりも短い時間間隔となるように作成されており、
さらに、前記動画サーバは、前記端末機において同一のサムネイル画像を表示させている時間が所定時間継続した場合に、該サムネイル画像である低解像度着目画像よりも高い解像度で作成されたサムネイル画像である高解像度着目画像を前記端末機に伝送するように構成され、
前記端末機は、該端末機で表示させるサムネイル画像を、前記低解像度着目画像から前記伝送された高解像度着目画像に切替えるように構成されていることを特徴とする（第１発明）。

なお、前記動画データの時間軸は、該動画データの動画映像を先頭の映像から終端の映像まで再生させた場合の経過時間を示す時間軸を意味する。また、第１発明では、前記複数のサンプリング時刻にそれぞれ対応する複数のサムネイル画像の全てを１つの合成画像に配列してもよい。

かかる第１発明において、前記端末機の利用者が、前記動画データの動画映像の全体のうちの所望のシーン（着目対象のシーン）を探索しようとする場合、例えば前記複数のサムネイル画像をそれぞれのサンプリング時刻の順に時系列的に表示させるように該端末機を操作する。

この場合、前記着目対象のシーンを含む時間帯としての前記特定の部分時間帯におけるサムネイル画像間時間は、他の時間帯よりも短い。このため、前記特定の部分時間帯では、短めの時間間隔（密な時間間隔）毎のサムネイル画像が端末機で表示され、他の時間帯では、長めの時間間隔（疎な時間間隔）毎のサムネイル画像が端末機で表示される。従って、特定の部分時間帯と他の時間帯とでは、端末機で表示されるサムネイル画像の時系列的な変化の形態が相違するものとなる。

このため、上記他の時間帯での着目対象外のシーンのサムネイル画像を多数、見ることを必要とせずに、着目対象のシーンを速やかに探索することができる。

さらに、利用者は、着目対象のシーンを含む特定の部分時間帯では、短い時間間隔のサムネイル画像を見ることができるので、瞬時瞬時の動画データの映像の変化を細かく観察することができる。

よって、第１発明によれば、動画データのサムネイル画像を用いて、見たいシーンの映像部分を素早く探索することと、該映像部分の瞬時瞬時の映像の変化を詳しく確認することとを実現できる。また、前記特定の時間帯以外の他の時間帯では、サムネイル画像間時間を長めの時間に設定しておくことができるので、動画サーバから端末機に伝送する動画データのサムネイル画像の総数が過大になるのを防止できる。
さらに、上記第１発明によれば、前記１つ又は複数の合成画像を前記動画サーバから端末機に伝送することで、各合成画像に含まれる複数のサムネイル画像がひとまとめに端末機に伝送されることとなる。そして、この場合、合成画像に配列されている各サムネイル画像の解像度は、前記動画データの静止画像よりも低い解像度とされているので、各合成画像のファイルサイズを過大とならないように抑制できる。
従って、動画サーバから端末機への前記複数のサムネイル画像の伝送を、該動画サーバと端末機との間の通信負荷を軽減しつつ、短時間で円滑に行うようにすることができる。
そして、端末機では、前記合成画像のうちの該サムネイル画像の配置部分を拡大して表示することで、該サムネイル画像を、小さ過ぎることのない適度な大きさの表示画像として端末機で表示されることができる。
ここで、前記端末機において同一のサムネイル画像を表示させている時間が所定時間継続したような状況は、利用者が、該サムネイル画像に注目している状況である可能性が高い。
そこで、第１発明ではさらに、前記高解像度着目画像を動画サーバから端末機に伝送し、端末機で表示させるサムネイル画像を、低解像度着目画像から高解像度着目画像に切替える。
これにより、利用者は、注目しているサムネイル画像を、高解像度着目画像として端末機で詳細に見ることができる。また、この場合、動画サーバは、利用者が注目しているサムネイル画像に対応する高解像度着目画像だけを端末機に伝送するので、その伝送を短時間で円滑に行うことができる。ひいては、端末機における低解像度着目画像から高解像度着目画像への切替えを速やかに行うことができる。

かかる第１発明では、前記特定の部分時間帯は、例えば次のような態様で設定することができる。

すなわち、前記動画データには、該動画データにおける前記着目対象のシーンの時刻を示すメタデータ（タグ情報、キューポイント等）が付されている場合がある。この場合には、記特定の部分時間帯は、該メタデータにより示される時刻を含むように該メタデータに基づいて設定されていることが好ましい（第２発明）。

この第２発明によれば、着目対象のシーンを含む前記特定の部分時間帯を容易に設定することができる。

あるいは、前記動画データに、該動画データの動画映像に対応する音声データが付加されている場合には、前記特定の部分時間帯は、該音声データの音量の大きさ又は該音量の時間的変化に基づいて設定されていてもよい（第３発明）。

すなわち、例えば、スポーツの競技を撮影してなるスポーツ映像では、着目対象のシーンの近辺の時刻で、観客等の歓声の音量の大きさ、あるいは、その単位時間当たりの変化量が特徴的に大きくなることが多い。従って、動画データに付加されている音声データの音量の大きさ又は該音量の時間的変化に基づいて、着目対象のシーンを含む前記特定の部分時間帯を設定することもできる。

あるいは、次のような態様で前記特定の部分時間帯を設定してもよい。すなわち、前記動画サーバは、前記端末機での前記動画データの動画映像の再生の都度、該再生の一時停止が行われた該動画データの時間軸上の時刻を示すデータである再生一時停止時刻データを前記端末機との通信によって取得するように構成されており、前記特定の部分時間帯は、前記再生一時停止時刻データにより示される時刻が他の時間帯よりも高い頻度で含まれる時間帯となるように設定されている（第４発明）。

ここで、前記動画データの動画映像を端末機で再生させて見る利用者は、着目対象のシーンの映像が表示されている状態で、動画映像の再生を一時停止させることをしばしば行う。従って、前記特定の部分時間帯を、前記再生一時停止時刻データにより示される時刻が他の時間帯よりも高い頻度で含まれる時間帯となるように設定することで、着目対象のシーンを含む時間帯としての特定の部分時間帯を適切に設定することができる。

また、本発明に関連する参考発明として、動画データのサムネイル画像の表示方法は、動画データを再生する機能を有する端末機において、該動画データの時間軸上での複数のサンプリング時刻のそれぞれに対応する静止画像を示す複数のサムネイル画像を表示させる方法であって、
前記複数のサムネイル画像のそれぞれに対応する前記複数のサンプリング時刻のうちの互いに隣り合うサンプリング時刻の時刻間隔をサムネイル画像間時間と定義したとき、前記動画データの動画映像の全体のうちの着目対象のシーンを含む時間帯として設定された特定の部分時間帯でのサムネイル画像間時間が、他の時間帯でのサムネイル画像間時間よりも短い時間間隔となるように作成された前記複数のサムネイル画像を前記端末機に取り込み、該端末機の所定の操作が行われた場合に、前記複数のサムネイル画像をそれぞれに対応するサンプリング時刻の時刻順に表示させることを特徴とする。

かかる参考発明によれば、前記端末機の利用者が、前記動画データの動画映像の全体のうちの所望のシーン（着目対象のシーン）を探索するために前記所定の操作を行った場合、第１発明に関して説明した場合と同様に、前記特定の部分時間帯では、短めの時間間隔（密な時間間隔）毎のサムネイル画像が端末機で表示され、他の時間帯では、長めの時間間隔（疎な時間間隔）毎のサムネイル画像が端末機で表示される。

このため、上記他の時間帯での着目対象外のシーンのサムネイル画像を多数、見ることを必要とせずに、着目対象のシーンを速やかに探索することができる。

さらに、利用者は、着目対象のシーンを含む特定の部分時間帯では、短い時間間隔のサムネイル画像を見ることができるので、瞬時瞬時の動画データの映像の変化を細かく観察することができる。

よって、参考発明によれば、動画データのサムネイル画像を用いて、見たいシーンの映像部分を素早く探索することと、該映像部分の瞬時瞬時の映像の変化を詳しく確認することとを実現できる。

本発明の一実施形態の動画再生システムの構成を示す図。 サムネイル画像間時間の設定形態を説明するための図。 端末機の表示画面の例を示す図。

本発明の一実施形態を図１〜図３を参照して以下に説明する。図１を参照して、本実施形態の動画再生システムは、動画サーバ１と、インターネット等の通信ネットワーク３を介して動画サーバ１とそれぞれ通信可能な端末機２とを備える。

動画サーバ１は、コンピュータ及びそれに付帯する周辺機器（入出力機器、記憶装置等）により構成されたサーバ装置である。また、各端末機２は、動画映像を表示可能なディスプレイを有するパーソナルコンピュータ、タブレット端末機等により構成された端末機である。

動画サーバ１は、各端末機２で再生可能な複数の動画データＶを記憶保持したデータベース１１を備える。各動画データＶは、例えば、各種のスポーツにおける競技あるいは練習の状況を撮影して記録してなるスポーツ映像等の動画データである。ただし、動画データＶは、スポーツ映像以外の種類の動画データであってもよい。

動画サーバ１のデータベース１１には、各動画データＶ毎に、動画データＶの時間軸上の複数のサンプリング時刻にそれぞれ対応する該動画データの映像の静止画像を示す画像データとしてあらかじめ作成された複数のサムネイル画像Ｓ（図１中のＳａ，Ｓｂ）が記憶保持されている。上記複数のサンプリング時刻は、動画データＶ毎に後述するように設定された時刻である。

なお、各動画データＶの時間軸は、該動画データＶの動画映像を先頭の映像から終端の映像まで通常の再生速度（動画映像での時間経過が実際の時間経過と一致する再生速度）で再生させた場合の経過時間を示す時間軸を意味する。

ここで、本実施形態では、動画データＶの各サンプリング時刻に対応して作成されたサムネイル画像Ｓは、該サンプリング時刻における動画データＶの瞬間映像と同等の解像度の静止画像として作成されたサムネイル画像Ｓａと、該サムネイル画像Ｓａよりも低い解像度の静止画像として作成されたサムネイル画像Ｓｂとの２種類のサムネイル画像である。以降、サムネイル画像Ｓａを、高解像度側のサムネイル画像Ｓａ、サムネイル画像Ｓｂを低解像度側のサムネイル画像Ｓｂということがある。

そして、各動画データＶの複数の高解像度側のサムネイル画像Ｓａは、それぞれ各別の画像データとしてデータベース１１に記憶保持されている。

一方、各動画データＶの複数の低解像度側のサムネイル画像Ｓａは、該複数のサムネイル画像Ｓｂを規則的に配列させた形態でひとまとめに合成してなる１つの合成画像Ｓｂｘの画像データに変換されている。そして、この合成画像Ｓｂｘが、複数の低解像度のサムネイル画像Ｓｂをひとまとめに包含する画像データとしてデータベース１１に記憶保持されている。

上記合成画像Ｓｂｘは、図１に例示するように、複数の低解像度側のサムネイル画像Ｓｂを、それぞれに対応するサンプリング時刻の順番でマトリクス状に配列させた形態の合成画像である。従って、各サムネイル画像Ｓｂは、合成画像Ｓｂｘの部分的な画像とされている。

この場合、合成画像Ｓｂｘに含まれる各サムネイル画像Ｓｂは低解像度の画像であるので、該合成画像Ｓｂｘのファイルサイズが過大になるのが防止される。例えば、サムネイル画像Ｓｂの総数（＝サンプリング時刻の総数）が１００〜２００個程度である場合、合成画像Ｓｂｘのファイルサイズを、例えば１〜２ＭＢ程度のサイズに収めることができる。

補足すると、合成画像Ｓｂｘのファイルサイズを抑制しようとすると、合成画像Ｓｂｘに包含する低解像度側のサムネイル画像Ｓｂの個数を多くした場合に、低解像度のサムネイル画像Ｓｂの解像度が低くなり過ぎる。

従って、単一の合成画像Ｓｂｘに包含するサムネイル画像Ｓｂの解像度が低くなり過ぎないように、単一の合成画像Ｓｂｘに包含させるサムネイル画像Ｓｂ個数を所定の上限数以下に制限しておき、サムネイル画像Ｓｂの総数が該上限数を超える場合には、サムネイル画像Ｓｂの総数を２つ以上の合成画像Ｓｂｘに分配するようにしてもよい。

例えば、サムネイル画像Ｓｂの総数が上限数＋α（α≦上限数）であるとした場合、上限数のサムネイル画像Ｓｂを第１の合成画像Ｓｂｘに包含させ、残りのα個のサムネイル画像Ｓｂを第２の合成画像Ｓｂｘに包含させるようにしてもよい。

あるいは、各動画データＶ毎のサムネイル画像Ｓｂの総数（＝サンプリング時刻の総数）を上記上限数以下に制限しておくことで、該総数のサムネイル画像Ｓｂが１つの合成画像Ｓｂｘに収まるようにしてもよい。

各動画データＶの時間軸上の上記複数のサンプリング時刻は、互いに隣り合うサンプリング時刻に対応するサムネイル画像Ｓａ，Ｓａ（又はＳｂ，Ｓｂ）の時刻間隔であるサムネイル画像間時間ΔＴが、該動画データＶの時間軸の時間帯に応じて変化するように動画データＶ毎に設定される。

より詳しくは、本実施形態では、各動画データＶの全体の動画映像は、該映像中のある対象物（例えばスポーツ映像中の競技者等）の動きの変化を詳細に見ることの必要性もしくは要求が高いシーンとしての着目対象のシーンを含む特定の部分時間帯（以降、着目対象時間帯という）の映像部分と、他の時間帯（以降、着目対象外時間帯という）の映像部分と区分される。

そして、図２に示すように、着目対象時間帯におけるサムネイル画像間時間ΔＴ（＝ΔＴａ）は、着目対象外時間帯におけるサムネイル画像間時間ΔＴ（＝ΔＴｂ）よりも短い時間とされている。換言すれば、着目対象時間帯では、サンプリング時刻の時間間隔（＝ΔＴａ）が短めの時間間隔（密な時間間隔）に設定され、着目対象外時間帯では、サンプリング時刻の時間間隔（＝ΔＴｂ）がΔＴａよりも長い長めの時間間隔（疎な時間間隔）に設定されている。

この場合、着目対象時間帯でのサムネイル画像間時間ΔＴａと、着目対象外時間帯でのサムネイル画像間時間ΔＴｂとを適切に設定しておくことで、サムネイル画像Ｓａ，Ｓｂの総数が、過剰に多くならないようにすることができる。ひいては、全ての低解像度側のサムネイル画像Ｓｂを単一の合成画像Ｓｂｘにひとまとめにしても、該合成画像Ｓｂｘのファイルサイズを抑制しつつ、サムネイル画像Ｓｂの解像度が低くなり過ぎないようにすることができる。

なお、サムネイル画像間時間ΔＴａ，ΔＴｂの値は、例えば、あらかじめ定めた固定値でもよいが、動画データＶの動画映像の内容の種別もしくは動画データＶの全体の時間等に応じて、動画データＶ毎に設定してもよい。

上記着目対象時間帯は、本実施形態では、例えば、各動画データＶの任意の着目対象のシーンの映像が、該動画データＶの全体の動画映像のうちのどの時刻の位置にあるか等を示す情報として、該動画データＶの関係者（作成者等）により該動画データＶに付されているメタデータ（タグ、キューポイント等）に基づいて決定されている。

すなわち、上記メタデータにより示される時刻を含む該時刻近辺の部分時間帯が、着目対象時間帯として決定される。

例えば、動画データＶが柔道のスポーツ映像の動画データである場合、多くの場合、競技者の技が決まった時刻近辺のシーンが１つの着目対象のシーンとされ、そのシーンの近辺の時刻を示すメタデータが動画データＶに付されている。そして、この場合、該メタデータにより示される時刻の前後の時間帯（例えば該時刻の前後に所定の時間幅を有する時間帯）が着目対象時間帯として設定される。

また、動画データＶが、例えばサッカーのスポーツ映像の動画データである場合、多くの場合、シュートが行われた時刻の直前のシーンが着目対象のシーンとされ、シュートが行われた時刻を示すメタデータが動画データＶに付されている。そして、この場合、例えば、該メタデータにより示される時刻の直前の時間帯（例えば該時刻から所定時間前までの時間帯）が着目対象時間帯として設定される。

なお、上記のように着目対象時間帯を設定する処理と、その設定に応じて複数のサンプリング時刻を決定してサムネイル画像Ｓａ，Ｓｂを作成する処理とは、例えば、動画サーバ１で適宜のアプリケーションを作動させることで行われる。この場合、動画データの内容の種別と該動画データに付されているメタデータとから自動的に着目対象時間帯の設定し、さらには、複数のサンプリング時刻の設定及び各サンプリング時刻のサムネイル画像Ｓａ，Ｓｂの作成を行うようにすることも可能である。

また、この場合、メタデータを用いて上記の如く仮決定した着目対象時間帯のシーンの映像が所望の着目対象のシーンであるか否かを、適宜の映像分析用のアプリケーションにより自動的に確認した上で、着目対象時間帯を最終的に決定するようにしてもよい。

補足すると、動画データＶが、動画映像に加えて音声データを含む場合には、該音声データに基づいて、着目対象時間帯を設定することもできる。例えば、各種スポーツの試合では、一般に、着目対象のシーン（柔道の試合で競技者の技が決まったシーン、サッカーの試合でシュートが決まったシーン等）の近辺で、観客の歓声が大きくなる。そこで、例えば、音声データの音量又はその音量の単位時間当たりの増加量が所定量以上となる時刻と含む該時刻近辺の時間帯を着目対象時間帯として設定してもよい。

動画サーバ１のデータベース１１には、上記の如く動画データＶと及びサムネイル画像Ｓ（Ｓａ，Ｓｂ）が記憶保持されている。

そして、動画サーバ１は、各端末機２で選択される動画データＶを該端末機２で再生させることが該端末機２との通信によって要求された場合に、ストリーミング方式で該端末機２に伝送するように構成されている。

さらに、動画サーバ１は、端末機２の所定の操作（後述するスライドバー３１の操作）に応じてサムネイル画像Ｓを該端末機２で表示させるために、端末機２との通信によって該サムネイル画像Ｓを該端末機２に伝送するように構成されている。

次に、各端末機２について説明する。各端末機２には、動画ビュワーのアプリケーションが実装されている。そして、端末機２の利用者が、動画ビュワーを起動して、該動画ビュワーの操作を行うことで、端末機２で所望の動画データＶの動画映像等を閲覧することが可能となる。

端末機２で動画ビュワーを起動すると、該端末機２のディスプレイに、図３に示す如き動画ビュワー画面が表示される。

この動画ビュワー画面には、動画データＶの動画映像やサムメイル画像Ｓを表示する領域である映像表示部２１が表示されると共に、閲覧する動画データの選択等を行うためのメニューバー２２、動画映像の再生を一時停止させる一時停止ボタン２３、動画映像を低速の再生速度で逆転方向に再生するための低速逆転再生ボタン２４、動画映像を通常の再生速度で逆転方向に再生するための逆転再生ボタン２５、動画映像を通常の再生速度で順方向に再生するための通常再生ボタン２６、動画映像を低速の再生速度で順方向に再生するための低速再生ボタン２７、動画映像を逆転方向にコマ送りするためのコマ戻しボタン２８、動画映像を順方向にコマ送りするためのコマ送りボタン２９と、映像表示部２１に表示されている動画映像（又はサムネイル画像）が、動画映像の全体のうちのどの時刻の位置の画像であるかを示す再生位置表示部３０、映像表示部２１に表示されている動画映像の時刻位置に応じてスライドするスライドバー３１等を備えている。

スライドバー３１は、動画映像の再生時にその再生時間の経過に応じて自動的にスライド（図示例では、横方向に変位）するほか、利用者が端末機２のマウスあるいは指によりスライド操作することも可能となっている。そして、そのスライド操作時には、映像表示部２１にサムネイル画像Ｓが表示されるようになっている。

次に、動画サーバ１のデータベース１１に記憶保持された動画データＶの動画映像もしくはサムネイル画像Ｓを各端末機２で閲覧する場合の作動を説明する。

動画映像等を閲覧しようとする利用者は、端末機２の動画ビュワーを起動し、動画サーバ１にアクセスする。

そして、利用者が動画ビュワー画面のメニューバー２２を操作することで、所望の動画データＶがそのタイトル等に基づき選択される。この選択に応じて端末機２から動画サーバ１に、低解像度側のサムネイル画像Ｓｂの伝送（ダウンロード）が要求される。

この時、動画サーバ１は、選択された動画データＶに対応する複数のサムネイル画像Ｓｂを合成してなる合成画像Ｓｂｘの画像データを端末機２に伝送する。この場合、合成画像Ｓｂｘのファイルサイズは、さほど大きいものではないので、該合成画像Ｓｂｘが速やかに端末機２にダウンロードされる。そして、該合成画像Ｓｂｘは、端末機２のメモリ、ハードディスク等の記憶部に保存される。

次に、利用者が、選択した動画データＶの動画映像を、端末機２のディスプレイで再生して閲覧しようとする場合には、動画ビュワー画面の通常再生ボタン２６を操作する。このとき、端末機２から動画サーバ１に、動画データＶを端末機２で再生する旨の要求が送信される。これに応じて、動画サーバ１は、動画データＶをストリーミング方式で端末機２に伝送する。

そして、端末機２では、動画ビュワーが、動画ビュワー画面の映像表示部２１に、動画データＶの動画映像をストリーミング方式で再生させる。

なお、動画映像の再生途中に、利用者が動画ビュワー画面の一時停止ボタン２３を操作すると、その操作時点で動画映像が停止して、動画ビュワー画面の映像表示部２１に表示される映像が静止画像となる。

また、通常再生ボタン２６以外の再生ボタン２４，２５，２７、あるいは、コマ送りボタン２９もしくはコマ戻しボタン２８が操作された場合には、それぞれの操作ボタンにより指示された再生形態（スロー再生、逆転再生等）の動画映像が動画サーバ１から端末機２にストリーミング方式で伝送され、該動画映像が、端末機２の映像表示部２１で表示される。

利用者が、選択した動画データＶの動画映像の全体のうちの着目対象のシーンの映像を探索したり、そのシーンの近辺の時間帯での映像中の対象物の動き等を詳細に観察しようとする場合には、利用者は、動画ビュワー画面のスライドバー３１をマウス操作や指により選択して、該スライドバー３１を適宜、スライドさせる。

この場合、スライドバー３１が選択されると、動画ビュワーは、端末機２にダウンロードされた合成画像Ｓｂｘから、スライドバー３１のスライド位置により示される時刻に一致もしくは該時刻に最も近いサンプリング時刻におけるサムネイル画像Ｓｂの領域を抽出し、その領域のサムネイル画像Ｓｂを映像表示部２１に表示させる。この場合、合成画像Ｓｂｘ中の各サムネイル画像Ｓｂは小さいので、動画ビュワーは、抽出したサムネイル画像Ｓｂを拡大して映像表示部２１に表示させる。

そして、利用者は、その映像表示部２１に表示されるサムネイル画像Ｓｂを見ながら、スライドバー３１をスライドさせる。このとき、動画ビュワーが映像表示部２１に表示させるサムネイル画像Ｓｂは、スライドバー３１のスライド位置の変位に応じて切替わっていくこととなる。

また、このとき、スライドバー３１のスライド位置が、動画データＶの着目対象時間帯の時刻に対応する位置である場合には、該スライド位置の単位変位量当たりに映像表示部２１で切替わるサムネイル画像Ｓｂの個数は、スライド位置が動画データＶの着目対象外時間帯の時刻に対応する位置である場合よりも多くなる。

このため、利用者は、映像表示部２１に表示されるサムネイル画像Ｓｂを見ながら、スライドバー３１をスライドさせることで、着目対象のシーンもしくはその近辺のシーンのサムネイル画像Ｓｂを容易に見つけ出すことができる。

次に、利用者は、スライドバー３１のスライド位置を、着目対象のシーンを含む着目対象時間帯の時刻に対応する位置にスライドさせた状態で、瞬時瞬時の映像及びその変化を詳しく観察するために、着目対象時間帯の任意の１つのサムネイル画像Ｓｂを映像表示部２１に表示させることを間欠的に行うように、スライドバー３１のスライド位置を間欠的に動かす。

このとき、端末機２の動画ビュワーは、スライドバー３１のスライド位置が所定時間（例えば１秒程度の時間）以上、継続的に一定に保持された場合、換言すれば、同一のサムネイル画像Ｓｂを映像表示部２１に表示させている状態が所定時間以上、継続された場合には、該サムネイル画像Ｓｂ（これは本発明における低解像度着目画像に相当する）と同じサンプリング時刻での高解像度側のサムネイル画像Ｓａ（これは本発明における高解像度着目画像に相当する）の画像データの送信を動画サーバ１に要求する。

動画サーバ１は、この要求に応じて、端末機２で表示中のサムネイル画像Ｓｂのサンプリング時刻の高解像度側のサムネイル画像Ｓａの画像データを端末機２に伝送する。この場合、動画サーバ１が端末機２に伝送するサムネイル画像Ｓａは、単一の画像であるので、端末機２に素早くダウンロードされる。そして、端末機２の動画ビュワーは、映像表示部２１に表示させるサムネイル画像を、低解像度側のサムネイル画像Ｓｂから、ダウンロードした高解像度側のサムネイル画像Ｓａに切替える。

これにより、利用者は、スライドバー３１のスライド位置に対応するサンプリング時刻での映像（静止画像）を高解像度側のサムネイル画像Ｓａによって鮮明な画像として見ることができる。

図３は、スライドバー３１の操作に応じて上記の如く映像表示部２１に表示されるサムネイル画像Ｓａ（又はＳｂ）の例を模式的に示している。図示例での動画データＶは、例えば体操の床運動で、対象物としての選手が、助走、宙返り、着地を順次行った場合の映像を示す動画データである。

この場合、例えば選手が宙返りを行ったシーンの時間帯が着目対象時間帯、それ以外の時間帯（助走及び着地のシーンの時間帯）は、着目対象外時間帯とされている。従って、選手が宙返りを行ったシーンの時間帯でのサムネイル画像間時間が、他の時間帯のサムネイル画像間時間よりも短い時間間隔とされている。

そして、図３では、スライドバー３１が、選手の宙返りのシーンの時間帯のスライド位置に操作されている。この状態では、宙返りの途中の低解像度側のサムネイル画像Ｓｂが映像表示部２１に一時的に表示された後に、高解像度側のサムネイル画像Ｓａが映像表示部２１に表示される。このサムネイル画像Ｓａにより、利用者は、宙返り途中における選手の瞬時的な姿勢等を詳細に観察することができる。

また、スライドバー３１を微小量ずつ、間欠的にスライドさせて、映像表示部２１に表示させるサムネイル画像Ｓａを順次、間欠的に切り替えていくことで、宙返り途中における微小時間毎の選手の姿勢変化等を詳細に観察することもできる。

以上の如く、利用者は、動画データＶの着目対象時間帯において、短い時間間隔毎の高解像度側のサムネイル画像Ｓａを観察することができる。このため、着目対象のシーンの近辺での動画映像中の対象物の動きの変化等を詳細に観察することできる。ひいては、動画データＶ及びサムネイル画像Ｓａ，Ｓｂを有効に活用することができる。

例えば、動画データＶがスポーツ映像の動画データである場合、着目対象時間帯における個々のサムネイル画像Ｓａ中の選手の動作状態及びその動作状態の変化の確認、分析等を詳細に行うことができる。ひいては、選手の動きの改善や指導の適切な指針を構築することができる。

［第２実施形態］
次に本発明の第２実施形態を説明する。なお、本実施形態では、動画データＶの着目対象時間帯の設定の仕方だけが第１実施形態と相違するものである。そこで、本実施形態の説明は、第１実施形態と相違する事項を中心に行い、第１実施形態と同一の事項については説明を省略する。

第１実施形態では、着目対象時間帯を動画データＶに付されたメタデータ（あるいは、音声データ）に基づいて、設定するようにした。

これに対して、本実施形態では、動画データＶの動画映像の全体のうち、利用者の着目対象のシーンと推定されるシーンの時間帯を動画サーバ１で学習し、その学習結果に応じて着目対象時間帯を設定する。

以下、説明すると、利用者は、端末機２の動画ビュワーを起動した状態で、第１実施形態と同様に、動画データを選択し、該動画データの動画映像を動画ビュワー画面の映像表示部２１で再生させる。

この場合、利用者は、一般に、映像表示部２１に着目対象のシーンの映像が表示されている状態で、動画ビュワーの一時停止ボタン２３を操作して、動画映像の再生を一時停止させることをしばしば行う。従って、動画映像の再生を一時停止させた時のシーンは、利用者の着目対象のシーンである可能性が高い。

そこで、動作ビュワーは、動画映像の再生中に一時停止ボタン２３の操作が行われた場合に、その時刻（動画データＶの時間軸上での時刻）を示すデータを取得し、そのデータ（以降、再生一時停止時刻データという）を端末機２から動画サーバ１に送信する。

動画サーバ１に送信された再生一時停止時刻データは、各動画データ毎に該動画サーバ１で保存される。そして、動画サーバ１は、各動画データＶ毎に、保存した再生一時停止時刻データが既定の所定数以上になった場合に、再生一時停止時刻データにより示される時刻の頻度に基づいて、着目対象時間帯を設定する。

より具体的には、例えば、各動画データＶの全体は複数の時間帯にあらかじめ区分される。そして、動画サーバ１は、その複数の時間帯のうち、再生一時停止時刻データにより示される時刻を所定数以上の頻度で含む時間帯を、着目対象時間帯として設定する。

これにより、動画データＶの再生が一時停止される頻度の高い時間帯が、利用者が実際に着目するシーンを含む時間帯として、学習処理によって設定される。

なお、前記動画サーバ１で収集する前記再生一時停止時刻データを該動画サーバ１に送信する端末機２は、スポーツトレーナ等、専門的な利用者が使用する端末機２に制限されていてもよい。

本実施形態は、以上説明した着目対象時間帯の設定処理以外は、第１実施形態と同じである。

かかる本実施形態では、利用者が動画データの動画映像の再生時に実際に注目するシーンを含む部分時間帯を着目対象時間帯として設定することができる。

なお、以上説明した第１及び第２実施形態では、各動画データＶの全体を着目対象時間帯と着目対象外時間帯との２種類に分類したが、着目対象時間帯をより細かく分類してもよい。すなわち、着目対象時間帯を着目度合の高低に応じて複数段階に分類し、各着目対象時間帯毎に、その着目度合の程度に応じてサムネイル画像間時間を異ならせる（着目度合が高いほど、サムネイル画像間時間をより短くする）ようにしてもよい。

１…動画サーバ、２…端末機。

Claims (4)

1. 動画データを再生する機能を有する端末機と、前記動画データを前記端末機との通信によって該端末機に伝送する動画サーバとを備える動画再生システムにおいて、
   前記動画サーバは、前記動画データの時間軸上での複数のサンプリング時刻のそれぞれに対応する該動画データの静止画像を示す複数のサムネイル画像を、前記端末機からの要求に応じて該端末機に伝送するように構成されていると共に、該複数のサムネイル画像を前記端末機に送信するとき、該複数のサムネイル画像の総数以下の複数のサムネイル画像を、前記動画データの静止画像よりも低い解像度の画像として規則的に配列させた形態で各々包含するように作成された１つ又は複数の合成画像を前記端末機に送信するように構成されており、
   前記端末機は、前記動画サーバから伝送された前記サムネイル画像を表示させるための所定の操作が行われた場合に、該所定の操作により指示されたサンプリング時刻に対応するサムネイル画像を該端末機で表示するように構成されている共に、該所定の操作により指示された時刻に対応するサムネイル画像を表示するとき、該サムネイル画像を含む前記合成画像のうちの該サムネイル画像の配置部分を拡大して表示するように構成されており、
   前記動画サーバが前記端末機に伝送する前記複数のサムネイル画像は、それぞれに対応する前記複数のサンプリング時刻のうちの互いに隣り合うサンプリング時刻の時刻間隔をサムネイル画像間時間と定義したとき、前記動画データの動画映像の全体のうちの着目対象のシーンを含む時間帯として設定された特定の部分時間帯でのサムネイル画像間時間が、他の時間帯でのサムネイル画像間時間よりも短い時間間隔となるように作成されており、
   さらに、前記動画サーバは、前記端末機において同一のサムネイル画像を表示させている時間が所定時間継続した場合に、該サムネイル画像である低解像度着目画像よりも高い解像度で作成されたサムネイル画像である高解像度着目画像を前記端末機に伝送するように構成され、
   前記端末機は、該端末機で表示させるサムネイル画像を、前記低解像度着目画像から前記伝送された高解像度着目画像に切替えるように構成されていることを特徴とする動画再生システム。
2. 請求項１記載の動画再生システムにおいて、
   前記動画データには、該動画データにおける前記着目対象のシーンの時刻を示すメタデータが付されており、前記特定の部分時間帯は、該メタデータにより示される時刻を含むように該メタデータに基づいて設定されていることを特徴とする動画再生システム。
3. 請求項１記載の動画再生システムにおいて、前記動画データには、該動画データの動画映像に対応する音声データが付加されており、前記特定の部分時間帯は、該音声データの音量の大きさ又は該音量の時間的変化に基づいて設定されていることを特徴とする動画再生システム。
4. 請求項１記載の動画再生システムにおいて、
   前記動画サーバは、前記端末機での前記動画データの動画映像の再生の都度、該再生の一時停止が行われた該動画データの時間軸上の時刻を示すデータである再生一時停止時刻データを前記端末機との通信によって取得するように構成されており、前記特定の部分時間帯は、前記再生一時停止時刻データにより示される時刻が他の時間帯よりも高い頻度で含まれる時間帯となるように設定されていることを特徴とする動画再生システム。