JP5552712B2

JP5552712B2 - 動画伝送サーバ

Info

Publication number: JP5552712B2
Application number: JP2011183362A
Authority: JP
Inventors: 力宮地
Original assignee: 独立行政法人日本スポーツ振興センター
Priority date: 2011-08-25
Filing date: 2011-08-25
Publication date: 2014-07-16
Anticipated expiration: 2031-08-25
Also published as: JP2013046276A

Description

本発明は、通信ネットワークを介して、クライアント端末に動画データを伝送する動画伝送サーバに関する。

サーバにアップロードされた動画ファイルを、通信ネットワークを介してクライアント端末にダウンロードして再生するときに、動画ファイル全てのダウンロードを完了してから再生を行うようにすると、動画の再生が開始されるまでの利用者の待ち時間が長くなってしまう。そこで、動画ファイルをダウンロードしながら動画の再生を行うようにして、利用者の待ち時間を短縮した「ストリーミング再生」方式でのダウンロードが普及している。

ここで、「ストリーミング再生」方式では、動画の再生順に所定ビットレートで動画データがダウンロードされ、クライアント端末には再生済みの動画データは保持されない。そのため、クライアント端末側で動画データを加工して、逆転再生やスロー再生等のトリック再生を行うことはできない。

そこで、「ストリーミング再生」方式で逆転再生を可能にするため、サーバに通常再生用の動画データと逆転再生用の動画データとを用意しておき、クライアント端末からの逆転再生の要求に応じて、ダウンロードする動画データを通常再生用から逆転再生用に切替える構成が提案されている（例えば、特許文献１参照）。

特開２０００−１２５２６０号公報

特許文献１に記載された構成により、通常再生から逆転再生等のトリック再生に切替える場合には、それまでダウンロードを行っていた通常再生用の動画データのダウンロードを終了して、ダウンロードの対象をトリック再生用の動画データに切替えなければならない。

そのため、再生モードを通常再生からトリック再生に切替える処理に要する時間により、利用者の待ち時間が長くなるという不都合がある。

本発明はかかる背景に鑑みてなされたものであり、ストリーミング再生方式における再生モードの切替時間を短縮することができる動画伝送サーバを提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、本発明の動画伝送サーバは、動画データを、動画データ送信部により、通信ネットワークを介してクライアント端末に所定速度で伝送することによって、該クライアント端末でのストリーミング再生を可能とする動画伝送サーバにおいて、
所定時刻間に所定視点から撮像された対象物の動画データである通常再生動画データに対して、該通常再生動画データの再生速度又は再生順序を変更して生成された再生条件変更動画データと、前記所定時刻間に前記所定視点と異なる視点から撮像された前記対象物の動画データである異視点動画データとのうちの少なくともいずれか一方を含むトリック動画データを結合させて、一つの動画データとしたシリアライズ動画データを保持する動画データ保持部と、
前記動画データ送信部から送信される前記シリアライズ動画データを受信してストリーミング再生を行っている前記クライアント端末から、再生モードを指示する再生モード指示データと、前記所定時刻間内の所定時刻に対応する再生モード変更時点を指示する再生モード変更時点指示データとを受信したときに、前記シリアライズ動画データから、該再生モード指示データにより指示された再生モードに対応する前記通常再生動画データ又は前記トリック動画データにおける、該再生モード変更時点指示データにより指示された再生モード変更時点に対応する位置である再生開始位置を探索する再生開始位置探索部とを備え、
前記動画データ送信部は、前記再生開始位置探索部により前記再生開始位置が探索されたときに、通常のストリーミング再生における動画の再生位置の変更と同様の処理により、送信中の前記シリアライズ動画データの送信箇所を、前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする（第１発明）。

第１発明によれば、前記動画データ保持部により、前記通常再生動画データと前記トリック動画データを結合した前記シリアライズ動画データが保持され、前記再生開始位置探索部は、前記シリアライズ動画データを受信してストリーミング再生を行っている前記クライアント端末から、前記再生モード指示データと前記再生モード変更時点指示データを受信したときに、指示された再生モードに対応する前記通常再生動画データ又は前記トリック動画データにおける、前記再生開始位置を探索する。

そして、前記動画データ送信部は、前記シリアライズ動画データの送信箇所を、前記再生開始位置探索部により探索された前記再生開始位置からに変更する。これにより、前記シリアライズ動画データによるストリーミング再生を継続しつつ、通常のストリーミング再生における動画の再生位置の変更と同様の処理によって、動画の再生モードを切替えることができる。

そのため、前記クライアント端末側には、動画データの再生モードを切替えるための特別なアプリーケーションを用意する必要はない。そして、通常再生用の動画データと、トリック再生用の動画データとを別個のデータとしてサーバに用意し、通常再生とトリック再生の切替を、ストリーミング再生を一端終了して対象とする動画データを切替えることによって行う場合よりも、再生モードの切替に要する時間を短縮することができる。

また、第１発明において、前記再生条件変更動画データには、ストリーミング再生における前記対象物の変位速度が前記通常再生動画データよりも低速になるように生成された低速再生動画データが含まれ、
前記再生開始位置探索部は、前記クライアント端末から、再生モードとして低速再生モードを指示する前記再生モード指示データと、前記再生モード変更時点指示データとを受信したときに、前記シリアライズ動画データから、前記低速再生動画データにおける前記再生開始位置を探索し、
前記動画データ送信部は、送信中の前記シリアライズ動画データの送信箇所を、前記低速再生動画データにおける前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする（第２発明）。

第２発明によれば、前記再生開始位置探索部は、前記クライアント端末から、前記低速再生モードへの切替を指示する前記再生モード指示データと前記再生モード変更時点指示データを受信したときに、前記低速再生動画データにおける前記再生開始位置を探索する。

そして、前記動画データ送信部により、前記シリアライズ動画データの送信箇所が、前記低速再生動画データにおける前記再生開始位置からに変更されるため、前記クライアント端末でストリーミング再生される動画を、前記低速再生動画データによる低速再生の動画に切替えることができる。

また、第１発明又は第２発明において、前記再生条件変更動画データには、ストリーミング再生における前記対象物の時系列変位が前記通常再生動画データと逆転するように生成された逆転再生動画データが含まれ、
前記再生開始位置探索部は、前記クライアント端末から前記再生モードとして逆転再生モードを指示する前記再生モード指示データを受信したときに、前記シリアライズ動画データから、前記逆転再生動画データにおける前記再生開始位置を探索し、
前記動画データ送信部は、送信中の前記シリアライズ動画データの送信箇所を、前記逆転再生動画データにおける前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする（第３発明）。

第３発明によれば、前記再生開始位置探索部は、前記クライアント端末から、前記逆転再生モードへの切替を指示する前記再生モード指示データと前記再生モード変更時点指示データとを受信したときに、前記逆転再生動画データにおける前記再生開始位置を探索する。

そして、前記動画データ送信部により、前記シリアライズ動画データの送信箇所が、前記逆転再生動画データにおける前記再生開始位置からに変更されるため、前記クライアント端末でストリーミング再生される動画を、前記逆転再生動画データによる逆転再生の動画に切替えることができる。

また、第１発明から第３発明のうちのいずれかにおいて、前記再生条件変更動画データには、ストリーミング再生における前記対象物の変位速度が前記通常再生動画データよりも高速になるように生成された高速再生動画データが含まれ、
前記再生開始位置探索部は、前記クライアント端末から前記再生モードとして高速再生モードを指示する前記再生モード指示データを受信したときに、前記シリアライズ動画データから、前記高速再生動画データにおける前記再生開始位置を探索し、
前記動画データ送信部は、送信中の前記シリアライズ動画データの送信箇所を、前記高速再生動画データにおける前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする（第４発明）。

第４発明によれば、前記再生開始位置探索部は、前記クライアント端末から、前記高速再生モードへの切替を指示する前記再生モード指示データと前記再生モード変更時点指示データを受信したときに、前記高速再生動画データにおける前記再生開始位置を探索する。

そして、前記動画データ送信部により、前記シリアライズ動画データの送信箇所が、前記高速再生動画データにおける前記再生開始位置からに変更されるため、前記クライアント端末でストリーミング再生される動画を、前記高速再生動画データによる高速再生の動画に切替えることができる。

また、第１発明から第４発明のうちのいずれかにおいて、前記トリック動画データには、前記所定時刻間に前記所定視点と異なる複数の視点から撮像された複数の前記異視点動画データが含まれ、
前記再生開始位置探索部は、前記クライアント端末から前記再生モードとして多視点再生モードを指示する前記再生モード指示データを受信したときに、前記シリアライズ動画データから、前記各異視点動画データにおける前記再生開始位置を探索し、
前記動画データ送信部は、送信中の前記シリアライズ動画データの送信箇所を、前記各異視点動画データにおける前記再生開始位置から所定時間分ずつに順次変更して、前記シリアライズ動画データの送信を継続することを特徴とする（第５発明）。

第５発明によれば、前記再生開始位置探索部は、前記クライアント端末から、前記多視点再生モードへの切替を指示する前記再生モード指示データと前記再生モード変更時点指示データとを受信したときに、前記各異視点動画データにおける前記再生開始位置を探索する。

そして、前記動画データ送信部により、前記シリアライズ動画データの送信箇所が、前記各異視点動画データにおける前記再生開始位置に順次変更されるため、前記クライアント端末でスリーミング再生される動画を、前記複数の異視点動画データにより視点が順次変更される前記対象物の動画に切替えることができる。

また、第１発明から第５発明のうちのいずれかにおいて、前記トリック動画データには、前記異視点動画データが含まれ、
前記再生開始位置探索部は、前記クライアント端末から前記再生モードとして異視点表示モードを指示する前記再生モード指示データを受信したときに、前記シリアライズ動画データから、前記異視点動画データにおける前記再生開始位置を探索し、
前記動画データ送信部は、送信中の前記シリアライズ動画データの送信箇所を、前記異視点動画データにおける前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする（第６発明）。

第６発明によれば、前記再生開始位置探索部は、前記クライアント端末から、前記異視点表示モードを指示する前記再生モード指示データと前記再生モード変更時点指示データを受信したときに、前記異視点動画データにおける前記再生開始位置を探索する。

そして、前記動画データ送信部により、前記シリアライズ動画データの送信箇所が、前記異視点動画データにおける前記再生開始位置からに変更されるため、前記クライアント端末でストリーミング再生される動画を、前記異視点動画データにより撮像視点が異なる前記対象物の動画に切替えることができる。

次に、本発明の動画伝送システムは、動画データを保持して動画データ送信部により動画データを送信する動画伝送サーバと、前記動画伝送サーバと通信ネットワークを介してデータ通信を行うクライアント端末とを含み、前記クライアント端末は、所定速度で前記動画伝送サーバから伝送される動画データを受信して、ストリーミング再生により表示器に動画を表示する動画伝送システムにおいて、
前記クライアント端末は、前記表示器にストリーミング再生により動画を表示するときに、動画の再生モードを選択するための操作部を併せて表示し、動画再生中に該操作部により再生モードの選択が切替えられたときには、新たに選択された再生モードを指示する再生モード指示データと、再生中であった切替前の再生モードに応じた動画データの再生位置に対応する再生モード変更時点を指示する再生モード変更時点指示データとを、前記動画伝送サーバに送信し、
前記動画伝送サーバは、
所定時刻間に所定視点から撮像された対象物の動画データである通常再生動画データに対して、該通常再生動画データの再生速度又は再生順序を変更して生成した再生条件変更動画データと、前記所定時刻間に前記所定視点と異なる視点から撮像された前記対象物の動画データである異視点動画データとのうちの少なくともいずれか一方を含むトリック動画データを結合して、一つの動画データとしたシリアライズ動画データを保持する動画データ保持部と、
前記動画データ送信部から送信される前記シリアライズ動画データを受信してストリーミング再生を行っている前記クライアント端末から、再生モードを指示する再生モード指示データと、前記再生モード変更時点指示データとを受信したときに、前記シリアライズ動画データから、該再生モード指示データにより指示された再生モードに対応する前記通常再生動画データ又は前記トリック動画データにおける、該再生モード変更時点指示データにより指示された再生モード変更時点に対応する位置である再生開始位置を探索する再生開始位置探索部とを備え、
前記動画データ送信部は、前記再生開始位置探索部により前記再生開始位置が探索されたときに、通常のストリーミング再生における動画の再生位置の変更と同様の処理により、送信中の前記シリアライズ動画データの送信箇所を、前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする（第７発明）。

第７発明によれば、前記クライアント端末の利用者が、前記操作部を操作して再生モードの選択を切替えることによって、前記再生モード指示データと前記再生モード変更時点指示データが前記動画伝送サーバに送信される。

前記動画伝送サーバにおいては、前記通常再生動画データと前記トリック動画データを結合した前記シリアライズ動画データが保持され、前記再生開始位置探索部は、前記クライアント端末から、前記再生モード指示データと前記再生モード変更時点指示データを受信したときに、指示された再生モードに対応する前記通常再生動画データ又は前記トリック動画データにおける、前記再生開始位置を探索する。

次に、本発明の動画伝送方法は、動画データを、動画伝送サーバから通信ネットワークを介してクライアント端末に所定速度で伝送することによって、ストリーミング再生により該クライアント端末の表示器に動画を表示する動画伝送方法であって、
前記動画伝送サーバが、所定時刻間に所定視点から撮像された対象物の動画データである通常再生動画データに対して、該通常再生動画データの再生速度又は再生順序を変更して生成した再生条件変更動画データと、前記所定時刻間に前記所定視点と異なる視点から撮像された前記対象物の動画データである異視点動画データとのうちの少なくともいずれか一方を含むトリック動画データを結合したシリアライズ動画データを保持する動画データ保持ステップと、
前記動画伝送サーバが、前記動画伝送サーバから送信される前記シリアライズ動画データを受信してストリーミング再生を行っている前記クライアント端末から、再生モードを指示する再生モード指示データと、前記所定時刻間の所定時刻に対応する再生モード変更時点を指示する再生モード変更時点指示データとを受信したときに、前記シリアライズ動画データから、該再生モード指示データにより指示された再生モードに対応する前記通常再生動画データ又は前記トリック動画データにおける、該再生モード変更時点指示データにより指示された再生モード変更時点に対応する位置である再生開始位置を探索する再生開始位置探索ステップと、
前記動画伝送サーバが、前記再生開始位置探索ステップにより前記再生開始位置が探索されたときに、通常のストリーミング再生における動画の再生位置の変更と同様の処理により、送信中の前記シリアライズ動画データの送信箇所を、前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続する動画データ送信ステップとを含むことを特徴とする（第８発明）

第８発明によれば、前記動画データ保持ステップにより、前記通常再生動画データと前記トリック動画データを結合した前記シリアライズ動画データが保持され、前記シリアライズ動画データを受信してストリーミング再生を行っている前記クライアント端末から、前記再生モード指示データと前記再生モード変更時点指示データを受信したときに、前記再生開始位置探索ステップにより、指示された再生モードに対応する前記通常再生動画データ又は前記トリック動画データにおける、前記再生開始位置が探索される。

そして、前記動画データ伝送ステップにより、前記シリアライズ動画データの送信箇所が、前記再生開始位置探索部により探索された前記再生開始位置からに変更される。これにより、前記シリアライズ動画データによるストリーミング再生を継続しつつ、通常のストリーミング再生における動画の再生位置の変更と同様の処理によって、動画の再生モードを切替えることができる。

そのため、前記クライアント端末側には、動画データの再生モードを切替えるための特別なアプリケーションを用意する必要はない。そして、通常再生用の動画データと、トリック再生用の動画データとを別個のデータとしてサーバに用意し、通常再生とトリック再生の切替を、ストリーミング再生を一端終了して対象とする動画データを切替えることによって行う場合よりも、再生モードの切替に要する時間を短縮することができる。

次に、本発明の動画伝送用プログラムは、動画データを、動画データ送信部により、通信ネットワークを介してクライアント端末に所定速度で伝送することによって、該クライアント端末でのストリーミング再生を可能とする動画伝送サーバ用のプログラムであって、前記動画伝送サーバを構成するコンピュータを、
前記動画データ送信部と、
所定時刻間に所定視点から撮像された対象物の動画データである通常再生動画データに対して、該通常再生動画データの再生速度又は再生順序を変更して生成された再生条件変更動画データと、前記所定時刻間に前記所定視点と異なる視点から撮像された前記対象物の動画データである異視点動画データとのうちの少なくともいずれか一方を含むトリック動画データを結合させて、一つの動画データとしたシリアライズ動画データを保持する動画データ保持部と、
前記動画データ送信部から送信される前記シリアライズ動画データを受信してストリーミング再生を行っている前記クライアント端末から、再生モードを指示する再生モード指示データと、前記所定時刻間内の所定時刻に対応する再生モード変更時点を指示する再生モード変更時点指示データとを受信したときに、前記シリアライズ動画データから、該再生モード指示データにより指示された再生モードに対応する前記通常再生動画データ又は前記トリック動画データにおける、該再生モード変更時点指示データにより指示された再生モード変更時点に対応する位置である再生開始位置を探索する再生開始位置探索部として機能させると共に、
前記動画データ送信部を、前記再生開始位置探索部により前記再生開始位置が探索されたときに、通常のストリーミング再生における動画の再生位置の変更と同様の処理により、送信中の前記シリアライズ動画データの送信箇所を、前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続するように機能させることを特徴とする（第９発明）。

第９発明の動画伝送サーバ用のプログラムを、前記コンピュータに実行させることによって、前記第１発明における前記動画データ保持部と、前記再生開始位置探索部と、前記動画データ送信部の構成を実現することができる。

動画伝送サーバとクライアント端末間の動画伝送形態の説明図。クライアント端末における動画ビュワーの説明図。動画伝送サーバの作動フローチャート。シリアライズ動画データの説明図。カメラによる撮像画像と通常再生動画データとの対応の説明図。カメラによる撮像画像と逆転再生動画データとの対応の説明図。多視点による撮像により得られる複数の異視点動画データの説明図。多視点再生モードでのシリアライズ動画データの送信態様の説明図。

本発明の動画伝送サーバ及び動画伝送システムの実施形態について、図１〜図８を参照して説明する。

図１を参照して、本実施形態の動画伝送システムは、通信ネットワーク１を介して相互に通信可能とされている動画伝送サーバ１０とクライアント端末２０（２０ａ，２０ｂ，２０ｃ）とにより構成されている。

動画伝送サーバ１０は、各種のスポーツ映像等を記録した動画データを記憶した映像データベース１１と、コンピュータ及びその周辺機器により構成されている。動画伝送サーバを構成するコンピュータに、動画伝送サーバ用のプログラムを実行させることによって、このコンピュータが、動画データ保持部１２、再生開始位置探索部１３、及び動画データ送信部１４として機能する。

クライアント端末２０では、動画ビュワーのアプリケーションが実行可能であり、クライアント端末２０の利用者がこの動画ビュワーを起動すると、ディスプレイ２１（２１ａ，２１ｂ，２１ｃ、本発明の表示器に相当する）に、図２に示した動画ビュワーの画面が表示される。

図２の動画ビュワーの画面には、動画表示部３０の他に、閲覧する映像シーンの選択等を行うためのメニューバー４２、一時停止釦３１、コマ戻し釦３２、コマ送り釦３３、カメラ視点切替釦３４、再生位置スライダー３５、逆転高速再生釦３６、通常高速再生釦３７、逆転再生釦３８、通常再生釦３９、低速再生釦４０、及び再生時刻表示部４１が表示される。

再生位置スライダー３５は、動画データの再生位置に応じて変位し、また、使用者の操作に応じて位置が変更されたときに、変更位置に応じて動画データの再生位置を変更する。

図２のビュワー画面で、利用者がメニューバー４２を操作して、閲覧を希望する映像シーンを選択すると、クライアント端末２０から動画伝送サーバ１０に対して、映像シーン選択データＶＳ-dat（図１参照）が送信される。

また、利用者が３１〜４０の操作釦を操作すると、クライアント端末２０から動画伝送サーバ１０に対して、再生モードを指示する再生モード指示データＰＭＩ-dat（図１参照）と、各再生モードで再生を開始する時点を指示する再生モード変更時点指示データＰＴＩ-dat（図１参照）とが送信される。

具体的には、操作された釦に応じて、以下の表１に示した再生モードを指示する再生モード指示データＰＭＩ-datが送信される。

また、各釦が操作された時点での動画データの再生位置（再生位置スライダー３５の位置）を示す再生モード変更時点指示データＰＴＩ-datが、クライアント端末２０から動画伝送サーバ１０に送信される。なお、利用者により再生位置スライダー３５が操作されたときにも、再生位置スライダー３５の位置に応じた再生位置を示す再生モード変更時点指示データＰＴＩ-datが、クライアント端末２０から動画伝送サーバ１０に送信される。

動画伝送サーバ１０は、クライアント端末２０から送信された再生モード指示データＰＭＩ-datと再生モード変更時点指示データＰＴＩを受信したときに、再生モード指示データＰＭＩ-datにより指示された再生モードで、クライアント端末２０のディスプレイ２１にストリーミング再生により映像を表示させるためストリームデータ１５（図１参照）を送信する処理を実行する。以下、図３に示したフローチャートに従って、動画伝送サーバ１０によるこの処理について説明する。

図３のＳＴＥＰ１は動画データ保持部１２による処理である。動画データ保持部１２は、映像シーン選択データＶＳ-datを受信すると、映像シーン選択データＶＳ-datにより指示された映像シーンの動画データを、映像データベース１１から読み出す。ここで、映像データベース１１には、各映像シーンの各再生モード用の動画データが記憶されている。

動画データ保持部１２は、図４に示したように、映像データベース１１から読み出した各再生モード用の動画データを結合して、一つの動画データ（シリアライズ動画データ５５）を生成する。

なお、ＳＴＥＰ１で、動画データ保持部１２によりシリアライズ動画データ５５を生成する処理は、本発明の動画伝送方法における動画保持ステップに相当する。

また、各再生モード用の動画データのうち、通常再生モードに対して再生条件を変更した再生モード用の動画データ（逆転再生動画データ、低速再生動画データ、コマ戻し再生動画データ、コマ送り再生動画データ、逆転高速再生動画データ、通常高速再生動画データ）が、本発明の再生条件変更動画データに相当する。

また、異視点再生モード及び多視点再生モード用の動画データである異視点動画データと、再生条件変更動画データは、本発明のトリック動画データに相当する。

図４では、通常再生モードに対応した通常再生動画データ５１、逆転再生モードに対応した逆転再生動画データ５２、及び低速再生モードに対応した低速再生動画データ５３を結合して、一つのシリアライズ動画データ５５を生成する例を示している。

図４の上段に示したように、通常再生動画データ５１、逆転再生動画データ５２、及び低速再生動画データ５３が別の動画データとなっているときは、例えば、通常再生モードから逆転再生モードに切替えるためには、それまで行っていた通常再生動画データ５１のストリーム送信をＰ１で中止してから、逆転再生動画データ５２を読み出してＰ２からストリーム送信を開始する必要がある。そのため、再生モードの切替に時間がかかる。

それに対して、図４の下段に示したように、通常再生動画データ５１、逆転再生動画データ５２、及び低速再生動画データ５３が結合されて、一つのシリアライズ動画データ５５になっている場合には、シリアライズ動画データ５５の再生位置を、Ｐ１からＰ２に移動させれば済む。そのため、再生モードの切替時間を短縮することができる。

続くＳＴＥＰ２〜ＳＴＥＰ３は、再生開始位置探索部１３による処理である。再生開始位置探索部１３は、ＳＴＥＰ２で再生モード指示データＰＭＩ-datと再生モード変更時点指示データＰＴＩ-datを受信したときにＳＴＥＰ３に進む。

ＳＴＥＰ３で、再生開始位置探索部１３は、再生モード指示データＰＭＩ-datにより指示された再生モード及び再生モード変更時点指示データＰＴＩ-datにより指示された再生変更時点に対応する再生開始位置を、シリアライズ動画データ５５から探索する。

なお、ＳＴＥＰ３で、再生開始位置探索部が再生開始位置を探索する処理は、本発明の動画伝送方法の再生開始位置探索ステップに相当する。

図４の例は、通常再生モードでＰ１の再生位置であるときに、逆転再生モードが選択された場合を示している。この場合、再生開始位置探索部１３は、逆転再生動画データの再生位置Ｐ１に対応する再生位置であるＰ２を、逆転再生モードでの再生開始位置として探索する。

ここで、図５は、カメラによりある時点０〜ｔeの間（本発明の所定時刻間に相当する）に撮像された撮像画像データ６０と、シリアライズ動画データ５５との対応関係を示したものである。撮像画像データ６０は所定の撮像サイクル毎のフレームデータｆ(1)〜ｆ(n)により構成され、シリアライズ動画データ５５の通常再生動画データ５１は、位置Ｐns〜Ｐneに保持されている。

通常再生動画データ５１は、カメラによる撮像画像データ６０と同一方向のストリームデータであり、フレームデータｆ(1)〜ｆ(n)がカメラによる撮像画像データ６０と同一順序で、クライアント端末２０に伝送される。

カメラによる撮像画像データ６０における撮像時点ｔm（以下、実時点ｔmという）に対応するシリアライズ動画データ５５での通常再生動画データ５１の位置Ｐnm（以下、論理時点Ｐnmという）との間には、以下の式（１）の関係が成り立つ。

但し、ｔm：カメラの撮像画像における撮像時点（実時点）、Ｐnm：ｔmに対応するシリアライズ動画データ５５での通常再生動画データ５１の位置（論理時点）、Ｌe：カメラの撮像時間（０〜ｔe）、Ｐns：通常再生動画データの開始位置、Ｐne：通常再生動画データの終了位置。

また、図６は、撮像画像データ６０と、シリアライズ動画データ５５に含まれる逆転再生動画データ５２との対応関係を示したものである。シリアライズ動画データ５５において、逆転再生動画データ５２は、Ｐrs〜Ｐreの位置に保持されている。

逆転再生動画データ５２は、カメラによる撮像画像データ６０と逆方向のストリームデータであり、フレームデータｆ(1)〜ｆ(n)がカメラによる撮像画像データ６０と逆方向の順序で、クライアント端末２０に伝送される。

通常再生動画データ５１の論理時点Ｐnmに対応する逆転再生動画データ５２の論理時点Ｐrmは、上記式（１）で算出した実時点ｔmから、以下の式（２）により算出することができる。

但し、ｔm：カメラの撮像画像における撮像時点（実時点）、Ｐrm：ｔmに対応するシリアライズ動画データ５５での通常再生動画データ５１の位置（論理時点）、Ｌe：カメラの撮像時間（０〜ｔe）、Ｐrs：逆転再生動画データの開始位置、Ｐre：逆転再生動画データの終了位置。

再生開始位置探索部１３は、上記式（１），式（２）により、再生モード変更時点指示データＰＴＩ-datにより指示された通常再生動画データ５１の論理時点Ｐnmに対応する、逆転再生動画データ５２の論理時点Ｐrmを算出する。そして、再生開始位置探索部１３は、この論理時点Ｐrmを、逆転再生動画データ５２の再生開始位置Ｐstとして動画データ送信部１４に指示する。

なお、図５，図６では、通常再生モードから逆転再生モードに切替える例を示したが、他の再生モードの切替についても、切替前の再生モードに対応した動画データの論理時点に応じた撮像画像データ６０の実時点を、上記式（１）と同様の関係式により算出し、撮像画像データ６０の実時点から切替後の再生モードに対応した動画データの論理時点を、上記式（２）と同様の関係式により算出することにより、切替後の再生モードに対応した動画データの再生開始位置Ｐstを算出することができる。

次に、図３のＳＴＥＰ４は、動画データ送信部１４による処理である。動画データ送信部１４は、再生開始位置探索部１３により算出された再生開始位置Ｐstから、シリアライズ動画データ５５を、所定のビットレートでクライアント端末２０に送信する。クライアント端末２０は、このシリアライズ動画データ５５を受信することで、切替後の再生モードの動画を動画ビュワーにより表示することができる。

なお、動画データ送信部１４によるＳＴＥＰ４の処理は、本発明の動画伝送方法の動画データ送信ステップに相当する。

続くＳＴＥＰ５〜ＳＴＥＰ７は、クライアント端末２０の利用者が、さらに再生モードを切替える操作を行った場合に対応するための処理である。ＳＴＥＰ５〜ＳＴＥＰ６は再生開始位置探索部１３による処理であり、再生開始位置探索部１３は、クライアント端末２０から再生モード指示データＰＭＩ-datと再生モード変更時点指示データＰＴＩ-datを受信したときに、ＳＴＥＰ６に進む。

ＳＴＥＰ６で、再生開始位置探索部１３は、上述したＳＴＥＰ３と同様に、再生モード指示データＰＭＩ-datにより指示された再生モードと、再生モード変更時点指示データＰＴＩ-datにより指示された論理時点とに基づいて、再生開始時点Ｐstを探索する。

続くＳＴＥＰ７は動画データ送信部１４による処理である。動画データ送信部１４は、シリアライズ動画データ５５の送信箇所を、再生開始位置探索部１３により探索された再生開始時点Ｐstからに変更して、シリアライズ動画データ５５の送信を継続する。これにより、クライアント端末２０では、再生モードを切替えて動画ビュワーにより動画を再生することができる。

次に、図７〜図８を参照して、多視点再生モードが選択された場合の動画伝送サーバ１０の処理について説明する。

図７は、柔道競技の映像シーンについて、多視点再生モード用の動画データを生成する例を示したものであり、柔道競技者Ｊを、全周囲方向と上方から９台のカメラ（第１カメラ８１，第２カメラ８２，…，第９カメラ８９）により撮像して生成された９個の動画データ９１〜９９が、映像データベース１１に記憶されている。

各動画データ９１〜９９は、０〜ｔeの時間分の長さをもったストリーミングデータであり、同一の実時点ｔmでのフレームデータを切出すことで、実時点ｔmにおける柔道競技者Ｊの全周囲と上方からの画像を取得することができる。

次に、図８を参照して、再生開始位置探索部１３は、再生モード指示データＰＭＩ-datにより、多視点再生モードが指示されると、再生モード変更時点指示データＰＴＩ-datにより指示された、多視点再生モードに切替えられる前の再生モードでの論理時点Ｐbmから算出された実時点ｔbmに対応する、各カメラの動画データ９１〜９９の論理時点Ｐ1m〜Ｐ9mを、再生開始時点Ｐstとして探索する。

そして、動画データ送信部１４は、再生開始位置探索部１３により探索された各カメラの動画データ９１〜９９の再生開始時点Ｐst（Ｐ1m，Ｐ2m，…，Ｐ9m）でのフレームデータｆ1(Ｐ1m)〜ｆ9m(Ｐ9m）を、順次クライアント端末２０に送信する。

このフレームデータｆ1(Ｐ1m)〜ｆ9(Ｐ9m)のストリームデータ１００を受信したクライント端末２０では、動画ビュワーによりストリームデータ１００を再生することにより、柔道競技者Ｊを３６０度の周囲と上方から見た映像を連続的に表示することができる。この場合、利用者は、柔道競技者Ｊの姿勢を全周囲と上方から確認することができるため、競技状況を詳細に分析することができる。

なお、この場合のフレームデータｆ1(Ｐ1m)〜ｆ9(Ｐ9m)の１フレームの再生時間が本発明の所定時間分に相当する。また、１フレームずつではなく、動画データ９１〜９９の数フレーム分ずつの動画データをクライアント端末２０に送信するようにしてもよい。

そして、クライアント端末２０の利用者は、図２の動画ビュワーのカメラ視点切替釦３４のカメラ番号１〜９を選択することで、選択した番号のカメラの動画データを続けて再生することができる（異視点再生モード）。

なお、本実施形態では、図３のＳＴＥＰ１で、動画データ保持部１２によりシリアライズ動画データ５５を生成したが、予めシリアライズ動画データ５５を生成して映像データベース１１に記憶しておくようにしてもよい。この場合には、動画データ保持部１２は、映像データベース１１からシリアライズ動画データ５５を読み出せばよい。

また、本実施形態では、本発明のトリック画像として、再生条件変更動画データと異視点動画データの双方を、通常再生動画データに結合させてシリアライズ動画データを生成したが、再生条件変更動画データと異視点動画データとの少なくともいずれか一方を、通常再生動画データに結合させることで、本発明の効果を得ることができる。

１…通信ネットワーク、１０…動画伝送サーバ、１１…映像データベース、１２…動画データ保持部、１３…再生開始位置探索部、１４…動画データ送信部、２０…クライアント端末、２１…クライアント端末のディスプレイ、３０…画像表示部、３１…一時停止釦、３２…コマ戻し釦３２、３３…コマ送り釦、３４…カメラ視点切替釦、３５…再生位置スライダー、３６…逆転高速再生釦、３７…通常高速再生釦３９…通常再生釦、３９…逆転再生釦、４０…低速再生釦、４１…再生時刻表示部、５５…シリアライズ動画データ。

Claims

動画データを、動画データ送信部により、通信ネットワークを介してクライアント端末に所定速度で伝送することによって、該クライアント端末でのストリーミング再生を可能とする動画伝送サーバにおいて、
所定時刻間に所定視点から撮像された対象物の動画データである通常再生動画データに対して、該通常再生動画データの再生速度又は再生順序を変更して生成された再生条件変更動画データと、前記所定時刻間に前記所定視点と異なる視点から撮像された前記対象物の動画データである異視点動画データとのうちの少なくともいずれか一方を含むトリック動画データを結合させて、一つの動画データとしたシリアライズ動画データを保持する動画データ保持部と、
前記動画データ送信部から送信される前記シリアライズ動画データを受信してストリーミング再生を行っている前記クライアント端末から、再生モードを指示する再生モード指示データと、前記所定時刻間内の所定時刻に対応する再生モード変更時点を指示する再生モード変更時点指示データとを受信したときに、前記シリアライズ動画データから、該再生モード指示データにより指示された再生モードに対応する前記通常再生動画データ又は前記トリック動画データにおける、該再生モード変更時点指示データにより指示された再生モード変更時点に対応する位置である再生開始位置を探索する再生開始位置探索部とを備え、
前記動画データ送信部は、前記再生開始位置探索部により前記再生開始位置が探索されたときに、通常のストリーミング再生における動画の再生位置の変更と同様の処理により、送信中の前記シリアライズ動画データの送信箇所を、前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする動画伝送サーバ。
請求項１に記載の動画伝送サーバにおいて、
前記再生条件変更動画データには、ストリーミング再生における前記対象物の変位速度が前記通常再生動画データよりも低速になるように生成された低速再生動画データが含まれ、
前記再生開始位置探索部は、前記クライアント端末から再生モードとして低速再生モードを指示する前記再生モード指示データを受信したときに、前記シリアライズ動画データから、前記低速再生動画データにおける前記再生開始位置を探索し、
前記動画データ送信部は、送信中の前記シリアライズ動画データの送信箇所を、前記低速再生動画データにおける前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする動画伝送サーバ。
請求項１又は請求項２に記載の動画伝送サーバにおいて、
前記再生条件変更動画データには、ストリーミング再生における前記対象物の時系列変位が前記通常再生動画データと逆転するように生成された逆転再生動画データが含まれ、
前記再生開始位置探索部は、前記クライアント端末から前記再生モードとして逆転再生モードを指示する前記再生モード指示データを受信したときに、前記シリアライズ動画データから、前記逆転再生動画データにおける前記再生開始位置を探索し、
前記動画データ送信部は、送信中の前記シリアライズ動画データの送信箇所を、前記逆転再生動画データにおける前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする動画伝送サーバ。
請求項１から請求項３のうちいずれか１項に記載の動画伝送サーバにおいて、
前記再生条件変更動画データには、ストリーミング再生における前記対象物の変位速度が前記通常再生動画データよりも高速になるように生成された高速再生動画データが含まれ、
前記再生開始位置探索部は、前記クライアント端末から前記再生モードとして高速再生モードを指示する前記再生モード指示データを受信したときに、前記シリアライズ動画データから、前記高速再生動画データにおける前記再生開始位置を探索し、
前記動画データ送信部は、送信中の前記シリアライズ動画データの送信箇所を、前記高速再生動画データにおける前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする動画伝送サーバ。
請求項１から請求項４のうちいずれか１項に記載の動画伝送サーバにおいて、
前記トリック動画データには、前記所定時刻間に前記所定視点と異なる複数の視点から撮像された複数の前記異視点動画データが含まれ、
前記再生開始位置探索部は、前記クライアント端末から前記再生モードとして多視点再生モードを指示する前記再生モード指示データを受信したときに、前記シリアライズ動画データから、前記各異視点動画データにおける前記再生開始位置を探索し、
前記動画データ送信部は、送信中の前記シリアライズ動画データの送信箇所を、前記各異視点動画データにおける前記再生開始位置から所定時間分ずつに順次変更して、前記シリアライズ動画データの送信を継続することを特徴とする動画伝送サーバ。
請求項１から請求項５のうちいずれか１項に記載の動画伝送サーバにおいて、
前記トリック動画データには、前記異視点動画データが含まれ、
前記再生開始位置探索部は、前記クライアント端末から前記再生モードとして異視点表示モードを指示する前記再生モード指示データを受信したときに、前記シリアライズ動画データから、前記異視点動画データにおける前記再生開始位置を探索し、
前記動画データ送信部は、送信中の前記シリアライズ動画データの送信箇所を、前記異視点動画データにおける前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする動画伝送サーバ。
動画データを保持して動画データ送信部により動画データを送信する動画伝送サーバと、前記動画伝送サーバと通信ネットワークを介してデータ通信を行うクライアント端末とを含み、前記クライアント端末は、所定速度で前記動画伝送サーバから伝送される動画データを受信して、ストリーミング再生により表示器に動画を表示する動画伝送システムにおいて、
前記クライアント端末は、前記表示器にストリーミング再生により動画を表示するときに、動画の再生モードを選択するための操作部を併せて表示し、動画再生中に該操作部により再生モードの選択が切替えられたときには、新たに選択された再生モードを指示する再生モード指示データと、再生中であった切替前の再生モードに応じた動画データの再生位置に対応する再生モード変更時点を指示する再生モード変更時点指示データとを、前記動画伝送サーバに送信し、
前記動画伝送サーバは、
所定時刻間に所定視点から撮像された対象物の動画データである通常再生動画データに対して、該通常再生動画データの再生速度又は再生順序を変更して生成した再生条件変更動画データと、前記所定時刻間に前記所定視点と異なる視点から撮像された前記対象物の動画データである異視点動画データとのうちの少なくともいずれか一方を含むトリック動画データを結合して、一つの動画データとしたシリアライズ動画データを保持する動画データ保持部と、
前記動画データ送信部から送信される前記シリアライズ動画データを受信してストリーミング再生を行っている前記クライアント端末から、再生モードを指示する再生モード指示データと、前記再生モード変更時点指示データとを受信したときに、前記シリアライズ動画データから、該再生モード指示データにより指示された再生モードに対応する前記通常再生動画データ又は前記トリック動画データにおける、該再生モード変更時点指示データにより指示された再生モード変更時点に対応する位置である再生開始位置を探索する再生開始位置探索部とを備え、
前記動画データ送信部は、前記再生開始位置探索部により前記再生開始位置が探索されたときに、通常のストリーミング再生における動画の再生位置の変更と同様の処理により、送信中の前記シリアライズ動画データの送信箇所を、前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続することを特徴とする動画伝送システム。
動画データを、動画伝送サーバから通信ネットワークを介してクライアント端末に所定速度で伝送することによって、ストリーミング再生により該クライアント端末の表示器に動画を表示する動画伝送方法であって、
前記動画伝送サーバが、所定時刻間に所定視点から撮像された対象物の動画データである通常再生動画データに対して、該通常再生動画データの再生速度又は再生順序を変更して生成した再生条件変更動画データと、前記所定時刻間に前記所定視点と異なる視点から撮像された前記対象物の動画データである異視点動画データとのうちの少なくともいずれか一方を含むトリック動画データを結合したシリアライズ動画データを保持する動画データ保持ステップと、
前記動画伝送サーバが、前記動画伝送サーバから送信される前記シリアライズ動画データを受信してストリーミング再生を行っている前記クライアント端末から、再生モードを指示する再生モード指示データと、前記所定時刻間の所定時刻に対応する再生モード変更時点を指示する再生モード変更時点指示データとを受信したときに、前記シリアライズ動画データから、該再生モード指示データにより指示された再生モードに対応する前記通常再生動画データ又は前記トリック動画データにおける、該再生モード変更時点指示データにより指示された再生モード変更時点に対応する位置である再生開始位置を探索する再生開始位置探索ステップと、
前記動画伝送サーバが、前記再生開始位置探索ステップにより前記再生開始位置が探索されたときに、通常のストリーミング再生における動画の再生位置の変更と同様の処理により、送信中の前記シリアライズ動画データの送信箇所を、前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続する動画データ送信ステップと
を含むことを特徴とする動画伝送方法。
動画データを、動画データ送信部により、通信ネットワークを介してクライアント端末に所定速度で伝送することによって、該クライアント端末でのストリーミング再生を可能とする動画伝送サーバ用のプログラムであって、前記動画伝送サーバを構成するコンピュータを、
前記動画データ送信部と、
所定時刻間に所定視点から撮像された対象物の動画データである通常再生動画データに対して、該通常再生動画データの再生速度又は再生順序を変更して生成された再生条件変更動画データと、前記所定時刻間に前記所定視点と異なる視点から撮像された前記対象物の動画データである異視点動画データとのうちの少なくともいずれか一方を含むトリック動画データを結合させて、一つの動画データとしたシリアライズ動画データを保持する動画データ保持部と、
前記動画データ送信部から送信される前記シリアライズ動画データを受信してストリーミング再生を行っている前記クライアント端末から、再生モードを指示する再生モード指示データと、前記所定時刻間内の所定時刻に対応する再生モード変更時点を指示する再生モード変更時点指示データとを受信したときに、前記シリアライズ動画データから、該再生モード指示データにより指示された再生モードに対応する前記通常再生動画データ又は前記トリック動画データにおける、該再生モード変更時点指示データにより指示された再生モード変更時点に対応する位置である再生開始位置を探索する再生開始位置探索部として機能させると共に、
前記動画データ送信部を、前記再生開始位置探索部により前記再生開始位置が探索されたときに、通常のストリーミング再生における動画の再生位置の変更と同様の処理により、送信中の前記シリアライズ動画データの送信箇所を、前記再生開始位置からに変更して、前記シリアライズ動画データの送信を継続するように機能させることを特徴とする動画伝送サーバ用プログラム。