JP3894362B2

JP3894362B2 - Multiple moving image viewing apparatus and recording medium

Info

Publication number: JP3894362B2
Application number: JP2001080946A
Authority: JP
Inventors: 康之中島; 広昌柳原; 勝菅野
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2001-03-21
Filing date: 2001-03-21
Publication date: 2007-03-22
Anticipated expiration: 2021-03-21
Also published as: JP2002281454A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の動画像の閲覧装置および記録媒体に関し、特に複数の映像を限られた伝送帯域や復号能力でも効率的に再生・閲覧することができるようにした複数の動画像の閲覧装置および記録媒体に関する。
【０００２】
【従来の技術】
複数の映像を同時再生する従来の第１方式を、図16に示す。図16において、制御部10からの制御により、映像再生部101〜10nは複数の映像データ１〜ｎを蓄積装置11から順次取り出して映像再生部101〜10nに入力させる。映像再生部101〜10nでは映像データを順次読み込んで、画面出力信号、オーディオ出力信号、および現在の再生時刻を表示部17に出力する。表示部17では再生時刻、画面出力信号、およびオーディオ出力信号を取り込んで、再生時刻の表示、画面出力、およびオーディオ出力を行う。
【０００３】
この場合、再生する映像データの個数分の処理負荷がかかるため、例えばソフトウェアで再生処理を行う場合、再生する映像数が限られるというデメリットがある。
【０００４】
複数の映像を同時再生し、指定した時刻から再生する従来の第２方式を図17に示す。図17において、例えば映像再生部101から映像全体の長さが再生長として再生開始時刻設定部201に入力される。再生開始時刻設定部201では再生を行う時刻を設定して、設定時刻を映像再生部101に出力する。映像再生部101では、設定時刻が入力されると、設定時刻付近の映像データの記録位置情報を設定して、蓄積装置11から指定した記録位置からの映像データを取り込んで再生を行う。
【０００５】
再生開始時刻設定部201での再生開始時刻の設定方法としては、以下のような方法が用いられる。
（１）再生開始時刻を直接入力する。
（２）映像全体の長さを100％として、そのうちの指定された比率を再生開始時刻とする。
【０００６】
前記（１）の例としてはタイムコード入力して再生を開始するようなものがある。また、前記（２）の例としては映像プレイヤーの再生位置を示すスクロールバーの位置を調整して再生時刻を設定するものがある。
【０００７】
図18は従来の第３方式を示す。図のように映像データは再生装置とネットワークで接続されたサーバシステムに格納されている。
【０００８】
図18において、制御部10からの制御により、映像再生部101から10nに映像再生を要求する。映像再生部101〜10nではｎ個の映像データ要求信号をネットワーク104を介してサーバシステム102に送出する。サーバシステム102では要求信号をビデオサーバ103で読みこみ、指定された映像データを蓄積装置11からビデオサーバ103に送出する。ビデオサーバ103ではｎ個の映像データをネットワーク104を介してクライアント端末105に送信する。
【０００９】
クライアント端末105では、送られてきた映像データを映像再生部101〜10nに転送する。映像再生部101〜10nでは映像データを読み込んで、画面出力信号やオーディオ出力信号、現在の再生時刻を表示部17に出力する。表示部17では、再生時刻、画面出力信号やオーディオ出力信号を取り込んで、再生時刻の表示、画面出力、オーディオ出力を行う。
【００１０】
また、映像再生部101〜10nから各映像について映像全体の長さが再生長として再生開始時刻設定部201に入力される。再生開始時刻設定部201は、各映像について再生を行う時刻を設定して、設定時刻を映像再生部101〜10nに出力する。映像再生部101〜10nは、設定時刻が入力されると設定時刻付近の映像データの記録位置情報を設定して、蓄積装置11から指定した記録位置からの映像データを取り込んで再生を行う。
【００１１】
再生開始時刻設定部201での再生開始時刻の設定方法としては、前記従来方式の（１）、（２）と同じ方法が用いられる。
【００１２】
【発明が解決しようとする課題】
前記した従来の第２、第３方式では、どの位置にどのような映像が含まれているのかがわからないため、ユーザはいくつかの時刻を設定してその時刻からの再生を試行的に行って目的の映像を見つけ、該目的の映像を再生するようにしている。このため、映像の検索には非常に多くの時間と手間がかかるという問題があった。
【００１３】
また、前記第３の従来方式の場合には、映像を伝送するために必要な帯域は映像の個数に依存するため、多くの映像を同時にネットワーク伝送するためには広帯域の回線が必要になるという問題があった。
【００１４】
本発明の目的は、前記した従来技術の問題点を解消し、蓄積装置に蓄積された映像ファイルやネットワーク接続されたサーバ内の映像ファイルについて、複数の映像ファイルを再生端末の処理負荷を増大させずに再生したり、限られたネットワーク帯域でも映像を伝送して閲覧できるようにしたり、また映像に含まれる映像シーンを閲覧、検索して再生したりすることのできる複数の動画像の配信装置を提供することにある。また、他の目的は、前記閲覧処理できるプログラムを記録したコンピュータ読み込み可能な記録媒体を提供することにある。
【００１６】
【課題を解決するための手段】
前記の目的を達成するために、本発明は指定した映像群の映像記述ファイルを読み込む映像記述ファイル処理手段と、該映像記述ファイルに記述された映像情報で指定された第１の映像の第１本映像ファイルの映像データを順次読み込んで再生する本映像再生手段と、前記映像記述ファイルに記述された映像情報で指定された第２の映像の第２代理映像ファイルの映像データを順次読み込んで再生する代理映像再生手段と、前記本映像再生手段および代理映像再生手段で再生された第１本映像と第２代理映像とを表示する表示手段とを具備し、前記第２代理映像ファイルは、前記第２の映像の本映像ファイルに比べて、ファイルサイズまたは符号化ビットレートを小さくしたものである点に第１の特徴がある。
【００１７】
この特徴によれば、複数の映像を本映像と代理映像から構成して再生するようにしたので、複数の映像を限られた伝送帯域や復号能力でも効率的に再生することができるようになる。
【００１８】
また、本発明は、該第2の代理映像ファイルの再生表示を第2の本映像ファイルの再生表示に変更する手段と、該第1の本映像ファイルの再生表示を第1の代理映像ファイルの再生表示に変更する手段とを具備し、該第2の本映像ファイルの表示画面内または外に、該第1の代理映像ファイルを表示するようにした点に第２の特徴がある。
【００１９】
この特徴によれば、第１の本映像ファイルの再生表示と第２の代理映像ファイルの再生表示との間の変更を、任意に行えるようになる。
【００２２】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。本発明の第１実施形態を、図１を参照して説明する。この実施形態は、本映像ファイルと代理映像ファイルを再生表示するようにしたものである。
【００２３】
図１において、制御部10からの制御により、映像記述ファイル処理部14は指定された映像記述ファイルを蓄積装置11から読み込む。次に、映像記述ファイル処理部14は読み込まれた映像記述ファイルで指定された第1の本映像ファイルを蓄積装置11から順次取り出し、本映像再生部12に入力させる。本映像再生部12は、第1の本映像データを順次読み込んで、画面信号を出力する。表示部17は、本映像再生部12からの画面出力信号やオーディオ出力信号を取り込んで、画面出力およびオーディオ出力を行う。
【００２４】
また、映像記述ファイルで指定された第2の映像の代理映像ファイルを蓄積装置11から順次取り出して代理映像再生部13に入力させる。代理映像再生部12は、第2の代理映像データを順次読み込んで、画面信号を出力する。表示部17は、代理映像再生部13からの画面出力信号やオーディオ出力信号を取り込んで画面出力およびオーディオ出力を行う。
【００２５】
前記映像記述ファイルフォーマットとしては、Ｗ３Ｃ（World Wide Web Consortium）にて標準化されたＳＭＩＬ（Synchronized Multimedia Integration Language）等を用いて記述することができる。
【００２６】
映像記述ファイルフォーマットの１例として、例えば本映像１、代理映像２で構成される場合、下記のように記述することができる。
ＩＤ＃Ｍ１、画像サイズ（ＨＭ１，ＶＭ１）、表示位置（ＸＭ１，ＹＭ１）
ＩＤ＃Ｓ２、画像サイズ（ＨＳ２，ＶＳ２）、表示位置（ＸＳ２，ＹＳ２）
ＩＤ＃Ｍ１、ファイル格納位置＃Ｍ１、ファイル名＃Ｍ１
ＩＤ＃Ｓ２、ファイル格納位置＃Ｓ２、ファイル名＃Ｓ２
代理映像の出力位置については、図２（ａ）のように第1の本映像1の画面内に第2の代理映像2を表示したり、同図（ｂ）のように第1の本映像1の画面の外に第2の代理映像2を表示することができる。
【００２７】
ここで、代理映像ファイルは本映像ファイルに比べて、画像サイズや符号化ビットレートが小さいものを用いることができる。これにより、代理映像を再生するために必要な処理負荷を、本映像の再生に必要な処理負荷に比べて小さくすることができる。
【００２８】
さらに、代理映像ファイルとしては、本映像ファイルにくらべて再生時間が短い要約映像を用いることができる。要約映像としては、図３のような時間要約映像、図４のようなショット要約映像、図５のような静止画像要約映像を用いるようことができる。
【００２９】
時間要約映像の場合は、図3において、まず本映像をある時間間隔T1に分割する。次に分割された各T1区間について、例えば各区間の先頭のT2区間のみを抽出して、これらのT2区間を結合した映像を時間要約として用いる。
【００３０】
シーン要約映像の場合は、図4において、まず本映像を映像の切り替え単位であるショットに分割する。ショット分割の方法としては本出願人による特許出願である特開平１１−２５２５０９号公報等のカット点検出方法を用いることができる。次に各ショットS1、S2、・・・について、例えば各ショットの先頭のT1、T2、・・・区間のみを抽出してこれらの区間を結合した映像をショット要約として用いる。なお、T1、T2、・・・区間の長さとしては、一定の値を用いることや、ショット長に比例して長さを決定することが可能である。さらにショットの中からいくつかの代表ショットを結合してショット映像とすることも可能である。
【００３１】
静止画像要約映像の場合は、図5において、まず本映像から代表静止画像を選択する。選択方法としては、上で述べた時間要約やショット要約で用いた区間の先頭画像などを用いることができる。次にこれらの静止画像を結合して静止画像要約映像を作成する。この場合、代表する静止画像を一定時間表示して次の静止画像に切り替わるようにするために、ある時間間隔のダミー情報Dを付加して作成することにより擬似映像として用いることができる。
【００３２】
また、図１の代理映像再生部１３は本映像再生部１２に比べて、処理負荷の小さな再生処理方式を用いることができる。例えば、再生するフレーム数を一定間隔でサンプリングして再生処理フレーム数を削減して処理負荷を減らす方法がある。また、本出願人の特許出願である特願2000-000950「符号化動画像データ再生装置およびその記録媒体」のように、圧縮データを復号する際に画像情報の一部のみを復号して処理負荷を削減する方法もある。
【００３３】
次に、本発明の第２実施形態を、図６のブロック図を参照して説明する。この実施形態は、コマンド入力を用いて本映像ファイルと代理映像ファイルを切り替えるようにした点に特徴がある。
【００３４】
制御部10からの制御により、映像記述ファイル処理部14は指定された映像記述ファイルを蓄積装置11から読み込み、第１実施形態で述べたように指定された第１の本映像1と第２の代理映像2を表示部１７に表示する。
【００３５】
次に、コマンド入力部１８からの制御により、本映像と代理映像を切り替えるために、制御部10から第2の映像ファイルが指定されると、映像記述ファイル処理部14には第2の本映像ファイルと第1の代理映像ファイルに関する情報が読み込まれる。次いで、該映像記述ファイル処理部14は、第２の本映像ファイルを蓄積装置11から順次取り出して本映像再生部12に入力させ、また第１の代理映像ファイルを代理映像再生部１３に入力させる。
【００３６】
本映像再生部12は、第２の本映像データを順次読み込んで、画面信号を出力する。表示部17は本映像再生部12からの画面出力信号やオーディオ出力信号を取り込んで画面出力およびオーディオ出力を行う。
【００３７】
また、映像記述ファイルで指定された第１の映像の代理映像ファイルを蓄積装置11から順次取り出して代理映像再生部13に入力させる。代理映像再生部13では第１の代理映像データを順次読み込んで、画面信号を出力する。表示部17では代理映像再生部13からの画面出力信号やオーディオ出力信号を取り込んで画面出力およびオーディオ出力を行う。
【００３８】
なお、第1の本映像から第2の本映像に切り替わり、第2の代理映像から第1の代理映像の再生に切り替わる際の再生開始時刻の設定はいくつかの設定方法を利用することができる。
【００３９】
一例として、再生時刻にかかわらず各映像の最初の時刻に設定する方法がある。他の方法として、図７のように第1の本映像の時刻を制御部10に入力して、その時刻を第1の代理映像の再生開始時刻と設定して再生を開始させ、第2の代理映像の時刻を制御部10に入力して、その時刻を第2の本映像の再生開始時刻として再生を開始させることも可能である。
【００４０】
次に、本発明の第３実施形態を、図８を参照して説明する。この実施形態は、コマンド入力を用いて本映像ファイルと複数の代理映像ファイルを切り替えるようにした点に特徴がある。
【００４１】
制御部10からの制御により映像記述ファイル処理部14は映像記述ファイルを蓄積装置11から読み込み、映像記述ファイルで指定された本映像ファイル（例えば第1映像ファイル）が蓄積装置11から本映像再生部12に順次読み込まれ、表示部17で映像を表示する。また映像記述ファイルで記述された代理映像ファイル1〜nが蓄積装置11から代理映像再生部71〜7nに順次読み込まれ、表示部17にｎ個の代理映像が表示される。
【００４２】
次に、コマンド入力部１８からの制御により、本映像を切り替えるために、制御部10からある代理映像ファイル（例えば第ｍ代理映像ファイル）が指定されると、映像記述ファイル処理部14には第ｍ本映像ファイルに関する情報が読み込まれ、第ｍ本映像ファイルを蓄積装置11から順次取り出して本映像再生部12に入力させる。本映像再生部12は、第ｍ本映像データを順次読み込んで、画像を表示する。この場合、再生中の本映像は再生中の代理映像の中の１つが再生されることになる。図９（ａ）に切り替えフロー図を示す。
【００４３】
これらの映像の表示方法については図２と同様に本映像の画面内にｎ個の代理映像を表示する方法や、本映像の画面の外に代理映像を表示する方法などがある。
【００４４】
ｎ個の代理映像再生に必要な処理負荷を本映像に比べて十分小さくすることにより、限られた処理能力を持つ再生装置でも1個の本映像とｎ個の代理映像を再生することができる。
【００４５】
第3実施形態の変形例としては以下のような映像切り替え方法がある。制御部10からの制御により映像記述ファイル処理部14では映像記述ファイルを蓄積装置11から読み込み、映像記述ファイルで指定された本映像ファイル（例えば第０映像ファイル）が蓄積装置11から本映像再生部12に順次読み込まれ表示部17で映像を表示する。また映像記述ファイルで記述された第１〜第ｎ映像ファイルの代理映像ファイル1〜nが蓄積装置11から代理映像再生部71〜7nに順次読み込まれ表示部17にn個の代理映像を表示する。
【００４６】
次に、コマンド入力部１８からの制御により制御部10からある代理映像ファイル（例えば第ｍ代理映像ファイル）が指定されると、第ｍ本映像ファイルを本映像映像再生部12で再生するとともに、映像記述ファイル処理部14では第0代理映像ファイルに関する情報が読み込まれ、第0代理映像ファイルを蓄積装置11から順次第ｍ代理映像再生部に読み込んで第ｍ代理映像の再生を第0代理映像ファイルの再生に切り替えることができる。これにより、常に再生されている本映像と異なった代理映像を再生することができ、映像検索効率を高めることができる。図９（ｂ）に、前記の処理の切り替えフロー図を示す。
【００４７】
次に、本発明の第４の実施形態を、図１０を参照して説明する。この実施形態は、本映像、本映像のシーン画像、および複数の代理映像を表示するようにした点に特徴がある。
【００４８】
図１０において、制御部10からの制御により映像記述ファイル処理部14では指定された映像記述ファイルを蓄積装置11から読み込む。次に、映像記述ファイル処理部１４では読み込まれた映像記述ファイルで指定された第1の本映像ファイルを蓄積装置11から順次取り出して本映像再生部12に入力させる。本映像再生部12は第1の本映像データを順次読み込んで、画面信号を出力する。表示部17は本映像再生部12からの画面出力信号やオーディオ出力信号を取り込んで画面出力およびオーディオ出力を行う。
【００４９】
また、映像記述ファイルで指定された第2の映像の代理映像ファイルを蓄積装置11から順次取り出して代理映像再生部13に入力させる。代理映像再生部13は第2の代理映像データを順次読み込んで、画面信号を出力する。表示部17は代理映像再生部からの画面出力信号やオーディオ出力信号を取り込んで画面出力およびオーディオ出力を行う。
【００５０】
また、制御部10からの制御によりシーン記述ファイル読み込み部91は、第1の本映像ファイルに対応するシーン記述ファイルを蓄積装置11から入力する。
【００５１】
本映像再生部12で得られる現在の再生時刻はシーン記述ファイル読み込み部91と時刻情報列出力部93に入力される。シーン記述ファイル読み込み部91では入力された現在の再生時刻情報に基づいて時刻情報列データと静止画像列データを蓄積装置11から取り出してそれぞれ時刻情報列出力部93と静止画像列出力部94に入力させ、時刻情報列と静止画像列を表示部17で表示する。本映像と代理映像の表示方法については図2のような方法を用いることができる。また、本映像と時刻情報列、静止画像情報列については図11のような表示方法を用いることができる。
【００５２】
表示内容の更新は時刻情報列出力部93にて行う。表示内容の更新のタイミングとしては、再生映像の時刻が時刻情報列の指定された位置の時刻を過ぎたときに表示内容の更新を行うことができる。時刻Tvで再生中の映像をV(Tv)、シーン記述ファイルにおけるn番目の時刻情報をTn、静止画像をPnとするとTvがTn+1以降になった時点で更新することができる。
【００５３】
例えば、本映像の再生映像の時刻TvがTn≦Tv<Tn+1の間は図11(a)のように時刻情報Tnと静止画像Pnを中心に５つの時刻情報列と静止画像列が表示されている。再生映像の時刻TvがTn+1以上になった時点で同図(b)のように時刻情報と静止画像の位置が左に移動し、新たな時刻情報Tn+3と静止画像Pn+3が入力されて右端に表示される。
【００５４】
他の１つの例としては、再生映像の時刻TvがTn≦Tv<Tn+5の間は図12(a)のように時刻情報Tnと静止画像Pnから５つの時刻情報列と静止画像列が表示されている。再生映像の時刻TvがTn+5以上になった時点で同図(b)のようにすべての時刻情報列と静止画像列を消去し、新たな時刻情報Tn+5と静止画像Pn+5から始まる時刻情報列と静止画像列を表示することも可能である。
【００５５】
入力する時刻情報列データとしては、現在の再生時刻前後に位置する時刻情報列データを蓄積装置11に蓄積された時刻情報列ファイルから読み出すことができる。また、静止画像列データとしては、読み出した時刻情報列データに対応した静止画像列を蓄積装置11に蓄積された静止画像ファイルから読み出すことができる。
【００５６】
また、時刻情報列データの内容としては、映像に関するさまざまな記述方法を用いることができる。一例としては、指定されたタイムステップで増加するタイムコード列、映像のシーン切り替わりを示すカット点の先頭のタイムコード列、シーンの中心を示すキーフレーム点のタイムコード列、付随するオーディオの無音から有音に切り替わる点を示すタイムコード列、拍手や笑い声など特定の効果音が発生した時刻を示すタイムコード列、テロップやCG画像など特定の画像発生した時刻を示すタイムコード列、ユーザが任意に指定したタイムコード列、あるいはこれらを組み合わせたタイムコード列などを用いることができる。また、各シーンのスタート時刻と区間長を時刻情報列として用いることもできる。
【００５７】
図13(a)は映像シーン切り替え時刻を時刻情報とし、その時刻の画像を静止画像列として用いる例を示す。図13(b)はシーン内のキーフレーム点の時刻を時刻情報とし、その時刻の画像を静止画像列として用いる例を示す。
【００５８】
なお、シーン記述ファイルを蓄積装置11からシーン記述ファイル読み込み部91に読み込む場合、シーン記述ファイル全体を読み込む場合と固定した時刻情報列と静止画像列に対応するシーン記述ファイルのみ読み込む場合と2種類の方法が可能である。前者の場合はすべての情報を蓄積するので読み込み時間がかかるという問題点があるが、一旦読み込んだあとはシーン記述情報を高速に出力できるという利点がある。一方後者の場合はシーン記述ファイルの読み込み時間は短いが、シーン記述情報の表示を更新するたびにシーン記述情報を蓄積装置11から読み込む必要がある。
【００５９】
次に、本発明の第５の実施形態を、図14を参照して説明する。この実施形態は、コマンド入力部35で指定された映像ファイル情報が配信制御部３４に入力され、配信制御部34からの制御により、コマンド入力部35で指定された映像データが蓄積装置11から順次取り出されて本映像送出部31aおよび／または代理映像送出部31bに入力される。同様に、配信制御部34からの制御によりコマンド入力部35で指定された映像に関するシーン記述データが蓄積装置11から順次取り出されてシーン記述データ送出部32に入力される。
【００６０】
本映像送出部３１ａ、代理映像送出部３１ｂ、およびシーン記述データ送出部32から本および／または代理映像データとシーン記述データがそれぞれ指定されたデータ速度で読み出されてネットワーク送出部33に入力され、それぞれのデータがネットワークに送出される。
【００６１】
本映像送出レートは、映像ファイルのファイルサイズと映像再生時間から単位時間あたりの情報量を計算して決定することができる。また、シーン記述データ送出レートについては、シーン記述ファイルサイズと映像再生時間から単位時間あたりの情報量を計算して決定することができる。また、他の方法として、シーン記述ファイルで最後に表示すべき時刻とシーン記述ファイルサイズから単位時間あたりの情報量を計算して送出レートを決定することができる。
【００６２】
また、コマンド入力部35はネットワーク26経由で接続された端末からの入力をネットワーク受信部36で受信してその情報をコマンド入力として用いてもよい。
【００６３】
次に、本発明の第６の実施形態を、図15を用いて説明する。この実施形態では、まず、制御部10からの制御により、映像記述ファイル処理部14は指定された映像記述ファイルをサーバ２０の蓄積装置11からネットワーク２７を介して読み込む。次に、映像記述ファイル処理部14は読み込まれた映像記述ファイルで指定された本映像ファイル、代理映像ファイルを制御部１０経由でネットワーク送信部53に出力される。また、クライアント装置（端末装置）30のコマンド入力部18で指定された映像ファイル情報が制御部10に入力され、ネットワーク送信部53に出力される。ネットワーク送信部53からネットワーク27を介してサーバ装置20のネットワーク受信部36に入力され、コマンド入力処理がコマンド入力部35を通じて行われ、配信制御部34からの制御により、指定された映像データ群が蓄積装置11から順次取り出されて本映像送出部３１ａに入力される。同様に、配信制御部34からの制御によりコマンド入力部18で指定された映像に関するシーン記述データが蓄積装置30から順次取り出されてシーン記述データ送出部32に入力される。また、映像記述ファイル処理部１４で制御部１０に指定された代理映像が、配信制御部３４からの制御により、代理映像送出部３１ｂに入力される。
【００６４】
本映像送出部31ａ、代理映像送出部３１ｂ、およびシーン記述データ送出部32から、本映像データ、代理映像データおよびシーン記述データがそれぞれ指定されたデータ速度で読み出されてネットワーク送信部33に入力され、それぞれのデータがネットワーク27に送出される。送出された映像データ、代理映像データ、およびシーン記述データはネットワーク27を介してネットワーク受信部51に入力され、キャッシュメモリ52に一時蓄積される。
【００６５】
キャッシュメモリ52から本映像情報、シーン記述情報、代理映像情報は、それぞれ本映像再生部12、シーン記述情報読み込み部91、代理映像再生部13に入力される。映像記述ファイル処理部14の動作は、図10の動作と同様であるので、説明を省略する。
【００６６】
キャッシュメモリ52には、現在表示部17で表示されている本映像情報、代理映像およびシーン記述情報の、次に表示すべき映像情報、代理映像、およびシーン記述情報を、サーバ２０からネットワーク２７を介して逐次読み込んでおく。
【００６７】
一般に、シーン記述情報ファイル容量が大きい場合、シーン記述情報を読み込むたびに大きな帯域を必要となるため、次のシーン記述情報を読み込むまでの時間がかかったり、また映像データを蓄積装置から読み込むための帯域が阻害されたりする可能性がある。しかしながら、上記のキャッシュメモリ52を用いると、シーン記述情報を連続的に表示部17に表示できるようになる。また、シーン記述データを連続的にキャッシュメモリ52に読み込むことでデータ伝送帯域を一定化することができるため、映像データをネットワーク接続された映像配信装置から読み込みに必要な帯域を阻害することがなくなり映像も連続的に再生が可能となる。
【００６８】
前記した各実施形態の映像閲覧装置および映像配信装置は、パソコンにより実現するのが好適であり、該各実施形態の処理のプログラムをコンピュータ読み取り可能なプログラム記録媒体に記録して提供することができる。該記録媒体には、光ディスク、フロッピーディスク、ハードディスクなどの過般型記録媒体が含まれるのは勿論、ネットワークのように、データを一時的に記録保持するような伝送媒体も含まれる。
【００６９】
【発明の効果】
以上のように、本発明によれば、複数の映像を本映像と代理映像から構成し、これらの映像を再生するようにしたので、複数の映像を限られた伝送帯域や復号能力でも効率的に再生することができるようになる。
【００７０】
また、映像に含まれる映像シーンを閲覧、検索して再生することができるようになる。
【００７１】
また、映像の再生に合わせてシーン記述情報を表示することにより、再生中の映像前後の検索、閲覧を効率的に行うことが可能になる。
【００７３】
また、本発明の処理を実現するプログラムをコンピュータ読み取り可能な記録媒体に記録することにより、本発明をコンピュータで実現可能になる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の概略の構成を示すブロック図である。
【図２】本映像と代理映像の表示例を示す図である。
【図３】第１の要約映像の説明図である。
【図４】第２の要約映像の説明図である。
【図５】第３の要約映像の説明図である。
【図６】本発明の第２実施形態の概略の構成を示すブロック図である。
【図７】第２実施形態の変形例を示すブロック図である。
【図８】本発明の第３実施形態の概略の構成を示すブロック図である。
【図９】本映像と代理映像の切替え処理の説明図である。
【図１０】本発明の第４実施形態の概略の構成を示すブロック図である。
【図１１】図１０の表示部に表示される表示例の説明図である。
【図１２】図１０の表示部に表示される他の表示例の説明図である。
【図１３】時刻情報列と静止画像列の一具体例を説明する図である。
【図１４】本発明の第５実施形態の概略の構成を示すブロック図である。
【図１５】本発明の第６実施形態の概略の構成を示すブロック図である。
【図１６】第１の従来装置のブロック図である。
【図１７】第２の従来装置のブロック図である。
【図１８】第３の従来装置のブロック図である。
【符号の説明】
１・・・本映像、２・・・代理映像、１０・・・制御部、１１・・・蓄積装置、１２・・・本映像再生部、１３・・・代理映像再生部、１４・・・映像記述ファイル処理部、１７・・・表示部、１８・・・コマンド入力部、２０・・・サーバ、２６・・・ネットワーク、３０・・・クライアント、３１ａ・・・本映像送出部、３１ｂ・・・代理映像送出部、３２・・・シーン記述データ送出部、３３・・・ネットワーク送信部、３４・・・配信制御部、３６・・・ネットワーク受信部、９１・・・シーン記述ファイル読込部。[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a plurality of moving image viewing devices and recording media, and more particularly to a plurality of moving image viewing devices capable of efficiently reproducing and viewing a plurality of videos with a limited transmission band and decoding capability. And a recording medium.
[0002]
[Prior art]
FIG. 16 shows a conventional first method for simultaneously reproducing a plurality of videos. In FIG. 16, under the control of the control unit 10, the video reproduction units 101 to 10n sequentially take out a plurality of video data 1 to n from the storage device 11 and input them to the video reproduction units 101 to 10n. The video playback units 101 to 10n sequentially read the video data and output the screen output signal, the audio output signal, and the current playback time to the display unit 17. The display unit 17 takes in the reproduction time, the screen output signal, and the audio output signal, and displays the reproduction time, the screen output, and the audio output.
[0003]
In this case, since the processing load is the same as the number of video data to be played back, for example, when playback processing is performed by software, there is a demerit that the number of videos to be played back is limited.
[0004]
FIG. 17 shows a conventional second method for simultaneously reproducing a plurality of videos and reproducing them from a designated time. In FIG. 17, for example, the length of the entire video is input from the video playback unit 101 to the playback start time setting unit 201 as the playback length. The playback start time setting unit 201 sets a playback time and outputs the set time to the video playback unit 101. When the set time is input, the video playback unit 101 sets the recording position information of the video data near the set time, takes in the video data from the specified recording position from the storage device 11, and plays back.
[0005]
As a method for setting the reproduction start time in the reproduction start time setting unit 201, the following method is used.
(1) Enter the playback start time directly.
(2) The length of the entire video is set to 100%, and the designated ratio is set as the playback start time.
[0006]
As an example of the above (1), there is one in which playback is started by inputting a time code. Further, as an example of the above (2), there is one that sets the playback time by adjusting the position of the scroll bar indicating the playback position of the video player.
[0007]
FIG. 18 shows a third conventional method. As shown in the figure, the video data is stored in a server system connected to the playback apparatus via a network.
[0008]
In FIG. 18, video playback is requested to the video playback units 101 to 10n under the control of the control unit 10. The video reproduction units 101 to 10n send n video data request signals to the server system 102 via the network 104. In the server system 102, the request signal is read by the video server 103, and designated video data is transmitted from the storage device 11 to the video server 103. The video server 103 transmits n pieces of video data to the client terminal 105 via the network 104.
[0009]
The client terminal 105 transfers the transmitted video data to the video playback units 101 to 10n. The video playback units 101 to 10n read the video data and output the screen output signal, the audio output signal, and the current playback time to the display unit 17. The display unit 17 captures the reproduction time, the screen output signal, and the audio output signal, and displays the reproduction time, screen output, and audio output.
[0010]
Further, the length of the entire video for each video is input to the playback start time setting unit 201 as the playback length from the video playback units 101 to 10n. The playback start time setting unit 201 sets a playback time for each video, and outputs the set time to the video playback units 101 to 10n. When the set time is input, the video playback units 101 to 10n set the recording position information of the video data near the set time, take in the video data from the recording position specified from the storage device 11, and perform playback.
[0011]
As a method for setting the reproduction start time in the reproduction start time setting unit 201, the same method as in the conventional methods (1) and (2) is used.
[0012]
[Problems to be solved by the invention]
In the above-described conventional second and third methods, it is not known what kind of video is included in which position, so the user sets several times and performs playback from that time on a trial basis. A target video is found and the target video is played back. For this reason, there is a problem that it takes a lot of time and labor to search for the video.
[0013]
In the case of the third conventional system, the bandwidth necessary for transmitting video depends on the number of videos, so a broadband line is required to transmit many videos simultaneously over the network. There was a problem.
[0014]
   An object of the present invention is to solve the above-mentioned problems of the prior art and increase the processing load on a playback terminal for a plurality of video files for video files stored in a storage device or video files in a server connected to a network. Multiple video distribution devices that can be played back, transmitted and viewed over a limited network bandwidth, and browsed, searched, and played back for video scenes included in the video Is to provide.Another object of the present invention is to provide a computer-readable recording medium in which a program that can be browsed is recorded.
[0016]
[Means for Solving the Problems]
  To achieve the above object, the present invention provides a video description file processing means for reading a video description file of a specified video group, and a first specified by video information described in the video description file.First of the videoThis video fileVideo dataTheRead sequentiallyThe video playback means for playback, and the second specified by the video information described in the video description fileSecond in the videoProxy video fileVideo dataTheRead sequentiallyProxy video playback means for playback, and display means for displaying the first main video and the second proxy video played by the main video playback means and the proxy video playback means,SecondThe proxy video fileIn the main video file of the second videoCompared to file size or encoding bit rateThesmallIs a wasteThe point has the first feature.
[0017]
According to this feature, since a plurality of videos are composed of the main video and the proxy video and are played back, the plurality of videos can be played back efficiently even with a limited transmission band and decoding capability. .
[0018]
Further, the present invention provides means for changing the playback display of the second proxy video file to the playback display of the second master video file, and the playback display of the first proxy video file of the first proxy video file. There is a second feature in that the first proxy video file is displayed inside or outside the display screen of the second main video file.
[0019]
According to this feature, it is possible to arbitrarily change between the reproduction display of the first main video file and the reproduction display of the second proxy video file.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. A first embodiment of the present invention will be described with reference to FIG. In this embodiment, the main video file and the proxy video file are reproduced and displayed.
[0023]
In FIG. 1, the video description file processing unit 14 reads the designated video description file from the storage device 11 under the control of the control unit 10. Next, the video description file processing unit 14 sequentially takes out the first main video file designated by the read video description file from the storage device 11 and causes the main video reproduction unit 12 to input it. The main video reproduction unit 12 sequentially reads the first main video data and outputs a screen signal. The display unit 17 takes in the screen output signal and audio output signal from the video playback unit 12 and performs screen output and audio output.
[0024]
Further, the proxy video file of the second video specified by the video description file is sequentially taken out from the storage device 11 and input to the proxy video playback unit 13. The proxy video reproduction unit 12 sequentially reads the second proxy video data and outputs a screen signal. The display unit 17 captures the screen output signal and audio output signal from the proxy video reproduction unit 13 and performs screen output and audio output.
[0025]
The video description file format can be described using SMIL (Synchronized Multimedia Integration Language) standardized by W3C (World Wide Web Consortium).
[0026]
As an example of the video description file format, for example, when composed of the main video 1 and the proxy video 2, it can be described as follows.
ID # M1, image size (HM1, VM1), display position (XM1, YM1)
ID # S2, image size (HS2, VS2), display position (XS2, YS2)
ID # M1, file storage location # M1, file name # M1
ID # S2, file storage location # S2, file name # S2
As for the output position of the proxy video, the second proxy video 2 is displayed on the screen of the first main video 1 as shown in FIG. 2A, or the first main video as shown in FIG. 2B. The second proxy image 2 can be displayed outside the screen of 1.
[0027]
Here, the proxy video file having a smaller image size and encoding bit rate than the main video file can be used. As a result, the processing load necessary for reproducing the proxy video can be reduced as compared with the processing load necessary for reproducing the main video.
[0028]
Further, as the proxy video file, a summary video having a shorter playback time than the main video file can be used. As the summary video, a time summary video as shown in FIG. 3, a shot summary video as shown in FIG. 4, and a still image summary video as shown in FIG. 5 can be used.
[0029]
In the case of a time summary video, in FIG. 3, the video is first divided into certain time intervals T1. Next, for each divided T1 section, for example, only the first T2 section of each section is extracted, and an image obtained by combining these T2 sections is used as a time summary.
[0030]
In the case of a scene summary video, in FIG. 4, the video is first divided into shots that are video switching units. As a shot division method, a cut point detection method such as Japanese Patent Application Laid-Open No. 11-252509, which is a patent application by the present applicant, can be used. Next, for each shot S1, S2,..., For example, only the first T1, T2,... Section of each shot is extracted and an image obtained by combining these sections is used as a shot summary. It is possible to use a fixed value as the length of T1, T2,..., Or to determine the length in proportion to the shot length. Further, it is possible to combine several representative shots from the shots into a shot video.
[0031]
In the case of a still image summary video, in FIG. 5, a representative still image is first selected from the main video. As the selection method, it is possible to use the top image of the section used in the time summary or shot summary described above. Next, these still images are combined to create a still image summary video. In this case, in order to display a representative still image for a certain period of time and switch to the next still image, it can be used as a pseudo image by adding and creating dummy information D at a certain time interval.
[0032]
Further, the proxy video reproduction unit 13 of FIG. 1 can use a reproduction processing method with a smaller processing load than the video reproduction unit 12. For example, there is a method of reducing the processing load by sampling the number of frames to be reproduced at regular intervals to reduce the number of reproduction processing frames. Further, as in Japanese Patent Application No. 2000-000950 “encoded moving image data reproduction apparatus and recording medium thereof” which is a patent application of the present applicant, only a part of image information is decoded and processed when decoding compressed data. There is also a way to reduce the load.
[0033]
Next, a second embodiment of the present invention will be described with reference to the block diagram of FIG. This embodiment is characterized in that the main video file and the proxy video file are switched using command input.
[0034]
Under the control of the control unit 10, the video description file processing unit 14 reads the specified video description file from the storage device 11, and the first main video 1 and the second specified video as described in the first embodiment. The proxy video 2 is displayed on the display unit 17.
[0035]
Next, when the second video file is designated by the control unit 10 in order to switch between the main video and the proxy video under the control of the command input unit 18, the second main video is sent to the video description file processing unit 14. Information about the file and the first proxy video file is read. Next, the video description file processing unit 14 sequentially takes out the second main video file from the storage device 11 and inputs the second main video file to the main video playback unit 12 and inputs the first proxy video file to the proxy video playback unit 13. .
[0036]
The main video reproduction unit 12 sequentially reads the second main video data and outputs a screen signal. The display unit 17 takes in the screen output signal and audio output signal from the video playback unit 12 and performs screen output and audio output.
[0037]
Also, the proxy video file of the first video specified by the video description file is sequentially taken out from the storage device 11 and input to the proxy video playback unit 13. The proxy video reproduction unit 13 sequentially reads the first proxy video data and outputs a screen signal. The display unit 17 captures the screen output signal and audio output signal from the proxy video reproduction unit 13 and performs screen output and audio output.
[0038]
Note that several setting methods can be used to set the playback start time when switching from the first main video to the second main video and switching from the second proxy video to the first proxy video playback. .
[0039]
As an example, there is a method of setting the first time of each video regardless of the playback time. As another method, the time of the first main video is input to the control unit 10 as shown in FIG. 7, the time is set as the playback start time of the first proxy video, and the playback is started. It is also possible to input the time of the proxy video to the control unit 10 and start playback using the time as the playback start time of the second main video.
[0040]
Next, a third embodiment of the present invention will be described with reference to FIG. This embodiment is characterized in that a command input is used to switch between the main video file and a plurality of proxy video files.
[0041]
Under the control of the control unit 10, the video description file processing unit 14 reads the video description file from the storage device 11, and the main video file specified by the video description file (for example, the first video file) is transferred from the storage device 11 to the main video playback unit. 12 are sequentially read, and the video is displayed on the display unit 17. The proxy video files 1 to n described in the video description file are sequentially read from the storage device 11 to the proxy video reproduction units 71 to 7n, and n proxy videos are displayed on the display unit 17.
[0042]
Next, when a proxy video file (for example, the m-th proxy video file) is designated by the control unit 10 in order to switch the main video under the control of the command input unit 18, the video description file processing unit 14 stores the first video. Information on the m video files is read, and the m-th video file is sequentially extracted from the storage device 11 and input to the video playback unit 12. The main video reproduction unit 12 sequentially reads the m-th main video data and displays an image. In this case, one of the proxy videos being played is played back as the main video being played back. FIG. 9A shows a switching flowchart.
[0043]
As for the display method of these videos, there are a method of displaying n proxy videos within the screen of the main video and a method of displaying the proxy videos outside the screen of the main video, as in FIG.
[0044]
By making the processing load required for n proxy video playback sufficiently smaller than that of the main video, one main video and n proxy video can be played back even with a playback device having limited processing capability. .
[0045]
As a modification of the third embodiment, there is the following video switching method. Under the control of the control unit 10, the video description file processing unit 14 reads the video description file from the storage device 11, and the main video file (for example, the 0th video file) designated by the video description file is transferred from the storage device 11 to the main video reproduction unit. 12 are sequentially read and the video is displayed on the display unit 17. The proxy video files 1 to n of the first to nth video files described in the video description file are sequentially read from the storage device 11 to the proxy video playback units 71 to 7n, and n proxy videos are displayed on the display unit 17. .
[0046]
Next, when a proxy video file (for example, the m-th proxy video file) is designated by the control unit 10 under the control of the command input unit 18, the m-th video file is played back by the video video playback unit 12, and The video description file processing unit 14 reads information about the 0th proxy video file, reads the 0th proxy video file sequentially from the storage device 11 to the mth proxy video playback unit, and plays back the mth proxy video file. You can switch to playback. As a result, a proxy video different from the main video that is always being played can be played, and video search efficiency can be improved. FIG. 9B shows a switching flowchart of the above processing.
[0047]
Next, a fourth embodiment of the present invention will be described with reference to FIG. This embodiment is characterized in that a main video, a scene image of the main video, and a plurality of proxy videos are displayed.
[0048]
In FIG. 10, the video description file processing unit 14 reads the designated video description file from the storage device 11 under the control of the control unit 10. Next, the video description file processing unit 14 sequentially takes out the first main video file designated by the read video description file from the storage device 11 and inputs it to the main video reproduction unit 12. The main video reproduction unit 12 sequentially reads the first main video data and outputs a screen signal. The display unit 17 takes in the screen output signal and audio output signal from the video playback unit 12 and performs screen output and audio output.
[0049]
Further, the proxy video file of the second video specified by the video description file is sequentially taken out from the storage device 11 and input to the proxy video playback unit 13. The proxy video reproduction unit 13 sequentially reads the second proxy video data and outputs a screen signal. The display unit 17 captures the screen output signal and the audio output signal from the proxy video reproduction unit and performs screen output and audio output.
[0050]
Further, the scene description file reading unit 91 inputs a scene description file corresponding to the first main video file from the storage device 11 under the control of the control unit 10.
[0051]
The current playback time obtained by the video playback unit 12 is input to the scene description file reading unit 91 and the time information sequence output unit 93. The scene description file reading unit 91 extracts time information sequence data and still image sequence data from the storage device 11 based on the input current playback time information and inputs them to the time information sequence output unit 93 and the still image sequence output unit 94, respectively. The time information sequence and the still image sequence are displayed on the display unit 17. A method as shown in FIG. 2 can be used for the display method of the main video and the proxy video. Further, a display method as shown in FIG. 11 can be used for the main video, the time information sequence, and the still image information sequence.
[0052]
The display contents are updated by the time information string output unit 93. As the timing for updating the display content, the display content can be updated when the time of the reproduced video has passed the time at the specified position in the time information sequence. Assuming that the video being played at time Tv is V (Tv), the nth time information in the scene description file is Tn, and the still image is Pn, it can be updated when Tv becomes Tn + 1 or later.
[0053]
For example, when the time Tv of the playback video of this video is Tn ≦ Tv <Tn + 1, five time information sequences and still image sequences are displayed centering on the time information Tn and the still image Pn as shown in FIG. Has been. When the playback video time Tv is equal to or greater than Tn + 1, the time information and still image position move to the left as shown in Fig. 5 (b), and the new time information Tn + 3 and still image Pn + 3 It is input and displayed at the right end.
[0054]
As another example, when the time Tv of the playback video is Tn ≦ Tv <Tn + 5, as shown in FIG. 12A, five time information sequences and still image sequences are generated from the time information Tn and the still image Pn. It is displayed. When the playback video time Tv is equal to or higher than Tn + 5, all the time information sequence and still image sequence are deleted as shown in (b) of the figure, and new time information Tn + 5 and still image Pn + 5 are used. It is also possible to display a starting time information sequence and a still image sequence.
[0055]
As the time information sequence data to be input, the time information sequence data positioned before and after the current reproduction time can be read from the time information sequence file stored in the storage device 11. As still image sequence data, a still image sequence corresponding to the read time information sequence data can be read out from the still image file stored in the storage device 11.
[0056]
In addition, as the contents of the time information string data, various description methods regarding video can be used. For example, a time code sequence that increases at a specified time step, a time code sequence at the beginning of a cut point that indicates a scene change of a video, a time code sequence at a key frame point that indicates the center of the scene, and the accompanying audio silence Time code string indicating the point at which sound is switched, time code string indicating the time when a specific sound effect such as applause or laughter occurred, time code string indicating the time when a specific image occurred such as a telop or CG image, etc. A specified time code string or a time code string combining these can be used. Also, the start time and section length of each scene can be used as a time information string.
[0057]
FIG. 13 (a) shows an example in which the video scene switching time is used as time information and an image at that time is used as a still image sequence. FIG. 13B shows an example in which the time at the key frame point in the scene is used as time information, and the image at that time is used as a still image sequence.
[0058]
In addition, when reading the scene description file from the storage device 11 into the scene description file reading unit 91, when reading the entire scene description file, when reading only the scene description file corresponding to the fixed time information sequence and still image sequence, there are two types A method is possible. In the former case, since all information is stored, there is a problem that it takes a long time to read. However, once read, there is an advantage that scene description information can be output at high speed. On the other hand, in the latter case, the reading time of the scene description file is short, but it is necessary to read the scene description information from the storage device 11 every time the display of the scene description information is updated.
[0059]
Next, a fifth embodiment of the present invention will be described with reference to FIG. In this embodiment, the video file information specified by the command input unit 35 is input to the distribution control unit 34, and the video data specified by the command input unit 35 is sequentially transmitted from the storage device 11 under the control of the distribution control unit 34. The extracted video is input to the main video transmission unit 31a and / or the proxy video transmission unit 31b. Similarly, scene description data relating to the video designated by the command input unit 35 under the control of the distribution control unit 34 is sequentially extracted from the storage device 11 and input to the scene description data transmission unit 32.
[0060]
The main video transmission unit 31a, the proxy video transmission unit 31b, and the scene description data transmission unit 32 read the main video data and / or the proxy video data and the scene description data at the designated data rates and input them to the network transmission unit 33. Each data is transmitted to the network.
[0061]
This video transmission rate can be determined by calculating the amount of information per unit time from the file size of the video file and the video playback time. The scene description data transmission rate can be determined by calculating the amount of information per unit time from the scene description file size and the video playback time. As another method, the transmission rate can be determined by calculating the amount of information per unit time from the last time to be displayed in the scene description file and the scene description file size.
[0062]
The command input unit 35 may receive an input from a terminal connected via the network 26 by the network receiving unit 36 and use the information as a command input.
[0063]
Next, a sixth embodiment of the present invention will be described with reference to FIG. In this embodiment, first, the video description file processing unit 14 reads the specified video description file from the storage device 11 of the server 20 via the network 27 under the control of the control unit 10. Next, the video description file processing unit 14 outputs the main video file and the proxy video file specified by the read video description file to the network transmission unit 53 via the control unit 10. Also, the video file information specified by the command input unit 18 of the client device (terminal device) 30 is input to the control unit 10 and output to the network transmission unit 53. Input from the network transmission unit 53 to the network reception unit 36 of the server device 20 through the network 27, command input processing is performed through the command input unit 35, and the specified video data group is controlled by the control from the distribution control unit 34. The images are sequentially taken out from the storage device 11 and input to the video transmission unit 31a. Similarly, scene description data relating to the video designated by the command input unit 18 under the control of the distribution control unit 34 is sequentially extracted from the storage device 30 and input to the scene description data transmission unit 32. The proxy video designated by the control unit 10 in the video description file processing unit 14 is input to the proxy video sending unit 31 b under the control of the distribution control unit 34.
[0064]
The main video data, the proxy video data, and the scene description data are read from the main video transmission unit 31a, the proxy video transmission unit 31b, and the scene description data transmission unit 32, respectively, and input to the network transmission unit 33. Each data is sent to the network 27. The transmitted video data, proxy video data, and scene description data are input to the network receiver 51 via the network 27 and temporarily stored in the cache memory 52.
[0065]
The main video information, scene description information, and proxy video information are input from the cache memory 52 to the main video playback unit 12, the scene description information reading unit 91, and the proxy video playback unit 13, respectively. Since the operation of the video description file processing unit 14 is the same as the operation of FIG.
[0066]
The cache memory 52 stores the video information, proxy video, and scene description information to be displayed next to the main video information, proxy video, and scene description information currently displayed on the display unit 17 from the server 20 through the network 27. Read sequentially.
[0067]
In general, when the scene description information file size is large, a large bandwidth is required each time the scene description information is read. Therefore, it takes time until the next scene description information is read, or the video data is read from the storage device. There is a possibility that the band is obstructed. However, when the cache memory 52 is used, the scene description information can be continuously displayed on the display unit 17. Moreover, since the data transmission bandwidth can be made constant by continuously reading the scene description data into the cache memory 52, the bandwidth necessary for reading the video data from the network-connected video distribution device is not obstructed. Video can also be played continuously.
[0068]
The video browsing device and the video distribution device of each embodiment described above are preferably realized by a personal computer, and the processing program of each embodiment can be recorded and provided on a computer-readable program recording medium. . The recording medium includes general-purpose recording media such as an optical disk, a floppy disk, and a hard disk, and also includes a transmission medium that temporarily records and holds data, such as a network.
[0069]
【The invention's effect】
As described above, according to the present invention, since a plurality of videos are composed of a main video and a proxy video and these videos are played back, the plurality of videos can be efficiently transmitted even with a limited transmission band and decoding capability. To be able to play.
[0070]
In addition, a video scene included in the video can be browsed, searched, and reproduced.
[0071]
Further, by displaying the scene description information in accordance with the playback of the video, it becomes possible to efficiently search and browse before and after the video being played back.
[0073]
Further, the present invention can be realized by a computer by recording a program for realizing the processing of the present invention on a computer-readable recording medium.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a display example of a main video and a proxy video.
FIG. 3 is an explanatory diagram of a first summary video.
FIG. 4 is an explanatory diagram of a second summary video.
FIG. 5 is an explanatory diagram of a third summary video.
FIG. 6 is a block diagram showing a schematic configuration of a second embodiment of the present invention.
FIG. 7 is a block diagram showing a modification of the second embodiment.
FIG. 8 is a block diagram showing a schematic configuration of a third embodiment of the present invention.
FIG. 9 is an explanatory diagram of switching processing between the main video and the proxy video.
FIG. 10 is a block diagram showing a schematic configuration of a fourth embodiment of the present invention.
11 is an explanatory diagram of a display example displayed on the display unit of FIG. 10;
12 is an explanatory diagram of another display example displayed on the display unit of FIG. 10;
FIG. 13 is a diagram illustrating a specific example of a time information sequence and a still image sequence.
FIG. 14 is a block diagram showing a schematic configuration of a fifth embodiment of the present invention.
FIG. 15 is a block diagram showing a schematic configuration of a sixth embodiment of the present invention.
FIG. 16 is a block diagram of a first conventional device.
FIG. 17 is a block diagram of a second conventional apparatus.
FIG. 18 is a block diagram of a third conventional apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Main image | video, 2 ... Proxy image | video, 10 ... Control part, 11 ... Accumulator, 12 ... Real image | video reproduction | regeneration part, 13 ... Proxy image | video reproduction | regeneration part, 14 ... Video description file processing unit, 17 ... display unit, 18 ... command input unit, 20 ... server, 26 ... network, 30 ... client, 31a ... video sending unit, 31b .. Proxy video sending unit, 32... Scene description data sending unit, 33... Network sending unit, 34 .. distribution control unit, 36... Network receiving unit, 91. .

Claims

Video description file processing means for reading a video description file of a specified video group;
Video playback means for sequentially reading and playing back video data of the first video file of the first video specified by the video information described in the video description file;
Proxy video reproduction means for sequentially reading and reproducing the video data of the second proxy video file of the second video specified by the video information described in the video description file;
Display means for displaying the first main video and the second proxy video played by the main video playback means and the proxy video playback means;
The second moving image browsing apparatus according to claim 1, wherein the second proxy video file has a smaller file size or encoding bit rate than the main video file of the second video.

The multi-motion image browsing device according to claim 1,
An apparatus for viewing a plurality of moving images, wherein the second proxy video file is reproduced and displayed within or outside the display screen of the first main video file.

The apparatus for browsing multiple moving images according to claim 2,
Means for changing the reproduction display of the second proxy video file to the reproduction display of the second main video file;
Means for changing the playback display of the first main video file to the playback display of the first proxy video file,
An apparatus for browsing a plurality of moving images, wherein the first proxy video file is displayed in or outside the display screen of the second main video file.

Video description file processing means for reading a video description file of a specified video group;
Proxy video playback means for sequentially reading and playing back video data of proxy video files of a plurality of video files specified by the video information described in the video description file;
Means for selecting one video file from the displayed proxy video file;
Means for changing the selected proxy video file to a playback display of the video file;
The proxy video file has a smaller file size or encoding bit rate than the main video file. When switching to the playback display of the main video file, the playback time of the proxy video file is set to the arbitrary video time. A device for browsing a plurality of moving images as a playback start time of the video file.

Video description file processing means for reading a video description file of a specified video group;
Video playback means for sequentially reading and playing back video data of the first video file specified in the video description file;
Proxy video reproduction means for sequentially reading and reproducing the video data of the first to n-th proxy video files specified in the video description file;
Means for selecting an arbitrary proxy video file from the displayed n proxy video files;
Means for switching the displayed first main video file to the main video playback display of the selected proxy main video file,
The proxy video file has a smaller file size or encoding bit rate than the main video file, and when switching to the playback display of the arbitrary main video file, the playback time of the arbitrary proxy video file A plurality of moving image browsing devices with the playback start time of the arbitrary video file.

Video description file processing means for reading a video description file of a specified video group;
A main video reproduction means for sequentially reading and reproducing the video data of the first main video file specified by the video information described in the video description file;
Proxy video reproduction means for sequentially reading and reproducing the video data of the second to n proxy video files specified by the video information described in the video description file;
Means for selecting an arbitrary proxy video file from the reproduced proxy video file;
Means for changing the reproduction display of the selected arbitrary proxy video file to the playback display of the first main video file, and changing the first main video file to the reproduction display of the arbitrary proxy video file. And
The proxy video file is an apparatus for browsing a plurality of moving images in which a file size or an encoding bit rate is smaller than that of the main video file.

The video browsing device for a plurality of moving images according to claim 6,
When switching the arbitrary proxy video file to the playback display of the first main video file, the playback time of the arbitrary main video file is set as the playback start time of the first main video file, and the first main video file is displayed. An apparatus for browsing a plurality of moving images, wherein when the file is switched to the reproduction display of the arbitrary main video file, the reproduction time of the first main video file is set as the reproduction start time of the arbitrary proxy video file. .

In the browsing apparatus of the several moving image in any one of Claim 1 thru | or 7,
Means for reading a scene description file describing a scene in the selected video file;
An apparatus for browsing a plurality of moving images, wherein a scene in the video file is displayed on the display means based on scene information described in the scene description file.

The apparatus for browsing a plurality of moving images according to claim 8.
The apparatus for browsing a plurality of moving images, wherein the scene information described in the scene description file is a scene existing before and after the reproduction time of the video file.

The apparatus for browsing multiple moving images according to claim 8,
The scene information described in the scene description file is time information and a still image,
Means for outputting a time information sequence existing before and after the reproduction time of the video file among the time information;
A unit for outputting a still image sequence corresponding to the time information sequence among the still images,
An apparatus for viewing a plurality of moving images, wherein the time information sequence and the still image sequence are displayed on the display means.

The multi-motion image browsing device according to claim 10,
An apparatus for browsing a plurality of moving images, wherein the display of the time information sequence and the still image sequence is changed in synchronization with the reproduction time of the main video file.

The browsing device according to claim 1,
The browsing apparatus according to claim 1, wherein the proxy video file uses a summary video of the video file.

The browsing device according to claim 12, wherein
An apparatus for browsing a plurality of moving images, wherein the summary video uses a summary video created by combining videos obtained by extracting a part of a section obtained by dividing the video file into predetermined time sections.

The browsing device according to claim 12, wherein
An apparatus for browsing a plurality of moving images, wherein the summary video uses a summary video created by combining videos obtained by extracting a part of each shot section obtained by dividing the video file into shots.

The browsing device according to claim 12, wherein
An apparatus for browsing a plurality of moving images, wherein the summary video uses a summary video created by combining still images obtained by extracting screens at several times in the video file.

Computer
Means for reading a video description file of a specified video group;
Means for reproducing the first main video file of the first video specified by the video information described in the video description file;
Means for reproducing the second proxy video file of the second video, which is specified by the video information described in the video description file and has a smaller file size or encoding bit rate than the main video file ;
A computer-readable recording medium having recorded thereon a program for functioning as means for creating data for displaying the first main video and the second proxy video reproduced by the means.