JP4356343B2

JP4356343B2 - コンテンツ要約再生システム

Info

Publication number: JP4356343B2
Application number: JP2003107195A
Authority: JP
Inventors: 光一寺田; 藤井　　由紀夫
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-04-11
Filing date: 2003-04-11
Publication date: 2009-11-04
Anticipated expiration: 2023-04-11
Also published as: JP2004320092A

Description

【０００１】
【発明の属する技術分野】
本発明は、多量のコンテンツを視聴する際に、コンテンツ本体とは別に、コンテンツ内容に関するダイジェスト情報を供給する技術に関するものであり、特にデジタルビデオコンテンツを配信するためのビデオサーバ装置、該配信を受けるビデオ再生端末装置、及びこれらを用いたビデオ配信システムに関する。
【０００２】
【従来の技術】
近年のデジタル映像処理技術の発達に伴い、多量のデジタル映像コンテンツが流通し始めている。これらのコンテンツを効率的に流通させるため、また、視聴者の限られた時間を有効に利用させるため、コンテンツのダイジェスト情報を提供するための技術の発達が著しい。
【０００３】
コンテンツのダイジェスト情報は、例えば対象コンテンツが映画であれば、その映画に関する各種の属性、例えば製作年や製作者に関わる情報などのほか、映画配給直前に使用された予告ＣＭ映像などが利用されることがある。対象コンテンツがスポーツ中継映像のようなものであれば、コンテンツ配信を開始する前に人間がコンテンツを視聴し、重要と思われるシーンにタグを打つなどして部分的に抜き出し、抜き出した映像をダイジェスト情報として利用することもある。
【０００４】
このような技術としては、例えば、特開平１１−１９６３８５号公報に示されているようなものがある。
【０００５】
しかし、以上述べたような従来技術には、以下に述べるような課題があった。
【０００６】
映像を含むコンテンツを販売する場合、映像情報を含むダイジェスト情報の有無は、宣伝効果に大きな差を生むであろうことが予想される。このような映像ダイジェスト情報は、近年配給された映画のようなコンテンツであれば予告ＣＭ映像などを流用することが可能であるものの、一般的にはコンテンツ本体を元にして生成するほかないのが現状である。
【０００７】
映像コンテンツ本体を元にして映像ダイジェスト情報を生成する場合、コンテンツのうちのどの部分がダイジェストに適当であるかを判断し、映像を部分的に抜き出す必要が生じる。この抜き出すための作業は、従来から人間がコンテンツを視聴してタグ打ちするなどの方法により行ってきた。しかし近年の研究により、対象コンテンツが限られてはいるものの、計算機による自動作業が行えるようになってきている。このような研究としては、例えば、非特許文献１に示されるようなものがある。
【０００８】
しかしいずれの方法においても、予めダイジェスト映像情報を生成しておく方式であることから、生成されるダイジェスト映像情報の長さは、生成時に一意に決定されてしまう。つまり、例えば２時間分のコンテンツのダイジェストを生成し、これが１分の映像となった場合、ダイジェスト映像を見たい視聴者にとっては、必ず１分間の視聴時間が必要となる。仮にこの視聴者がもっと短いダイジェストを欲していたとしても、１分間のダイジェスト映像をもっと短縮して視聴することができないことになる。同様に、もう少し詳しいダイジェスト映像がほしいと思ったとしても、そのような視聴方法をとることはできない。
【０００９】
このような視聴者向けに、複数のダイジェスト映像、例えば１分間版のほかに、１５秒版や３分間版を用意したりすることは可能である。しかし、このような点に関しては視聴者の要求は細分化する傾向にあり、早晩３０秒版や２分間版を用意せざるを得なくなる可能性が高い。また、このような要求にこたえるためには、前記のような人間によるタグ打ちによる方法では、タグ打ちの際に複数の重み付けを持ったタグを打っていく必要が生じるため、タグ打ちのコストが大幅に上昇することが予想される。
【００１０】
【特許文献１】
特開平１１−１９６３８５号公報
【非特許文献１】
益満健他「映像重要度を用いたパーソナライズ要約映像作成手法」、電子情報通信学会論文誌Ｄ−ＩＩＶｏｌ．Ｊ８４−Ｄ−ＩＩＮｏ．８、ｐｐ．１８４８−１８５５、２００１
【非特許文献２】
ＤａｎｉｅｌＤｅＭｅｎｔｈｏｎ，ＶｉｋｒａｎｔＫｏｂｌａ，ＤａｖｉｄＤｏｅｒｍａｎｎ，“ＶｉｄｅｏＳｕｍｍａｒｉｚａｔｉｏｎｂｙＣｕｒｖｅＳｉｍｐｌｉｆｉｃａｔｉｏｎ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅｓｉｘｔｈＡＣＭｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉｍｅｄｉａ１９９８，Ｂｒｉｓｔｏｌ，ＵｎｉｔｅｄＫｉｎｇｄｏｍ，ｐｐ．２１１−２１８，１９９８
【００１１】
【発明が解決しようとする課題】
本発明の目的は、利便性が高く効率の良いデジタルコンテンツ要約再生システムを得ることにある。
【００１２】
【課題を解決するための手段】
上記課題は、
デジタルコンテンツを要約して再生時間を短縮する方法において、
該要約する方法は、デジタルコンテンツを時間軸で分割し、分割した要素それぞれについてその重要度を評価し、評価値の高い要素のみを再生する方法であって、
該再生時間の短縮方法は、指定された再生時間となるように評価値の高い要素から順に選択する方法であって、
再生時間の短縮率はデジタルコンテンツ再生時に指定される、
とすることによって解決される。
【００１３】
【発明の実施の形態】
以下、本発明の実施例について、図面を用いて説明する。
〔第一実施例の説明〕
図１に本発明の第一の実施例を示す。図１において、１はビデオサーバシステム、２はビデオ再生端末システムである。また、１０１はビデオエンコード手段、１０２はビデオストリーム保持手段、１０３はダイジェスト生成手段、１０４はダイジェストインデックス情報送出手段、１０５はビデオストリーム送出手段である。また、２０１はダイジェストインデックス情報要求手段、２０２は部分ビデオストリーム要求手段、２０３は部分ビデオストリーム一時保持手段、２０４はビデオストリーム一時保持手段、２０５はダイジェストインデックス選択整形手段、２０６はビデオデコード手段、２０７はビデオ表示手段である。
【００１４】
次に図１を用いて、本実施例の動作について説明する。
【００１５】
ビデオサーバシステム１に対してコンテンツ画像が入力されると、ビデオエンコード手段１０１がこれを例えばＭＰＥＧ方式などによりエンコードし、エンコード結果をビデオストリーム保持手段１０２に保存する。もちろん、既にエンコードされたビデオストリームを直接にビデオストリーム保持手段１０２に入力しても良いが、本明細書では説明の簡単のため省略する。
【００１６】
ユーザはビデオ再生端末システム２を操作し、コンテンツの選択を行い、選択の結果をビデオサーバシステムに伝達する。ここで選択や伝達に用いる手段は、例えばコンテンツタイトル名をリストから選択しても良いし、画像の一部を示した一覧から選択しても良い。このような選択手段等については、従来から利用されている技術を用いればよいため、本明細書では説明を省略する。
【００１７】
選択されたコンテンツの情報がビデオサーバシステムに伝えられると、ビデオサーバシステムは必要なビデオストリームを取り出し、ダイジェスト生成手段１０３によって該ビデオストリームに対応するダイジェストインデックスを生成する。
【００１８】
ここでダイジェストインデックスは、対応するビデオストリームの全フレームに整数の番号を振り、各フレームを重要と思われる順に並べ替え、並べ替えた結果のフレーム番号を列挙したものである。図２にダイジェストインデックスの例について示す。この例では、１０３４番目のフレームが全コンテンツ中で最も重要と思われるフレームであり、以下順に、２６番目、５４４番目、３９番目、１６６７番目のフレームが重要であると判断されたことを示す。仮に、対応するビデオストリームが１０万フレームの長さを持つとすると、これを例えば１０００倍速で視聴するためには、ダイジェストインデックスの先頭１００個のフレーム番号を取得し、これを昇順にソートし、対応するフレームを順に表示することで、所望の速度でのダイジェスト視聴が可能となる。
【００１９】
ダイジェストインデックス生成のための演算方式自体は、本発明では特に触れないが、例えば、前記非特許文献２に示されているような方法を利用することを想定している。もちろん、ダイジェストインデックス生成のための演算方式については、上記文献によるものに限ることなく、任意の方式を利用しても良い。
【００２０】
さて、本実施例では、ビデオサーバシステムによって生成されたダイジェストインデックス情報が、ダイジェストインデックス送出手段１０４によってビデオ再生端末システムに伝達される。ビデオ再生端末システムがダイジェストインデックス情報を取得すると、ダイジェストインデックス選択整形手段２０５は、別途ユーザによって指定された再生速度に基づいて、ダイジェストインデックスの先頭部分を必要個数だけ取り出す。これを昇順にソートし、ソート結果をビデオサーバシステムへ伝達する。なお、このソート処理自体は、ビデオ再生端末システム側で行う必要はなく、構成によってはビデオサーバシステム側で行っても良い。また、ダイジェストインデックスの先頭部分を必要個数だけ取り出す処理自体についても、これをビデオ再生端末システム側で行う必要はなく、必要な再生速度情報をビデオ再生端末システムからビデオサーバシステムに伝達し、ビデオサーバシステム側でダイジェストインデックスの切り出しを行っても構わない。
【００２１】
次に、ビデオサーバシステムが再生すべきダイジェストインデックスを取得すると、ストリーム送出手段１０５は、該インデックス情報に基づいて対応するビデオストリームを送出し、ビデオ再生端末システムはこれを受け取ってダイジェスト再生を行う。
【００２２】
ダイジェスト再生前、再生中もしくは再生終了後のしかるべきタイミングで、ビデオサーバシステムは主ストリームを送出し、ビデオ再生端末システムはこれを受け取って主ストリーム保持手段２０４に一時保存し、ユーザにコンテンツを視聴させるための処理を行う。
【００２３】
なお、主コンテンツの視聴が有料であるならば、ビデオ再生端末システムがビデオストリーム本体を取得した段階で課金することが想定される。また、もしダイジェスト再生のみを無料とするならば、再生速度に下限を設定したり、ダイジェストインデックス生成対象をビデオストリームの先頭など一部分に限るといった制限が必要となる。
〔第二実施例の説明〕
次に、本発明の別の実施例について説明する。
【００２４】
図３に本発明の第二の実施例を示す。図３において、１はビデオサーバシステム、２はビデオ再生端末システムである。また、１０１はビデオエンコード手段、１０２はビデオストリーム保持手段、１０３はダイジェスト生成手段、１０４はダイジェストインデックス情報送出手段、１０５はビデオストリーム送出手段、１０６は部分ストリーム読み出し手段、１０７はビデオデコード手段、１０８はビデオエンコード手段、１０９は部分ストリーム送出手段である。また、２０１はダイジェストインデックス情報要求手段、２０２は部分ビデオストリーム要求手段、２０３は部分ビデオストリーム一時保持手段、２０４はビデオストリーム一時保持手段、２０５はダイジェストインデックス選択整形手段、２０６はビデオデコード手段、２０７はビデオ表示手段である。
【００２５】
なお、ビデオエンコード手段１０８及びビデオデコード手段２０６は、それぞれ複数の方式によるエンコード手段、及びデコード手段を保持していても良い。
【００２６】
次に図３を用いて、本実施例の動作について説明する。
【００２７】
ビデオサーバシステム１に対してコンテンツ画像が入力されると、ビデオエンコード手段１０１がこれを例えばＭＰＥＧ方式などによりエンコードし、エンコード結果をビデオストリーム保持手段１０２に保存する。
【００２８】
ユーザはビデオ再生端末システム２を操作し、コンテンツの選択を行い、選択の結果をビデオサーバシステムに伝達する。
【００２９】
選択されたコンテンツの情報がビデオサーバシステムに伝えられると、ビデオサーバシステムは必要なビデオストリームを取り出し、ダイジェスト生成手段１０３によって該ビデオストリームに対応するダイジェストインデックスを生成する。
【００３０】
ビデオサーバシステムによって生成されたダイジェストインデックス情報は、ダイジェストインデックス送出手段１０４によってビデオ再生端末システムに伝達される。ビデオ再生端末システムが受け取ったダイジェストインデックス情報は、ダイジェストインデックス選択整形手段２０７に送られ、ここで別途ユーザによって指定された再生速度に基づいて、ダイジェストインデックスの先頭部分が必要個数だけ取り出される。これを昇順にソートし、部分ストリーム要求としてビデオサーバシステムへ伝達する。
【００３１】
ビデオサーバシステムがダイジェストインデックス情報を含んだ部分ストリーム要求を受け取ると、部分ストリーム読み出し手段１０６は、該インデックス情報に基づいてビデオストリームを部分的に読み出す。これを元に、ビデオデコード手段１０７及びビデオエンコード手段１０８を介し、部分ストリームを生成する。生成結果を部分ストリーム送出手段１０９が受け取り、ビデオ再生端末システムへと送出する。
【００３２】
ここでビデオサーバシステムが送出する部分ストリームは、元々ビデオストリーム保持手段が持っているＭＰＥＧ形式のデータの一部分でも良いし、エンコーダによってＪＰＥＧ形式やＭＰＥＧ形式でエンコードしなおしたりしたものでもよく、その形式には依存しない。例えば、ユーザが要求したビデオ再生速度が十分高速である場合は、再生すべきフレーム相互間の相関性が低いことが予想されるため、ＪＰＥＧ形式による再エンコードが最も高い処理効率を得る、といったことが期待できる。このような条件においては、ＪＰＥＧエンコーダを選択し、部分ストリームとしてＭｏｔｉｏｎＪＰＥＧ形式のデータを送出してもよい。
【００３３】
ビデオ再生端末システムはビデオサーバシステムから送出される部分ストリームを受け取り、部分ストリーム一時保持手段２０３にこれを一時保存し、ダイジェスト再生を行う。部分ストリームとして複数の形式によるストリームが送られてくるため、ビデオ再生端末システム内のデコード手段２０６はこれら複数の形式に対応したデコード手段を持ち、必要に応じて切り替えて動作するよう制御される。
【００３４】
ダイジェスト再生前、再生中もしくは再生終了後のしかるべきタイミングで、ビデオサーバシステムは主ストリームを送出し、ビデオ再生端末システムはこれを受け取って主ストリーム保持手段２０４に一時保存し、ユーザにコンテンツを視聴させるための処理を行う。
【００３５】
ここで、複数の形式に対応したビデオエンコード手段及びビデオデコード手段については、複数のビデオエンコーダ及びビデオデコーダを個別に搭載することで実現しても良いし、単一の演算装置に複数のソフトウエアを組み込みことで複数の形式に対応するのでも良い。
【００３６】
また、ビデオ再生端末システムが、自らがサポートするビデオデコード手段の一覧をビデオサーバシステムへ伝達しておき、ビデオサーバシステムは、一覧の中から最も効率よく処理可能なエンコード形式を選択するような構成としても良い。なお、サポート可能なビデオデコード手段の一覧を伝達するのは、ビデオサーバシステムへ部分ストリームを要求する時点で行うのが効率が良いと考えられる。
〔第三実施例の説明〕
次に、本発明のさらに別の実施例について説明する。
【００３７】
図４に本発明の第三の実施例を示す。図４において、１はビデオサーバシステム、２はビデオ再生端末システムである。また、１０１はビデオエンコード手段、１０２はビデオストリーム保持手段、１０３はダイジェスト生成手段、１０４はダイジェストインデックス情報送出手段、１０５はビデオストリーム送出手段である。また、２０１はダイジェストインデックス情報要求手段、２０２は部分ビデオストリーム要求手段、２０３は部分ビデオストリーム一時保持手段、２０４はビデオストリーム一時保持手段、２０５はダイジェストインデックス選択整形手段、２０６はビデオデコード手段、２０７はビデオ表示手段である。また、４０１は伝送路性能検出手段である。
【００３８】
次に図４を用いて、本実施例の動作について説明する。本実施例の動作は、前述の第一実施例の動作と一点を除き同一である。第一実施例と異なる動作となるのは、次の点である。第一実施例において、ビデオ再生端末システムに対する再生速度入力はユーザによって外部から行われていた。本実施例においては、ビデオサーバシステム及びビデオ再生端末システムの双方が具備する伝送路性能検出手段４０１によって、ビデオ再生端末システムにおける再生速度が自動的に決定される。
【００３９】
これは例えば、ビデオサーバシステムとビデオ再生端末システムの間が高速の伝送路で接続されている場合は、比較的多くのデータを短時間に伝送することができることから、低い速度での再生が可能であるが、両者の間の伝送路が低速である場合には、伝送すべきデータ量を削減し、見かけ上の再生速度を速くすることが必要になるためである。
【００４０】
もちろんこのような構成であっても、再生速度を全て機械が決定するのではなく、制限を設けてその範囲内で人間が所望の再生速度を設定する、といった方式でも良い。例えば、伝送路速度が十分でない場合には、通常選択可能な１００倍速はメニューに現れず、最小でも５００倍速になる、といった制限が想定できる。
〔第四実施例の説明〕
次に、本発明のさらに別の実施例について説明する。
【００４１】
図５に本発明の第四の実施例を示す。図５において、１１は画像監視サーバシステム、１２は監視センタ制御端末システム、１３は監視画像再生端末システムである。また、１０１はビデオエンコード手段、１０２はビデオストリーム保持手段、１０３はダイジェスト生成手段、１０４はダイジェストインデックス情報送出手段、１０５はビデオストリーム送出手段、１１０は警報制御手段である。また、２０１はダイジェストインデックス情報取得手段、２０２は部分ビデオストリーム要求手段、２０３は部分ビデオストリーム一時保持手段、２０４はビデオストリーム一時保持手段、２０５はダイジェストインデックス選択整形手段、２０６はビデオデコード手段、２０７はビデオ表示手段である。また、３０１は部分ビデオストリーム一時保持手段、３０２はビデオデコード手段、３０３はビデオ表示手段である。
【００４２】
次に図５を用いて、本実施例の動作について説明する。
【００４３】
ここで、画像監視サーバシステム１１は、映像による監視を行おうとしている監視対象サイト近傍に設置されることを想定し、また、監視センタ制御端末システム１２は、該監視システムを統括する中央監視センタのような場所に設置されることを想定し、また、監視画像再生端末１３は、移動体や、各種公的機関（警察、消防等）に設置されることを想定している。
【００４４】
画像監視サーバシステム１１は、監視対象を映し出すカメラに接続されていることを想定する。監視カメラから入力される画像は、エンコード手段１０１によってエンコードされ、ビデオストリーム保持手段１０２に保存される。カメラからの入力画像はダイジェスト生成手段１０３にも供給され、リアルタイムもしくは一定時間間隔でダイジェストインデックスを生成する。
【００４５】
次に、監視対象に関する何らかの異常を操作スイッチやセンサなどにより検出した場合、警報入力が警報制御手段１１０に入力される。この入力をトリガとして、ダイジェストインデックス送出手段１０４は、その時点で求められていたダイジェストインデックス情報を、監視センタ制御端末システムに向けて送出する。なお、このとき同時に、どこに設置されている画像監視サーバシステムであるかを示す情報や、どのようなトリガによって発生した警報かを示す情報を、同時に送出するという方法も考えられる。
【００４６】
監視センタ制御端末システムがこの警報を受け取ると、予め設定してある再生速度情報に基づき、ダイジェストインデックスの選択及びソート処理などを行い、部分ストリーム要求を画像監視サーバシステムに向けて送出する。この際、必要であればオペレータ等が介在して、再生速度を変更しても良い。
【００４７】
画像監視サーバシステム１１が部分ストリーム要求を受け取ると、これに含まれるダイジェストインデックス情報に基づいてビデオストリーム保持手段１０２に格納されているビデオストリームの一部分を抜き出し、部分ストリームとして送出を行う。
【００４８】
監視センタ制御端末システム１２は、この部分ストリームを受け取ると、部分ストリーム一時保持手段２０３にこれを一時保存し、ストリームの表示処理を行う。オペレータはこれを視聴し、もし必要であれば再生速度の調整を行い、再度、部分ストリーム要求を送出しても良い。
【００４９】
画像監視サーバシステム１１から送出される部分ストリームは、監視センタ制御端末システム１２だけに送られるのではなく、監視画像再生端末１３にも送られる。この端末は比較的単純な構成であり、部分ストリームを再生する機能だけを持つ。画像監視サーバシステムから受け取った部分ストリームは、部分ビデオストリーム保持手段３０１にいったん保存され、次に新しい部分ストリームを受け取るまで繰り返し再生表示を行う。
【００５０】
このような動作により、監視画像中の重要フレームだけを先に送出することで、たとえ移動体への伝送路が低速であったとしても、問題解決に役立つであろう高解像度の画像を各端末に対して送ることができる。例えば、火災による高温をセンサが検知して警報を発した場合、火元の場所はどこで何が燃え始めたのか、人間は残っていないか、周辺に危険物はないか、といった消火に役立つと思われる重要な情報を、迅速に関係各所に送付することができる。
【００５１】
なお、本実施例では、監視センタ制御端末にいったんダイジェストインデックスを送り、これを送付しなおすことで部分ストリームの送出が始まるようになっているが、これに制限されるものではなく、監視センタ制御端末システムとの通信を行う前に、画像監視サーバシステムが自律的に予め指定されていた再生速度情報によって部分ストリームを生成し、これを自動的に送出する、といった構成でも構わない。
【００５２】
また、必ずしも全ての監視画像再生端末に向けて部分ストリームを送出する必要はなく、監視センタ制御端末システムにおいて何らかの制約条件を送付していても構わない。例えば、監視対象サイトの近隣に位置している監視画像再生端末に向けてだけ、部分ストリームを送付する、といった制約をかけてもよい。
〔実施例の別方式の説明〕
次に、以上述べた実施例においては、以下に述べる特徴を併せ持つことができる。この特徴について、図６を用いて説明する。
【００５３】
図６は、上記実施例において、ビデオサーバシステム１からストリームが送出され、これをビデオ再生端末システム２が受け取り、いったんストリーム一時保持手段に格納したものを再生表示する動作の部分について、説明のため部分的に抜き出したものである。
【００５４】
図６において、１０２はビデオストリーム保持手段、１０５はストリーム送出手段、２０４はビデオストリーム一時保持手段、２０６はビデオデコード手段、２０７はビデオ表示手段である。
【００５５】
始めに、ｓｔｅｐ１００１において、部分ストリームの送出が行われる。ストリーム送出手段１０５は、別途指定されたビデオストリームの一部分を送出する。これを受け取ったビデオ再生端末システム２は、単一のビデオストリーム一時保持手段中の、当該部分ストリームが本来占めるべき位置にこれを格納していく。この結果、図６に模式的に示すように、部分ストリームは、ビデオストリーム一時保持手段２０４をストライプ状に占有するように格納される。
【００５６】
次に、ｓｔｅｐ１００２において、部分ストリームの再生表示と、これに平行して主ストリーム全体の送出が行われる。ビデオデコード手段２０６によってストライプ状に格納された部分ストリームが読み出され、これがデコードされて表示処理される。一方、ストリーム送出手段１０５は、ビデオストリーム１０２に格納されているストリームのうち、先ほど部分ストリームとして送出しなかった部分だけを、順に送出する。これを受け取ったビデオ再生端末システム２は、先ほど部分ストリームを格納しなかった残りの部分に対して、受け取ったストリームを格納していく。この処理によって最終的には、ビデオストリーム一時保持手段２０４は、先頭から順々にビデオストリーム全体が格納されたのと同じ状態となる。
【００５７】
次に、ｓｔｅｐ１００３において、ストリーム全体の再生表示が行われる。前のステップが完了した時点で、ビデオストリーム一時保持手段２０４にはストリーム全体が正しい順序で格納されていることになるため、これを先頭から順にデコードすることで、ストリーム全体の再生を行うことができる。
【００５８】
以上のような処理を行うことによって、部分ストリーム用の専用ストリーム保持手段を用意することなく、単一のストリーム保持手段によってビデオ再生端末システムを構築することができる。これにより構成の単純化を図ることができる。
〔第五実施例の説明〕
次に、以上述べた実施例は、何れも部分ストリームと主ストリームの２段階に分けた伝送を行うものであるが、ダイジェストインデックスによって重要なフレームと判断されたものから順に伝送を行う方法がある。
【００５９】
この方法の例として、さらに別に実施例について説明する。
【００６０】
図７に本発明の第五の実施例を示す。図７において、１はビデオサーバシステム、２はビデオ再生端末システムである。また、１０１はビデオエンコード手段、１０２はビデオストリーム保持手段、１０３はダイジェスト生成手段、１０５はビデオストリーム送出手段、１１１はビデオストリーム構造情報保持手段、１１２は部分ストリーム選択手段、１１３はシステム制御手段である。また、２０４はビデオストリーム一時保持手段、２０５はダイジェストインデックス選択整形手段、２０６はビデオデコード手段、２０７はビデオ表示手段、２０８はストリーム要求手段、２０９はダイジェストインデックス一時保持手段である。
【００６１】
次に図７を用いて、本実施例の動作について説明する。
【００６２】
ビデオサーバシステム１に画像が入力されると、ビデオエンコード手段１０１によってＭＰＥＧ等のエンコードが行われ、ビデオストリーム保持手段１０２に保存される。またこのとき、ビデオエンコード手段１０１は、エンコードの際に使用したストリーム構造情報を出力し、ストリーム構造情報保持手段１１１がこれを格納する。ここでストリーム構造情報は、例えばＭＰＥＧによるエンコードを仮定すると、フレームデータがフレーム間相関を利用してエンコードされているかどうか、どのフレームとの間の相関を用いたエンコードか、といった情報である。
【００６３】
次に、ユーザがコンテンツの視聴を要求すると、ビデオ再生端末システム２のストリーム要求手段２０８は、ビデオサーバシステムに対してストリームの要求を行う。制御手段１１３がこれを受け、対応するビデオストリームをビデオストリーム保持手段１１２から取り出し、これをもとにしてダイジェスト生成手段１０３がダイジェストインデックスを生成する。ダイジェストインデックス情報は、ビデオ再生端末システム２へ送られ、ダイジェストインデックス一時保持手段２０９に格納される。制御手段１１３はまた、ストリーム構造情報保持手段１１１から、対応するストリームの構造情報を取り出し、先ほど生成されたダイジェストインデックスと共に部分ストリーム選択手段１１２へ送る。部分ストリーム選択手段１１２は、受け取った情報から、ダイジェストインデックスの先頭に指定されているフレームをデコードするために必要な部分ストリームを求め、ストリーム送出手段１０５は、この情報をもとにして、必要とされている部分ストリームだけをビデオ再生端末システム２へ送出する。例えば、指定フレームがフレーム間相関を利用したエンコードによるものであれば、そのデコードに際しては参照先のフレームデータが場合によっては複数必要となるため、これらをまとめて部分ストリームとして送出する、といった動作になる。
【００６４】
部分ストリーム選択手段１１２は、ダイジェストインデックスの先頭に指定されているフレームの処理を終えると、２番目に指定されているフレーム、３番目のフレーム、といったように順次処理を進め、最終的に全てのフレームに対応するストリームを送出する。なお、ＭＰＥＧのようにフレーム間相関を用いるエンコード方式の場合、既に参照先フレームとして送出したフレームが、ｎ番目に指定されているフレームとして再度送出対象となることになるが、この場合は既に送出済みであるとして実際には送出しないことができる。
【００６５】
次に、ビデオ再生端末システム２は、ダイジェストインデックス情報とビデオストリームとを、ビデオサーバシステム１から受け取って内部に一時的に保持する。このうちビデオストリームは、ダイジェストインデックスの先頭に現れるフレームから順に受け取ることになる。ユーザが指定した再生速度に基づき、ダイジェストインデックスを先頭から部分的に選択及びソートし、これを元にビデオストリームを順次デコードし、ユーザに視聴させる。
【００６６】
ここで、ビデオストリームは重要なフレームから順に送られてくるため、ビデオストリーム受信開始直後には最も重要なフレームが少しだけビデオ再生端末システム内に保持されている状態となる。この状態では、例えば２０％分のダイジェスト再生を行おうとしても、対応するビデオストリームが手元にないため再生できない。よって、ビデオストリームが送信されている途中の状態においては、ユーザが指定できる再生速度に制限を設けることになる。例えば、ビデオストリーム一時保持手段２０４に３％分のダイジェストに対応するビデオストリームが入っているものとすれば、再生速度入力において３％より多い値が設定できないように制限する。もちろん、ビデオストリーム一時保持手段２０４に格納されているビデオストリームの量が順次増えることで、３％より大きい値を選択できるようにする。
【００６７】
なお、本実施例において用いるビデオストリーム一時保持手段２０４では、図６において模式的に示したストライプ状のデータ格納方法を採ることが適当であることはいうまでもない。
【００６８】
以上述べた何れの実施例においても、ストリームに含まれるデータとしてビデオデータについてしか触れていないが、ビデオに付随する音声データもしくはそれ以外のデータについても、同様の取扱いによって処理することができる。
【００６９】
また、ビデオ再生端末システムは、部分ストリームと主ストリームを両方とも受け取るように記述しているところがあるが、これは必須ではなく、例えばユーザの指示によって、主ストリームは受け取らずに部分ストリームだけを受け取るような動作をしても良い。
【００７０】
また、ダイジェストインデックス情報の生成は、ビデオ再生端末側からの要求をトリガとして処理されているところがあるが、ビデオサーバシステム内にビデオストリームが取り込まれた時点でこれを生成し保持しておいても良い。また、必ずしもビデオサーバシステム内においてダイジェストインデックス情報を生成する必要はなく、これを外部から別途供給しても構わない。
【００７１】
【発明の効果】
以上述べたように本発明によれば、
コンテンツのダイジェスト視聴時に、どれだけの長さのダイジェストを視聴するかを端末側で予め決定することが可能となり、
ダイジェストを視聴する際には、コンテンツの一部だけをサーバからダウンロードすることにより、視聴を開始するまでに要する時間を短縮することが可能となり、
また、ダイジェストだけを再生する場合には、サーバから受信するデータの総量を低減することが可能となり、
以上により、利便性が高く効率が良いシステムを提供することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第一実施例の構成図。
【図２】本発明のダイジェストインデックスの例。
【図３】本発明の第二実施例の構成図。
【図４】本発明の第三実施例の構成図。
【図５】本発明の第四実施例の構成図。
【図６】本発明におけるストリーム一時保持方法の別方式。
【図７】本発明の第五実施例の構成図。
【符号の説明】
１…ビデオサーバシステム、２…ビデオ再生端末システム、１１…画像監視サーバシステム、１２…監視センタ制御端末システム、１３…監視画像再生端末システム、１０１…ビデオエンコード手段、１０２…ビデオストリーム保持手段、１０３…ダイジェスト生成手段、１０４…ダイジェストインデックス情報送出手段、１０５…ビデオストリーム送出手段、１０６…部分ストリーム読み出し手段、１０７…ビデオデコード手段、１０８…ビデオエンコード手段、１０９…部分ストリーム送出手段、１１０…警報制御手段、１１１…ビデオストリーム構造情報保持手段、１１２…部分ストリーム選択手段、１１３…システム制御手段、２０１…ダイジェストインデックス情報要求手段、２０２…部分ビデオストリーム要求手段、２０３…部分ビデオストリーム一時保持手段、２０４…ビデオストリーム一時保持手段、２０５…ダイジェストインデックス選択整形手段、２０６…ビデオデコード手段、２０７…ビデオ表示手段、２０８…ストリーム要求手段、２０９…ダイジェストインデックス一時保持手段、３０１…部分ビデオストリーム一時保持手段、３０２…ビデオデコード手段、３０３…表示手段、４０１…伝送路性能検出手段。

Claims

画像コンテンツサーバと画像コンテンツ再生端末装置とが接続されて構成される画像コンテンツ要約再生システムにおいて、
前記画像コンテンツサーバは、
画像コンテンツを保持するための記憶手段と、
前記画像コンテンツの全画像のフレームであるコンテンツ要素を、時間軸で分割して番号付けした番号列を、前記画像コンテンツ要素の重要度順に並べ替えた、要約処理のためのインデックス情報を作成して送出するダイジェストインデックス送出手段と、
前記画像コンテンツ再生端末装置から入力された、再生すべき前記コンテンツ要素を示す再生ダイジェストインデックス情報に基づき前記画像コンテンツ要素を順次選択して部分ストリーム信号として出力する画像コンテンツ要素出力手段とを備え、
前記画像コンテンツ再生端末装置は、
再生時間の短縮率を指定する再生速度指定手段と、
前記ダイジェストインデックス送出手段が送出したインデックス情報の番号列の先頭から前記再生速度指定手段で指定された短縮率に対応した数だけを取り出して昇順にソートし、ソートした番号列を前記再生ダイジェストインデックス情報として前記画像コンテンツ要素出力手段に返送する部分ストリーム要求手段と、
該返送される再生ダイジェストインデックス情報に基づき前記画像コンテンツ要素出力手段から出力される前記部分ストリーム信号により、前記要約対象の画像コンテンツの要約を再生する再生手段を備えることを特徴とする画像コンテンツ要約再生システム。
前記再生速度指定手段はシステム外部からの設定により前記再生時間の短縮率を指定する手段であることを特徴とする請求項１記載の画像コンテンツ要約再生システム。
前記再生速度指定手段は、前記画像コンテンツサーバと前記画像コンテンツ再生端末とを通信路の伝送速度に関する情報を用いて前記再生時間の短縮率を指定することを特徴とする請求項１記載の画像コンテンツ要約再生システム。
前記画像コンテンツ再生端末装置は、前記画像コンテンツ要素出力手段から出力されるストリーム信号を一時保持するストリーム保持手段を有し、前記返送される再生ダイジェストインデックス情報により出力される部分ストリーム信号の各画像コンテンツ要素は、要約前のストリーム信号の中で各画像コンテンツ要素が本来占めるべき位置に保持されることを特徴とする請求項１記載の画像コンテンツ要約再生システム。