JP5250381B2 - 索引ビデオ生成装置、動画像検索装置及び動画像検索システム - Google Patents

Description

本発明は、索引ビデオ生成装置、動画像検索装置及び動画像検索システムに関する。

近年、インターネット上に開設された動画像投稿サイトが注目されている。動画像投稿サイトは、一般のユーザから動画像の投稿を受付けて蓄積し、蓄積した動画像を公開している。その公開される動画像には、動画像投稿サイトへの投稿日時、タイトル、紹介文などの本文、タグ、再生時間、評価などの情報を付加することができる。一般に、ウェブサイト上に投稿された情報やコンテンツは、ＣＧＭ（Consumer Generated Media）と呼ばれる。ＣＧＭは、動画像投稿サイト、ブログ、ＳＮＳ（Social Networking Service）などのウェブサービスで利用されている。

また、複数の動画像投稿サイトに対して動画像の検索を可能とする動画検索エンジンサイトが知られている。そして、携帯電話システムの発展により携帯電話機で動画像をダウンロードして再生することが可能となったことから、携帯電話向けの動画像検索システムが注目を集めている。携帯電話向け動画像検索システムでは、携帯電話機の性能面での制約（通信速度が遅い、画面サイズが小さいなど）を考慮し、ユーザが所望の動画像を発見しやすいように工夫することが課題である。

従来の動画像検索技術として、例えば特許文献１，２が知られている。特許文献１，２では、ユーザからのリクエストに対する候補となる複数の動画像を用いてダイジェスト映像群を生成している。そのダイジェスト映像群内の動画像の再生順序は、乱数により順不同に決定したり、所定のダイジェストルールに従って決定したりしている。

また、ユーザが動画像の内容を短時間で簡単に理解することができるように、元の動画像から部分的に動画像を抽出して元の動画像の要約的な動画像を生成するための技術が、例えば特許文献３から８、非特許文献１，２に開示されている。
特許文献３では、被写体に装着したＲＦＩＤタグのＲＦＩＤを映像の撮影時に読み取って映像と関連付け、ＲＦＩＤに変化があるシーン及びその前後の映像をハイライト シーンとして抽出している。
特許文献４では、ハイライトシーンを特徴付けるキーワードと合致した単語のうち所定の閾値を超える音声パワーを持つような単語が存在するシーンをハイライトシーンとして検出している。
特許文献５では、番組映像に含まれるテロップ映像又は当該番組映像に同期して付加されている音情報の音量値をもとに当該番組映像の特徴画像または特徴シーンを抽出する。
特許文献６では、映像に付加されているインデックスを用いてスポーツ映像の中のシーンの重要度を判定し、重要度の高いシーンを抽出している。
特許文献７では、パーソナルなダイジェスト映像を作成する際に、映像の意味的な区間の特徴量を計算するとともに、ユーザの嗜好の情報をもとにして特徴量の値を増加または減少させている。
特許文献８では、ダイジェスト作成の対象となる映像又は音声から、視聴率又は視聴度数が所定の閾値を超えた時間区間の映像又は音声を抽出している。
特開２００６−２１１３１１号公報 特開２００５−２８４３９２号公報 特開２００７−０６７５１８号公報 特開２００４−２３３５４１号公報 特開２０００−０２３０６２号公報 特開２００１−２５１５８１号公報 特開２００２−２３２８２８号公報 特開２００４−２００７３３号公報 帆足啓一郎、外３名，"フレームクラスタリングを利用したＣＧＭ動画像コンテンツ検索手法の提案"，電子情報通信学会 パターン認識・メディア理解研究会，ｐｐ．８７−９２，２００７年１０月 上向俊晃、外３名，"ＣＧＭ動画像におけるハイライト画像抽出手法に関する考察"，電子情報通信学会２００８年総合大会講演論文集，１５６頁，２００８年３月５日

しかし、上述した特許文献２，３では、動画像の検索の効率化と、魅力的なダイジェスト映像群の提供とを満足させることが難しい。特定の種類の動画像に特化したダイジェストルールに従ってダイジェスト映像群内の動画像の再生順序を決定すれば、該特定の種類の動画像に係る魅力的なダイジェスト映像群を提供することはできるが、ダイジェスト映像群に含められる動画像の自由度が狭まる。一方、乱数により順不同に再生順序を決定すれば、ダイジェスト映像群に含められる動画像の自由度が大き過ぎて検索の効率が低下する。

本発明は、このような事情を考慮してなされたもので、その目的は、ユーザが所望の動画像を検索する際に用いるダイジェスト映像群（索引ビデオ）として、動画像の検索の効率の向上に寄与するとともに魅力的なものを提供することのできる索引ビデオ生成装置、動画像検索装置及び動画像検索システムを提供することにある。

上記の課題を解決するために、本発明に係る索引ビデオ生成装置は、検索の対象の動画像である素材ビデオのうち検索キーワードに対応する素材ビデオの集合である素材ビデオ群に含まれる各素材ビデオの部分的な動画像である要約ビデオを用いて、要約ビデオを順番に再生するための索引ビデオを生成する索引ビデオ生成装置において、前記素材ビデオ又は前記要約ビデオに関する情報のうち検索効率の向上に貢献する情報に基づいて、索引ビデオに採用するときの前記要約ビデオの優先順位を決定する要約ビデオ優先順位決定部と、前記優先順位と前記素材ビデオ群に含まれる各素材ビデオの類似度とに基づいて、索引ビデオ内の要約ビデオの再生順序を決定し、該再生順序に従って要約ビデオを再生するための索引ビデオを生成する索引ビデオ生成部と、を備えたことを特徴とする。

本発明に係る索引ビデオ生成装置においては、前記検索効率の向上に貢献する情報は、素材ビデオに関する新鮮さ、重要度もしくはユーザの満足度、又は、要約ビデオに関する簡潔さ、を表す情報であることを特徴とする。

本発明に係る索引ビデオ生成装置においては、前記要約ビデオ優先順位決定部は、素材ビデオの新鮮さと要約ビデオの簡潔さによって前記要約ビデオの優先順位を決定することを特徴とする。

本発明に係る索引ビデオ生成装置においては、前記索引ビデオ生成部は、前記類似度に基づいた要約ビデオの分類結果の各クラスタから一様に、索引ビデオに含める要約ビデオを選択することを特徴とする。

本発明に係る索引ビデオ生成装置においては、前記索引ビデオ生成部は、前記類似度に基づいた要約ビデオの分類結果の各クラスタに対し、前記検索効率の向上に貢献する情報に基づいた総合評価値を求め、該総合評価値のよいクラスタから順番に要約ビデオを選択し、索引ビデオに含めることを特徴とする。

本発明に係る索引ビデオ生成装置においては、前記索引ビデオ生成部は、同一クラスタに属する素材ビデオの類似度に基づいて、類似度の高い素材ビデオの要約ビデオが重複しないように、索引ビデオに含める要約ビデオを選択することを特徴とする。

本発明に係る索引ビデオ生成装置においては、無線通信ネットワークを利用して配信される索引ビデオの再生時間の最大値として、該無線通信ネットワークで規定される伝送データ条件に基づいた値を設けたことを特徴とする。

本発明に係る索引ビデオ生成装置においては、前記索引ビデオ生成部は、索引ビデオに含まれる要約ビデオの素材ビデオのネットワーク上の所在情報を該索引ビデオに付加することを特徴とする。

本発明に係る索引ビデオ生成装置においては、前記索引ビデオ生成部は、索引ビデオに含まれる要約ビデオの再生順序の番号の情報を前記所在情報に関連付けて該索引ビデオに付加するとともに、該再生順序の番号を該当する要約ビデオと同時に表示させるための表示データを該索引ビデオに含めることを特徴とする。

本発明に係る索引ビデオ生成装置においては、前記索引ビデオ生成部は、索引ビデオに含まれる要約ビデオの素材ビデオの一覧情報を該索引ビデオに付加することを特徴とする。

本発明に係る動画像検索装置は、前述のいずれかの索引ビデオ生成装置と、検索キーワードを入力する検索キーワード入力部と、検索キーワードに基づいて素材ビデオデータベースを検索する素材ビデオ取得部と、該検索により取得された素材ビデオ群を記憶する素材ビデオ記憶部と、素材ビデオの特徴を解析する素材ビデオ解析部と、前記素材ビデオ群に含まれる各素材ビデオの解析データを記憶する素材ビデオ解析データ記憶部と、素材ビデオの解析データに基づいて、素材ビデオから要約ビデオを抽出する要約ビデオ抽出部と、前記素材ビデオ群に含まれる各素材ビデオの要約ビデオを記憶する要約ビデオ記憶部と、前記索引ビデオ生成装置で生成された索引ビデオを出力する索引ビデオ出力部と、を備えたことを特徴とする。

本発明に係る動画像検索システムは、前述の動画像検索装置と、該動画像検索装置に通信回線で接続される端末とを有する動画像検索システムであり、前記端末は、検索キーワードを前記動画像検索装置に送信する検索キーワード送信部と、前記動画像検索装置から索引ビデオを受信する索引ビデオ受信部と、動画像を再生する動画再生部と、を備えたことを特徴とする。

本発明に係る動画像検索システムにおいては、前記端末は、索引ビデオに含まれる要約ビデオを指定する要約ビデオ指定部と、索引ビデオの付加情報に含まれる素材ビデオ所在情報に基づいて、前記指定された要約ビデオの素材ビデオを取得する素材ビデオ取得部と、を備えたことを特徴とする。

本発明に係る動画像検索システムにおいては、前記端末は、索引ビデオの再生画像を表示する表示画面と、索引ビデオに含まれる要約ビデオのうち再生済みの要約ビデオの画像を表示する表示画面と、を備えたことを特徴とする。

本発明によれば、ユーザが所望の動画像を検索する際に用いるダイジェスト映像群（索引ビデオ）として、動画像の検索の効率の向上に寄与するとともに魅力的なものを提供することができるという効果が得られる。

以下、図面を参照し、本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る動画像検索システムの構成を示すブロック図である。図２は、本実施形態に係る索引ビデオについて説明するための概念図である。

はじめに、図２を参照して、本実施形態に係る索引ビデオの概略を説明する。
索引ビデオは、素材ビデオから部分的に抽出された要約ビデオの集合である。索引ビデオ内の各要約ビデオには再生順序が付与される。
素材ビデオは、検索の対象の動画像である。素材ビデオとしては、例えば、ユーザがカメラ付き携帯電話機又はデジタルカメラなどで撮影し、動画像投稿サイトに投稿されたものである。各素材ビデオには、メタデータが付加されている。メタデータは、動画像投稿サイトへの素材ビデオの投稿日時、素材ビデオのタイトル、素材ビデオの紹介文などの本文、タグ、素材ビデオの再生時間、素材ビデオに対する評価、素材ビデオのＵＲＬ（Uniform Resource Locator）など、素材ビデオに関する情報を含む。
要約ビデオは、素材ビデオから部分的に抽出された動画像である。その抽出区間は、素材ビデオの内容を的確に表す箇所が望ましい。

次に、図１を参照して、本実施形態に係る動画像検索システムの構成を説明する。
図１において、動画像検索装置１と端末３は通信回線で接続される。動画像検索装置１は素材ビデオデータベース（素材ビデオＤＢ）４と接続している。動画像検索装置１と素材ビデオＤＢ４は通信回線で接続してもよい。素材ビデオＤＢ４は複数の素材ビデオを蓄積している。動画像検索装置１は、素材ビデオＤＢ４から素材ビデオを取得する。

動画像検索装置１は、検索キーワード受信部１１、素材ビデオ取得部１２、素材ビデオ解析部１３、要約ビデオ抽出部１４、要約ビデオ優先順位決定部１５、索引ビデオ生成部１６、索引ビデオ送信部１７、素材ビデオ記憶部１８、素材ビデオ解析データ記憶部１９及び要約ビデオ記憶部２０を有する。
検索キーワード受信部１１は、通信回線を介して端末３から検索キーワードを受信する。
素材ビデオ取得部１２は、検索キーワードに基づいて素材ビデオＤＢ４を検索し、検索キーワードに対応する素材ビデオを取得する。検索キーワードに対応する素材ビデオが複数存在する場合は、検索キーワードに対応する素材ビデオの集合である素材ビデオ群が取得される。
素材ビデオ記憶部１８は、素材ビデオ取得部１２により取得された素材ビデオ群を記憶する。素材ビデオ記憶部１８は、各素材ビデオに付加されているメタデータも一緒に記憶する。
素材ビデオ解析部１３は、素材ビデオ記憶部１８に記憶されている素材ビデオ群に含まれる各素材ビデオの特徴を解析する。
素材ビデオ解析データ記憶部１９は、素材ビデオ解析部１３の解析結果である素材ビデオ解析データを記憶する。
要約ビデオ抽出部１４は、素材ビデオ解析データ記憶部１９に記憶されている素材ビデオ解析データに基づいて、素材ビデオから要約ビデオを抽出する。
要約ビデオ記憶部２０は、要約ビデオ抽出部１４により抽出された要約ビデオを記憶する。
要約ビデオ優先順位決定部１５は、要約ビデオ記憶部２０に記憶されている要約ビデオの各々に対し、索引ビデオに採用するときの優先順位を決定する。
索引ビデオ生成部１６は、要約ビデオ記憶部２０に記憶される要約ビデオを用いて、要約ビデオを順番に再生するための索引ビデオを生成する。このとき、索引ビデオ生成部１６は、索引ビデオ内の要約ビデオの再生順序を決定し、該再生順序に従って要約ビデオを再生するように、索引ビデオを構成する。
索引ビデオ送信部１７は、索引ビデオを端末３へ返信する。

なお、本実施形態に係る動画像検索装置１は、専用のハードウェアにより実現されるものであってもよく、或いは、ＣＰＵ（中央処理装置）およびメモリ等から構成されるパーソナルコンピュータ等のコンピュータシステムにより構成され、図１に示される装置の各部の機能を実現するためのプログラムを実行することによりその機能を実現させるものであってもよい。また、その動画像検索装置１には、周辺機器として入力装置、表示装置等（いずれも図示せず）が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置とはＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。また、上記周辺機器については、動画像検索装置１に直接接続するものであってもよく、あるいは通信回線を介して接続するようにしてもよい。

端末３は、検索キーワード送信部３１、索引ビデオ受信部３２、動画再生部３３、要約ビデオ指定部３４及び素材ビデオ取得部３５を有する。
検索キーワード送信部３１は、ユーザが指定した検索キーワードを、通信回線を介して動画像検索装置１へ送信する。
索引ビデオ受信部３２は、通信回線を介して動画像検索装置１から索引ビデオを受信する。
動画再生部３３は、索引ビデオ、素材ビデオ等の動画像を再生して液晶表示装置等の表示画面に表示させる。
要約ビデオ指定部３４は、ユーザが索引ビデオ内の要約ビデオを指定するための指定手段を有する。
素材ビデオ取得部３５は、要約ビデオ指定部３４による指定の要約ビデオに対応する素材ビデオを取得する。この素材ビデオの取得方法としては、素材ビデオＤＢ４から取得するものであってもよく、或いは、動画像検索装置１内に記憶されている（素材ビデオ記憶部１８内の）素材ビデオを取得するものであってもよい。その取得された素材ビデオは、動画再生部３３により再生することができる。

なお、端末３は、移動しながら使用可能な装置（例えば、携帯電話機等の携帯型の端末装置）であってもよく、或いは、固定して使用される装置（例えば、パーソナルコンピュータ等の据置き型の端末装置）であってもよい。

次に、図１に示す動画像検索装置１について詳細に説明する。

［素材ビデオ取得部］
素材ビデオ取得部１２は、検索キーワード受信部１１により端末３から受信した検索キーワードを用いて素材ビデオＤＢ４を検索し、検索キーワードに対応する素材ビデオを素材ビデオＤＢ４から取得する。このとき、検索キーワードによる検索範囲は素材ビデオに付加されているメタデータとし、テキスト検索において部分一致検索を行う。素材ビデオ取得部１２は、素材ビデオＤＢ４から取得した素材ビデオ群（各素材ビデオのメタデータを含む）を素材ビデオ記憶部１８に格納する。

［素材ビデオ解析部］
素材ビデオ解析部１３は、素材ビデオに対して動画解析処理を行い、素材ビデオから要約ビデオとして抽出する区間の候補を決定する。動画解析処理としては、例えば特許文献３から８、非特許文献１，２などに開示される技術を利用することができる。ここでは、動画解析処理の一例として、非特許文献１，２に開示される技術を利用する。また、素材ビデオはＭＰＥＧ画像であるとする。

［素材ビデオ解析方法の実施例］
図３は、本実施形態に係る素材ビデオ解析方法の一実施例のフローチャートである。本実施例では、素材ビデオを構成する複数のフレーム画像（Ｉピクチャ）に対し、色特徴量を抽出し、色特徴量に基づいてフレーム画像間の類似度を計算し、フレーム画像間の類似度に基づいてフレーム画像を分類（クラスタリング）する。

検索キーワードに対応する素材ビデオの集合（素材ビデオ群）に含まれる素材ビデオの個数をＮｍとする。また、各素材ビデオＭｖ＿ｉ（０≦ｉ≦Ｎｍ−１）を構成する静止画（フレーム画像）のうち、Ｉピクチャの個数をＮｆｉとする。

図３において、ステップＳ１では、解析対象の素材ビデオＭｖ＿ｉからＩピクチャを全て抽出したか判断する。Ｉピクチャを全て抽出し終わった場合は、ステップＳ４に進む。まだ未抽出のＩピクチャがある場合は、ステップＳ２に進む。

ステップＳ２では、素材ビデオＭｖ＿ｉから、未抽出のＩピクチャを一つ抽出する。ステップＳ３では、抽出したＩピクチャから、色に関する情報（色特徴量）を抽出する。色特徴量としては、例えば、カラーレイアウト、カラーヒストグラムなど、ベクトル形式のものとする。素材ビデオＭｖ＿ｉから抽出した色特徴量をＣＦｉ＿ｊ（０≦ｊ≦Ｎｆｉ−１）とする。その後、ステップＳ１に戻る。

ステップＳ４では、素材ビデオＭｖ＿ｉから抽出した全てのＩピクチャの色特徴量ＣＦｉ＿ｊの相関関係（類似度）を計算する。ステップＳ５では、Ｉピクチャ間の類似度に基づいてＩピクチャをクラスタリングする。このクラスタリングでは、非特許文献２に開示される、時系列を考慮したフレームクラスタリング処理を利用することが望ましい。ステップＳ５により、素材ビデオＭｖ＿ｉに含まれる全てのＩピクチャが、色特徴量の類似するものの集合であるクラスタに分類される。

ステップＳ６では、ステップＳ５のクラスタリング結果に基づいて、素材ビデオＭｖ＿ｉをシーン区間に分割する。この分割結果は素材ビデオＭｖ＿ｉの解析データとして記録する。図４に素材ビデオ解析データの構成例を示す。図４に示されるように、素材ビデオ解析データは、シーン区間毎に、シーン番号（シーンＮＯ）と、シーン区間の開始のフレーム画像（Ｉピクチャ）の番号（開始フレームＮＯ）と、シーン区間の終了のフレーム画像（Ｉピクチャ）の番号（終了フレームＮＯ）と、シーン区間の再生時間（シーン区間時間）との組を有する。

各素材ビデオＭｖ＿ｉの解析データは、素材ビデオ解析データ記憶部１９に格納される。

［要約ビデオ抽出部］
要約ビデオ抽出部１４は、素材ビデオ解析データ記憶部１９に記憶されている素材ビデオ解析データ（図４参照）に基づいて、素材ビデオから要約ビデオを抽出する。図５に要約ビデオ抽出方法のフローチャートを示す。
図５において、ステップＳ１１では、素材ビデオ解析データに記録されているシーン区間のうちから、要約ビデオとして抽出するシーン区間を決定する。ここでは、シーン区間時間が最長であるシーン区間を用いる。ステップＳ１１で決定されたシーン区間（要約ビデオ用シーン区間）の開始位置を素材ビデオのタイムライン上での時間Ｔｅ＿ｓｔａｒｔで表し、要約ビデオ用シーン区間のシーン区間時間をＴｅとする。

図６にステップＳ１１の処理結果の構成例が示されている。図６に示されるように、素材ビデオ解析データに対し、抽出シーンフラグを設けている。抽出シーンフラグは、要約ビデオ用シーン区間に対して１、それ以外のシーン区間に対して０が設定される。図６の例では、要約ビデオ用シーン区間のシーンＮＯ「１」に対して抽出シーンフラグ「１」が設定され、それ以外のシーンＮＯの全てに対して抽出シーンフラグ「０」が設定されている。

ステップＳ１２では、要約ビデオ用シーン区間から要約ビデオとして抽出する区間（要約ビデオ抽出区間）の時間（要約ビデオ抽出時間）Ｔｃ（Ｔｃは要約ビデオの再生時間となる）を決定する。なお、要約ビデオ抽出時間Ｔｃは、固定値であってもよく、或いは、素材ビデオの解析結果に基づいて決定される変動値であってもよい。ここで、要約ビデオ抽出時間Ｔｃ（変動値）の決定方法の実施例を説明する。

［要約ビデオ再生時間Ｔｃ（変動値）の決定方法の実施例］
まず、要約ビデオ抽出時間Ｔｃを次式で定義する。
Ｔｃ＝‘Ｔｂａｓｅ’＋‘α’בＴｖ’＋‘β’בＴｍ’＋‘γ’בＴｓ’
但し、α、β、γは定数である。Ｔｂａｓｅは、要約ビデオ抽出時間Ｔｃの基本部分であり、定数である。Ｔｖ、Ｔｍ、Ｔｓは、要約ビデオ抽出時間Ｔｃの拡張部分であり、変動値である。

要約ビデオ抽出時間Ｔｃの拡張部分Ｔｖは、素材ビデオ内の色特徴量の変動度合いに基づいて決定する。このため、素材ビデオ解析部１３は、素材ビデオ解析データに記録されているシーン区間毎に、シーン区間内の色特徴量の変動度合いを２段階のレベル（変動度合いの高、低）で表し、そのレベルを素材ビデオ解析データに記録しておく。要約ビデオ用シーン区間の色特徴量の変動度合いが高レベルである場合は、拡張部分Ｔｖを所定値Ｔｖｆ（Ｔｖｆ＞０）に設定する。一方、要約ビデオ用シーン区間の色特徴量の変動度合いが低レベルである場合は、拡張部分Ｔｖを０に設定する。

要約ビデオ抽出時間Ｔｃの拡張部分Ｔｍは、素材ビデオ内の動き特徴量の変動度合いに基づいて決定する。このため、素材ビデオ解析部１３は、素材ビデオ解析データに記録されているシーン区間毎に、シーン区間内の動き特徴量の変動度合いを２段階のレベル（変動度合いの高、低）で表し、そのレベルを素材ビデオ解析データに記録しておく。要約ビデオ用シーン区間の動き特徴量の変動度合いが高レベルである場合は、拡張部分Ｔｍを所定値Ｔｍｆ（Ｔｍｆ＞０）に設定する。一方、要約ビデオ用シーン区間の動き特徴量の変動度合いが低レベルである場合は、拡張部分Ｔｍを０に設定する。

要約ビデオ抽出時間Ｔｃの拡張部分Ｔｓは、素材ビデオ内の音特徴量の変動度合いに基づいて決定する。このため、素材ビデオ解析部１３は、素材ビデオ解析データに記録されているシーン区間毎に、シーン区間内の音特徴量の変動度合いを２段階のレベル（変動度合いの高、低）で表し、そのレベルを素材ビデオ解析データに記録しておく。要約ビデオ用シーン区間の音特徴量の変動度合いが高レベルである場合は、拡張部分Ｔｓを所定値Ｔｓｆ（Ｔｓｆ＞０）に設定する。一方、要約ビデオ用シーン区間の音特徴量の変動度合いが低レベルである場合は、拡張部分Ｔｓを０に設定する。

これにより、要約ビデオ抽出時間Ｔｃは、要約ビデオ用シーン区間の内容の変化がある程度大きい場合に、基本部分Ｔｂａｓｅよりも長くなることになる。

説明を図５に戻す。
次いで、ステップＳ１３では、素材ビデオの要約ビデオ用シーン区間の先頭から、要約ビデオ抽出時間Ｔｃ分の動画像を抽出する。この抽出された動画像が当該素材ビデオの要約ビデオである。但し、要約ビデオ用シーン区間のシーン区間時間Ｔｅが要約ビデオ抽出時間Ｔｃよりも短い場合は、要約ビデオ用シーン区間の全ての動画像を抽出する。

図７にステップＳ１３の処理結果の構成例が示されている。図７の例では、図６に係る要約ビデオ用シーン区間のシーンＮＯ「１」に対し、開始フレームＮＯ「Ｆ１ｓ」（抽出開始フレームＮＯに等しい）から抽出終了フレームＮＯ「Ｆ１ｓ’」までのフレーム画像が抽出されている。その抽出された区間の時間（シーン区間時間）はＴ１’（要約ビデオ抽出時間Ｔｃに等しい）である。

要約ビデオ抽出部１４は、素材ビデオ記憶部１８に記憶されている素材ビデオ群に含まれる全ての素材ビデオを対象にして、素材ビデオから要約ビデオを抽出する。要約ビデオは要約ビデオ記憶部２０に格納される。

［要約ビデオ優先順位決定部］
要約ビデオ優先順位決定部１５は、要約ビデオ記憶部２０に記憶されている要約ビデオの各々に対し、索引ビデオに採用するときの優先順位を決定する。図８に要約ビデオ優先順位決定方法のフローチャートを示す。
図８において、ステップＳ２１では、各要約ビデオの評価パラメータを算出する。要約ビデオの評価パラメータは、要約ビデオの素材ビデオ又は要約ビデオに関する情報のうち検索効率の向上に貢献する情報を基にして算出されるものである。検索効率の向上に貢献する情報としては、素材ビデオに関する「新鮮さ」、「重要度」もしくは「ユーザの満足度」、又は、要約ビデオに関する「簡潔さ」、を表す情報を利用することができる。ここでは、素材ビデオの新鮮さを表す情報と要約ビデオの簡潔さを表す情報とを利用する。

［素材ビデオの新鮮さに係る評価パラメータの算出方法］
まず、素材ビデオＭｖ＿ｉに対し、そのメタデータから素材ビデオの投稿日時を取得する。次いで、全ての素材ビデオＭｖ＿ｉに対し、その投稿日時が新しいものから古い方へと順位付けする。この順位を素材ビデオの新鮮さに係る評価パラメータＴｆとする。従って、要約ビデオの評価パラメータＴｆは、元の素材ビデオの投稿日時が新しいものほど小さく、最小値が１、最大値がＮｍとなる整数値である。

［要約ビデオの簡潔さに係る評価パラメータの算出方法］
まず、素材ビデオＭｖ＿ｉに対し、そのメタデータから素材ビデオの再生時間ＭＶＴ＿ｉを取得する。次いで、素材ビデオＭｖ＿ｉの再生時間ＭＶＴ＿ｉに対するその要約ビデオの再生時間ＣＶＴ＿ｉの割合「ＭＣＴ＿ｉ＝‘ＣＶＴ＿ｉ’÷‘ＭＶＴ＿ｉ’」を計算する。次いで、全ての要約ビデオに対し、そのＭＣＴ＿ｉが小さいものから大きい方へと順位付けする。この順位を要約ビデオの簡潔さに係る評価パラメータＴｃとする。従って、要約ビデオの評価パラメータＴｃは、元の素材ビデオの再生時間に比して要約ビデオの再生時間が短いものほど小さく、最小値が１、最大値がＮｍとなる整数値である。

説明を図８に戻す。
次いで、ステップＳ２２では、次式により要約ビデオの評価値Ｖｓｌを計算する。
Ｖｓｌ＝‘Ｔｆ’בＴｃ’
従って、要約ビデオの評価値Ｖｓｌは、元の素材ビデオの投稿時期が新しいほど、又、素材ビデオの再生時間に対する要約ビデオの再生時間の割合が小さいほど、小さくなり、優先順位が高いことを表す。

次いで、ステップＳ２３では、各要約ビデオに対し、その評価値Ｖｓｌに従って優先順位を付与する。

［索引ビデオ生成部］
索引ビデオ生成部１６は、要約ビデオ記憶部２０に記憶される要約ビデオを用いて、要約ビデオを順番に再生するための索引ビデオを生成する。その索引ビデオとして望ましい条件が２つある。その１つは、ユーザが所望の素材ビデオを検索するときに、ユーザの意図に合ったものを素早く発見したいという要求に応えられるよう、優先順位の高い要約ビデオが索引ビデオの先頭のほうで再生されることである。もう１つは、ユーザが索引ビデオを視聴するだけで、楽しさや面白さ、表現度の豊富さなどを得ることができるような、魅力的な索引ビデオの構成とすることである。そこで、本実施形態では、索引ビデオ内の要約ビデオの再生順序を、各要約ビデオの優先順位と各素材ビデオの類似度とに基づいて決定する。

これにより、索引ビデオ生成部１６は、要約ビデオ優先順位決定部１５で決定された各要約ビデオの優先順位と各素材ビデオの類似度とに基づいて、索引ビデオ内の要約ビデオの再生順序を決定する。そして、索引ビデオ生成部１６は、該再生順序に従って要約ビデオを再生するための索引ビデオを生成する。

［要約ビデオの再生順序の決定方法の実施例］
本実施例では、非特許文献１に開示される動画像間クラスタリング技術を利用して、Ｎｍ個の素材ビデオＭｖ＿ｉをその類似度に基づいてＣＮ個のクラスタに分類する。このため、素材ビデオ解析部１３は、素材ビデオ記憶部１８に記憶されている素材ビデオ群に対し、動画像間クラスタリングを行い、そのクラスタリング結果を素材ビデオ解析データ記憶部１９に格納しておく。そのクラスタリング結果として、ＣＮ個（ここでは、７個とする）のクラスタＣＴ１〜ＣＴ７に含まれる素材ビデオＭｖ＿ｉのリストが以下のように得られているとする。なお、便宜上、説明に利用する部分のみを示す。
全ての素材ビデオＭｖ＿ｉのリスト「Ｍｖ＿０，Ｍｖ＿１，Ｍｖ＿２，・・・，Ｍｖ＿Ｎｍ−１」
クラスタＣＴ１に含まれる素材ビデオＭｖ＿ｉのリスト「Ｍｖ＿０，Ｍｖ＿３，Ｍｖ＿７，・・・」
・・・
クラスタＣＴ４に含まれる素材ビデオＭｖ＿ｉのリスト「Ｍｖ＿２，Ｍｖ＿４，Ｍｖ＿８，・・・」
・・・
クラスタＣＴ７に含まれる素材ビデオＭｖ＿ｉのリスト「Ｍｖ＿１，Ｍｖ＿５，Ｍｖ＿６，・・・」

次いで、各要約ビデオの優先順位と素材ビデオのクラスタリング結果とに基づいて、索引ビデオ内の要約ビデオの再生順序を決定する。具体的には、まず、各クラスタＣＴ１〜ＣＴ７に属する素材ビデオのリストにおいて、素材ビデオＭｖ＿ｉに対応する要約ビデオＶｍｖ＿ｉの優先順位の高いものから順番に並べ替える。例えば、クラスタＣＴ１に属する素材ビデオのリストにおいて、素材ビデオに対応する要約ビデオの優先順位が「Ｖｍｖ＿３＞Ｖｍｖ＿０＞Ｖｍｖ＿７＞・・・」であったとすると、「Ｍｖ＿３，Ｍｖ＿０，Ｍｖ＿７，・・・」（但し、先頭にある方が高優先とする）のように並べ替える。

次いで、並べ替え後のリストに基づいて、各クラスタＣＴ１〜ＣＴ７に属する素材ビデオの要約ビデオに対する再生順序を決定してゆく。各クラスタＣＴ１〜ＣＴ７に属する素材ビデオの要約ビデオに対し、どのように再生順序を付与していくのかについては、以下の２通りの実施例が挙げられる。

［各クラスタから平均的に要約ビデオを採用する方法］
クラスタＩＤの順番に従って各クラスタＣＴ１〜ＣＴ７から同数ずつ要約ビデオを採用する。従って、ＣＴ１、ＣＴ２、ＣＴ３、・・・、ＣＴ７、ＣＴ１、・・・という順番で循環しながら、各クラスタＣＴ１〜ＣＴ７から同数ずつ要約ビデオを採用する。そして、各クラスタＣＴ１〜ＣＴ７からは、並べ替え後のリストの先頭から、つまり、クラスタ内における要約ビデオの優先順位に従って要約ビデオを採用する。例えば、クラスタＣＴ１からは、Ｖｍｖ＿３、Ｖｍｖ＿０、Ｖｍｖ＿７、・・・の順番で採用する。そして、採用した順番で要約ビデオの再生順序を付与する。

［クラスタに優先順位を付けて要約ビデオを採用する方法］
各クラスタＣＴ１〜ＣＴ７に対し、クラスタに属する全素材ビデオの要約ビデオの評価値Ｖｓｌの平均値を計算する。この平均値を当該クラスタの評価値Ｖｃｌとする。次いで、各クラスタＣＴ１〜ＣＴ７の評価値Ｖｃｌに基づいて、高評価のクラスタから順番に同数ずつ要約ビデオを採用する。そして、各クラスタＣＴ１〜ＣＴ７からは、並べ替え後のリストの先頭から、つまり、クラスタ内における要約ビデオの優先順位に従って要約ビデオを採用する。そして、採用した順番で要約ビデオの再生順序を付与する。

索引ビデオ生成部１６は、要約ビデオの再生順序に従って要約ビデオを配列し、この要約ビデオ列を索引ビデオとする。

なお、索引ビデオ生成部１６は、動画像間クラスタリング結果により、同一クラスタに属する素材ビデオの類似度に基づいて、類似度の高い素材ビデオの要約ビデオが重複しないように、索引ビデオに含める要約ビデオを選択するようにしてもよい。これにより、同じ素材の素材ビデオが存在した場合に、同様の要約ビデオが重複して索引ビデオに含まれることを防ぎ、ユーザによる検索の手間を省くことが可能となる。

また、索引ビデオの再生時間に制限を設けてある場合には、要約ビデオの再生順序に従って、索引ビデオの再生時間におさまる分の要約ビデオのみを選択する。

なお、無線通信ネットワークを利用して配信される索引ビデオに対しては、索引ビデオの再生時間の最大値として、該無線通信ネットワークで規定される伝送データ条件に基づいた値を設ける。例えば、携帯電話ネットワーク経由で索引ビデオを端末３に配信する場合、携帯電話会社が規定したデータサイズ、ファイル形式、解像度、ビットレート等の伝送データ条件に従って、データ送信を行う必要がある。このため、その伝送データ条件に基づいた「索引ビデオの再生時間の最大値」を設けるようにする。

また、索引ビデオ生成部１６は、索引ビデオに関するメタデータを生成し、該メタデータを索引ビデオに付加する。図９，図１０は索引ビデオに関するメタデータ（索引ビデオメタデータ）の構成例であって、図９は再生情報メタデータの構成例、図１０は要約ビデオメタデータの構成例である。図９に示されるように、再生情報メタデータには、要約ビデオ毎に、要約ビデオの素材ビデオのＩＤ「ｖｉｄｅｏ ｉｄ」と要約ビデオの再生開始時間「video start time」と再生時間間隔（要約ビデオの再生時間）「video duration」を記述する。図１０に示されるように、要約ビデオメタデータには、要約ビデオ毎に、要約ビデオの素材ビデオのＩＤ「ｖｉｄｅｏ ｉｄ」と素材ビデオのタイトル「video title」とタグ「video tags」と素材ビデオのＵＲＬ「video url」を記述する。素材ビデオのＵＲＬは、素材ビデオのネットワーク上の所在を示す情報である。要約ビデオメタデータは、索引ビデオに含まれる要約ビデオの素材ビデオの一覧情報となっている。

索引ビデオ送信部１７は、端末３に対し、検索キーワードの応答として、索引ビデオ（索引ビデオメタデータを含む）を送信する。

図１に示す端末３において、索引ビデオ受信部３２は、通信回線を介して動画像検索装置１から索引ビデオを受信すると、索引ビデオを動画再生部３３へ出力する。動画再生部３３は、索引ビデオ受信部３２から受け取った索引ビデオを再生する。これにより、索引ビデオ内の要約ビデオがその再生順序に従って再生され、再生画像が表示画面に表示される。このとき、索引ビデオに付加されているメタデータを同時に表示するようにしてもよい。

ユーザは、表示画面上に表示される要約ビデオを見て、素材ビデオを取得したい要約ビデオを指定手段により指定する。これにより、要約ビデオ指定部３４は、ユーザが指定した要約ビデオを素材ビデオ取得部３５へ通知する。素材ビデオ取得部３５は、要約ビデオ指定部３４から通知された要約ビデオに対応する素材ビデオを取得する。この素材ビデオの取得には、索引ビデオに付加されている要約ビデオメタデータ内の素材ビデオのＵＲＬ「video url」を利用する。動画再生部３３は、素材ビデオ取得部３５により取得された素材ビデオを再生し、その再生画像を表示画面に表示させる。動画再生部３３は、索引ビデオの再生を途中で中断し、素材ビデオの再生を開始した場合、素材ビデオの再生が終了すると、索引ビデオの再生を再開する。

これにより、ユーザは、索引ビデオを見ながら所望の素材ビデオを検索し、素材ビデオを取得して視聴することができる。本実施形態に係る索引ビデオによれば、要約ビデオが、検索効率の向上に貢献する情報に基づいた優先順位の高いものから順番に、且つ、素材ビデオの類似度の異なるものが一様に若しくは同様の類似度の素材ビデオのクラスタに係る優先度の高いクラスタのものから順番に、再生されるので、素材ビデオの検索効率の向上に寄与するとともに、索引ビデオ自体として魅力的なものを提供することができる。

図１１は本発明に係る動画像検索システム一実施例である。本実施例では、端末３として携帯電話機を利用し、携帯電話機３は、携帯電話ネットワークを介して動画像検索装置１と接続する。又、動画像検索装置１は、素材ビデオＤＢ４として、インターネット上に設けられた動画像投稿サイト４を利用する。

図１１において、ユーザは、携帯電話機３の操作部５２を操作して検索キーワードを入力する。これにより、携帯電話機３は、検索キーワードを動画像検索装置１へ送信する。動画像検索装置１は、携帯電話機３から受信した検索キーワードに基づいて動画像投稿サイト４を検索し、検索キーワードに対応する素材ビデオ群を動画像投稿サイト４から取得する。そして、動画像検索装置１は、その素材ビデオ群に対応する索引ビデオを生成し、該索引ビデオを携帯電話機３へ返信する。

携帯電話機３は、動画像検索装置１から受信した索引ビデオを再生し、表示画面５１に再生画像を表示する。これにより、ユーザは、索引ビデオ内の要約ビデオの再生画像を見ることができる。

携帯電話機３は、ユーザが指定した素材ビデオを取得するための要求を、動画像検索装置１へ送信する。動画像検索装置１は、その素材ビデオ取得要求に応じて、素材ビデオ記憶部１８内の該当する素材ビデオを携帯電話機３へ送信する。携帯電話機３は、動画像検索装置１から受信した素材ビデオを再生し、表示画面５１に再生画像を表示する。これにより、ユーザは、指定した素材ビデオの再生画像を見ることができる。

図１２は、図１１に示す携帯電話機３の表示画面５１の構成例である。図１２において、表示画面５１には、検索キーワードの一覧を表示するための検索キーワード一覧表示画面６１と、索引ビデオおよび素材ビデオの再生画像を表示するための画像表示画面６２と、索引ビデオおよび素材ビデオの再生動作を制御するための操作ボタン６３，６４，６５と、素材ビデオの取得を指示するための素材ビデオ取得指示ボタン６６とが設けられる。

検索キーワード一覧表示画面６１は、端末３内のメモリに記憶されている検索キーワード群を一覧形式で表示するための画面である。端末３内のメモリに記憶される検索キーワード群は、ユーザによって検索キーワードの追加および削除を行うことができるようにする。端末３は、ユーザの操作に応じて、検索キーワード一覧表示画面６１に検索キーワード群を一覧形式で表示させる。ユーザは、一覧形式で表示された検索キーワード群から、検索キーワードを指定することができる。検索キーワード送信部３１は、ユーザが指定した検索キーワードを、通信回線を介して動画像検索装置１へ送信する。なお、ユーザは、端末３の操作部５２に設けられた文字入力用キーを操作して、検索キーワードを入力することも可能である。

画像表示画面６２は、動画再生部３３により再生された画像を表示するためのものである。画像表示画面６２は、索引ビデオおよび素材ビデオの再生画像を表示することができる。

操作ボタン６３は、動画像の再生を指示するためのボタンである。操作ボタン６４は、動画像の再生の逆送りを指示するためのボタンである。操作ボタン６５は、動画像の再生の早送りを指示するためのボタンである。ユーザは、操作ボタン６３，６４，６５を操作することにより、索引ビデオおよび素材ビデオの再生動作を制御することができる。

素材ビデオ取得指示ボタン６６は、索引ビデオの再生中に、表示画面で再生画像が表示されている要約ビデオの素材ビデオの取得を指示するためのボタンである。要約ビデオ指定部３４は、素材ビデオ取得指示ボタン６６がユーザにより操作された時に、動画再生部３３から、再生中の要約ビデオを特定する情報を取得する。この要約ビデオの情報は素材ビデオ取得部３５に送られ、取得対象の素材ビデオが特定される。

図１３は、図１１に示す携帯電話機３の表示画面５１の他の構成例である。図１３において、表示画面５１には、索引ビデオおよび素材ビデオの再生画像を表示するための画像表示画面６２と、索引ビデオ内の要約ビデオのうち既に再生済みの要約ビデオの画像（再生済み要約ビデオ画像）を表示するための再生済み画像表示画面７１とが設けられる。

再生済み画像表示画面７１には、複数の要約ビデオに係る再生済み要約ビデオ画像を表示することができる。再生済み画像表示画面７１内に表示しきれない場合には、画面スクロールによって全ての再生済み要約ビデオ画像を表示することができるようにしておく。そして、再生済み画像表示画面７１に表示されている再生済み要約ビデオ画像のうちから、ユーザが再生済み要約ビデオ画像を指定することができるようにする。要約ビデオ指定部３４は、ユーザが指定した再生済み要約ビデオ画像に対応する要約ビデオの情報を素材ビデオ取得部３５に送る。これにより、ユーザは、索引ビデオの再生中に、急いで素材ビデオの指定操作を行う必要がなくなるので、所望のものとは異なる素材ビデオを指定してしまったり、操作が間に合わず素材ビデオを指定できなかったりすることを防止することができ、利便性がよい。なお、再生済み要約ビデオ画像は、静止画像であってもよく、或いは、動画像であってもよい。例えば、要約ビデオの先頭のフレーム画像を再生済み要約ビデオ画像とする。

本実施形態によれば、以下に示すような効果が得られる。
（１） ユーザは、魅力的な索引ビデオを視聴しながら、所望の素材ビデオを探すことができる。
（２）ユーザによる検索の手間および時間を削減することができる。
（３）映像特徴を利用したクラスタリングにより、類似動画像を検出することができ、検索対象コンテンツを簡単に絞り込むことができる。
（４）携帯電話機のように制約のあるユーザインタフェースを利用しても、ユーザは簡単に動画像の検索を行うことができる。
（５）大量の動画像が蓄積された動画像蓄積サーバに対する携帯端末を利用した動画像の検索及び閲覧において、高速化、効率化を図ることができる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

例えば、動画像検索装置１の索引ビデオ生成部１６は、索引ビデオに含まれる要約ビデオの再生順序の番号の情報を素材ビデオのＵＲＬに関連付けて要約ビデオメタデータに含めるとともに、該再生順序の番号を該当する要約ビデオと同時に表示させるための表示データを該索引ビデオに含めるようにしてもよい。これにより、端末３が索引ビデオを再生したときに、再生中の要約ビデオの再生順序の番号が要約ビデオの再生画像と一緒に表示される。ユーザは、その再生順序の番号によって素材ビデオを指定することができる。端末３は、要約ビデオメタデータから、ユーザが指定した再生順序の番号に関連付けられた素材ビデオのＵＲＬを取得し、該ＵＲＬを用いて素材ビデオを取得する。これにより、ユーザは、索引ビデオの視聴時に、取得したい素材ビデオの要約ビデオの再生順序の番号をメモしておけば、索引ビデオの視聴後に素材ビデオを指定して取得することができるので、利便性がよい。

また、上述の実施形態では、オンラインで素材ビデオの特徴の解析、素材ビデオのクラスタリング及び要約ビデオの抽出を行うように構成したが、素材ビデオの特徴の解析、素材ビデオのクラスタリング及び要約ビデオの抽出は事前の準備段階においてオフラインで行っておき、その結果を該当する記憶部１８，１９，２０に格納しておいてもよい。これにより、オンラインでは、検索キーワードに対応する素材ビデオの要約ビデオに関し、要約ビデオの優先順位の決定および索引ビデオの生成を行えばよいので、検索時間の短縮を図ることができる。

また、動画像検索装置１と端末３を合わせた一装置として構成してもよい。

本発明の一実施形態に係る動画像検索システムの構成を示すブロック図である。 同実施形態に係る索引ビデオについて説明するための概念図である。 同実施形態に係る素材ビデオ解析方法の一実施例のフローチャートである。 同実施形態に係る素材ビデオ解析データの構成例である。 同実施形態に係る要約ビデオ抽出方法のフローチャートである。 図５に示すステップＳ１１の処理結果の構成例である。 図５に示すステップＳ１３の処理結果の構成例である。 本発明の一実施形態に係る要約ビデオ優先順位決定方法のフローチャートである。 本発明の一実施形態に係る索引ビデオメタデータの構成例である。 本発明の一実施形態に係る索引ビデオメタデータの構成例である。 本発明に係る動画像検索システム一実施例である。 図１１に示す携帯電話機３の表示画面５１の構成例である。 図１１に示す携帯電話機３の表示画面５１の他の構成例である。

符号の説明

１…動画像検索装置、３…端末、４…素材ビデオデータベース、１１…検索キーワード受信部（検索キーワード入力部）、１２…素材ビデオ取得部、１３…素材ビデオ解析部、１４…要約ビデオ抽出部、１５…要約ビデオ優先順位決定部（索引ビデオ生成装置）、１６…索引ビデオ生成部（索引ビデオ生成装置）、１７…索引ビデオ送信部（索引ビデオ出力部）、１８…素材ビデオ記憶部、１９…素材ビデオ解析データ記憶部、２０…要約ビデオ記憶部、３１…検索キーワード送信部、３２…索引ビデオ受信部、３３…動画再生部、３４…要約ビデオ指定部、３５…素材ビデオ取得部、５１…表示画面、５２…操作部、６１…検索キーワード一覧表示画面、６２…画像表示画面、６３，６４，６５…操作ボタン、６６…素材ビデオ取得指示ボタン、７１…再生済み画像表示画面

Claims (14)

1. 検索の対象の動画像である素材ビデオのうち検索キーワードに対応する素材ビデオの集合である素材ビデオ群に含まれる各素材ビデオの部分的な動画像である要約ビデオを用いて、要約ビデオを順番に再生するための索引ビデオを生成する索引ビデオ生成装置において、
   前記素材ビデオ又は前記要約ビデオに関する情報のうち検索効率の向上に貢献する情報に基づいて、索引ビデオに採用するときの前記要約ビデオの優先順位を決定する要約ビデオ優先順位決定部と、
   前記優先順位と前記素材ビデオ群に含まれる各素材ビデオの類似度とに基づいて、索引ビデオ内の要約ビデオの再生順序を決定し、該再生順序に従って要約ビデオを再生するための索引ビデオを生成する索引ビデオ生成部と、
   を備えたことを特徴とする索引ビデオ生成装置。
2. 前記検索効率の向上に貢献する情報は、素材ビデオに関する新鮮さ、重要度もしくはユーザの満足度、又は、要約ビデオに関する簡潔さ、を表す情報であることを特徴とする請求項１に記載の索引ビデオ生成装置。
3. 前記要約ビデオ優先順位決定部は、素材ビデオの新鮮さと要約ビデオの簡潔さによって前記要約ビデオの優先順位を決定することを特徴とする請求項２に記載の索引ビデオ生成装置。
4. 前記索引ビデオ生成部は、前記類似度に基づいた要約ビデオの分類結果の各クラスタから一様に、索引ビデオに含める要約ビデオを選択することを特徴とする請求項１から３のいずれか１項に記載の索引ビデオ生成装置。
5. 前記索引ビデオ生成部は、前記類似度に基づいた要約ビデオの分類結果の各クラスタに対し、前記検索効率の向上に貢献する情報に基づいた総合評価値を求め、該総合評価値のよいクラスタから順番に要約ビデオを選択し、索引ビデオに含めることを特徴とする請求項１から３のいずれか１項に記載の索引ビデオ生成装置。
6. 前記索引ビデオ生成部は、同一クラスタに属する素材ビデオの類似度に基づいて、類似度の高い素材ビデオの要約ビデオが重複しないように、索引ビデオに含める要約ビデオを選択することを特徴とする請求項５に記載の索引ビデオ生成装置。
7. 無線通信ネットワークを利用して配信される索引ビデオの再生時間の最大値として、該無線通信ネットワークで規定される伝送データ条件に基づいた値を設けたことを特徴とする請求項１から６のいずれか１項に記載の索引ビデオ生成装置。
8. 前記索引ビデオ生成部は、索引ビデオに含まれる要約ビデオの素材ビデオのネットワーク上の所在情報を該索引ビデオに付加することを特徴とする請求項１から７のいずれか１項に記載の索引ビデオ生成装置。
9. 前記索引ビデオ生成部は、索引ビデオに含まれる要約ビデオの再生順序の番号の情報を前記所在情報に関連付けて該索引ビデオに付加するとともに、該再生順序の番号を該当する要約ビデオと同時に表示させるための表示データを該索引ビデオに含めることを特徴とする請求項８に記載の索引ビデオ生成装置。
10. 前記索引ビデオ生成部は、索引ビデオに含まれる要約ビデオの素材ビデオの一覧情報を該索引ビデオに付加することを特徴とする請求項１から９のいずれか１項に記載の索引ビデオ生成装置。
11. 請求項１から１０のいずれか１項に記載の索引ビデオ生成装置と、
    検索キーワードを入力する検索キーワード入力部と、
    検索キーワードに基づいて素材ビデオデータベースを検索する素材ビデオ取得部と、
    該検索により取得された素材ビデオ群を記憶する素材ビデオ記憶部と、
    素材ビデオの特徴を解析する素材ビデオ解析部と、
    前記素材ビデオ群に含まれる各素材ビデオの解析データを記憶する素材ビデオ解析データ記憶部と、
    素材ビデオの解析データに基づいて、素材ビデオから要約ビデオを抽出する要約ビデオ抽出部と、
    前記素材ビデオ群に含まれる各素材ビデオの要約ビデオを記憶する要約ビデオ記憶部と、
    前記索引ビデオ生成装置で生成された索引ビデオを出力する索引ビデオ出力部と、
    を備えたことを特徴とする動画像検索装置。
12. 請求項１１に記載の動画像検索装置と、該動画像検索装置に通信回線で接続される端末とを有する動画像検索システムであり、
    前記端末は、
    検索キーワードを前記動画像検索装置に送信する検索キーワード送信部と、
    前記動画像検索装置から索引ビデオを受信する索引ビデオ受信部と、
    動画像を再生する動画再生部と、
    を備えたことを特徴とする動画像検索システム。
13. 前記端末は、
    索引ビデオに含まれる要約ビデオを指定する要約ビデオ指定部と、
    索引ビデオの付加情報に含まれる素材ビデオ所在情報に基づいて、前記指定された要約ビデオの素材ビデオを取得する素材ビデオ取得部と、
    を備えたことを特徴とする請求項１２に記載の動画像検索システム。
14. 前記端末は、
    索引ビデオの再生画像を表示する表示画面と、
    索引ビデオに含まれる要約ビデオのうち再生済みの要約ビデオの画像を表示する表示画面と、
    を備えたことを特徴とする請求項１３に記載の動画像検索システム。

Images