JP5580097B2 - 索引コンテンツ生成装置および映像検索システム - Google Patents

Description

本発明は、索引コンテンツ生成装置および映像検索システムに関する。

従来、視聴者が複数の映像の中から所望の映像を検索して視聴するために、本編映像の概要を示す短編映像を画面上で再生する映像検索システムが知られている。例えば非特許文献１では、複数の短編映像を連結した映像データを画面上で再生することにより複数の短編映像を順番に視聴者へ提示し、視聴者が再生中の短編映像を選択すると、該短編映像に対応する本編映像を該画面上で再生する。

上向俊晃、帆足啓一郎、松本一則、滝嶋康弘、"CGM動画像検索のための索引ビデオ生成手法に関する検討"、映像情報メディア学会冬季大会、pp.8-7、２００８年１２月

しかし、上述した非特許文献１では、短編映像を一つずつ順番に再生するので、視聴者は所望の映像が見つかるまで一つずつ短編映像を視聴しながら待たなければならない。この問題に対する一つの対処方法として複数の短編映像を同時に同じ画面上で再生することで検索時間を短縮することが考えられるが、画面サイズの制約があるので、同じ画面内で再生可能な短編映像数には限りがある。このため、複数の短編映像を同時に同じ画面上で再生する際に、どの短編映像を画面内のどの位置で再生するのかが重要となる。

本発明は、このような事情を考慮してなされたもので、複数の短編映像を同時に同じ画面上で再生する際に、映像検索上、効率的な画面構成とすることができる、索引コンテンツ生成装置および映像検索システムを提供することを課題とする。

上記の課題を解決するために、本発明に係る索引コンテンツ生成装置は、本編映像の概要を示す短編映像を同じ画面上で複数再生する索引コンテンツを生成する索引コンテンツ生成装置であり、前記画面内の映像表示領域に設けられた複数の分割領域に対して、分割領域ごとに各短編映像に対する見つけやすさの期待値を算出する期待値算出部を備え、該期待値に基づいて各分割領域で再生する短編映像を決定することを特徴とする。

本発明に係る索引コンテンツ生成装置において、前記期待値算出部は、映像表示領域内の分割領域の総面積に対する期待値算出対象の分割領域の面積の割合に基づいて、前記期待値を算出することを特徴とする。

本発明に係る索引コンテンツ生成装置において、前記期待値算出部は、各短編映像の優先度に基づいて前記期待値を算出することを特徴とする。

本発明に係る索引コンテンツ生成装置においては、本編映像の再生時間長に対する短編映像の再生時間長の割合が小さいほど、当該短編映像の優先度を大きくする短編映像優先度決定部を備えたことを特徴とする。

本発明に係る索引コンテンツ生成装置においては、本編映像の解像度に対する短編映像の解像度の割合が大きいほど、当該短編映像の優先度を大きくする短編映像優先度決定部を備えたことを特徴とする。

本発明に係る索引コンテンツ生成装置において、前記短編映像優先度決定部は、短編映像の優先度を算出する際に、本編映像の供給元の種類ごとに設定された係数を使用して短編映像の優先度を算出することを特徴とする。

本発明に係る索引コンテンツ生成装置においては、短編映像を分類する複数のクラスタを設け、前記期待値算出部は、クラスタ毎に、クラスタの再生順序による短編映像の見つけやすさに基づいて前記期待値を算出することを特徴とする。

本発明に係る索引コンテンツ生成装置においては、一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する各短編映像の再生時間のうち最長の再生時間にすることを特徴とする。

本発明に係る索引コンテンツ生成装置においては、一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する短編映像のうち優先度が最大である短編映像の再生時間の整数倍にすることを特徴とする。

本発明に係る索引コンテンツ生成装置においては、一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する各短編映像の再生時間の最小公倍数にすることを特徴とする。

本発明に係る映像検索システムは、上述のいずれかの索引コンテンツ生成装置と、前記索引コンテンツ生成装置が生成した索引コンテンツを画面上で再生する再生装置と、索引コンテンツに含まれる短編映像に対応する本編映像を取得するためのリンク操作情報を生成するリンク操作情報生成部と、リンク操作情報を用いて、短編映像に対応する本編映像を取得する操作を行うリンク操作連携部と、を備えたことを特徴とする。

本発明によれば、複数の短編映像を同時に同じ画面上で再生する際に、映像検索上、効率的な画面構成とすることができるという効果が得られる。

本発明の一実施形態に係る映像検索システムの構成を示すブロック図である。 図１に示すデータストレージ１１，１２，１３，１４に格納されるメタデータの構成例である。 図１に示す短編映像データストレージ２２に格納されるメタデータの構成例である。 本発明の一実施形態に係る索引コンテンツ生成処理の全体的な流れを示すフローチャートである。 画面表示領域１００と映像表示領域２００の構成例である。 本発明の一実施形態に係る映像表示領域２００の画面構成例である。 本発明の一実施形態に係る映像表示領域２００の画面構成例である。 本発明の一実施形態に係る映像表示領域２００の画面構成例である。

以下、図面を参照し、本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る映像検索システムの構成を示すブロック図である。図１において、映像検索システムは、サーバ装置１０とクライアント装置３０を備える。サーバ装置１０とクライアント装置３０とは通信回線で接続される。この通信回線は、無線回線であってもよく、又は、有線回線であってもよい。無線回線は、携帯電話網等の広域無線網の無線回線を利用してもよく、又は、近距離無線通信装置を用いた無線回線を利用してもよい。クライアント装置３０は、据置き型の装置であってもよく、又は、携帯型の装置であってもよい。クライアント装置３０は、例えば、携帯電話機であり、携帯電話回線を利用してサーバ装置１０に接続するようにしてもよい。

サーバ装置１０は、本編映像データ及びメタデータを格納するデータストレージ１１，１２，１３，１４と、ストレージ連携部１５と、索引コンテンツ生成部１６と、索引コンテンツ送信部１７と、短編映像優先度決定部１８と、索引コンテンツ画面構成決定部１９と、索引コンテンツ再生構成決定部２０と、リンク操作情報生成部２１と、短編映像データストレージ２２とを有する。

インターネット映像データストレージ１１は、インターネット上で公開されている本編映像データを格納する。インターネット映像データストレージ１１は、例えば、インターネット上で展開されている映像共有サービスなどが管理しているデータストレージであってもよく、又は、映像検索システムのユーザ（以下、単にユーザと称する）がインターネット上からユーザ所有のパーソナルコンピュータにダウンロードした映像データを蓄積したデータストレージであってもよい。

携帯電話映像データストレージ１２は、ユーザの携帯電話機内にあるデータストレージに蓄積された本編映像データを格納する。携帯電話映像データストレージ１２は、例えば、ユーザが携帯電話機に搭載されたカメラで撮影した映像データを蓄積したデータストレージであってもよく、又は、ユーザが電子メールや携帯電話向けインターネットサイトから取得した映像データを蓄積したデータストレージであってもよい。携帯電話映像データストレージ１２には、例えば、携帯電話機内のデータストレージに蓄積された本編映像データをバックアップするためにサーバ装置１０へ転送されたものが格納される。

テレビ映像データストレージ１３は、テレビ放送された本編映像データを格納する。テレビ映像データストレージ１３は、例えば、ユーザが録画機器で録画したテレビ放送の映像データを蓄積したデータストレージである。
カメラ映像データストレージ１４は、ユーザがカメラを用いて撮影した本編映像データを格納する。

図２は、各データストレージ１１，１２，１３，１４に格納されるメタデータの構成例である。データストレージ１１，１２，１３，１４は、本編映像データとともに、該本編映像データに付随するメタデータを格納する。このメタデータは、本編映像に関する情報であり、映像識別子（映像ＩＤ）、タイトル、再生時間、解像度（縦、横）、取得日時又は撮影日時又は録画日時、及び優先度を有する。さらに、インターネット映像に関するメタデータは本編映像データを取得したところのＵＲＬ（Uniform Resource Locator）を有し、テレビ映像に関するメタデータは本編映像データに係る番組情報を取得できるＵＲＬ（番組情報ＵＲＬ）を有する。優先度は、本編映像ごとに事前に付与された、本編映像に対する映像検索上の優先度である。

なお、本編映像データ及びメタデータを格納するデータストレージは、図１に示す４種類に限定されず、各種のデータストレージを準備することが可能である。

短編映像データストレージ２２は、データストレージ１１，１２，１３，１４に格納される本編映像データの概要を示す短編映像データ及びメタデータを格納する。短編映像データは、例えば、本編映像データから部分的に抽出した映像データを用いて作成されてもよく、又は、予め短編映像用に作成されてもよい。

図３は、短編映像データストレージ２２に格納されるメタデータの構成例である。短編映像データストレージ２２は、短編映像データとともに、該短編映像データに付随するメタデータを格納する。このメタデータは、短編映像に関する情報であり、映像識別子（映像ＩＤ）、当該短編映像に対応する本編映像データが格納されているデータストレージの識別子（本編映像ストレージ像ＩＤ）、再生時間、解像度（縦、横）、及び優先度を有する。この優先度は、短編映像ごとに、短編映像優先度決定部１８によって決定される。

ストレージ連携部１５は、データストレージ１１，１２，１３，１４から本編映像のメタデータを取得して索引コンテンツ生成部１６へ供給する。索引コンテンツ生成部１６は、ストレージ連携部１５から供給された本編映像のメタデータ、並びに短編映像データストレージ２２に格納される短編映像データ及びメタデータを用いて、索引コンテンツを生成する。この索引コンテンツは、複数の短編映像を同時に同じ画面上で再生するように構成される。索引コンテンツ生成処理において、索引コンテンツ生成部１６は、短編映像優先度決定部１８、索引コンテンツ画面構成決定部１９、索引コンテンツ再生構成決定部２０及びリンク操作情報生成部２１と連携する。索引コンテンツ送信部１７は、索引コンテンツをクライアント装置３０へ送信する。

短編映像優先度決定部１８は、本編映像のメタデータ及び短編映像のメタデータを用いて、短編映像の優先度を決定する。索引コンテンツ画面構成決定部１９は、複数の短編映像を同時に同じ画面上で再生するときの画面内の配置を決定する。索引コンテンツ再生構成決定部２０は、複数の短編映像を再生するときの再生スケジュールを決定する。リンク操作情報生成部２１は、短編映像に対応する本編映像データを取得するための情報（リンク操作情報）を生成する。

クライアント装置３０は、索引コンテンツ受信部３１と索引コンテンツ再生部３２とリンク操作連携部３３とを有する。索引コンテンツ受信部３１は、サーバ装置１０から索引コンテンツを受信する。索引コンテンツ再生部３２は、索引コンテンツを画面上で再生する。リンク操作連携部３３は、リンク操作情報を用いて、短編映像に対応する本編映像データを取得する操作を行う。

次に、図４を参照して、図１に示す映像検索システムが索引コンテンツを生成する際の動作の全体的な流れを説明する。図４は本実施形態に係る索引コンテンツ生成処理の全体的な流れを示すフローチャートである。ステップＳ１では、ストレージ連携部１５が、短編映像データストレージ２２内の短編映像データに対応する本編映像のメタデータを、データストレージ１１，１２，１３，１４から取得して索引コンテンツ生成部１６へ供給する。ステップＳ２では、メタデータの取得が終了したかを判断し、終了したらステップＳ３へ進む。

ステップＳ３では、索引コンテンツ生成部１６が本編映像のメタデータ及び短編映像のメタデータを短編映像優先度決定部１８へ供給し、短編映像優先度決定部１８が本編映像のメタデータ及び短編映像のメタデータを用いて短編映像の優先度を決定する。

ステップＳ４では、索引コンテンツ画面構成決定部１９が、索引コンテンツを再生するときの画面内の配置を決定する。ステップＳ５では、索引コンテンツ生成部１６が、短編映像データストレージ２２内の短編映像データをクラスタリングする。

ステップＳ６，Ｓ７では、クラスタ毎に、索引コンテンツ再生構成決定部２０が短編映像の再生スケジュールを決定し、リンク操作情報生成部２１がリンク操作情報を生成する。ステップＳ８では、クラスタ毎の処理が終了したかを判断し、終了したらステップＳ９へ進む。ステップＳ９では、索引コンテンツ生成部１６が、索引コンテンツを生成する。

次に、本実施形態に係る索引コンテンツ生成に係る処理を順次詳細に説明する。

［短編映像の優先度を決定する処理］
短編映像優先度決定部１８は、本編映像のメタデータ及び短編映像のメタデータを用いて、短編映像の優先度（短編映像優先度）を決定する。この短編映像優先度決定処理では、短編映像データストレージ２２内の全ての短編映像データに対して、それぞれの短編映像優先度を決定する。

まず本実施形態に係る短編映像優先度を決定する際の方針を説明する。本編映像の再生時間長に対する短編映像の再生時間長の割合が小さいほど、本編映像の内容を端的に短い時間で短編映像により表現できていると考えられるので、より注目度の高い短編映像および本編映像であると言える。また、本編映像の解像度に対する短編映像の解像度の割合が大きいほど、本編映像の解像度のままで短編映像を見せたいという重要性があると考えられるので、より注目度の高い短編映像および本編映像であると言える。但し、短編映像の解像度が本編映像の解像度よりも大きくなることはないものとする。

このような方針のもと、次の式（１）により短編映像優先度（Ｖｓ）を算出する。
Ｖｓ＝ｄ×Ｖｏ×（１÷Ｐｔｓｏ）×Ｐｒｓｏ （１）
但し、Ｖｏは本編映像の優先度である。Ｐｔｓｏは本編映像の再生時間（Ｔｏ）に対する短編映像の再生時間（Ｔｓ）の割合（Ｔｓ÷Ｔｏ）である。Ｐｒｓｏは本編映像の解像度（縦：Ｒｏｒ、横：Ｒｏｃ）に対する短編映像の解像度（縦：Ｒｓｒ、横：Ｒｓｃ））の割合（（Ｒｓｒ÷Ｒｏｒ）又は（Ｒｓｃ÷Ｒｏｃ）の大きい方の値）である。ｄは、本編映像データが格納されるデータストレージ毎に設定される係数である。なお、本実施形態では、本編映像データがどこから供給されるかによって本編映像データを格納するデータストレージが異なっている。従って、ｄは本編映像データの供給元の種類ごとに設定されている。

上記式（１）によれば、本編映像の優先度が高いほど、本編映像の再生時間長に対して短編映像の再生時間長が短いほど、本編映像の解像度に対して短編映像の解像度が変わらないほど、短編映像優先度が高くなる。

なお、本実施形態では式（１）により短編映像優先度を算出するが、短編映像優先度の算出式は、上述の方針に基づいて、適宜、変更してもよい。

又、本実施形態では、上記方針に基づいて短編映像優先度を算出するが、短編映像優先度を決定する方針は上記方針に限定されず、適宜、変更してもよい。例えば、本編映像の優先度をそのまま短編映像優先度にしてもよい。又、短編映像を作成した時に短編映像優先度を決定するようにしてもよい。

［画面構成を決定する処理］
索引コンテンツ画面構成決定部１９は、索引コンテンツを再生するときの画面内の配置を決定する。索引コンテンツは、複数の短編映像を同時に同じ画面上で再生するように構成される。従って、索引コンテンツ画面構成決定部１９は、複数の短編映像を同時に同じ画面上で再生するときの画面内の配置を決定する。

図５は、クライアント装置３０が索引コンテンツを画面上で再生するときに再生映像を表示する画面の全体の表示領域（画面表示領域）１００と、画面表示領域１００内で映像を表示することができる領域（映像表示領域）２００とを示す。図５において、映像表示領域２００は、４つの座標（Ｘａｓ，Ｙａｓ），（Ｘａｓ，Ｙａｅ），（Ｘａｅ，Ｙａｓ），（Ｘａｅ，Ｙａｅ）で囲まれた矩形領域である。各座標値は、画面表示領域１００上の一点（図５中の点で示す）を基準としたときの相対座標で表す。

図６、図７、図８は、本実施形態に係る映像表示領域２００の画面構成例である。図６において、映像表示領域２００には、４個の分割領域２０１，２０２，２０３，２０４が設けられる。各分割領域２０１，２０２，２０３，２０４では、一つずつ短編映像が再生される。分割領域２０１，２０２，２０３，２０４のうち、分割領域２０１は面積が最大であり、他の分割領域２０２，２０３，２０４は面積が等しい。分割領域２０２，２０３，２０４は、分割領域２０１の下側に、横に並べて配置される。

図７において、映像表示領域２００には、１１個の分割領域２０１〜２１１が設けられる。各分割領域２０１〜２１１では、一つずつ短編映像が再生される。分割領域２０１〜２１１のうち、分割領域２０１は面積が最大であり、他の分割領域２０２〜２１１は面積が等しい。分割領域２０２〜２１１は、分割領域２０１の両側に、５個ずつ縦に並べて配置される。

図８において、映像表示領域２００には、５個の分割領域２０１〜２０５が設けられる。各分割領域２０１〜２０５では、一つずつ短編映像が再生される。分割領域２０１〜２０５のうち、分割領域２０１は面積が最大であり、他の分割領域２０２〜２０５は順番に面積が小さくなる。分割領域２０２〜２０５は、分割領域２０１の下側に、横に並べて配置される。

索引コンテンツ画面構成決定部１９は、画面構成を特定するための入力情報を受け、該入力情報に従って、複数の画面構成の中から、索引コンテンツを再生するときの画面構成を選択する。例えば、図６、図７、図８の画面構成を選択候補としてクライアント装置３０によりユーザに提示し、ユーザが選択した画面構成を示す情報を入力情報としてクライアント装置３０からサーバ装置１０へ送信する。そして、索引コンテンツ画面構成決定部１９は、図６、図７、図８の画面構成の中から、該入力情報で示される画面構成を選択する。

なお、映像表示領域２００の画面構成例は、上記図６、図７、図８に限定されず、適宜、変更してもよい。

［短編映像をクラスタリングする処理］
索引コンテンツ生成部１６は、短編映像データストレージ２２内の短編映像データをクラスタリングする。このクラスタリング処理では、短編映像データストレージ２２内の全ての短編映像データを対象にしてクラスタリングを行う。本実施形態では、各短編映像に対する見つけやすさの期待値を設け、その期待値を最大にするクラスタを求めることによって各短編映像が属するクラスタを決定する。以下、具体的に説明する。

短編映像データの総数をＭとする。又、クラスタの総数（Ｃ：自然数）は予め設定される。そして、各クラスタに対してクラスタ番号（ｎ：１からＣまでの自然数）を付与しておく。クラスタ番号は、索引コンテンツを再生する際の再生順序を示す。従って、クラスタ番号が小さいクラスタから順番に再生される。又、一クラスタに属する短編映像数は、索引コンテンツ画面構成決定部１９が決定した映像表示領域２００内の分割領域数とする。従って、一クラスタに属する全短編映像が、映像表示領域２００上で同時に再生される。又、映像表示領域２００内の各分割領域に対して分割領域番号（ｑ：１からＱまでの自然数、Ｑは映像表示領域２００内の分割領域の総数）を付与する。なお、クラスタ毎に、異なる分割領域構成の映像表示領域２００を使用するようにしてもよい。

第ｎ番クラスタの第ｑ番分割領域において、ある短編映像（映像ＩＤ＝ｉ）の期待値（Ｅ（ｎ，ｑ，ｉ））を次の式（２）で定義する。
Ｅ（ｎ，ｑ，ｉ）＝Ｅ１×Ｅ２×Ｅ３ （２）
但し、Ｅ１は短編映像（映像ＩＤ＝ｉ）の短編映像優先度である。Ｅ１は短編映像優先度による短編映像（映像ＩＤ＝ｉ）の見つけやすさを表す。Ｅ２は次の式（３）で表される。Ｅ２は第ｎ番クラスタの再生順序による短編映像（映像ＩＤ＝ｉ）の見つけやすさを表す。
Ｅ２＝１−（（クラスタ番号−１）÷Ｃ）^２ （３）
Ｅ３は次の式（４）で表される。Ｅ３は映像表示領域２００内での第ｑ番分割領域による短編映像（映像ＩＤ＝ｉ）の見つけやすさを表す。
Ｅ３＝（第ｑ番分割領域の面積）÷（映像表示領域２００内の分割領域の総面積） （４）

索引コンテンツ生成部１６は、まず第１番クラスタにおいて、分割領域（分割領域番号（ｑ）が１からＱまで）毎に、全短編映像（総数がＭ）について個個の期待値（Ｅ（１，ｑ，ｉ））を算出する。これにより、第１番クラスタにおいて、分割領域（分割領域番号（ｑ）が１からＱまで）毎に、Ｍ個の期待値（Ｅ（１，ｑ，ｉ））が算出される。次いで、索引コンテンツ生成部１６は、分割領域（分割領域番号（ｑ）が１からＱまで）毎に、算出したＭ個の期待値（Ｅ（１，ｑ，ｉ））の中で最大の期待値（Ｅ（１，ｑ，ｉ））に対応する短編映像を第１番クラスタの当該分割領域に割り当てる。このとき、第ｑ番分割領域に対して、最大の期待値（Ｅ（１，ｑ，ｉ））が複数存在する場合には、短編映像優先度が高いほうの短編映像を選択する、さらには、本編映像の優先度が高いほうの短編映像を選択する。これにより、第１番クラスタにおいて、Ｑ個の分割領域（分割領域番号（ｑ）が１からＱまで）に対し、１つずつ短編映像が割り当てられる。第１番クラスタの第ｑ番分割領域に割り当てられた短編映像は、第１番クラスタに係る映像表示領域２００内の第ｑ番分割領域で再生される。次いで、索引コンテンツ生成部１６は、第１番クラスタに分類したＱ個の短編映像を、クラスタリング対象から除外する。

次いで、索引コンテンツ生成部１６は、残りの（Ｍ−Ｑ）個の短編映像を対象にして、第１番クラスタのときと同様に、第２番クラスタにおける期待値（Ｅ（２，ｑ，ｉ））の算出と、第２番クラスタにおける各分割領域への短編映像の割当とを行い、第２番クラスタに分類したＱ個の短編映像をクラスタリング対象から除外する。以降、同様にして、クラスタ番号の昇順で、第Ｃ番クラスタまでのクラスタリングを行う。

［再生構成を決定する処理］
索引コンテンツ再生構成決定部２０は、クラスタ毎に、短編映像の再生スケジュールを決定する。この再生スケジュール決定処理について一クラスタ分を説明する。まず、クラスタの総再生時間（Ｔｃ）を決定する。クラスタの総再生時間（Ｔｃ）は、当該クラスタに属する各短編映像の再生時間のうち、最長の再生時間とする。

次いで、当該クラスタに係る短編映像の再生スケジュールを作成する。この再生スケジュールにおいて、再生時間がクラスタの総再生時間（Ｔｃ）に等しい短編映像については、クラスタの再生開始と同時に短編映像の再生を開始し、クラスタの再生終了と同時に短編映像の再生を終了するように、スケジューリングする。一方、再生時間がクラスタの総再生時間（Ｔｃ）よりも短い短編映像については、クラスタの再生開始と同時に短編映像の再生を開始し、短編映像の再生が終了したら短編映像の初めから繰り返し再生し、クラスタの再生終了と同時に短編映像の再生を終了するように、スケジューリングする。

なお、再生スケジュールの決定方法は、上記方法に限らず、適宜、変更してもよい。例えば、クラスタの総再生時間（Ｔｃ）は、当該クラスタに属する短編映像のうち、短編映像優先度が最大である短編映像の再生時間の整数倍としてもよい。この場合、短編映像優先度が最大である短編映像は、再生の途中で中断することがなくなる。又は、クラスタの総再生時間（Ｔｃ）は、当該クラスタに属す各短編映像の再生時間の最小公倍数としてもよい。この場合、全短編映像について、再生の途中で中断することがなくなる。

［リンク操作情報を生成する処理］
リンク操作情報生成部２１は、短編映像に対応する本編映像データを取得するためのリンク操作情報を生成する。このリンク操作情報生成処理として、以下に２つの例を説明する。

（リンク操作情報生成処理の例１）
この例１では、ユーザがクライアント装置３０により索引コンテンツを再生して複数の短編映像を同時に同じ画面上で視聴している最中に、再生中の短編映像に対応する本編映像を短編映像の再生を中断して視聴するためのリンク操作情報を生成する。

このリンク操作情報には、再生中の特定の短編映像を選択するための短編映像選択部を映像表示領域２００内に設ける機能と、各短編映像選択部に対応する本編映像データを取得する機能とを、クライアント装置３０に設けるための情報を含める。短編映像選択部としては、例えば、映像表示領域２００内の各分割領域に選択領域を設け、ユーザがマウス等のポインティングデバイスやカーソルの操作によって任意の選択領域を指定することができるようにする。又は、短編映像選択部として映像表示領域２００内の各分割領域に分割領域番号を表示し、ユーザが数字キー等によって分割領域番号を入力することによって任意の短編映像選択部を指定することができるようにする。

クライアント装置３０のリンク操作連携部３３は、リンク操作情報を用いて、短編映像に対応する本編映像データを取得する操作を行う。具体的には、短編映像選択部を映像表示領域２００内に設け、ユーザによって指定された短編映像選択部に対応する本編映像データを取得する。これにより、ユーザが指定した短編映像選択部に対応する本編映像データが、短編映像の再生を中断して、映像表示領域２００上で再生される。

（リンク操作情報生成処理の例２）
この例２では、ユーザがクライアント装置３０により再生中の索引コンテンツが全て再生し終わってから、本編映像を視聴するためのリンク操作情報を生成する。

このリンク操作情報には、再生中の特定のクラスタを選択するためのクラスタ選択部を映像表示領域２００内に設ける機能と、各クラスタ選択部に対応するクラスタに属する短編映像を特定する情報（例えば、映像ＩＤのリスト、又は、映像表示領域２００の画面キャプチャ）を記録する機能と、該記録を特定の短編映像を選択するための短編映像選択部とともにユーザの要求に応じて映像表示領域２００に表示する機能と、各短編映像選択部に対応する本編映像データを取得する機能とを、クライアント装置３０に設けるための情報を含める。短編映像選択部は、上記例１と同様である。

クライアント装置３０のリンク操作連携部３３は、リンク操作情報を用いて、短編映像に対応する本編映像データを取得する操作を行う。具体的には、クラスタ選択部を映像表示領域２００内に設け、ユーザによって指定されたクラスタ選択部に対応する映像ＩＤのリスト又は映像表示領域２００の画面キャプチャを記録する。そして、記録した映像ＩＤリスト又は画面キャプチャを特定の短編映像を選択するための短編映像選択部とともにユーザの要求に応じて映像表示領域２００に表示し、ユーザによって指定された短編映像選択部に対応する本編映像データを取得する。これにより、ユーザが指定した短編映像選択部に対応する本編映像データが、ユーザの要求に応じて映像表示領域２００上で再生される。

なお、本編映像データの再生は、クライアント装置３０とは別の再生装置で行うようにしてもよい。

［索引コンテンツを生成する処理］
索引コンテンツ生成部１６は索引コンテンツを生成する。索引コンテンツには、クラスタ毎に分類された短編映像データの映像ＩＤと、各クラスタに使用する映像表示領域２００の画面構成を特定する画面構成情報と、各クラスタに使用する再生スケジュールと、リンク操作情報とを含める。

クライアント装置３０の索引コンテンツ再生部３２は、サーバ装置１０から受信した索引コンテンツに含まれる映像ＩＤの短編映像データをサーバ装置１０から取得する。そして、索引コンテンツ再生部３２は、クラスタ番号の昇順でクラスタ毎に、画面構成情報及び再生スケジュールに基づいて映像表示領域２００上で短編映像データを再生する。これにより、クラスタ番号の昇順でクラスタ毎に、再生スケジュールに従って、複数の短編映像が同時に同じ映像表示領域２００の各分割領域上で再生される。

上述した実施形態によれば、複数の短編映像を同時に同じ画面上で再生する際に、どの短編映像を画面内のどの位置で再生するのかを、各短編映像に対する見つけやすさの期待値に基づいて決定することができる。これにより、複数の短編映像を同時に同じ画面上で再生する際に、各短編映像がユーザに見つけられやすい状態で再生されるので、映像検索上、効率的な画面構成とすることができるようになる。

又、同じ画面上で短編映像を再生すると、ユーザが１つの短編映像を見ている間に、他の短編映像を見逃してしまう恐れがある。しかし、本実施形態によれば、クラスタ毎に複数の短編映像を分類して再生するので、ユーザは、クラスタ単位で再生したりスキップしたりすることにより、見逃した短編映像を容易に発見することができる。

又、ユーザは複数の短編映像を同時に同じ画面上で視聴することができるので、検索時間の短縮に寄与することができる。又、索引コンテンツの画面構成や再生構成に変化をつけることができるので、ユーザが索引コンテンツを楽しみながら検索することが期待できる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、上述した実施形態に係る映像検索システムは、専用のハードウェアにより実現されるものであってもよく、あるいはパーソナルコンピュータ等のコンピュータシステムにより構成され、図１に示される装置の各部の機能を実現するためのプログラムを実行することによりその機能を実現させるものであってもよい。

また、その各装置には、周辺機器として入力装置、出力装置等（いずれも図示せず）が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスや、記録媒体からデータを読み出す読み出し装置等のことをいう。出力装置としては、例えば、ＣＲＴ（Cathode Ray Tube）や液晶表示装置等の表示装置、記録媒体への記録装置、印字装置などが挙げられる。
また、上記周辺機器については、各装置に直接接続するものであってもよく、あるいは通信回線を介して接続するようにしてもよい。

なお、上述した実施形態に係る映像検索システムは、様々な用途に利用することができる。例えば、近年、携帯電話機は、インターネットからの映像データのダウンロード及び視聴、テレビ放送の視聴など、映像データを扱うことができるようになっている。これにより、携帯電話機向けの映像検索システムが要望されるが、携帯電話機上で短編映像を視聴しながら検索することは煩雑であるため、できる限りユーザの負担を軽減することが望ましい。このような携帯電話機向けの映像検索システムとして、本実施形態に係る映像検索システムを適用すれば、ユーザがいち早く所望の短編映像を発見したり、短編映像を見返す頻度を減らしたりする効果が見込めるので、ユーザの負担軽減、検索時間の短縮、通信コストの削減などを図ることができる。

又、各種の映像データストレージに蓄積される大量の映像データを対象にした映像検索システムに本実施形態に係る映像検索システムを適用するようにしても、映像検索上、効率的な画面構成を提供することができることから、検索時間の短縮等の効果が期待できる。

１０…サーバ装置、１１，１２，１３，１４…映像データストレージ、１５…ストレージ連携部、１６…索引コンテンツ生成部、１７…索引コンテンツ送信部、１８…短編映像優先度決定部、１９…索引コンテンツ画面構成決定部、２０…索引コンテンツ再生構成決定部、２１…リンク操作情報生成部、２２…短編映像データストレージ、３０…クライアント装置、３１…索引コンテンツ受信部、３２…索引コンテンツ再生部、３３…リンク操作連携部

Claims (10)

1. 本編映像の概要を示す短編映像を同じ画面上で複数再生する索引コンテンツを生成する索引コンテンツ生成装置であり、
   前記画面内の映像表示領域に設けられた複数の分割領域に対して、分割領域ごとに各短編映像に対する見つけやすさの期待値を算出する期待値算出部を備え、
   該期待値に基づいて各分割領域で再生する短編映像を決定する索引コンテンツ生成装置であって、
   短編映像を分類する複数のクラスタを設け、
   前記期待値算出部は、クラスタ毎に、クラスタの再生順序による短編映像の見つけやすさに基づいて前記期待値を算出する、
   ことを特徴とする索引コンテンツ生成装置。
2. 前記期待値算出部は、映像表示領域内の分割領域の総面積に対する期待値算出対象の分割領域の面積の割合に基づいて、前記期待値を算出することを特徴とする請求項１に記載の索引コンテンツ生成装置。
3. 前記期待値算出部は、各短編映像の優先度に基づいて前記期待値を算出することを特徴とする請求項１又は２に記載の索引コンテンツ生成装置。
4. 本編映像の再生時間長に対する短編映像の再生時間長の割合が小さいほど、当該短編映像の優先度を大きくする短編映像優先度決定部を備えたことを特徴とする請求項３に記載の索引コンテンツ生成装置。
5. 本編映像の解像度に対する短編映像の解像度の割合が大きいほど、当該短編映像の優先度を大きくする短編映像優先度決定部を備えたことを特徴とする請求項３又は４に記載の索引コンテンツ生成装置。
6. 前記短編映像優先度決定部は、短編映像の優先度を算出する際に、本編映像の供給元の種類ごとに設定された係数を使用して短編映像の優先度を算出することを特徴とする請求項４又は５に記載の索引コンテンツ生成装置。
7. 一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、
   前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する各短編映像の再生時間のうち最長の再生時間にすることを特徴とする請求項１から６のいずれか１項に記載の索引コンテンツ生成装置。
8. 一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、
   前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する短編映像のうち優先度が最大である短編映像の再生時間の整数倍にすることを特徴とする請求項１から６のいずれか１項に記載の索引コンテンツ生成装置。
9. 一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、
   前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する各短編映像の再生時間の最小公倍数にすることを特徴とする請求項１から６のいずれか１項に記載の索引コンテンツ生成装置。
10. 請求項１から９のいずれか１項に記載の索引コンテンツ生成装置と、
    前記索引コンテンツ生成装置が生成した索引コンテンツを画面上で再生する再生装置と、
    索引コンテンツに含まれる短編映像に対応する本編映像を取得するためのリンク操作情報を生成するリンク操作情報生成部と、
    リンク操作情報を用いて、短編映像に対応する本編映像を取得する操作を行うリンク操作連携部と、
    を備えたことを特徴とする映像検索システム。

Images