JP4979070B2 - 動画像提示システム - Google Patents

Description

本発明は、動画像提示システムに関し、特に、大量の動画像を対象として動画像検索や動画像話題追跡を高精度に行うことができる動画像提示システムに関する。

大量の動画像の中から必要とする動画像を検索するための技術として、検索対象動画像から輝度・色などに関する特徴量を抽出しておき、この特徴量に基づいて必要な動画像を検索する動画像検索方式が知られている。

動画像検索方式は、例えばネット上に不正に流出した動画像コンテンツそのものを厳密に検索する厳密検索方式と、ある動画像に類似する動画像を検索する曖昧検索方式の２つの方式に大別することができる。

本発明に係る動画像提示システムは、大量の動画像を対象として動画像検索や動画像話題追跡を行う曖昧検索方式に属するものであるので、まず、従来の曖昧検索方式について説明する。

動画像検索技術を評価するためのワークショップには、TRECVID(TREC Video Retrieval Workshop)が存在し、この中で行われている実験の１つに、検索(Search)タスクが含まれている。非特許文献１，２は、TRECVID検索タスクについての代表的な研究発表である。

非特許文献１，２などでのTRECVID検索タスクの中の「インタラクティブ実験」、すなわち人手による検索システムのユーザビリティ評価が主目的の実験では、動画像検索の精度および効率を向上させるために、適合フィードバックが導入されている。適合フィードバックとは、検索結果に含まれている動画像の適合性をユーザが評価し、その評価結果をシステム側に返し、システム側では返された評価結果を活用して以後の検索の精度を改善する仕組みのことである。

TRECVID検索タスクでは、動画像検索の単位が「ショット」に限定されているが、非特許文献３には、動画像検索の単位を複数のショットから構成される区間とし、例えば多くのニュース番組の中から同一の話題を検索する動画像検索技術が記載されている。ここでは、Earth Mover's Distance(EMD)という類似度算出指標を用い、動画像間の類似度を算出することにより、ニュース番組の中から同一の話題を検索する。

非特許文献４には、非特許文献３と同様の動画像類似度算出手法を応用した動画像話題追跡手法が記載されている。動画像話題追跡とは、逐次配信されるニュース番組などの報道を対象とし、ユーザが興味のある話題に関する報道を自動的に追跡して提示する技術である。ここでは、ユーザからの適合フィードバック情報に基づいてユーザプロファイルを更新し、それ以降の話題追跡の精度を向上させる手法が導入されている。

非特許文献５には、ニュース番組に付与されているテキスト情報に加え、動画像から抽出される視覚的特徴量を利用し、同一の話題を検索する技術が提案されている。具体的には、顔検出処理を応用した手法により検索対象動画像に映っている人物を特定し、この特定結果を利用して同一の話題を関連づける手法、人物が映っていない動画像の場合には、同一の取材ＶＴＲの検出処理(共同配信された動画像であるかの検出処理)などを適用して同一の話題を関連づける手法が提案されている。

非特許文献６には、“near duplicates”と呼ばれるショットの検出結果を利用し、検索対象のニュース番組の中から関連する話題を検索する手法が提案されている。例えば大手の報道機関から配信された動画像を複数の放送局や番組などが利用する場合、ほぼ同一の動画像が放送されることになるが、この「ほぼ同一」の動画像＝“near duplicates”を検出することにより、同一の話題を検索する。

特許文献１(先願)には、非特許文献３と同様の動画像類似度算出手法を応用した動画像話題追跡手法が提案されている。ここでも、ユーザからの適合フィードバック情報に基づいてユーザプロファイルを更新し、それ以降の話題追跡の精度を向上させる手法が導入されている。
特願２００６−０９３８４１号(先願) S-F. Chang et al: "Columbia University TRECVID 2005 Video Search and High-level Feature Extraction", Proc of TRECVID 2005, 2005. A. G. Hauptmann et al: "CMU Informedia’s TRECVID 2005 Skirmishes", Proc of TRECVID 2005, 2005. Y. Peng et al.: "EMD-based video clip retrieval by many-to-many matching", Proc CIVR 2005, pp. 71-81, 2005. M. Uddenfeldt et al.: "Adaptive video news story tracking based on Earth Mover’s Distance", Proc. ICME 2006, pp. 1029-1032, 2006. Y. Zhai et al: Tracking news stories across different sources, Proceedings of ACM Multimedia 2005, pp. 2-9, 2005. W. Hsu et al: "Topic tracking across broadcast news videos with visal duplicates and semantic concepts", Proc of ICIP 2006, 2006.

非特許文献１，２のような、TRECVID検索タスクに基づいて評価されている動画像検索手法では、検索対象動画像の単位がショットに限定されており、この手法をそのまま複数のショットから構成される区間を単位とした検索に適用することはできない。

非特許文献３の動画像検索手法では、検索クエリとして入力される動画像セグメントに含まれる全てのショットから特徴を抽出し、これにより抽出された特徴を元に動画像を検索する。しかし、検索クエリの中には検索対象動画像を表すのに的確でないショットも数多く含まれており、このような的確でないショットから抽出された特徴を元に動画像を検索すると、その検索結果の精度が劣化するという課題がある。

特許文献１や非特許文献４の動画像話題追跡手法では、ユーザにより指定された話題からプロファイルを生成し、これにより生成されたプロファイルを元に話題を追跡する。しかし、これにも上記と同様の課題がある。つまり、ユーザにより指定される話題の中には追跡対象話題を表すのに的確でないショットも数多く含まれており、このような的確でないショットから抽出されるプロファイルを元に話題追跡を行うと、追跡結果の精度が劣化する。

非特許文献５の動画像話題検索手法では、人物が映っているショットに着目し、その人物を特定することにより、検索に有意な特徴を抽出しようとしている。しかし、人物が映っているからといって、その人物が当該話題にとって有意であるとは限らない。例えば、交通事故などに関する話題の場合、ニュース番組に映る人物は、事故の被害者などの一般人であることが多い。このような場合、その人物の検出結果に基づいて他の動画像を検索したとしても、それと同一の話題が得られる可能性は低い。さらに、事故報道の場合、例えば事故現場の映像など、人物が映っていない映像の方がその話題を表すのに適していると考えられるが、非特許文献５では、そのようなショットを自動的に抽出することは考えられていない。したがって、非特許文献５の動画像話題検索手法も検索の精度が劣るという課題がある。

上述した課題を解決するために、ユーザ自らが各動画像にとって重要性が高いショットを選択し、それらのショットから特徴を抽出したり、プロファイルを生成したりすることも考えられるが、この解決方法では、ユーザの負荷が大きく、実用的なシステムとはならない。

非特許文献６の動画像話題検索手法では、人物の抽出も含めた様々な動画像解析の結果を統合し、これにより同一の話題を検索する。しかしながら、これでは検索する話題の特徴を予め学習しておくことが前提となっている。例えば、動画像アーカイブの中から特定の話題(例えばブッシュ・ブレア会談)を人手で抽出し、この話題との相関が高い特徴を予め学習しておく。そして、学習結果に基づいて同一の話題を検索する。しかし、この手法は、予めの学習を必要するので、突然に発生した事件や事故に関する話題を検索することはできないという課題がある。

本発明の目的は、上記の課題を解決し、大量の動画像を対象として動画像検索や動画像話題追跡を高精度に行うことができる動画像提示システムを提供することにある。

上記課題を解決するため、本発明は、動画像蓄積手段に蓄積された動画像からユーザ指定動画像に類似した動画像を抽出してユーザに提示する動画像提示システムにおいて、ユーザからの検索要求あるいは話題追跡要求に応じて入力されるユーザ指定動画像の特徴と前記動画像蓄積手段に蓄積された動画像の特徴の類似度を算出し、算出された類似度に基づいて前記ユーザ指定動画像と類似度が高い動画像を前記動画像蓄積手段から抽出する類似動画像抽出手段と、前記類似動画像抽出手段により抽出された動画像に対する適合フィードバック情報に含まれる動画像の中から、前記ユーザ指定動画像と比較して前記ユーザ指定動画像に含まれているショットとの類似度の高いショットを自動的に選択することにより、各動画像の中身を顕著に表すショットを自動的に選択するショット選択手段と、前記ショット選択手段により選択されたショットの特徴を用いて前記ユーザ指定動画像の特徴を更新するユーザ指定動画像特徴量更新手段を備点に第１の特徴がある。

また、本発明は、さらに、ユーザからの検索要求に応じて検索クエリを前記ユーザ指定動画像として入力する検索クエリ入力手段と、前記検索クエリ入力手段により入力された検索クエリの特徴を抽出する検索クエリ特徴抽出手段を備え、
前記類似動画像抽出手段は、前記検索クエリ特徴抽出手段により抽出された特徴を前記ユーザ指定動画像の特徴として用いて動画像検索を行う点に第２の特徴がある。

また、本発明は、さらに、ユーザからの話題追跡要求に応じて追跡対象話題を前記ユーザ指定動画像として入力する追跡対象話題入力手段と、前記追跡対象話題入力手段により入力された追跡対象話題のプロファイルを生成する追跡対象話題プロファイル生成手段を備え、前記類似動画像抽出手段は、前記追跡対象話題プロファイル生成手段により生成されたプロファイルを前記ユーザ指定動画像の特徴として用いて動画像追跡を行う点に第３の特徴がある。

本発明によれば、大量の動画像を対象としてユーザ指定動画像の動画像を高精度かつユーザに過度の負担をかけることなく抽出することができるようになる。ここで、検索クエリをユーザ指定動画像として入力すれば、予め蓄積された大量の動画像の中から検索クエリに類似する動画像を高精度に検索することができ、追跡対象話題をユーザ指定動画像として入力すれば、逐次蓄積される動画像のうちの同一の話題を追跡して抽出することができる。

以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る動画像提示システムの第１の実施形態を示すブロック図である。第１の実施形態は、大量の動画像の中から必要とする動画像を検索して提示する動画像検索システムとして構成したものである。

第１の実施形態は、動画像蓄積モジュール10、動画像特徴抽出モジュール11、検索クエリ入力モジュール12、検索クエリ特徴抽出モジュール13、動画像検索モジュール14、動画像検索結果提示モジュール15、ユーザフィードバック収集モジュール16、検索クエリ追加ショット選択モジュール17、検索クエリ特徴更新モジュール18の９つのモジュールを備える。

動画像蓄積モジュール10は、TV受像器などから動画像コンテンツ(ニュース番組など)を受信し、これを動画像アーカイブ19に蓄積する。動画像アーカイブ19には、ユーザが指定した１つまたは複数の番組が動画像ファイルとして蓄積される。

動画像特徴抽出モジュール11は、動画像アーカイブ19に蓄積された動画像ファイルから検索に必要な特徴を抽出する。この特徴の抽出は、動画像検索の単位ごとに行う。例えば、話題検索の場合、動画像検索の単位は、複数のショットから構成される同一話題区間となり、同一話題区間を単位としてその特徴を抽出する。動画像検索の単位は、その他であってもよいが、以下では、動画像検索の単位が同一話題区間であるとして説明する。動画像を同一話題区間に分類する技術は、例えば、特開2005-150943号公報や特開2000-259666号公報に記載されており、ここでは、同一話題区間は分かっているものとする。動画像特徴抽出処理の詳細は後述する。

検索クエリ入力モジュール12は、ユーザからの検索要求に応じた検索クエリ(動画像セグメント)を検索クエリ特徴抽出モジュール13へ送出する。例えば、話題一覧を提示し、その中から興味を持つ１つの話題がユーザにより指定された場合に、該話題の動画像セグメントを動画像アーカイブ19から抽出し、これを検索クエリとして検索クエリ特徴抽出モジュール13へ送出する。

検索クエリ特徴抽出モジュール13は、検索クエリ入力モジュール12から送出された検索クエリから、検索に必要な特徴(検索クエリ特徴)を抽出する。ただし、検索クエリ特徴抽出モジュール14は、動画像特徴抽出モジュール11と同様の処理で特徴を抽出するものとする。

動画像アーカイブ19に蓄積された動画像ファイルの特徴を予め抽出して蓄積しておき、この特徴の中から検索クエリ特徴を選択して直接的に入力させることもできる。

動画像検索モジュール14は、検索クエリ特徴抽出モジュール13によって抽出された検索クエリ特徴と動画像特徴抽出モジュール11によって抽出された特徴との間の類似度を算出し、検索クエリ特徴との類似度が高い特徴を持つ動画像の一覧を検索結果として出力する。動画像検索処理の詳細は後述する。

動画像検索結果提示モジュール15は、動画像検索モジュール14による検索結果を動画像一覧としてユーザに提示する。動画像検索結果提示モジュール15における検索結果の提示は、例えば、検索クエリ特徴との類似度が高い特徴を持つ上位N件の動画像の一覧を提示する方法や、検索クエリ特徴との類似度が予め定められた閾値を上回る特徴を持つ動画像の一覧を提示するなどの方法で行えばよい。

また、動画像検索結果提示モジュール15は、ユーザからの要求に従って、検索結果の動画像そのものを動画像アーカイブ19から読み出してユーザに提示することもできる。

ユーザフィードバック収集モジュール16は、動画像検索結果提示モジュール15によって提示された検索結果に対するユーザの適合性評価に基づいて適合フィードバック情報を収集する。適合フィードバック情報の収集では、例えば、動画像検索結果提示モジュール15によって提示された検索結果の中から適合度が高いと評価するものをユーザに選択させ、この選択を適合フィードバック情報として収集する方法や、動画像一覧に対するユーザの閲覧履歴を暗示的な適合フィードバック情報として収集する方法などを採用できる。

検索クエリ追加ショット選択モジュール17は、ユーザフィードバック収集モジュール16によって収集された適合ユーザフィードバック情報に含まれる動画像の中から検索に有効と推定される検索クエリ追加ショットを自動的に選択する。すなわち、検索クエリと適合していると判断されて抽出された動画像の中からその中身を顕著に表すショット、つまりキーとなるショットを検索クエリ追加ショットとして自動的に選択する。検索クエリ追加ショット選択処理の詳細は後述する。

検索クエリ特徴更新モジュール18は、検索クエリ追加ショット選択モジュール17によって選択された検索クエリ追加ショットの特徴を検索クエリ特徴に追加することにより、検索クエリ特徴を更新する。更新後の検索クエリ特徴は、ユーザにより再検索が要求された場合の再検索時に利用される。

図２は、第１の実施形態における処理の概要を示すフローチャートである。まず、ユーザからの検索要求に従って検索クエリを入力する(S21)。次に、検索対象動画像の特徴と検索クエリの特徴との類似度を調べ、検索クエリの特徴との類似度が高い特徴を持つ動画像を検索する(S22)。そして、検索結果を初期検索結果として、例えば動画像一覧でユーザに提示する(S23)。

次に、ユーザによる検索結果適合性評価に従って適合フィードバック情報を生成する(S24)。適合フィードバック情報は、検索クエリとの適合度が高いというユーザの明示的な評価や動画像一覧に対するユーザの閲覧履歴を利用した暗示的な評価に基づいて生成することができる。

次に、ユーザから再検索の要求があったかどうかを判定し(S25)、再検索の要求がない場合、処理を終了するが、再検索の要求があった場合には、適合フィードバック情報に含まれる動画像の中から検索クエリに追加するのに適切なショットを自動的に選択する(S26)。そして、選択されたショットの特徴を検索クエリ特徴に追加することにより検索クエリ特徴を更新する(S27)。

再検索では、S22に戻って処理を繰り返す。ただし、動画像検索(S22)では、S27で更新された検索クエリ特徴を用いる。再検索の場合も検索結果適合性評価を行い、検索クエリ特徴をさらに更新し、再々検索を行うこともできる。

このように、検索結果をユーザに提示し、ユーザによる検索結果適合性評価に基づいて適合フィードバック情報を生成し、さらに、適合フィードバック情報に含まれる動画像の中から検索に有効な検索クエリ追加ショットを自動的に選択して検索クエリ特徴を更新することにより、再検索あるいは再々検索での検索精度を向上させることができる。

次に、動画像特徴抽出モジュール11における動画像特徴抽出処理について説明する。図３は、動画像特徴抽出処理の概要を示すフローチャートである。

動画像特徴抽出処理では、動画像アーカイブ19に蓄積された動画像ファイルを処理対象とし、各検索対象動画像ごとに検索に必要な特徴を抽出する。そのために、まず、検索対象動画像をそれぞれ、ショット単位に分割し(S31)、各ショットの長さを算出する(S32)。動画像のショット単位への分割には、例えば特開2000-36966号公報や特開2005-130416号公報に記載されたカット点抽出技術を利用できる。

次に、分割された全てのショットを処理対象とし(S33)、各ショットの特徴を抽出する(S34)。具体的には、各ショットからキーフレームとなる静止画を抽出し(S341)、抽出された静止画の特徴を抽出し(S342)、登録する(S35)。各ショットのキーフレームとなる静止画は、例えば各ショットの中央のフレームである。また、S34で抽出する静止画の特徴は、例えば各ピクセルの色に基づいて作成されたカラーヒストグラムである。

以上の処理を、検索対象動画像に含まれる全てのショットについて実行する。なお、S36は、分割された全てのショットについての処理が完了するまでS33〜S36をループとして処理を繰り返すことを表している。

動画像特徴抽出処理が終了した段階では、検索対象動画像に含まれる全てのショットの特徴が抽出され、S35で登録される。これらの特徴およびS32で算出された各ショットのショット長さを当該検索対象動画像の特徴とする。

検索クエリ特徴抽出モジュール14における検索クエリ特徴抽出処理は、上記の動画像特徴抽出処理と同様であり、検索クエリ入力モジュール13から入力された検索クエリについての特徴を抽出する。

次に、動画像検索モジュール14における動画像検索処理につて説明する。図４は、動画像検索処理の概要を示すフローチャートである。動画像検索処理では、全ての検索対象動画像を対象とし(S41)、その特徴と検索クエリの特徴を比較して両者の類似度を算出し(S42)、登録する(S43)。類似度は、下記文献に示されるEarth Mover’s Distance(EMD)を指標として算出することができる。

Yossi Rubner, Carlo Tomasi, Leonidas J. Guibas: The earth mover’s distance as a metric for image retrieval, Int’l Journal Comput. Vision, Vol 40, No. 2, pp. 99-121, 2000.

Yuxin Peng, Chong-Wah Ngo: EMD-based video clip retrieval by many-to-many matching, Proceedings of CIVR 2005, pp. 71-81, 2005.

以上の類似度算出および登録を全ての検索対象動画像について実行する。なお、S44は、全ての検索対象動画像についての処理が完了するまでS41〜S44をループとして処理を繰り返すことを表している。

全ての検索対象動画像についての類似度算出および登録が終了したら、S43で登録された類似度に基づいて抽出した動画像一覧を検索結果として出力する(S45)。例えば、S41で登録された類似度の中から検索クエリの特徴との類似度が高い特徴を持つ上位N件の動画像を抽出し、それを動画像一覧を出力する。検索クエリの特徴との類似度が予め定められた閾値を上回る特徴を持つ動画像を抽出し、それを動画像一覧として出力させてもよい。

次に、クエリ追加ショット選択モジュール18における検索クエリ追加ショット選択処理について説明する。Earth Mover’s Distance(EMD)では、検索クエリならびに検索対象動画像に含まれる各ショットのキーフレームのカラーヒストグラム間の距離とショットの長さを元に動画像間の類似度(EMD)を算出している。具体的には、動画像間の類似度を運搬問題(transportation problem)に置き換えて算出し、検索クエリと検索対象動画像間の距離を最小化するための最適なショット(キーフレーム)間の組合せを自動的に決定している。

ここで、検索クエリと動画像間のEMDの算出処理に着目すると、検索クエリと適合している動画像の場合、検索クエリならびに検索対象動画像から抽出されたショット(キーフレーム)のうち、数少ない高い類似度を持つショットの組合せが最終的なEMD算出値に大きな影響を与えているのに対し、検索クエリと適合しないが、結果として高いEMD算出値となる動画像については、検索クエリと動画像間の低い類似度を持つショットの多くの組み合わせで全体的にEMD算出値が累積された結果、たまたま高いEMD算出値につながっていることが実験により明らかになった。このような現象は一般的な動画像で言えるものである。

図５は、上記の現象の具体例として、同一話題同士の類似度をEMDで算出した場合に、EMDの算出に利用されたショットの組合せの一例を示す説明図である。図の左側の静止画は、ある話題の各ショットから選択した静止画であり、右側は、それと同一話題の各ショットから選択した静止画である。なお、図では、静止画を模式的に示しているが、実際は、ニュース番組における同一話題の各ショットから選択した静止画である。

これらの話題間では高いEMD算出値が得られるが、その中身を見ると、EMD算出値に大きく貢献している高類似度を持つショット組合せ(図示実線)は少ない。なお、破線は、EMDの算出に利用された低類似度を持つショット組合せを示している。

そこで、本発明では、適合フィードバック情報に含まれる動画像の中から高類似度のショットのみを選択し、これにより選択されたショットの特徴を検索クエリ特徴に追加することで検索クエリ特徴を更新する。これによれば、動画像検索に有効である高類似度のショットの特徴のみが検索クエリ特徴に追加され、類似度算出に不要なショットが取り除かれるので、不要なショットに伴う誤検索を減少させることができる。したがって、適合フィードバック情報に含まれる動画像の全てのショットの特徴を検索クエリ特徴量に追加する場合に検索された非適合動画像が検索されなくなり、高い精度で動画像を検索することができるようになる。

次に、クエリ追加ショット選択処理について具体的に説明する。ここでは、以下のように各記号を定義する。
検索クエリ：Q
検索対象動画像：V
検索クエリQから抽出されたショット特徴量：{S_Ｑ１,・・・,S_Ｑｎ}
検索対象動画像Vから抽出されたショット特徴量：{S_Ｖ１,・・・,S_Ｖｍ}
検索クエリ・検索対象動画像ショット組合せ：C=(S_Ｑｉ,S_Ｖｊ)
EMD算出時に利用されたショット組合せ群：EMDshot(Q,V)={C_１,・・・,C_ｋ}

図６は、クエリ追加ショット選択処理の概要を示すフローチャートである。クエリ追加ショット選択処理では、検索対象動画像Vが検索クエリQに適合していると判断された場合(S61)、検索クエリQと検索対象動画像Vとの間のEMDによる類似度算出時に利用された全てのショット組合せC=(S_Ｑｉ,S_Ｖｊ)に対し(S62)、組み合わせCに含まれる２ショット間の類似度Sim(S_Ｑｉ,S_Ｖｊ)が予め定められている閾値(Thres)を上回っているか否かを判定し(S63)、上回っていると判定された場合、追加ショット一覧にショットS_Ｖｊを追加する(S64)。なお、S65は、全てのショット組合せCについての処理が完了するまでS62〜S65をループとして処理を繰り返すことを表している。

全てのショット組合せCについて追加ショット一覧にショットS_Ｖｊを追加する処理が終了したら、追加ショット一覧のショットを元の検索クエリQに追加(S66)する。

上記第１の実施形態は、既に動画像アーカイブに蓄積されている動画像の中から必要な動画像を検索する動画像検索システムであるが、本発明は、それと同様の基本構成により、特許文献１や非特許文献３に記載されているような動画像話題追跡システムとしても構成できる。

動画像検索システムでは、検索の都度、検索クエリを入力し、再検索時の精度を高めるために適合フィードバックを行うが、動画像話題追跡システムでは、ユーザが興味を持つ話題のプロファイル(追跡対象話題プロファイル)をシステム側に保持させておく。そして、追跡対象話題プロファイルと逐次入力される動画像の特徴の類似度を算出し、算出された類似度に基づき、ユーザが興味を持つと推測される話題を抽出してユーザに提示し、さらに次回の動画像話題追跡時の精度を高めるために適合フィードバックを行う。

図７は、本発明に係る動画像提示システムの第２の実施形態を示すブロック図であり、動画像話題追跡システムとして構成したものである。

第２の実施形態は、動画像蓄積モジュール70、動画像特徴抽出モジュール71、追跡対象話題指定モジュール72、追跡対象話題プロファイル生成モジュール73、話題間類似度算出モジュール74、類似話題提示モジュール75、ユーザフィードバック収集モジュール76、プロファイル追加ショット選択モジュール77、追加対象話題プロファイル更新モジュール78の９つのモジュールを備える。

動画像蓄積モジュール70は、逐次入力される動画像コンテンツを動画像ファイルとして動画像アーカイブ79に蓄積する。動画像特徴抽出モジュール71は、動画像アーカイブ79に蓄積された動画像ファイルから動画像追跡に必要な特徴を抽出する。

追跡対象話題指定モジュール72は、ユーザからの話題追跡要求に従って追跡対象話題を動画像アーカイブ79から抽出する。追跡対象話題プロファイル生成モジュール73は、追跡対象話題指定モジュール72で抽出された追跡対象話題の特徴を抽出して追跡対象話題プロファイルを生成する。

話題間類似度算出モジュール74は、動画像特徴抽出モジュール71で抽出された特徴と追跡対象話題プロファイル生成モジュール73で生成された追跡対象話題プロファイルとの類似度を話題間類似度として算出する。

類似話題提示モジュール75は、話題間類似度算出モジュール74によって算出された話題間類似度に基づいて追跡対象話題プロファイルと類似度が高い話題の一覧を追跡結果としてユーザに提示する。追跡結果の提示は、類似度の高い上位N件の話題の一覧、あるいは予め定められた閾値を上回る話題の一覧を追跡対象関連動画像一覧として提示する方法などで行うことができる。

ユーザフィードバック収集モジュール76は、類似話題提示モジュール75によってユーザに提示された追跡結果に対するユーザの適合フィードバック情報を収集する。具体的には、例えば、追跡結果の中から追跡対象話題との適合性が高いものをユーザが選択することで明示的にフィードバック情報を収集する方法や、追跡結果に対するユーザの閲覧履歴を元に暗示的にフィードバック情報として収集する方法などを採用できる。

プロファイル追加ショット選択モジュール77は、ユーザフィードバック収集モジュール76によって収集されたユーザフィードバック情報、具体的には追跡対象話題と適合していると判断された話題の中から、追跡対象話題プロファイルに有効なショットを自動的に選択する。

追加対象話題プロファイル更新モジュール78は、プロファイル追加ショット選択モジュール77により選択されたショットの特徴を追跡対象話題プロファイルに追加する。なお、追跡対象話題プロファイルに登録されてから所定時間が経過した特徴を削除する機能を持たせれば、追跡対象話題の特徴が刻々と変化する場合でも話題追跡の精度を高く保つことができる。

以上のように、動画像話題追跡システムでは、ユーザからの適合フィードバック情報に基づいて追跡対象話題プロファイルを逐次更新するが、追跡対象話題プロファイルの更新処理の前に、追跡対象話題プロファイルに追加するショットをプロファイル追加ショット選択モジュール77で選択することにより話題追跡の精度を向上させることができる。

以上実施形態を説明したが、本発明は、上記実施形態に限られるものではなく、種々に変形することができる。例えば、図２のフローチャートにおいて、検索結果提示(S23)の後に検索処理終了を選択できるようにしておけば、適合フィードバック情報を生成することなく、検索処理を終了させることができる。

本発明に係る動画像提示システムの第１の実施形態を示すブロック図である。 第１の実施形態における処理の概要を示すフローチャートである。 動画像特徴抽出処理の概要を示すフローチャートである。 動画像検索処理の概要を示すフローチャートである。 同一話題同士の類似度をEMDで算出した場合にEMDの算出に利用されたショットの組合せの一例を示す説明図である。 クエリ追加ショット選択処理の概要を示すフローチャートである。 本発明に係る動画像提示システムの第２の実施形態を示すブロック図である。

符号の説明

10,70・・・動画像蓄積モジュール、11,71・・・動画像特徴抽出モジュール、12・・・検索クエリ入力モジュール、13・・・検索クエリ特徴抽出モジュール、14・・・動画像検索モジュール、15・・・動画像検索結果提示モジュール、16,76・・・ユーザフィードバック収集モジュール、17・・・検索クエリ追加ショット選択モジュール、18・・・検索クエリ特徴更新モジュール、19,79・・・動画像アーカイブ、72・・・追跡対象話題指定モジュール、73・・・追跡対象話題プロファイル生成モジュール、74・・・話題間類似度算出モジュール、75・・・類似話題提示モジュール、77・・・プロファイル追加ショット選択モジュール、78・・・追加対象話題プロファイル更新モジュール

Claims (3)

1. 動画像蓄積手段に蓄積された動画像からユーザ指定動画像に類似した動画像を抽出してユーザに提示する動画像提示システムにおいて、
   ユーザからの検索要求あるいは話題追跡要求に応じて入力されるユーザ指定動画像の特徴と前記動画像蓄積手段に蓄積された動画像の特徴の類似度を算出し、算出された類似度に基づいて前記ユーザ指定動画像と類似度が高い動画像を前記動画像蓄積手段から抽出する類似動画像抽出手段と、
   前記類似動画像抽出手段により抽出された動画像に対する適合フィードバック情報に含まれる動画像の中から、前記ユーザ指定動画像と比較して前記ユーザ指定動画像に含まれているショットとの類似度の高いショットを自動的に選択することにより、各動画像の中身を顕著に表すショットを自動的に選択するショット選択手段と、
   前記ショット選択手段により選択されたショットの特徴を用いて前記ユーザ指定動画像の特徴を更新するユーザ指定動画像特徴量更新手段を備えたことを特徴とする動画像提示システム。
2. さらに、ユーザからの検索要求に応じて検索クエリを前記ユーザ指定動画像として入力する検索クエリ入力手段と、
   前記検索クエリ入力手段により入力された検索クエリの特徴を抽出する検索クエリ特徴抽出手段を備え、
   前記類似動画像抽出手段は、前記検索クエリ特徴抽出手段により抽出された特徴を前記ユーザ指定動画像の特徴として用いて動画像検索を行うことを特徴とする請求項１に記載の動画像提示システム。
3. さらに、ユーザからの話題追跡要求に応じて追跡対象話題を前記ユーザ指定動画像として入力する追跡対象話題入力手段と、
   前記追跡対象話題入力手段により入力された追跡対象話題のプロファイルを生成する追跡対象話題プロファイル生成手段を備え、
   前記類似動画像抽出手段は、前記追跡対象話題プロファイル生成手段により生成されたプロファイルを前記ユーザ指定動画像の特徴として用いて動画像追跡を行うことを特徴とする請求項１に記載の動画像提示システム。

Images