JP4787191B2 - 映像検索方法及び装置及びプログラム - Google Patents

Description

本発明は、映像検索方法及び装置及びプログラムに係り、特に、言語情報によって表現することが困難な映像中のシーンを検索するための映像検索方法及び装置及びプログラムに関する。

蓄積装置の大容量化などに伴い、ディジタル化された画像・映像の量が増大している。そのため大量に蓄積装置に蓄積された画像・映像などのコンテンツの中から所望のコンテンツを検索するための技術が研究されている。

特に、画像の形状やシーンなどの状況などは、蓄積されたコンテンツの記述及び検索要求の入力の双方において言語表現が困難なため検索もまた困難である。そのため、例えば、画像の形状をスケッチにより指示し、映像中のシーン検索を行う方法（例えば、特許文献１参照）や、スケッチ画像の特徴量と動画動き特徴量を用いた検索方法（例えば、特許文献２参照）が提案されている。
特許公報第２８１３７２２号「スケッチによる画像検索方式」 特開２００２−２４５０５１号公報「動画像検索装置及び方法、その方法をコンピュータに実行させるためのプログラムならびにそのプログラムを記録した記録媒体」

しかしながら、テキスト以外のクエリで、映像中のシーンを検索しようとした場合、クエリ入力が困難であり、また、利用者がイメージしている所望のシーンも、様々な記憶や事前知識などにより実際のシーンと異なるケースが多く存在する。例えば、図１８に示すように、誤差が生じてしまう場合がある。図１８は、直線や楕円及び直線を中心に構成されるような写真を被験者に提示し、直後にそれを紙に書き取るように指示した時の結果であり、横軸（Correct Angle）は直線及び楕円などの傾きの角度を、縦軸（Input Angle）は、当該被験者が書き取った角度を示している。同図（Ａ）のａ部分を拡大したものが同図（Ｂ）である。同図（Ｂ）の上部の提示された角度から大きな誤差が含まれた部分は、野球の画像を提示した場合に被験者が書いた３塁線であり、同図（Ｂ）の下部は鳥居の水平方向の木を示している。元来水平方向に存在する物体に対しては角度が正しく再現されるが、被験者が１塁線と３塁線が直角に交わるという事前知識を持っているために３塁線では大きな誤差が含まれてしまう。

上記のような誤差には、２つの原因が考えられる。ひとつは、記憶する段階での誤差、もう一つはクエリを入力する段階での誤差がある。この２段階での誤差により、所望のシーンとクエリとの類似性が低くなってしまうという問題がある。

本発明は、上記の点に鑑みなされたもので、ユーザの技術・能力によらず、簡易に、映像コンテンツの検索対象と類似した検索クエリの入力を可能とし、高精度なシーン検索が可能な映像検索方法及び装置及びプログラムを提供することを目的とする。

本発明（請求項１）は、映像を検索する映像検索方法であって、
コンピュータにおいて、
検索対象の映像における撮影対象物を、直線を中心にモデル化した画像である環境モデルを格納した環境モデル記憶手段から、該環境モデルを読み込み、各時刻において該環境モデルの空間の視点、注目点、焦点距離を変化させることによりクエリとなる動画（クエリ動画：Synthesized video clip query）を作成するクエリ動画作成ステップと、
クエリ動画から直線検出を行い、検出された直線に基づいて生成した直線履歴画像を検索に有効な特徴として抽出する特徴抽出ステップと、
映像記憶手段から読み込んだ検索対象となる映像のフレーム画像から直線検出を行い、各フレームにおいて検出された直線に基づいて生成した直線履歴画像を生成し、シーン特徴記憶手段に格納するシーン特徴抽出ステップと、
クエリ動画から作成された直線履歴画像を用いて、シーン特徴記憶手段に格納されたフレーム毎の直線履歴画像を検索する検索ステップと、を行う。

また、本発明（請求項２）は、特徴抽出ステップ及びシーン特徴抽出ステップにおいて、
時刻ｔのフレーム画像の座標（ｘ、ｙ）で直線が検出された場合には、最も近い時間に直線が検出された画素に与えられる最大の画素値を直線履歴画像における座標（ｘ、ｙ）の値とし、
それ以外の場合には、時刻ｔに対して所定の時刻前の直線履歴画像の座標（ｘ、ｙ）における値から残像の減衰量を減じた値と０とを比較して大きいほうの値を、直線履歴画像における座標（ｘ、ｙ）の値とする。

本発明（請求項３）は、映像を検索する映像検索装置であって、
検索対象の映像における撮影対象物を、直線を中心にモデル化した画像である環境モデルを格納した環境モデル記憶手段３から、該環境モデルを読み込み、各時刻において該環境モデルの空間の視点、注目点、焦点距離を変化させることによりクエリとなる動画（クエリ動画）を作成するクエリ動画作成手段２０と、
クエリ動画から直線検出を行い、検出された直線に基づいて生成した直線履歴画像を検索に有効な特徴として抽出する特徴抽出手段３０と、
映像記憶手段から読み込んだ検索対象となる映像のフレーム画像から直線検出を行い、各フレームにおいて検出された直線に基づいて生成した直線履歴画像を生成し、シーン特徴記憶手段２に格納するシーン特徴抽出手段１０と、
クエリ動画から作成された直線履歴画像を用いて、シーン特徴記憶手段２に格納されたフレーム毎の直線履歴画像を検索する検索手段４０と、を有する。

また、本発明（請求項４）は、特徴抽出手段及びシーン特徴抽出手段において、
時刻ｔのフレーム画像の座標（ｘ、ｙ）で直線が検出された場合には、最も近い時間に直線が検出された画素に与えられる最大の画素値を直線履歴画像における座標（ｘ、ｙ）の値とし、
それ以外の場合には、時刻ｔに対して所定の時刻前の直線履歴画像の座標（ｘ、ｙ）における値から残像の減衰量を減じた値と０とを比較して大きいほうの値を、直線履歴画像における座標（ｘ、ｙ）の値とする。

本発明（請求項５）は、コンピュータを、請求項３または４に記載の映像検索装置として機能させるプログラムである。

上記のように本発明によれば、映像検索を行いたいユーザは、簡単な操作によって、実物と類似した検索クエリの動画（クエリ動画）の作成が可能となり、テキスト情報により検索することが困難な映像シーンを検索することが可能となる。

以下、図面と共に本発明の実施の形態を説明する。

最初に本発明で用いられる用語について説明する。

「シーン」とは、動画の時間的に連続した一部分をさす。

「環境モデル」とは、検索対象の物体をコンピュータ上でモデル化したものである。

「クエリ動画」とは、「クエリ」つまり、検索要求と同義である。しかし、本発明でのクエリは動画であり、動画により検索することを強調して、クエリ動画と呼ぶこととする。

「見え」とは、撮影された結果の映像ことである。物体は、同じ形状であっても撮影時の視点、注目点、焦点距離が変化すると撮影された結果は異なる。ここでは、物体の撮影された結果を「見え」と定義する。

図３は、本発明の一実施の形態における映像検索装置の構成を示す。

映像検索装置は、映像記憶部１、シーン特徴記憶部２、映像特徴抽出部１０からなる準備機能と、環境モデル記憶部３、クエリ動画作成部２０、特徴抽出部３０、検索部４０からなる検索機能と、入力装置４、表示装置５からなるユーザインタフェースから構成される。クエリ動画作成部２０には入力装置４が、検索部４０には表示装置５が接続されている。

図４は、本発明の一実施の形態における動作の概要を説明するための図である。

ステップ１０１） まず、映像特徴抽出部１０において、映像記憶部１から検索対象となる映像を読み込み、処理可能な状態にする。

ステップ１０２） 映像特徴抽出部１０は、読み込まれた検索対象映像から検索に有効な特徴を抽出し、シーン特徴記憶部２に格納する。検索に有効な特徴は、検索対象などにより変化するためここでは特に指定しない。ここで、シーン特徴記憶部２に格納されたシーン特徴の例を図５に示す。シーン特徴は、映像ファイル名、時刻、該時刻あるいは該時刻に由来する一定時間幅の映像特徴を有する。映像の特徴は、数値（スカラ、ベクトル）、画像、映像、テキストなどどのような形態でも構わない。

上記のとおりシーン特徴については特に制限しないが、検索対象映像が、フィールドスポーツなど、直線を中心にした環境モデルが構築される場合においては、直線検出をして特徴とすることが有効である。特徴抽出処理については、図６、図７において後述する。

以下の処理は、上記のステップ１０１，１０２の処理により予めシーン特徴が格納されたシーン特徴記憶部２が用意されていることを前提とする。

ステップ１１０） クエリ動画作成部２０は、検索対象に合わせて予め用意された環境モデル記憶部３から環境モデルを読み出す。

ステップ１１１） クエリ動画作成部２０は、入力装置４を介して入力されたユーザの入力からクエリとなる動画を作成する。詳細については、図９において詳述する。

ステップ１１２） 特徴抽出部３０は、作成されたクエリ動画から検索に有効な特徴を抽出する。

ステップ１１３） 検索部４０は、抽出された特徴を用いてシーン特徴記憶部２を検索する。クエリ動画から抽出された特徴を用いて、シーン特徴記憶部２に記録されているシーン特徴を検索する。検索処理は、どのような方法でも構わない。単純な方法としては、クエリ動画から抽出された特徴とシーン特徴記憶部２に記録されている特徴とのユークリッド距離を計算し、距離の近いものを検索結果とすることが考えられる。

ステップ１１４） 検索部４０は、検索された結果を表示装置５に表示する。

以下、上記の各処理について詳細に説明する。

まず、ステップ１０２における映像特徴抽出部１０及び、ステップ１１２における特徴抽出部３０の処理について説明する。

図６は、本発明の一実施の形態における特徴抽出処理のフローチャートである。

ステップ６０１） 映像記憶部１から読み込んだフレーム画像、または、クエリ動画作成部２０で生成されたクエリ動画を２値化する。

ステップ６０２） ２値化したフレーム画像について直線検出を行う。

ステップ６０３） 各フレームについて、画像内の位置毎に傾きのヒストグラムを求める。この例を図７に示す。同図は、一枚の画像を縦・横４分割し、１６の領域に分割されている様子を示している。各領域について、０度、４５度、９０度、１３５度の傾きを持った直線がどの程度含まれているか、を記録する。すなわち、４×４×４＝６４次元の情報を持つこととなる。これは、Mpeg7で標準化されている。

図７の例では、
｛0,0,0,0,0,1,0,0,0.1.0.1,0,0,0,0,0,1,1,0,0,1,1,1,0,0,1,0,0,0,0,1,0,0,0,0,0,0,0,10,0,1,1,1,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0｝
となる。しかしながら、領域分割の大きさ、あるいは、角度の量子化幅に関して限定するものではない。

図８に、別の特徴抽出処理について示す。

ステップ７０１） 映像記憶部１から読み込んだフレーム画像、または、クエリ動画作成部２０で生成されたクエリ動画を２値化する。

ステップ７０２） ２値化したフレーム画像をハフ変換し、直線画像Ｌ_ｔを作成する。

ステップ７０３） 次式によって直線履歴画像を生成する。

但し、Ｖは最も近い時間に直線が検出された画素に与えられる最大の画素値、τは単位時間、ｄは残像の減衰量、Maxは引数のうち最大のものを返す関数であり、Ｌ_ｔ（）は以下の式とする。

この場合、画像そのものを特徴量として用いるため、映像特徴抽出部１０では、画素値をシーン特徴記憶部２に記録しても構わないし、あるいは画像そのものを記録しても構わない。

次に、上記のステップ１１１におけるクエリ動画作成部２０の動作について詳しく説明する。クエリ動画の作成方法としては、図９、図１１、図１２に示す３つの方法がある。

（１）第１のクエリ動画の作成手順：
図９は、本発明の一実施の形態におけるクエリ動画作成処理のフローチャート（その１）であり、図１０は、入力装置４からのユーザ入力例を示す。これは、パーソナルコンピュータ上のインタフェースでのマウスでの指示により注目開始点及び注目終了点を入力する例である。

以下、図１０の例を用いて説明する。

ステップ３００） クエリ動画作成部２０は、入力装置４から視点及び焦点距離設定に関する情報を取得する。

ステップ３０１） ユーザ入力から環境モデル中の注目開始点ｐ（０）を取得する。

ステップ３０２） ユーザ入力から環境モデル中の注目終了点ｐ（ｆ）を取得する。

ステップ３０３） ｐ（０）からｐ（ｆ）までの全ての時刻ｔについて注目点ｐ（ｔ）を推定する。

ｐ（０）からｐ（ｔ）に至るまでの等速直線運動によりｐ（ｔ）を推定する。但し、これは、どのような手法を用いてもよく、全ての時刻における注目点ｐ（ｔ）をユーザに入力させても構わない。

ステップ３０４） 全ての時刻ｔについても"見え" Ｖ（ｔ）を作成する。

環境モデル及び視点、焦点距離、注目点から、中心投影変換を用いてカメラで撮影されたときの"見え"Ｖ（ｔ）を作成する。

ステップ３０５） 各時刻における"見え"をフレーム画像とした動画を作成し、Ｖ＝｛Ｖ（０），…，Ｖ（ｔ），…，Ｖ（Ｆ）｝をクエリ動画とする。

（２）第２のクエリ動画の作成手順；
図１１は、本発明の一実施の形態におけるクエリ動画作成処理のフローチャート（その１）である。

ステップ４０１） クエリ動作作成部２０は、入力装置４から環境モデルを、撮影機器を用いて撮影された所望の"見え"を取得する。

ステップ４０２） 取り込んだ映像のうちクエリ動画として利用する開始点を指定する。

ステップ４０３） 取り込んだ映像のうちクエリ動画として利用する終了点を指定する。

ステップ４０４） 開始から終了に至る部分映像をクエリ動画とする。

図１１の手順は、ユーザはカメラで撮影することにより、開始から終了に至るまでの、各時刻における、視点、注目点、焦点距離を入力していることと等価となる。

（３）第３のクエリ動画作成手順：
図１２は、本発明の一実施の形態におけるクエリ動画作成処理のフローチャート（その３）である。

ステップ５０１） まず、クエリ動画作成部２０は、時刻ｔを０で初期化する。

ステップ５０２） 入力装置４より時刻ｔにおける視点、注目点、焦点距離を取得する。

ステップ５０３） 時刻ｔにおける"見え"Ｖ（ｔ）を作成する。

ステップ５０４） 時刻ｔをインクリメントする。

ステップ５０５） 終了時刻に達しているかを判断し、終了時刻に達していれば、ステップ５０６に移行する。そうでない場合は、ステップ５０２に移行する。

ステップ５０６） 各時刻における"見え"Ｖ（ｔ）をつなげてクエリ動画Ｖ＝｛Ｖ（０），
…，Ｖ（ｔ），…，Ｖ（Ｆ）｝とする。

図１２の手順は、ユーザがコンピュータグラフィックにより表現された環境モデルの空間を、キーボードあるいはマウスなどの操作により視点、注目点、焦点距離を変化させながらウォークスルーことを想定している。撮影機器は用いないが、各時刻における視点、注目点、焦点距離を入力するという点において、図１１に示した手順と同様である。

このクエリ動画作成手順（ステップ１１１）では、ユーザの予め用意された環境モデルへの操作という制限された行動を入力として受け取り、そこからクエリ動画が作成されるため、ユーザの先入観や透視投影変換の失敗による図形の幾何学的な誤りなどを含むことのないクエリ動画が作成される。

以下に、上記の内容について具体例を用いて説明する。

本実施例では、検索対象をサッカー映像とする。そのため、環境モデルは、サッカーのコートである。環境モデルの例を図１３に示す。

サッカーは、代表的なフィールドスポーツであり、シーン検索においてはフィールドが重要な鍵になる。従って、直線を中心に構成されるフィールドを表す特徴として直線履歴画像を用いる。

図１４は、本発明の一実施例の映像検索装置の構成を示す。同図では、環境モデル記憶部として、図１３のサッカーコートモデルが記憶されているサッカーコートモデル記憶部３、シーン履歴画像記憶部として、直線履歴画像が記憶されている直線履歴画像記憶部２を有する。

図１５は、本発明の一実施例の動作の概要を説明するための図である。

ステップ１２０１） 映像特徴抽出部１０は、映像記憶部１からサッカー映像を読み込む。

ステップ１２０２） 映像特徴抽出部１０は、映像に対し直線履歴画像を作成し、直線履歴画像記憶部２に格納する。

ステップ１２１０） クエリ動画作成部２０は、サッカーコートモデル記憶部３からサッカーコートモデルを読み込む。

ステップ１２１１） クエリ動画作成部２０は、ユーザからの入力を受け取り、クエリ動画を作成する。

ここで、ユーザ入力の方法として、３つのパターンを挙げる。

（１）図１３に示すサッカーコートモデルを真上から見た図において、マウスクリックにより、入力することができる。但し、ｐ（０）からｐ（ｆ）に向けて等速直線移動するものとする。

（２）別のユーザ入力の方法として、図１３に示すサッカーコートモデルを真上から見た図を、所望のシーン通りにビデオカメラで撮影し、入力することも可能である。すなわち、開始時刻から終了時刻に至る各時刻における、視点、注目点、焦点距離のパラメータを入力していることと等価である。

（３）更に別の方法として、図１３に示すサッカーコートモデルにおいて、マウスあるいはキーボードなどの入力デバイスの操作によって視点、注目点、焦点距離を変化させながら、サッカーコートモデル内を自由に動き回りながら映像を作成することも可能である。これは撮影機器を用いずに、開始時刻から終了時刻に至る各時刻における、視点、注目点、焦点距離のパラメータを入力していることとなる。

ステップ１２１２） 特徴抽出部３０において、クエリ動画から特徴抽出を行う。特徴としては、上述の通り直線履歴画像を用いる。直線履歴画像記憶部２に格納されている直線履歴画像の例を図１６に示す。これは、左サイドからセンタリングが上げられたことを想定して入力された注目点から作成されたクエリ画像から作成された直線履歴画像である。

ステップ１２１３） 検索部４０において、クエリ動画から作成された直線履歴画像により、検索対象映像から作成されたシーン毎の直線履歴画像を直線履歴画像記憶部２から検索する。検索は画像同士の単純な差分を用いる。

ステップ１２１４） 検索部４０は、表示装置５に検索結果を表示する。
実際のサッカー映像に対して直線履歴画像を作成した例を図１７に示す。すなわち、ステップ１２１３では、図１６と図１７との画素毎の距離計算により類似度を判断するのである。

上記のように、本発明では、環境モデルとユーザから入力されたカメラ注目点やその遷移等の情報からクエリ動画を生成し、当該クエリ動画を用いて検索対象となるシーン特徴記憶部を検索することにより高精度なシーン検索が可能となる。また、直線を中心とした三次元環境モデルの特徴量として、直線履歴画像を用いてあいまいさを許容した特徴量の照合を行う検索を行うことができる。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、映像を含むマルチメディアデータからシーンを検索するための技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における映像検索装置の構成図である。 本発明の一実施の形態における動作の概要を説明するための図である。 本発明の一実施の形態におけるシーン特徴記憶部のデータ例である。 本発明の一実施の形態における特徴抽出処理のフローチャートである。 本発明の一実施の形態における傾きのヒストグラムの例である。 本発明の一実施の形態における他の特徴抽出処理のフローチャートである。 本発明の一実施の形態におけるクエリ動画作成処理のフローチャート（その１）である。 本発明の一実施の形態におけるユーザ入力例である。 本発明の一実施の形態におけるクエリ動画作成処理のフローチャート（その２）である。 本発明の一実施の形態におけるクエリ動画作成処理のフローチャート（その３）である。 本発明の一実施例の環境モデルの例である。 本発明の一実施例の映像検索装置の構成図である。 本発明の一実施例の動作の概要を説明するための図である。 本発明の一実施例の直線履歴画像の例である。 本発明の一実施例の実際のサッカー映像に対して直線履歴画像を作成した例である。 従来のクエリ入力の問題点を説明するための図である。

符号の説明

１ 映像記憶部
２ シーン特徴記憶部、直線履歴画像記憶部
３ 環境モデル記憶部、サッカーコートモデル記憶部
４ 入力装置
５ 表示装置
１０ 映像特徴抽出部
２０ クエリ動画作成手段、クエリ動画作成部
３０ 特徴抽出手段、特徴抽出部
４０ 検索手段、検索部

Claims (5)

1. 映像を検索する映像検索方法であって、
   コンピュータにおいて、
   検索対象の映像における撮影対象物を、直線を中心にモデル化した画像である環境モデルを格納した環境モデル記憶手段から、該環境モデルを読み込み、各時刻において該環境モデルの空間の視点、注目点、焦点距離を変化させることによりクエリとなる動画（クエリ動画：Synthesized video clip query）を作成するクエリ動画作成ステップと、
   前記クエリ動画から直線検出を行い、検出された直線に基づいて生成した直線履歴画像を検索に有効な特徴として抽出する特徴抽出ステップと、
   映像記憶手段から読み込んだ検索対象となる映像のフレーム画像から直線検出を行い、各フレームにおいて検出された直線に基づいて生成した直線履歴画像を生成し、シーン特徴記憶手段に格納するシーン特徴抽出ステップと、
   前記クエリ動画から作成された前記直線履歴画像を用いて、前記シーン特徴記憶手段に格納されたフレーム毎の直線履歴画像を検索する検索ステップと、
   を行うことを特徴とする映像検索方法。
2. 前記特徴抽出ステップ及び前記シーン特徴抽出ステップにおいて、
   時刻ｔのフレーム画像の座標（ｘ、ｙ）で直線が検出された場合には、最も近い時間に直線が検出された画素に与えられる最大の画素値を前記直線履歴画像における座標（ｘ、ｙ）の値とし、
   それ以外の場合には、前記時刻ｔに対して所定の時刻前の直線履歴画像の座標（ｘ、ｙ）における値から残像の減衰量を減じた値と０とを比較して大きいほうの値を、前記直線履歴画像における座標（ｘ、ｙ）の値とする
   ことを特徴とする請求項１記載の映像検索方法。
3. 映像を検索する映像検索装置であって、
   検索対象の映像における撮影対象物を、直線を中心にモデル化した画像である環境モデルを格納した環境モデル記憶手段から、該環境モデルを読み込み、各時刻において該環境モデルの空間の視点、注目点、焦点距離を変化させることによりクエリとなる動画（クエリ動画）を作成するクエリ動画作成手段と、
   前記クエリ動画から直線検出を行い、検出された直線に基づいて生成した直線履歴画像を検索に有効な特徴として抽出する特徴抽出手段と、
   映像記憶手段から読み込んだ検索対象となる映像のフレーム画像から直線検出を行い、各フレームにおいて検出された直線に基づいて生成した直線履歴画像を生成し、シーン特徴記憶手段に格納するシーン特徴抽出手段と、
   前記クエリ動画から作成された前記直線履歴画像を用いて、前記シーン特徴記憶手段に格納されたフレーム毎の直線履歴画像を検索する検索手段と、
   を有することを特徴とする映像検索装置。
4. 前記特徴抽出手段及び前記シーン特徴抽出手段は、
   時刻ｔのフレーム画像の座標（ｘ、ｙ）で直線が検出された場合には、最も近い時間に直線が検出された画素に与えられる最大の画素値を前記直線履歴画像における座標（ｘ、ｙ）の値とし、
   それ以外の場合には、前記時刻ｔに対して所定の時刻前の直線履歴画像の座標（ｘ、ｙ）における値から残像の減衰量を減じた値と０とを比較して大きいほうの値を、前記直線履歴画像における座標（ｘ、ｙ）の値とする
   ことを特徴とする請求項３記載の映像検索装置。
5. コンピュータを、
   請求項３または４に記載の映像検索装置として機能させることを特徴とするプログラム。