JP6062981B2 - 映像検索装置、方法、及びプログラム - Google Patents

映像検索装置、方法、及びプログラム Download PDF

Info

Publication number
JP6062981B2
JP6062981B2 JP2015039480A JP2015039480A JP6062981B2 JP 6062981 B2 JP6062981 B2 JP 6062981B2 JP 2015039480 A JP2015039480 A JP 2015039480A JP 2015039480 A JP2015039480 A JP 2015039480A JP 6062981 B2 JP6062981 B2 JP 6062981B2
Authority
JP
Japan
Prior art keywords
video
feature
feature vector
calculated
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015039480A
Other languages
English (en)
Other versions
JP2016162127A (ja
Inventor
眞哉 村田
眞哉 村田
永野　秀尚
秀尚 永野
薫 平松
薫 平松
川西　隆仁
隆仁 川西
柏野　邦夫
邦夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015039480A priority Critical patent/JP6062981B2/ja
Publication of JP2016162127A publication Critical patent/JP2016162127A/ja
Application granted granted Critical
Publication of JP6062981B2 publication Critical patent/JP6062981B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本発明は、映像検索装置、方法、及びプログラムに関する。
従来、exponential IDF(eIDF)と呼ばれる特徴点の検索識別性(重要度、重み)を使用した確率的情報検索法(BM25)に基づくインスタンスサーチシステムが提案されている（例えば、非特許文献１参照）。
本発明は、従来技術とは異なるアプローチにより、より高精度にインスタンスを示す画像を検索することができる映像検索装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明の映像検索装置は、クエリとなるインスタンスを含むインスタンス画像から、前記インスタンス画像内の前記インスタンスを示す注目領域の特徴点の第一の特徴ベクトル、及び前記注目領域でない注目領域外の特徴点の第二の特徴ベクトルを抽出するクエリ特徴抽出部と、複数の映像の各々について、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第一の特徴ベクトルとを照合した結果に基づいて、前記映像の第一の映像適合確率を算出し、前記算出された前記第一の映像適合確率の上位Ｋ件の映像の各々に対して、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第二の特徴ベクトルとを照合した結果に基づいて、前記映像の第二の映像適合確率を算出し、前記算出された前記第一の映像適合確率と、前記算出された第二の映像適合確率との重み付き線形和をランキングスコアとして算出する適合確率計算部と、を含んで構成されている。
本発明の映像検索装置によれば、前記クエリ特徴抽出部が、クエリとなるインスタンスを含むインスタンス画像から、前記インスタンス画像内の前記インスタンスを示す注目領域の特徴点の第一の特徴ベクトル、及び前記注目領域でない注目領域外の特徴点の第二の特徴ベクトルを抽出する。そして、前記適合確率計算部が、複数の映像の各々について、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第一の特徴ベクトルとを照合した結果に基づいて、前記映像の第一の映像適合確率を算出し、前記算出された前記第一の映像適合確率の上位Ｋ件の映像の各々に対して、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第二の特徴ベクトルとを照合した結果に基づいて、前記映像の第二の映像適合確率を算出し、前記算出された前記第一の映像適合確率と、前記算出された第二の映像適合確率との重み付き線形和をランキングスコアとして算出する。
このように、注目領域の特徴点の第一の特徴ベクトルと照合した結果に基づいて、第一の映像適合確率を算出し、第一の映像適合確率の上位Ｋ件の映像の各々に対して、注目領域外の特徴点の第二の特徴ベクトルとを照合した結果に基づいて、第二の映像適合確率を算出し、第一の映像適合確率と、第二の映像適合確率との重み付き線形和をランキングスコアとして算出することにより、より高精度にインスタンスを示す映像を検索することができる。
本発明の映像検索装置は、前記複数の映像の各々について、前記特徴抽出部により抽出された第一の特徴ベクトル及び第二の特徴ベクトルから、重複する特徴ベクトルを除いて、前記映像から抽出された特徴点の特徴ベクトルと、前記第一の特徴ベクトルとを照合した結果に基づいて、前記第一の特徴ベクトルの出現頻度を集計し、前記映像から抽出された特徴点の特徴ベクトルと、前記第二の特徴ベクトルとを照合した結果に基づいて、前記第二の特徴ベクトルの出現頻度を集計し、前記集計された前記第一の特徴ベクトルの出現頻度及び前記第二の特徴ベクトルの出現頻度に基づいて、映像長を計算し、前記第一の特徴ベクトルを有する映像数に基づいて、前記第一の特徴ベクトルの重みを計算し、前記第二の特徴ベクトルを有する映像数に基づいて、前記第二の特徴ベクトルの重みを計算する映像情報計算部を更に含み、前記適合確率計算部は、前記複数の映像の各々について、前記映像情報計算部によって前記映像について計算された前記第一の特徴ベクトルの出現頻度、映像長、及び前記第一の特徴ベクトルの重みに基づいて、前記映像の第一の映像適合確率を算出し、前記映像情報計算部によって前記映像について計算された前記第二の特徴ベクトルの出現頻度、映像長、及び前記第二の特徴ベクトルの重みに基づいて、前記映像の第二の映像適合確率を算出することができる。
本発明の映像情報計算部は、前記第一の特徴ベクトルを有する映像数が少ないほど大きくなる前記第一の特徴ベクトルの重みを計算し、前記第二の特徴ベクトルを有する映像数が少ないほど大きくなる前記第二の特徴ベクトルの重みを計算することができる。
上記の適合確率計算部は、前記第一の映像適合確率に対する重みを、前記第二の映像適合確率に対する重みより大きくして、前記算出された前記第一の映像適合確率と、前記算出された第二の映像適合確率との重み付き線形和をランキングスコアとして算出することができる。
また、本発明の映像検索方法は、クエリ特徴抽出部及び適合確率計算部を含む映像検索装置における映像検索方法であって、前記クエリ特徴抽出部が、クエリとなるインスタンスを含むインスタンス画像から、前記インスタンス画像内の前記インスタンスを示す注目領域の特徴点の第一の特徴ベクトル、及び前記注目領域でない注目領域外の特徴点の第二の特徴ベクトルを抽出し、前記適合確率計算部が、複数の映像の各々について、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第一の特徴ベクトルとを照合した結果に基づいて、前記映像の第一の映像適合確率を算出し、前記算出された前記第一の映像適合確率の上位Ｋ件の映像の各々に対して、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第二の特徴ベクトルとを照合した結果に基づいて、前記映像の第二の映像適合確率を算出し、前記算出された前記第一の映像適合確率と、前記算出された第二の映像適合確率との重み付き線形和をランキングスコアとして算出する。
また、本発明のプログラムは、コンピュータを、上記の映像検索装置を構成する各部として機能させるためのプログラムである。
以上説明したように、本発明の映像検索装置、方法、及びプログラムによれば、注目領域の特徴点の第一の特徴ベクトルと照合した結果に基づいて、第一の映像適合確率を算出し、第一の映像適合確率の上位Ｋ件の映像の各々に対して、注目領域外の特徴点の第二の特徴ベクトルとを照合した結果に基づいて、第二の映像適合確率を算出し、第一の映像適合確率と、第二の映像適合確率との重み付き線形和をランキングスコアとして算出することにより、より高精度にインスタンスを示す映像を検索することができる、という効果が得られる。
本発明の実施の形態に係る映像検索装置の構成を示す概略図である。 クエリのデータ構造の一例を示す図である。 クエリ特徴ＤＢのデータ構造の一例を示す図である。 特徴照合結果のデータ構造の一例を示す図である。 注目領域外特徴出現頻度及び注目領域内特徴出現頻度のデータ構造の一例を示す図である。 映像長のデータ構造の一例を示す図である。 特徴点重みのデータ構造の一例を示す図である。 途中の検索結果ランキングのデータ構造の一例を示す図である。 検索結果ランキングのデータ構造の一例を示す図である。 本発明の実施の形態における映像検索処理ルーチンの内容を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本実施の形態の概要＞
本実施の形態は、大規模映像データベースからインスタンスと呼ばれる特定の人物、物体、場所が映る映像を検索し、適合度順にランキングしてユーザに提示する映像検索装置に関するものである。映像検索装置の入力はインスタンスを写した画像(インスタンス画像)と、その画像内におけるインスタンスの領域を示した注目領域画像(region-of-interest, ROI 画像) のペアであり、システムはこの画像情報だけを用いてデータベースに格
納されている大量の映像のランキング結果を検索結果として出力する。本実施の形態では２段階の検索処理を行うことで高精度なインスタンスサーチシステムを実現する。
また、本実施の形態ではクエリのインスタンス画像中の注目領域から取得された画像特徴のみを用いてまずＢＭ２５を実行し、その検索結果ランキング上位Ｋ件の映像を、注目領域外から取得された画像特徴のみを用いたＢＭ２５スコアも考慮してリランキングする手法を提案する。
また、上記の非特許文献１に記載のeIDF には設定パラメータがありその設定が困難であるといった問題があった。本実施の形態ではその様なパラメータが存在しない、square root IDF(srIDF) も提案する。
＜本発明の実施の形態に係る映像検索装置の構成＞
本実施の形態に係る映像検索装置１０は、ＣＰＵと、ＲＡＭと、後述する映像検索処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、入力部１２、演算部１４、及び出力部１６を備えている。
入力部１２は、インスタンスが映る画像(インスタンス画像)と、その画像中におけるインスタンスの領域を白黒で示した注目領域画像(ROI 画像)とのペアを、クエリとして、少なくとも１つのクエリを受け付ける。クエリの例を図２に示す。図２の左の画像がインスタンス画像、右の画像が注目領域画像であり、クエリは、この造花がささる大きな花瓶を表している。なお、インスタンス画像と注目領域画像との複数のペアがクエリとして入力されることもある。
演算部１４は、クエリを手掛かりにして、大量の映像の中から実際にこのインスタンス(この造花がささる大きな花瓶)が映る映像を検索し、適合度順でランキングしたものを検索結果として出力部１６により出力する。
演算部１４は、クエリ特徴抽出部２０、クエリ特徴データベース（ＤＢ）２２、映像特徴データベース（ＤＢ）２４、特徴照合部２６と、映像情報計算部２８と、適合確率計算部３０と、検索ランキング部３２とを含んで構成で表すことができる。また、演算部１４は、注目領域外特徴集合４０、注目領域内特徴集合４２、特徴照合結果４４、注目領域外特徴出現頻度４６、注目領域内特徴出現頻度４８、特徴点重み５０、及び映像長５２の各々を記憶する記憶領域を備えている。
クエリ特徴抽出部２０は、入力部１２で受け付けたクエリのインスタンス画像から特徴点を検出し、検出した特徴点の特徴量を記述した特徴ベクトルを抽出する。クエリ特徴抽出部２０は、例えば、インスタンス画像において輝度値の変化が激しい箇所をHarris-Laplace法（「C. Harris et al., “A combined corner and edge detector.”, 4th Alvey Vision Conf., 1988.」参照）により特徴点として検出する。そして、検出した各特徴点の特徴量をSIFT又はCompact Color SIFT（「K. Mikolajczyk et al., “Scale and affine invariant interest point detectors.”, IJCV, 2004.」参照）により記述する。SIFTは128次元のベクトルであり、Compact Color SIFTは、輝度に関する１２８次元のＳＩＦＴ特徴量、色度を表す６４次元のベクトルを追加した１９２次元のベクトルである。
クエリ特徴抽出部２０は、入力部で受け付けたクエリの注目領域画像をもとに、各特徴点の特徴ベクトルを、注目領域内の第一の特徴ベクトルと、注目領域外の第二の特徴ベクトルとに分けて、注目領域外特徴集合４０及び注目領域内特徴集合４２に格納し、第一の特徴ベクトルと第二の特徴ベクトルとを合わせて、重複した特徴ベクトルを取り除いた集合を、クエリ特徴ＤＢ２２に格納する（図３参照）。なお、複数のクエリが入力された場合には、複数のクエリについて抽出された第一の特徴ベクトルと第二の特徴ベクトルとを合わせて、重複した特徴ベクトルを取り除いた集合を、クエリ特徴ＤＢ２２に格納すればよい。
映像特徴データベース２４には、映像データベース（図示省略）に大量に格納されている約５〜２０秒の映像の各々から抽出された各特徴点の特徴ベクトルが記憶されている。映像からの特徴抽出では、映像をフレーム画像(例えば１フレーム/秒)に分割し、各フレーム画像から、クエリ特徴抽出部２０と同様に、各特徴点の特徴ベクトルを抽出し、映像の各フレーム画像から抽出された各特徴点の特徴ベクトルを集約したものを、当該映像の各特徴点の特徴ベクトルとしている。
特徴照合部２６は、映像特徴データベース２４に格納されている各映像の特徴ベクトルと、クエリ特徴データベース２２に格納されている第一の特徴ベクトル及び第二の特徴ベクトルとを照合し、映像の各々について、当該映像の各特徴ベクトルに対して最もベクトルの値が近い第一の特徴ベクトル又は第二の特徴ベクトルを探索し、ベクトル間のコサイン類似度が所定値以上（例えば、０．９）以上という条件を考慮して、照合した第一の特徴ベクトル又は第二の特徴ベクトルを求める。上記のCompact Color SIFTの場合、例えば、１９２次元の特徴ベクトル間のコサイン類似度（０〜１の範囲の値を取り、同一の特徴ベクトルの場合は１）を用いて、コサイン類似度が所定値以上（例えば、０．９５）の特徴ベクトルと第一の特徴ベクトル又は第二の特徴ベクトルとを一致する特徴ベクトルと判断する。この照合結果が、特徴照合結果４４に格納される（図４参照）。
映像情報計算部２８は、特徴照合部２６による照合結果に基づいて、複数の映像の各々について、第一の特徴ベクトルの各々の出現頻度を集計し、第二の特徴ベクトルの各々の出現頻度を集計して、注目領域内特徴出現頻度４８及び注目領域外特徴出現頻度４６に格納すると共に（図５参照）、集計された第一の特徴ベクトルの出現頻度及び第二の特徴ベクトルの出現頻度の総和を、当該映像の映像長として計算し、映像長５２に格納する（図６参照）。
また、映像情報計算部２８は、複数の映像の各々について集計された第一の特徴ベクトルの出現頻度及び第二の特徴ベクトルの出現頻度に基づいて、第一の特徴ベクトルの各々に対し、以下の（１）式に従って、当該第一の特徴ベクトルを有する映像数に基づく、第一の特徴ベクトルの重みを計算し、第二の特徴ベクトルの各々に対し、以下の（１）式に従って、当該第二の特徴ベクトルを有する映像数に基づく、第二の特徴ベクトルの重みを計算して、特徴点重み５０に格納する（図７参照）。
ここで、Nは映像の総数、niは特徴ベクトルIを有する映像数である。この重みは式の形からsquare root IDF(srIDF)と呼ばれ、niが大きくなる傾向を示せば値が急速に小さくなる性質を要する。つまり、各特徴ベクトルの出現傾向を定量化したものであり、多頻出傾向にある特徴ベクトルは検索(映像の識別)においてあまり有効ではないと考えられるため、重みが小さくなる。非特許文献１のeIDFと比べて設定パラメータが存在しないため、実装が容易であるといった特徴がある。
適合確率計算部３０は、複数の映像の各々について、映像情報計算部２８によって当該映像について計算された第一の特徴ベクトルの各々の出現頻度、映像長、及び第一の特徴ベクトルの各々の重みに基づいて、以下の（２）式に従って、当該映像の第一の映像適合確率ＢＭ２５を算出する。
ここで、qj ROIは、ｊ番目の第一の特徴ベクトルであり、qj ROI > 0は、映像ｖ内にこのj番目の第一の特徴ベクトルが１回以上存在していることを意味し、上記(2)式の右辺はこれらの和であることを意味する。vjが実際の出現回数であり、注目領域内特徴出現頻度４８にこの情報が格納されている。k1,b1はパラメータであり、k1= 2,b1 = 0.75がよく使用される。vl,avvlはそれぞれ映像ｖの映像長、平均映像ショット長であり、映像長５２にこの情報が格納されている。平均映像ショット長は映像長５２の各映像長の平均値である。ここでsrIDFjの代わりに非特許文献１のeIDFjを用いてもよい。
適合確率計算部３０は、上記で計算した第一の映像適合確率ＢＭ２５の降順で映像をランキングし(途中の検索結果ランキング(図８参照))、途中の検索結果ランキング上位Ｋ件の映像の各々に対して、映像情報計算部２８によって当該映像について計算された第二の特徴ベクトルの出現頻度、映像長、及び第二の特徴ベクトルの重みに基づいて、以下の（３）式に従って、当該映像の第二の映像適合確率ＢＭ２５を計算する。
ここで、qj’は、j 番目の第二の特徴ベクトルであり、qj’ > 0は、映像ｖ内にこのj番目の第二の特徴ベクトルが１回以上存在していることを意味し、上記（３）式の右辺はこれらの和であることを意味する。vj’が実際の出現回数であり、注目領域外特徴出現頻度４６にこの情報が格納されている。k1,b1,vl,avvlは上記（２）式と同じである。
また、適合確率計算部３０は、途中の検索結果ランキング上位Ｋ件の映像の各々に対して、以下の（４）式に従って、算出された当該映像の第一の映像適合確率と、算出された当該映像の第二の映像適合確率との重み付き線形和をランキングスコアとして算出する。
ここでscore(v, q)が最終的なランキングスコアであり、αは重みである。通常、（２）式のスコアの重みの方が大きく、例えば、上記（２）式のスコアの1/10が、（２）式に足される(α = 1/10)。この様な２段階のリランキング法により、背景情報(第二の特徴ベクトル)の検索結果ランキングへの寄与を低減させる(コントロールする)ことができ、インスタンス情報(第一の特徴ベクトル)を多く含む映像をランキング上位へ表示させることができるようになる。K = 20〜30が通常の設定である。上記（３）式の重みとして０も設定可能であり、これは第二の特徴ベクトルでのリランキングは行わないことに相当する。クエリのインスタンス画像に映るインスタンスとその背景が明らかに関係しない場合、リランキングによる検索精度向上は望めないばかりか精度の劣化につながるため、この様な重み０の設定がなされる。
検索ランキング部３２は、上記（４）式で算出されたランキングスコアの降順でランキングした検索結果を作成し、出力部１６により出力する。図９に、検索結果のデータ構造の一例を示す。図９では、ランキングスコアの降順で並べられた映像とランキングスコアとが対応付けられたデータ構造となっている。
なお、検索結果は、上記のようにランキング形式にする場合に限定されず、ランキングスコアが最大となる映像のみを検索結果としてもよいし、ランキングスコアが所定値以上となる映像をランダムに並べた検索結果としてもよい。
＜本発明の実施の形態に係る映像検索装置の作用＞
次に、本発明の実施の形態に係る映像検索装置１０の作用について説明する。映像検索装置１０に、少なくとも一つのクエリが入力されると、映像検索装置１０において、図１０に示す映像検索処理ルーチンが実行される。
ステップＳ１００で、クエリ特徴抽出部２０が、入力されたクエリのインスタンス画像から特徴点を検出し、注目領域から検出した特徴点の特徴量を記述した第一の特徴ベクトル、及び注目領域外から検出した特徴点の特徴量を記述した第二の特徴ベクトルを抽出し、抽出した第一の特徴ベクトル及び第二の特徴ベクトルから重複した特徴ベクトルを除いて、クエリ特徴データベース２２に格納する。
次に、ステップＳ１０２で、特徴照合部２６は、複数の映像の各々について、映像特徴データベース２４に格納されている当該映像の特徴ベクトルと、クエリ特徴データベース２２に格納された第一の特徴ベクトル及び第二の特徴ベクトルとを照合する。
次に、ステップＳ１０４で、映像情報計算部２８が、複数の映像の各々について、上記ステップＳ１０２の照合結果に基づいて、当該映像の第一の特徴ベクトルの出現頻度、及び第二の特徴ベクトルの出現頻度を集計する。
そして、ステップＳ１０６において、映像情報計算部２８が、第一の特徴ベクトルの各々について、上記ステップＳ１０４の集計結果に基づいて、上記（１）式に従って当該第一の特徴ベクトルの重みを計算し、第二の特徴ベクトルの各々について、上記ステップＳ１０４の集計結果に基づいて、上記（１）式に従って当該第二の特徴ベクトルの重みを計算する。
そして、ステップＳ１０８で、映像情報計算部２８が、複数の映像の各々について、上記ステップＳ１０４で集計された当該映像の第一の特徴ベクトルの出現頻度、及び第二の特徴ベクトルの出現頻度に基づいて、当該映像の映像長を計算する。
次に、ステップＳ１１０で、適合確率計算部３０が、複数の映像の各々について、上記ステップＳ１０４で集計された当該映像の第一の特徴ベクトルの出現頻度、及び第二の特徴ベクトルの出現頻度と、上記ステップＳ１０６で計算された第一の特徴ベクトルの重み及び第二の特徴ベクトルの重みと、上記ステップＳ１０８で計算された当該映像の映像長とに基づいて、上記（２）式、（３）式に従って、当該映像の第一の映像適合確率及び第二の映像適合確率を計算し、上記（４）式に従って、当該映像の第一の映像適合確率及び第二の映像適合確率の重み付け和を、ランキングスコアとして計算する。
そして、ステップＳ１１２で、検索ランキング部３２が、上記ステップＳ１１０で計算されたランキングスコアの降順で映像をランキングした検索結果を作成し、出力部１６により出力して映像検索処理ルーチンを終了する。
以上説明したように、本実施の形態に係る映像検索装置によれば、インスタンス画像の注目領域の特徴点の第一の特徴ベクトルと照合した結果に基づいて、第一の映像適合確率を算出し、第一の映像適合確率の上位Ｋ件の映像の各々に対して、インスタンス画像の注目領域外の特徴点の第二の特徴ベクトルとを照合した結果に基づいて、第二の映像適合確率を算出し、第一の映像適合確率と、第二の映像適合確率との重み付き線形和をランキングスコアとして算出することにより、より高精度にインスタンスを示す映像を検索することができる。
また、本実施の形態は画像クエリに基づく特定物体探索システムの一般的な枠組であり、本実施の形態で使用したもの以外の特徴点検出器や特徴記述法、ランキング法にも対応可能である。提案したリランキング法により、インスタンスそのものを含んでいる確率が高く、かつクエリのインスタンス画像全体とも適合している確率が高い映像を検索結果上位ランクに表示させることが可能となり、高精度なインスタンス検索システムの実現が期待できる。
一度本実施の形態の技術が実用レベルに達するとその応用は非常に広範である。タブレットやウェアラブルデバイスに本実施の形態の技術が搭載されると、ユーザは現実世界の対象物を撮影する感覚でデータベース映像にひもづくWWW上の様々な情報にアクセスすることが可能になる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
１０ 映像検索装置
１２ 入力部
１４ 演算部
１６ 出力部
２０ クエリ特徴抽出部
２２ クエリ特徴データベース
２４ 映像特徴データベース
２６ 特徴照合部
２８ 映像情報計算部
３０ 適合確率計算部
３２ 検索ランキング部
４０ 注目領域外特徴集合
４２ 注目領域内特徴集合
４４ 特徴照合結果
４６ 注目領域外特徴出現頻度
４８ 注目領域内特徴出現頻度
５２ 映像長

Claims (6)

  1. クエリとなるインスタンスを含むインスタンス画像から、前記インスタンス画像内の前記インスタンスを示す注目領域の特徴点の第一の特徴ベクトル、及び前記注目領域でない注目領域外の特徴点の第二の特徴ベクトルを抽出するクエリ特徴抽出部と、
    複数の映像の各々について、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第一の特徴ベクトルとを照合した結果に基づいて、前記映像の第一の映像適合確率を算出し、
    前記算出された前記第一の映像適合確率の上位Ｋ件の映像の各々に対して、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第二の特徴ベクトルとを照合した結果に基づいて、前記映像の第二の映像適合確率を算出し、前記算出された前記第一の映像適合確率と、前記算出された前記第二の映像適合確率との重み付き線形和をランキングスコアとして算出する適合確率計算部と、
    を含む映像検索装置。
  2. 前記複数の映像の各々について、前記クエリ特徴抽出部により抽出された第一の特徴ベクトル及び第二の特徴ベクトルから、重複する特徴ベクトルを除いて、前記映像から抽出された特徴点の特徴ベクトルと、前記第一の特徴ベクトルとを照合した結果に基づいて、前記第一の特徴ベクトルの出現頻度を集計し、前記映像から抽出された特徴点の特徴ベクトルと、前記第二の特徴ベクトルとを照合した結果に基づいて、前記第二の特徴ベクトルの出現頻度を集計し、前記集計された前記第一の特徴ベクトルの出現頻度及び前記第二の特徴ベクトルの出現頻度に基づいて、映像長を計算し、
    前記第一の特徴ベクトルを有する映像数に基づいて、前記第一の特徴ベクトルの重みを計算し、前記第二の特徴ベクトルを有する映像数に基づいて、前記第二の特徴ベクトルの重みを計算する映像情報計算部を更に含み、
    前記適合確率計算部は、前記複数の映像の各々について、前記映像情報計算部によって前記映像について計算された前記第一の特徴ベクトルの出現頻度、映像長、及び前記第一の特徴ベクトルの重みに基づいて、前記映像の第一の映像適合確率を算出し、
    前記映像情報計算部によって前記映像について計算された前記第二の特徴ベクトルの出現頻度、映像長、及び前記第二の特徴ベクトルの重みに基づいて、前記映像の第二の映像適合確率を算出する請求項１記載の映像検索装置。
  3. 前記映像情報計算部は、前記第一の特徴ベクトルを有する映像数が少ないほど大きくなる前記第一の特徴ベクトルの重みを計算し、前記第二の特徴ベクトルを有する映像数が少ないほど大きくなる前記第二の特徴ベクトルの重みを計算する請求項２記載の映像検索装置。
  4. 前記適合確率計算部は、前記第一の映像適合確率に対する重みを、前記第二の映像適合確率に対する重みより大きくして、前記算出された前記第一の映像適合確率と、前記算出された前記第二の映像適合確率との重み付き線形和をランキングスコアとして算出する請求項１〜請求項３の何れか１項記載の映像検索装置。
  5. クエリ特徴抽出部及び適合確率計算部を含む映像検索装置における映像検索方法であって、
    前記クエリ特徴抽出部が、クエリとなるインスタンスを含むインスタンス画像から、前記インスタンス画像内の前記インスタンスを示す注目領域の特徴点の第一の特徴ベクトル、及び前記注目領域でない注目領域外の特徴点の第二の特徴ベクトルを抽出し、
    前記適合確率計算部が、複数の映像の各々について、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第一の特徴ベクトルとを照合した結果に基づいて、前記映像の第一の映像適合確率を算出し、
    前記算出された前記第一の映像適合確率の上位Ｋ件の映像の各々に対して、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第二の特徴ベクトルとを照合した結果に基づいて、前記映像の第二の映像適合確率を算出し、前記算出された前記第一の映像適合確率と、前記算出された前記第二の映像適合確率との重み付き線形和をランキングスコアとして算出する
    映像検索方法。
  6. コンピュータを、請求項１〜請求項４のいずれか１項記載の映像検索装置を構成する各部として機能させるためのプログラム。
JP2015039480A 2015-02-27 2015-02-27 映像検索装置、方法、及びプログラム Active JP6062981B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015039480A JP6062981B2 (ja) 2015-02-27 2015-02-27 映像検索装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015039480A JP6062981B2 (ja) 2015-02-27 2015-02-27 映像検索装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016162127A JP2016162127A (ja) 2016-09-05
JP6062981B2 true JP6062981B2 (ja) 2017-01-18

Family

ID=56845313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015039480A Active JP6062981B2 (ja) 2015-02-27 2015-02-27 映像検索装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6062981B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748750A (zh) 2017-08-30 2018-03-02 百度在线网络技术（北京）有限公司 相似视频查找方法、装置、设备及存储介质
CN110516085B (zh) * 2019-07-11 2022-05-17 西安电子科技大学 基于双向注意力的图像文本互检索方法
CN117708354B (zh) * 2024-02-06 2024-04-30 湖南快乐阳光互动娱乐传媒有限公司 图像的索引方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2016162127A (ja) 2016-09-05

Similar Documents

Publication Publication Date Title
US10922350B2 (en) Associating still images and videos
US20230306057A1 (en) Relevance-Based Image Selection
CN104991959B (zh) 一种基于内容检索相同或相似图像的方法与系统
US8724910B1 (en) Selection of representative images
US9075824B2 (en) Retrieval system and method leveraging category-level labels
US9710491B2 (en) Content-based image search
US8340451B2 (en) Method for constructing image database for object recognition, processing apparatus and processing program
US9576218B2 (en) Selecting features from image data
US8582872B1 (en) Place holder image detection via image clustering
JP5121917B2 (ja) 画像検索装置、画像検索方法及びプログラム
US20210303903A1 (en) Object recognition device, object recognition learning device, method, and program
CN102890700A (zh) 一种基于体育比赛视频的相似视频片段检索方法
JP6062981B2 (ja) 映像検索装置、方法、及びプログラム
CN111859004A (zh) 检索图像的获取方法、装置、设备及可读存储介质
JP6377917B2 (ja) 画像検索装置及び画像検索プログラム
JP6314071B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6017277B2 (ja) 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法
JP5971722B2 (ja) ハッシュ関数の変換行列を定める方法、該ハッシュ関数を利用するハッシュ型近似最近傍探索方法、その装置及びそのコンピュータプログラム
JP5851381B2 (ja) 画像検索装置、方法、及びプログラム
JP5979444B2 (ja) 画像検索装置、方法、及びプログラム
JP2016014990A (ja) 動画像検索方法、動画像検索装置及びそのプログラム
Chen et al. Content-based image retrieval with LIRe and SURF on a smartphone-based product image database
CN111061903B (zh) 图像特征搜索方法、装置、电子设备及存储介质
Jaybhaye et al. Image re-ranking using sift feature
JP6283308B2 (ja) 画像辞書構成方法、画像表現方法、装置、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161215

R150 Certificate of patent or registration of utility model

Ref document number: 6062981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150