JP4943207B2 - 映像検索装置 - Google Patents

映像検索装置 Download PDF

Info

Publication number
JP4943207B2
JP4943207B2 JP2007091461A JP2007091461A JP4943207B2 JP 4943207 B2 JP4943207 B2 JP 4943207B2 JP 2007091461 A JP2007091461 A JP 2007091461A JP 2007091461 A JP2007091461 A JP 2007091461A JP 4943207 B2 JP4943207 B2 JP 4943207B2
Authority
JP
Japan
Prior art keywords
image
similar
similarity
feature vector
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007091461A
Other languages
English (en)
Other versions
JP2008250693A (ja
Inventor
隆行 松川
宏明 由雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007091461A priority Critical patent/JP4943207B2/ja
Publication of JP2008250693A publication Critical patent/JP2008250693A/ja
Application granted granted Critical
Publication of JP4943207B2 publication Critical patent/JP4943207B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、特定の人物映像を、人物の顔画像に基づいてデータベースから検索する映像検索装置に関する。
近年、犯罪を未然に防止する目的で、多数地点にカメラ、センサ、蓄積装置などの監視装置を設置する映像監視システムの普及が進んでいる。このようなシステムでは、カメラが撮影する映像を常に蓄積装置に録画しておき、後に不審者や迷子などの特定人物が映っている映像を検索するような機能が備わっているが、特に大量の録画映像からも瞬時に精度よく所望の映像を検索できることが求められている。
従来の映像検索装置として、特許文献1及び特許文献2がある。特許文献1は、図8に示すように、例示画像から特徴ベクトルを抽出し、予めデータベースに登録されている顔画像に該当する特徴ベクトルとの類似度を計算して、類似度に応じて検索した結果を表示するものである。また、特許文献2は、当該人物が本人か否かを認識する人物認識装置に関するもので、複数の例示画像を入力し、それぞれについてデータベースに登録されている顔画像との類似度を計算し、これら複数の類似度から総合的に判定するものである。
特開2002−183205号公報 特開2006−178651号公報
しかしながら、特許文献1に記載された従来技術では、顔の向き、表情、撮影時の照明環境などが異なる顔画像間の類似度は低くなる傾向にあるため、例えば例示画像が横向きの顔画像であれば、この例示画像の顔画像と異なる方向を向いている顔画像を探すことは難しい。
一方、特許文献2に記載された従来技術のように、様々な顔向きの画像を入力して、それぞれについてデータベースに登録されている顔画像との類似度を計算し、総合的に類似度を判定することにより、前述した、異なる顔向き画像の課題を解決することができる。しかし、例示画像として、不審者や迷子などの様々な顔向き画像を撮影することはできないため、そのような例示画像をデータベースから選択することになる。この作業は、非常に煩雑であり、画像の選択が恣意的になるため、検索結果の精度にばらつきが生じることもある。
本発明は、上記従来の課題を解決するもので、特定人物が映る映像を、効率良く、高い精度で検索することができる映像検索装置を提供する。
本発明の映像検索装置は、問合せ画像を基に類似する複数の画像をデータベースから検索する類似画像検索手段と、前記類似画像検索手段により検索される複数の類似画像のうち、前記問合せ画像との類似度が所定の閾値以上である類似画像それぞれが有する特徴ベクトルを基に第1の特徴ベクトルを再構成する特徴選択手段と、前記問合せ画像と、前記問合せ画像との比較の対象となる対象画像と、の類似度を前記再構成した第1の特徴ベクトルにより算出する類似度算出手段と、を備えることを特徴とする。これにより、例えばユーザからの問合せ画像が、例えばAさんが正面を向いた画像であった場合、類似画像検索手段により得られたAさんが正面より少しだけ横を向いた画像の特徴ベクトルから、特徴選択手段により顔の向きに対してロバストな特徴ベクトルが再構成される。そのため、たとえば、同一人による、顔向きが異なる画像間においても、顔向き等に左右されることなく、類似度が高く維持されるという作用を有する。
また、本発明の映像検索装置は、請求項1に記載の構成に加え、さらに、前記類似画像検索手段により検索される複数の類似画像のうち、前記問合せ画像との類似度が前記所定の閾値以上である類似画像それぞれと同一物 として予め関連付けられた時系列的な画像が有する特徴ベクトルを前記データベースから取得する移動体画像取得手段を備え、前記特徴選択手段は、前記移動体画像取得手段において取得された特徴ベクトルを基に第1の特徴ベクトルを再構成することを特徴とする。これにより、例えばユーザからの問合せ画像が、例えばAさんが正面を向いた顔画像であった場合、類似画像検索手段により得られたAさんが正面より少しだけ横を向いた画像の特徴ベクトルから、移動体画像取得手段によりデータベースから空間的、時間的に近傍にあり、Aさんが移動する間に撮影された様々な顔の向きの画像を取得することができ、特徴選択手段により顔の向きに対してロバストな特徴ベクトルが再構成される。そのため、たとえば、同一人による、顔向きが異なる画像間においても、顔向き等に左右されることなく、類似度が高く維持されるという作用を有する。
これにより、従来では、特定人物の画像を問合せ画像として検索したとき、当該画像における顔画像が正面を向いていた場合は、本人が横を向いた顔画像は別人の正面顔の画像より類似度が低くなる可能性があったのに対して、本発明では、顔の向きにかかわらず本人の画像の類似度は、総じて他人の画像の類似度より高くなり、特定人物の映像を高い精度で漏れがなく検索することができるという効果が得られる。
以下、本発明を実施するための最良の形態について、図面を用いて説明する。
(実施の形態1)
実施の形態1における映像検索装置について、図1乃至6を用いて説明する。図1は、映像検索装置の構成図である。図1において、映像検索装置100は、特徴ベクトル算出手段101、登録手段102、類似検索手段103、画像分類手段104、特徴選択手段105、類似度算出手段106、結果表示手段107を有する。特徴ベクトル算出手段101は、撮像装置から入力される画像から顔領域の画像(以下、顔画像)を抽出して、さらに特徴ベクトルを算出する。登録手段102は、顔画像とこの顔画像から算出した特徴ベクトルを互いに関連付けてデータベース1000に登録する。類似検索手段103は、ユーザからの問合せ画像を基に類似する複数の画像をデータベース1000から検索するものであり、本実施の形態では、ユーザから入力される問合せ画像から顔画像(以下、問合せ顔画像)を抽出して、さらに特徴ベクトルを算出し、算出した特徴ベクトルを用いてデータベース1000に登録されている顔画像(以下、登録顔画像)から類似する複数の顔画像を検索する。また、類似検索手段103は、問合せ顔画像から算出される特徴ベクトルと類似検索手段103により検索される複数の類似顔画像の特徴ベクトルとを用いて、複数の類似度を算出する。当該類似度の算出については後述する。画像分類手段104は、類似検索手段103により検索される複数の類似顔画像を、その類似度に応じて、第1の類似画像群と第2の類似画像群とに分類するものであり、本実施の形態では、類似検索手段103により算出される類似度が高い第1の類似画像群とこの第1の類似画像群より類似度が低い第2の類似画像群との、2つの画像群に分類する。特徴選択手段105は、類似検索手段103により検索される複数の類似顔画像それぞれが有する複数の特徴ベクトル中から特徴ベクトルを再構成するものであり、本実施の形態では、画像分類手段104により分類される第1の類似画像群それぞれの特徴ベクトル間で互いに異なる特徴ベクトルの成分を除いた成分で問合せ顔画像及び第2の類似画像群の類似顔画像の特徴ベクトルを再構成する。類似度算出手段106は、問合せ画像と、問合せ画像との比較の対象となる対象画像との類似度を、再構成した特徴ベクトルにより、算出するものであり、本実施の形態では、問合せ顔画像及び第2の類似画像群の類似顔画像の類似度を再構成した特徴ベクトルにより算出する。結果表示手段107は、類似度算出手段106により算出される類似度に応じて画像を表示する。なお、本実施の形態では、映像検索装置が結果表示手段を有しているが、必ずしも、映像検索装置が結果表示手段107を有する必要は無く、映像検索装置100とは別の装置としても良い。
以下、この構成をとる映像検索装置100の動作を説明する。本実施の形態は、ショッピングセンターにおいて特定の人物Aさんがカメラにより撮影された映像を全て検索する場合を例示として説明する。まず、顔画像及び特徴ベクトルをデータベース1000に登録する動作について図2を用いて説明する。ショッピングセンターの出入り口、売り場、エレベーター・エスカレーター・非常階段付近など至る所に設置されている撮像装置が撮影した映像が、常に、ネットワークを介して映像検索装置100に集められている。ステップS201において、特徴ベクトル算出手段101は、集められた映像から人物が映っているフレーム(静止画像)を抜き出す。つづいてステップS202において、抜き出した静止画像から人物の顔領域にあたる部分画像(顔画像)を抽出する。ステップS203において、特徴ベクトル算出手段101は、抽出した顔画像を、予め学習により算出された顔特徴空間に射影することにより特徴ベクトルを求める。ステップS204において、登録手段102は、求めた特徴ベクトルを顔画像と関連付けてデータベース1000に登録する。ここで説明した顔特徴空間は、例えば「取得過程の極端に異なる顔画像の照合」(電子情報通信学会論文誌,Vol.J80−D−II,No.8,1997)で示されている手法を用いて算出したものである。
つづいて、ユーザが指定した特定人物の画像を検索キーとしてデータベース1000から画像を検索する動作について説明する。まずユーザが検索したい特定人物Aさんの画像を検索キーとする問合せ画像を入力する。問合せ画像の入力方法は、撮像装置が現在撮影している映像から選択する方法であっても良いし、データベース1000に登録されている映像から選択する方法であっても良い。また、Aさんが映っている写真をスキャナ等で取り込んだ画像であっても良い。
次に、類似検索手段103は、ユーザからの問合せ画像から問合せ顔画像を抽出して、さらに特徴ベクトルを算出し、算出した特徴ベクトルを用いてデータベース1000に登録されている登録顔画像から類似する複数の顔画像を検索する。図3は、類似検索手段103の処理手順を示したものである。図3において、まず、ステップS301において、問合せ画像から特徴ベクトル算出手段101と同じ算出方法で問合せ顔画像を抽出して、さらに特徴ベクトルを算出する。ステップS302において、データベース1000に登録されている顔画像を1つ選択して、この選択された登録顔画像と問合せ顔画像との類似度を算出する。類似度は、例えば式(1)のように問合せ顔画像の特徴ベクトルQと、データベース1000に登録されている登録顔画像の特徴ベクトルXとの内積により求める。
Figure 0004943207
ここでnは特徴ベクトルの次元数である。類似度は、その数値が大きいほど画像が似ていることを意味する。ステップ303において、データベース1000に登録されている全ての登録顔画像に対して問合せ顔画像との類似度を算出するまでステップ302を繰り返す。ステップ304において、類似度が高い順に結果を整列する。
次に、画像分類手段104は、類似検索手段103により検索される複数の類似顔画像を、その類似度に応じて、2つの画像群に分類する。図4は、Aさん本人の顔画像の類似度の度数分布401と、Aさんとは他人の顔画像の類似度の度数分布402を示したものである。以下、図4を用いて画像分類手段104の動作を説明する。予め、他人の顔画像の度数が極めて低くて本人の顔画像の度数がある程度ある閾値Saと、本人の顔画像の度数がある程度低くなっている閾値Sbを統計的手法により求めておく。画像分類手段104は、類似検索手段103で算出した問合せ顔画像との類似度SがS≧Saを満たすとき、該画像を第1の類似画像群403に分類し、Sb≦S<Saを満たすとき、第2の類似画像群404に分類する。第1の類似画像群は、問合せ顔画像に対して類似度が高く、Aさん本人である可能性が高いため、そのまま結果表示手段107に表示する。一方、第2の類似画像群は、問合せ顔画像に対してAさん本人である可能性があるが、図4の度数分布にあるように他人の顔画像である可能性もあるため、以降の処理でさらなる絞込みを行う。
次に、特徴選択手段105は、画像分類手段104が分類した第1の類似画像群の類似顔画像に対して、特徴ベクトルの成分毎に分散を求める。この特徴ベクトルの成分の中で、予め設定された閾値を超える分散値を有する特徴ベクトルの成分については、Aさん本人の様々な画像の中でも大きく変動する成分であり、Aさん本人の顔画像の間の類似度を下げる要因である。具体的に、上記予め定められた閾値を超える分散値を有する特徴ベクトルの成分とは、表情によるものであったり、顔の向きによるものであったり、照明環境の変化であったりするものである。このような特徴ベクトルの成分を、除外する成分として判定する。
つづいて、特徴選択手段105は、問合せ顔画像及び第2の類似画像群の類似顔画像の特徴ベクトルから、上記除外する成分を除くことにより、新たに特徴ベクトルを再構成する。このようにすることで、Aさんの本質的な特徴に基づく成分のみで構成された特徴ベクトルが得られる。次に、類似度算出手段106は、上記のように特徴選択手段105が再構成した特徴ベクトルを用いて、問合せ顔画像及び第2の類似画像群の類似顔画像の類似度を算出する。最後に、結果表示手段107は、類似検索手段103で算出した第1の類似画像群の画像と、類似度算出手段106で算出した第2の類似画像群の画像を類似度が高い順に並べて表示する。
以上の動作を行うことで、例えばユーザからの問合せ画像が、Aさんが正面を向いた画像であった場合、類似検索手段103により得られたAさんが正面より少しだけ横を向いた画像の特徴ベクトルから、特徴選択手段105により顔の向きに対してロバストな特徴ベクトルが再構成される。そのため、たとえば、同一人による、顔向きが異なる画像間においても、顔向き等に左右されることなく、類似度が高く維持されるという作用を有する。これにより、従来では、Aさんの画像を問合せ画像として検索したとき、当該画像における顔画像が正面を向いていた場合は、Aさん本人が横を向いた顔画像はAさんとは別人のBさんの正面顔の画像より類似度が低くなる可能性があったのに対して、本実施の形態では、顔の向きにかかわらずAさん本人の画像の類似度は、総じて他人の画像の類似度より高くなり、特定人物の映像を高い精度で漏れがなく検索することができるという効果が得られる。
なお、本実施の形態において、画像分類手段104は、類似度の件数で第1の類似画像群と第2の類似画像群に分類しても良い。すなわち、類似検索手段103が類似度順に画像を整列したものに対して、上位Ka件までを第1の類似画像群に分類し、上位Ka+1件からKb件までを第2の類似画像群に分類する。この方法では、予め統計的手法により類似度の閾値を決める必要がなく、最終的に表示する件数により決定される。
なお、本実施の形態において、特徴選択手段105及び類似度算出手段106は、画像分類手段104が分類した第2の類似画像群に対して、それぞれ特徴ベクトルを再構成し、再構成した問合せ画像の特徴ベクトルとの類似度を算出しているが、ユーザが指定する条件により絞り込んでも良い。この場合の映像検索装置について、図5にその構成図を示す。映像検索装置500は、映像検索装置100に対して、さらに、検索対象となる画像の撮影日時、又は撮影場所の絞り込み条件を指定する条件指定手段401と、その条件に従ってデータベース1000から該当する画像及びその特徴ベクトルを取得する検索対象取得手段402とを含む。
(実施の形態2)
実施の形態2における映像検索装置について、図6及び7を用いて説明する。図6は、映像検索装置の構成図である。図6において、図1と同じ構成要素については同じ符号を用い、説明を省略する。図6において、映像検索装置600は、実施の形態1の映像検索装置100と同様に、特徴ベクトル算出手段100、登録手段102、類似検索手段103、画像分類手段104、特徴選択手段105、類似度算出手段106、結果表示手段107を含む。本実施の形態では、特徴ベクトル算出手段101は、撮像装置が撮影した一連の時系列画像から同一の移動体の顔画像を抽出して、さらに特徴ベクトルを算出し、登録手段102は、求めた特徴ベクトルを顔画像と関連付け、さらに同一の移動体の一連の時系列的な顔画像をデータベース1000に登録する。また、本実施の形態では、類似画像検索手段103により検索される複数の類似画像それぞれが有する特徴ベクトルを基に同一の移動体の一連の時系列的な顔画像をデータベース1000から取得する移動体画像取得手段601を有する。
本実施の形態も、実施の形態1と同様に、ショッピングセンターにおいて特定の人物Aさんがカメラにより撮影された映像を全て検索する場合を例示として説明する。まず、顔画像及び特徴ベクトルをデータベース1000に登録する動作について説明する。実施の形態1で示したように、特徴ベクトル算出手段101は、集められた映像から人物が映っている静止画像を抜き出し、抜き出した静止画像から人物の顔画像を抽出して、さらに特徴ベクトルを算出する。そして、本実施の形態では、登録手段102は、時間軸に連続する各画像に映る人物を追跡して、同一の移動体から抽出し算出した顔画像及び特徴ベクトルを互いに関連付けて一連の時系列的な顔画像をデータベース1000へ登録する。
つづいて、ユーザが指定した特定人物の画像を検索キーとしてデータベース1000から画像を検索する動作について説明する。画像分類手段104までの処理手順は、実施の形態1に記載の映像検索装置の処理手順と同じである。まずユーザが検索したい特定人物Aさんの画像を検索キーとする問合せ画像を入力する。次に、類似検索手段103は、問合せ画像から特徴ベクトル算出手段101と同じ算出方法で問合せ顔画像を抽出して、さらに特徴ベクトルを算出し、算出した特徴ベクトルを用いてデータベース1000の登録顔画像から類似する複数の顔画像を検索する。また、類似検索手段103は、問合せ顔画像から算出される特徴ベクトルと類似検索手段103により検索される複数の類似顔画像の特徴ベクトルとを用いて、複数の類似度を算出する。当該類似度の算出については実施の形態1と同様なので説明は省略する。そして、画像分類手段104は、類似検索手段103により検索される複数の類似顔画像を、その類似度に応じて、第1の類似画像群と第2の類似画像群に分類する。これも実施の形態1と同様なので説明は省略する。なお、ここで第1の類似画像群には、問合せ画像の顔の向き、表情、照明環境が似ており、様々な場所、時間に撮像装置が撮影したAさんの顔画像が含まれる。
以降の処理手順を、図7を用いて説明する。画像分類手段104により分類される第1の類似画像群と第2の類似画像群の類似顔画像は、移動体画像取得手段601に送られる。ステップS701において、移動体画像取得手段601は、画像分類手段104が分類した第1の類似画像群から類似度が高い順に顔画像を1つ選択する。ステップS702において、ステップS701で選択した顔画像と、同じ移動体として予め関連付けられた一連の時系列的な顔画像及びその特徴ベクトルをデータベース1000から取得する。例えば、選択した画像が、ショッピングセンターの出入り口に設置された撮像装置によってAさんがショッピングセンターに入店した一瞬を撮影した画像であった場合、Aさんがショッピングセンターに入店した時間を基準に前後の時間で、撮像装置が撮影したAさんが映っている複数の画像が得られる。これら得られた一連の時系列的な顔画像は、最初に選択した顔画像と比較して、顔の向き、表情、照明環境が異なる画像も含まれる。
つづいて、ステップS703において、特徴選択手段105は、移動体画像取得手段601が取得した同じ移動体の一連の時系列的な顔画像に対して、実施の形態1と同様に、特徴ベクトルの成分毎に分散を求め、予め設定された閾値を超える成分を取り除いた残りの成分を選択する。さらに、特徴選択手段105は、ステップS703で選択した成分により、問合せ顔画像及び画像分類手段104が分類した第2の類似画像群の類似顔画像の特徴ベクトルを新たに再構成する。
ステップS704において、類似度算出手段106は、特徴選択手段105が再構成した特徴ベクトルを用いて、問合せ顔画像及び第2の類似画像群の類似顔画像の類似度を算出する。ステップS705において、全ての第1の類似画像群の類似顔画像を処理するまで、ステップS701からステップS704を繰り返す。ステップS706において、類似度算出手段106は、問合せ顔画像及び第2の類似画像群の類似顔画像の最終的な類似度を算出する。すなわち、第1の類似画像群の類似顔画像の枚数だけ再構成された特徴ベクトルのそれぞれを用いて類似度を算出し、これら複数の類似度の平均値を最終的な類似度として算出する。最後にステップS707において、類似度の高い順に整列して表示する。
以上の動作を行うことで、例えばユーザからの問合せ画像が、例えばAさんが正面を向いた顔画像であった場合、類似画像検索手段103により得られたAさんが正面より少しだけ横を向いた画像の特徴ベクトルから、移動体画像取得手段601によりデータベース1000から空間的、時間的に近傍にあり、Aさんが移動する間に撮影された様々な顔の向きの画像を取得することができ、これから特徴選択手段105により顔の向きに対してロバストな特徴ベクトルが再構成される。そのため、たとえば、同一人による、顔向きが異なる画像間においても、顔向き等に左右されることなく、類似度が高く維持されるという作用を有する。これにより、従来では、Aさんの画像を問合せ画像として検索したとき、当該画像における顔画像が正面を向いていた場合は、Aさん本人が横を向いた顔画像はAさんとは別人のBさんの正面顔の画像より類似度が低くなる可能性があったのに対して、本実施の形態では、顔の向きにかかわらずAさん本人の画像の類似度は、総じて他人の画像の類似度より高くなり、特定人物の映像を高い精度で漏れがなく検索することができるという効果が得られる。
以上、本発明にかかる映像検索装置は、特定の人物映像を、人物の顔画像に基づいてデータベースから検索する映像検索装置として有用である。なお、本発明により得られる効果は顔の向きのロバスト性について述べたが、他にも表情、照明環境に対してもロバストで、特定人物の映像を高い精度で漏れがなく検索することができるという効果も得られる。また、本発明の実施の形態に記載の映像検索装置は、顔画像を検索することについて述べたが、顔領域に限らず、顔領域内の一部分、または顔領域外の部分を検索できるようにしても良い。
また、上記本発明の実施の形態に記載の映像検索装置としてショッピングセンターを例として説明してきたが、これに拘束されることなく、映像を検索するという用途であれば、どのようなものに対しても適用することは可能である。たとえば、ユーザから入力された検索対象者の顔画像に対して、顔向き、表情、撮影時の照明環境が異なる画像も、効率よく高い精度でデータベースから検索することが可能であるので、特定の不審者や迷子などの全行動を漏れることなく把握するための映像監視用途として有用である。また、運動会など個人が撮影した映像から、例えば我が子が映っている映像だけを集めて閲覧、編集する映像編集用途にも応用することができる。
本発明の実施の形態1における映像検索装置の構成図 本発明の実施の形態1における顔画像及び特徴ベクトルをデータベースに登録する処理手順を示したフローチャート 本発明の実施の形態1における類似検索手段103の処理手順を示したフローチャート 本人の顔画像の類似度の度数分布と、他人の顔画像の類似度の度数分布を示した図 本発明の実施の形態1における別の映像検索装置の構成図 本発明の実施の形態2における映像検索装置の構成図 本発明の実施の形態2におけるフローチャート 従来技術の構成図
符号の説明
100 映像検索装置
101 特徴ベクトル算出手段
102 登録手段
103 類似検索手段
104 画像分類手段
105 特徴選択手段
106 類似度算出手段
107 結果表示手段
401 本人の顔画像の類似度の度数分布
402 他人の顔画像の類似度の度数分布
403 第1の類似画像群
404 第2の類似画像群
500 映像検索装置
501 条件指定手段
502 検索対象取得手段
600 映像検索装置
601 移動体画像取得手段
801 例示画像提示部
802 検索属性指定部
803 特徴ベクトル抽出部
804 類似度計算部
805 表示部
806 顔画像データベース
1000 データベース

Claims (5)

  1. 問合せ画像を基に類似する複数の画像をデータベースから検索する類似画像検索手段と、
    前記類似画像検索手段により検索される複数の類似画像のうち、前記問合せ画像との類似度が所定の閾値以上である類似画像それぞれが有する特徴ベクトルを基に第1の特徴ベクトルを再構成する特徴選択手段と、
    前記問合せ画像と、前記問合せ画像との比較の対象となる対象画像と、の類似度を前記再構成した第1の特徴ベクトルにより算出する類似度算出手段と、を備えることを特徴とする映像検索装置。
  2. 問合せ画像を基に類似する複数の画像をデータベースから検索する類似画像検索手段と、
    記類似画像検索手段により検索される複数の類似画像を、前記複数の類似画像の類似度に応じて、第1の類似画像群と第2の類似画像群とに分類する類似画像分類手段と、
    記第1の類似画像群の複数の類似画像それぞれが有する複数の特徴ベクトルを基に第1の特徴ベクトルを再構成する特徴選択手段と、
    前記問合せ画像と、前記第2の類似画像群の類似画像との類似度を前記再構成した第1の特徴ベクトルにより算出する類似度算出手段と、
    を備えた映像検索装置。
  3. 検索対象となる画像の条件である絞込み条件を指定する条件指定手段と、
    前記絞り込み条件を満たす画像を前記データベースから取得する検索対象取得手段と、を備え、
    前記類似度算出手段は、前記絞り込み条件を満たす画像を前記対象画像として、前記問合せ画像と前記対象画像との類似度を前記再構成した第1の特徴ベクトルにより算出することを特徴とする請求項1又は2に記載の映像検索装置。
  4. 前記特徴選択手段は、前記複数の特徴ベクトル間で分散が大きい特徴ベクトル成分を除いた特徴ベクトル成分で前記第1の特徴ベクトルを再構成することを特徴とする請求項1又は2に記載の映像検索装置。
  5. さらに、前記類似画像検索手段により検索される複数の類似画像のうち、前記問合せ画像との類似度が前記所定の閾値以上である類似画像それぞれと同一物 として予め関連付けられた時系列的な画像が有する特徴ベクトルを前記データベースから取得する移動体画像取得手段を備え、
    前記特徴選択手段は、前記移動体画像取得手段において取得された特徴ベクトルを基に第1の特徴ベクトルを再構成することを特徴とする請求項1に記載の映像検索装置。
JP2007091461A 2007-03-30 2007-03-30 映像検索装置 Expired - Fee Related JP4943207B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007091461A JP4943207B2 (ja) 2007-03-30 2007-03-30 映像検索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007091461A JP4943207B2 (ja) 2007-03-30 2007-03-30 映像検索装置

Publications (2)

Publication Number Publication Date
JP2008250693A JP2008250693A (ja) 2008-10-16
JP4943207B2 true JP4943207B2 (ja) 2012-05-30

Family

ID=39975559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007091461A Expired - Fee Related JP4943207B2 (ja) 2007-03-30 2007-03-30 映像検索装置

Country Status (1)

Country Link
JP (1) JP4943207B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5227911B2 (ja) * 2009-07-22 2013-07-03 株式会社日立国際電気 監視映像検索装置及び監視システム
JP5202463B2 (ja) * 2009-07-23 2013-06-05 株式会社日立製作所 監視映像表示システム
JP5549418B2 (ja) * 2010-06-25 2014-07-16 オムロン株式会社 情報処理装置および方法、並びにプログラム
JP5937823B2 (ja) * 2011-12-28 2016-06-22 グローリー株式会社 画像照合処理装置、画像照合処理方法及び画像照合処理プログラム
US11749021B2 (en) 2019-05-27 2023-09-05 Nec Corporation Retrieval device, control method, and non-transitory storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11119795A (ja) * 1997-10-16 1999-04-30 Nec Corp 特徴量の濃縮合成方法、及び特徴量の濃縮合成装置
JP2002245560A (ja) * 2001-02-19 2002-08-30 Matsushita Electric Ind Co Ltd 監視システム
JP2006269651A (ja) * 2005-03-23 2006-10-05 Canon Inc 画像抽出装置および方法、並びにそれらを有する露光装置および方法
JP2006301995A (ja) * 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd 人物検索装置及び人物検索方法

Also Published As

Publication number Publication date
JP2008250693A (ja) 2008-10-16

Similar Documents

Publication Publication Date Title
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
CN111639616B (zh) 一种基于深度学习的重身份识别方法
JP4777059B2 (ja) 画像検索装置および画像検索方法
JP2007317062A (ja) 人物認識装置及びその方法
CN110796074B (zh) 一种基于时空数据融合的行人再识别方法
KR101943433B1 (ko) 몽타주 인식을 통한 실시간 수배자 검출 시스템
JP4943207B2 (ja) 映像検索装置
KR20170077366A (ko) 얼굴 인식 시스템 및 방법
US11113838B2 (en) Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
US20200258236A1 (en) Person segmentations for background replacements
JP2020107354A (ja) 解析装置、解析方法及びプログラム
JP5047382B2 (ja) ビデオ監視時に移動物体を分類するシステムおよび方法
JP2009027393A (ja) 映像検索システムおよび人物検索方法
EP3246849A1 (en) Method for analyzing video data
JP2019020777A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
CN111310605A (zh) 一种图像处理方法、装置、电子设备及存储介质
Dileep et al. Suspicious human activity recognition using 2D pose estimation and convolutional neural network
Kaur et al. Violence detection in videos using deep learning: A survey
JP2019082959A (ja) 情報処理装置、情報処理方法及びプログラム
CN117351405A (zh) 一种人群行为分析系统及方法
Mucha et al. Depth and thermal images in face detection-a detailed comparison between image modalities
Ruprah et al. Crime Prediction Based on Person-Weapons Relation using Deep Learning Techniques
Rachna et al. Real-time violence detection using deep neural networks and DTW
Chamasemani et al. A framework for automatic video surveillance indexing and retrieval
Teja et al. Man-on-man brutality identification on video data using Haar cascade algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120229

R150 Certificate of patent or registration of utility model

Ref document number: 4943207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees