JP4777059B2 - 画像検索装置および画像検索方法 - Google Patents

画像検索装置および画像検索方法 Download PDF

Info

Publication number
JP4777059B2
JP4777059B2 JP2005370613A JP2005370613A JP4777059B2 JP 4777059 B2 JP4777059 B2 JP 4777059B2 JP 2005370613 A JP2005370613 A JP 2005370613A JP 2005370613 A JP2005370613 A JP 2005370613A JP 4777059 B2 JP4777059 B2 JP 4777059B2
Authority
JP
Japan
Prior art keywords
search
approximate
data
multidimensional feature
feature data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005370613A
Other languages
English (en)
Other versions
JP2007172384A (ja
JP2007172384A5 (ja
Inventor
宏明 由雄
修二 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005370613A priority Critical patent/JP4777059B2/ja
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to PCT/JP2006/325646 priority patent/WO2007072947A1/ja
Priority to CN200680031384.7A priority patent/CN101253535B/zh
Priority to EP06835124.6A priority patent/EP1965349A4/en
Priority to US12/064,928 priority patent/US8150854B2/en
Publication of JP2007172384A publication Critical patent/JP2007172384A/ja
Publication of JP2007172384A5 publication Critical patent/JP2007172384A5/ja
Application granted granted Critical
Publication of JP4777059B2 publication Critical patent/JP4777059B2/ja
Priority to US13/400,380 priority patent/US8560551B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19127—Extracting features by transforming the feature space, e.g. multidimensional scaling; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本発明は、画像から抽出した多次元特徴データ(顔,色等)を用いて、大容量の画像群から所望の画像を高速に洗出すことのできる画像検索装置および画像検索方法に関するものである。
近年、ピッキング・強盗・放火等に代表される犯罪の増加と共に、カメラ・センサ・蓄積装置等を設置し、犯罪を未然に防止する映像監視システムの普及が大幅に進んでいる。また、監視カメラのＩＰ化・蓄積装置の大容量化に伴い、数百規模の広域監視・長時間記録を行なうシステムも増加してきた。このような状況において、監視者の業務軽減を目指し、万引き犯・迷子者・落し物者等の特定人物の洗出しを効率的に行なうための技術が要望されてきている。
特定人物の洗出しを高速に行なう従来技術として、画像から抽出した多次元特徴データ群(色,顔等)を予め距離の近い順にクラスタリングして木構造にしておき、検索時には検索対象人物に最も近い部分木のみ検索する手法がある。また、特許文献１には、統計的手法により用意したモデル空間に射影して、高精度で次元数の少ない多次元特徴データを生成することで高速検索する方法が記載されている。
特開２００２−１８３２０５号公報
しかしながら、従来の木構造にする方法では、多次元特徴データの次元数が多くなると、隣接空間が指数関数的に増え、多次元特徴データをクラスタリング(登録)するのに膨大な時間を要する。さらに、検索時には、隣接空間も含め近傍検索を行なうため、登録同様、膨大な時間を要する。
また、特許文献１に記載の技術においては、射影による次元縮退には限度がある。また、その対策として、目/鼻/口等の重要度の高い部分のみを使用して類似度計算をする方法も記載されているが、個人の特徴がどこに現れるのかは千差万別で、精度を維持したまま次元を縮退するには限界がある。
本発明は、前記従来の事情に鑑みてなされたもので、顔/色等の多次元特徴データが高次元で大量に存在する場合でも、ユーザの望む画像を効率よく適切に検索可能な画像検索装置および画像検索方法を実現することを目的とする。
本発明の画像検索装置は、画像から抽出した多次元特徴データの次元を縮退して近似データを生成する次元縮退手段と、前記次元縮退手段で生成した近似データを次元縮退前の多次元特徴データと対応付けて蓄積する近似データ蓄積手段と、少なくとも、検索対象人物の多次元特徴データを識別する識別子を検索キーとして受信する検索要求受信手段と、検索条件に基づいて、前記検索要求受信手段で受信した検索キーに対応する近似データと前記近似データ蓄積手段で蓄積した複数の近似データのそれぞれとの距離計算を行ない類似度順に並べる近似空間検索手段と、前記近似空間検索手段で得られた類似度の高い結果群に対して、次元縮退前の多次元特徴データを用いて再度距離計算を行ない最終順位を決定し、検索結果として出力する実空間最終ランク付け手段とを備える。
この構成により、次元数を抑えた近似空間上で検索結果をある程度絞込んだ後、実空間で最終絞込みができるため、次元数が高次元になった時でもユーザの望む画像を効率よく検索することができる。また、検索結果を類似度順で出力するため、より効率よく検索することができる。
また、本発明の画像検索装置は、前記次元縮退手段が、前記多次元特徴データを構成する要素を絶対値の大きい順に並替え、上位Ｎ個（Ｎ：自然数）の(要素番号,値)を前記近似データとして生成することを特徴とする。また、本発明の画像検索装置は、前記次元縮退手段が、入力する多次元特徴データのウェーブレット変換結果から、高周波成分又は低周波成分の上位Ｎ個の値を前記近似データとして生成することを特徴とする。また、本発明の画像検索装置は、前記次元縮退手段で得られた上位Ｎ個以外の多次元特徴データを(代表値,符号ビット)として生成し前記近似データとして管理することを特徴とする。
この構成により、人物の特徴を強く表わす部分の影響が強く出るように次元を縮退することができるため、近似空間上で検索結果を絞込む過程における検索漏れを少なくすることができる。
また、本発明の画像検索装置は、前記実空間最終ランク付け手段が、前記近似空間検索手段で得られた類似度の高い上位Ｍ件（Ｍ：自然数）に対して最終順位付けを行ない、検索結果として上位Ｋ件(Ｋ<Ｍ)を出力することを特徴とする。
この構成により、近似空間上で検索結果を絞込む過程における検索漏れを抑制することができる。
また、本発明の画像検索装置は、前記実空間最終ランク付け手段が、前記近似空間検索手段で得られた類似度の高い要素(すなわち近似距離の小さい要素)から順に、次元縮退前の多次元特徴データを用いて再距離計算を行ない、再距離計算して得られた類似度の高い上位Ｋ件の実距離が、再距離計算を行なっていない全データの近似距離より小さくなった時点で処理を完了し、前記上位Ｋ件を検索結果として出力することを特徴とする。
この構成により、全ての次元を用いて距離計算を行なう場合と同じ結果を得ることができるため、近似空間上で検索結果を絞込む過程における検索漏れを０にすることができる。
また、本発明の画像検索装置は、前記実空間最終ランク付け手段が、前記近似空間検索手段で得られた結果が、最終ランク付けでどの程度変更したかを示す「次元縮退による歪み率」を結果として出力することを特徴とする。
この構成により、ユーザは、近似空間上で検索結果を絞込む過程で検索漏れがどの程度発生したかを把握することができるため、効率的に画像を再検索することができる。
また、本発明の画像検索装置は、「利用する次元数」と「絞込む件数」を、前記近似空間検索手段が用いる検索条件として指定する再検索条件指定手段を備えることを特徴とする。
この構成により、近似空間上で検索結果を絞込む過程で検索漏れが発生した場合であっても、ユーザが再検索による絞込み操作を簡単に行なうことができる。また、再検索条件指定手段が、実空間最終ランク付け手段で出力した「次元縮退による歪み率」を参照して自動的に検索条件を再指定する構成をとれば、より効率的に画像を検索できる。
また、本発明の画像検索装置は、前記実空間最終ランク付け手段で出力した検索結果に対して正解または不正解を指定する正誤指定手段を備えたことを特徴とする。また、本発明の画像検索装置は、前記近似空間検索手段が、前記正誤指定手段で正解と指定した近似データの要素番号を「正解要素番号群」として、また、不正解と指定した近似データの要素番号を「誤り要素番号群」として設定し、近似データを用いた距離計算過程で、「正解要素番号群」に含まれる各要素番号の重み付けを強く、「誤り要素番号群」に含まれる各要素番号の重み付けを弱くすることを特徴とする。
この構成により、近似空間上で検索結果を絞込む過程で検索漏れが多く発生しても、ユーザが再検索による絞込み操作を簡単に行なうことができる。
さらに、本発明の画像検索方法は、画像から抽出した多次元特徴データの次元を縮退して生成した近似データを用いて、画像蓄積手段に蓄積されている画像群を検索対象画像との類似度順に並べる近似空間検索ステップと、前記近似空間検索ステップで得られた類似度の高い結果群に対して、次元縮退前の多次元特徴データを用いて再類似度計算を行ない最終順位を決定する実空間最終ランク付けステップとを有する。
本発明によれば、次元数を抑えた近似空間上で検索結果をある程度絞込んだ後、実空間で最終絞込みができるため、次元数が高次元になった時でもユーザの望む画像を効率よく検索することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１における画像検索装置の構成図である。図１において、１１は、人物を撮影するカメラ、１２は、指定された検索条件に該当する人物を含む画像を検索する検索サーバ、１３は、検索サーバ１２に対して検索条件を指定して検索を実行させるための検索端末である。１０１は、カメラ１１で撮影した画像から、顔/色/形状などの人物を識別するための多次元特徴データを抽出する多次元特徴データ生成手段、１０２は、多次元特徴データ生成手段１０１で抽出した多次元特徴データの次元を縮退して近似データを生成する次元縮退手段、１０３は、次元縮退手段１０２で生成した近似データと次元縮退前の多次元特徴データと対応付けて、それぞれ近似特徴データ群１０３ａと実特徴データ群１０３ｂとして蓄積する近似データ蓄積手段、１０４は、少なくとも、検索対象人物の多次元特徴データを識別する識別子を検索キーとして受信する検索要求受信手段、１０５は、検索端末１３で指定された検索条件に基づいて、検索要求受信手段１０４で受信した検索キーに対応する近似データと近似データ蓄積手段１０３で蓄積した複数の近似データのそれぞれとの距離計算を行ない、計算結果の距離順すなわち類似度順に並べる近似空間検索手段、１０６は、近似空間検索手段１０５で得られた類似度の高い結果群に対して、次元縮退前の多次元特徴データを用いて再度距離計算を行ない最終順位を決定する実空間最終ランク付け手段である。実空間最終ランク付け手段１０６で決定された最終順位は、検索結果として出力される。
多次元特徴データ生成手段１０１で抽出する人物特徴データは、画像から切出した移動体の画像データであり、或いは、形状・色・大きさ、動きなどにより移動体を特定する情報であり、或いは、顔の目・鼻・口の形状や位置などを特定する情報である。これらの特徴情報の抽出分類方法は広く知られており、例えば、特開2001-268657号公報、及び、「画像の処理と認識」(安居院猛・長尾智晴 共著、昭晃堂出版)に厳密に記されている。これらの既存技術を利用して生成した顔/服装色等の人物特徴データは、人物を特定するために複数の要素(次元と呼ぶ)から構成されている。例えば、顔特徴データは、全体の顔つきを把握するための要素群、目/鼻/口等の特定部品の形状を把握するための要素群の合計：数百〜数千次元から構成される。
図２は、次元縮退手段１０２の処理手順を示したもので、以下その動作について説明する。
＜ステップ２０１＞入力された多次元特徴データ([要素番号,値]の系列)に対して、値を全て絶対値にして、値の大きいものから順にソートする。入力される多次元特徴データは、２−ａのように、顔全体/部品単位の主成分を持つ顔特徴データや、人物の服装の色分布をRGB/HSV等の色空間ヒストグラムとして表わしたデータや、さらに、人物が写っている領域を切出して周波数に変換したデータなどで、横軸の各要素の[要素番号,値]の集合が、ステップ２０１の多次元特徴データの入力として与えられる。また、ソート後は２−ｂのように絶対値が大きいものから順に並べられ、横軸の各要素は、[ソート前の要素番号、値]として生成される。
＜ステップ２０２＞指定された次元(Ｒ)で、多次元特徴データを分離（次元をカット）する。分離後、指定次元Ｒ以内の要素(絶対値の大きい要素)は、Ｒ１データとして[ソート前の要素番号,値]の系列として出力され、また、指定次元Rより大きい部分は、Ｒ２データとして、[代表値Ｖ,Ｒ２内の符号ビット列]として生成される（２−ｃ）。なお、Ｒ２データの代表値Ｖは、Ｒ２データの絶対値での平均値、或いは、Ｒ２データの絶対値の最大値が用いられる。また、符号ビット列は、Ｒ２のＮ番目の要素の値が正ならビット値＝１、負ならビット値＝０として、Ｒ２の要素数分の符号が分かるビット列として生成される。
＜ステップ２０３＞ステップ２０２で生成したＲ１及びＲ２データを近似データ蓄積手段１０３の近似特徴データ群103aへ格納する。また、ステップ２０１で入力されたソート前ベクトルデータを実特徴データ群103bへ格納する。このようにしてインデクスを生成する。なお、近似特徴データ群103aは、次元を縮退したデータ群であるため、高速アクセス可能なメモリ上に配置するようにしてもよい。
図３は、近似空間検索手段１０５及び実空間最終ランク付け手段１０６の処理手順を示したもので、以下その動作について説明する。
＜ステップ３０１＞検索要求受信手段１０４で受信した検索キーに対応する近似データ(３−ａ)と近似データ蓄積手段１０３で蓄積した複数の近似データ（３−ｂ）との近似距離計算を行ない、近似データ蓄積手段１０３で蓄積した複数の近似データを近似距離の小さい順に並べる。近似距離計算は、３−ｃに示すように、ソート前の全ての次元に対して、
1) 各次元が、(3-a),(3-b)のR1に含まれれば、R1にある値を用いて距離計算を行なう。
2) 各次元が、(3-a),(3-b)のR2に片方含まれれば、R2に含まれるものに対しては、R2の代表値(V)と符号ビットから近似値を算出し、それを用いて距離計算を行なう。
といった処理を行なう。
＜ステップ３０２＞ステップ３０１で距離の小さい順に並べた上位Ｍ件に対して、検索要求受信手段１０４で受信した検索キーとの実距離計算を行ない、３−ｄのように実距離の小さい順に上位Ｋ件を抽出し結果として返す。実距離は、実特徴データ群103bに格納したソート前ベクトルデータから計算する。
図３の処理は、近似距離の小さい順に並べた上位Ｍ件に対して、実空間上で最終順位付けを行なうものだが、上位Ｍ件に絞込んだ時点で検索漏れを起こす可能性がある。図４は、近似空間上での絞込みによる検索漏れを０にするための実空間最終ランク付け手段１０８の処理手順を示したもので、以下その動作について説明する。
＜ステップ４０１＞近似空間検索手段１０５で生成した、検索キーとの近似距離のリストを取得する。リストは、近似距離の小さいものから順に格納されているものとする。
＜ステップ４０２＞近似距離リストから、近似距離の小さいデータを取得する。取得した時点で、近似距離リストから該当データを削除する。
＜ステップ４０３＞ステップ４０２で取得したデータと検索キーに対応するデータとの実距離を計算する。
＜ステップ４０４＞ステップ４０２で取得したデータを実距離リストへ追加する。リストは、実距離の小さいものから順に格納されるようにする。
＜ステップ４０５＞実距離リストの上位Ｋ件の全ての距離が、近似距離リスト内の最小距離より小さいか判定する。Ｙｅｓの場合、ステップ４０６へ、Ｎｏの場合、ステップ４０２へ移行する。
＜ステップ４０６＞実距離リストの上位Ｋ件を実空間最終ランク付け手段１０６の検索結果として出力する。
図５を用いて、図３と図４の処理手順による検索結果の違いについて述べる。５−ａは、検索キーとデータＡ〜Ｈとの「近似距離及び実距離」の例を示したものである。５−ａに対して、図３のフローで検索した場合、５−ｂに示すようにデータＧが検索漏れを起こしてしまう。これに対し、図４のフローで検索した場合は５−ｃに示すようにデータＧの検索漏れを起こすことはない。図３と図４のどちらの検索処理を採用するかは、近似距離と実距離の関係により異なる。例えば、全てのデータに対して「近似距離≒実距離」となる場合は、近似によって検索順位が大きく入替わる可能性がないため、検索漏れを防ぎつつ高速処理が可能な図４が適している。一方、「近似距離<<実距離」となる場合は、図４の処理では全データに対する検索が結局発生して処理が遅くなるため、ある程度検索漏れを抑えつつ高速に検索できる図３の処理が適している。
以上のように、次元数を抑えた近似空間上で検索結果をある程度絞込んだ後、実空間で最終絞込みを行なうことで、次元数が高次元になった時でも演算量を抑えて、ユーザの望む画像を効率よく検索することができる。また、画像毎に、人物の特徴を強く表わす成分と平均的な成分に分離して次元を縮退することで、予め目/鼻/口等の重要度が高いと想定した成分のみを使用して次元を縮退する場合と比較して、重要度が高くないと想定した成分に特徴が大きく現れる人物の画像が登録されている場合でも、該当人物画像の検索を柔軟にかつ適切に行なうことができる。さらに、図４のような検索処理を導入する事により、近似空間上で検索結果を絞込む過程における検索漏れを０にすることができる。
なお、次元縮退方法として、成分値の並替えによって人物の特徴を強く表わす成分と平均的な成分に分離する方法について述べたが、Haar等に代表されるウェーブレット変換を用いて、低周波に相当する「平均的な成分」からＲ２データを生成し、高周波に相当する「平均との差分成分」からＲ１データを生成するようにしてもよい。この場合、Ｒ１/Ｒ２データを構成する要素番号が入力する多次元特徴データに依存せず固定されるため、近似空間検索手段１０５での演算量を削減できるという効果が得られる。また、多次元特徴データ間の差異が平均的な成分に強く出る場合には、前述のウェーブレット変換後の低周波に相当する「平均的な成分」をＲ１データ、高周波に相当する「平均との差分成分」をＲ２データに変更することで対応可能である。
（実施の形態２）
実施の形態２では、近似空間上で検索結果を絞込む過程で検索漏れが多く発生しても、ユーザが再検索による絞込み操作を簡単に行なうことができる画像検索装置について述べる。
本発明の実施の形態２で述べる構成は実施の形態１とほぼ同じであるため、ここでは、追加となる再検索時の絞込み操作の処理手順のみ記載し、他は省略する。
図６は、近似空間検索手段１０５で得られた検索結果が実空間最終ランク付け手段１０６の最終ランク付けでどの程度変更が生じたかを示す「次元縮退による歪み率」を結果表示し、ユーザが「次元縮退による歪み率」を参照しながら、近似空間検索手段１０５で「利用する次元数」と「絞込む件数」を再検索条件として設定する例を示したものである。６−ａは、検索対象者の検索キーと時刻/場所の検索範囲を最初に指定する初期検索条件指定画面、６−ｂは、「次元縮退による歪み率」も併せて検索結果を表示する検索結果表示画面、６−ｃは、3通りの再検索の方法[ 1)利用次元数(利用する次元数)の調整、２)近似範囲(絞込む件数)の調整、３)上記１）２）の調整は行なわずに次のＫ件を出力する]から次の検索条件をユーザが指定する再検索条件指定画面であり、６−ｂと６−ｃの操作は繰返し行なわれる。
図７を用いて、「次元縮退による歪み率」の算出例について述べる。７−ａは、図１に示すような構成で検索を行なった場合に生じる検索漏れ(データＬ、Ｇ)の例を表わしている。７−ｂは、検索漏れが起きた時の、近似空間検索手段１０５と実空間最終ランク付け手段１０６で得られた検索結果の違いを表わしている。７−ｂにおいて、近似空間での絞込みの閾値である上位Ｍ件のＭ値を大きくすれば検索漏れの確率は小さくなるが、ユーザがどの程度Ｍ値を大きくすれば良いのか判断がつかない。そこで、「次元縮退の歪み率」として、a)近似空間で得られる上位Ｋ件が最終順位付け上位Ｋ件に含まれる比率、或いは、b)最終順位付け上位Ｋ件のデータに対して、「最終順位の総和(すなわちK*(K+1)/2) ／近似空間での順位の総和」の順位比率、を用いることで、ユーザに次元縮退による歪みがどの程度発生しているのかを伝えることができる。なお、上記a)b)の値が小さいほど歪みは大きくなる。
次に、「次元縮退の歪み率」を参照してユーザが再検索条件を指定する操作について詳細に説明する。再検索条件の指定には、６−ｃに示したように、1)利用次元数の調整、2)近似範囲の調整、3)次のＫ件を出力する、の３パターン存在する。
１）の利用次元数とは、近似空間検索手段１０５で使用するＲ１データの要素数であり、Ｒ１データの要素数を増やすことで「次元縮退の歪み率」を小さくすることができる。なお、利用次元数の調整が行なわれた時に、近似空間検索手段１０５でＲ１データの要素数を変更して再検索処理ができるように、図８に示すような複数のカット次元(R#a,R#b,R#c)に対応したデータ構造を予め生成しておく。データ構造は、複数のカット次元毎に生成する必要はなく、８−ｂのように、Ｒ１データの要素数が大きいカット次元(R#c)にあわせて用意しておくことで対応可能である。
２）の近似範囲の調整は、近似空間で絞込む範囲(上位Ｍ件のＭ値)を調整するためのもので、「次元縮退の歪み率」が大きいときでも、Ｍ値を大きくする事で検索漏れを防ぐことができる。
３）の次のＫ件は、「次元縮退の歪み率が小さい」或いは「次元縮退の歪み率が大きいが、１)２)による調整が難しい」とユーザが判断した時に使用される。
以上のように、ユーザが「次元縮退による歪み率」を参照して、近似空間検索手段で「利用する次元数」と「絞込む件数」を調整していくことで、近似空間上で検索結果を絞込む過程における検索漏れを抑制した再検索操作を実現することができる。なお、再検索条件指定手段が、実空間最終ランク付け手段で出力した「次元縮退による歪み率」を参照して自動的に検索条件を再指定する構成としてもよい。この構成により、より効率的に画像を検索できる。
（実施の形態３）
実施の形態３では、近似空間上で検索結果を絞込む過程で検索漏れが多く発生しても、ユーザが再検索による絞込み操作を簡単に行なうことができる、実施の形態２とは別の画像検索装置について述べる。
本発明の実施の形態３で述べる構成は実施の形態１とほぼ同じであるため、ここでは、追加となる再検索時の絞込み操作の処理手順のみ記載し、他は省略する。
図９は、検索結果に対してユーザが正解または不正解を指定すると、近似空間検索手段１０５にて、正解と指定した近似データで使用している要素番号の重み付けを強く、また、誤りと指定した近似データで使用している要素番号の重み付けを弱くして、近似空間内での距離計算を再度行なう例を示したものである。９−ｂのように、人物の特徴を強く表わす要素番号は検索結果毎に異なるため、ユーザが正解/不正解と指定した結果から、正解を導出する要素番号と不正解を除去する要素番号をそれぞれ抽出して重み付けを行なうことで、検索漏れを抑制した再検索処理を実現する事ができる。なお、重み付けとは、図３の３−ｃの各次元の距離計算において、距離計算結果に重み係数を付与することである。
また、図１０は、検索結果に対してユーザが不正解と指定すると、不正解と指定したデータが実空間最終ランク付け手段１０６で出力されないように、近似空間検索手段１０５で「利用する次元数」と「絞込む件数」を自動調整する例を示したものである。１０―ｂにおいて、ユーザが「データＨ／Ｅ＝不正解」と指定した場合は、最終順位付けでデータＨ／Ｅより距離の小さい要素が出てくるまで、近似空間での絞込みの閾値である上位Ｍ件のＭ値を大きく、或いは利用する次元数を増やして処理を行なう。
以上のように、検索結果に対して、画像毎に、ユーザが正解/不正解を指定して、再検索時の近似距離計算パラメータ(要素番号の重み、利用次元数、近似範囲)を自動調整していくことで、近似空間上で検索結果を絞込む過程における検索漏れを抑制した再検索操作を実現することができる。
以上のように、本発明の各実施形態にかかる画像検索装置および画像検索方法は、次元数を抑えた近似空間上で検索結果をある程度絞込んだ後、実空間で最終絞込みを行なうことで、次元数が高次元になった時でも演算量を抑えて、ユーザの望む画像を効率よく適切に検索することができるという効果を有し、複数カメラを対象にした万引き犯・迷子・落し物者の全行動把握を行なう監視用途に加えて、旅行・運動会等の個人で撮影したコンテンツ（静止画・動画）に対する閲覧・検索・編集の用途等にも応用することができる。
本発明は、次元数を抑えた近似空間上で検索結果をある程度絞込んだ後、実空間で最終絞込みができるため、次元数が高次元になった時でもユーザの望む画像を効率よく検索することができるという効果を有し、画像から抽出した多次元特徴データ(顔,色等)を用いて、大容量の画像群から所望の画像を高速に洗出すことのできる画像検索装置および画像検索方法等に有用である。
本発明の第１の実施の形態における画像検索装置のブロック図 本発明の第１の実施の形態における画像検索装置のデータ登録動作に関するフロー図 本発明の第１の実施の形態における画像検索装置の検索動作に関するフロー図 本発明の第１の実施の形態における画像検索装置の検索漏れをなくす検索動作に関するフロー図 本発明の第１の実施の形態における画像検索装置の２種類の検索処理の違いに関する説明図 本発明の第２の実施の形態における画像検索装置の再検索操作に関するフロー図 本発明の第２の実施の形態における画像検索装置の歪み率算出に関する説明図 本発明の第２の実施の形態における画像検索装置で管理するデータ構造に関する説明図 本発明の第３の実施の形態における画像検索装置の再検索操作に関するフロー図（その１） 本発明の第３の実施の形態における画像検索装置の再検索操作１に関するフロー図（その２）
符号の説明
１１ カメラ
１２ 検索サーバ
１３ 検索端末
１０１ 多次元特徴データ生成手段
１０２ 次元縮退手段
１０３ 近似データ蓄積手段
１０３ａ 近似特徴データ群
１０３ｂ 実特徴データ群
１０４ 検索要求受信手段
１０５ 近似空間検索手段
１０６ 実空間最終ランク付け手段

Claims (16)

  1. 画像から抽出した多次元特徴データの次元を縮退して近似データを生成する次元縮退手段と、
    前記次元縮退手段で生成した近似データを次元縮退前の多次元特徴データと対応付けて蓄積する近似データ蓄積手段と、
    少なくとも、検索対象人物の多次元特徴データを識別する識別子を検索キーとして受信する検索要求受信手段と、
    検索条件に基づいて、前記検索要求受信手段で受信した検索キーに対応する近似データと前記近似データ蓄積手段で蓄積した複数の近似データのそれぞれとの距離計算を行ない類似度順に並べる近似空間検索手段と、
    前記近似空間検索手段で得られた類似度の高い結果として出力するＫ件より多いＭ件の結果群に対して、次元縮退前の多次元特徴データを用いて再度距離計算を行ない最終順位を決定し、最終順位の上位Ｋ件を検索結果として出力する実空間最終ランク付け手段とを備えた画像検索装置。
  2. 画像から抽出した多次元特徴データの次元を縮退して近似データを生成する次元縮退手段と、
    前記次元縮退手段で生成した近似データを次元縮退前の多次元特徴データと対応付けて蓄積する近似データ蓄積手段と、
    少なくとも、検索対象人物の多次元特徴データを識別する識別子を検索キーとして受信する検索要求受信手段と、
    検索条件に基づいて、前記検索要求受信手段で受信した検索キーに対応する近似データと前記近似データ蓄積手段で蓄積した複数の近似データのそれぞれとの距離計算を行ない類似度順に並べる近似空間検索手段と、
    前記近似空間検索手段で得られた類似度の高い結果群に対して、次元縮退前の多次元特徴データを用いて再度距離計算を行ない最終順位を決定し、検索結果として出力する実空間最終ランク付け手段とを備え、
    前記次元縮退手段は、前記多次元特徴データを構成する要素を絶対値の大きい順に並替え、上位Ｎ個（Ｎ：自然数）の(要素番号,値)を前記近似データとして生成することを特徴とする画像検索装置。
  3. 画像から抽出した多次元特徴データの次元を縮退して近似データを生成する次元縮退手段と、
    前記次元縮退手段で生成した近似データを次元縮退前の多次元特徴データと対応付けて蓄積する近似データ蓄積手段と、
    少なくとも、検索対象人物の多次元特徴データを識別する識別子を検索キーとして受信する検索要求受信手段と、
    検索条件に基づいて、前記検索要求受信手段で受信した検索キーに対応する近似データと前記近似データ蓄積手段で蓄積した複数の近似データのそれぞれとの距離計算を行ない類似度順に並べる近似空間検索手段と、
    前記近似空間検索手段で得られた類似度の高い結果群に対して、次元縮退前の多次元特徴データを用いて再度距離計算を行ない最終順位を決定し、検索結果として出力する実空間最終ランク付け手段とを備え、
    前記次元縮退手段は、入力する多次元特徴データのウェーブレット変換結果から、高周波成分又は低周波成分の上位Ｎ個の値を前記近似データとして生成することを特徴とする画像検索装置。
  4. 前記次元縮退手段で得られた上位Ｎ個以外の多次元特徴データを(代表値,符号ビット)として生成し前記近似データとして管理することを特徴とする請求項２または３記載の画像検索装置。
  5. 画像から抽出した多次元特徴データの次元を縮退して近似データを生成する次元縮退手段と、
    前記次元縮退手段で生成した近似データを次元縮退前の多次元特徴データと対応付けて蓄積する近似データ蓄積手段と、
    少なくとも、検索対象人物の多次元特徴データを識別する識別子を検索キーとして受信する検索要求受信手段と、
    検索条件に基づいて、前記検索要求受信手段で受信した検索キーに対応する近似データと前記近似データ蓄積手段で蓄積した複数の近似データのそれぞれとの距離計算を行ない類似度順に並べる近似空間検索手段と、
    前記近似空間検索手段で得られた類似度の高い結果群に対して、次元縮退前の多次元特徴データを用いて再度距離計算を行ない最終順位を決定し、検索結果として出力する実空間最終ランク付け手段とを備え、
    前記実空間最終ランク付け手段は、前記近似空間検索手段で得られた類似度の高い要素(すなわち近似距離の小さい要素)から順に、次元縮退前の多次元特徴データを用いて再距離計算を行ない、再距離計算して得られた類似度の高い上位Ｋ件の実距離が、再距離計算を行なっていない全データの近似距離より小さくなった時点で処理を完了し、前記上位Ｋ件を検索結果として出力することを特徴とする画像検索装置。
  6. 画像から抽出した多次元特徴データの次元を縮退して近似データを生成する次元縮退手段と、
    前記次元縮退手段で生成した近似データを次元縮退前の多次元特徴データと対応付けて蓄積する近似データ蓄積手段と、
    少なくとも、検索対象人物の多次元特徴データを識別する識別子を検索キーとして受信する検索要求受信手段と、
    検索条件に基づいて、前記検索要求受信手段で受信した検索キーに対応する近似データと前記近似データ蓄積手段で蓄積した複数の近似データのそれぞれとの距離計算を行ない類似度順に並べる近似空間検索手段と、
    前記近似空間検索手段で得られた類似度の高い結果群に対して、次元縮退前の多次元特徴データを用いて再度距離計算を行ない最終順位を決定し、検索結果として出力する実空間最終ランク付け手段とを備え、
    前記実空間最終ランク付け手段は、前記近似空間検索手段で得られた結果が、最終ランク付けでどの程度変更したかを示す「次元縮退による歪み率」を結果として出力することを特徴とする画像検索装置。
  7. 「利用する次元数」と「絞込む件数」を、前記近似空間検索手段が用いる検索条件として指定する再検索条件指定手段を備えることを特徴とする請求項６記載の画像検索装置。
  8. 前記実空間最終ランク付け手段で出力した検索結果に対して正解または不正解を指定する正誤指定手段を備えたことを特徴とする請求項１記載の画像検索装置。
  9. 前記近似空間検索手段は、前記正誤指定手段で正解と指定した近似データの要素番号を「正解要素番号群」として、また、不正解と指定した近似データの要素番号を「誤り要素番号群」として設定し、近似データを用いた距離計算過程で、「正解要素番号群」に含まれる各要素番号の重み付けを強く、「誤り要素番号群」に含まれる各要素番号の重み付けを弱くすることを特徴とする請求項８記載の画像検索装置。
  10. 前記近似空間検索手段は、前記正誤指定手段で不正解と指定した近似データが前記実空間最終ランク付け手段で再出力されないように、前記検索条件である「利用する次元数」と「絞込む件数」を自動調整することを特徴とする請求項８記載の画像検索装置。
  11. プログラムされたコンピュータによって画像を検索する方法であって、
    画像から抽出した多次元特徴データの次元を縮退して生成した近似データを用いて、画像蓄積手段に蓄積されている画像群を検索対象画像との類似度順に並べる近似空間検索ステップと、
    前記近似空間検索ステップで得られた類似度の高い結果として出力するＫ件より多いＭ件の結果群に対して、次元縮退前の多次元特徴データを用いて再類似度計算を行ない最終順位を決定する実空間最終ランク付けステップとを有する画像検索方法。
  12. プログラムされたコンピュータによって画像を検索する方法であって、
    画像から抽出した多次元特徴データの次元を縮退して近似データを生成する次元縮退ステップと、
    前記次元縮退ステップで生成した近似データを次元縮退前の多次元特徴データと対応付けて蓄積する近似データ蓄積ステップと、
    少なくとも、検索対象人物の多次元特徴データを識別する識別子を検索キーとして受信する検索要求受信ステップと、
    検索条件に基づいて、前記検索要求受信ステップで受信した検索キーに対応する近似データと前記近似データ蓄積ステップで蓄積した複数の近似データのそれぞれとの距離計算を行ない類似度順に並べる近似空間検索ステップと、
    前記近似空間検索ステップで得られた類似度の高い結果群に対して、次元縮退前の多次元特徴データを用いて再度距離計算を行ない最終順位を決定し、検索結果として出力する実空間最終ランク付けステップとを備え、
    前記多次元特徴データを構成する要素を絶対値の大きい順に並替え、上位Ｎ個（Ｎ：自然数）の(要素番号,値)を前記近似データとして生成させることを特徴とする画像検索方法。
  13. プログラムされたコンピュータによって画像を検索する方法であって、
    画像から抽出した多次元特徴データの次元を縮退して近似データを生成する次元縮退ステップと、
    前記次元縮退ステップで生成した近似データを次元縮退前の多次元特徴データと対応付けて蓄積する近似データ蓄積ステップと、
    少なくとも、検索対象人物の多次元特徴データを識別する識別子を検索キーとして受信する検索要求受信ステップと、
    検索条件に基づいて、前記検索要求受信ステップで受信した検索キーに対応する近似データと前記近似データ蓄積ステップで蓄積した複数の近似データのそれぞれとの距離計算を行ない類似度順に並べる近似空間検索ステップと、
    前記近似空間検索ステップで得られた類似度の高い結果群に対して、次元縮退前の多次元特徴データを用いて再度距離計算を行ない最終順位を決定し、検索結果として出力する実空間最終ランク付けステップとを備え、
    入力する多次元特徴データのウェーブレット変換結果から、高周波成分又は低周波成分の上位Ｎ個の値を前記近似データとして生成させることを特徴とする画像検索方法。
  14. 前記近似データとして生成された上位Ｎ個以外の多次元特徴データを(代表値,符号ビット)として生成し前記近似データとして管理することを特徴とする請求項１２または１３記載の画像検索方法。
  15. 前記実空間最終ランク付けステップは、前記近似空間検索ステップで得られた類似度の高い要素(すなわち近似距離の小さい要素)から順に、次元縮退前の多次元特徴データを用いて再類似度計算を行ない、再類似度計算して得られた類似度の高い上位Ｋ件の実距離が、再類似度計算を行なっていない全データの近似距離より小さくなった時点で処理を完了し、前記上位Ｋ件を検索結果として出力することを特徴とする請求項１１記載の画像検索方法。
  16. 前記実空間最終ランク付けステップは、前記近似空間検索ステップで得られた結果が、最終ランク付けでどの程度変更したかを示す「次元縮退による歪み率」を結果として出力することを特徴とする請求項１１記載の画像検索方法。
JP2005370613A 2005-12-22 2005-12-22 画像検索装置および画像検索方法 Expired - Fee Related JP4777059B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005370613A JP4777059B2 (ja) 2005-12-22 2005-12-22 画像検索装置および画像検索方法
CN200680031384.7A CN101253535B (zh) 2005-12-22 2006-12-22 图像检索装置以及图像检索方法
EP06835124.6A EP1965349A4 (en) 2005-12-22 2006-12-22 IMAGE RECOVERY DEVICE AND IMAGE RECOVERY METHOD
US12/064,928 US8150854B2 (en) 2005-12-22 2006-12-22 Image search apparatus and image search method
PCT/JP2006/325646 WO2007072947A1 (ja) 2005-12-22 2006-12-22 画像検索装置および画像検索方法
US13/400,380 US8560551B2 (en) 2005-12-22 2012-02-20 Image search apparatus and image search method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005370613A JP4777059B2 (ja) 2005-12-22 2005-12-22 画像検索装置および画像検索方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011107288A Division JP5138790B2 (ja) 2011-05-12 2011-05-12 画像検索装置および画像検索方法

Publications (3)

Publication Number Publication Date
JP2007172384A JP2007172384A (ja) 2007-07-05
JP2007172384A5 JP2007172384A5 (ja) 2010-06-24
JP4777059B2 true JP4777059B2 (ja) 2011-09-21

Family

ID=38188721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005370613A Expired - Fee Related JP4777059B2 (ja) 2005-12-22 2005-12-22 画像検索装置および画像検索方法

Country Status (5)

Country Link
US (2) US8150854B2 (ja)
EP (1) EP1965349A4 (ja)
JP (1) JP4777059B2 (ja)
CN (1) CN101253535B (ja)
WO (1) WO2007072947A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4777059B2 (ja) 2005-12-22 2011-09-21 パナソニック株式会社 画像検索装置および画像検索方法
KR100796044B1 (ko) * 2007-02-08 2008-01-21 (주)올라웍스 인물 이미지에 대한 태깅 방법
JP2009027393A (ja) * 2007-07-19 2009-02-05 Hitachi Ltd 映像検索システムおよび人物検索方法
US9792414B2 (en) 2007-12-20 2017-10-17 Koninklijke Philips N.V. Method and device for case-based decision support
JP2009271577A (ja) 2008-04-30 2009-11-19 Panasonic Corp 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
WO2010003286A1 (zh) * 2008-07-08 2010-01-14 Wang Tiemei 一种商标检索方法及系统
DE102008039753B3 (de) * 2008-08-26 2010-04-01 Vodafone Holding Gmbh Verfahren zum Bearbeiten einer Bilddatenbank
KR101153966B1 (ko) 2008-12-22 2012-06-08 전북대학교산학협력단 고차원 데이터의 색인/검색 시스템 및 그 방법
CN101763445B (zh) * 2008-12-23 2011-11-09 北京理工大学 一种高光谱图像降维芯片
JP5061147B2 (ja) * 2009-04-16 2012-10-31 ヤフー株式会社 画像検索装置
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
CN102411582B (zh) * 2010-09-21 2016-04-27 腾讯科技（深圳）有限公司 图片搜索方法、装置及客户端
US9679064B2 (en) * 2011-06-30 2017-06-13 Nokia Technologies Oy Method and apparatus for providing user-corrected search results
US8694513B2 (en) * 2012-01-10 2014-04-08 Swoop Search, Llc Systems and methods for graphical search interface
US8862592B2 (en) 2012-01-10 2014-10-14 Swoop Search, Llc Systems and methods for graphical search interface
JP5923744B2 (ja) * 2012-05-24 2016-05-25 パナソニックＩｐマネジメント株式会社 画像検索システム、画像検索方法及び検索装置
US10140354B2 (en) 2013-03-01 2018-11-27 Nec Corporation Information processing device, data processing method therefor, and recording medium
JP5586736B2 (ja) * 2013-05-09 2014-09-10 パナソニック株式会社 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
US8744840B1 (en) 2013-10-11 2014-06-03 Realfusion LLC Method and system for n-dimentional, language agnostic, entity, meaning, place, time, and words mapping
CN108415958B (zh) * 2018-02-06 2024-06-21 北京陌上花科技有限公司 指数权重vlad特征的权重处理方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2685456B2 (ja) 1987-10-16 1997-12-03 株式会社日立製作所 類似画像検索装置
JPH0697459B2 (ja) 1991-06-20 1994-11-30 インターナショナル・ビジネス・マシーンズ・コーポレイション カラー画像領域管理装置及びカラー画像領域管理方法並びにカラー画像領域検索方法
DE19516742A1 (de) * 1995-05-06 1996-11-07 Philips Patentverwaltung Verfahren zur Datenreduktion mittels fraktaler Bildkodierung
JPH1049659A (ja) * 1996-08-07 1998-02-20 Fuji Xerox Co Ltd 情報検索装置および方法
US5930783A (en) * 1997-02-21 1999-07-27 Nec Usa, Inc. Semantic and cognition based image retrieval
JPH10326286A (ja) 1997-05-27 1998-12-08 Mitsubishi Electric Corp 類似検索装置及び類似検索プログラムを記録した記録媒体
US6122628A (en) * 1997-10-31 2000-09-19 International Business Machines Corporation Multidimensional data clustering and dimension reduction for indexing and searching
WO2002095534A2 (en) * 2001-05-18 2002-11-28 Biowulf Technologies, Llc Methods for feature selection in a learning machine
JP2000276484A (ja) * 1999-03-25 2000-10-06 Konica Corp 画像検索装置、画像検索方法及び画像表示装置
JP2002183205A (ja) 2000-12-11 2002-06-28 Minolta Co Ltd データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
CA2340531C (en) * 2001-03-12 2006-10-10 Ibm Canada Limited-Ibm Canada Limitee Document retrieval system and search method using word set and character look-up tables
US6826300B2 (en) * 2001-05-31 2004-11-30 George Mason University Feature based classification
US7054468B2 (en) * 2001-12-03 2006-05-30 Honda Motor Co., Ltd. Face recognition using kernel fisherfaces
JP4232388B2 (ja) * 2002-05-29 2009-03-04 日本電気株式会社 映像検索装置及びそれに用いる映像検索方法並びにそのプログラム
US7298931B2 (en) 2002-10-14 2007-11-20 Samsung Electronics Co., Ltd. Image retrieval method and apparatus using iterative matching
US8166039B1 (en) * 2003-11-17 2012-04-24 The Board Of Trustees Of The Leland Stanford Junior University System and method for encoding document ranking vectors
JP2005250562A (ja) 2004-03-01 2005-09-15 Tama Tlo Kk 判別分析を行う方法、類似画像検索方法、及び、そのプログラム、装置
US8155451B2 (en) * 2004-11-12 2012-04-10 Kitakyushu Foundation For The Advancement Of Industry, Science And Technology Matching apparatus, image search system, and histogram approximate restoring unit, and matching method, image search method, and histogram approximate restoring method
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
JP4777059B2 (ja) 2005-12-22 2011-09-21 パナソニック株式会社 画像検索装置および画像検索方法

Also Published As

Publication number Publication date
CN101253535B (zh) 2015-09-02
CN101253535A (zh) 2008-08-27
WO2007072947A1 (ja) 2007-06-28
EP1965349A1 (en) 2008-09-03
US8150854B2 (en) 2012-04-03
US20120150876A1 (en) 2012-06-14
EP1965349A4 (en) 2014-06-11
JP2007172384A (ja) 2007-07-05
US20090254537A1 (en) 2009-10-08
US8560551B2 (en) 2013-10-15

Similar Documents

Publication Publication Date Title
JP4777059B2 (ja) 画像検索装置および画像検索方法
CN111325115B (zh) 带有三重约束损失的对抗跨模态行人重识别方法和系统
JP4553650B2 (ja) 画像グループの表現方法および表現方法によって導出される記述子、探索方法、装置、コンピュータプログラム、ならびに記憶媒体
US8135239B2 (en) Display control apparatus, display control method, computer program, and recording medium
CN110235138A (zh) 用于外观搜索的系统和方法
CN104520875B (zh) 优选用于搜索和检索目的的从视频内容提取描述符的方法和装置
EP3147817A1 (en) Method and apparatus for video and image match searching
US20070195344A1 (en) System, apparatus, method, program and recording medium for processing image
KR101563297B1 (ko) 영상에서 행동을 인식하는 방법 및 장치
CN107315795B (zh) 联合特定人物和场景的视频实例检索方法及系统
JP5180922B2 (ja) 画像検索システム及び画像検索方法
CN111125396B (zh) 一种单模型多分支结构的图像检索方法
CN112507853B (zh) 一种基于互注意力机制的跨模态行人重识别方法
JP2017168057A (ja) 画像分類装置、画像分類システム及び画像分類方法
CN108198202A (zh) 一种基于光流和神经网络的视频内容检测方法
CN106682681A (zh) 一种基于相关反馈的识别算法自动改进方法
JP4511135B2 (ja) データ分布を表現する方法、データ要素を表現する方法、データ要素の記述子、照会データ要素を照合または分類する方法、その方法を実行するように設定した装置、コンピュータプログラム並びにコンピュータ読み取り可能な記憶媒体
CN104794446B (zh) 基于合成描述子的人体动作识别方法及系统
CN110929649A (zh) 一种面向小目标检测的网络和困难样本挖掘方法
JP2013140475A (ja) 映像検索装置
CN110825916A (zh) 一种基于形体识别技术的寻人方法
KR20210011707A (ko) Cnn을 기반으로 한 동영상의 씬 단위 장소 분류 방법 및 이를 이용한 장소 분류 장치
CN112257638A (zh) 一种图像比对方法、系统、设备及计算机可读存储介质
Deotale et al. Optimized hybrid RNN model for human activity recognition in untrimmed video
JP5138790B2 (ja) 画像検索装置および画像検索方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110629

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees