JP5127067B2 - 画像検索装置及び画像検索方法 - Google Patents

画像検索装置及び画像検索方法 Download PDF

Info

Publication number
JP5127067B2
JP5127067B2 JP2009053440A JP2009053440A JP5127067B2 JP 5127067 B2 JP5127067 B2 JP 5127067B2 JP 2009053440 A JP2009053440 A JP 2009053440A JP 2009053440 A JP2009053440 A JP 2009053440A JP 5127067 B2 JP5127067 B2 JP 5127067B2
Authority
JP
Japan
Prior art keywords
image
search
subject
query
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009053440A
Other languages
English (en)
Other versions
JP2010211261A (ja
Inventor
宏明 由雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009053440A priority Critical patent/JP5127067B2/ja
Priority to EP09841053.3A priority patent/EP2405390A4/en
Priority to US13/254,590 priority patent/US8401254B2/en
Priority to PCT/JP2009/004401 priority patent/WO2010100687A1/ja
Publication of JP2010211261A publication Critical patent/JP2010211261A/ja
Application granted granted Critical
Publication of JP5127067B2 publication Critical patent/JP5127067B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Description

本発明は、カメラで撮影して得られた複数の画像から特定の人物を検索する人物検索システムを用いて好適な画像検索装置及び画像検索方法に関する。
カメラで撮影して得られた複数の画像から特定の人物を検索する画像検索の一般手法として、特許文献1及び特許文献2で開示されている方法が知られている。特許文献1で開示された方法は、カメラで撮影して得られた画像から抽出した顔/色特徴をデータベース化し、指定条件にマッチした人物を類似度順に上位複数件表示するようにしたものである。特許文献2で開示された方法は、所望の人物が取得できない場合、検索画面上で表情、年齢、性別などを変更して再検索するようにしたものである。
特開2002−183205号公報 特開2003−281157号公報
しかしながら、同一人物でも画角、照度、向きなどの撮像条件が違うと人物特徴空間(詳細は以下で説明する)上でばらつきが生じてしまい、検索クエリ(例えば顔画像)によって検索対象者がヒットしない場合があり、検索効率が悪いという問題がある。
人物特徴空間について説明する。カメラで撮影して得られた画像から抽出する人物特徴データは、画像から切出した移動体の画像データ、あるいは、形状・色・大きさ、動きなどにより移動体を特定する情報、あるいは、顔の目・鼻・口の形状や位置などを特定する情報である。これらの特徴情報の抽出分類方法は広く知られており、例えば、「画像の処理と認識」(安居院猛・長尾智晴 共著、昭晃堂出版)に厳密に記されている。これらの既存技術を利用して生成した顔/服装色等の人物特徴データは、人物を特定するために複数の要素(次元と呼ぶ)から構成されており、例えば顔特徴データは、全体の顔つきを把握するための要素群、目/鼻/口等の特定部品の形状を把握するための要素群の合計:数百〜数千次元から構成される。
このような数百〜数千次元からなる人物特徴データを多次元ベクトルとして空間にプロットしたものを、ここでは人物特徴空間と呼び、同一人物であれば同じ空間に集まる傾向にある。しかし、画角、照度、向きなどの撮像条件が違うと特徴空間上で「ばらつき」が生じるため、例えば、図12に示すように、複数のカメラに人物A、B、Cが登場し、人物特徴空間に各人物A〜Cの特徴データがプロットされた後、人物Aのデジタルカメラ等の顔写真(クエリ)を用いて行動履歴検索を行なっても、人物Cの結果がヒットしてしまう現象が発生する。このため、ユーザは誤検索を容認した検索操作をしなければならず非常に効率が悪い、また、「人物Aの空間」の中心にクエリをプロットできれば上記現象を回避できるが、「人物Aの空間」の中心にクエリを移行する方法はこれまでなかった。
本発明は、係る事情に鑑みてなされたものであり、検索効率の向上が図れる画像検索装置及び画像検索方法を提供することを目的とする。
本発明の画像検索装置は、撮影手段によって得られる被写体の画像をデータベース化して蓄積する蓄積手段と、前記蓄積手段に蓄積されている被写体の画像からクエリ画像を用いて類似検索を行う類似検索手段と、前記類似検索手段による検索結果のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成するクエリ画像生成手段と、を備え、前記類似検索手段は、前記クエリ画像検索手段で生成された新たなクエリ画像を用いて類似検索を行う。
上記構成において、前記クエリ画像生成手段は、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う。
本発明の画像検索装置は、撮影手段によって得られる被写体の画像を別次元の画像に変換した特徴量をデータベース化して蓄積する蓄積手段と、前記蓄積手段に蓄積されている被写体の特徴量からクエリ画像特徴を用いて類似検索を行う類似検索手段と、前記類似検索手段による検索結果のうち、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成して新たなクエリ画像特徴を生成するクエリ画像生成手段と、を備え、前記類似検索手段は、前記クエリ画像生成手段で生成された新たなクエリ画像特徴を用いて類似検索を行う。
上記構成において、前記クエリ画像生成手段は、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う。
上記構成において、前記被写体に関する撮影時の付属情報は、前記被写体の向き、前記被写体に対する照明変化量、前記被写体の解像度及び前記被写体のデータ量のうち少なくとも1つの情報を含む。
本発明の画像検索方法は、撮影手段によって得られる被写体の画像をデータベース化して蓄積する蓄積ステップと、前記蓄積ステップで蓄積された被写体の画像からクエリ画像を用いて類似検索を行う類似検索ステップと、前記類似検索ステップでの検索結果のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成するクエリ画像生成ステップと、を備え、前記類似検索ステップでは、前記クエリ画像生成ステップで生成された新たなクエリ画像を用いて類似検索を行う。
上記方法において、前記クエリ画像生成ステップでは、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う。
上記方法において、前記被写体に関する撮影時の付属情報は、前記被写体の向き、前記被写体に対する照明変化量、前記被写体の解像度及び前記被写体のデータ量のうち少なくとも1つの情報を含む。
本発明の画像検索方法は、撮影手段によって得られる被写体の画像を別次元の画像に変換した特徴量をデータベース化して蓄積する蓄積ステップと、前記蓄積ステップに蓄積されている被写体の特徴量からクエリ画像特徴を用いて類似検索を行う類似検索ステップと、前記類似検索ステップによる検索結果のうち、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成して新たなクエリ画像特徴を生成するクエリ画像生成ステップと、を備え、前記類似検索ステップは、前記クエリ画像生成ステップで生成された新たなクエリ画像特徴を用いて類似検索を行う。
本発明は、撮影手段によって得られる被写体の画像をデータベース化して蓄積し、蓄積した被写体の画像からクエリ画像を用いて類似検索を行い、この検索により得られた複数の画像のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成し、この新たに生成したクエリ画像を用いて再度類似検索を行うので、検索効率が向上する。
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
図1は、本発明の一実施の形態に係る画像検索装置の概略構成を示すブロック図である。同図において、本実施の形態の画像検索装置20は、複数のカメラ10で撮影することにより得られる複数の被写体それぞれの特徴をデータベース化して蓄積する人物特徴データベース(蓄積手段)21と、人物特徴データベース21に蓄積されている複数の被写体それぞれの特徴からクエリ画像を用いて類似検索を行う類似検索部(類似検索手段)22と、類似検索部22により得られた複数の画像のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成するクエリ画像生成部(クエリ画像生成手段)23と、類似検索部22で検索された画像を検索端末30で表示するための画像処理を行う画像処理部24と、を備えている。
類似検索部22は、1回目の検索では、画像入力部40から入力された画像をクエリ画像として、このクエリ画像を用いて類似検索を行う。類似検索部22は、2回目以降の検索では、1回目の検索結果からユーザが正解/不正解を指定することで得られるクエリ画像を用いて類似検索を行う。類似検索部22で検索された画像は画像処理部24で画像処理されて検索端末30に送られる。画像入力部40は、例えばデジタルカメラであり、1回目の検索でクエリ画像として用いられる画像を画像検索装置20に与える。検索端末30は、画像検索装置20の画像処理部24で処理された画像を表示するためのモニタと、画像検索装置20を操作するためのGUI(Graphical User Interface)を有している。ユーザは、検索端末30のGUIを使用して、2回目以降の画像検索において、基準とする正解画像、他の正解画像及び不正解画像の選択を行う。図2は、検索端末30のGUI100を示す図である。このGUI100の詳細については後述する。
クエリ画像生成部23は、1回目以降の検索結果からユーザが指定した正解画像/不正解画像を用いて、2回目以降の検索に用いるクエリ画像を生成する。2回目以降の検索に用いるクエリ画像の生成方法としては、図3の(a)に示すように、基準とする正解画像50と他の正解画像51及び52を合成(重ね合わせ)する方法や、図3の(b)に示すように、基準とする正解画像50とネガポジ反転した不正解画像70及び71を合成(重ね合わせ)する方法がある。基準とする正解画像としては、本人が最も上手く検索されている画像が選択される。
図3の(a)の方法を用いることで合成画像60が得られ、図3の(b)の方法を用いることで合成画像61が得られる。図3の(a)の方法では、撮影環境に不偏な領域を強調した特徴量を生成でき、検索に使用するクエリ画像を本人の中心へ補正できる利点を有する。図3の(b)の方法では、他人を除去した精度のよい再検索を実現できる利点を有する。なお、本実施の形態では、図3の(a)と(b)の両方の方法を有し、GUI100にて適宜選択可能になっている。
また、クエリ画像の生成において、基準とする正解画像と他の正解画像を合成する際、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際に、被写体に関する撮影時の付属情報に応じた重み付けが可能となっている。被写体に関する撮影時の付属情報は、“被写体の向き”、“被写体に対する照明変化量”、“被写体の解像度”及び“被写体のデータ量”のうち少なくとも1つの情報を含むものである。特に、基準とする正解画像以外の画像の重みは小さめにする。例えば図3の(a)において、基準とする正解画像50を“0.8”、他の正解画像51を“0.1”、他の正解画像52を“0.1”とする。
クエリ画像生成部23は、検索端末30から検索指示があって、基準とする正解画像と他の正解画像、あるいは基準とする正解画像とネガポジ反転した不正解画像が与えられる毎に新規のクエリ画像を生成して類似検索部22に与える。
次に、利用シーンと検索操作例について説明する。図4は、利用シーンの一例を示す図である。この図において、監視区域内に12台のカメラ10が設置されており、それぞれ予め設定された向きに固定されている。また、各カメラ10の映像は人物特徴データベース21に常時蓄積される。監視区域内で警備員が走って逃げた人物80を発見したとすると、警備員は人物80の行動履歴を検索し、異常がないかどうか確認する。人物80の行動履歴の検索において、まず何処かのカメラ10で撮影された画像を最初のクエリ画像として取り込み、このクエリ画像を用いて、人物特徴データベース21に蓄積されている被写体の特徴から類似検索を行う。図5は、クエリ画像90を用いた1回目の検索結果91の一例を示す図である。この検索結果では、2人の他人が検索されている。
図5に示す検索結果が得られると、この結果から新たなクエリ画像が生成される。そして、生成された新たなクエリ画像を用いて類似検索が行われる。新たなクエリ画像の生成は、前述したように、基準とする正解画像と他の正解画像、あるいは基準とする正解画像とネガポジ反転した不正解画像から生成される。図6の(a)に示すクエリ画像92は、図5における基準とする正解画像90と他の7つの正解画像との合成により得られたものである。また、図6の(b)に示すクエリ画像93は、図5における基準とする正解画像90と2つのネガポジ反転した不正解画像との合成により得られたものである。図6の(a)に示すクエリ画像92又は図6の(b)に示すクエリ画像93を用いて再度検索した結果が図6の(c)である。この2回目の検索結果94から分るように不正解画像が含まれておらず、検索精度の向上が図れている。
次に、正解画像/不正解画像の合成方法の詳細について説明する。図7に示すように、検索結果として得られる画像には、(1)カメラ位置の違い、(2)光源の違い、(3)画角の違い、(4)撮影画質の違い、がある。これらの違いを「顔向き、照明変化量、解像度、データ量」という形で、重みとして用いる付属情報として人物検索データベース21に保存しておく。
図8は、正解画像/不正解画像の合成方法を示すフローチャートである。同図において、まず同一解像度へ正規化する(ステップS1)。即ち、選択された複数の画像をそれぞれ同じ解像度になるように引き伸ばす(大きさを揃える)。次に、各画像に対して顔向きと光源補正を行う(ステップS2)。なお、このステップは無くても構わない。次に、各画像に対して種別(即ち付加情報)に応じた重み付けを行う(ステップS3)。例えば、横向きの場合、重みを小さくする。また、低画質の場合、重みを小さくする。なお、検索順位別に重みを小さくしてもよい。
次に、選択された画像の中に不正解画像があれば、その画像に対してネガ画像化を行う(ステップS4)。次に、基準点を設けて、選択された複数の画像を合成する(ステップS5)。例えば両目の位置を合わせて合成する。
検索を行う毎に、図2に示すGUI100には検索結果が表示される。例えば10件ずつ表示するように指定すると、10枚の画像が一斉に表示される。ユーザはこの中から基準となる正解画像とその他の正解画像を選択する。そして、選択した複数の正解画像をドラッグアンドドロップ操作で正解リスト領域に持ってくる(符号110で示す操作)。また、不正解画像についてもドラッグアンドドロップ操作で不正解リスト領域に持ってくる。ここで、検索された画像が10枚を超える場合は、ページを変えて次の10件分を表示させ、その中から該当する画像があればそれを選択して、正解リスト領域あるいは不正解リスト領域に持ってくる。
次いで、合成画像を正解画像のみで生成するか、不正解画像を含めて生成するかを選択し、合成画像生成を指示する。この指示により合成画像の生成が行われ、その結果が合成結果領域に表示される。そして、合成結果領域に表示されている合成画像を新たなクエリ画像としてドラッグアンドドロップ操作でDB内顔指定領域に持ってくる(符号111で示す操作)。そして、この新たなクエリ画像で検索を行う。以上の処理を繰り返すことで正解率が上がり、検索効率が向上する。
GUI100は合成結果の再調整を行える機能を有しており、この調整のための操作を行うと、図9に示すように合成結果領域に“基準優先”と“部分強調”が表示される。基準優先の場合、種別に応じた重み付けの比率を変更できる。この場合、基準優先を高くすると、基準となる画像以外の画像の重みが小さくなり、逆に基準優先を低くすると、基準となる画像以外の画像の重みが大きくなる。部分強調の場合、顔で強調したい部分(目、鼻、口付近など)の画素値又は重みを高くすることができる。また、基準画像を用いて、選択した目、鼻、口付近を強調することもできる。
以上のように本実施の形態の画像検索装置20によれば、類似検索部22が、人物特徴データベース21に蓄積した被写体の特徴からクエリ画像を用いて類似検索を行い、クエリ画像生成部23が、類似検索部22による類似検索により得られた複数の画像のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成し、この新たに生成したクエリ画像を類似検索部22に与えるので、この一連の処理を繰り返すことで正解率が上がり、検索効率の向上が図れる。
また、クエリ画像生成部23において、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際に、被写体に関する撮影時の付属情報に応じた重み付けを行うので、検索効率の更なる向上が図れる。
なお、上記実施の形態では、複数のカメラ10から得られた画像を合成するようにしたが、1台のカメラに注目して、そのカメラから得られた複数の画像を合成するようにしてもよい。即ち、時系列動画としてみた場合、複数の画像と紐付けできるので、その画像群を用いて合成することも可能である。図10に示す例では、3位の画像に注目し、この画像と前後する画像を用いて合成を行う。この考えは、監視映像を再生中に、登場している人物をクリックして検索する場合にも同様に適用できる。
また、上記実施の形態では、顔を検索対象としたが、服装の色や模様を検索対象としてもよい。服装の合成は、例えば肩を基準に行うのが望ましい。
また、上記実施の形態では、画像を合成したが、人物特徴データベース21に目、鼻、口などの特徴量がある場合、この特徴量で合成してもよい。
この場合の目の特徴量は、たとえば、正規化された画像を図11の101とした場合、目の特徴量を表している目の領域102をウエーブレット変換を用いて別次元へ変更したベクトル値を用いることができる。
特徴量で合成する場合、正解データは、各特徴量(目の値、鼻の値、口の値など)の値を加算(種別に応じて重み付け)することで得る。また、不正解データは、各次元の値を減算(種別に応じて重み付け)することで得る。この場合、加算はベクトル加算になり、減算はベクトル減算を行うことによりクエリ画像特徴を生成する。また、種別に応じて重み付けとは、例えば正面を向いたときの目、斜めを向いたときの目などである。
また、本発明の画像検索装置20は、様々な環境に設置したカメラからリアルタイムに不審者などを検知するシステムにも適用できる。例えば、カメラ10で検知した被写体の特徴が人物特徴データベース21に登録されると、類似検索部22にて、予め用意した不審者(複数)の顔画像をクエリ画像として検索を行ない、画像処理部24で、ある閾値以上のスコアがあるか判定し、該当するものを不審者としてアラーム発報する。アラームの内容は、“カメラで検知した人物”と“不審者の顔画像”のリストであり、アラームを受信した管理者(ユーザ)は、アラームの内容を見て正解・不正解を指定する。クエリ画像生成部23は、予め用意した“不審者の顔画像”を基準として、不正解と指定された“カメラで検知した人物”の画像を合成し、新たな“不審者の顔画像”を生成する。以上のように、アラームの誤報にあわせて、予め用意した“不審者の顔画像”を修正していくことで、アラームの誤報を抑制した“リアルタイム不審者検知システム”を実現することができる。
本発明は、検索効率の向上を図ることができるといった効果を有し、監視カメラシステムなどへの適用が可能である。
本発明の一実施の形態に係る画像検索装置の概略構成を示すブロック図 図1の画像検索装置に用いられる検索端末が有するGUIを示す図 図1の画像検索装置における画像合成の一例を示す図 図1の画像検索装置の利用シーンの一例を示す図 図1の画像検索装置における1回目の検索を説明するための図 図1の画像検索装置における2回目の検索を説明するための図 図1の画像検索装置の検索結果として得られる画像の一例を示す図 図1の画像検索装置における画像合成方法を示すフローチャート 図1の画像検索装置における画像合成結果の再調整を行うためのGUIの機能を示す図 図1の画像検索装置における画像合成の他の方法を説明するための図 画像合成と異なる特徴量を合成する方法を説明するための図 人物特徴空間を説明するための図
10 カメラ
20 画像検索装置
21 人物特徴データベース
22 類似検索部
23 クエリ画像生成部
24 画像処理部
30 検索端末
40 画像入力部
50 基準となる正解画像
51、52 他の正解画像
60、61 合成画像
70、71 ネガポジ反転した不正解画像
90 クエリ画像
91 1回目の検索結果
92、93 合成画像
94 2回目の検索結果
100 GUI

Claims (9)

  1. 撮影手段によって得られる被写体の画像をデータベース化して蓄積する蓄積手段と、
    前記蓄積手段に蓄積されている被写体の画像からクエリ画像を用いて類似検索を行う類似検索手段と、
    前記類似検索手段による検索結果のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成するクエリ画像生成手段と、を備え、
    前記類似検索手段は、前記クエリ画像検索手段で生成された新たなクエリ画像を用いて類似検索を行う画像検索装置。
  2. 前記クエリ画像生成手段は、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う請求項1に記載の画像検索装置。
  3. 撮影手段によって得られる被写体の画像を別次元の画像に変換した特徴量をデータベース化して蓄積する蓄積手段と、
    前記蓄積手段に蓄積されている被写体の特徴量からクエリ画像特徴を用いて類似検索を行う類似検索手段と、
    前記類似検索手段による検索結果のうち、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成して新たなクエリ画像特徴を生成するクエリ画像生成手段と、を備え、
    前記類似検索手段は、前記クエリ画像生成手段で生成された新たなクエリ画像特徴を用いて類似検索を行う画像検索装置。
  4. 前記クエリ画像生成手段は、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う請求項3に記載の画像検索装置。
  5. 前記被写体に関する撮影時の付属情報は、前記被写体の向き、前記被写体に対する照明変化量、前記被写体の解像度及び前記被写体のデータ量のうち少なくとも1つの情報を含む請求項2あるいは4に記載の画像検索装置。
  6. 撮影手段によって得られる被写体の画像をデータベース化して蓄積する蓄積ステップと、
    前記蓄積ステップで蓄積された被写体の画像からクエリ画像を用いて類似検索を行う類似検索ステップと、
    前記類似検索ステップでの検索結果のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成するクエリ画像生成ステップと、を備え、
    前記類似検索ステップでは、前記クエリ画像生成ステップで生成された新たなクエリ画像を用いて類似検索を行う画像検索方法。
  7. 前記クエリ画像生成ステップでは、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う請求項6に記載の画像検索方法。
  8. 前記被写体に関する撮影時の付属情報は、前記被写体の向き、前記被写体に対する照明変化量、前記被写体の解像度及び前記被写体のデータ量のうち少なくとも1つの情報を含む請求項7に記載の画像検索方法。
  9. 撮影手段によって得られる被写体の画像を別次元の画像に変換した特徴量をデータベース化して蓄積する蓄積ステップと、
    前記蓄積ステップに蓄積されている被写体の特徴量からクエリ画像特徴を用いて類似検索を行う類似検索ステップと、
    前記類似検索ステップによる検索結果のうち、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成して新たなクエリ画像特徴を生成するクエリ画像生成ステップと、を備え、
    前記類似検索ステップは、前記クエリ画像生成ステップで生成された新たなクエリ画像特徴を用いて類似検索を行う画像検索方法。
JP2009053440A 2009-03-06 2009-03-06 画像検索装置及び画像検索方法 Active JP5127067B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009053440A JP5127067B2 (ja) 2009-03-06 2009-03-06 画像検索装置及び画像検索方法
EP09841053.3A EP2405390A4 (en) 2009-03-06 2009-09-04 IMAGE SEARCH AND IMAGE SEARCH PROCEDURE
US13/254,590 US8401254B2 (en) 2009-03-06 2009-09-04 Image search device and image search method
PCT/JP2009/004401 WO2010100687A1 (ja) 2009-03-06 2009-09-04 画像検索装置及び画像検索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009053440A JP5127067B2 (ja) 2009-03-06 2009-03-06 画像検索装置及び画像検索方法

Publications (2)

Publication Number Publication Date
JP2010211261A JP2010211261A (ja) 2010-09-24
JP5127067B2 true JP5127067B2 (ja) 2013-01-23

Family

ID=42709266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009053440A Active JP5127067B2 (ja) 2009-03-06 2009-03-06 画像検索装置及び画像検索方法

Country Status (4)

Country Link
US (1) US8401254B2 (ja)
EP (1) EP2405390A4 (ja)
JP (1) JP5127067B2 (ja)
WO (1) WO2010100687A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11784412B2 (en) 2021-02-24 2023-10-10 Bluehalo, Llc System and method for a digitally beamformed phased array feed

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271017B2 (en) * 2012-09-13 2019-04-23 General Electric Company System and method for generating an activity summary of a person
JP5669082B2 (ja) * 2010-04-19 2015-02-12 パナソニックIpマネジメント株式会社 照合装置
JP2012190349A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、画像処理方法および制御プログラム
US20130325832A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Presenting search results with concurrently viewable targets
CN103546803B (zh) * 2012-07-11 2016-09-21 腾讯科技(深圳)有限公司 一种图像处理的方法、客户端和图像处理的系统
JP2016517052A (ja) * 2013-02-08 2016-06-09 エモティエント 表情認識のための機械学習訓練データの収集
JP6419560B2 (ja) * 2014-12-05 2018-11-07 株式会社東芝 検索装置、方法及びプログラム
JP2017041022A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
TWI620134B (zh) * 2016-11-16 2018-04-01 財團法人資訊工業策進會 整合裝置及其整合方法
US10621419B2 (en) * 2016-12-06 2020-04-14 Robert William Kocher Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates
CN107357819A (zh) * 2017-06-14 2017-11-17 广东艾檬电子科技有限公司 一种搜索内容的输入方法、装置、移动终端及存储介质
JP7018001B2 (ja) * 2018-09-20 2022-02-09 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
JP7200279B2 (ja) * 2021-03-03 2023-01-06 三菱電機インフォメーションシステムズ株式会社 検知装置、検知方法、検知プログラム及び検知システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02186484A (ja) * 1989-01-12 1990-07-20 Ricoh Co Ltd 認識辞書の学習方式
JP3799633B2 (ja) * 1995-06-16 2006-07-19 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
JP3851384B2 (ja) * 1996-09-18 2006-11-29 シャープ株式会社 画像合成装置および方法
US6529630B1 (en) * 1998-03-02 2003-03-04 Fuji Photo Film Co., Ltd. Method and device for extracting principal image subjects
JP2002183205A (ja) 2000-12-11 2002-06-28 Minolta Co Ltd データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
US6990255B2 (en) * 2001-09-19 2006-01-24 Romanik Philip B Image defect display system
JP2003281157A (ja) 2002-03-19 2003-10-03 Toshiba Corp 人物検索システム、人物追跡システム、人物検索方法および人物追跡方法
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
US7336806B2 (en) * 2004-03-22 2008-02-26 Microsoft Corporation Iris-based biometric identification
CN100405388C (zh) * 2004-05-14 2008-07-23 欧姆龙株式会社 特定被摄体检测装置
US7440586B2 (en) * 2004-07-23 2008-10-21 Mitsubishi Electric Research Laboratories, Inc. Object classification using image segmentation
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
KR100860989B1 (ko) * 2006-12-18 2008-09-30 삼성전자주식회사 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법
US8224127B2 (en) * 2007-05-02 2012-07-17 The Mitre Corporation Synthesis of databases of realistic, biologically-based 2-D images
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2009053440A (ja) 2007-08-27 2009-03-12 Canon Inc 表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11784412B2 (en) 2021-02-24 2023-10-10 Bluehalo, Llc System and method for a digitally beamformed phased array feed

Also Published As

Publication number Publication date
JP2010211261A (ja) 2010-09-24
US20110320463A1 (en) 2011-12-29
WO2010100687A1 (ja) 2010-09-10
US8401254B2 (en) 2013-03-19
EP2405390A1 (en) 2012-01-11
EP2405390A4 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
JP5127067B2 (ja) 画像検索装置及び画像検索方法
KR101381439B1 (ko) 얼굴 인식 장치 및 얼굴 인식 방법
JP5174045B2 (ja) 分類器チェーンを用いた照明検出
JP5766564B2 (ja) 顔認証装置及び顔認証方法
JP4642128B2 (ja) 画像処理方法、画像処理装置及びシステム
JP2008152789A (ja) 顔映像の類似度の算出方法及び装置とこれを利用した顔映像の検索方法及び装置、並びに顔合成方法
JP6172551B1 (ja) 画像検索装置、画像検索システム及び画像検索方法
JP6376474B2 (ja) 多眼撮像システム、取得画像の合成処理方法、及びプログラム
CN110837750B (zh) 一种人脸质量评价方法与装置
JP2005148900A (ja) 画像分類装置、画像分類方法、および、プログラム
CN111310605B (zh) 一种图像处理方法、装置、电子设备及存储介质
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
JP2016066177A (ja) 領域検出装置、領域検出方法、画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5971712B2 (ja) 監視装置及び方法
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
JP6544970B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Ma et al. Multi-perspective dynamic features for cross-database face presentation attack detection
KR101170676B1 (ko) 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법
CN110705345A (zh) 一种基于深度学习的行人重识别方法及系统
WO2020063321A1 (zh) 一种基于语义分析的视频处理方法及装置
Elmaci et al. A comparative study on the detection of image forgery of tampered background or foreground
Song et al. Object tracking with dual field-of-view switching in aerial videos
JP6789676B2 (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121029

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250