WO2010100687A1 - 画像検索装置及び画像検索方法 - Google Patents

画像検索装置及び画像検索方法 Download PDF

Info

Publication number
WO2010100687A1
WO2010100687A1 PCT/JP2009/004401 JP2009004401W WO2010100687A1 WO 2010100687 A1 WO2010100687 A1 WO 2010100687A1 JP 2009004401 W JP2009004401 W JP 2009004401W WO 2010100687 A1 WO2010100687 A1 WO 2010100687A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
search
subject
query
correct
Prior art date
Application number
PCT/JP2009/004401
Other languages
English (en)
French (fr)
Inventor
由雄宏明
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP09841053.3A priority Critical patent/EP2405390A4/en
Priority to US13/254,590 priority patent/US8401254B2/en
Publication of WO2010100687A1 publication Critical patent/WO2010100687A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present invention relates to an image search apparatus and an image search method suitable for use with a person search system for searching for a specific person from a plurality of images obtained by photographing with a camera.
  • Patent Document 1 As a general image search method for searching for a specific person from a plurality of images obtained by photographing with a camera, methods disclosed in Patent Document 1 and Patent Document 2 are known.
  • the method disclosed in Patent Document 1 is a database of facial / color features extracted from images obtained by photographing with a camera, and a plurality of persons matching a specified condition are displayed in order of similarity. is there.
  • the method disclosed in Patent Document 2 is such that when a desired person cannot be acquired, a search is performed again by changing the facial expression, age, sex, etc. on the search screen.
  • the character feature space will be described.
  • the human feature data extracted from the image captured by the camera is the image data of the moving body cut out from the image, the information specifying the moving body by shape, color, size, movement, etc. This information identifies the shape, position, etc. of the eyes, nose and mouth.
  • These feature information extraction and classification methods are widely known, and are described strictly in, for example, “Image Processing and Recognition” (co-authored by Takeshi Yasui and Tomoharu Nagao, Shoshodo Publishing).
  • Human feature data such as face / clothing color generated using these existing technologies is composed of a plurality of elements (referred to as dimensions) in order to identify a person.
  • Such a plot of human feature data consisting of hundreds to thousands of dimensions plotted as a multidimensional vector in a space is referred to as a human feature space here, and the same person tends to gather in the same space.
  • “variation” occurs in the feature space.
  • people A, B, and C appear in a plurality of cameras.
  • Phenomenon data of each person A to C is plotted in the feature space, and even if an action history search is performed using a facial photograph (query) of the person A's digital camera or the like, the result of the person C is hit Will occur.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an image search apparatus and an image search method capable of improving search efficiency.
  • the image search apparatus includes a storage unit that stores the subject images obtained by the photographing unit in a database, and a similarity search unit that performs a similarity search using a query image from the subject images stored in the storage unit. Then, a new query image is generated by synthesizing the reference correct image and other correct images from the search results obtained by the similarity search means, or by combining the reference correct image and the negative-positive inverted image.
  • Query image generation means for performing similarity search using the new query image generated by the query image search means.
  • the query image generation unit may combine a reference correct image with another correct image, or may combine a reference correct image with a negative-positive inverted image when shooting for the subject. Weighting is performed according to the attached information.
  • An image search apparatus includes a storage unit that stores a feature amount obtained by converting an image of a subject obtained by a photographing unit into an image of another dimension in a database, and a query based on the feature amount of the subject stored in the storage unit.
  • Similarity search means for performing similarity search using image features, and a feature amount obtained by converting a reference correct image into a different dimension image and a different correct image as a different dimension image among the search results obtained by the similarity search means
  • a new query image is created by combining the converted feature values, or by combining the feature value obtained by converting the correct correct image as a reference into another dimension image and the feature value obtained by converting the negative / positive-inverted incorrect image into another dimension image.
  • Query image generation means for generating a feature, and the similarity search means performs a similarity search using the new query image feature generated by the query image generation means.
  • the query image generation unit synthesizes a feature amount obtained by converting a reference correct image into a different-dimensional image and a feature amount obtained by converting another correct image into a different-dimensional image, or is used as a reference.
  • weighting is performed according to attached information about the subject at the time of shooting.
  • the attached information regarding the subject at the time of shooting includes at least one information among the orientation of the subject, the amount of illumination change with respect to the subject, the resolution of the subject, and the data amount of the subject.
  • the image search method of the present invention includes a storage step for storing the subject images obtained by the photographing means in a database, and a similarity search step for performing a similarity search using a query image from the subject images stored in the storage step.
  • a similarity search step for performing a similarity search using a query image from the subject images stored in the storage step.
  • search results in the similarity search step a reference image and another correct image are synthesized, or a new query image is generated by synthesizing a reference correct image and an incorrect image that is negative-positive-inverted.
  • a query image generation step that performs a similarity search using the new query image generated in the query image generation step.
  • Weighting is performed according to the attached information.
  • the attached information regarding the subject at the time of shooting includes at least one information among the orientation of the subject, the amount of change in illumination with respect to the subject, the resolution of the subject, and the data amount of the subject.
  • An image search method includes a storage step of storing a feature amount obtained by converting an image of a subject obtained by a photographing unit into an image of another dimension in a database, and a query from the feature amount of the subject stored in the storage step.
  • a similarity search step for performing a similarity search using image features, and a feature value obtained by converting a reference correct image into a different dimension image and a different correct image as a different dimension image among the search results obtained by the similarity search step
  • a new query image is created by combining the converted feature values, or by combining the feature value obtained by converting the correct correct image as a reference into another dimension image and the feature value obtained by converting the negative / positive-inverted incorrect image into another dimension image.
  • subject images obtained by photographing means are stored in a database, a similarity search is performed using a query image from the stored subject images, and a plurality of images obtained by the search are used as a reference.
  • a new query image is generated by combining the correct image and another correct image, or by combining the reference correct image and the negative / positive-inverted incorrect image, and again using this newly generated query image As a result, search efficiency is improved.
  • FIG. 1 is a block diagram showing a schematic configuration of an image search apparatus according to an embodiment of the present invention.
  • (A) And (b) is a figure which shows an example of the image synthesis
  • the figure for demonstrating the 1st search in the image search device of FIG. (A)-(c) is a figure for demonstrating the 2nd search in the image search device of FIG.
  • the flowchart which shows the image composition method in the image search device of FIG.
  • FIG. 1 is a block diagram showing a schematic configuration of an image search apparatus according to an embodiment of the present invention.
  • an image search apparatus 20 according to the present embodiment includes a person feature database (accumulation means) 21 for storing the characteristics of a plurality of subjects obtained by photographing with a plurality of cameras 10 in a database, and a person feature.
  • a person feature database accumulation means 21 for storing the characteristics of a plurality of subjects obtained by photographing with a plurality of cameras 10 in a database, and a person feature.
  • a similarity search unit (similar search means) 22 that performs a similarity search using a query image from the characteristics of each of a plurality of subjects stored in the database 21, and a reference among the plurality of images obtained by the similarity search unit 22
  • a query image generation unit (query image generation unit) 23 that generates a new query image by combining the correct image and other correct image to be combined, or by combining the reference correct image and the negative / positive-inverted incorrect image
  • An image processing unit 24 that performs image processing for displaying the image searched by the similarity search unit 22 on the search terminal 30.
  • the similarity search unit 22 uses the image input from the image input unit 40 as a query image and performs a similar search using the query image.
  • the similar search unit 22 performs a similar search using a query image obtained by the user specifying the correct / incorrect answer from the first search result.
  • the image searched by the similarity search unit 22 is subjected to image processing by the image processing unit 24 and sent to the search terminal 30.
  • the image input unit 40 is, for example, a digital camera, and provides the image search apparatus 20 with an image used as a query image in the first search.
  • the search terminal 30 includes a monitor for displaying an image processed by the image processing unit 24 of the image search device 20 and a GUI (Graphical User Interface) for operating the image search device 20.
  • the user uses the GUI of the search terminal 30 to select a reference correct image, another correct image, and an incorrect image in the second and subsequent image searches.
  • FIG. 2 is a diagram illustrating the GUI 100 of the search terminal 30. Details of the GUI 100 will be described later.
  • the query image generating unit 23 generates a query image used for the second and subsequent searches using the correct / incorrect image specified by the user from the first and subsequent search results.
  • a method of generating a query image used for the second and subsequent searches as shown in FIG. 3A, a method of combining (superimposing) the reference correct image 50 and the other correct images 51 and 52, As shown in FIG. 3B, there is a method of synthesizing (superposing) the reference correct image 50 and the incorrect answer images 70 and 71 that are negative-positive inverted.
  • a reference correct image an image that is searched for most well is selected.
  • a composite image 60 is obtained by using the method of FIG. 3A, and a composite image 61 is obtained by using the method of FIG.
  • the method shown in FIG. 3A has an advantage that a feature quantity that emphasizes an area unbiased with a shooting environment can be generated, and a query image used for search can be corrected to the center of the person.
  • the method shown in FIG. 3B has an advantage that an accurate re-search can be realized by removing others.
  • both methods (a) and (b) in FIG. 3 are provided and can be selected as appropriate on the GUI 100.
  • the attached information regarding the subject at the time of photographing includes at least one information of “the direction of the subject”, “the amount of change in illumination with respect to the subject”, “the resolution of the subject”, and “the amount of data of the subject”.
  • the weight of images other than the reference correct image is set to be small. For example, in FIG. 3A, the reference correct image 50 is “0.8”, the other correct image 51 is “0.1”, and the other correct image 52 is “0.1”.
  • the query image generation unit 23 receives a search instruction from the search terminal 30, and each time a reference correct image and another correct image, or an incorrect image that is negative-positive-inverted from the reference correct image is given, a new query image is provided. Is generated and given to the similarity search unit 22.
  • FIG. 4 is a diagram illustrating an example of a usage scene.
  • twelve cameras 10 are installed in the monitoring area, and each is fixed in a preset direction. Further, the video of each camera 10 is always stored in the person feature database 21. If a security guard finds a person 80 who runs away in the monitoring area and finds out, then the security guard searches the action history of the person 80 to check whether there is any abnormality.
  • the search of the action history of the person 80 first, an image taken by some camera 10 is taken as the first query image, and a similarity search is performed from the characteristics of the subject stored in the person feature database 21 using this query image. I do.
  • FIG. 5 is a diagram illustrating an example of the first search result 91 using the query image 90. In this search result, two others are searched.
  • a new query image is generated from this result. Then, a similarity search is performed using the generated new query image.
  • a new query image is generated from a reference correct image and another correct image, or an incorrect image obtained by inverting negative and positive with the reference correct image.
  • a query image 92 shown in FIG. 6A is obtained by combining the reference correct image 90 in FIG. 5 with the other seven correct images.
  • a query image 93 shown in FIG. 6B is obtained by synthesizing the reference correct image 90 in FIG. 5 and two negative / positive inverted images.
  • FIG. 6C shows the result of searching again using the query image 92 shown in FIG. 6A or the query image 93 shown in FIG. As can be seen from the second search result 94, no incorrect image is included, and the search accuracy is improved.
  • the image obtained as a search result includes (1) a difference in camera position, (2) a difference in light source, (3) a difference in angle of view, and (4) a difference in photographing image quality. These differences are stored in the person search database 21 as attached information used as weights in the form of “face orientation, illumination change amount, resolution, data amount”.
  • FIG. 8 is a flowchart showing a method for synthesizing correct / incorrect images.
  • step S1 normalization to the same resolution is performed (step S1). That is, the plurality of selected images are stretched so as to have the same resolution (sizes are made uniform).
  • step S2 face orientation and light source correction are performed on each image (step S2). Note that this step may be omitted.
  • step S3 each image is weighted according to the type (that is, additional information) (step S3). For example, in the case of landscape orientation, the weight is reduced. In the case of low image quality, the weight is reduced. Note that the weight may be reduced for each search order.
  • step S4 if there is an incorrect image in the selected image, the image is negatively imaged (step S4).
  • a reference point is provided and a plurality of selected images are synthesized (step S5). For example, the positions of both eyes are combined and synthesized.
  • the search result is displayed on the GUI 100 shown in FIG. For example, if 10 images are specified to be displayed, 10 images are displayed simultaneously. The user selects a reference correct image and other correct images from these. Then, a plurality of selected correct images are brought to the correct list area by drag and drop operation (operation indicated by reference numeral 110). Incorrect answer images are also brought to the incorrect answer list area by drag and drop operation. If there are more than 10 searched images, the page is changed to display the next 10 items, and if there is a corresponding image, select it, correct list area or incorrect list Bring it to the area.
  • the GUI 100 has a function that allows readjustment of the synthesis result.
  • “reference priority” and “partial emphasis” are displayed in the synthesis result area as shown in FIG.
  • the weighting ratio according to the type can be changed.
  • the reference priority when the reference priority is increased, the weight of an image other than the reference image is decreased, and conversely, when the reference priority is decreased, the weight of an image other than the reference image is increased.
  • partial enhancement it is possible to increase the pixel value or weight of a portion (such as near the eyes, nose, or mouth) that is desired to be enhanced by the face.
  • the similarity search unit 22 performs a similar search using the query image from the subject features stored in the person feature database 21, and the query image generation unit 23 performs the search.
  • the reference correct image and another correct image are combined, or the reference correct image and the negative / positive inverted image are combined. Since a new query image is generated and this newly generated query image is given to the similarity search unit 22, repeating this series of processing increases the accuracy rate and improves search efficiency.
  • the query image generation unit 23 combines the reference correct image with another correct image, or combines the reference correct image with an incorrect image that is negative-positive-inverted, it appends information about the subject at the time of shooting. Therefore, the search efficiency can be further improved.
  • the images obtained from the plurality of cameras 10 are combined.
  • the plurality of images obtained from the cameras may be combined.
  • Good That is, when viewed as a time-series moving image, it can be associated with a plurality of images, and can be combined using the image group.
  • attention is paid to the third-ranked image, and synthesis is performed using this image and the preceding and following images. This idea can also be applied in the same manner when searching by clicking on a person who is appearing during playback of a monitoring video.
  • the search target is the face, but the color or pattern of clothes may be the search target. It is desirable to synthesize clothes based on the shoulder, for example.
  • the images are synthesized.
  • feature quantities such as eyes, nose, mouth, etc. in the person feature database 21, they may be synthesized with these feature quantities.
  • the eye feature amount in this case is a vector obtained by changing the eye region 102 representing the eye feature amount to another dimension using wavelet transform.
  • a value can be used.
  • correct data is obtained by adding (weighting according to type) the values of each feature value (eye value, nose value, mouth value, etc.).
  • Incorrect answer data is obtained by subtracting (weighting according to type) the value of each dimension.
  • the addition is a vector addition
  • the subtraction is a vector subtraction to generate a query image feature.
  • the weighting according to the type is, for example, an eye when facing the front, an eye when facing the diagonal, or the like.
  • the image search apparatus 20 of the present invention can also be applied to a system that detects a suspicious person or the like in real time from cameras installed in various environments. For example, when the feature of the subject detected by the camera 10 is registered in the person feature database 21, the similarity search unit 22 searches the facial images of the suspicious person (s) prepared in advance as a query image, and the image processing unit At 24, it is determined whether there is a score equal to or higher than a certain threshold value, and the alarm is issued as a suspicious person.
  • the content of the alarm is a list of “person detected by camera” and “face image of suspicious person”, and an administrator (user) who receives the alarm specifies correct / incorrect answer by looking at the content of the alarm.
  • the query image generation unit 23 synthesizes an image of a “person detected by the camera” designated as an incorrect answer based on the previously prepared “suspicious person face image”, and creates a new “suspicious person face image”. Generate. As described above, it is possible to realize a “real-time suspicious person detection system” in which alarm false alarms are suppressed by correcting a prepared “suspicious person face image” in accordance with alarm false alarms.
  • the present invention has an effect that the search efficiency can be improved, and can be applied to a surveillance camera system or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　本発明の課題は、検索効率の向上が図れる画像検索装置及び画像検索方法を提供することである。　複数のカメラ（１０）で撮影することにより得られる複数の被写体それぞれの画像をデータベース化して蓄積する人物特徴データベース（２１）と、人物特徴データベース（２１）に蓄積されている複数の被写体それぞれの画像からクエリ画像を用いて類似検索を行う類似検索部（２２）と、類似検索部（２２）により得られた複数の画像のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成するクエリ画像生成部（２３）と、類似検索部（２２）で検索された画像を検索端末（３０）で表示するための画像処理を行う画像処理部（２４）とを備える。

Description

画像検索装置及び画像検索方法
　本発明は、カメラで撮影して得られた複数の画像から特定の人物を検索する人物検索システムを用いて好適な画像検索装置及び画像検索方法に関する。
　カメラで撮影して得られた複数の画像から特定の人物を検索する画像検索の一般手法として、特許文献１及び特許文献２で開示されている方法が知られている。特許文献１で開示された方法は、カメラで撮影して得られた画像から抽出した顔／色特徴をデータベース化し、指定条件にマッチした人物を類似度順に上位複数件表示するようにしたものである。特許文献２で開示された方法は、所望の人物が取得できない場合、検索画面上で表情、年齢、性別などを変更して再検索するようにしたものである。
日本国特開２００２－１８３２０５号公報 日本国特開２００３－２８１１５７号公報
　しかしながら、同一人物でも画角、照度、向きなどの撮像条件が違うと人物特徴空間（詳細は以下で説明する）上でばらつきが生じてしまい、検索クエリ（例えば顔画像）によって検索対象者がヒットしない場合があり、検索効率が悪いという問題がある。
　人物特徴空間について説明する。カメラで撮影して得られた画像から抽出する人物特徴データは、画像から切出した移動体の画像データ、あるいは、形状・色・大きさ、動きなどにより移動体を特定する情報、あるいは、顔の目・鼻・口の形状や位置などを特定する情報である。これらの特徴情報の抽出分類方法は広く知られており、例えば、「画像の処理と認識」（安居院猛・長尾智晴　共著、昭晃堂出版）に厳密に記されている。これらの既存技術を利用して生成した顔／服装色等の人物特徴データは、人物を特定するために複数の要素（次元と呼ぶ）から構成されており、例えば顔特徴データは、全体の顔つきを把握するための要素群、目／鼻／口等の特定部品の形状を把握するための要素群の合計：数百～数千次元から構成される。
　このような数百～数千次元からなる人物特徴データを多次元ベクトルとして空間にプロットしたものを、ここでは人物特徴空間と呼び、同一人物であれば同じ空間に集まる傾向にある。しかし、画角、照度、向きなどの撮像条件が違うと特徴空間上で「ばらつき」が生じるため、例えば、図１２に示すように、複数のカメラに人物Ａ、Ｂ、Ｃが登場し、人物特徴空間に各人物Ａ～Ｃの特徴データがプロットされた後、人物Ａのデジタルカメラ等の顔写真（クエリ）を用いて行動履歴検索を行なっても、人物Ｃの結果がヒットしてしまう現象が発生する。このため、ユーザは誤検索を容認した検索操作をしなければならず非常に効率が悪い、また、「人物Ａの空間」の中心にクエリをプロットできれば上記現象を回避できるが、「人物Ａの空間」の中心にクエリを移行する方法はこれまでなかった。
　本発明は、係る事情に鑑みてなされたものであり、検索効率の向上が図れる画像検索装置及び画像検索方法を提供することを目的とする。
　本発明の画像検索装置は、撮影手段によって得られる被写体の画像をデータベース化して蓄積する蓄積手段と、前記蓄積手段に蓄積されている被写体の画像からクエリ画像を用いて類似検索を行う類似検索手段と、前記類似検索手段による検索結果のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成するクエリ画像生成手段と、を備え、前記類似検索手段は、前記クエリ画像検索手段で生成された新たなクエリ画像を用いて類似検索を行う。
　上記構成において、前記クエリ画像生成手段は、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う。
　本発明の画像検索装置は、撮影手段によって得られる被写体の画像を別次元の画像に変換した特徴量をデータベース化して蓄積する蓄積手段と、前記蓄積手段に蓄積されている被写体の特徴量からクエリ画像特徴を用いて類似検索を行う類似検索手段と、前記類似検索手段による検索結果のうち、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成して新たなクエリ画像特徴を生成するクエリ画像生成手段と、を備え、前記類似検索手段は、前記クエリ画像生成手段で生成された新たなクエリ画像特徴を用いて類似検索を行う。
　上記構成において、前記クエリ画像生成手段は、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う。
　上記構成において、前記被写体に関する撮影時の付属情報は、前記被写体の向き、前記被写体に対する照明変化量、前記被写体の解像度及び前記被写体のデータ量のうち少なくとも１つの情報を含む。
　本発明の画像検索方法は、撮影手段によって得られる被写体の画像をデータベース化して蓄積する蓄積ステップと、前記蓄積ステップで蓄積された被写体の画像からクエリ画像を用いて類似検索を行う類似検索ステップと、前記類似検索ステップでの検索結果のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成するクエリ画像生成ステップと、を備え、前記類似検索ステップでは、前記クエリ画像生成ステップで生成された新たなクエリ画像を用いて類似検索を行う。
　上記方法において、前記クエリ画像生成ステップでは、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う。
　上記方法において、前記被写体に関する撮影時の付属情報は、前記被写体の向き、前記被写体に対する照明変化量、前記被写体の解像度及び前記被写体のデータ量のうち少なくとも１つの情報を含む。
　本発明の画像検索方法は、撮影手段によって得られる被写体の画像を別次元の画像に変換した特徴量をデータベース化して蓄積する蓄積ステップと、前記蓄積ステップに蓄積されている被写体の特徴量からクエリ画像特徴を用いて類似検索を行う類似検索ステップと、前記類似検索ステップによる検索結果のうち、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成して新たなクエリ画像特徴を生成するクエリ画像生成ステップと、を備え、前記類似検索ステップは、前記クエリ画像生成ステップで生成された新たなクエリ画像特徴を用いて類似検索を行う。
　本発明は、撮影手段によって得られる被写体の画像をデータベース化して蓄積し、蓄積した被写体の画像からクエリ画像を用いて類似検索を行い、この検索により得られた複数の画像のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成し、この新たに生成したクエリ画像を用いて再度類似検索を行うので、検索効率が向上する。
本発明の一実施の形態に係る画像検索装置の概略構成を示すブロック図 図１の画像検索装置に用いられる検索端末が有するＧＵＩを示す図 （ａ）及び（ｂ）は図１の画像検索装置における画像合成の一例を示す図 図１の画像検索装置の利用シーンの一例を示す図 図１の画像検索装置における１回目の検索を説明するための図 （ａ）～（ｃ）は図１の画像検索装置における２回目の検索を説明するための図 図１の画像検索装置の検索結果として得られる画像の一例を示す図 図１の画像検索装置における画像合成方法を示すフローチャート 図１の画像検索装置における画像合成結果の再調整を行うためのＧＵＩの機能を示す図 図１の画像検索装置における画像合成の他の方法を説明するための図 画像合成と異なる特徴量を合成する方法を説明するための図 人物特徴空間を説明するための図
　以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
　図１は、本発明の一実施の形態に係る画像検索装置の概略構成を示すブロック図である。同図において、本実施の形態の画像検索装置２０は、複数のカメラ１０で撮影することにより得られる複数の被写体それぞれの特徴をデータベース化して蓄積する人物特徴データベース（蓄積手段）２１と、人物特徴データベース２１に蓄積されている複数の被写体それぞれの特徴からクエリ画像を用いて類似検索を行う類似検索部（類似検索手段）２２と、類似検索部２２により得られた複数の画像のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成するクエリ画像生成部（クエリ画像生成手段）２３と、類似検索部２２で検索された画像を検索端末３０で表示するための画像処理を行う画像処理部２４と、を備えている。
　類似検索部２２は、１回目の検索では、画像入力部４０から入力された画像をクエリ画像として、このクエリ画像を用いて類似検索を行う。類似検索部２２は、２回目以降の検索では、１回目の検索結果からユーザが正解／不正解を指定することで得られるクエリ画像を用いて類似検索を行う。類似検索部２２で検索された画像は画像処理部２４で画像処理されて検索端末３０に送られる。画像入力部４０は、例えばデジタルカメラであり、１回目の検索でクエリ画像として用いられる画像を画像検索装置２０に与える。検索端末３０は、画像検索装置２０の画像処理部２４で処理された画像を表示するためのモニタと、画像検索装置２０を操作するためのＧＵＩ（Graphical User Interface）を有している。ユーザは、検索端末３０のＧＵＩを使用して、２回目以降の画像検索において、基準とする正解画像、他の正解画像及び不正解画像の選択を行う。図２は、検索端末３０のＧＵＩ１００を示す図である。このＧＵＩ１００の詳細については後述する。
　クエリ画像生成部２３は、１回目以降の検索結果からユーザが指定した正解画像／不正解画像を用いて、２回目以降の検索に用いるクエリ画像を生成する。２回目以降の検索に用いるクエリ画像の生成方法としては、図３の（ａ）に示すように、基準とする正解画像５０と他の正解画像５１及び５２を合成（重ね合わせ）する方法や、図３の（ｂ）に示すように、基準とする正解画像５０とネガポジ反転した不正解画像７０及び７１を合成（重ね合わせ）する方法がある。基準とする正解画像としては、本人が最も上手く検索されている画像が選択される。
　図３の（ａ）の方法を用いることで合成画像６０が得られ、図３の（ｂ）の方法を用いることで合成画像６１が得られる。図３の（ａ）の方法では、撮影環境に不偏な領域を強調した特徴量を生成でき、検索に使用するクエリ画像を本人の中心へ補正できる利点を有する。図３の（ｂ）の方法では、他人を除去した精度のよい再検索を実現できる利点を有する。なお、本実施の形態では、図３の（ａ）と（ｂ）の両方の方法を有し、ＧＵＩ１００にて適宜選択可能になっている。
　また、クエリ画像の生成において、基準とする正解画像と他の正解画像を合成する際、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際に、被写体に関する撮影時の付属情報に応じた重み付けが可能となっている。被写体に関する撮影時の付属情報は、“被写体の向き”、“被写体に対する照明変化量”、“被写体の解像度”及び“被写体のデータ量”のうち少なくとも１つの情報を含むものである。特に、基準とする正解画像以外の画像の重みは小さめにする。例えば図３の（ａ）において、基準とする正解画像５０を“０．８”、他の正解画像５１を“０．１”、他の正解画像５２を“０．１”とする。
　クエリ画像生成部２３は、検索端末３０から検索指示があって、基準とする正解画像と他の正解画像、あるいは基準とする正解画像とネガポジ反転した不正解画像が与えられる毎に新規のクエリ画像を生成して類似検索部２２に与える。
　次に、利用シーンと検索操作例について説明する。図４は、利用シーンの一例を示す図である。この図において、監視区域内に１２台のカメラ１０が設置されており、それぞれ予め設定された向きに固定されている。また、各カメラ１０の映像は人物特徴データベース２１に常時蓄積される。監視区域内で警備員が走って逃げた人物８０を発見したとすると、警備員は人物８０の行動履歴を検索し、異常がないかどうか確認する。人物８０の行動履歴の検索において、まず何処かのカメラ１０で撮影された画像を最初のクエリ画像として取り込み、このクエリ画像を用いて、人物特徴データベース２１に蓄積されている被写体の特徴から類似検索を行う。図５は、クエリ画像９０を用いた１回目の検索結果９１の一例を示す図である。この検索結果では、２人の他人が検索されている。
　図５に示す検索結果が得られると、この結果から新たなクエリ画像が生成される。そして、生成された新たなクエリ画像を用いて類似検索が行われる。新たなクエリ画像の生成は、前述したように、基準とする正解画像と他の正解画像、あるいは基準とする正解画像とネガポジ反転した不正解画像から生成される。図６の（ａ）に示すクエリ画像９２は、図５における基準とする正解画像９０と他の７つの正解画像との合成により得られたものである。また、図６の（ｂ）に示すクエリ画像９３は、図５における基準とする正解画像９０と２つのネガポジ反転した不正解画像との合成により得られたものである。図６の（ａ）に示すクエリ画像９２又は図６の（ｂ）に示すクエリ画像９３を用いて再度検索した結果が図６の（ｃ）である。この２回目の検索結果９４から分るように不正解画像が含まれておらず、検索精度の向上が図れている。
　次に、正解画像／不正解画像の合成方法の詳細について説明する。図７に示すように、検索結果として得られる画像には、（１）カメラ位置の違い、（２）光源の違い、（３）画角の違い、（４）撮影画質の違い、がある。これらの違いを「顔向き、照明変化量、解像度、データ量」という形で、重みとして用いる付属情報として人物検索データベース２１に保存しておく。
　図８は、正解画像／不正解画像の合成方法を示すフローチャートである。同図において、まず同一解像度へ正規化する（ステップＳ１）。即ち、選択された複数の画像をそれぞれ同じ解像度になるように引き伸ばす（大きさを揃える）。次に、各画像に対して顔向きと光源補正を行う（ステップＳ２）。なお、このステップは無くても構わない。次に、各画像に対して種別（即ち付加情報）に応じた重み付けを行う（ステップＳ３）。例えば、横向きの場合、重みを小さくする。また、低画質の場合、重みを小さくする。なお、検索順位別に重みを小さくしてもよい。
　次に、選択された画像の中に不正解画像があれば、その画像に対してネガ画像化を行う（ステップＳ４）。次に、基準点を設けて、選択された複数の画像を合成する（ステップＳ５）。例えば両目の位置を合わせて合成する。
　検索を行う毎に、図２に示すＧＵＩ１００には検索結果が表示される。例えば１０件ずつ表示するように指定すると、１０枚の画像が一斉に表示される。ユーザはこの中から基準となる正解画像とその他の正解画像を選択する。そして、選択した複数の正解画像をドラッグアンドドロップ操作で正解リスト領域に持ってくる（符号１１０で示す操作）。また、不正解画像についてもドラッグアンドドロップ操作で不正解リスト領域に持ってくる。ここで、検索された画像が１０枚を超える場合は、ページを変えて次の１０件分を表示させ、その中から該当する画像があればそれを選択して、正解リスト領域あるいは不正解リスト領域に持ってくる。
　次いで、合成画像を正解画像のみで生成するか、不正解画像を含めて生成するかを選択し、合成画像生成を指示する。この指示により合成画像の生成が行われ、その結果が合成結果領域に表示される。そして、合成結果領域に表示されている合成画像を新たなクエリ画像としてドラッグアンドドロップ操作でＤＢ内顔指定領域に持ってくる（符号１１１で示す操作）。そして、この新たなクエリ画像で検索を行う。以上の処理を繰り返すことで正解率が上がり、検索効率が向上する。
　ＧＵＩ１００は合成結果の再調整を行える機能を有しており、この調整のための操作を行うと、図９に示すように合成結果領域に“基準優先”と“部分強調”が表示される。基準優先の場合、種別に応じた重み付けの比率を変更できる。この場合、基準優先を高くすると、基準となる画像以外の画像の重みが小さくなり、逆に基準優先を低くすると、基準となる画像以外の画像の重みが大きくなる。部分強調の場合、顔で強調したい部分（目、鼻、口付近など）の画素値又は重みを高くすることができる。また、基準画像を用いて、選択した目、鼻、口付近を強調することもできる。
　以上のように本実施の形態の画像検索装置２０によれば、類似検索部２２が、人物特徴データベース２１に蓄積した被写体の特徴からクエリ画像を用いて類似検索を行い、クエリ画像生成部２３が、類似検索部２２による類似検索により得られた複数の画像のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成し、この新たに生成したクエリ画像を類似検索部２２に与えるので、この一連の処理を繰り返すことで正解率が上がり、検索効率の向上が図れる。
　また、クエリ画像生成部２３において、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際に、被写体に関する撮影時の付属情報に応じた重み付けを行うので、検索効率の更なる向上が図れる。
　なお、上記実施の形態では、複数のカメラ１０から得られた画像を合成するようにしたが、１台のカメラに注目して、そのカメラから得られた複数の画像を合成するようにしてもよい。即ち、時系列動画としてみた場合、複数の画像と紐付けできるので、その画像群を用いて合成することも可能である。図１０に示す例では、３位の画像に注目し、この画像と前後する画像を用いて合成を行う。この考えは、監視映像を再生中に、登場している人物をクリックして検索する場合にも同様に適用できる。
　また、上記実施の形態では、顔を検索対象としたが、服装の色や模様を検索対象としてもよい。服装の合成は、例えば肩を基準に行うのが望ましい。
　また、上記実施の形態では、画像を合成したが、人物特徴データベース２１に目、鼻、口などの特徴量がある場合、この特徴量で合成してもよい。
　この場合の目の特徴量は、たとえば、正規化された画像を図１１の１０１とした場合、目の特徴量を表している目の領域１０２をウエーブレット変換を用いて別次元へ変更したベクトル値を用いることができる。
　特徴量で合成する場合、正解データは、各特徴量（目の値、鼻の値、口の値など）の値を加算（種別に応じて重み付け）することで得る。また、不正解データは、各次元の値を減算（種別に応じて重み付け）することで得る。この場合、加算はベクトル加算になり、減算はベクトル減算を行うことによりクエリ画像特徴を生成する。また、種別に応じて重み付けとは、例えば正面を向いたときの目、斜めを向いたときの目などである。
　また、本発明の画像検索装置２０は、様々な環境に設置したカメラからリアルタイムに不審者などを検知するシステムにも適用できる。例えば、カメラ１０で検知した被写体の特徴が人物特徴データベース２１に登録されると、類似検索部２２にて、予め用意した不審者（複数）の顔画像をクエリ画像として検索を行ない、画像処理部２４で、ある閾値以上のスコアがあるか判定し、該当するものを不審者としてアラーム発報する。アラームの内容は、“カメラで検知した人物”と“不審者の顔画像”のリストであり、アラームを受信した管理者（ユーザ）は、アラームの内容を見て正解・不正解を指定する。クエリ画像生成部２３は、予め用意した“不審者の顔画像”を基準として、不正解と指定された“カメラで検知した人物”の画像を合成し、新たな“不審者の顔画像”を生成する。以上のように、アラームの誤報にあわせて、予め用意した“不審者の顔画像”を修正していくことで、アラームの誤報を抑制した“リアルタイム不審者検知システム”を実現することができる。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２００９年３月６日出願の日本特許出願（特願２００９－０５３４４０）に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、検索効率の向上を図ることができるといった効果を有し、監視カメラシステムなどへの適用が可能である。
　１０　カメラ
　２０　画像検索装置
　２１　人物特徴データベース
　２２　類似検索部
　２３　クエリ画像生成部
　２４　画像処理部
　３０　検索端末
　４０　画像入力部
　５０　基準となる正解画像
　５１、５２　他の正解画像
　６０、６１　合成画像
　７０、７１　ネガポジ反転した不正解画像
　９０　正解画像
　９１　１回目の検索結果
　９２、９３　クエリ画像（合成画像）
　９４　２回目の検索結果
　１００　ＧＵＩ

Claims (9)

  1. 　撮影手段によって得られる被写体の画像をデータベース化して蓄積する蓄積手段と、
    　前記蓄積手段に蓄積されている被写体の画像からクエリ画像を用いて類似検索を行う類似検索手段と、
    　前記類似検索手段による検索結果のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成するクエリ画像生成手段と、を備え、
    　前記類似検索手段は、前記クエリ画像検索手段で生成された新たなクエリ画像を用いて類似検索を行う画像検索装置。
  2. 　前記クエリ画像生成手段は、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う請求項１に記載の画像検索装置。
  3. 　撮影手段によって得られる被写体の画像を別次元の画像に変換した特徴量をデータベース化して蓄積する蓄積手段と、
    　前記蓄積手段に蓄積されている被写体の特徴量からクエリ画像特徴を用いて類似検索を行う類似検索手段と、
    　前記類似検索手段による検索結果のうち、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成して新たなクエリ画像特徴を生成するクエリ画像生成手段と、を備え、
    　前記類似検索手段は、前記クエリ画像生成手段で生成された新たなクエリ画像特徴を用いて類似検索を行う画像検索装置。
  4. 　前記クエリ画像生成手段は、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う請求項３に記載の画像検索装置。
  5. 　前記被写体に関する撮影時の付属情報は、前記被写体の向き、前記被写体に対する照明変化量、前記被写体の解像度及び前記被写体のデータ量のうち少なくとも１つの情報を含む請求項２あるいは４に記載の画像検索装置。
  6. 　撮影手段によって得られる被写体の画像をデータベース化して蓄積する蓄積ステップと、
    　前記蓄積ステップで蓄積された被写体の画像からクエリ画像を用いて類似検索を行う類似検索ステップと、
    　前記類似検索ステップでの検索結果のうち、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成して新たなクエリ画像を生成するクエリ画像生成ステップと、を備え、
    　前記類似検索ステップでは、前記クエリ画像生成ステップで生成された新たなクエリ画像を用いて類似検索を行う画像検索方法。
  7. 　前記クエリ画像生成ステップでは、基準とする正解画像と他の正解画像を合成するか、あるいは基準とする正解画像とネガポジ反転した不正解画像を合成する際、前記被写体に関する撮影時の付属情報に応じた重み付けを行う請求項６に記載の画像検索方法。
  8. 　前記被写体に関する撮影時の付属情報は、前記被写体の向き、前記被写体に対する照明変化量、前記被写体の解像度及び前記被写体のデータ量のうち少なくとも１つの情報を含む請求項７に記載の画像検索方法。
  9. 　撮影手段によって得られる被写体の画像を別次元の画像に変換した特徴量をデータベース化して蓄積する蓄積ステップと、
    　前記蓄積ステップに蓄積されている被写体の特徴量からクエリ画像特徴を用いて類似検索を行う類似検索ステップと、
    　前記類似検索ステップによる検索結果のうち、基準とする正解画像を別次元の画像に変換した特徴量と他の正解画像を別次元の画像に変換した特徴量を合成するか、あるいは基準とする正解画像を別次元の画像に変換した特徴量とネガポジ反転した不正解画像を別次元の画像に変換した特徴量を合成して新たなクエリ画像特徴を生成するクエリ画像生成ステップと、を備え、
    　前記類似検索ステップは、前記クエリ画像生成ステップで生成された新たなクエリ画像特徴を用いて類似検索を行う画像検索方法。
PCT/JP2009/004401 2009-03-06 2009-09-04 画像検索装置及び画像検索方法 WO2010100687A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP09841053.3A EP2405390A4 (en) 2009-03-06 2009-09-04 IMAGE SEARCH AND IMAGE SEARCH PROCEDURE
US13/254,590 US8401254B2 (en) 2009-03-06 2009-09-04 Image search device and image search method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009053440A JP5127067B2 (ja) 2009-03-06 2009-03-06 画像検索装置及び画像検索方法
JP2009-053440 2009-03-06

Publications (1)

Publication Number Publication Date
WO2010100687A1 true WO2010100687A1 (ja) 2010-09-10

Family

ID=42709266

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004401 WO2010100687A1 (ja) 2009-03-06 2009-09-04 画像検索装置及び画像検索方法

Country Status (4)

Country Link
US (1) US8401254B2 (ja)
EP (1) EP2405390A4 (ja)
JP (1) JP5127067B2 (ja)
WO (1) WO2010100687A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2562716A4 (en) * 2010-04-19 2014-12-31 Panasonic Corp ASSIGNMENT DEVICE

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271017B2 (en) * 2012-09-13 2019-04-23 General Electric Company System and method for generating an activity summary of a person
JP2012190349A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、画像処理方法および制御プログラム
US20130325832A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Presenting search results with concurrently viewable targets
CN103546803B (zh) * 2012-07-11 2016-09-21 腾讯科技（深圳）有限公司 一种图像处理的方法、客户端和图像处理的系统
US9008416B2 (en) * 2013-02-08 2015-04-14 Emotient, Inc. Collection of machine learning training data for expression recognition
JP6419560B2 (ja) * 2014-12-05 2018-11-07 株式会社東芝 検索装置、方法及びプログラム
JP2017041022A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
TWI620134B (zh) * 2016-11-16 2018-04-01 財團法人資訊工業策進會 整合裝置及其整合方法
US10621419B2 (en) * 2016-12-06 2020-04-14 Robert William Kocher Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates
CN107357819A (zh) * 2017-06-14 2017-11-17 广东艾檬电子科技有限公司 一种搜索内容的输入方法、装置、移动终端及存储介质
JP7018001B2 (ja) * 2018-09-20 2022-02-09 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
CA3209399A1 (en) 2021-02-24 2022-09-01 Michael Thomas Pace System and method for a digitally beamformed phased array feed
JP7200279B2 (ja) * 2021-03-03 2023-01-06 三菱電機インフォメーションシステムズ株式会社 検知装置、検知方法、検知プログラム及び検知システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02186484A (ja) * 1989-01-12 1990-07-20 Ricoh Co Ltd 認識辞書の学習方式
JP2002183205A (ja) 2000-12-11 2002-06-28 Minolta Co Ltd データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
JP2003281157A (ja) 2002-03-19 2003-10-03 Toshiba Corp 人物検索システム、人物追跡システム、人物検索方法および人物追跡方法
JP2009015372A (ja) * 2007-06-29 2009-01-22 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2009053440A (ja) 2007-08-27 2009-03-12 Canon Inc 表示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3799633B2 (ja) * 1995-06-16 2006-07-19 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
JP3851384B2 (ja) * 1996-09-18 2006-11-29 シャープ株式会社 画像合成装置および方法
US6529630B1 (en) * 1998-03-02 2003-03-04 Fuji Photo Film Co., Ltd. Method and device for extracting principal image subjects
US6990255B2 (en) * 2001-09-19 2006-01-24 Romanik Philip B Image defect display system
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
US7336806B2 (en) * 2004-03-22 2008-02-26 Microsoft Corporation Iris-based biometric identification
CN100405388C (zh) * 2004-05-14 2008-07-23 欧姆龙株式会社 特定被摄体检测装置
US7440586B2 (en) * 2004-07-23 2008-10-21 Mitsubishi Electric Research Laboratories, Inc. Object classification using image segmentation
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
KR100860989B1 (ko) * 2006-12-18 2008-09-30 삼성전자주식회사 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법
US8224127B2 (en) * 2007-05-02 2012-07-17 The Mitre Corporation Synthesis of databases of realistic, biologically-based 2-D images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02186484A (ja) * 1989-01-12 1990-07-20 Ricoh Co Ltd 認識辞書の学習方式
JP2002183205A (ja) 2000-12-11 2002-06-28 Minolta Co Ltd データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
JP2003281157A (ja) 2002-03-19 2003-10-03 Toshiba Corp 人物検索システム、人物追跡システム、人物検索方法および人物追跡方法
JP2009015372A (ja) * 2007-06-29 2009-01-22 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2009053440A (ja) 2007-08-27 2009-03-12 Canon Inc 表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2405390A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2562716A4 (en) * 2010-04-19 2014-12-31 Panasonic Corp ASSIGNMENT DEVICE

Also Published As

Publication number Publication date
EP2405390A1 (en) 2012-01-11
EP2405390A4 (en) 2014-07-09
JP5127067B2 (ja) 2013-01-23
US20110320463A1 (en) 2011-12-29
US8401254B2 (en) 2013-03-19
JP2010211261A (ja) 2010-09-24

Similar Documents

Publication Publication Date Title
JP5127067B2 (ja) 画像検索装置及び画像検索方法
US20220138490A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
KR101381439B1 (ko) 얼굴 인식 장치 및 얼굴 인식 방법
US8761446B1 (en) Object detection with false positive filtering
JP5174045B2 (ja) 分類器チェーンを用いた照明検出
Pei et al. A fast RetinaNet fusion framework for multi-spectral pedestrian detection
JP5766564B2 (ja) 顔認証装置及び顔認証方法
JP2008152789A (ja) 顔映像の類似度の算出方法及び装置とこれを利用した顔映像の検索方法及び装置、並びに顔合成方法
JP4444633B2 (ja) 画像分類装置、画像分類方法、および、プログラム
WO2017212813A1 (ja) 画像検索装置、画像検索システム及び画像検索方法
WO2009143279A1 (en) Automatic tracking of people and bodies in video
JP6376474B2 (ja) 多眼撮像システム、取得画像の合成処理方法、及びプログラム
CN111310605B (zh) 一种图像处理方法、装置、电子设备及存储介质
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
WO2018078857A1 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
Liu Face liveness detection using analysis of Fourier spectra based on hair
French et al. Multi-spectral pedestrian detection via image fusion and deep neural networks
JP6544970B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Bonetto et al. Image processing issues in a social assistive system for the blind
CN110705345A (zh) 一种基于深度学习的行人重识别方法及系统
WO2020063321A1 (zh) 一种基于语义分析的视频处理方法及装置
Elmaci et al. A comparative study on the detection of image forgery of tampered background or foreground

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09841053

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13254590

Country of ref document: US

Ref document number: 2009841053

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE