WO2013176263A1 - 類似画像検索システム - Google Patents

類似画像検索システム Download PDF

Info

Publication number
WO2013176263A1
WO2013176263A1 PCT/JP2013/064508 JP2013064508W WO2013176263A1 WO 2013176263 A1 WO2013176263 A1 WO 2013176263A1 JP 2013064508 W JP2013064508 W JP 2013064508W WO 2013176263 A1 WO2013176263 A1 WO 2013176263A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
search
image
unit
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/064508
Other languages
English (en)
French (fr)
Inventor
平井　誠一
小倉　慎矢
新保　直之
洋登 永吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Denki Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2014516868A priority Critical patent/JP5768265B2/ja
Priority to US14/402,721 priority patent/US9135273B2/en
Publication of WO2013176263A1 publication Critical patent/WO2013176263A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a video surveillance system, and more particularly to a similar image search system that searches for an image using image feature amounts.
  • video surveillance systems have been installed for facilities such as hotels, buildings, convenience stores, financial institutions, dams and roads where many unspecified people visit to prevent crimes and prevent accidents.
  • a person or the like to be monitored is photographed by an imaging device such as a camera, and the photographed video is transmitted to a monitoring center such as a management office or a security room. It monitors and calls attention or records a video depending on the purpose and necessity.
  • HDD Hard Disk Drive
  • a random access medium represented by a hard disk drive is increasingly used as a recording medium from a conventional video tape medium.
  • the capacity of such recording media has been increasing. Due to the increase in capacity of recording media, the amount of video that can be recorded has increased dramatically, enabling more multipoint recording and longer recording. On the other hand, an increase in the burden of visually checking recorded images is becoming a problem.
  • video surveillance systems having a search function for finding a desired video more easily are becoming widespread.
  • more advanced search functions that automatically detect the occurrence of specific events in video in real time using image recognition technology, record them together with video, and search for those events after the fact.
  • a system equipped with is emerging.
  • One of the typical systems is a similar face image search system having a similar face image search function.
  • the similar face image search function makes it possible to search for the appearance of a person in the monitoring video as an event, and further search for the appearance of a specific individual designated by the user using the face image feature amount. It is a function to do.
  • FIG. 1 is a diagram showing an example of a configuration of a conventional video surveillance system having a similar face image search function.
  • the “video surveillance system having a similar face image search function” is referred to as a “similar image search system”.
  • the system in FIG. 1 is configured such that an imaging device 101, a recording device 102, a search device 103, and a terminal device 104 are connected to a network 150 and can communicate with each other.
  • the network 150 is a communication line such as a dedicated line for connecting data to each other and performing data communication, an intranet, the Internet, or a wireless local area network (LAN).
  • LAN wireless local area network
  • the imaging apparatus 101 is a network camera or surveillance camera that outputs image data obtained by performing video processing such as white balance to an image captured by a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) element to the network 150.
  • the recording apparatus 102 records image data input via the network 150 on a recording medium such as an HDD, and outputs the image data recorded on the recording medium to the network 150 in response to a request from an external apparatus.
  • a device such as a network digital recorder.
  • the search device 103 detects a face in the image data input via the network 150, records information related to the face on a recording medium such as an HDD, and records the recording medium in response to a request from an external device.
  • the terminal device 104 displays image data and search results input via the network 150 on a monitor such as a liquid crystal display or a CRT (Cathode Ray Tube), and includes a keyboard and a mouse. It is a device such as a desktop PC that provides an operation interface for performing a person search execution operation.
  • FIG. 2 is a diagram illustrating an example of the configuration of the conventional search device 103.
  • the search device 103 includes a face registration processing group 221, a face search processing group 222, and a face feature amount database 205.
  • the face registration processing group 221 includes an image input unit 201, a face detection unit 202, a face feature amount calculation unit 203, and a face feature amount recording unit 204.
  • the face search processing group 222 includes an image input unit 211, a face detection unit 212, a face feature amount calculation unit 213, a face feature amount search unit 214, and a search result output unit 215.
  • the image input unit 201 performs reception processing of monitoring image data input from the imaging device 101 or the recording device 102.
  • the monitoring image data that is, the image data of the search target image is input constantly or separately during a time period in which an instruction or setting has been made.
  • the image input unit 201 outputs the input image data to the face detection unit 202.
  • the face detection unit 202 performs face detection on the image data input from the image input unit 201 and performs processing to output a face detection result.
  • the face detection result is the presence / absence information of the face in the image.
  • Face detection is performed by an image recognition technique such as a method of searching in an image using facial characteristics such as the arrangement of main components of the face such as the eyes, nose, mouth, etc. Any method may be used in this example.
  • the face image is an image cut out from the image data from the image input unit 201 into a rectangular shape including the face, and has a fixed aspect ratio, and the background other than the face is preferably filled with a predetermined color.
  • the face detection unit 202 outputs the face detection result to the face feature amount calculation unit 203.
  • the face feature amount calculation unit 203 performs a face feature amount calculation process using the face image included in the face detection result input from the face detection unit 202, and performs a process of outputting the calculated face feature amount.
  • the face feature amount is a vector, for example, the frequency distribution of each contour or edge pattern of the subdivided face, the size and shape of the main components of the face such as eyes, nose and mouth, and their arrangement Relationship, hair and skin color distribution, combinations thereof, and the like. Any kind of feature amount or number of components may be used.
  • the method disclosed in Patent Document 3 or Non-Patent Document 1 is used for the face feature amount calculation processing.
  • the face feature amount calculation unit 203 repeats the process according to the number of detected face detection results.
  • the face feature amount calculation unit 203 outputs the calculated face feature amount to the face feature amount recording unit 204 together with the face detection result.
  • the face feature amount recording unit 204 performs processing for writing the image data, the face detection result, and the face feature amount input from the face feature amount calculating unit 203 into the face feature amount database 205. This processing unit repeats the process according to the number of detected face detection results.
  • the image input unit 211 receives the search key image data input from the terminal device 104.
  • the image input unit 211 inputs search key image data when there is a search request based on a user's search instruction operation on the terminal device 104.
  • the image input unit 211 outputs the input image data to the face detection unit 212.
  • the face detection unit 212 performs face detection on the image data input from the image input unit 211.
  • the face detection result and calculation method calculated by the face detection unit 212 are the presence / absence information of the face in the image, similar to the face detection result calculated by the face detection unit 202.
  • the face detection unit 212 outputs the calculated face detection result to the face feature amount calculation unit 213 together with the image data.
  • the face feature amount calculation unit 213 uses the face image included in the face detection result input from the face detection unit 212 to perform face feature amount calculation processing in the same manner as the face feature amount calculation unit 203, and calculates the calculated face Output feature values.
  • the face feature quantity calculation unit 213 outputs the calculated face feature quantity to the face feature quantity search unit 214 together with the image data and the face detection result.
  • the face feature amount search unit 214 collates the face feature amount input from the face feature amount calculation unit 213 with the face feature amount database 205, lists faces with high face similarity, and outputs them as search results.
  • the face similarity is a numerical value indicating the closeness between face feature amounts. For example, when the Euclidean distance in a multi-dimensional face feature amount space is used as the face similarity, it means that the similarity is smaller as the similarity value is smaller (closer to 0). "High degree.”
  • the face feature amount search unit 214 outputs the search result to the search result output unit 215. This search result includes the facial feature amount, similarity, image data, and the like of the found face.
  • the search result output unit 215 outputs the search result input from the face feature amount search unit 214 to the terminal device 104.
  • Patent Document 1 and Patent Document 2 also describe the technique related to the facial feature amount calculation processing.
  • JP 2009-43065 A Japanese Patent No. 4653606 Japanese Patent No. 2012-221148 Japanese Patent No. 2008-217220
  • the above-mentioned similar face image search function is very convenient for searching for a person video of a specific individual from a vast number of videos recorded in a recording device or the like.
  • the image feature amount to be used is influenced by the apparent face angle such as the difference in shooting angle and the orientation of the face at each time. There is a spread in the distribution of quantities, and the distribution is biased. As a result, the output search results tend to be biased. That is, when the face image reflected in the front is used as the search key image, the recorded images found as the search results are also many in the front face image. Similarly, when the face image reflected obliquely is used as the search key image, the recorded images are found as the search results.
  • a similar image search system of the present invention includes a first image input means for inputting a search target image, and a first face detection means for detecting a first face from the input search target image.
  • a face feature amount calculating means for calculating the detected feature value of the first face, a database recording means for recording the calculated face feature amount, and a second image input for inputting a key image for search
  • a second face detecting means for detecting the second face from the input key image, a face angle calculating means for calculating the face angle of the detected second face, and the calculated face angle.
  • the first feature is that search result integration means for integrating a plurality of searched search results is provided.
  • the similar image search system of the present invention includes a first image input means for inputting a search target image, and a first face detection for detecting a first face from the input search target image.
  • Means, first face angle calculation means for calculating the detected face angle of the first face, first face feature value calculation means for calculating the detected feature value of the first face, and calculation Recording destination database determining means for determining a recording destination database based on the determined face angle, database recording means for recording the calculated first face feature quantity in the determined recording destination database, and a key image for search are input Second image input means for performing detection, second face detection means for detecting a second face from the input key image, face angle calculation means for calculating the face angle of the detected second face, and calculation Putter by synthesized face angle
  • the face feature quantity calculating means and the search destination database determining means are executed a plurality of times, and the face feature quantity search means for performing a search from the database using the calculated face feature quantities as a query;
  • a second feature is that a search result integrating means for integrating the individual search results is provided.
  • the face angle calculation unit stores a face angle feature amount calculation unit for an input face and a face angle feature amount for a face at a known angle together with face angle information.
  • a third feature of the present invention is that a database and a face angle search means for searching from the database using the face angle feature value obtained by the face angle feature value calculation means as a query are provided.
  • the composite pattern determination means uses the probability of the calculation result of the face angle calculation means, and the face angle having the probability after the second candidate. It is a fourth feature of the present invention to use also.
  • An example of the structure of the conventional similar face image search system An example of the structure of the conventional search device.
  • the flow of the face search process in 2nd Embodiment. The structure of the system provided with the similar face image search function in 3rd Embodiment including this invention. Flow of face registration processing in the third embodiment.
  • FIG. 3 shows an example of a device configuration of the similar face image search system according to the first embodiment of the present invention.
  • the system in FIG. 3 is configured in such a manner that an imaging device 101, a recording device 102, a search device 303, and a terminal device 104 are connected to a network 150 and can communicate with each other.
  • 3 is different from the apparatus configuration in FIG. 1 in that a search device 303 is provided instead of the search device 103.
  • the search device 303 is a device including the similar image search device in the similar image search system of the present invention.
  • the search device 303 detects a face in the image data input via the network 150, records information related to the face on a recording medium such as an HDD, and records the recording medium in response to a request from an external device.
  • a device such as a server PC that retrieves information related to the face recorded in, and outputs the retrieval result to the network 150.
  • the search device 303 and the terminal device 104 are assumed as the external device, but any other device that can communicate with the search device 303 via the network 150 or directly connected via another interface is used. Including.
  • FIG. 4 shows an example of the configuration of the search device 303 in the first embodiment of the present invention.
  • the search device 303 includes a face registration processing group 221, a face search processing group 422, and a face feature amount database 205.
  • the face search processing group 422 includes an image input unit 211, a face detection unit 212, a face angle calculation unit 411, a composite pattern determination unit 412, a composite face generation unit 413, a face feature amount calculation unit 213, and a face feature amount recording unit 214. And a search result integrated output unit 415.
  • the processing of the face registration processing group 221 is as described in FIG.
  • the processing of the face search processing group 422 is the same as the processing of the face search processing group 222 of FIG. 2 except that a face angle calculation unit 411, a composite pattern determination unit 412 and a composite face generation unit 413 are added. is there.
  • the face angle calculation unit 411 calculates a face angle using at least one face detection result input from the face detection unit 212, and outputs the face angle calculation result.
  • the face angle calculation result here includes at least one set of the face angle of the input face (that is, each angle in the horizontal direction, the vertical direction, and the rotation direction) and its probability. Is done.
  • the inside of the face angle calculation unit 411 of this example includes a face angle feature value calculation unit 416, a face angle feature value database 417, and a face angle feature value search unit 418.
  • the face angle feature quantity database 417 stores face angles of face angle feature quantities that are obtained in advance for various angles of various faces.
  • the face angle feature amount calculation unit 416 first calculates a feature amount necessary for face angle calculation from the face image included in the input face detection result.
  • the feature amount calculated here is, for example, the relative position of the eyes and mouth with respect to the center of gravity of the face, the distance between the eyes, the distance between the eyes and the mouth (hereinafter referred to as “face orientation” "Is described as”) ".
  • face orientation the distance between the eyes
  • Is described as the distance between the eyes and the mouth
  • the face angle feature value search unit 418 collates the face angle feature value calculated by the face angle feature value calculation unit 416 with the face angle feature value database 417 and determines several face angles having nearby feature values.
  • the distance between the feature quantity and the feature quantity of the input image that is, the similarity, is determined as the likelihood of the face angle.
  • the face angle feature value search unit 418 outputs the face angle and the probability degree together with the input face image data and the like to the composite pattern determination unit 412 as a face angle calculation result.
  • the number of face angles included in the output may be a predetermined number, but it may be limited to a plurality of feature angles within a distance obtained by multiplying the shortest distance from the feature quantity of the input image by a predetermined number.
  • the face angle calculation unit 411 may obtain a numerical value directly representing the face angle by using a Joint Haar-like feature amount or the like without using the face angle feature amount database 417. If the face detection unit 212 has a corresponding Haar-like discriminator, the value may be used, and the face angle calculation unit 411 itself may be built in the face detection unit 212.
  • the synthesis pattern determination unit 412 determines a synthesis pattern for generating a synthesis face using the face angle calculation result input from the face angle calculation unit 411 so that a plurality of predetermined synthesis target face angles are obtained.
  • This synthesis pattern is a set of a synthesis target face angle and a deformation model necessary for synthesis.
  • the deformation model is a model for performing a viewpoint conversion in a three-dimensional space on a two-dimensional image in a pseudo manner, and a set of deformation vectors (movement vectors of a target pixel on a face image by changing a face angle). It is represented by a body (two-dimensional array). The number of combinations of the pre-combination face angle and the combination destination face angle is obtained and held in advance by machine learning or the like for the deformation model.
  • FIG. 5 shows an example in which a deformed model and a synthesized face angle table are stored in a table format.
  • the left column 501 is a set of columns storing pre-combination face angles.
  • the column 510 stores data indicating that the pre-combination face angle is 20 degrees horizontal, 10 degrees vertical, and 0 degrees rotation.
  • a column 511 below the table indicates that the pre-combination face angle is 20 degrees horizontally, 15 degrees vertically, and 0 degrees rotated.
  • a center column 502 is a set of columns for storing the synthesis target face angle.
  • the column 520 stores data indicating that the synthesis target face angle is 10 degrees horizontal, 10 degrees vertical, and 0 degrees rotation.
  • the column 521 stores data indicating that the synthesis target face angle is 20 degrees horizontal, 0 degrees vertical, and 0 degrees rotation.
  • two pre-combination face angles are stored for one pre-combination face angle.
  • the right column 503 is a set of columns for storing deformation models.
  • a column 530 stores a set of deformation vectors. The example of FIG.
  • a column 531 shows an example of a set of vectors that transforms a face at 20 degrees horizontal, 10 degrees vertical, and 0 degrees rotation into a face of 10 degrees horizontal, 10 degrees vertical, and 0 degrees rotation.
  • a column 531 shows an example of a set of vectors that transforms a face at 20 degrees horizontal, 10 degrees vertical, and 0 degrees rotation into a face at 20 degrees horizontal, 0 degrees vertical, and 0 degrees rotation.
  • the columns belonging to the column 502 and the columns belonging to the column 503 correspond one-to-one in the same row.
  • the combined pattern determination unit 412 reads all the combined patterns that are a set of the combined face angle and the deformation model, with the face angle included in the input face angle calculation result as an argument. However, the composite pattern determination unit 412 repeats this process the same number of times as the number of cases included in the face angle calculation result input from the face angle calculation unit 411, and converts these composite patterns into the face from the face angle calculation unit 411. The result is added to the angle calculation result and output to the composite face generation unit 413.
  • the composite face generation unit 413 generates a composite face image according to the composite pattern input from the composite pattern determination unit 412.
  • the generation of the composite face is achieved by moving the pixels of the original face image according to the deformation vector included in the deformation model.
  • This synthetic face generation unit 413 repeats this process the same number of times as the number of inputted synthetic patterns.
  • the composite face generation unit 413 adds the one or more composite face images generated in this way to the information from the composite pattern determination unit 412 and outputs the information to the face feature amount calculation unit 213.
  • the face feature amount calculation unit 213 calculates face feature amounts from one or more combined face images and original face images input from the combined face generation unit 413.
  • the face feature amount and the calculation method calculated by the face feature amount calculation unit 213 are the same as those of the face feature amount calculation unit 203. Two or more composite face images may be used without using the original face image.
  • the face feature amount calculation unit 213 repeats this process for the number of input faces.
  • the face feature amount calculation unit 213 outputs the two or more face feature amounts thus calculated to the face feature amount search unit 214.
  • the face feature value search unit 214 searches the face feature value database 205 using the plurality of face feature values input from the face feature value calculation unit 213 as queries. That is, one of the input face feature values is collated with the face feature value database 205 to extract faces having high face similarity, and a list sorted in the order of similarity is output as a search result.
  • This face similarity is the same as the face similarity described with reference to FIG.
  • This search result includes a face feature amount read from the face feature amount database 205, its image data, and the like in addition to the similarity. This process is repeated the same number of times as the number of input facial feature values.
  • the face feature amount search unit 214 outputs the calculated one or more search results to the search result integrated output unit 415.
  • the search result integrated output unit 415 integrates two or more search results input from the face feature amount search unit 214 and outputs the integrated search results to the terminal device 104.
  • the search result integration output unit 415 performs integration of search results by merging individual search results into one and merging them in descending order of similarity of face images.
  • the processing in the search device 303 is mainly composed of two processing sequences of “face registration processing” and “face search processing”.
  • the face registration processing is a processing sequence performed in the processing unit group 221 in FIG. 4, and the face search processing is a processing sequence performed in the processing group 422 in FIG.
  • the face registration process and the face search process operate asynchronously while sharing the face feature amount database 205.
  • FIG. 6 shows the flow of face registration processing performed by the search device 303.
  • This face registration process includes communication between the imaging device 101 or the recording device 102 and the search device 303.
  • the search device 303 performs face registration processing with the arrival of a monitoring image from the imaging device 101 or the recording device 102 as a trigger.
  • the image input unit 201 waits for an incoming monitor image (image reception standby). For example, the image input unit 201 periodically accesses a stream input buffer or the like and checks whether a monitoring image has been input. If the image input unit 201 detects the input of the monitoring image, the image input unit 201 proceeds to the process of step 601.
  • the image input unit 201 receives received data from the imaging device 101 or the recording device 102.
  • the received data includes attribute information data such as a shooting time and a shooting device number in addition to the image data, and the image input unit 201 decodes the compressed image to obtain image data if necessary.
  • the face detection unit 202 performs face detection on the received image data by a known method. When at least one face is detected, the process of step 603 is executed, and when it is not detected, the process returns to step 600.
  • the face feature amount calculation unit 203 calculates a face feature amount for each face image included in the face detection result in step 602.
  • step 604 the face feature amount recording unit 204 records the face feature amount in the feature amount database 205 together with the image data and the face detection result. At this time, the attribute information data received in step 601 may also be recorded. After the recording is completed, the process returns to step 600.
  • FIG. 7 shows the flow of face search processing performed by the search device 303.
  • the face search process includes communication between the terminal device 104 and the search device 303.
  • the search device 303 performs a face search process using a search request from the terminal device 104, that is, an incoming key image as a trigger.
  • the image input unit 211 is on standby until a key image is received from the terminal device 104 (key image reception standby). That is, the image input unit 211 detects whether a key image is input from the terminal device 104. If the image input unit 211 detects the input of the key image, the image input unit 211 proceeds to the process of step 701. If no key image input is detected, the process of step 700 is executed again after a predetermined time has elapsed.
  • the image input unit 211 of the search device receives received data such as a key image from the terminal device 104.
  • the received data includes, in addition to the image data, search refinement parameter data such as an image shooting time and a shooting device number desired to be a search range.
  • the face detection unit 212 performs face detection on the received image data. If at least one face is detected, the process of step 703 is executed. If not, the fact that no face is detected is transmitted to the terminal device 104, and the process returns to step 700.
  • the face angle calculation unit 411 performs face angle calculation on the face image included in the face detection result in step 702.
  • the composite pattern determination unit 412 determines a composite pattern using the face angle calculation result in step 703.
  • step 705 the composite face generation unit 513 generates a composite face according to the composite pattern determined in step 704.
  • the face feature quantity calculation unit 213 calculates a face feature quantity for the synthesized face image synthesized in step 705.
  • step 707 the face feature amount search unit 214 performs a similarity search on the face feature amount database 205 using the face feature amount calculated in step 706.
  • step 708 the search result integration output unit 415 integrates a plurality of search results input by repeating steps 705 to 707.
  • step 709 the search result integrated output unit 415 outputs the integrated search result to the terminal device 104. After the transmission is completed, the process returns to Step 700.
  • FIG. 8 schematically shows a facial feature value calculation method that is cited from Patent Document 1 and that also uses the facial feature value calculation unit 203 of this example.
  • this calculation method first, multi-resolution of an input image is performed. For example, Gaussian blurring and pixel thinning are alternately applied a plurality of times to an input image (in this example, a face image from the face detection unit 202) to obtain a low-resolution image group 402a also called a Gaussian pyramid. This is to make the feature quantity less susceptible to the resolution of the input image. Since the face image in this example is a face region that is cut out in an arbitrary size, it is adjusted to a predetermined size by enlargement or reduction before the multi-resolution. Next, region division is applied to the image group 402a to obtain the image group 402b. The area divided here is common between images of different resolutions.
  • each divided area is further divided into small blocks of 3 ⁇ 3 pixels, an edge pattern of each pixel value of the small block is obtained, and the number of appearing edge patterns is counted.
  • Dozens of predetermined patterns 402c are prepared as the edge pattern, and the frequency 402d is the number of times that the edge pattern most closely matches the small block.
  • the thus calculated thousands-dimensional vector having all frequencies 402d of all small blocks of the image group 402b as elements is the original feature amount.
  • the original feature value is multiplied by a predetermined matrix (preferably a sparse matrix) to reduce the dimension and used as the feature value.
  • the matrix is obtained by a technique such as PCA (main factor analysis) or LDA (linear discriminant analysis).
  • the search for the number of combined patterns determined by the combined pattern determination unit 412 is repeated internally.
  • the second embodiment described below improves the problem of the number of searches by assigning facial feature amounts according to face angles and registering them in a database.
  • the configuration of the similar face image search system in the second embodiment including the present invention is the same as that in the first embodiment except that a search device 803 is provided instead of the search device 303.
  • FIG. 9 shows an example of the configuration of the search device 803 in the second embodiment.
  • the search device 803 includes a face registration processing group 921, a face search processing group 922, and a face feature database group 905 classified by face angle.
  • the face registration processing group 921 includes an image input unit 201, a face detection unit 202, a face angle calculation unit 911, a face feature amount calculation unit 203, a face feature amount recording destination determination unit 901, and a face angle-specific face feature amount recording unit 902. Composed.
  • the face search processing group 922 includes an image input unit 211, a face detection unit 212, a face angle calculation unit 912, a composite pattern determination unit 913, a composite face generation unit 914, a face feature amount calculation unit 213, and a face feature amount search destination determination. 915, a face angle-specific face feature value search unit 916, and a search result integrated output unit 917.
  • the image input unit 201 and the face detection unit 202 are the same as those in FIG. 2 or FIG. However, in the present embodiment, the face detection unit 202 outputs the detected face detection result to the face angle calculation unit 911 together with the image data.
  • the face angle calculation unit 911 calculates the face angle using the face detection result input from the face detection unit 202.
  • the face angle calculation result includes at least one or more sets of the face angle of the input face (that is, each angle in the horizontal direction, the vertical direction, and the rotation direction) and the degree of likelihood. .
  • the face angle calculation unit 911 may be the same as the face angle calculation unit 411 of the first embodiment. However, since the face angle calculation unit 911 operates as frequently as the number of faces included in the input image, it is preferable that the processing amount is small.
  • the face angle is not necessarily a three-dimensional amount, and output values of four or more discriminators may be used as they are.
  • the face feature amount calculation unit 203 calculates a face feature amount using the face image included in the face angle detection result input from the face angle calculation unit 911.
  • the face feature value here is the same as the face feature value described with reference to FIGS.
  • the face feature amount calculation unit 203 outputs the calculated face feature amount to the face feature amount recording destination determination unit 901 together with the image data, the face detection result, and the face angle calculation result.
  • the face feature amount recording destination determination unit 901 uses the face angle calculation result input together with the face feature amount from the face feature amount calculation unit 203 to determine a recording destination in the face angle-specific face feature amount database group 905. In this processing unit, this process is repeated according to the number of detected face detection results (for example, the same number as the number of detected face detection results).
  • the face feature amount recording destination determination unit 901 outputs the recording destination information determined here to the face feature amount recording unit 902 by face angle together with the image data, the face detection result, the face angle calculation result, and the face feature amount.
  • a face feature value recording unit 902 for each face angle based on the recording destination information input from the face feature value recording destination determination unit 901, displays image data, face detection results, face angle calculation results, and face feature values for each face angle.
  • the processing is repeated according to (for example, the same number as the number of detected face detection results).
  • the face feature database group 905 for each face angle is a database in which the face feature database 205 is separated and separated for each face angle.
  • the face detection unit 212 outputs the calculated face detection result to the face angle calculation unit 912 together with the image data.
  • the face angle calculation unit 912 calculates a face angle using the face detection result input from the face detection unit 212, and outputs the face angle calculation result.
  • the contents and calculation method of the face angle calculation result calculated here are the same as those of the face angle calculation unit 911. Therefore, the face angle calculation unit 912 has the same configuration as the face angle calculation unit 911 and performs the same operation.
  • the face angle calculation unit 912 includes a face angle feature amount calculation unit, a face angle feature amount database, and a face angle feature amount search unit.
  • the face angle feature amount database also includes information similar to the face angle calculation unit 911. Stored in advance. Then, the face angle calculation unit 912 outputs the calculated face angle calculation result to the composite pattern determination unit 913 together with the image data and the face detection result.
  • the number of cases included in the output may be a predetermined number, may output all candidates that fall within the range with a certain degree of similarity as a threshold, or a combination of both. Further, the similarity here is different from the similarity described in the description of the face feature amount search unit 214 in the feature amount space to be applied, but the calculation method is the same.
  • the composite pattern determination unit 913 determines a composite pattern for generating a composite face using the face angle calculation result input from the face angle calculation unit 912.
  • the composite pattern determined by the composite pattern determining unit 913 is the same as the content described in the composite pattern determining unit 412 of FIG. Further, the embodiment in which the deformation model and the synthesis target face angle are stored may be the same as in FIG. However, the device that stores the deformation model and the synthesis destination face angle in advance is not the face feature amount database 205 but the face feature value database group 905 for each face angle.
  • the composite pattern determination unit 913 repeats this process the same number of times as the number of cases included in the face angle calculation result input from the face angle calculation unit 912. Then, the composite pattern determination unit 913 outputs the composite pattern determined here to the composite face generation unit 914 together with the image data, the face detection result, and the face angle calculation result.
  • the composite face generation unit 914 generates a composite face image (see FIG. 4) according to the composite pattern input from the composite pattern determination unit 913.
  • the combined face generation unit 914 outputs the generated one or more combined face images to the face feature amount calculation unit 213 together with the image data, the face detection result, and the face angle calculation result.
  • the processing of the face feature amount calculation unit 213 is as described with reference to FIG. However, the face feature amount calculation unit 213 outputs the calculated one or more face feature amounts to the face feature amount search destination determination unit 915.
  • the face feature amount search destination determination unit 915 determines a search destination in the face angle-specific face feature amount database group 905 using the face angle calculation result input together with the face feature amount from the face feature amount calculation unit 213. In this processing unit, the processing is repeated according to the number of times (for example, the same number as the number of input facial feature values).
  • the face feature amount search destination determination unit 915 outputs the search destination information determined here to the face feature value search unit 916 according to face angle together with the image data, the face detection result, the face angle calculation result, and the face feature amount.
  • the face feature value search unit 916 for each face angle collates one or more face feature values input from the face feature value search destination determination unit 915 with the face feature value database in the face feature value database group 905 for each face angle. Then, the faces with high face similarity are listed, and one or more search results are output to the search result integrated output unit 917.
  • the search destination in the face feature value database group 905 by face angle is based on the recording destination information input from the face feature value recording destination determination unit 901.
  • the similarity is a numerical value indicating the closeness between the facial feature quantities, for example, using the Euclidean distance in a multi-dimensional facial feature quantity space.
  • the search result includes a facial feature amount, similarity, image data, and the like. In this processing unit, the processing is repeated according to the number of times (for example, the same number as the number of input facial feature values).
  • the search result integrated output unit 917 integrates one or more search results input from the face angle-specific face feature value search unit 916 and outputs the integrated search results to the terminal device 104.
  • the search result integration output unit 917 performs search result integration by merging in descending order of similarity using the similarity of face images included in individual search results.
  • the face registration processing group 921 and the face search processing group 922 represent processing sequences of face registration processing and face search processing, respectively, as in FIG. The face registration process and the face search process will be described later.
  • the processing in the search device 803 is mainly composed of two processing sequences of “face registration processing” and “face search processing”.
  • the face registration processing is a processing sequence performed in the processing unit group 921 in FIG. 9, and the face search processing is a processing sequence performed in the processing group 922 in FIG.
  • the face registration process and the face search process are configured independently with the face feature database group 905 classified by face angle, and can be executed asynchronously.
  • FIG. 10 An example of the flow of face registration processing in the second embodiment including the present invention will be described with reference to FIG.
  • steps denoted by the same reference numerals as those in FIG. 6 have the same processing contents as those in the first embodiment.
  • the face registration process in FIG. 10 is performed by a process including communication between the imaging apparatus 101 and the search apparatus 803 or between the recording apparatus 102 and the search apparatus 803.
  • the search device 803 performs face registration processing with the arrival of a monitoring image from the imaging device 101 or the recording device 102 as a trigger. If at least one face is detected in step 602, the processing in step 1001 is executed.
  • step 1001 the face angle calculation unit 911 of the search device 803 performs face angle calculation on the face image included in the face detection result in step 602. For simplicity, this step and steps 603, 1002, and 1003 are repeated the same number of times as the number of faces detected in step 602, although not shown repeatedly.
  • the face feature amount calculation unit 203 of the search device 803 calculates a face feature amount for the face image included in the face detection result in step 602.
  • the face feature amount recording destination determining unit 901 of the search device 803 determines a recording destination database in the face feature database group 905 for each face angle according to the face angle obtained in step 1001.
  • step 1003 the facial feature data by face angle recording unit 902 of the search device 803 stores the calculated face feature data together with the image data and the face detection result in a recording database in the face feature data database group 905 by face angle. Record. At that time, the attribute information data input in step 601 may also be recorded. After the recording is completed, the process returns to step 600.
  • the face search process is performed by a process including communication between the terminal device 104 and the search device 803.
  • the search device 803 performs a face search process using a search request from the terminal device 104, that is, an incoming key image as a trigger.
  • steps denoted by the same reference numerals as those in FIG. 7 have the same processing contents as in the first embodiment. Therefore, the description of the processing of Step 700 to Step 706 and Step 708 to Step 709 is omitted.
  • step 706 is performed after step 706.
  • step 708 is performed.
  • the face angle calculation unit 912 operates instead of the face angle calculation unit 411
  • the synthesis pattern unit 913 operates instead of the synthesis pattern unit 412
  • the synthetic face generation unit 013 operates instead of the synthetic face generation unit 413. .
  • step 1101 the face feature amount search destination determination unit 915 of the search device 803 determines a search destination database in the face feature database group 905 for each face angle according to the face angle obtained in step 703.
  • step 1002 the face feature value search unit 916 according to face angle of the search device 803 performs a similarity search on the search destination database obtained in step 1001 using the calculated face feature value.
  • the present step 705, step 706, and step 707 are repeatedly executed for the number of synthesis patterns determined in step 704.
  • step 708 as in FIG. 7, the search result integration output unit 415 of the search device 803 integrates a plurality of search results input by repeating steps 705, 706, 1001, and 1002.
  • step 709 the search result integrated output unit 415 of the search device 803 outputs the integrated search result to the terminal device 104. After the transmission is completed, the process returns to Step 700.
  • the similar image search system of the second embodiment described above it is effective in improving the search accuracy for monitoring images in which a face is often photographed at various angles, and is reliable. High search can be realized. Further, since the face feature amount is recorded in the database by specifying the recording destination at the time of recording, and the search destination in the database is specified at the time of searching, the search range can be set narrow. It can be shortened.
  • FIG. 12 is a diagram showing an example of the configuration of a similar face image search system according to the third embodiment including the present invention.
  • the third embodiment is different from the first embodiment in that a search device 1203 is provided instead of the search device 303 and a terminal device 1204 is provided instead of the terminal device 104.
  • FIG. 13 shows the configuration of the search device 1203 in the third embodiment.
  • the search device 1203 includes a face registration processing group 921, a face search processing group 1322, a front face image synthesis processing group 1323, and a face feature database group 905 classified by face angle.
  • the face search processing group 1322 includes an image input unit 1301, a composite pattern determination unit 1302, a composite face generation unit 914, a face feature amount calculation unit 213, a face feature amount search destination determination unit 915, a face feature value search unit 916 by face angle, And a search result integrated output unit 917.
  • the processing of the face registration processing group 921 has already been described with reference to FIG.
  • the front face image synthesis processing group 1323 includes an image input unit 211, a face detection unit 212, a face angle calculation unit 912, a front synthetic face generation unit 1311, and a front synthetic face output unit 1312.
  • the image input unit 1301 receives the search key image data input from the terminal device 1204.
  • the received data includes selection result information and face detection results in addition to search key image data.
  • the image input unit 1301 receives the received data when there is a search request based on a user's search instruction operation on the terminal device 1204.
  • the received image data, selection result information, and face detection result are output to the composite pattern determination unit 1302.
  • the composite pattern determination unit 1302 determines a composite pattern for generating a composite face using the selection result information input from the image input unit 1301.
  • the method of determining the composite pattern in the composite pattern determining unit 1302 is the same as that of the composite pattern determining unit 412.
  • the pre-combination face angle used here is a face angle included in the selection result information.
  • the composite pattern determination unit 1302 outputs the composite pattern determined here to the composite face generation unit 914 together with the image data, the face detection result, and the face angle calculation result.
  • the synthesized face generation unit 914 generates a synthesized face image according to the synthesized pattern input from the synthesized pattern determination unit 1302, and generates one or more generated synthesized face images as image data, a face detection result, and a face angle calculation result. At the same time, it is output to the face feature quantity calculation unit 213.
  • the operations of the composite face generation unit 914, the face feature amount calculation unit 213, the face feature amount search destination determination unit 915, the face feature amount search unit 916 by face angle, and the search result integrated output unit 917 are as described in FIG. is there.
  • the search result integration output unit 917 performs the integration of the search results by merging in descending order of similarity using the similarity of the face images included in the individual search results.
  • the face angle calculation unit 912 outputs the calculated face angle calculation result to the front composite face generation unit 1311 together with the image data and the face detection result.
  • the front composite face generation unit 1311 generates a front composite face based on the face angle calculation result input from the face angle calculation unit 912. Synthetic face generation is performed only for patterns in which the synthesis target face angle is a front face, that is, a horizontal 0 degree, a vertical 0 degree, and a 0 degree rotation among synthetic patterns obtained by comparing the face angle calculation result with FIG. And is performed in the same manner as the synthetic face generation unit 914. In this processing unit, the processing is repeated for up to four face angles in the order of probability with the face angles included in the input face angle calculation result.
  • the front synthetic face generation unit 1311 outputs the one or more synthetic face images generated here to the front synthetic face output unit 1312 together with the image data, the face detection result, and the face angle calculation result.
  • the front synthetic face output unit 1312 outputs one or more front synthetic faces, face detection results, and face angle calculation results input from the front synthetic face generation unit 1311 to the terminal device 1204.
  • FIG. 14 is a diagram showing an example of a screen displayed on the terminal device 1204 according to the third embodiment of the present invention.
  • the screen displayed on the terminal device 1204 includes a reproduction image display area 1400, an image reproduction operation area 1410, a search key image designation area 1420, a search refinement parameter designation area 1430, a search execution area 1440, and a search result display.
  • the area 1450 is configured.
  • a reproduced image display area 1400 is an area in which images input from the imaging apparatus 101 or the recording apparatus 102 to the terminal apparatus 1204 via the network 150 are continuously displayed as a moving image.
  • a moving image 1401 in which the input image is displayed as a continuous moving image is displayed.
  • the image playback operation area 1410 is an area in which button graphics for switching between the imaging apparatus 101 and the recording apparatus 102 that are input sources of video and for performing playback operations on images recorded on the recording apparatus 102 are arranged.
  • Each button (button figure) arranged in this area is assigned a unique reproduction operation type. For example, operation types of “rewind”, “reverse reproduction”, “reproduction stop”, “forward reproduction”, and “fast forward” are assigned from the left button.
  • the search key image designation area 1420 is an area for designating and displaying the search key image. This area includes a search key image 1421, a designation button 1422, a composition button 1423, selection candidate image buttons 1424 to 1427, and the like.
  • the search key image 1421 is a place where the search key image is displayed. In the initial state, the search key image is not specified, so that no image is displayed. Alternatively, in the initial state, a separately prepared image indicating an undesignated state may be displayed, or a description indicating that it has not been designated may be made.
  • the designation button 1422 is a button for designating an image displayed in the moving image 1401 as a search key image when the user performs a GUI operation and appropriately presses the button.
  • the composition button 1423 is a button for instructing the face image composition for the search key image when pressed.
  • Selection candidate image buttons 1424 to 1427 are places where the composite face image is displayed. The user selects a composite face image that seems to have been synthesized most directly from the above, performs a GUI operation, and presses it down.
  • the search refinement parameter designation area 1430 is an area for designating the type and value (range) of the refinement parameter at the time of search.
  • This area includes imaging device designation check boxes 1431, 1432, 1433, and 1434, time designation check boxes 1435 and 1436, time designation columns 1437 and 1438, and the like.
  • Imaging device designation check boxes 1431, 1432, 1433, and 1434 are buttons for designating imaging devices to be searched at the time of searching. When the user presses this button, a check mark indicating that the button has been selected is displayed. When this mark is pressed again, it is hidden, and display and non-display are switched each time the mark is pressed.
  • the time designation check boxes 1435 and 1436 are buttons for designating an imaging time range to be searched at the time of search. As for the display mode, this button is the same as other check boxes.
  • the start time is given to the time range.
  • the start time is not given to the time range. That is, when the start time cannot be given, it means that the search target range is the image of the oldest time recorded in the recording device.
  • the time designation check box 1436 is selected, the end time is given to the time range.
  • the end time is not given to the time range. That is, when the end time is not given, it means that the image up to the latest time recorded in the recording device is set as the search target range.
  • both the time specification check box 1435 and the time specification check box 1436 are selected, it means that the specified start time to end time are set as the search target range.
  • the time designation fields 1437 and 1438 are input fields for designating the above-described start time and end time values. That is, in the example of FIG. 14, the start time is 2009/06/26 15:30:20 and the end time is 2009/07/13 12:30:20.
  • the search execution area 1440 is an area for instructing search execution. This area includes a search button 1441.
  • the search button 1441 is a button for instructing execution of a similar person search using the search key image 1421. If a parameter is specified in the search refinement parameter specification area 1430, execution is instructed including its contents.
  • the search result display area 1450 is an area for displaying a search result. Search results are displayed by displaying a list of search result images. In the initial state, nothing is displayed in the search result display area. In the search result display area 1450 in FIG. 14, “Camera 1, Camera 2, and Camera 4 images from June 26, 2009 at 15:30:20 to July 13, 2009 at 12:30:20 are displayed. An example in which “similar image search” is performed on the search target is shown.
  • the search result images 1451 to 1457 are displayed in order of similarity to the search key image, for example, from the uppermost left to the right and then from the lower second left to the right. In this example, the search result image 1451 at the leftmost position in the uppermost stage has the highest similarity to the search key image 1421, and the search result image 1457 has the lowest similarity. .
  • a cue playback button 1458 and a search key image designation button 1459 are provided in the vicinity of the search result image 1456.
  • the cue playback button is a button for instructing start of continuous video playback starting from the search result image.
  • the search key image designation button is a button for designating a search result image as a search key image.
  • a search key image designation button 1459 is pressed, a search result image 1456 is displayed on 1421 as a search key image. Thereby, a re-search using the search result image can be performed.
  • the operation related to the present invention is a search key image designation operation that starts when the video designation button 1422 is pressed among the operations on the screen.
  • 15A, 15B, and 15C are enlarged views of the search key image designation area 1420.
  • FIG. FIG. 16 is a diagram showing an example of a communication sequence in the search key image designation operation according to the present invention.
  • FIG. 16 shows a time-series order in which the time elapses from the top to the bottom of the page (however, the time does not match the vertical length).
  • the communication operation of the recording device 102 (or the imaging device 101) is displayed on the sequence 1600
  • the communication operation of the terminal device 1204 is displayed on the sequence 1602
  • the communication operation of the search device 1203 is displayed on the sequence 1601.
  • Timings 1620 to 1626 represent operation timings in time series. Further, communications 1610 to 1615 indicate main communications between the devices. Communications 1610 and 1611 are in a request-response relationship. The same applies to communications 1612 and 1613 and communications 1614 and 1615. Note that the communication indicated by the communication 1610 to 1615 is a conceptual example, and does not indicate a detailed aspect of the communication.
  • FIG. 15A is an example of a screen before designating a search key image in the search key image designation area 1420 (timing 1620). Since the search key image is not specified, the search key image 1421 is not displayed. The same applies to the selection candidate image buttons 1424 to 1427.
  • FIG. 15A when the user presses the designation button 1422 at the time of the timing 1621, the screen of the terminal device 1204 is switched to the screen of FIG. 15B. That is, when the designation button 1422 is pressed by a user operation, the terminal device 1204 outputs (transmits) a communication 1610 for requesting an image to the recording device 102.
  • Communication 1610 is a search key image request communication.
  • the recording device 102 receives the communication 1610
  • the recording device 102 outputs (distributes) the communication 1611 to the terminal device 1204.
  • This communication 1611 is communication including a search key image distributed in response to a request.
  • the terminal device 1204 displays the search key image included in the communication 1611 on the screen at the time of the timing 1622.
  • FIG. 15B is an example of a screen after the designation button 1422 is pressed.
  • the search key image 1421 displays an image currently displayed on the moving image 1401.
  • the screen of the terminal device 1204 is switched to the screen of FIG. 15C. That is, when the synthesis button 1423 is pressed by a user operation, the terminal device 1204 outputs (transmits) a communication 1612 for a synthesis request to the search device 1203.
  • Communication 1612 is a compositing request communication.
  • the communication 1612 includes a search key image acquired through the communication 1611.
  • the search device 1203 When receiving the communication 1612, the search device 1203 outputs (distributes) the communication 1613 to the terminal device 1204.
  • This communication 1613 is communication including one or more synthesized face images, face detection results, and face angle calculation results distributed in response to a request.
  • the terminal device 1204 When the terminal device 1204 receives the communication 1613, the terminal device 1204 displays the search key image included in the communication 1613 on the screen at the time of the timing 1624.
  • FIG. 15C is an example of a screen after the composition button 1423 is pressed.
  • Each of the selection candidate image buttons 1424 to 1427 displays a face image.
  • the face image displayed on the selection candidate image button is a face image generated by synthesis.
  • the user selects and presses any one of the selection candidate image buttons 1424 to 1427 at time 1625.
  • the button to be selected here is a button that displays a face image that seems to be the most directly face among the displayed composite face images. In this example, the user presses the selection candidate image button 1425.
  • the terminal device 1204 outputs (transmits) a communication 1614 for a search request to the search device 1203 when the composite button 1423 is pressed by a user operation.
  • Communication 1614 is a search request communication.
  • the communication 1614 includes information on the user selection result in FIG. 15C, the search key image acquired in communication 1611 and 1613, and the face detection result.
  • the search device 1203 performs a search based on the search key image included in the received communication 1614 and outputs (distributes) the search result as the communication 1615.
  • the terminal device 1204 receives the communication 1615 and displays the search result in the search result display area 1450. This completes a series of operations related to this area.
  • the face feature amount is recorded in the database by specifying the recording destination at the time of recording, and the search in the database is performed at the time of the search. Since the destination is designated, the search range can be set narrow, so that the search time can be shortened compared to the first embodiment.
  • the face angle calculation can be determined interactively with the search user, and the operability is improved. In addition, since the face angle calculation can be easily and quickly changed according to the situation, the search condition can be changed, so that a more reliable search can be realized.
  • the imaging device, the recording device, the search device, and the terminal device are shown as a single unit for simplification of description, but these are for the network. Multiple units can be connected.
  • the recording device and the search device are shown as separate devices for ease of explanation, but the configuration may be implemented on the same device. .
  • the search device and the terminal device may be mounted on a single device.
  • the similar image search for the face is shown, but it can be applied to the similar image search for not only the face but also other objects such as a vehicle. .
  • CCTV Compact-Circuit Television ⁇ ⁇ ⁇ ⁇ ⁇
  • face authentication system Face authentication system
  • criminal database etc.
  • TV program production system personal electronic album, and other systems that handle video images of people and vehicles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

類似画像検索システム
　本発明は、映像監視システムに関わり、特に、画像特徴量を使って画像検索する類似画像検索システムに関する。
　従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。このような映像監視システムでは、監視対象の人物等をカメラ等の撮像装置で撮影し、撮影された映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて、注意を喚起する、あるいは映像を記録するものである。
　映像監視システムでの映像の記録において、記録媒体として、従来のビデオテープ媒体から、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年では、このような記録媒体の大容量化が進んでいる。記録媒体の大容量化によって、記録できる映像の量は飛躍的に増大し、より多地点の記録や長時間の記録を可能にしつつある。反面、記録された画像を目視でチェックする負担の増加が問題として顕在化しつつある。
　このような背景から、所望の映像をより簡単に見つけ出す為の検索機能を備える映像監視システムが普及しつつある。特に近年では、映像中の特定の事象（イベント）の発生を、画像認識技術を用いてリアルタイムに自動検知し、映像と共に記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的なシステムの１つに、類似顔画像検索機能を備えた類似顔画像検索システムがある。
　類似顔画像検索機能とは、監視映像中への人物の出現をイベントとして検索可能とし、さらには、該イベントの内、ユーザが指定した特定個人の登場を、顔の画像特徴量を用いて検索する機能である。
　図１は、従来の類似顔画像検索機能を備えた映像監視システムの構成の一例を示す図である。以降、「類似顔画像検索機能を備えた映像監視システム」を「類似画像検索システム」と称する。図１のシステムは、ネットワーク１５０に、撮像装置１０１、録画装置１０２、検索装置１０３、及び端末装置１０４が接続され、互いに通信可能な状態で構成される。
　ネットワーク１５０は、各装置を相互に接続し、データ通信を行う専用線やイントラネット、インターネット、無線ＬＡＮ（Local Area Network）等の通信線である。
　撮像装置１０１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Met al Oxide Semiconductor）素子等で撮像した画像にホワイトバランス等の映像処理を施した画像データを、ネットワーク１５０へ出力するネットワークカメラや監視カメラ等の装置である。
　録画装置１０２は、ネットワーク１５０を介して入力された画像データをＨＤＤ等の記録媒体に記録し、また、外部装置からの要求に応じて、記録媒体に記録された画像データをネットワーク１５０へ出力するネットワークデジタルレコーダ等の装置である。
　検索装置１０３は、ネットワーク１５０を介して入力された画像データ中の顔を検出し、その顔に関わる情報をＨＤＤ等の記録媒体に記録し、また、外部装置からの要求に応じて、記録媒体に記録された顔に関わる情報を検索し、検索結果をネットワーク１５０へ出力するサーバやＰＣ（Personal Computer）等の装置である。
　端末装置１０４は、ネットワーク１５０を介して入力された画像データや検索結果を、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）等のモニタに画面表示し、キーボードやマウス等を備え、録画画像の再生操作や人物検索の実行操作を行う操作インタフェースを提供するデスクトップＰＣ等の装置である。
　図２によって、従来の検索装置１０３の構成と処理動作の一例を説明する。図２は、従来の検索装置１０３の構成の一例を示す図である。検索装置１０３は、顔登録処理グループ２２１、顔検索処理グループ２２２、及び、顔特徴量データベース２０５によって構成される。
　顔登録処理グループ２２１は、画像入力部２０１、顔検出部２０２、顔特徴量算出部２０３、及び顔特徴量記録部２０４によって構成される。また、顔検索処理グループ２２２は、画像入力部２１１、顔検出部２１２、顔特徴量算出部２１３、顔特徴量検索部２１４、及び検索結果出力部２１５によって構成される。
　図２において、顔登録処理グループ２２１の処理では、画像入力部２０１は、撮像装置１０１や録画装置１０２から入力された監視画像データの受信処理を行う。監視画像データ、即ち、検索対象画像の画像データは、常時、若しくは、別途、指示や設定があった時間期間に入力される。画像入力部２０１は、入力された画像データを顔検出部２０２に出力する。
　顔検出部２０２は、画像入力部２０１から入力された画像データに対し、顔検出を行い、顔検出結果を出力する処理を行う。ここで顔検出結果とは、画像中の顔の存在有無情報であり、存在する場合には、その検出数や画像内における顔領域の位置座標、顔画像等も顔検出結果に含まれる。顔検出は、例えば、眼、鼻、口等の顔の主要構成要素の配置や額と眼の濃淡差等の顔の特性を使って画像内探索を行う方法等の画像認識技術により行うが、本例においてはいずれの方法であっても良い。顔画像は、画像入力部２０１からの画像データから顔を含む矩形状に切り出された画像であり、固定されたアスペクト比を有し、顔以外の背景は既定の色で塗りつぶされることが望ましい。顔検出部２０２は、この顔検出結果を顔特徴量算出部２０３に出力する。
　顔特徴量算出部２０３は、顔検出部２０２から入力された顔検出結果に含まれる顔画像を用いて、顔の特徴量算出処理を行い、算出した顔特徴量を出力する処理を行う。ここで顔特徴量とは、ベクトルであり、例えば、細分化された顔のそれぞれの輪郭或いはエッジのパターンの度数分布、目や鼻や口といった顔の主要構成要素の大きさや形状及びそれらの配置関係、頭髪や皮膚の色分布、それらの組合せ等々が挙げられる。使用する特徴量の種類や成分数は、いずれであっても良い。
　顔特徴量算出処理には、例えば、特許文献３や非特許文献１に開示された方法等を用いる。顔特徴量算出部２０３は、入力された顔検出結果の検出数に応じて処理を繰返す。顔特徴量算出部２０３は、算出した顔特徴量を、顔検出結果と共に、顔特徴量記録部２０４に出力する。
　顔特徴量記録部２０４は、顔特徴量算出部２０３から入力された画像データ、顔検出結果、及び顔特徴量を、顔特徴量データベース２０５に書込む処理を行う。
本処理部は、入力された顔検出結果の検出数に応じて処理を繰返す。
　次に、顔検索処理グループ２２２の処理では、画像入力部２１１は、端末装置１０４から入力された検索キー画像データを受信する。画像入力部２１１は、端末装置１０４上でのユーザの検索指示操作に基づく検索要求があった場合に、検索キー画像データの入力を実施する。画像入力部２１１は、入力された画像データを顔検出部２１２に出力する。
　顔検出部２１２は、画像入力部２１１から入力された画像データに対し、顔検出を行う。顔検出部２１２が算出する顔検出結果や算出方法は、顔検出部２０２が算出する顔検出結果と同様に、画像中の顔の存在有無情報である。
顔検出部２１２は、算出した顔検出結果を、画像データと共に、顔特徴量算出部２１３に出力する。
　顔特徴量算出部２１３は、顔検出部２１２から入力された顔検出結果に含まれる顔画像を用いて、顔特徴量算出部２０３と同じ方法で顔の特徴量算出処理を行い、算出した顔特徴量を出力する。顔特徴量算出部２１３は、算出した顔特徴量を、画像データ及び顔検出結果と共に、顔特徴量検索部２１４に出力する。
　顔特徴量検索部２１４は、顔特徴量算出部２１３から入力された顔特徴量を、顔特徴量データベース２０５と照合し、顔類似度の高い顔をリストアップし、検索結果として出力する。顔類似度とは、顔特徴量同士の近さを示す数値である。顔類似度として、例えば、多次元から成る顔特徴量空間におけるユークリッド距離を用いた場合、類似度の値が小さい（０に近い）ほど類似していることを意味するが、このことを「類似度が高い」と表現する。顔特徴量検索部２１４は、検索結果を、検索結果出力部２１５に出力する。この検索結果は、見つかった顔の顔特徴量、類似度、及び画像データ等を含む。
　検索結果出力部２１５は、顔特徴量検索部２１４から入力された検索結果を、端末装置１０４に出力する。
　顔特徴量算出処理に関する技術としては、上述した非特許文献１の記載の他に、例えば、特許文献１や特許文献２等にも記載がある。
特開２００９－４３０６５号公報 特許第４６５３６０６号公報 特許２０１２－２２１１４８号公報 特許２００８－２１７２２０号公報
廣池敦他、「大規模な画像集合のための表現モデル」、日本写真学会誌、２００３年６６巻１号、Ｐ９３－Ｐ１０１
　上述の類似顔画像検索機能は、録画装置などに記録された膨大な映像中から、特定個人の人物映像を探す目的において、大変便利である。しかしながら、現状の類似顔画像検索においては、用いる画像特徴量が、撮影角度の差異や各時での顔の向き等の見かけの顔角度によって影響されるものであるため、単一人物の画像特徴量の分布に広がりが生じ、その分布には偏りを伴う。その結果、出力される検索結果にも偏りが生じてしまう傾向にある。
　即ち、正面に映った顔画像を検索キー画像にした場合、検索結果として見付かる録画画像も正面顔画像が多く、同様に斜めに映った顔画像を検索キー画像にした場合、検索結果として見付かる録画画像も近傍角度の斜め顔画像が多い。言い換えると、正面顔画像を検索キー画像にすると、同一人物であっても斜め顔画像を探し損ねる可能性が高く、逆も同様であるということである。また、逆に、本当は他人である人物を誤ってキー画像の人物本人であると判定してしまうこともあり、検索精度、即ち、検索結果に含まれる本人の割合も低いものとなってしまう。
　類似顔画像検索システムにおける人物と撮像装置の関係は、ドアの開閉等に使われる一般的な顔認証システムにおけるそれと異なり、人物に撮像装置を意識させない関係である。従って、撮像される顔は、より多様な角度である場合が多く、前記課題の解消は欠かせない。
　本発明は、このような状況に鑑みてなされたものであり、上述の課題を解決し、より高精度な類似画像検索システムを提供することを目的とする。
　上記目的を達成するために本発明の類似画像検索システムは、検索対象画像を入力する第１の画像入力手段と、入力された検索対象画像から第１の顔を検出する第１の顔検出手段と、検出された第１の顔の特徴量を算出する顔特徴量算出手段と、算出された顔特徴量を記録するデータベース記録手段と、検索のためのキー画像を入力する第２の画像入力手段と、入力されたキー画像から第２の顔を検出する第２の顔検出手段と、検出された第２の顔の顔角度を算出する顔角度算出手段と、算出された顔角度によって合成パターンを決定する合成パターン決定手段と、決定された合成パターンに応じて合成顔画像を生成する合成顔生成手段と、生成された合成顔画像を用いて第２の顔の特徴量を算出する第２の顔特徴量算出手段と、前記決定された前記合成パターンの数に応じて、前記合成顔生成手段と前記顔特徴量算出手段を繰り返し、算出された複数個の顔特徴量をクエリとして、データベースから検索を行う顔特徴量検索手段と、検索された複数個の検索結果を統合する検索結果統合手段と、を設けたことを第１の特徴とする。
　また上記目的を達成するために本発明の類似画像検索システムは、検索対象画像を入力する第１の画像入力手段と、入力された検索対象画像から第１の顔を検出する第１の顔検出手段と、検出された第１の顔の顔角度を算出する第１の顔角度算出手段と、前記検出された第１の顔の特徴量を算出する第１の顔特徴量算出手段と、算出された顔角度によって記録先データベースを決定する記録先データベース決定手段と、算出された第１の顔特徴量を決定された記録先データベースに記録するデータベース記録手段と、検索のためのキー画像を入力する第２の画像入力手段と、入力されたキー画像から第２の顔を検出する第２の顔検出手段と、検出された第２の顔の顔角度を算出する顔角度算出手段と、算出された顔角度によって合成パターンを決定する合成パターン決定手段と、決定された合成パターンに応じて合成顔画像を生成する合成顔生成手段と、生成された合成顔画像を用いて第２の顔の特徴量を算出する第２の顔特徴量算出手段と、前記算出された前記顔角度によって検索先データベースを決定する検索先データベース決定手段と、前記決定された前記合成パターンの数に応じて、前記合成顔生成手段と前記第２の顔特徴量算出手段と前記検索先データベース決定手段を複数回実施し、算出された複数個の顔特徴量をクエリとして、前記データベースから検索を行う顔特徴量検索手段と、検索された複数個の検索結果を統合する検索結果統合手段と、を設けたことを第２の特徴とする。
　上記本発明の第２の特徴の類似画像検索システムにおいて、前記顔角度算出手段は、入力顔に対する顔角度特徴量算出手段と、既知角度の顔に対する顔角度特徴量が顔角度情報とともに予め格納されているデータベースと、前記顔角度特徴量算出手段で求めた顔角度特徴量をクエリとして、前記データベースから検索を行う顔角度検索手段と、を設けたことを本発明の第３の特徴とする。
　また、上記本発明の第２の特徴の類似画像検索システムにおいて、前記合成パターン決定手段は、前記顔角度算出手段の算出結果の確からしさを使い、その第２候補以降の確からしさを有する顔角度も用いることを本発明の第４の特徴とする。
　本発明によれば、検索の精度及び信頼性が改善された類似画像検索システムを構築することが可能となる。
従来の類似顔画像検索システムの構成の一例。 従来の検索装置の構成の一例。 本発明を含む第１の実施形態における類似顔画像検索システムの構成。 第１の実施形態における検索装置３０３の構成。 合成前顔角度、合成先顔角度、変形モデルを、テーブル形式で格納した一例。 第１の実施形態における顔登録処理の流れ。 第１の実施形態における顔検索処理の流れ。 顔特徴量算出部２０３が利用する特許文献１の顔特徴量の算出法。 第２の実施形態における検索装置８０３の構成。 第２の実施形態における顔登録処理の流れ。 第２の実施形態における顔検索処理の流れ。 本発明を含む第３の実施形態における類似顔画像検索機能を備えたシステムの構成。 第３の実施形態における顔登録処理の流れ。 第３の実施形態における端末装置が表示する画面の一例。 端末装置の画面に現れる検索キー画像指定領域の拡大図。 端末装置の画面に現れる検索キー画像指定領域の拡大図。 端末装置の画面に現れる検索キー画像指定領域の拡大図。 検索キー画像指定領域を用いた検索キー画像指定操作における通信シーケンスの一例。
　以下に本発明の一実施形態について、図面等を用いて説明する。なお以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。なお、従来の技術として説明した図１及び図２を含め、各図の説明において、同一の機能を有する構成要素には同一の参照番号を付し、冗長な説明を省略する。
　本発明の第１の実施形態について、以下に説明する。
　図３に、本発明の第１の実施形態における類似顔画像検索システムの装置構成の一例が示される。図３のシステムは、ネットワーク１５０に、撮像装置１０１、録画装置１０２、検索装置３０３、及び端末装置１０４が接続され、互いに通信可能な状態で構成される。図３の装置構成において、図１の装置構成と異なる点は、検索装置１０３の替りに、検索装置３０３を設けたことである。
　検索装置３０３は、本発明の類似画像検索システムにおける類似画像検索装置を含む装置である。検索装置３０３は、ネットワーク１５０を介して入力された画像データ中の顔を検出し、その顔に関わる情報をＨＤＤ等の記録媒体に記録し、また、外部装置からの要求に応じて、記録媒体に記録された顔に関わる情報を検索し、検索結果をネットワーク１５０へ出力するサーバＰＣ等の装置である。外部装置は、例えば検索装置３０３や端末装置１０４が想定されるが、それ他の、検索装置３０３とネットワーク１５０を介して通信可能な、或いは、他のインタフェースを介して直接接続されるあらゆる装置を含む。
　図４に、本発明の第１の実施形態における検索装置３０３の構成の一例が示される。
検索装置３０３は、顔登録処理グループ２２１、顔検索処理グループ４２２、及び、顔特徴量データベース２０５によって構成される。また、顔検索処理グループ４２２は、画像入力部２１１、顔検出部２１２、顔角度算出部４１１、合成パターン決定部４１２、合成顔生成部４１３、顔特徴量算出部２１３、顔特徴量記録部２１４、及び検索結果統合出力部４１５によって構成される。
　図４において、顔登録処理グループ２２１の処理は、図２で説明した通りである。
また、顔検索処理グループ４２２の処理は、顔角度算出部４１１、合成パターン決定部４１２及び合成顔生成部４１３が追加されたことを除けば、図２の顔検索処理グループ２２２の処理と同じである。
　顔角度算出部４１１は、顔検出部２１２から入力された少なくとも１つの顔検出結果を用いて、顔角度を算出し、顔角度算出結果として出力する。ここでいう、顔角度算出結果には、入力された顔の顔角度（即ち、水平方向、垂直方向、及び回転方向のそれぞれの角度）と、その確からしさのセットを、少なくとも１つ含んで構成される。
　本例の顔角度算出部４１１の内部は、顔角度特徴量算出部４１６と顔角度特徴量データベース４１７、顔角度特徴量検索部４１８によって構成される。顔角度特徴量データベース４１７には、多様な顔の多様な角度に対して予め求めておいた、顔角度特徴量の顔角度が、予め格納されている。
　顔角度特徴量算出部４１６は、入力された顔検出結果に含まれる顔画像から、まず、顔角度算出に必要な特徴量を算出する。ここで算出する特徴量は、例えば、顔の重心に対する目や口の相対位置や、両目の間隔や、目頭と口との距離等の顔の向き（以下、「顔の向き」を「顔向き」と記載する）によって差異が生じる特徴量である。
　次に、顔角度特徴量検索部４１８は、顔角度特徴量算出部４１６が算出した顔角度特徴量を、顔角度特徴量データベース４１７と照合して、近傍の特徴量を持つ顔角度を数個探し出し、その特徴量と入力画像の特徴量との距離即ち類似度を、その顔角度の確からしさ度とする。そして、顔角度特徴量検索部４１８は、顔角度と、確からしさ度を、入力された顔画像データ等と共に、顔角度算出結果として、合成パターン決定部４１２に出力する。なお、出力が含む顔角度の個数は、予め決めた数でも良いが、入力画像の特徴量との最短距離を所定数倍した距離の内にある複数の特徴量の顔角度に絞ると良い。
　なお、顔角度算出部４１１は、顔角度特徴量データベース４１７に拠らずに、Joint Haar-like特徴量等を用いて、顔角度を直接表す数値を得ても良い。また、顔検出部２１２が対応するHaar-like識別器を有していれば、その値を流用してよく、顔角度算出部４１１自体を顔検出部２１２に内蔵しても良い。
　合成パターン決定部４１２は、顔角度算出部４１１から入力された顔角度算出結果を用いて、既定の複数の合成先顔角度となるように合成顔生成の合成パターンをそれぞれ決定する。この合成パターンは、合成先顔角度と合成に必要な変形モデルのセットである。変形モデルは、３次元空間での視点変換を、２次元の画像上で擬似的に行うためのモデルであり、変形ベクトル（顔角度の変更による、顔画像上の着目画素の移動ベクトル）の集合体（２次元配列）で表現される。変形モデルは、合成前顔角度と、合成先顔角度の組合せの数だけ、機械学習等により事前に求めて保持しておく。
　図５に、変形モデルや合成先顔角度のテーブル形式で格納した一例が示される。左の列５０１は、合成前顔角度を格納する欄の集合である。欄５１０には、合成前顔角度が水平２０度、垂直１０度、及び回転０度であることを示すデータが格納される。その下の欄５１１には、合成前顔角度が水平２０度、垂直１５度、及び回転０度であることを示している。中央の列５０２は、合成先顔角度を格納する欄の集合である。欄５２０には、合成先顔角度が水平１０度、垂直１０度、及び回転０度であることを示すデータが格納されている。また、欄５２１には、合成先顔角度が水平２０度、垂直０度、及び回転０度であることを示すデータが格納されている。
　図５の例では、１つの合成前顔角度に対して、２つの合成先顔角度を格納している。しかし、実際には、２つ以上の多数の合成先顔角度が格納できるようにするのが良い。格納する合成先顔角度の数や角度値は、検索精度との兼合いで決定されるが、例えば、水平、垂直、回転それぞれが３つの値を取るとすると、３3－１＝２６個の合成先顔角度が必要となる。１を減じるのは、合成前顔角度と同じ合成先顔角度の変形モデルが不要だからである。右の列５０３は、変形モデルを格納する欄の集合である。欄５３０には、変形ベクトルの集合を格納する。図５の実施例では、水平２０度、垂直１０度、及び回転０度の顔を、水平１０度、垂直１０度、及び回転０度の顔に変形するベクトルの集合の一例を示している。同様に、欄５３１には、水平２０度、垂直１０度、及び回転０度の顔を、水平２０度、垂直０度、及び回転０度の顔に変形するベクトルの集合の一例を示している。このように、列５０２に属する欄と列５０３に属する欄は、同一行において１対１で対応する。
　合成パターン決定部４１２は、入力された顔角度算出結果に含まれる顔角度を引き数として、合成先顔角度と変形モデルのセットである合成パターンを全て読み出す。ただし、合成パターン決定部４１２は、顔角度算出部４１１から入力された顔角度算出結果に含まれる件数と同一の回数、この処理を繰返し、これらの合成パターンを、顔角度算出部４１１からの顔角度算出結果に付け足して、合成顔生成部４１３に出力する。
　合成顔生成部４１３は、合成パターン決定部４１２から入力された合成パターンに従い、合成顔画像を生成する。合成顔の生成は、変形モデルに含まれる変形ベクトルに従い、オリジナル顔画像の画素を、移動させることにより達成される。この合成顔生成部４１３では、入力された合成パターンの数と同じ回数、この処理を繰返す。合成顔生成部４１３は、こうして生成した１つ以上の合成顔画像を、合成パターン決定部４１２からの情報に付け足して、顔特徴量算出部２１３に出力する。
　顔特徴量算出部２１３は、合成顔生成部４１３から入力された１つ以上の合成顔画像とオリジナル顔画像から、顔特徴量をそれぞれ算出する。ここで顔特徴量算出部２１３が算出する顔特徴量や算出方法は、顔特徴量算出部２０３と同じである。オリジナル顔画像を用いずに、合成顔画像を２つ以上としても良い。この顔特徴量算出部２１３では、入力された顔の数だけ、この処理を繰返す。顔特徴量算出部２１３は、こうして算出した２つ以上の顔特徴量を、顔特徴量検索部２１４に出力する。
　顔特徴量検索部２１４は、顔特徴量算出部２１３から入力された複数の顔特徴量をクエリとして、顔特徴量データベース２０５から検索を行う。即ち、入力された顔特徴量の１つを顔特徴量データベース２０５と照合して顔類似度の高い顔を抽出し、類似度順にソートしたリストを、検索結果として出力する。この顔類似度は、図２で説明した顔類似度と同様ものである。この検索結果には、類似度の他、顔特徴量データベース２０５から読み出された顔特徴量やその画像データ等が含まれる。なおこの処理は、入力された顔特徴量の数と同数回、繰返される。
　顔特徴量検索部２１４は、算出した１つ以上の検索結果を、検索結果統合出力部４１５に出力する。
　検索結果統合出力部４１５は、顔特徴量検索部２１４から入力された２つ以上の検索結果を統合し、統合した検索結果を端末装置１０４に出力する。検索結果統合出力部４１５は、検索結果の統合を、個々の検索結果を１つにマージし、顔画像の類似度の高い順にマージすることで実施する。
　次に、図６及び図７並びに図４を参照して、本実施形態の検索装置３０３において為される顔登録処理と顔検索処理について説明する。
　検索装置３０３における処理は、主として「顔登録処理」と「顔検索処理」の２つの処理シーケンスにて構成される。顔登録処理は、図４の処理部グループ２２１にて実施される処理シーケンスであり、顔検索処理は、図４の処理グループ４２２にて実施される処理シーケンスである。顔登録処理と顔検索処理は、顔特徴量データベース２０５を共有しつつ、非同期に動作する。
　図６に、検索装置３０３が行なう顔登録処理の流れが示される。この顔登録処理は、撮像装置１０１あるいは録画装置１０２と検索装置３０３との間の通信を含む。検索装置３０３は、撮像装置１０１あるいは録画装置１０２からの監視画像の着信をトリガとして、顔登録処理を実施する。
　ステップ６００では、画像入力部２０１が、監視画像の着信を待機する（画像受信待機）。例えば、画像入力部２０１は、定期的にストリーム入力バッファ等にアクセスし、監視画像が入力されたか否かを検査する。そして、画像入力部２０１は、監視画像の入力を検出した場合には、ステップ６０１の処理に進む。
　ステップ６０１では、画像入力部２０１が、撮像装置１０１あるいは録画装置１０２から受信データを受信する。受信データは、画像データの他に、撮影時刻や撮影装置番号等の属性情報データを含んで構成され、画像入力部２０１は、必要であれば圧縮画像を復号して画像データを得る。
　次に、ステップ６０２では、顔検出部２０２が、受信された画像データに対して公知の方法で顔検出を行う。顔が少なくとも１つ以上検出された場合には、ステップ６０３の処理を実行し、検出されなかった場合には、ステップ６００の処理に戻る。
　ステップ６０３では、顔特徴量算出部２０３が、ステップ６０２の顔検出結果に含まれる顔画像夫々に対して、顔特徴量を算出する。
　ステップ６０４では、顔特徴量記録部２０４が、顔特徴量を、画像データや顔検出結果と共に特徴量データベース２０５に記録する。この際、ステップ６０１にて受信した属性情報データも併せて記録するようにしても良い。記録の完了後、ステップ６００の処理に戻る。
　図７には、検索装置３０３が行なう顔検索処理の流れが示される。顔検索処理は、端末装置１０４と検索装置３０３間の通信を含む。検索装置３０３は、端末装置１０４からの検索要求、即ち、キー画像の着信をトリガとして、顔検索処理を実施する。
　ステップ７００では、画像入力部２１１が、端末装置１０４からキー画像を受信するまで待機している（キー画像受信待機）。即ち、画像入力部２１１は、端末装置１０４からキー画像が入力されたか否かを検出する。そして、画像入力部２１１は、キー画像の入力を検出した場合には、ステップ７０１の処理に進む。また、キー画像の入力を検出しなかった場合には、再度ステップ７００の処理を所定時間経過後に実行する。
　ステップ７０１では、検索装置の画像入力部２１１が、端末装置１０４からキー画像等の受信データを受信する。受信データは、画像データの他に、検索範囲としたい画像撮影時刻や撮影装置番号等の検索絞込パラメータデータを含んで構成される。
　次に、ステップ７０２では、顔検出部２１２が、受信された画像データに対して顔検出を行う。顔が少なくとも１つ以上検出された場合には、ステップ７０３の処理を実行し、検出されなかった場合には、顔が検出されなかった旨を端末装置１０４に送信し、ステップ７００の処理に戻る。
　ステップ７０３では、顔角度算出部４１１が、ステップ７０２の顔検出結果に含まれる顔画像に対して、顔角度算出を行う。
　ステップ７０４では、合成パターン決定部４１２が、ステップ７０３の顔角度算出結果を用いて、合成パターンを決定する。
　ステップ７０５では、合成顔生成部５１３が、ステップ７０４で決定された合成パターンに従い、合成顔を生成する。
　ステップ７０６では、顔特徴量算出部２１３が、ステップ７０５で合成された合成顔画像に対する顔特徴量を算出する。
　ステップ７０７では、顔特徴量検索部２１４が、ステップ７０６で算出された顔特徴量を用いて、顔特徴量データベース２０５に対して、類似検索を行う。
　ステップ７０８では、検索結果統合出力部４１５が、ステップ７０５～７０７の繰り返しにより入力された複数個の検索結果を統合する。
　ステップ７０９では、検索結果統合出力部４１５が、統合した検索結果を、端末装置１０４に出力する。送信の完了後、ステップ７００の処理に戻る。
　図８に、特許文献１から引用され、本例の顔特徴量算出部２０３も利用する顔特徴量の算出法が模式的に示される。この算出法では、まず入力画像の多重解像度化を行なう。例えば、入力画像（本例では顔検出部２０２からの顔画像）に、ガウシアンぼかしと画素間引きを交互に複数回適用して、ガウシアンピラミッドとも呼ばれる低解像度の画像群４０２ａを得る。これは、特徴量が入力画像の解像度に影響されにくくするためのものである。本例の顔画像は、任意の大きさで映った顔の領域が切り出されたものなので、多重解像度化の前に、拡大或いは縮小により既定のサイズに合わせておく。
　次に、画像群４０２ａに領域分割を適用し、画像群４０２ｂを得る。ここで分割された領域は、異なる解像度の画像間で共通である。
　次に、分割された各領域を更に３×３画素の小ブロックに分割し、小ブロックの各画素値のエッジパターンを求め、出現したエッジパターンの数をカウントする。エッジパターンは既定パターン４０２ｃが数十個用意されており、それらが小ブロックと最も一致した回数が度数４０２ｄである。このようにした算出した、画像群４０２ｂの全ての小ブロックの全ての度数４０２ｄを要素とする、数千次元のベクトルが、元始の特徴量である。実際には、元始特徴量に所定の行列（疎行列が望ましい）を掛け算して、低次元化したものを、特徴量として用いる。行列は、PCA(主要因分析)やLDA（線形判別分析）等の手法により得られる。
　第１の実施形態の類似画像検索システムでは、内部的には、合成パターン決定部４１２にて決定された合成パターン数回の検索が繰り返えされるものであった。
　以下に説明する第２の実施形態は、顔角度に応じて顔特徴量を振り分けてデータベースに登録することで、検索回数の問題を改善したものである。本発明を含む第２の実施形態における類似顔画像検索システムの構成は、検索装置３０３に代えて検索装置８０３を備えた点を除き、第１の実施形態と同じである。
　図９に、第２の実施形態における検索装置８０３の構成の一例が示される。
検索装置８０３は、顔登録処理グループ９２１、顔検索処理グループ９２２、及び、顔角度別顔特徴量データベース群９０５によって構成される。顔登録処理グループ９２１は、画像入力部２０１、顔検出部２０２、顔角度算出部９１１、顔特徴量算出部２０３、顔特徴量記録先決定部９０１、及び顔角度別顔特徴量記録部９０２によって構成される。また、顔検索処理グループ９２２は、画像入力部２１１、顔検出部２１２、顔角度算出部９１２、合成パターン決定部９１３、合成顔生成部９１４、顔特徴量算出部２１３、顔特徴量検索先決定部９１５、顔角度別顔特徴量検索部９１６、検索結果統合出力部９１７によって構成される。
　顔登録処理グループ９２１において、画像入力部２０１及び顔検出部２０２は、図２または図４と同様である。ただし、本実施例では、顔検出部２０２は、検出した顔検出結果を、画像データと共に、顔角度算出部９１１に出力する。
　顔角度算出部９１１は、顔検出部２０２から入力された顔検出結果を用いて、顔角度を算出する。顔角度算出結果には、入力された顔の顔角度（即ち、水平方向、垂直方向、及び回転方向のそれぞれの角度）と、その確からしさ度をセットとして、少なくとも１つ以上含んで構成される。顔角度算出部９１１は、第１の実施形態の顔角度算出部４１１と同じでもよいが、入力画像に含まれる顔の数だけ高頻度に動作するので、処理量が少ないほうが良い。顔角度は必ずしも３次元量である必要は無く、４個以上の判別器の出力値をそのまま用いてもよい。
　顔特徴量算出部２０３は、顔角度算出部９１１から入力された顔角度検出結果に含まれる顔画像を用いて、顔の特徴量を算出する。ここでいう顔特徴量とは、図２及び図４で述べた顔特徴量と同一である。顔特徴量算出部２０３は、画像データや顔検出結果、顔角度算出結果と共に、算出した顔特徴量を顔特徴量記録先決定部９０１に出力する。
　顔特徴量記録先決定部９０１は、顔特徴量算出部２０３から顔特徴量と共に入力された顔角度算出結果を用いて、顔角度別顔特徴量データベース群９０５内における記録先を決定する。本処理部では、入力された顔検出結果の検出数に応じて（例えば、顔検出結果の検出数と同数回）、この処理を繰返す。顔特徴量記録先決定部９０１は、ここで決定した記録先情報を、画像データ、顔検出結果、顔角度算出結果、及び顔特徴量と共に、顔角度別顔特徴量記録部９０２に出力する。
　顔角度別顔特徴量記録部９０２は、顔特徴量記録先決定部９０１から入力された記録先情報に基づき、画像データ、顔検出結果、顔角度算出結果、及び顔特徴量を、顔角度別顔特徴量データベース群９０５に書込む。本処理部では、に応じて（例えば、入力された顔検出結果の検出数と同数回）、処理を繰返す。なお、顔角度別顔特徴量データベース群９０５は、顔特徴量データベース２０５を顔角度別に独立させ分離したデータベースとしたものである。
　次に、顔検索処理グループ９２２の処理では、画像入力部２１１及び顔検出部２１２の処理は、図２及び図４で説明した処理とほぼ同じである。
ただし、本実施例では、顔検出部２１２は、算出した顔検出結果を、画像データと共に、顔角度算出部９１２に出力する。
　顔角度算出部９１２は、顔検出部２１２から入力された顔検出結果を用いて、顔角度を算出し、顔角度算出結果として出力する。ここで算出する顔角度算出結果の内容や算出方法は、顔角度算出部９１１と同様である。従って、顔角度算出部９１２は、顔角度算出部９１１と同様の構成であり同様の動作をする。また、顔角度算出部９１２は、顔角度特徴量算出部、顔角度特徴量データベース、及び顔角度特徴量検索部から成り、顔角度特徴量データベースにも、顔角度算出部９１１と同様な情報が予め格納されている。そして、顔角度算出部９１２は、算出した顔角度算出結果を、画像データ、及び顔検出結果と共に、合成パターン決定部９１３に出力する。なお、出力に含む件数は、予め決めた数でも良いし、ある類似度を閾値としその範囲に収まる候補を全て出力しても良く、また両者の組合せでも良い。また、ここにおける類似度は、顔特徴量検索部２１４の説明にて述べた類似度と、適用する特徴量空間は異なるが、算出方法については同一である。
　合成パターン決定部９１３は、顔角度算出部９１２から入力された顔角度算出結果を用いて合成顔生成の合成パターンを決定する。この合成パターン決定部９１３が決定する合成パターンは、図４の合成パターン決定部４１２で述べた内容と同じである。また、変形モデルや合成先顔角度を格納した実施例もまた、図５でと同じで良い。ただし、変形モデルや合成先顔角度を予め格納する装置は、顔特徴量データベース２０５ではなく、顔角度別顔特徴量データベース群９０５である。合成パターン決定部９１３は、顔角度算出部９１２から入力された顔角度算出結果に含まれる件数と同一の回数、この処理を繰返す。そして、合成パターン決定部９１３は、ここで決定した合成パターンを、画像データ、顔検出結果、及び顔角度算出結果と共に、合成顔生成部９１４に出力する。
　合成顔生成部９１４は、合成パターン決定部９１３から入力された合成パターンに従い、合成顔画像（図４参照）を生成する。
合成顔生成部９１４は、生成した１つ以上の合成顔画像を、画像データ、顔検出結果、及び顔角度算出結果と共に顔特徴量算出部２１３に出力する。
　顔特徴量算出部２１３の処理は、図４で説明した通りである。ただし、顔特徴量算出部２１３は、算出した１つ以上の顔特徴量を顔特徴量検索先決定部９１５に出力する。
　顔特徴量検索先決定部９１５は、顔特徴量算出部２１３から顔特徴量と共に入力された顔角度算出結果を用いて、顔角度別顔特徴量データベース群９０５内における検索先を決定する。本処理部では、に応じて（例えば、入力された顔特徴量の数と同数回）、処理を繰返す。顔特徴量検索先決定部９１５は、ここで決定した検索先情報を、画像データ、顔検出結果、顔角度算出結果、及び顔特徴量と共に、顔角度別顔特徴量検索部９１６に出力する。
　顔角度別顔特徴量検索部９１６は、顔特徴量検索先決定部９１５から入力された１つ以上の顔特徴量を、顔角度別顔特徴量データベース群９０５内の顔特徴量データベースと照合し、顔類似度の高い顔をリストアップし、１つ以上の検索結果を、検索結果統合出力部９１７に出力する。顔角度別顔特徴量データベース群９０５内における検索先は、顔特徴量記録先決定部９０１から入力された記録先情報に基づく。類似度とは、顔特徴量同士の近さを示す数値であり、例えば、多次元から成る顔特徴量空間におけるユークリッド距離を用いる等する。類似度の算出方法については、例えば、非特許文献１や特許文献３に開示された技術等を参照することができる。ここで、検索結果には、顔特徴量や類似度、画像データ等が含まれる。本処理部では、に応じて（例えば、入力された顔特徴量の数と同数回）、処理を繰返す。
　検索結果統合出力部９１７は、顔角度別顔特徴量検索部９１６から入力された１つ以上の検索結果を統合し、統合した検索結果の端末装置１０４に出力する。
検索結果統合出力部９１７は、検索結果の統合を、個々の検索結果に含まれる顔画像の類似度を用い、類似度の高い順にマージすることで実施する。
顔登録処理グループ９２１と顔検索処理グループ９２２は、それぞれ、図４と同様に、顔登録処理と顔検索処理の処理シーケンスを表す。顔登録処理と顔検索処理については後述する。
　次に、図１０及び図１１並びに図９を用いて、さらに、本発明の検索装置８０３において為される顔登録処理と顔検索処理について説明する。
検索装置８０３における処理は、主として「顔登録処理」と「顔検索処理」の２つの処理シーケンスにて構成される。顔登録処理は、図９の処理部グループ９２１にて実施される処理シーケンスであり、顔検索処理は、図９の処理グループ９２２にて実施される処理シーケンスである。顔登録処理と顔検索処理は、顔角度別顔特徴量データベース群９０５を挟んで独立に構成され、非同期に実施可能である。
　図１０を用いて、本発明を含む第２の実施形態における顔登録処理の流れの一実施例について説明する。図１０において、図６と同一符号のステップは、第１の実施形態と同様の処理内容である。図１０の顔登録処理は、撮像装置１０１と検索装置８０３間、あるいは録画装置１０２と検索装置８０３間の通信を含んだ処理にて実施される。検索装置８０３は、撮像装置１０１あるいは録画装置１０２からの監視画像の着信をトリガとして、顔登録処理を実施する。またステップ６０２において、顔が少なくとも１つ以上検出された場合には、ステップ１００１の処理を実行する。
　ステップ１００１では、検索装置８０３の顔角度算出部９１１が、ステップ６０２の顔検出結果に含まれる顔画像に対して、顔角度算出を行う。簡単にするため、繰り返しの図示はしないが、本ステップとステップ６０３、１００２、１００３は、ステップ６０２にて検出された顔数と同数回繰返す。
　次のステップ６０３では、検索装置８０３の顔特徴量算出部２０３が、ステップ６０２の顔検出結果に含まれる顔画像に対して、顔特徴量を算出する。
　次のステップ１００２では、検索装置８０３の顔特徴量記録先決定部９０１が、ステップ１００１にて求めた顔角度に従い、顔角度別顔特徴量データベース群９０５内の記録先データベースを決定する。
　そしてステップ１００３では、検索装置８０３の顔角度別顔特徴量記録部９０２が、算出した顔特徴量を、画像データ及び顔検出結果と共に、顔角度別顔特徴量データベース群９０５内の記録先データベースに記録する。その際、ステップ６０１において入力された属性情報データも併せて記録するようにしても良い。記録の完了後、ステップ６００の処理に戻る。
　図１１を用いて、本発明を含む第２の実施形態における顔検索処理の流れの一実施例について説明する。顔検索処理は、端末装置１０４と検索装置８０３間の通信を含んだ処理にて実施される。検索装置８０３は、端末装置１０４からの検索要求、即ち、キー画像の着信をトリガとして、顔検索処理を実施する。図１１において、図７と同一符号のステップは、第１の実施形態と同様の処理内容である。従って、ステップ７００～ステップ７０６、及びステップ７０８～ステップ７０９の処理は、説明を省略する。
ただし、ステップ７０６の処理後は、ステップ１１０１の処理を実施する。また、ステップ１１０２の処理後に、ステップ７０８の処理を実施する。さらに、顔角度算出部４１１の替りに顔角度算出部９１２が動作し、合成パターン部４１２の替りに合成パターン部９１３が動作し、合成顔生成部４１３の替りに合成顔生成部０１３が動作する。
　そして、ステップ１１０１では、検索装置８０３の顔特徴量検索先決定部９１５が、ステップ７０３にて求めた顔角度に従い、顔角度別顔特徴量データベース群９０５内の検索先データベースを決定する。
　次に、ステップ１００２では、検索装置８０３の顔角度別顔特徴量検索部９１６は、算出した顔特徴量を用いて、ステップ１００１にて求めた検索先データベースに対して、類似検索を行う。なお、説明を簡単にするため、繰り返しの図示はしないが、本ステップ７０５、ステップ７０６、及びステップ７０７は、ステップ７０４において決定された合成パターン数回、繰返し実行する。
　ステップ７０８では、図７と同様に、検索装置８０３の検索結果統合出力部４１５が、ステップ７０５、７０６、１００１、１００２の繰り返しにより入力された複数個の検索結果を統合する。
　ステップ７０９では、検索装置８０３の検索結果統合出力部４１５が、統合した検索結果を、端末装置１０４に出力する。
送信の完了後、ステップ７００の処理に戻る。
　上述の第２の実施形態の類似画像検索システムによれば、第１の実施形態と同様に、顔を多様な角度で撮影する場合の多い監視画像に対する検索精度の改善に有効であり、信頼性の高い検索を実現できる。また、顔特徴量を記録時に記録先を指定してデータベースに記録し、検索時にはデータベース中の検索先を指定するようにしたので、検索する範囲を狭く設定できるので、実施例１より検索時間を短縮することができる。
　上述の第１、第２の実施形態における顔角度算出を、検索ユーザとのインタラクティブな決定方式にて実施する第３の実施形態について、以下に説明する。
図１２は、本発明を含む第３の実施形態における類似顔画像検索システムの構成の一例を示す図である。第３の実施形態は、検索装置３０３の替りに検索装置１２０３を設け、及び端末装置１０４の替りに端末装置１２０４を設けた点で、第１の実施形態と異なる。
　図１３に、第３の実施形態における検索装置１２０３の構成が示される。検索装置１２０３は、顔登録処理グループ９２１、顔検索処理グループ１３２２、正面顔画像合成処理グループ１３２３、及び、顔角度別顔特徴量データベース群９０５によって構成される。顔検索処理グループ１３２２は、画像入力部１３０１、合成パターン決定部１３０２、合成顔生成部９１４、顔特徴量算出部２１３、顔特徴量検索先決定部９１５、顔角度別顔特徴量検索部９１６、及び検索結果統合出力部９１７によって構成される。
 
　顔登録処理グループ９２１の処理は、すでに図９で説明した通りである。正面顔画像合成処理グループ１３２３は、画像入力部２１１、顔検出部２１２、顔角度算出部９１２、正面合成顔生成部１３１１、及び正面合成顔出力部１３１２によって構成される。
　顔検索処理グループ１３２２では、画像入力部１３０１は、端末装置１２０４から入力された検索キー画像データを受信する。受信するデータ（受信データ）には、検索キー画像データの他、選択結果情報や顔検出結果も含まれる。画像入力部１３０１は、端末装置１２０４上でのユーザの検索指示操作に基づく検索要求があった場合に、前記受信データを受信する。受信した画像データ、選択結果情報、及び顔検出結果を、合成パターン決定部１３０２に出力する。
　合成パターン決定部１３０２は、画像入力部１３０１から入力された選択結果情報を用いて、合成顔生成の合成パターンを決定する。この合成パターン決定部１３０２での合成パターンの決定方法は、合成パターン決定部４１２と同様である。ただし、ここで用いる合成前顔角度は、選択結果情報に含まれる顔角度である。合成パターン決定部１３０２は、ここで決定した合成パターンを、画像データ、顔検出結果、及び顔角度算出結果と共に、合成顔生成部９１４に出力する。
　合成顔生成部９１４は、合成パターン決定部１３０２から入力された合成パターンに従い、合成顔画像を生成し、生成した１つ以上の合成顔画像を、画像データ、顔検出結果、及び顔角度算出結果と共に顔特徴量算出部２１３に出力する。
合成顔生成部９１４、顔特徴量算出部２１３、顔特徴量検索先決定部９１５、顔角度別顔特徴量検索部９１６、及び検索結果統合出力部９１７の動作は、図９で説明したとおりである。なお、検索結果統合出力部９１７は、検索結果の統合を、個々の検索結果に含まれる顔画像の類似度を用い、類似度の高い順にマージすることで実施する。
　次に、正面顔画像合成処理グループ１３２３では、画像入力部２１１、顔検出部２１２、及び顔角度算出部９１２の動作は、図９で説明した通りである。ただし、顔角度算出部９１２は、算出した顔角度算出結果を、画像データ、及び顔検出結果と共に、正面合成顔生成部１３１１に出力する。
　正面合成顔生成部１３１１は、顔角度算出部９１２から入力された顔角度算出結果を基に、正面合成顔を生成する。合成顔生成は、顔角度算出結果を図５と照合して得られる合成パターンのうち、合成先顔角度が、正面顔、即ち、水平０度、垂直０度、回転０度となるパターンのみを用いて、合成顔生成部９１４と同様に実施する。本処理部では、入力された顔角度算出結果に含まれる顔角度で、確からしさ順に最大４個までの顔角度について、処理を繰返す。正面合成顔生成部１３１１は、ここで生成された１つ以上の合成顔画像を、画像データ、顔検出結果、及び顔角度算出結果と共に、正面合成顔出力部１３１２に出力する。
　正面合成顔出力部１３１２は、正面合成顔生成部１３１１から入力された１つ以上の正面合成顔、顔検出結果、及び顔角度算出結果を、端末装置１２０４に出力する。
　図１４によって、本発明の第３の実施形態における端末装置１２０４に表示される画面及びユーザ操作の一実施例を説明する。図１４は、本発明の第３の実施形態における端末装置１２０４に表示される画面の一実施例を示す図である。
図１４において、端末装置１２０４に表示される画面は、再生画像表示領域１４００、画像再生操作領域１４１０、検索キー画像指定領域１４２０、検索絞込パラメータ指定領域１４３０、検索実行領域１４４０、及び検索結果表示領域１４５０によって構成される。
　図１４において、再生画像表示領域１４００は、撮像装置１０１や録画装置１０２からネットワーク１５０を介して端末装置１２０４に入力された画像を、連続動画表示する領域である。再生画像表示領域１４００には、入力画像を連続動画表示した動画１４０１が表示される。
　画像再生操作領域１４１０は、映像の入力元である撮像装置１０１と録画装置１０２の切り替えや、録画装置１０２に記録された画像を再生操作するボタン図形を配置した領域である。本領域に配置した各ボタン（ボタン図形）には、それぞれ固有の再生の操作種類が割当てられている。例えば、左のボタンから、「巻戻し」、「逆再生」、「再生停止」、「順再生」、「早送り」の操作種類が割当てられている。ユーザがＧＵＩ操作を行って各ボタンを適宜押下することにより、動画１４０１がボタン図形に割当てられた機能が動作する。
　検索キー画像指定領域１４２０は、検索キー画像の指定と表示を行う領域である。本領域は、検索キー画像１４２１、指定ボタン１４２２、合成ボタン１４２３、及び、選択候補画像ボタン１４２４～１４２７等から構成される。
　検索キー画像１４２１は、検索キー画像を表示する場所である。初期状態においては、検索キー画像は未指定であるので、画像表示はされていない状態となる。若しくは、初期状態において、別途用意した未指定状態を示す画像を表示するようにするか、または、未指定である旨の表記をするようにしても良い。
　指定ボタン１４２２は、ユーザがＧＵＩ操作を行って適宜押下した時に、動画１４０１に表示されている画像を検索キー画像として指定するボタンである。
　合成ボタン１４２３は、押下時に検索キー画像に対して顔画像合成を指示するボタンである。
　選択候補画像ボタン１４２４～１４２７は、合成顔画像を表示する場所である。ユーザは、この中から最も真正面に合成されたと思われる合成顔画像を選んで、ＧＵＩ操作を行って押下する。
　検索絞込パラメータ指定領域１４３０は、検索の際の絞込パラメータの種類とその値（範囲）を指定する領域である。本領域は、撮像装置指定チェックボックス１４３１、１４３２、１４３３、及び１４３４、並びに、時刻指定チェックボックス１４３５、１４３６、及び、時刻指定欄１４３７、１４３８等から構成される。撮像装置指定チェックボックス１４３１、１４３２、１４３３、及び１４３４は、検索の際に検索対象とする撮像装置を指定するボタンである。本ボタンをユーザが押下すると、選ばれたことを示すチェックマークがそれぞれ表示される。このマークは再押下すると非表示となり、押下の都度、表示と非表示が切り替わる。時刻指定チェックボックス１４３５、１４３６は、検索の際に検索対象とする撮像時刻範囲を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。
　例えば、時刻指定チェックボックス１４３５を選択状態にした場合には、時刻範囲に先頭時刻を与える。非選択状態にした場合には、時刻範囲に先頭時刻を与えない。即ち、先頭時刻を与えられない場合には、録画装置に記録された最も古い時刻の画像までを検索対象範囲とすることを意味する。同様に、時刻指定チェックボックス１４３６を選択状態にした場合には、時刻範囲に末尾時刻を与える。非選択状態にした場合には、時刻範囲に末尾時刻を与えない。即ち、末尾時刻を与えられない場合には、録画装置に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。また例えば、時刻指定チェックボックス１４３５と時刻指定チェックボックス１４３６の両方を選択状態にした場合には、指定された先頭時刻から末尾時刻までを検索対象範囲とすることを意味する。時刻指定欄１４３７、１４３８は、上述の先頭時刻と末尾時刻の値を指定する入力欄である。即ち、図１４の例では、先頭時刻が２００９年６月２６日１５時３０分２０秒であり、末尾時刻が２００９年７月１３日１２時３０分２０秒である。
　検索実行領域１４４０は、検索実行を指示する領域である。本領域は、検索ボタン１４４１によって構成される。
検索ボタン１４４１は、検索キー画像１４２１による類似人物検索実行を指示するボタンである。検索絞込パラメータ指定領域１４３０にてパラメータが指定されている場合には、その内容も含めて実行を指示する。
　検索結果表示領域１４５０は、検索結果を表示する領域である。検索結果の表示は、検索結果画像を一覧表示することにより実施する。初期状態においては、検索結果表示領域には何も表示されない。
図１４における検索結果表示領域１４５０には、「カメラ１、カメラ２、カメラ４の２００９年６月２６日１５時３０分２０秒から２００９年７月１３日１２時３０分２０秒までの画像を検索対象に、類似画像検索」を実施した例を示している。検索結果画像１４５１～１４５７は、例えば、最上段左から右へ、次に下側の２段目左から右へと検索キー画像に対する類似度順に表示する。本例においては、一番上段で、一番左側の位置にある検索結果画像１４５１が検索キー画像１４２１に対し最も類似度が高く、検索結果画像１４５７が最も類似度が低いということを示している。
　検索結果画像１４５６の周辺には、頭出し再生ボタン１４５８と検索キー画像指定ボタン１４５９を備える。他の検索結果画像１４５１～１４５５及び１４５７も同様である。
頭出し再生ボタンは、検索結果画像を先頭とした連続動画再生開始を指示するボタンである。例えば、頭出し再生ボタン１４５８を押下すると動画１４０１が検索結果画像１４５６に切り替わる。検索キー画像指定ボタンは、検索結果画像を検索キー画像に指定するボタンである。例えば、検索キー画像指定ボタン１４５９を押下すると、検索結果画像１４５６が、検索キー画像として１４２１に表示される。これにより、検索結果画像を使っての再検索が実施できる。
　本発明に関わる操作は、前記画面に対する操作のうち、映像の指定ボタン１４２２の押下に始まる検索キー画像の指定操作である。
図１５Ａ、図１５Ｂ、及び図１５Ｃは、検索キー画像指定領域１４２０を拡大表示したものである。図１６は、本発明に関わる検索キー画像指定操作における通信シーケンスの一例を示す図である。
　図１６では、紙面上から下に時刻が経過する（ただし、時間は上下の長さとは一致していない）時系列の順番を示している。録画装置１０２（または、撮像装置１０１）の通信動作をシーケンス１６００上に表示し、端末装置１２０４の通信動作をシーケンス１６０２上に表示し、検索装置１２０３の通信動作をシーケンス１６０１上に表示する。また、タイミング１６２０～１６２６は、それぞれ時系列上での動作タイミングを表している。さらに、通信１６１０～１６１５は、各装置間の主な通信を示す。通信１６１０と１６１１はリクエストとレスポンスの関係にある。通信１６１２と１６１３、通信１６１４と１６１５も同様である。なお、通信１６１０～１６１５で示した通信は概念的な一例を示し、通信の細かい態様を示したものではない。
　図１５Ａは、検索キー画像指定領域１４２０の検索キー画像を指定する前（タイミング１６２０）における画面の一例である。検索キー画像は、未指定であるので、検索キー画像１４２１は表示されていない状態となる。また、選択候補画像ボタン１４２４～１４２７も、同様である。
　図１５Ａにおいて、ユーザが、タイミング１６２１の時刻に指定ボタン１４２２を押下すると、端末装置１２０４の画面が図１５Ｂの画面に切り替わる。
即ち、端末装置１２０４は、ユーザの操作により指定ボタン１４２２が押下されると、画像要求のための通信１６１０を録画装置１０２に出力（送信）する。通信１６１０は、検索キー画像要求の通信である。録画装置１０２は、通信１６１０を受信すると、通信１６１１を端末装置１２０４に出力（配信）する。この通信１６１１は、要求に応じて配信された検索キー画像を含む通信である。端末装置１２０４は、通信１６１０を受信すると、タイミング１６２２の時刻に画面に、通信１６１１に含まれた検索キー画像を表示する。
　図１５Ｂは、指定ボタン１４２２の押下後の画面の一例である。検索キー画像１４２１には、動画１４０１に現在表示されている画像が表示される。図１５Ｂにおいて、ユーザが、タイミング１６２３の時刻に合成ボタン１４２３を押下すると、端末装置１２０４の画面が図１５Ｃの画面に切り替わる。即ち、端末装置１２０４は、ユーザの操作により合成ボタン１４２３が押下されると、合成要求のための通信１６１２を検索装置１２０３に出力（送信）する。通信１６１２は、合成要求の通信である。この通信１６１２には、通信１６１１で取得した検索キー画像も含まれる。
　検索装置１２０３は、通信１６１２を受信すると、通信１６１３を端末装置１２０４に出力（配信）する。この通信１６１３は、要求に応じて配信された１つ以上の合成顔画像や顔検出結果、顔角度算出結果を含む通信である。
端末装置１２０４は、通信１６１３を受信すると、タイミング１６２４の時刻に画面に、通信１６１３に含まれた検索キー画像を表示する。
　図１５Ｃは、合成ボタン１４２３の押下後の画面の一例である。選択候補画像ボタン１４２４～１４２７には、それぞれ顔画像が表示される。ここで、選択候補画像ボタンに表示される顔画像であるが、合成により生成された顔画像である。図１５Ｃにおいて、ユーザが、タイミング１６２５の時刻に選択候補画像ボタン１４２４～１４２７の中から、いずれか１つを選択して押下する。ここで選択するボタンは、表示された合成顔画像のうち、最も真正面な顔と思われる顔画像を表示したボタンである。本例では、ユーザは、選択候補画像ボタン１４２５を押下する。
　最後に、ユーザが、タイミング１６２６の時刻に、検索ボタン１４４１を押下する。即ち、端末装置１２０４は、ユーザの操作により合成ボタン１４２３が押下されると、検索要求のための通信１６１４を検索装置１２０３に出力（送信）する。通信１６１４は、検索要求の通信である。この通信１６１４には、検索キー画像に加え、図１５（ｃ）におけるユーザの選択結果についての情報や通信１６１１や１６１３で取得した検索キー画像や顔検出結果も含まれる。検索装置１２０３は、通信１６１４を受信すると、受信した通信１６１４に含まれる検索キー画像に基づいて、検索を行い、その検索結果を通信１６１５として端末装置１２０４に出力（配信）する。端末装置１２０４は、通信１６１５を受信して、その検索結果を検索結果表示領域１４５０に表示する。
　以上で、本領域に関連する一連の操作が終了する。
　上述の第３の実施形態の類似画像検索システムによれば、第１と第２の実施形態と同様に、顔を多様な角度で撮影する場合の多い監視画像に対する検索精度の改善に有効であり、信頼性の高い検索を実現できる。さらに、上述の第３の実施形態の類似画像検索システムによれば、第２の実施形態と同様に、顔特徴量を記録時に記録先を指定してデータベースに記録し、検索時にはデータベース中の検索先を指定するようにしたので、検索する範囲を狭く設定できるので、実施例１より検索時間を短縮することができる。またさらに、上述の第３の実施形態の類似画像検索システムによれば、顔角度算出を、検索ユーザとのユーザインタラクティブに決定することができ、操作性が向上する。また、顔角度算出を、状況に応じて適宜、容易に、かつ迅速に検索条件を変更することができるため、より信頼性の高い検索を実現できる。
　上述の第１～第３の実施例の説明においては、説明の簡略化のため、撮像装置や録画装置、検索装置、端末装置は各１台の構成で示したが、これらはネットワークに対し、複数台の接続が可能である。
また、上述の第１～第３の実施例においては、説明を容易にするため、録画装置と検索装置を別個の装置として示したが、同一の装置上に実装される構成であっても良い。また、同様に、検索装置と端末装置も、単一の装置上に実装される構成であっても良い。
　また、第３の実施例においては、説明の簡略化のため、正面顔を選ぶ操作を提示・選択を各１回で完了する例を示したが、提示・選択を数回繰り返すようにしても良い。
　また、上述の第１～第３の実施例においては、顔を対象とする類似画像検索を示したが、顔だけでなく、車両等の他のオブジェクトを対象とした類似画像検索にも適用できる。
　ＣＣＴＶ（Closed-Circuit Television ）システム、顔認証システム、犯罪者データベース等のほか、テレビ番組制作システムや個人向けの電子アルバム等、カメラに映った人物や車両などの映像を扱うシステムに利用可能である。
　１０１：撮像装置、　１０２：録画装置、　１０３：検索装置、　１０４：端末装置、　１５０：ネットワーク、　２０１：画像入力部、　２０２：顔検出部、　２０３：顔特徴量算出部、　２０４：顔特徴量記録部、　２０５：顔特徴量データベース、　２１１：画像入力部、　２１２：顔検出部、　２１３：顔特徴量算出部、　２１４：顔特徴量検索部、　２１５：検索結果出力部、　２２１：顔登録処理グループ、　２２２：顔検索処理グループ、　３０３：検索装置、　４１１：顔角度算出部、　４１２：合成パターン決定部、　４１３：合成顔生成部、　４１５：検索結果統合出力部、　４２２：顔検索処理グループ、　５０１～５０３：列、　５１０、５１１、５２０、５２１、５３０、５３１：欄、
　８０３：検索装置、９０１：顔特徴量記録先決定部、　９０２：顔角度別顔特徴量記録部、　９０５：顔角度別顔特徴量データベース群、　９１１，９１２：顔角度算出部、　９１３：合成パターン決定部、　９１４：合成顔生成部、　９１５：顔特徴量検索先決定部、　９１６：顔角度別顔特徴量検索部、９１７：検索結果統合出力部、
　１２０３：検索装置、　１２０４：端末装置、　１４００：再生画像表示領域、　１４０１：動画、　１４１０：画像再生操作領域、　１４２０：検索キー画像指定領域、　１４２１：検索キー画像、　１４２２：指定ボタン、　１４２３：合成ボタン、　１４２４～１４２７：選択候補画像ボタン、　１４３０：検索絞込パラメータ指定領域、　１４３１、１４３２、１４３３、１４３４：撮像装置指定チェックボックス、　１４３５、１４３６：時刻指定チェックボックス、　１４３７、１４３８：時刻指定欄、　１４４０：検索実行領域、　１４５０：検索結果表示領域。

Claims (4)

  1. 　検索対象画像を入力する第１の画像入力手段と、入力された検索対象画像から第１の顔を検出する第１の顔検出手段と、検出された第１の顔の特徴量を算出する顔特徴量算出手段と、算出された顔特徴量を記録するデータベース記録手段と、
    　検索のためのキー画像を入力する第２の画像入力手段と、入力されたキー画像から第２の顔を検出する第２の顔検出手段と、検出された第２の顔の顔角度を算出する顔角度算出手段と、算出された顔角度によって合成パターンを決定する合成パターン決定手段と、決定された合成パターンに応じて合成顔画像を生成する合成顔生成手段と、生成された合成顔画像を用いて第２の顔の特徴量を算出する第２の顔特徴量算出手段と、
    　前記決定された前記合成パターンの数に応じて、前記合成顔生成手段と前記顔特徴量算出手段を繰り返し、算出された複数個の顔特徴量をクエリとして、データベースから検索を行う顔特徴量検索手段と、検索された複数個の検索結果を統合する検索結果統合手段と、を設けたことを特徴とする類似画像検索システム。
  2. 　検索対象画像を入力する第１の画像入力手段と、入力された検索対象画像から第１の顔を検出する第１の顔検出手段と、検出された第１の顔の顔角度を算出する第１の顔角度算出手段と、前記検出された第１の顔の特徴量を算出する第１の顔特徴量算出手段と、算出された顔角度によって記録先データベースを決定する記録先データベース決定手段と、算出された第１の顔特徴量を決定された記録先データベースに記録するデータベース記録手段と、
    　検索のためのキー画像を入力する第２の画像入力手段と、入力されたキー画像から第２の顔を検出する第２の顔検出手段と、検出された第２の顔の顔角度を算出する顔角度算出手段と、算出された顔角度によって合成パターンを決定する合成パターン決定手段と、決定された合成パターンに応じて合成顔画像を生成する合成顔生成手段と、生成された合成顔画像を用いて第２の顔の特徴量を算出する第２の顔特徴量算出手段と、
    　前記算出された前記顔角度によって検索先データベースを決定する検索先データベース決定手段と、前記決定された前記合成パターンの数に応じて、前記合成顔生成手段と前記第２の顔特徴量算出手段と前記検索先データベース決定手段を複数回実施し、算出された複数個の顔特徴量をクエリとして、前記データベースから検索を行う顔特徴量検索手段と、検索された複数個の検索結果を統合する検索結果統合手段と、を設けたことを特徴とする類似画像検索システム。
  3. 　前記顔角度算出手段は、入力顔に対する顔角度特徴量算出手段と、既知角度の顔に対する顔角度特徴量が顔角度情報とともに予め格納されているデータベースと、前記顔角度特徴量算出手段で求めた顔角度特徴量をクエリとして、前記データベースから検索を行う顔角度検索手段と、を設けたことを特徴とする請求項２記載の類似画像検索システム。
  4. 　前記合成パターン決定手段は、前記顔角度算出手段の算出結果の確からしさを使い、その第２候補以降の確からしさを有する顔角度も用いることを特徴とする請求項２記載の類似画像検索システム。
PCT/JP2013/064508 2012-05-24 2013-05-24 類似画像検索システム Ceased WO2013176263A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014516868A JP5768265B2 (ja) 2012-05-24 2013-05-24 類似画像検索システム
US14/402,721 US9135273B2 (en) 2012-05-24 2013-05-24 Similar image search system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-118152 2012-05-24
JP2012118152 2012-05-24

Publications (1)

Publication Number Publication Date
WO2013176263A1 true WO2013176263A1 (ja) 2013-11-28

Family

ID=49623943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/064508 Ceased WO2013176263A1 (ja) 2012-05-24 2013-05-24 類似画像検索システム

Country Status (3)

Country Link
US (1) US9135273B2 (ja)
JP (1) JP5768265B2 (ja)
WO (1) WO2013176263A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219879A (ja) * 2014-05-21 2015-12-07 キヤノン株式会社 画像認識システム、画像認識方法およびプログラム
WO2024142399A1 (ja) 2022-12-28 2024-07-04 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、記録媒体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6190887B2 (ja) * 2013-10-02 2017-08-30 株式会社日立製作所 画像検索システムおよび情報記録媒体
JP6410450B2 (ja) * 2014-03-31 2018-10-24 キヤノン株式会社 オブジェクト識別装置、オブジェクト識別方法及びプログラム
US10795928B2 (en) * 2015-04-08 2020-10-06 Hitachi, Ltd. Image search apparatus, system, and method
US10657365B2 (en) 2015-09-14 2020-05-19 Hitachi Kokusai Electric Inc. Specific person detection system and specific person detection method
US11200445B2 (en) 2020-01-22 2021-12-14 Home Depot Product Authority, Llc Determining visually similar products

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094491A (ja) * 2002-08-30 2004-03-25 Nec Corp 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
JP2007316809A (ja) * 2006-05-24 2007-12-06 Fujifilm Corp 顔照合装置および方法並びにプログラム
JP2012048550A (ja) * 2010-08-27 2012-03-08 Hitachi Kokusai Electric Inc 人物検知システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100816602B1 (ko) * 2003-02-13 2008-03-24 닛본 덴끼 가부시끼가이샤 사칭 검출 장치 및 사칭 검출 방법
JP4653606B2 (ja) 2005-05-23 2011-03-16 株式会社東芝 画像認識装置、方法およびプログラム
JP4874836B2 (ja) 2007-03-01 2012-02-15 株式会社日立製作所 画像検索方法及び画像検索システム
JP5244345B2 (ja) 2007-08-09 2013-07-24 パナソニック株式会社 顔認証装置
JP5176572B2 (ja) * 2008-02-05 2013-04-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5665125B2 (ja) 2011-04-07 2015-02-04 株式会社日立製作所 画像処理方法、及び、画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094491A (ja) * 2002-08-30 2004-03-25 Nec Corp 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
JP2007316809A (ja) * 2006-05-24 2007-12-06 Fujifilm Corp 顔照合装置および方法並びにプログラム
JP2012048550A (ja) * 2010-08-27 2012-03-08 Hitachi Kokusai Electric Inc 人物検知システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219879A (ja) * 2014-05-21 2015-12-07 キヤノン株式会社 画像認識システム、画像認識方法およびプログラム
WO2024142399A1 (ja) 2022-12-28 2024-07-04 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、記録媒体
EP4645215A1 (en) 2022-12-28 2025-11-05 NEC Corporation Information processing device, information processing system, information processing method, and recording medium

Also Published As

Publication number Publication date
JPWO2013176263A1 (ja) 2016-01-14
JP5768265B2 (ja) 2015-08-26
US20150112970A1 (en) 2015-04-23
US9135273B2 (en) 2015-09-15

Similar Documents

Publication Publication Date Title
JP5768265B2 (ja) 類似画像検索システム
JP4541316B2 (ja) 映像監視検索システム
US10827133B2 (en) Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
US20220301317A1 (en) Method and device for constructing object motion trajectory, and computer storage medium
JP5863400B2 (ja) 類似画像検索システム
US7203693B2 (en) Instantly indexed databases for multimedia content analysis and retrieval
JP5227911B2 (ja) 監視映像検索装置及び監視システム
JP5730518B2 (ja) 特定人物検知システムおよび特定人物検知方法
US20020175997A1 (en) Surveillance recording device and method
US20090201314A1 (en) Image display apparatus, image display method, program, and record medium
WO2017212813A1 (ja) 画像検索装置、画像検索システム及び画像検索方法
US20040249848A1 (en) Method and apparatus for intelligent and automatic alert management using multimedia database system
JP6203188B2 (ja) 類似画像検索装置
CN116193049A (zh) 视频处理方法、装置、计算机设备和存储介质
US20250104380A1 (en) Methods and systems for processing video image metadata
JP5826513B2 (ja) 類似画像検索システム
US10783365B2 (en) Image processing device and image processing system
US20190005133A1 (en) Method, apparatus and arrangement for summarizing and browsing video content
JP3473864B2 (ja) ビデオ情報検索方法
KR20120050660A (ko) 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법
JP2006301995A (ja) 人物検索装置及び人物検索方法
JP5351445B2 (ja) 画像検索システム
Chandrasekaran et al. FAQIVS: Face Query-based Interactive Video Synopsis
JP2021103810A (ja) 映像要約装置、映像要約システム、映像要約方法、およびプログラム
Bamond et al. Application of an event-sensor to situational awareness

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13793367

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014516868

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14402721

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13793367

Country of ref document: EP

Kind code of ref document: A1