WO2011121688A1 - 顔認識装置及び顔認識方法 - Google Patents

顔認識装置及び顔認識方法 Download PDF

Info

Publication number
WO2011121688A1
WO2011121688A1 PCT/JP2010/006550 JP2010006550W WO2011121688A1 WO 2011121688 A1 WO2011121688 A1 WO 2011121688A1 JP 2010006550 W JP2010006550 W JP 2010006550W WO 2011121688 A1 WO2011121688 A1 WO 2011121688A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
face
feature
feature amount
feature point
Prior art date
Application number
PCT/JP2010/006550
Other languages
English (en)
French (fr)
Inventor
勝司 青木
祥裕 中野渡
伸 山田
宏明 由雄
隆行 松川
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/637,528 priority Critical patent/US9621779B2/en
Priority to EP10848870.1A priority patent/EP2555159A4/en
Priority to CN2010800660105A priority patent/CN102822865A/zh
Publication of WO2011121688A1 publication Critical patent/WO2011121688A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Definitions

  • the present invention relates to a face recognition apparatus and a face recognition method that are used in camera systems for crime prevention and customer management of important customers, etc., and that capture a subject such as a person and recognize the subject.
  • Patent Document 1 As a technique for identifying an individual by performing face authentication using a plurality of continuous face images, for example, those disclosed in Patent Documents 1 to 3 are known.
  • Patent Document 1 the installation of a camera that can stably photograph a pedestrian's face and photographing conditions are disclosed.
  • FIG. 25 is a diagram showing an installation example of the pedestrian observation device specified in Patent Document 1.
  • This figure is a view from the top of the entrance of a building or the like (Fang: look down from a high place).
  • the person moves toward the entrance (between the left and right walls 4001) (in the direction indicated by the arrow 4002).
  • An essential observation region 4004 having a width A and a height B is set at a position straddling the entrance pass line 4003 connecting the right and left walls 4001, and a pass line 4003 is set at the center of the essential observation region 4004.
  • the direction and angle of view ⁇ of the camera 4005 are set in the direction of the arrow 4002 that is the movement direction of the person with respect to the passing line 4003.
  • the focal length of the camera 4005 is set from f to f + D shown in FIG.
  • the camera 4005 keeps the essential observation area 4004 within the photographing range, and the focal length within this photographing range. It is possible to take an image with As a result, it is possible to stably photograph the face of a person passing through the essential observation area 4004.
  • Japanese Patent Application Laid-Open No. 2004-228561 describes that the individual identification accuracy is improved by recognizing each of a plurality of images taken with a plurality of cameras and having different face orientations for the same person.
  • Patent Document 2 and Patent Document 3 a front image of a person is synthesized by affine transformation or field morphing from a plurality of images with different face orientations taken by a plurality of cameras for the same person, and the result is used.
  • the method of personal identification by performing face authentication is specified.
  • FIG. 26 is a diagram for explaining the facial feature synthesis specified in Patent Document 2.
  • (A) and (B) in the figure are face images of different faces facing the same person taken from different cameras. With respect to these images (A) and (B), facial feature points indicated by crosses in FIG. Then, based on the detected face feature point position, the front image shown in FIG. 26C is synthesized by affine transformation, and face recognition is performed using the synthesized front image, thereby performing personal identification.
  • Patent Document 3 a front image is synthesized by field morphing instead of affine transformation, and individual recognition is performed by performing face recognition using the synthesized front image.
  • Patent Document 1 merely specifies the installation and shooting conditions of a camera that can stably shoot a pedestrian's face, and if the camera cannot be installed at the specified position and orientation, or the specified shooting conditions. In some cases, it may not be possible to shoot. In such a case, the face cannot be stably shot. As a result, face recognition is not performed well, and the accuracy of personal identification is reduced. In this publication, individual recognition is performed by face recognition from a plurality of images taken by a plurality of cameras with different face orientations, and the result is used to improve identification accuracy. Whether the recognition accuracy is improved is not clearly described.
  • Patent Document 2 and Patent Document 3 a front image is synthesized by affine transformation or field morphing based on the detected face feature point position, and individual recognition is performed by performing face recognition using the synthesized front image.
  • face feature points may not be detected accurately. In such a case, it is difficult to obtain an accurate front image, and the accuracy of personal identification decreases as in Patent Document 1. End up.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a face recognition device and a face recognition method capable of highly accurate recognition.
  • the face recognition device of the present invention includes a photographing unit that photographs a subject, a region detecting unit that detects a predetermined region of the subject from an image obtained as a result of photographing by the photographing unit, and the region detected by the region detecting unit.
  • a feature amount extraction unit that extracts a feature amount in a predetermined region; a distance estimation unit that estimates a distance between the photographing unit and the predetermined region; and the feature amount extracted by the feature amount extraction unit.
  • a feature amount updating unit that updates the distance according to the distance estimated by the distance estimating unit.
  • the distance estimation unit estimates the distance between the photographing unit and the subject
  • the feature amount update unit updates the feature amount according to the distance, so that the predetermined region of the subject is recognized with high accuracy. can do.
  • a search unit that compares the feature amount updated by the feature amount update unit with a feature amount held in advance and performs a search, and recognizes the predetermined region based on a search result of the search unit.
  • a feature point position detection unit that detects a feature point position in the predetermined region
  • the distance estimation unit is configured to detect the distance between the feature point positions detected by the feature point position detection unit and the photographing unit. A distance between the predetermined area is estimated.
  • the face recognition device of the present invention includes a photographing unit that photographs a person, a face detecting unit that detects the face of the person from an image obtained as a result of photographing by the photographing unit, and the inside of the face detected by the face detecting unit.
  • a feature point position detecting unit that detects a feature point position of the camera, a feature amount extracting unit that extracts a feature amount at the feature point position detected by the feature point position detecting unit, and between the photographing unit and the face
  • a distance estimation unit that estimates the distance of the feature amount
  • a feature amount update unit that updates the feature amount extracted by the feature amount extraction unit according to the distance estimated by the distance estimation unit
  • a search unit that compares and searches the updated feature value with a feature value held in advance, and recognizes the face based on a search result in the search unit.
  • the distance estimation unit estimates the distance between the photographing unit and the human face
  • the feature amount update unit updates the feature amount at the feature point position in the face according to the distance
  • the search unit compares and searches the feature amount updated by the feature amount update unit and the feature amount held in advance, the face of a person can be recognized with high accuracy.
  • the distance estimation unit estimates a distance between the photographing unit and the face from an interval between the feature point positions detected by the feature point position detection unit.
  • the face recognition device of the present invention includes a photographing unit that photographs a person, a face detecting unit that detects the face of the person from an image obtained as a result of photographing by the photographing unit, and the inside of the face detected by the face detecting unit.
  • a feature point position detecting unit that detects a feature point position of the feature point, a feature amount extracting unit that extracts a feature amount at the feature point position detected by the feature point position detecting unit, and a feature point position detecting unit
  • a distance estimation unit that estimates a distance between the photographing unit and the face from an interval between the feature point positions
  • an angle estimation unit that estimates the orientation of the face
  • a feature amount update unit that updates the amount according to the distance estimated by the distance estimation unit and the face direction estimated by the angle estimation unit; and the feature amount updated by the feature amount update unit in advance
  • a search unit for searching by comparing with the stored feature amount. Recognizing the face based on the search result in the search unit.
  • the distance estimation unit estimates the distance between the photographing unit and the person's face
  • the angle estimation unit estimates the face direction.
  • the feature The amount update unit updates the feature amount at the feature point position in the face
  • the search unit compares the feature amount updated by the feature amount update unit with the feature amount stored in advance, so that the face of the person is high Can be recognized with accuracy.
  • the orientation of the face is taken into consideration, it can be recognized with higher accuracy.
  • the angle estimation unit estimates the orientation of the face from the positional relationship of the feature point positions detected by the feature point position detection unit.
  • the face recognition device of the present invention includes a photographing unit that photographs a person, a face detecting unit that detects the face of the person from an image obtained as a result of photographing by the photographing unit, and the inside of the face detected by the face detecting unit.
  • a feature point position detecting unit that detects a feature point position of the feature point
  • a feature amount extracting unit that extracts a feature amount at the feature point position detected by the feature point position detecting unit
  • a feature point position detecting unit A distance estimation unit that estimates a distance between the photographing unit and the face from an interval between the feature point positions
  • a brightness detection unit that detects the brightness at the feature point position detected by the feature point position detection unit.
  • a feature amount update unit that updates the feature amount extracted by the feature amount extraction unit according to the distance estimated by the distance estimation unit and the brightness at the feature point position detected by the brightness detection unit. And the feature quantity updated by the feature quantity update unit in advance And a search unit compared to find the feature quantity being lifting recognizes the face based on the search result in the search unit.
  • the distance estimation unit estimates the distance between the photographing unit and the person's face
  • the brightness detection unit detects the brightness at the feature point position in the face
  • the detected distance is detected.
  • the feature amount update unit updates the feature amount at the feature point position in the face according to the brightness
  • the search unit compares and searches the feature amount updated by the feature amount update unit and the feature amount held in advance. Therefore, the face of a person can be recognized with high accuracy. In particular, since the lightness at the feature point position is taken into consideration, it can be recognized with higher accuracy.
  • the face recognition method of the present invention includes a photographing step for photographing a subject, a region detecting step for detecting a predetermined region of the subject from an image as a photographing result in the photographing step, and the region detected in the region detecting step.
  • a feature amount extraction step for extracting a feature amount in a predetermined region; a distance estimation step for estimating a distance between the photographing step and the predetermined region; and the feature amount extracted in the feature amount extraction step.
  • a feature amount updating step for updating according to the distance estimated in the distance estimating step.
  • the distance between the photographing unit and the subject is estimated at the distance estimation step, and the feature amount is updated at the feature amount update step according to the distance, so that the predetermined region of the subject is recognized with high accuracy. can do.
  • a predetermined area of a subject such as a human face can be recognized with high accuracy from an image obtained by photographing.
  • FIG. 1 is a block diagram showing a schematic configuration of a face recognition device according to Embodiment 1 of the present invention.
  • photography part. Shows the face recognition system of FIG. 1, the time T 1, time T 2, the image captured at time T 3
  • FIG. 6 a plot of the position of the feature amount of each individual being held in the database Figure
  • the flowchart for demonstrating the main process of the face recognition apparatus of FIG. Flowchart for explaining processing of task A in the main processing of FIG.
  • the block diagram which shows schematic structure of the face recognition apparatus which concerns on Embodiment 2 of this invention.
  • the figure which shows the relationship between the person image
  • FIG. 10 shows schematic structure of the face recognition apparatus which concerns on Embodiment 3 of this invention.
  • FIG. 18 is a diagram illustrating an example of a captured image, a feature amount, and a range on an evaluation space at time T 1 , time T 2 , and time T 3 in the face recognition apparatus in FIG.
  • Flowchart for explaining the main processing of the face recognition apparatus of FIG. The flowchart for demonstrating the process of the task C in the main process of FIG.
  • the figure which shows the example of installation of the conventional pedestrian observation device (A)-(C) are diagrams for explaining conventional facial feature synthesis
  • FIG. 1 is a block diagram showing a schematic configuration of a face recognition apparatus according to Embodiment 1 of the present invention.
  • a face recognition apparatus 100 includes an imaging unit 101, a face detection unit 102, a tracking unit 103, a feature point position detection unit 104, a feature amount extraction unit 105, and a distance estimation unit 106.
  • the photographing unit 101 photographs a subject such as a person.
  • the face detection unit 102 specifies a human face area from an image obtained as a result of photographing by the photographing unit 101.
  • the tracking unit 103 assigns the same ID number to face images of the same person.
  • the tracking unit 103 realizes this function by tracking the face area of continuously captured images.
  • the feature point position detection unit 104 detects the feature point positions such as the eyes, nose and mouth of the face.
  • the feature quantity extraction unit 105 extracts the feature quantity at each feature point position detected by the feature point position detection unit 104.
  • the distance estimation unit 106 estimates the distance between the photographing unit 101 and the photographed face from the distance relationship between the feature point positions of the face detected by the feature point position detection unit 104.
  • the feature amount update unit 107 updates the feature amount extracted by the feature amount extraction unit 105 according to the distance estimated by the distance estimation unit 106.
  • the storage unit 108 temporarily holds the feature amount extracted by the feature amount extraction unit 105 and updates a part of the feature amount in the face images of the same person assigned the same ID number by the tracking unit 103.
  • a database (DB) 109 holds face feature amounts of each individual used for face recognition.
  • the search unit 110 compares the face feature amount of the face image updated by the feature amount update unit 107 with the face feature amount of each individual held in the database 109 and searches to identify the individual.
  • the display reporting unit 111 displays the search result in the search unit 110 and reports the result to the user. Examples of the display of the search result include “face image only”, “face image and ID” or “face image, ID and alarm”.
  • FIG. 2 is a diagram illustrating a relationship between a person photographed by the face recognition apparatus 100 according to the first embodiment and the photographing unit 101.
  • the person 201 is moving in the direction in which the photographing unit 101 is installed. That is, it moves from the left to the right in FIG.
  • the photographing unit 101 photographs the person 201 at each time of time T 1 , time T 2 , and time T 3 .
  • FIG. 3 is a diagram illustrating images taken at time T 1 , time T 2 , and time T 3 in the face recognition device 100 according to the first embodiment.
  • (A1) is photographed image at time T 1
  • (B1) is photographed image at time T 2
  • (C1) is a photographed image at time T 3.
  • the captured image becomes larger as it approaches the imaging unit 101, and the face gradually turns downward because of the depression angle.
  • the photographing unit 101 photographs a person 201 at time T 1 , time T 2 , and time T 3 .
  • (A1) in FIG. 3 is an image captured at time T 1
  • (B1) is an image captured at time T 2
  • in FIG. 3 (C1) is a image captured at time T 3.
  • the face detection unit 102 detects a face area from the image photographed by the photographing unit 101.
  • a detection method based on the AdaBoost learning method for example, Non-Patent Document 1: PaulPaViola, Michael Jones, “Rapid Object Detection Using a Boosted Cascade. of ”Simple Features”, IEEE Computer Society Conference Computer 2001 Vision and Pattern Recognition (CVPR), December 2001, ISSN: 1063-6919, Vol.1, p.511-518.
  • the face detection unit 102 detects a face area from the image captured by the imaging unit 101 and outputs an image of the face area.
  • This detection method is an example, and the face detection method used in the present invention is not limited to the above detection method. Any detection method can be used as long as it can identify a face region from within an image. For example, the face can be detected by pattern matching or the like.
  • the tracking unit 103 determines whether or not the faces in each face area are the same person based on the temporal position change amount of the face area detected by the face detection unit 102. In this case, even if the person to be photographed is moving, if the photographing interval of the photographing unit 101 is sufficiently short relative to the amount of movement of the person, the amount of change in the position of the face area on each photographed image is small. For this reason, even if a plurality of persons are photographed, it is possible to determine that face areas having a small positional change amount on the photographed image at each time T are the same person. Using this tracking method, the tracking unit 103 determines whether the faces in the face area image output from the face detection unit 102 are the same person.
  • This tracking method is an example, and the tracking method used in the present invention is not limited to this tracking method. Any method can be used as long as it can be estimated that the faces in the face area are the same person. Further, in addition to this tracking method, it is estimated that the face in the face area is the same person based on information such as the matching of clothes color and pattern photographed in the lower part of the face area, and the temporal position change direction of the face area. It is also possible.
  • the face area images on the captured image at each time T are classified for each same person.
  • the face area image groups of the classified persons are classified for each same person.
  • the feature point position detection unit 104 detects the feature point position of the face in the face area image at each time T.
  • face feature point position detection field it has been reported that facial feature points can be detected from a face image by the Adaptive Shape Model method (for example, Non-Patent Document 2: Stephen Milborrow, Fred Nicolls, "Locating Facial Features with an Extended Active Shape). Model ”, Lecture Notes Computer Science; Vol.5303, Proceedings of the 10th European Conference on Computer Vision: PartIV).
  • FIG. 4 is a diagram showing an example of facial feature points.
  • 401 is a face and 402 is a feature point of the face.
  • Facial features include eye center (or black eyes), eyes, eyes, nose wings, head of nose muscles, mouth center, mouth edges, points on jaw lines such as temples and chin, eyebrows, eyes, nose, This is a point position indicating the position of the parts of the face such as the mouth and chin and the outline feature.
  • the feature point position detection unit 104 detects the face feature points shown in FIG. 4 from the face area image at each time T, and outputs the feature point positions.
  • the above detection method is an example, and the face feature point position detection method used in the present invention is not limited to the above detection method. Any detection method can be used as long as it can identify the face feature point position from the face area image. For example, the face feature point position can be detected even by pattern matching or the like.
  • the feature amount extraction unit 105 calculates the feature amount of each feature point position of the face detected by the feature point position detection unit 104.
  • a face can be recognized with high accuracy by a feature amount calculated by Gabor-Wavelet transform (for example, Non-Patent Document 3: E. Elagin, J.Steffens, H.Neven, "Automatic Pose Estimation System for Human Faces Based on Bunch Graph Matching Technology ”, Proceedings of the International Conference on Automatic Face and Gesture Recognition'98. Pp136-141, 1998).
  • Gabor Wavelet filter coefficients are shown in (Equation 1) (x and y are horizontal and vertical positions of the pixel, k is the frequency, ⁇ is the direction, ⁇ is the standard deviation of the Gaussian function and is 2 ⁇ ).
  • the Gabor-Wavelet transform is performed by changing the frequency k and the azimuth ⁇ and performing a convolution calculation on the pixel values at the respective pixel positions x and y by a coefficient obtained by an equation.
  • the feature quantity extraction unit 105 calculates the feature quantity of each feature point position of the face detected by the feature point position detection unit 104 for each frequency k component and each orientation ⁇ by the above-described Gabor-Wavelet transformation.
  • the feature amount extraction by the Gabor-Wavelet transformation is an example, and the feature amount extraction method used in the present invention is not limited to the above method. What is necessary is just to extract the feature amount of each frequency component for each feature point position of the face.
  • the distance estimation unit 106 estimates the distance between the photographing unit 101 and the person's face based on the feature point position of the face detected by the feature point position detection unit 104. As the distance between the photographing unit 101 and the person's face increases, the distance between the feature point positions 402 in the face 401 shown in FIG. 4 decreases. By utilizing this fact, the distance between the photographing unit 101 and the person's face can be estimated from the distance between each feature point position. Further, the larger the distance from the photographing unit 101 to the face, the smaller the size of the face to be photographed. By using this fact, the distance between the photographing unit 101 and the person's face can be estimated from the size of the face area detected by the face detection unit 102.
  • the distance estimation unit 106 estimates the distance between the photographing unit 101 and the person's face in the face area image at each time T, and outputs the result.
  • these distance estimation methods are examples, and the distance estimation method used in the present invention is not limited to the distance estimation method. Any method can be used as long as the distance between the photographing unit 101 and the person's face can be estimated, and the distance is obtained using a stereo camera or an ultrasonic sensor that does not use the feature point position interval. May be estimated.
  • the feature amount update unit 107 updates a part of the feature amount for the face of the same person extracted by the feature amount extraction unit 105.
  • FIG. 5 is a diagram illustrating an example of the feature amount updated by the feature amount update unit 107.
  • (A2), (B2), and (C2) in the figure correspond to the images (A1), (B1), and (C1), respectively, taken at each time T by the photographing unit 101 shown in FIG.
  • the distance between the face of the imaging unit 101 and the person is long, a small size of the face image.
  • only the feature quantity 501 of the low frequency component at the feature point position is updated. This is because the face image with a small size does not include many medium frequency components and high frequency components of the feature amount, and the reliability of the feature amount of the same component is low.
  • the time T 2 the captured image shown in (B2) in FIG. 5, the distance between the face of the imaging unit 101 and the person becomes shorter than the (A2), the size of the face image is large.
  • the feature quantity 502 of the middle frequency component of the feature point position is updated. This is because the size of the face image is increased, so that the medium frequency component is included in the image, and the reliability of the medium frequency component of the feature amount is increased.
  • the time T 3 captured image shown in (C2) of FIG. 5 the distance between the face of the imaging unit 101 and the person is reduced as compared with (B2), the size of the face image is large.
  • only the high-frequency component feature quantity 503 at the feature point position is updated. This is because the size of the face image is large, so that the image further includes a high frequency component, and the reliability of the high frequency component of the feature amount is increased.
  • the feature amount updating unit 107 updates only the feature amount of the frequency component with high reliability.
  • the storage unit 108 holds the updated feature amount at each time T.
  • the feature quantity updated by the feature quantity update unit 107 at the current time and the feature quantity updated before the current time stored in the storage unit 108 are output to the search unit 110.
  • the search unit 110 performs a comparative search between the feature amount updated by the feature amount update unit 107 and the feature amount of each individual held in the database 109.
  • An evaluation formula used in the comparison search is shown in (Formula 2) (F n, ⁇ is the feature quantity of the frequency ⁇ at the n th feature point output from the feature quantity update unit 107, and f n, ⁇ is held in the database 109.
  • the feature quantity of the frequency ⁇ at the nth feature point of the individual, S is the individual's evaluation score).
  • the search unit 110 calculates, for each personal data held in the database 109, an evaluation score obtained by the evaluation formula shown in (Formula 2), and searches for individuals whose evaluation score is equal to or greater than a predetermined value. To do. The search result is notified to the user through the display reporting unit 111.
  • FIG. 6 is a diagram illustrating an example of a captured image, a feature amount, and a range on the evaluation space at each time T.
  • (A1), (B1), and (C1) in the figure are images (A1), (B1), and (C1) taken at each time T by the photographing unit 101 shown in FIG.
  • the feature quantities at each time T shown in (A3), (B3), and (C3) of FIG. 6 are the feature quantities updated by the feature quantity update unit 107.
  • the updated feature amount is indicated by a diagonal line (dashed line).
  • FIG. 6D is an image diagram when the search result range at each time T in the evaluation space shown in (Expression 2) is projected onto a two-dimensional space.
  • the search unit 110 excludes the calculation for the frequency component of the unupdated feature amount points from the calculation of (Equation 2), and uses an individual whose evaluation score is equal to or greater than a predetermined value as the search result. As shown in (D), the range output as a search result in the evaluation space is gradually narrowed.
  • FIG. 7 is a diagram in which the positions of the individual feature values held in the database 109 are plotted with respect to the image showing the search result range at each time T shown in FIG.
  • time T 1 seven people within the time T 1 search result range become search results.
  • time T 2 calculates an evaluation score indicating only (Equation 2) for this seven.
  • the search results range is the search results.
  • one person within the time T 3 search result range becomes the search result.
  • the search unit 110 performs a narrowing search. Thereby, a search process can be performed at high speed.
  • the search unit 110 terminates the search process and notifies the search result to the user through the display notification unit 111. Thereby, it becomes possible to provide the search result to the user at an early stage.
  • FIG. 8 is a flowchart for explaining main processing of the face recognition apparatus 100 according to the first embodiment.
  • the photographing unit 101 photographs a person and captures an image (step S1).
  • the face detection unit 102 detects a human face area from the image captured by the photographing unit 101 (step S2).
  • the tracking unit 103 tracks the face area and identifies whether the person is the same person (step S3).
  • the feature point position detection unit 104, the feature amount extraction unit 105, the distance estimation unit 106, the feature amount update unit 107, and the search unit 110 perform the process of task A on a plurality of face area images for each same person (step S4).
  • the search result by the process of task A is displayed and notified to the user (step S5).
  • FIG. 9 is a flowchart for explaining the processing of the task A.
  • the feature point position detection unit 104 detects the feature point position in the face of the person detected by the face detection unit 102 (step S31).
  • the distance estimation unit 106 estimates the distance between the photographing unit 101 and the person's face from the interval between the feature point positions detected by the feature point position detection unit 104 (step S32).
  • the feature quantity extraction unit 105 extracts the feature quantity at the feature point position detected by the feature point position detection unit 104 (step S33).
  • the feature amount update unit 107 uses the distance estimation unit 106.
  • the feature amount extracted by the feature amount extraction unit 105 is updated according to the estimated distance (step S34).
  • the search unit 110 stores the feature amount updated by the feature amount update unit 107 in the database 109. And is searched (step S35). Then, the search unit 110 determines whether or not an individual can be specified by the comparison search process (step S36). If it is determined that the individual can be specified, the process is terminated. If the individual cannot be specified, it is determined whether there is a remaining face area image (step S37). If there is no remaining face area image in this determination, the present process is terminated. If there is a remaining face area image, the process returns to step S31, and the same process as described above is repeated.
  • the distance estimation unit 106 estimates the distance between the photographing unit 101 and the human face, and the feature amount update unit 107 determines each distance according to the distance. Since only the feature amount of the frequency component having the reliability of the feature point position is updated, the search unit 110 compares and searches the feature amount updated by the feature amount update unit 107 and the individual feature amount held in the database 109. A human face can be recognized with high accuracy. Furthermore, as the number of feature values updated with the passage of time increases, the search unit 110 narrows the search result range and performs a narrow search for the previous search result, so that the search process can be performed at high speed.
  • search unit 110 aborts the search process and notifies the user of the search result through the display notification unit 111. Search results can be provided to the user at an early stage.
  • FIG. 10 is a block diagram showing a schematic configuration of the face recognition apparatus according to Embodiment 2 of the present invention.
  • symbol is attached
  • the face recognition device 120 according to the second embodiment is obtained by adding an angle estimation unit 121 to the same configuration as the face recognition device 100 according to the first embodiment described above.
  • the angle estimation unit 121 estimates the orientation of the face from the positional relationship between each feature point of the face detected by the feature point position detection unit 104.
  • the feature amount update unit 122 updates the feature amount extracted by the feature amount extraction unit 105 according to the distance estimated by the distance estimation unit 106 and the face direction estimated by the angle estimation unit 121.
  • FIG. 11 is a diagram illustrating a relationship between a person photographed by the face recognition apparatus 120 according to the second embodiment and the photographing unit 101.
  • the person 1201 is moving in the direction in which the photographing unit 101 is installed. That is, it moves from the left to the right in FIG.
  • the imaging unit 101 captures a person 1201 at time T 1 , time T 2 , and time T 3 .
  • FIG. 12 is a diagram illustrating images taken at time T 1 , time T 2 , and time T 3 in the face recognition device 120 according to the second embodiment.
  • (A1) is photographed image at time T 1
  • (B1) is photographed image at time T 2
  • (C1) is a photographed image at time T 3.
  • the captured image becomes larger as it approaches the imaging unit 101, and the face gradually turns downward because of the depression angle.
  • the photographing unit 101 photographs a person 1201 at each time T in FIG. Figure 12 (A1) is an image captured at time T 1
  • in FIG. 12 (B1) is an image captured at time T 2
  • in FIG. 12 (C1) is a image captured at time T 3.
  • the angle estimation unit 121 estimates the face direction from the positional relationship between the feature point positions of the face detected by the feature point position detection unit 104.
  • FIG. 13 is a diagram showing a face 1401 facing diagonally upper left. The angle between the broken lines 1403 passing through the feature point positions shown in the figure and the distance ratio between the feature point positions differ depending on the face orientation. By utilizing this fact, it is possible to estimate the face orientation from each feature point position.
  • the scale coefficient, function P () is a function for projecting a three-dimensional position onto a two-dimensional position, and X n and Y n are the two-dimensional positions of each feature point n after the projection), (Expression 4) Angles ⁇ p , ⁇ t and ⁇ r (and scale S) that minimize the position error evaluation (x n and y n are the horizontal and vertical positions of the feature points n detected by the feature point position detection unit 104).
  • the face orientation can also be estimated by obtaining the parallel movement amounts X and Y).
  • the angle estimation unit 121 estimates the face orientation of the face area image at each time T using the angle estimation method, and outputs the same orientation.
  • the angle estimation method is an example, and the angle estimation method used in the present invention is not limited to the angle estimation method. Any method can be used as long as the angle of the face can be estimated, and the angle of the face is obtained by acquiring information of an ultrasonic sensor or a gyro sensor attached to a person without using a feature point position. May be estimated.
  • the feature amount update unit 122 updates a part of the feature amount for the face of the same person extracted by the feature amount extraction unit 105.
  • FIG. 14 is a diagram illustrating an example of a feature amount that is updated by the feature amount update unit 122.
  • (A2), (B2), and (C2) in the figure correspond to images (A1), (B1), and (C1) taken by the photographing unit 101 shown in FIG.
  • the time T 1 captured image shown in (A2) in FIG. 14 the distance between the face of the imaging unit 101 and the person is long, a small size of the face image. In such a case, only the feature quantity 501 of the low frequency component at the feature point position is updated as in the first embodiment.
  • the time T 1 captured image shown in (A2) in FIG. 14 faces substantially directly faces the imaging unit 101, is substantially directly opposite the even imaging section 101 each part of the face. In such a case, the feature quantities of the feature points for all parts of the face are updated.
  • the time T 2 the captured image shown in (B2) in FIG. 14, the distance between the face of the imaging unit 101 and the person becomes shorter than the (A2), the size of the face image is large. In such a case, only the feature quantity 502 of the middle frequency component of the feature point position is updated as in the first embodiment.
  • the time T 2, the captured image shown in (B2) in FIG. 14, the face is oriented to the right direction, and almost directly facing the imaging unit 101 only part of the right part of the face. In such a case, only the feature amount for the feature point for the part of the right part of the face is updated.
  • the feature amount updating unit 122 is the face part portion that faces the photographing unit 101 that has only high-reliability frequency component feature amounts and good face authentication accuracy, as in the first embodiment. Only the feature quantity at the feature point position is updated.
  • FIG. 15 is a diagram illustrating an example of a captured image, a feature amount, and a range on the evaluation space at each time T.
  • (A1), (B1), and (C1) in the figure are images (A1), (B1), and (C1) taken at each time T by the photographing unit 101 shown in FIG.
  • Each time T feature quantity shown in (A3), (B3), and (C3) of FIG. 15 is a feature quantity updated by the feature quantity update unit 122.
  • the updated feature amount is indicated by a diagonal line (dashed line).
  • D) of FIG. 15 is a diagram showing an image when the search result range at each time T in the evaluation space shown in (Expression 2) is projected onto a two-dimensional space.
  • the search unit 110 excludes the calculation for the frequency component of the feature points and feature quantities that have not been updated from the calculation of (Equation 2), the search result is an individual whose evaluation score is equal to or greater than a predetermined value. As shown in FIG. 15D, the range output as a search result in the evaluation space is gradually narrowed.
  • FIG. 16 is a flowchart for explaining main processing of the face recognition apparatus 120 according to the second embodiment.
  • the photographing unit 101 photographs a person and captures an image (step S10).
  • the face detection unit 102 detects a human face area from the image captured by the photographing unit 101 (step S11).
  • the tracking unit 103 tracks the face area and identifies whether the person is the same person (step S12).
  • the feature point position detection unit 104, the feature amount extraction unit 105, the distance estimation unit 106, the angle estimation unit 121, the feature amount update unit 122, and the search unit 110 perform the task B on a plurality of face area images for each person. Processing is performed (step S13). After the process of task B is performed, the search result by the process of task B is displayed and notified to the user (step S14).
  • FIG. 17 is a flowchart for explaining the processing of the task B.
  • the feature point position detection unit 104 detects the feature point position in the face of the person detected by the face detection unit 102 (step S131).
  • the distance estimation unit 106 estimates the distance between the photographing unit 101 and the human face from the interval between the feature point positions detected by the feature point position detection unit 104 (step S132).
  • the angle estimation unit 121 estimates the orientation of the person's face from the positional relationship of the feature point positions detected by the feature point position detection unit 104 (step S133).
  • the feature amount extraction unit 105 extracts the feature amount at the feature point position detected by the feature point position detection unit 104 (step S134).
  • the distance estimation unit 106 estimates the distance between the photographing unit 101 and the person's face
  • the angle estimation unit 121 estimates the face direction from the feature point position
  • the feature amount extraction unit 105 further features the feature amount at the feature point position.
  • the feature amount update unit 122 updates the feature amount extracted by the feature amount extraction unit 105 according to the distance estimated by the distance estimation unit 106 and the face direction estimated by the angle estimation unit 121 ( Step S135).
  • the search section 110 uses the feature quantity update section 122 to update the feature quantity. The search is performed by comparing with the feature amount of each individual held in the database 109 (step S136).
  • the search unit 110 determines whether or not an individual can be specified by the comparison search process (step S137). If the individual can be specified by this determination, the present process is terminated. If the individual cannot be specified, it is determined whether there is a remaining face area image (step S138). If there is no remaining face area image in this determination, the process ends. If there is a remaining face area image, the process returns to step S131, and the same process as described above is repeated.
  • the distance estimation unit 106 estimates the distance between the photographing unit 101 and the human face, and the angle estimation unit 121 determines the position of the feature point in the face.
  • the face direction is estimated from the positional relationship
  • the feature amount update unit 122 updates the feature amount at the feature point position in the face according to the estimated distance and the face direction
  • the search unit 110 updates the feature amount update unit. Since the feature quantity updated in 122 and the personal feature quantity held in the database 109 are compared and searched, the face of a person can be recognized with high accuracy. Further, as in the first embodiment described above, the search unit 110 narrows the search result range as the number of feature values updated with time increases, and performs a narrow search for the previous search result.
  • Processing can be performed. Furthermore, as in the first embodiment described above, if the number of people within the search result range that narrows with time elapses is equal to or less than a predetermined number, the search process is terminated and the search result is displayed. Since the user is notified through the reporting unit 111, the search result can be provided to the user at an early stage.
  • FIG. 18 is a block diagram showing a schematic configuration of a face recognition apparatus according to Embodiment 3 of the present invention.
  • symbol is attached
  • the face recognition device 130 of the third embodiment is obtained by adding a brightness detection unit 131 to the same configuration as the face recognition device 100 of the first embodiment described above.
  • the brightness detection unit 131 detects the brightness, and detects the brightness at the position of each feature point of the face detected by the feature point position detection unit 104 from the face area image.
  • FIG. 19 is a diagram illustrating a relationship between a person photographed by the face recognition apparatus 130 according to the third embodiment and the photographing unit 101.
  • the person 2201 is moving in the direction in which the photographing unit 101 is installed. That is, it moves from the left to the right in FIG.
  • the imaging unit 101 captures a person 2201 at time T 1 , time T 2 , and time T 3 .
  • Above the person 2201 there is a shield 2205 that blocks the light of the sun 2204 that is a light source, and a part of the face of the person 2201 at time T 2 is not exposed to the light from the sun 2204.
  • FIG. 20 is a diagram illustrating images captured at time T 1 , time T 2 , and time T 3 in the face recognition device 130 according to the third embodiment.
  • (A1) is photographed image at time T 1
  • (B1) is photographed image at time T 2
  • (C1) is a photographed image at time T 3.
  • the captured image becomes larger as it approaches the imaging unit 101, and the face gradually turns downward because of the depression angle.
  • the photographing unit 101 photographs a person 2201 at each time T in FIG.
  • time T 1 is photographed image (A1) of FIG. 20 is shot, the time T 2, the captured image (B1) of FIG. 20 is shot, the time T 3 in FIG. 20 (C1) Is taken.
  • time T 2 the captured image of the (B1), the portion below the half of the face of a person 2201 since the light is not hit, it is dark.
  • the brightness detection unit 131 detects the brightness at the feature point position of the face detected by the feature point position detection unit 104.
  • an image captured by an imaging device such as a camera is an RGB or luminance (grayscale) image.
  • the G value and luminance value of RGB are almost equal to the lightness, and there is no problem even if the G value or luminance value of the image is used as it is.
  • the average value of G values or luminance values of pixels within a predetermined range with the feature point position as the center is used as the brightness.
  • the brightness detection unit 131 detects the brightness of each feature point position using the brightness detection method and outputs it.
  • This brightness detection method is an example, and the brightness detection method used in the present invention is not limited to the brightness detection method. Any method can be used as long as it can detect the brightness of the feature point position.
  • the feature quantity update unit 132 updates a part of the feature quantity for the face of the same person extracted by the feature quantity extraction unit 105.
  • FIG. 21 is a diagram illustrating an example of a feature amount that is updated by the feature amount update unit 132.
  • (A2), (B2), and (C2) in the figure correspond to the images (A1), (B1), and (C1) that the photographing unit 101 shown in FIG.
  • the distance between the face of the imaging unit 101 is long, a small size of the face image.
  • only the feature quantity 501 of the low frequency component at the feature point position is updated as in the first embodiment.
  • the value of the predetermined value or more brightness also predetermined for each feature point brightness detector 131 outputs Become.
  • the feature amount of the feature point for each part of the face is updated. This is because in general face authentication, it is assumed that a face image having a lightness of a certain value or more is input, and in such a case, the face authentication accuracy is good.
  • the time T 2 the captured image shown in (B2) in FIG. 21, the distance between the face of the imaging unit 101 and the person becomes shorter than the (A2), the size of the face image is large. In such a case, only the feature quantity 502 of the middle frequency component of the feature point position is updated as in the first embodiment. Further, the time T 2, the captured image shown in (B2) in FIG. 21, and strikes the light only to the part of the upper portion of the face, predetermined only lightness of the feature points for the portion of the part on the lightness detection unit 131 outputs It becomes a value above a certain value. In such a case, only the feature amount for the feature point for the upper part of the face is updated.
  • the distance between the face of the imaging unit 101 and the person is reduced as compared with (B2), the size of the face image increases.
  • the feature quantity 503 of the high frequency component at the feature point position is updated as in the first embodiment.
  • the time T 3 captured image shown in (C2) of FIG. 21 and strikes the light in each part of the face, the brightness of each feature point brightness detecting unit 131 also outputs, a predetermined fixed value or a value It becomes.
  • the feature amount of the feature point for each part of the face is updated.
  • the feature amount updating unit 132 is a feature value of only the frequency component with high reliability, the face authentication accuracy is good, and the brightness is a predetermined value or more, as in the first embodiment. Only the feature quantity at the feature point position is updated.
  • FIG. 22 is a diagram illustrating an example of captured images at time T 1 , T 2 , T 3 captured by the face recognition device 130, feature amounts, and ranges in the evaluation space.
  • (A1), (B1), and (C1) in the figure are images (A1), (B1), and (C1) photographed at each time T by the photographing unit 101 shown in FIG.
  • Each time T feature quantity shown in (A3), (B3), and (C3) of FIG. 22 is a feature quantity updated by the feature quantity update unit 132.
  • the updated feature amount is indicated by a diagonal line (dashed line).
  • D) of FIG. 22 is a diagram showing an image when the search result range at each time T in the evaluation space shown in (Expression 2) is projected onto the two-dimensional space.
  • the search unit 110 excludes the calculation for the frequency component of the unupdated feature amount points from the calculation of (Equation 2), and uses an individual whose evaluation score is equal to or greater than a predetermined value as the search result. As shown in (D), the range output as a search result in the evaluation space is gradually narrowed.
  • FIG. 23 is a flowchart for explaining main processing of the face recognition apparatus 130 according to the third embodiment.
  • the photographing unit 101 photographs a person and captures an image (step S20).
  • the face detection unit 102 detects a human face region from the image captured by the photographing unit 101 (step S21).
  • the tracking unit 103 tracks the face area and identifies whether the person is the same person (step S22).
  • the feature point position detection unit 104, the feature amount extraction unit 105, the distance estimation unit 106, the brightness detection unit 131, the feature amount update unit 132, and the search unit 110 perform the task C for a plurality of face area images for each person. Processing is performed (step S23). After the processing of task C is performed, the search result by the processing of task C is displayed and notified to the user (step S24).
  • FIG. 24 is a flowchart for explaining the processing of task C.
  • the feature point position detection unit 104 detects the feature point position in the face of the person detected by the face detection unit 102 (step S231).
  • the distance estimation unit 106 estimates the distance between the imaging unit 101 and the human face from the interval between the feature point positions detected by the feature point position detection unit 104 (step S232).
  • the brightness detection unit 131 detects the brightness at the feature point position detected by the feature point position detection unit 104 (step 233).
  • the feature amount extraction unit 105 extracts the feature amount at the feature point position detected by the feature point position detection unit 104 (step S234).
  • the distance estimation unit 106 estimates the distance between the photographing unit 101 and the person, the brightness detection unit 131 detects the brightness of the feature point position, and the feature amount extraction unit 105 extracts the feature amount at the feature point position.
  • the feature quantity update unit 132 updates the feature quantity extracted by the feature quantity extraction unit 105 according to the distance estimated by the distance estimation unit 106 and the brightness detected by the brightness detection unit 131 (step S235).
  • the search unit 110 stores the feature amount updated by the feature amount update unit 132 in the database 109. The search is performed by comparing with the feature amount of each individual held in (step S236).
  • the search unit 110 determines whether or not an individual can be specified by the comparison search process (step S237). If it is determined that the individual can be specified, the process is terminated. If the individual cannot be specified, it is determined whether there is a remaining face area image (step S238). If there is no remaining face area image in this determination, the present process is terminated. If there is a remaining face area image, the process returns to step S231 to repeat the same process as described above.
  • the distance estimation unit 106 estimates the distance between the imaging unit 101 and the person's face, and the brightness detection unit 131 uses the feature point position in the face.
  • the feature amount update unit 132 updates the feature amount at the feature point position in the face, and the search unit 110 updates the feature amount update unit 132 according to the estimated distance and the detected brightness. Since the searched feature quantity is compared with the individual feature quantity held in the database 109, the face of the person can be recognized with high accuracy.
  • the search unit 110 narrows the search result range as the number of feature values updated with time increases, and performs a narrow search for the previous search result. Search processing can be performed.
  • the search process is terminated and the search result is displayed. Since the notification is made through the notification unit 111, the search result can be provided to the user at an early stage.
  • the human face is recognized.
  • the present invention is not limited to the human face, and any other moving subject can be recognized. be able to.
  • the present invention has an effect that a predetermined area of a subject such as a human face can be recognized with high accuracy from an image obtained by photographing, and is applied to a camera system such as crime prevention and customer management of important customers. Is possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)

Abstract

　本発明の課題は、撮影して得られた画像から人物の顔等の被写体の所定領域を高い精度で認識することができる顔認識装置及び顔認識方法を提供することである。　人物を撮影する撮影部（１０１）と、撮影された画像から人物の顔を検出する顔検出部（１０２）と、検出された顔内の特徴点位置を検出する特徴点位置検出部（１０４）と、検出された特徴点位置での特徴量を抽出する特徴量抽出部（１０５）と、検出された特徴点位置の間隔から撮影部（１０１）と顔との間の距離を推定する距離推定部（１０６）と、距離推定部（１０６）で推定された距離に応じて特徴量抽出部（１０５）で抽出された特徴量を更新する特徴量更新部（１０７）と、更新された特徴量をデータベース（１０９）に保持されている特徴量と比較し検索する検索部（１１０）と、を備え、検索部（１１０）での検索結果に基づき顔を認識する。これにより、撮影して得られた画像から人物の顔を高い精度で認識することができる。

Description

顔認識装置及び顔認識方法
　本発明は、防犯や重要顧客の来客管理等のカメラシステムに用いられ、人物等の被写体を撮影して該被写体の認識を行う顔認識装置及び顔認識方法に関する。
　従来、連続した複数の顔画像を用いて顔認証することで個人を識別する技術として、例えば特許文献１～３で明示されたものがある。まず特許文献１には、歩行者の顔面を安定して撮影できるカメラの設置及び撮影条件が明示されている。
　図２５は、特許文献１に明示された歩行者観測装置の設置例を示す図である。同図は建物などの入り口を上から俯瞰（ふかん：高い所から見下ろすこと）した図である。人は入り口（左右両側の壁４００１の間）に向かって（矢印４００２で示す向きに）移動する。左右両側の壁４００１を結ぶ入り口の通過ライン４００３を跨ぐ位置に、幅Ａ、高さＢの必須観測領域４００４を設定し、また必須観測領域４００４の中央に通過ライン４００３を設定している。通過ライン４００３に対し、人の移動方向である矢印４００２方向にカメラ４００５の向き及び画角θが設定されている。またカメラ４００５の焦点距離が同図に示すｆからｆ＋Ｄに設定されている。“カメラ設置位置”、“カメラの向き及び画角”、“カメラの焦点距離”の条件を設定することにより、カメラ４００５は必須観測領域４００４を撮影範囲内に収め、この撮影範囲内で焦点距離があった画像を撮影することができる。これにより、必須観測領域４００４を通過する人物の顔を安定して撮影することが可能となる。なお、特許文献１には、同一人物に対し、複数のカメラにより撮影した顔向きが異なる複数枚の画像のそれぞれを顔認識することで、個人の識別精度を向上させるという記載がある。
　一方、特許文献２及び特許文献３には、同一人物に対し、複数のカメラにより撮影した顔向きの異なる複数枚の画像からアフィン変換やフィールドモーフィングにより人物の正面画像を合成し、その結果を用いて顔認証を行うことにより、個人識別を行う方法が明示されている。
　図２６は、特許文献２に明示された顔特徴合成を説明するための図である。同図の（Ａ）及び（Ｂ）は同一人物を異なるカメラから撮影した異なる顔向きの顔画像である。これらの（Ａ）及び（Ｂ）の画像に対し、顔特徴点探索により同図中で×印で示す顔の特徴点を検出する。そして、検出した顔特徴点位置に基づき、アフィン変換により図２６の（Ｃ）に示す正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより、個人識別を行う。
　特許文献３では、アフィン変換ではなくフィールドモーフィングにより正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより、個人識別を行う。
日本国特開２００１－０１６５７３号公報 日本国特開２００６－１４６３２３号公報 日本国特開２００９－０２５８７４号公報
　しかしながら、上述した従来の顔認識技術には以下に示す課題がある。
　特許文献１は、単に歩行者の顔面を安定して撮影できるカメラの設置及び撮影条件を明示しているにすぎず、明示された位置及び向きにカメラを設置できない場合や、明示された撮影条件では撮影できない場合があり、そのような場合、顔面を安定して撮影することができない。その結果、顔認識がうまく行かず個人識別の精度が低下してしまう。なお、同公報では、複数のカメラにより撮影した顔向きが異なる複数枚の画像からそれぞれ顔認識により個人識別し、その結果を用いて識別精度を向上させるとしているが、同結果をどのように用いて認識精度を向上されるかまでは明示されていない。
　特許文献２及び特許文献３では、検出した顔特徴点位置に基づきアフィン変換又はフィールドモーフィングにより正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより個人識別を行っているが、顔の向きによっては顔特徴点を正確に検出することができない場合があり、そのような場合、正確な正面画像を得ることが難しく、特許文献１の場合と同様に個人識別の精度が低下してしまう。
　本発明は、係る事情に鑑みてなされたものであり、精度の高い認識が可能な顔認識装置及び顔認識方法を提供することを目的とする。
　本発明の顔認識装置は、被写体を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記被写体の所定の領域を検出する領域検出部と、前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする。
　上記構成によれば、距離推定部が撮影部と被写体との間の距離を推定し、その距離に応じて、特徴量更新部が特徴量を更新するので、被写体の所定領域を高い精度で認識することができる。
　上記構成において、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部を備え、前記検索部での検索結果に基づき前記所定の領域を認識する。
　上記構成において、前記所定の領域内の特徴点位置を検出する特徴点位置検出部を備え、前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記所定の領域との間の距離を推定する。
　本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記撮影部と前記顔との間の距離を推定する距離推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
　上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、その距離に応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。
　上記構成において、前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する。
　本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、前記顔の向きを推定する角度推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記角度推定部で推定された前記顔の向きに応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
　上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、また角度推定部が顔の向きを推定し、推定された距離と顔の向きに応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。特に、顔の向きを考慮するので、更に高い精度で認識することができる。
　上記構成において、前記角度推定部は前記特徴点位置検出部で検出された前記特徴点位置の位置関係から前記顔の向きを推定する。
　本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、前記特徴点位置検出部で検出された前記特徴点位置での明度を検出する明度検出部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記明度検出部で検出された前記特徴点位置での明度に応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
　上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、また明度検出部が顔内の特徴点位置での明度を検出し、推定された距離と検出された明度に応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。特に、特徴点位置での明度を考慮するので、更に高い精度で認識することができる。
　本発明の顔認識方法は、被写体を撮影する撮影ステップと、前記撮影ステップでの撮影結果としての画像から前記被写体の所定の領域を検出する領域検出ステップと、前記領域検出ステップで検出された前記所定の領域内の特徴量を抽出する特徴量抽出ステップと、前記撮影ステップと前記所定の領域との間の距離を推定する距離推定ステップと、前記特徴量抽出ステップで抽出された前記特徴量を前記距離推定ステップで推定された前記距離に応じて更新する特徴量更新ステップと、を備えることを特徴とする。
　上記方法によれば、距離推定ステップで撮影部と被写体との間の距離を推定し、その距離に応じて、特徴量更新ステップで特徴量を更新するので、被写体の所定領域を高い精度で認識することができる。
　本発明によれば、撮影して得られた画像から人物の顔等の被写体の所定領域を高い精度で認識することができる。
本発明の実施の形態１に係る顔認識装置の概略構成を示すブロック図 図１の顔認識装置で撮影される人物と撮影部の関係を示す図 図１の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図 図１の顔認識装置が取得する顔の特徴点の一例を示す図 図１の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図 図１の顔認識装置で撮影された時刻Ｔ１，Ｔ２，Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図 図６の（Ｄ）に示す時刻Ｔ１，Ｔ２，Ｔ３での検索結果範囲を示すイメージに対し、データベースに保持される各個人の特徴量の位置をプロットした図 図１の顔認識装置のメイン処理を説明するためのフローチャート 図８のメイン処理におけるタスクＡの処理を説明するためのフローチャート 本発明の実施の形態２に係る顔認識装置の概略構成を示すブロック図 図１０の顔認識装置で撮影される人物と撮影部の関係を示す図 図１０の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図 斜め左上を向いた顔を示す図 図１０の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図 図１０の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図 図１０の顔認識装置のメイン処理を説明するためのフローチャート 図１６のメイン処理におけるタスクＢの処理を説明するためのフローチャート 本発明の実施の形態３に係る顔認識装置の概略構成を示すブロック図 図１８の顔認識装置で撮影される人物と撮影部の関係を示す図 図１８の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図 図１８の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図 図１８の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図 図１８の顔認識装置のメイン処理を説明するためのフローチャート 図２３のメイン処理におけるタスクＣの処理を説明するためのフローチャート 従来の歩行者観測装置の設置例を示す図 （Ａ）～（Ｃ）は従来の顔特徴合成を説明するための図
　以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
　（実施の形態１）
　図１は、本発明の実施の形態１に係る顔認識装置の概略構成を示すブロック図である。同図において、本実施の形態の顔認識装置１００は、撮影部１０１と、顔検出部１０２と、追跡部１０３と、特徴点位置検出部１０４と、特徴量抽出部１０５と、距離推定部１０６と、特徴量更新部１０７と、記憶部１０８と、データベース１０９と、検索部１１０と、表示通報部１１１とを備える。
　撮影部１０１は、人物等の被写体を撮影する。顔検出部１０２は、撮影部１０１での撮影結果としての画像から人物の顔の領域を特定する。追跡部１０３は、同一人物の顔画像に対して同一のＩＤ番号を付与する。追跡部１０３は、連続して撮影される画像の顔領域を追跡することによりこの機能を実現する。特徴点位置検出部１０４は、顔の目や鼻や口などの特徴点位置を検出する。特徴量抽出部１０５は、特徴点位置検出部１０４で検出された各特徴点位置での特徴量を抽出する。距離推定部１０６は、特徴点位置検出部１０４で検出された顔の各特徴点位置同士の距離関係から撮影部１０１と撮影された顔との間の距離を推定する。特徴量更新部１０７は、距離推定部１０６で推定された距離に応じて特徴量抽出部１０５で抽出された特徴量を更新する。記憶部１０８は、追跡部１０３で同一ＩＤ番号が付与された各同一人物の顔画像において、特徴量抽出部１０５で抽出された特徴量を一時保持すると共に、特徴量の一部を更新する。データベース（ＤＢ）１０９は、顔認識に用いる各個人の顔特徴量を保持する。検索部１１０は、特徴量更新部１０７で更新された顔画像の顔特徴量をデータベース１０９で保持されている各個人の顔特徴量と比較し、検索して個人を特定する。表示通報部１１１は、検索部１１０での検索結果を表示し、利用者にその結果を通報する。検索結果の表示としては、例えば“顔画像のみ”、“顔画像とＩＤ”又は“顔画像とＩＤと警報”が挙げられる。
　図２は、実施の形態１の顔認識装置１００で撮影される人物と撮影部１０１の関係を示す図である。人物２０１は撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の各時刻で人物２０１を撮影している。
　図３は、実施の形態１の顔認識装置１００において、各時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
　次に、実施の形態１の顔認識装置１００の動作を説明する。
　撮影部１０１は、図２に示すように、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物２０１を撮影する。図３の（Ａ１）は時刻Ｔ１で撮影された画像、図３の（Ｂ１）は時刻Ｔ２で撮影された画像、図３の（Ｃ１）は時刻Ｔ３で撮影された画像である。
　顔検出部１０２は、撮影部１０１が撮影した画像から顔の領域を検出する。顔検出分野では、ＡｄａＢｏｏｓｔ学習法をベースとした検出方式により画像内から顔の領域を検出できることが報告されている（例えば非特許文献１：Paul Viola、Michael Jones、「Rapid Object Detection Using a Boosted Cascade of Simple Features」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR)、2001年12月、ISSN:1063-6919、Vol.1、p.511－518）。顔検出部１０２はこの検出方式を用いて、撮影部１０１が撮影した画像内から顔領域を検出し、顔領域の画像を出力する。なお、この検出方式は一例であり、本発明で用いる顔検出の方式は上記検出方式に限るものではない。画像内から顔領域を特定することができる検出方式であればどのようなものでも良い。例えば、パターンマッチングなどでも顔を検出することは可能である。
　追跡部１０３は、顔検出部１０２が検出した顔領域の時間的な位置変化量をもとに各顔領域の顔が同一人物であるかどうかを判定する。この場合、撮影される人物が移動していたとしても撮影部１０１の撮影間隔が人物の移動量に対して十分に短ければ、各撮影画像上での顔領域の位置変化量は少ない。このため、複数の人物が撮影されたとしても各時刻Ｔの撮影画像上でお互い位置変化量が少ない顔領域同士は同一人物であると判定できる。追跡部１０３はこの追跡方法により、顔検出部１０２が出力する顔領域画像内の顔が同一人物であるかどうかを判定する。なお、この追跡方法は一例であり、本発明で用いる追跡方法はこの追跡方法に限るものではない。顔領域の顔が同一人物であると推定することができる方法であればどのようなものでも良い。また、この追跡方法に加え、顔領域下部に撮影される服の色や模様の一致具合、顔領域の時間的な位置変化向きなどの情報により、顔領域の顔が同一人物であると推定することも可能である。
　以上の追跡部１０３までの動作により、各時刻Ｔの撮影画像上の顔領域画像は同一人物毎に分類される。本実施の形態の動作では、分類された各人物の顔領域画像群のそれぞれに対して同一人物毎に分類される。
　特徴点位置検出部１０４は、各時刻Ｔの顔領域画像内の顔の特徴点位置を検出する。顔特徴点位置検出分野では、Ａｄａｐｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ方式により顔画像から顔の特徴点を検出できることが報告されている（例えば非特許文献２：Stephen Milborrow、Fred Nicolls、「Locating Facial Features with an Extended Active Shape Model」、Lecture Notes Computer Science ;Vol.5303、Proceedings of the 10th European Conference on Computer Vision :PartIV）。
　図４は、顔の特徴点の一例を示す図である。同図において、４０１は顔、４０２は顔の特徴点である。顔の特徴点とは、目中心（または黒目）、目頭、目尻、鼻翼、鼻筋の頭、口中心、口両端、こめかみや顎先などの顎のライン上の点など、眉、目、鼻、口、顎などの顔のパーツの位置や輪郭特徴を示す点位置である。特徴点位置検出部１０４は上記検出方式を用いて、各時刻Ｔの顔領域画像内から図４に例を示す顔特徴点を検出し、同特徴点位置を出力する。なお、上記検出方式は一例であり、本発明で用いる顔特徴点位置検出の方式は上記検出方式に限るものではない。顔領域画像から顔の特徴点位置を特定することができる検出方式であれば、どのようなものでも良い。例えばパターンマッチングなどであっても顔の特徴点位置を検出することは可能である。
　特徴量抽出部１０５は、特徴点位置検出部１０４が検出した顔の各特徴点位置の特徴量を算出する。顔認識分野では、Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換により算出した特徴量により、顔を高精度に認識できることが報告されている（例えば非特許文献３：E. Elagin、J.Steffens、H.Neven、「Automatic Pose Estimation System for Human Faces Based on Bunch Graph Matching Technology」、Proceedings of the International Conference on Automatic Face and Gesture Recognition‘98. pp136-141、1998）。
　Ｇａｂｏｒ Ｗａｖｅｌｅｔフィルタ係数を（式１）に示す（ｘ、ｙは画素の水平及び垂直位置、ｋは周波数、θは方位、σはガウス関数の標準偏差であり２πである）。周波数ｋ及び方位θを変化させ、各画素位置ｘ、ｙの画素値に式により求められる係数を畳み込み演算することにより、Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換を行う。
Figure JPOXMLDOC01-appb-M000001
　特徴量抽出部１０５は、上記Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換により、各周波数ｋ成分及び各方位θに対してそれぞれ、特徴点位置検出部１０４が検出した顔の各特徴点位置の特徴量を算出する。なお、上記Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換による特徴量抽出は一例であり、本発明で用いる特徴量抽出の方式は上記方式に限るものではない。顔の各特徴点位置に対し、各周波数成分の特徴量を抽出するものであれば良い。
　距離推定部１０６は、特徴点位置検出部１０４で検出された顔の特徴点位置をもとに、撮影部１０１と人物の顔との間の距離を推定する。撮影部１０１と人物の顔との間の距離が離れていればいるほど、図４に示す顔４０１における各特徴点位置４０２間の距離は小さくなる。このことを利用して、各特徴点位置間の距離から、撮影部１０１と人物の顔との間の距離を推定することができる。また、撮影部１０１から顔までの距離が離れていればいるほど、撮影される顔のサイズは小さくなる。このことを利用し、顔検出部１０２で検出される顔領域のサイズから、撮影部１０１と人物の顔との間の距離を推定することもできる。このような推定方法を用いて距離推定部１０６は各時刻Ｔの顔領域画像における撮影部１０１と人物の顔との間の距離を推定し、その結果を出力する。なお、これらの距離推定方法は一例であり、本発明で用いる距離推定の方法は、上記距離推定方法に限るものではない。撮影部１０１と人物の顔との間の距離を推定することができる方法であれば、どのようなものでも良く、特徴点位置の間隔を利用しないステレオカメラや超音波センサなどを利用して距離を推定しても良い。
　特徴量更新部１０７は、特徴量抽出部１０５で抽出された同一人物の顔に対する特徴量の一部を更新する。図５は、特徴量更新部１０７が更新する特徴量の一例を示す図である。同図の（Ａ２）、（Ｂ２）、（Ｃ２）は図３に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）のそれぞれ対応している。図５の（Ａ２）に示す時刻Ｔ１撮影画像では、撮影部１０１と人物の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、特徴点位置の低周波成分の特徴量５０１のみを更新する。これは、サイズが小さい顔画像には特徴量の中周波数成分及び高周波成分が多く含まれておらず、同成分の特徴量の信頼性が低いためである。
　図５の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、特徴点位置の中周波成分の特徴量５０２のみを更新する。これは、顔画像のサイズが大きくなったために画像に中周波数成分が含まれ、特徴量の中周波数成分の信頼性が高くなったためである。図５の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きい。このような場合、特徴点位置の高周波成分の特徴量５０３のみを更新する。これは、顔画像のサイズが大きいため、画像に更に高周波成分が含まれ、特徴量の高周波数成分の信頼性が高くなったためである。以上のように、特徴量更新部１０７は、信頼性が高い周波数成分の特徴量のみを更新する。
　記憶部１０８は、各時刻Ｔの更新した特徴量を保持する。そして、特徴量更新部１０７が現時刻に更新した特徴量、及び記憶部１０８に保持する現時刻以前に更新した特徴量は検索部１１０に出力される。検索部１１０は、特徴量更新部１０７が更新出力する特徴量とデータベース１０９に保持される各個人の特徴量を比較検索する。比較検索時に用いる評価式を（式２）に示す（Ｆｎ,θは特徴量更新部１０７が出力するｎ番目の特徴点における周波数θの特徴量、ｆｎ,θはデータベース１０９に保持される当該個人のｎ番目の特徴点における周波数θの特徴量、Ｓは当該個人の評価スコアである）。
Figure JPOXMLDOC01-appb-M000002
　但し、特徴量更新部１０７が更新出力する特徴量において、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外する（同成分に対する演算結果を、Σで示す総和演算の要素値として含まない）。検索部１１０は、データベース１０９に保持される各個人データに対して、（式２）に示す評価式で求められる評価スコアを算出し、予め定めた値以上の評価スコアが算出された個人を検索する。そして、検索結果は表示通報部１１１を通じてユーザに通知される。
　図６は、各時刻Ｔの撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図３に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図６の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔの特徴量は、特徴量更新部１０７により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図６の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージ図である。
　以上説明した特徴量更新部１０７までの動作によれば、図６の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、時間経過と共に、各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。検索部１１０は、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図６の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
　図７は、図６の（Ｄ）に示す各時刻Ｔでの検索結果範囲を示すイメージに対し、データベース１０９に保持される各個人の特徴量の位置をプロットした図である。時刻Ｔ1では、時刻Ｔ1検索結果範囲内の７人が検索結果となる。時刻Ｔ２ではこの７人に対してのみ（式２）に示す評価スコアを算出する。そして、時刻Ｔ２では、時刻Ｔ２検索結果範囲内の４人が検索結果となる。同様に、時刻Ｔ３ではこの４人に対してのみ（式２）に示す評価スコアを算出する。そして、時刻Ｔ３では、時刻Ｔ３検索結果範囲内の１人が検索結果となる。以上のように、検索部１１０は絞り込み検索する。これにより、高速に検索処理を行うことができる。また、検索部１１０は、上記絞り込み検索により、検索結果の人数が予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知する。これにより、早い段階で検索結果をユーザに提供することも可能になる。
　図８は、実施の形態１の顔認識装置１００のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ１）。そして、撮影部１０１で取り込まれた画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ２）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ３）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、特徴量更新部１０７及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＡの処理を行う（ステップＳ４）。タスクＡの処理が行われた後、タスクＡの処理による検索結果を表示し、ユーザに通知する（ステップＳ５）。
　図９は、前記タスクＡの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ３２）。次いで、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ３３）。距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１０７が距離推定部１０６で推定された距離に応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ３４）。撮影部１０１と人物の顔との間の距離に応じて特徴量が更新された後、検索部１１０が特徴量更新部１０７で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し、検索する（ステップＳ３５）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ３６）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ３７）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ３１に戻り、上記同様の処理を繰り返す。
　このように実施の形態１の顔認識装置１００によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、その距離に応じて、特徴量更新部１０７が各特徴点位置の信頼性がある周波数成分の特徴量のみを更新し、検索部１１０が特徴量更新部１０７で更新された特徴量とデータベース１０９に保持された個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に、検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知するので、早い段階で検索結果をユーザに提供することができる。
　（実施の形態２）
　図１０は、本発明の実施の形態２に係る顔認識装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１の顔認識装置１００と共通する部分には同一の符号を付けている。
　図１０において、実施の形態２の顔認識装置１２０は、前述した実施の形態１の顔認識装置１００と同様の構成に角度推定部１２１を追加したものである。角度推定部１２１は、特徴点位置検出部１０４で検出された顔の各特徴点の位置関係から顔の向きを推定する。特徴量更新部１２２は、距離推定部１０６で推定された距離及び角度推定部１２１で推定された顔の向きに応じて特徴量抽出部１０５で抽出された特徴量を更新する。
　図１１は、実施の形態２の顔認識装置１２０で撮影される人物と撮影部１０１の関係を示す図である。人物１２０１は、撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物１２０１を撮影している。
　図１２は、実施の形態２の顔認識装置１２０において、各時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
　撮影部１０１は、図１１における各時刻Ｔで人物１２０１を撮影する。図１２の（Ａ１）は時刻Ｔ１で撮影された画像、図１２の（Ｂ１）は時刻Ｔ２で撮影された画像、図１２の（Ｃ１）は時刻Ｔ３で撮影された画像である。
　角度推定部１２１は、前述したように、特徴点位置検出部１０４で検出された顔の各特徴点位置の位置関係から顔の向きを推定する。図１３は、斜め左上を向いた顔１４０１を示す図である。同図中に示す各特徴点位置を通る各破線１４０３同士の角度や、各特徴点位置間の距離比率は顔の向きによって差が現れる。このことを利用することで、各特徴点位置により顔向きを推定することができる。
　また、各特徴点位置の３次元位置モデルを事前に用意し、（式３）に示す３次元姿勢式を当てはめた時に（Ｘ、Ｙは水平及び垂直方向の平行移動量、Ａｎ、Ｂｎ、及びＣｎは３次元位置モデルの各特徴点ｎの位置であり、θp、θt及びθrはそれぞれ３次元回転角であり、関数Ｒ（　）は３次元回転関数である。Ｓはスケール係数、関数Ｐ（　）は３次元位置を２次元位置へ投影する関数であり、Ｘn及びＹnは同投影後の各特徴点ｎの２次元位置である）、（式４）に示す位置誤差評価（ｘn及びｙnは特徴点位置検出部１０４が検出した各特徴点ｎの水平及び垂直方向位置）が最小になるような角度θp、θt及びθr（及び、スケールＳ、平行移動量Ｘ及びＹ）を求めることによっても、顔向きを推定することができる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　角度推定部１２１は、上記角度推定方法を用いて、各時刻Ｔの顔領域画像の顔向きを推定し、同向きを出力する。なお、上記角度推定方法は一例であり、本発明で用いる角度推定の方法は、上記角度推定方法に限るものではない。顔の角度を推定することができる方法であれば、どのようなものでも良く、特徴点位置を利用せずに超音波センサや人物に取り付けたジャイロセンサの情報を取得するなどして顔の角度を推定しても良い。
　特徴量更新部１２２は、特徴量抽出部１０５で抽出された同一人物の顔に対する特徴量の一部を更新する。図１４は、特徴量更新部１２２が更新する特徴量の一例を示す図である。同図における（Ａ２）、（Ｂ２）、（Ｃ２）は図１２に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）に対応している。図１４の（Ａ２）に示す時刻Ｔ１撮影画像では、撮影部１０１と人物の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、前述した実施の形態１と同様に、特徴点位置の低周波成分の特徴量５０１のみを更新する。また、図１４の（Ａ２）に示す時刻Ｔ１撮影画像では、顔は撮影部１０１とほぼ正対し、顔の各パーツも撮影部１０１とほぼ正対している。このような場合、顔の全てのパーツに対する特徴点の特徴量を更新する。
　図１４の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、前述した実施の形態１と同様に、特徴点位置の中周波成分の特徴量５０２のみを更新する。図１４の（Ｂ２）に示す時刻Ｔ２撮影画像では、顔は右方向を向いており、顔の右部分のパーツのみ撮影部１０１とほぼ正対している。このような場合、顔の右部分のパーツに対する特徴点に対する特徴量のみ更新する。
　図１４の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きくなる。このような場合、前述した実施の形態１と同様に、特徴点位置の高周波成分の特徴量５０３のみを更新する。図１４の（Ｃ２）に示す時刻Ｔ３撮影画像では顔は下方向を向いており、顔の上部分のパーツのみ撮影部１０１とほぼ正対している。このような場合、顔の上部分のパーツに対する特徴点に対する特徴量のみ更新する。
　以上のように、特徴量更新部１２２は、前述した実施の形態１と同様に、信頼性が高い周波数成分の特徴量のみ、且つ、顔認証精度が良い撮影部１０１と正対した顔パーツ部分の特徴点位置の特徴量のみを更新する。
　記憶部１０８、データベース１０９、検索部１１０、表示通報部１１１の動作は前述した実施の形態１の顔認識装置１００のものと同じである。図１５は、各時刻Ｔの撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図１２に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図１５の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔ特徴量は、特徴量更新部１２２により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図１５の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージを示す図である。
　以上説明した特徴量更新部１２２までの動作によれば、図１５の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、前述した実施の形態１と同様に、時間経過と共に各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。また、撮影部１０１と正対した顔パーツ部分の特徴点位置の特徴量のみが順次更新される。
　検索部１１０は、未更新の特徴点及び特徴量の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図１５の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
　図１６は、実施の形態２の顔認識装置１２０のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ１０）。そして、撮影部１０１が取り込んだ画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ１１）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ１２）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、角度推定部１２１、特徴量更新部１２２及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＢの処理を行う（ステップＳ１３）。タスクＢの処理が行われた後、タスクＢの処理による検索結果を表示し、ユーザに通知する（ステップＳ１４）。
　図１７は、前記タスクＢの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ１３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ１３２）。次いで、角度推定部１２１が特徴点位置検出部１０４で検出された特徴点位置の位置関係から人物の顔の向きを推定する（ステップＳ１３３）。更に、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ１３４）。距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、角度推定部１２１が特徴点位置から顔向きを推定し、更に特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１２２が距離推定部１０６で推定された距離及び角度推定部１２１で推定された顔の向きに応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ１３５）。撮影部１０１と人物の顔との間の距離に応じ、且つ撮影部１０１に正対する特徴点位置の特徴量が更新された後、検索部１１０が特徴量更新部１２２で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し、検索する（ステップＳ１３６）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ１３７）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ１３８）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ１３１に戻り、上記同様の処理を繰り返す。
　このように実施の形態２の顔認識装置１２０によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、また角度推定部１２１が顔内の特徴点位置の位置関係から顔の向きを推定し、推定された距離と顔の向きに応じて、特徴量更新部１２２が顔内の特徴点位置での特徴量を更新し、検索部１１０が特徴量更新部１２２で更新された特徴量とデータベース１０９に保持されている個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知するので、早い段階で検索結果をユーザに提供することができる。
　（実施の形態３）
　図１８は、本発明の実施の形態３に係る顔認識装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１の顔認識装置１００と共通する部分には同一の符号を付けている。
　図１８において、実施の形態３の顔認識装置１３０は、前述した実施の形態１の顔認識装置１００と同様の構成に明度検出部１３１を追加したものである。明度検出部１３１は明度を検出するものであり、顔領域画像から特徴点位置検出部１０４で検出された顔の各特徴点の位置における明度を検出する。
　図１９は、実施の形態３の顔認識装置１３０で撮影される人物と撮影部１０１の関係を示す図である。人物２２０１は撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物２２０１を撮影している。人物２２０１の上方には光源である太陽２２０４の光を遮る遮蔽物２２０５があり、人物２２０１の時刻Ｔ2での顔の一部には太陽２２０４からの光が当っていない。
　図２０は、実施の形態３の顔認識装置１３０において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
　撮影部１０１は、図１９における各時刻Ｔの人物２２０１を撮影する。これにより、時刻Ｔ１には図２０の（Ａ１）の撮影画像が撮影され、時刻Ｔ２には図２０の（Ｂ１）の撮影画像が撮影され、時刻Ｔ３には図２０の（Ｃ１）の撮影画像が撮影される。（Ｂ１）の時刻Ｔ２撮影画像に示すように、人物２２０１の顔の半分より下の部分には光が当たっていないため、暗くなっている。
　顔検出部１０２、追跡部１０３、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６の処理は前述した実施の形態１と同じであるので説明を省略する。
　明度検出部１３１は、特徴点位置検出部１０４で検出された顔の特徴点位置における明度を検出する。一般的にカメラ等の撮像装置で撮影される画像はＲＧＢもしくは輝度（グレイスケール）画像である。ＲＧＢのＧ値及び輝度値は明度とほぼ等しく、画像のＧ値又は輝度値をそのまま明度としても問題はない。特徴点位置を中心に予め決めた範囲内の画素のＧ値又は輝度値の平均値を明度として利用する。明度検出部１３１は上記明度検出方法を用いて各特徴点位置の明度を検出し出力する。なお、この明度検出方法は一例であり、本発明で用いる明度検出方法はその明度検出方法に限るものではない。特徴点位置の明度を検出することができる方法であれば、どのようなものでも良い。
　特徴量更新部１３２は、特徴量抽出部１０５が抽出した同一人物の顔に対する特徴量の一部を更新する。図２１は、特徴量更新部１３２が更新する特徴量の一例を示す図である。同図における（Ａ２）、（Ｂ２）、（Ｃ２）は図２０に示す撮影部１０１が各時刻Ｔに撮影する画像（Ａ１）、（Ｂ１）、（Ｃ１）に対応している。図２１の（Ａ２）に示す時刻Ｔ1撮影画像では、撮影部１０１の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、前述した実施の形態１と同様に、特徴点位置の低周波成分の特徴量５０１のみを更新する。また、図２１の（Ａ２）に示す時刻Ｔ１撮影画像では、顔の各パーツに光が当っており、明度検出部１３１が出力する各特徴点の明度も予め定めた一定値以上の値となる。このような場合、顔の各パーツに対する特徴点の特徴量を更新する。これは、一般的な顔認証では一定値以上の明度の顔画像が入力されること想定しており、このような場合に顔認証精度が良いためである。
　図２１の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、前述した実施の形態１と同様に、特徴点位置の中周波成分の特徴量５０２のみを更新する。また、図２１の（Ｂ２）に示す時刻Ｔ2撮影画像では、顔の上部分のパーツにのみ光が当っており、明度検出部１３１が出力する上部分のパーツに対する特徴点の明度のみ予め定めた一定値以上の値となる。このような場合、顔の上部分のパーツに対する特徴点に対する特徴量のみ更新する。
　図２１の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きくなる。このような場合、前述した実施の形態１と同様に、特徴点位置の高周波成分の特徴量５０３のみを更新する。また、図２１の（Ｃ２）に示す時刻Ｔ3撮影画像では、顔の各パーツに光が当っており、明度検出部１３１が出力する各特徴点の明度も、予め定めた一定値以上の値となる。このような場合、顔の各パーツに対する特徴点の特徴量を更新する。以上のように、特徴量更新部１３２は、前述した実施の形態１と同様に信頼性が高い周波数成分の特徴量のみ、且つ、顔認証精度が良い、明度が予め定めた一定値以上の値となる特徴点位置の特徴量のみを更新する。
　記憶部１０８、検索部１１０、データベース１０９及び表示通報部１１１の動作は前述した実施の形態１の顔認識装置１００と同じであり、以下に簡単に説明する。図２２は、顔認識装置１３０で撮影された時刻Ｔ１，Ｔ２，Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図２０に示す撮影部１０１で各時刻Ｔに撮影される画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図２２の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔ特徴量は、特徴量更新部１３２により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図２２の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージを示す図である。
　以上説明した特徴量更新部１３２までの動作によれば、図２２の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、前述した実施の形態１と同様に、時間経過と共に各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。また、明度が予め定めた一定値以上の値となる特徴点位置の特徴量のみが更新される。検索部１１０は、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図２２の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
　図２３は、実施の形態３の顔認識装置１３０のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ２０）。そして、撮影部１０１が取り込んだ画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ２１）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ２２）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、明度検出部１３１、特徴量更新部１３２及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＣの処理を行う（ステップＳ２３）。タスクＣの処理が行われた後、タスクＣの処理による検索結果を表示し、ユーザに通知する（ステップＳ２４）。
　図２４は、タスクＣの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ２３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ２３２）。次いで、明度検出部１３１が特徴点位置検出部１０４で検出された特徴点位置での明度を検出する（ステップ２３３）。更に、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ２３４）。
　距離推定部１０６が撮影部１０１と人物との間の距離を推定し、明度検出部１３１が特徴点位置の明度を検出し、更に特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１３２が距離推定部１０６で推定された距離及び明度検出部１３１で検出された明度に応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ２３５）。撮影部１０１と人物の顔との間の距離に応じ、且つ特徴点位置の明度に応じて特徴量が更新された後、検索部１１０が特徴量更新部１３２で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し検索する（ステップＳ２３６）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ２３７）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ２３８）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ２３１に戻り、上記同様の処理を繰り返す。
　このように実施の形態３の顔認識装置１３０によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、また明度検出部１３１が顔内の特徴点位置での明度を検出し、推定された距離と検出された明度に応じて、特徴量更新部１３２が顔内の特徴点位置での特徴量を更新し、検索部１１０が特徴量更新部１３２で更新された特徴量とデータベース１０９に保持されている個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に、検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じて通知するので、早い段階で検索結果をユーザに提供することができる。
　なお、上記実施の形態１～３では、人物の顔を認識するものであったが、人物の顔に限定されるものではなく、それ以外の動く被写体であれば、どのようなものでも認識することができる。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１０年３月３０日出願の日本特許出願（特願２０１０－０７７４１８）に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、撮影して得られた画像から人物の顔等の被写体の所定領域を高い精度で認識することができるといった効果を有し、防犯や重要顧客の来客管理等のカメラシステムへの適用が可能である。
　１００、１２０、１３０　顔認識装置
　１０１　撮影部
　１０２　顔検出部
　１０３　追跡部
　１０４　特徴点位置検出部
　１０５　特徴量抽出部
　１０６　距離推定部
　１０７、１２２、１３２　特徴量更新部
　１０８　記憶部
　１０９　データベース
　１１０　検索部
　１１１　表示通報部
　１２１　角度推定部
　１３１　明度検出部
　２０１、１２０１、２２０１　人物
　２２０４　太陽
　２２０５　遮蔽物

Claims (9)

  1. 　被写体を撮影する撮影部と、
    　前記撮影部での撮影結果としての画像から前記被写体の所定の領域を検出する領域検出部と、
    　前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、
    　前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、
    　前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする顔認識装置。
  2. 　前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部を備え、前記検索部での検索結果に基づき前記所定の領域を認識する請求項１記載の顔認識装置。
  3. 　前記所定の領域内の特徴点位置を検出する特徴点位置検出部を備え、
    　前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記所定の領域との間の距離を推定する請求項１記載の顔認識装置。
  4. 　人物を撮影する撮影部と、
    　前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
    　前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
    　前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
    　前記撮影部と前記顔との間の距離を推定する距離推定部と、
    　前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、
    　前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
    　を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
  5. 　前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する請求項４記載の顔認識装置。
  6. 　人物を撮影する撮影部と、
    　前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
    　前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
    　前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
    　前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、
    　前記顔の向きを推定する角度推定部と、
    　前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記角度推定部で推定された前記顔の向きに応じて更新する特徴量更新部と、
    　前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
    　を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
  7. 　前記角度推定部は前記特徴点位置検出部で検出された前記特徴点位置の位置関係から前記顔の向きを推定する請求項６記載の顔認識装置。
  8. 　人物を撮影する撮影部と、
    　前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
    　前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
    　前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
    　前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、
    　前記特徴点位置検出部で検出された前記特徴点位置での明度を検出する明度検出部と、
    　前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記明度検出部で検出された前記特徴点位置での明度に応じて更新する特徴量更新部と、
    　前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
    　を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
  9. 　被写体を撮影する撮影ステップと、
    　前記撮影ステップでの撮影結果としての画像から前記被写体の所定の領域を検出する領域検出ステップと、
    　前記領域検出ステップで検出された前記所定の領域内の特徴量を抽出する特徴量抽出ステップと、
    　前記撮影ステップと前記所定の領域との間の距離を推定する距離推定ステップと、
    　前記特徴量抽出ステップで抽出された前記特徴量を前記距離推定ステップで推定された前記距離に応じて更新する特徴量更新ステップと、を備えることを特徴とする顔認識方法。
PCT/JP2010/006550 2010-03-30 2010-11-08 顔認識装置及び顔認識方法 WO2011121688A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/637,528 US9621779B2 (en) 2010-03-30 2010-11-08 Face recognition device and method that update feature amounts at different frequencies based on estimated distance
EP10848870.1A EP2555159A4 (en) 2010-03-30 2010-11-08 FACE DETECTION DEVICE AND FACIAL RECOGNITION METHOD
CN2010800660105A CN102822865A (zh) 2010-03-30 2010-11-08 脸部识别设备和脸部识别方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010077418A JP5642410B2 (ja) 2010-03-30 2010-03-30 顔認識装置及び顔認識方法
JP2010-077418 2010-03-30

Publications (1)

Publication Number Publication Date
WO2011121688A1 true WO2011121688A1 (ja) 2011-10-06

Family

ID=44711485

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006550 WO2011121688A1 (ja) 2010-03-30 2010-11-08 顔認識装置及び顔認識方法

Country Status (5)

Country Link
US (1) US9621779B2 (ja)
EP (1) EP2555159A4 (ja)
JP (1) JP5642410B2 (ja)
CN (1) CN102822865A (ja)
WO (1) WO2011121688A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2685704A1 (en) * 2012-07-11 2014-01-15 LG Electronics, Inc. Unlocking a mobile terminal using face recognition
CN104221054A (zh) * 2012-05-23 2014-12-17 松下电器产业株式会社 人物属性推定系统及学习用数据生成装置
CN112333418A (zh) * 2020-04-30 2021-02-05 深圳Tcl新技术有限公司 智能开锁模式的确定方法、装置、智能门铃及存储介质

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5669082B2 (ja) 2010-04-19 2015-02-12 パナソニックＩｐマネジメント株式会社 照合装置
JP5923723B2 (ja) 2011-06-02 2016-05-25 パナソニックＩｐマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
WO2013001144A1 (en) * 2011-06-30 2013-01-03 Nokia Corporation Method and apparatus for face tracking utilizing integral gradient projections
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
US9781336B2 (en) 2012-01-30 2017-10-03 Panasonic Intellectual Property Management Co., Ltd. Optimum camera setting device and optimum camera setting method
JP5965654B2 (ja) * 2012-02-02 2016-08-10 オリンパス株式会社 追尾装置及び撮像装置、撮像装置に用いる追尾方法
JP5955031B2 (ja) * 2012-02-29 2016-07-20 セコム株式会社 顔画像認証装置
JP5955056B2 (ja) * 2012-03-30 2016-07-20 セコム株式会社 顔画像認証装置
JP5955057B2 (ja) * 2012-03-30 2016-07-20 セコム株式会社 顔画像認証装置
KR101408591B1 (ko) * 2012-04-27 2014-06-17 삼성전기주식회사 무안경 3차원 영상 디스플레이 장치 및 방법
WO2013175579A1 (ja) 2012-05-22 2013-11-28 富士通株式会社 生体情報処理装置、生体情報処理方法及びプログラム
JP5955133B2 (ja) * 2012-06-29 2016-07-20 セコム株式会社 顔画像認証装置
US20140098296A1 (en) * 2012-10-04 2014-04-10 Ati Technologies Ulc Method and apparatus for changing a perspective of a video
WO2014076899A1 (ja) * 2012-11-16 2014-05-22 パナソニック株式会社 カメラ、カメラシステム、及び自己診断方法
US9143763B2 (en) * 2013-11-20 2015-09-22 Olympus Corporation Imaging apparatus, imaging method, and computer-readable recording medium
US20150201124A1 (en) * 2014-01-15 2015-07-16 Samsung Electronics Co., Ltd. Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures
JP5830706B2 (ja) * 2014-01-29 2015-12-09 パナソニックＩｐマネジメント株式会社 店員作業管理装置、店員作業管理システムおよび店員作業管理方法
JP6471934B2 (ja) * 2014-06-12 2019-02-20 パナソニックＩｐマネジメント株式会社 画像認識方法、カメラシステム
JP6435049B2 (ja) * 2015-07-15 2018-12-05 日本電信電話株式会社 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム
JP6722878B2 (ja) * 2015-07-30 2020-07-15 パナソニックＩｐマネジメント株式会社 顔認証装置
WO2017064838A1 (ja) 2015-10-14 2017-04-20 パナソニックＩｐマネジメント株式会社 顔検出装置およびこれを備えた顔検出システムならびに顔検出方法
CN107169397B (zh) * 2016-03-07 2022-03-01 佳能株式会社 特征点检测方法及装置、图像处理系统和监视系统
US10565712B2 (en) * 2016-06-21 2020-02-18 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same
US9875398B1 (en) 2016-06-30 2018-01-23 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition with two-dimensional sensing modality
FR3055161B1 (fr) * 2016-08-19 2023-04-07 Safran Identity & Security Procede de surveillance au moyen d’un systeme multi-capteur
JP6705738B2 (ja) * 2016-12-05 2020-06-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、およびプログラム
JP7051287B2 (ja) 2016-12-05 2022-04-11 株式会社ソニー・インタラクティブエンタテインメント システム、治具、および情報処理方法
CN109298778B (zh) * 2017-07-24 2021-02-23 宏达国际电子股份有限公司 追踪系统及其方法
WO2019027505A1 (en) * 2017-08-01 2019-02-07 Apple Inc. FACE DETECTION, ESTIMATED INSTALLATION AND ESTIMATED DISTANCE BETWEEN THE FACE AND THE SHOOTING DEVICE USING A SINGLE ARRAY
JP6544404B2 (ja) 2017-09-19 2019-07-17 日本電気株式会社 照合システム
KR102466942B1 (ko) 2017-12-27 2022-11-14 한국전자통신연구원 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법
JP7147860B2 (ja) * 2018-10-03 2022-10-05 富士通株式会社 生体認証装置、生体認証方法、及び生体認証プログラム
CN109684918A (zh) * 2018-11-14 2019-04-26 南宁学院 一种高速物体识别系统
JP6675564B1 (ja) * 2019-05-13 2020-04-01 株式会社マイクロネット 顔認識システム、顔認識方法及び顔認識プログラム
CN112395902A (zh) * 2019-08-12 2021-02-23 北京旷视科技有限公司 人脸活体检测方法、图像分类方法、装置、设备和介质
TWI705383B (zh) * 2019-10-25 2020-09-21 緯創資通股份有限公司 人物追蹤系統及人物追蹤方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005129021A (ja) * 2003-09-29 2005-05-19 Fuji Photo Film Co Ltd 照合システム及びそのプログラム
JP2007156541A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 人物認識装置、人物認識方法および入退場管理システム
JP2008015871A (ja) * 2006-07-07 2008-01-24 Konica Minolta Holdings Inc 認証装置、及び認証方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315145A (ja) * 1995-05-16 1996-11-29 Hitachi Ltd パターン認識における入力選択方法およびその装置
JPH11252587A (ja) * 1998-03-03 1999-09-17 Matsushita Electric Ind Co Ltd 物体追跡装置
JP3755343B2 (ja) 1999-06-30 2006-03-15 オムロン株式会社 歩行者観測装置、およびその装置を用いた歩行者認識システム、扉開閉制御システムならびに建造物
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
JP4599110B2 (ja) * 2004-07-30 2010-12-15 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
JP4459788B2 (ja) 2004-11-16 2010-04-28 パナソニック株式会社 顔特徴照合装置、顔特徴照合方法、及びプログラム
JP4734980B2 (ja) * 2005-03-15 2011-07-27 オムロン株式会社 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP4862518B2 (ja) * 2006-06-29 2012-01-25 パナソニック株式会社 顔登録装置、顔認証装置および顔登録方法
JP2009025874A (ja) 2007-07-17 2009-02-05 Nec Corp 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム
US20090022403A1 (en) * 2007-07-20 2009-01-22 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
KR100883519B1 (ko) * 2007-08-27 2009-02-13 한국전자통신연구원 영상인식 로봇의 얼굴인식 결과 분석 시스템 및 방법
JP4518157B2 (ja) * 2008-01-31 2010-08-04 カシオ計算機株式会社 撮像装置及びそのプログラム
JP5053136B2 (ja) * 2008-03-13 2012-10-17 セコム株式会社 移動物体追跡装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005129021A (ja) * 2003-09-29 2005-05-19 Fuji Photo Film Co Ltd 照合システム及びそのプログラム
JP2007156541A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 人物認識装置、人物認識方法および入退場管理システム
JP2008015871A (ja) * 2006-07-07 2008-01-24 Konica Minolta Holdings Inc 認証装置、及び認証方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2555159A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104221054A (zh) * 2012-05-23 2014-12-17 松下电器产业株式会社 人物属性推定系统及学习用数据生成装置
EP2685704A1 (en) * 2012-07-11 2014-01-15 LG Electronics, Inc. Unlocking a mobile terminal using face recognition
CN103546627A (zh) * 2012-07-11 2014-01-29 Lg电子株式会社 移动终端及其控制方法
US9703939B2 (en) 2012-07-11 2017-07-11 Lg Electronics Inc. Mobile terminal and control method thereof
CN112333418A (zh) * 2020-04-30 2021-02-05 深圳Tcl新技术有限公司 智能开锁模式的确定方法、装置、智能门铃及存储介质
CN112333418B (zh) * 2020-04-30 2023-05-23 深圳Tcl新技术有限公司 智能开锁模式的确定方法、装置、智能门铃及存储介质

Also Published As

Publication number Publication date
EP2555159A1 (en) 2013-02-06
EP2555159A4 (en) 2013-12-18
US9621779B2 (en) 2017-04-11
US20130010095A1 (en) 2013-01-10
JP2011210030A (ja) 2011-10-20
CN102822865A (zh) 2012-12-12
JP5642410B2 (ja) 2014-12-17

Similar Documents

Publication Publication Date Title
JP5642410B2 (ja) 顔認識装置及び顔認識方法
Portmann et al. People detection and tracking from aerial thermal views
JP4241763B2 (ja) 人物認識装置及びその方法
EP3092619B1 (en) Information processing apparatus and information processing method
JP5517858B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP6494253B2 (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
Juefei-Xu et al. Unconstrained periocular biometric acquisition and recognition using COTS PTZ camera for uncooperative and non-cooperative subjects
KR100580626B1 (ko) 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템
WO2008072622A1 (ja) 顔認証装置
JP2013210968A (ja) 物体検出装置及びその方法、プログラム
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
Cui et al. A scheme for face recognition in complex environments
US20220366570A1 (en) Object tracking device and object tracking method
JP5971712B2 (ja) 監視装置及び方法
Alqahtani et al. 3D face tracking using stereo cameras: A review
Garcia-Bunster et al. Crowded pedestrian counting at bus stops from perspective transformations of foreground areas
Tu et al. An intelligent video framework for homeland protection
Barman et al. Person re-identification using overhead view fisheye lens cameras
Loos et al. Detection and identification of chimpanzee faces in the wild
JP7374632B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4061405B2 (ja) 顔画像分類登録装置
Kim et al. Face recognition method based on fixed and PTZ camera control for moving humans
Song et al. Object tracking with dual field-of-view switching in aerial videos

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080066010.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10848870

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13637528

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010848870

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE