WO2019123554A1 - 画像処理装置、画像処理方法、及び、記録媒体 - Google Patents

画像処理装置、画像処理方法、及び、記録媒体 Download PDF

Info

Publication number
WO2019123554A1
WO2019123554A1 PCT/JP2017/045633 JP2017045633W WO2019123554A1 WO 2019123554 A1 WO2019123554 A1 WO 2019123554A1 JP 2017045633 W JP2017045633 W JP 2017045633W WO 2019123554 A1 WO2019123554 A1 WO 2019123554A1
Authority
WO
WIPO (PCT)
Prior art keywords
blur
degree
image
point
processing
Prior art date
Application number
PCT/JP2017/045633
Other languages
English (en)
French (fr)
Inventor
昭裕 早坂
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2017/045633 priority Critical patent/WO2019123554A1/ja
Priority to US16/769,739 priority patent/US11462052B2/en
Priority to JP2019559918A priority patent/JP6885474B2/ja
Publication of WO2019123554A1 publication Critical patent/WO2019123554A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to the processing of images, and more particularly to the processing of image blur.
  • the degree of blur There are many situations where it is desirable to select images according to the degree of image blur (hereinafter referred to as "the degree of blur").
  • an image in which the subject is blurred is not preferred.
  • unblurred images are often preferred.
  • blur can be regarded as deterioration of information. Therefore, blurred images are often positively excluded. For example, in an image for authentication, blurring of an authentication target leads to a decrease in authentication accuracy. Also in face recognition, a blurred face image causes authentication failure. Therefore, it is useful to know how blurred the face to be authenticated is.
  • Patent Document 1 Patent Literature 1
  • NPL1 Non-patent Document 1
  • PTL1 The technology described in PTL1 (hereinafter simply referred to as "PTL1" including the technology) calculates the "degree of blur” from the face area in the image.
  • PTL 1 calculates the average of the degrees of blur in multiple faces using weights proportional to the area of the face. Then, PTL 1 sets the average to the degree of blur of the image.
  • PTL 1 extracts vertical and horizontal diagonal edge points for the multi-resolution image of the entire face area, classifies the edge points based on a predetermined reference value, and selects edge points having a certain strength from among the edge points. Calculate the percentage of edge points that are blurred.
  • NPL 1 The technique described in NPL 1 (hereinafter simply referred to as “NPL 1” including the technique) is a technique for estimating the depth from the degree of blur of the subject.
  • the NPL 1 estimates the degree of blur of pixels in the process of depth estimation.
  • NPL 1 takes the absolute value sum of the difference with the peripheral pixels for an arbitrary pixel in the image and sums the pixels whose absolute value sum is a predetermined value or more in a predetermined area, To be blurry.
  • PTL1 requires edge extraction calculation for the multi-resolution image of the entire face area in the middle of the calculation of the degree of blur. That is, PTL 1 needs to process images at a plurality of resolutions for the face area. Therefore, PTL1 has a problem that the calculation cost is high.
  • the NPL 1 can estimate the degree of blur of any pixel of any image, not limited to the face image, with low calculation cost.
  • an image including a predetermined object such as a face image has a portion susceptible to blurring and a portion less susceptible to blurring. Therefore, in the estimation of the degree of blur in an image including an object, it is necessary to consider the position at which the degree of blur is estimated.
  • NPL1 does not mention the position in the estimation of the degree of blur (for example, the position for estimating the degree of blur of the face image). That is, NPL 1 can estimate the degree of blur of pixels, but can not estimate the degree of blur of an image including an object.
  • An object of the present invention is to provide an image processing apparatus and the like which solves the above-mentioned problems and estimates a precise degree of blur in an image by reducing the calculation cost.
  • An image processing apparatus includes a feature point detection unit that detects a feature point used for authentication of an object included in an image, and a first blur that is a blur degree of a predetermined processing point at the feature point. And a blur degree estimation means for estimating a second blur degree which is a blur degree of the object using the first blur degree.
  • An image processing method detects a feature point used for authentication of an object included in an image, and calculates a first blur degree that is a blur degree of a predetermined processing point at the feature point.
  • the first degree of blur is used to estimate a second degree of blur which is the degree of blur of the object.
  • a recording medium calculates a process of detecting a feature point used for authentication of an object included in an image and a first blur degree which is a blur degree of a predetermined processing point at the feature point.
  • FIG. 1 is a block diagram showing an example of the configuration of an image processing apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a flowchart showing an example of the operation of the image processing apparatus according to the first embodiment.
  • FIG. 3 is a diagram for explaining an example of the operation of the feature point detection unit.
  • FIG. 4 is a diagram for explaining an example of the operation of the processing point selection unit.
  • FIG. 5 is a block diagram showing an example of the configuration of an image processing apparatus according to the second embodiment.
  • FIG. 6 is a flowchart showing an example of the operation of the image processing apparatus according to the second embodiment.
  • FIG. 7 is a block diagram showing an example of an outline of the image processing apparatus according to the first embodiment.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of the image processing apparatus according to the first embodiment.
  • FIG. 9 is a diagram showing an example of the configuration of the image processing system according to the first embodiment.
  • image blur that affects “face image authentication” is used as a process target in the embodiment.
  • each embodiment detects a feature point used for face recognition. Furthermore, each embodiment selects a processing point associated with blur that affects face recognition from the feature points.
  • this does not limit the image processing related to each embodiment, the image to be processed, the object included in the image, the deterioration of the image, the feature point to be extracted, and the like.
  • the image to be processed may be an image from which feature points (for example, feature points used for authentication) related to the processing of the image can be extracted.
  • the image to be processed may be a whole image of a person, a living thing, or a car.
  • the feature points may be selected based on the recognition target.
  • the feature point may be an end point in character recognition or the like, an intersection point, a branch point, a refraction point, or the like.
  • each embodiment is not limited to "blurring" generated based on a shift in focus, etc., and targets for image deterioration generated based on insufficient illumination, an obstacle such as fog, or movement of an object, etc. You may use.
  • FIG. 1 is a block diagram showing an example of the configuration of an image processing apparatus 10 according to the first embodiment of the present invention.
  • the image processing apparatus 10 includes an image reception unit 100, a feature point detection unit 101, a processing point selection unit 102, a blur degree calculation unit 103, and a blur degree estimation unit 104.
  • the image reception unit 100 receives a face image from a predetermined device (for example, an imaging device). Alternatively, the image receiving unit 100 may obtain a face image from a predetermined device (for example, a storage device). Hereinafter, the face image received or acquired by the image receiving unit 100 is also referred to as a “target face image”.
  • a predetermined device for example, an imaging device
  • the image receiving unit 100 may obtain a face image from a predetermined device (for example, a storage device).
  • the face image received or acquired by the image receiving unit 100 is also referred to as a “target face image”.
  • the target face image is not limited.
  • the target face image may be a color image or a black and white image.
  • the target face image may be an image captured by an imaging device such as a camera, or may be an image read from a recording medium or storage device or the like storing an image in which a person's face is captured.
  • the target face image may be a corrected image (for example, an image subjected to trimming or color correction).
  • the feature point detection unit 101 detects the face area of the person and the feature points of the face captured in the target face image, for use in face recognition.
  • the feature points of the face are points, such as eyes and mouth, representing the features of the person in the face of the person (including the outline of the face).
  • the method used by the feature point detection unit 101 is not limited. For example, there is a Viola-Jones method as a method of detecting a face area and a face feature point. However, the Viola-Jones method is an example of a method used by the feature point detection unit 101.
  • the feature point detection unit 101 may detect the face area and the feature points of the face using another method.
  • the processing point selection unit 102 selects, from among the detected feature points, a point to be subjected to calculation of the degree of blur (hereinafter referred to as “processing point”).
  • the processing point is a point determined in advance from a portion susceptible to blurring in the object (in this case, the face).
  • the end points of face parts such as the mouth and eyes, in particular the parts, are points that are effective for face recognition. If these parts are blurred, the accuracy of face recognition is reduced.
  • the processing point for example, at least a part of end points (for example, eye inside, eye outside and mouth end) of a part (for example, eyes and mouth) of an object (in this case, face) is selected.
  • the processing point selection unit 102 holds, as processing points to be selected, at least a part of the end points of main parts (parts) of the face such as eyes, nose, and mouth, and processes the processing points from the feature points. select.
  • the processing point selection unit 102 divides a segment of a line segment connecting two end points (for example, a midpoint of the line segment, a trisection point, and / or a quadrisection point) And / or a point on an extension extending the line segment may be selected.
  • the processing point selection unit 102 may hold processing points to be selected in advance. Alternatively, the processing point selection unit 102 may acquire the processing point together with the target face image. When the processing point in the image processing apparatus 10 is fixed, the feature point detection unit 101 or the blur degree calculation unit 103 may include the function of the processing point selection unit 102.
  • the degree-of-blur calculation unit 103 calculates the degree of blur (first degree of blur) for each of the selected processing points.
  • the degree-of-blur calculating unit 103 preferably uses a calculation method with low calculation cost.
  • the degree-of-blur calculating unit 103 may use the method described in NPL1 as a method of calculating the degree of blurring.
  • the method described in NPL 1 is an example of a method used by the blur degree calculation unit 103.
  • the degree-of-blur calculation unit 103 may calculate the degree of blur using another method.
  • the blur degree estimation unit 104 estimates a blur degree (second blur degree) as a face image using the blur degree calculated by the blur degree calculation unit 103.
  • the degree of blur estimation unit 104 calculates an estimated value of the degree of blur (second degree of blur) as a face image, using the degree of blur (first degree of blur) of a predetermined processing point.
  • the degree of blur used by the degree of blur estimation unit 104 is not limited.
  • the degree of blur of the face image may be determined based on predetermined knowledge such as a target face image or a device using the degree of blur.
  • the degree-of-blurring estimation unit 104 determines a predetermined number of degrees of blurring from the larger degree of processing point as the degree of blurring of the face image. An averaged value may be used.
  • the degree of blurring estimation unit 104 determines a predetermined number of degrees of blurring from the smaller degree of processing point as the degree of blurring of the face image. An averaged value may be used.
  • the degree of blurring estimation unit 104 calculates the average of the degrees of blurring of the processing points having a value larger than a predetermined threshold as the degree of blurring of the face image. You may use a value.
  • the degree of blurring estimation unit 104 calculates an average of the degrees of blurring of the processing points having a value smaller than a predetermined threshold as the degree of blurring of the face image. You may use a value.
  • the blur degree estimation unit 104 may use not only the average value but also other values such as an intermediate value or a total value.
  • the blur degree estimation unit 104 outputs the estimated blur degree of the face image to a predetermined device. [Description of operation] Next, the operation of the image processing apparatus 10 according to the first embodiment will be described with reference to the drawings.
  • FIG. 2 is a flowchart showing an example of the operation of the image processing apparatus 10 according to the first embodiment.
  • the image processing apparatus 10 may not necessarily execute each operation in the order shown in FIG.
  • the image processing apparatus 10 may execute steps S22 and S23 for each processing point.
  • the image receiving unit 100 determines that the target face image has been received.
  • the feature point detection unit 101 detects a face area in the target face image and feature points of the face (step S21).
  • FIG. 3 is a diagram for explaining an example of the operation of the feature point detection unit 101. As shown in FIG.
  • the left side of FIG. 3 is an example of the target face image.
  • a point indicated by a circle on the right side of FIG. 3 is an example of the feature point detected by the feature point detection unit 101.
  • the feature point detection unit 101 detects, as feature points, the contours (face lines) of the eye corners, eyes, lower nose, mouth edge, eyebrow edge, and face.
  • the processing point selection unit 102 selects a processing point for calculating the degree of blur from the detected feature points (step S22).
  • the processing point is set in advance in the processing point selection unit 102 as a point susceptible to blurring. For example, parts of the face (areas including eyes, eyebrows, nose and mouth) are susceptible to blurring. Therefore, for example, the processing point selection unit 102 selects the feature point of the end point of the part of the face as the processing point.
  • the processing point selection unit 102 uses, as a processing point, a point between line segments connecting two processing points (for example, a midpoint of a line segment connecting processing points) and / or an extension obtained by extending the line segment You may select a point on the line.
  • a process point contains a division
  • FIG. 4 is a diagram for explaining an example of the operation of the processing point selection unit 102. As shown in FIG. 4
  • FIG. 4 shows the feature points detected by the feature point detection unit 101 corresponding to the right side of FIG.
  • the right side of FIG. 4 shows an example of the selected processing point.
  • the point shown by the square on the right side of FIG. 4 is the processing point.
  • the processing point selection unit 102 selects the next 11 points from the feature points as the processing points.
  • Both eyes and both eyes (4 points) (2) Nose (1 point) (3) Mouth end (2 points) (4) Both ends (4 points)
  • the processing point selection unit 102 selects the following four points.
  • (1) The middle point of the line connecting the left eye and the nose (2) The middle point of the line connecting the right eye and the nose (3) The middle of the line connecting the left corner and the left mouth 4)
  • the middle point of the line segment connecting the right eye corner and the right mouth end It returns to the explanation referring to FIG.
  • the processing point selection unit 102 selects a point susceptible to the influence of blurring (for example, an end of a part) from the feature points in the face image. Therefore, in the following processing, the image processing apparatus 10 can realize highly accurate processing for blurring.
  • the degree-of-blur calculation unit 103 calculates the degree of blur for the selected processing point (step S23). For example, the degree-of-blur calculation unit 103 calculates the degree of blur for each point of the selected processing point using the method described in NPL1.
  • the degree of blur used by the NPL 1 will be briefly described.
  • Equation 1 is an equation for obtaining a blur index value F (i, j) which is the degree of blur used in NPL 1.
  • i and j are the position of the pixel on the image (for example, i is the position of abscissa and j is the position of ordinate).
  • the function ML () is a function of sum of absolute values.
  • s is a distance (number of pixels) between the target pixel and a predetermined peripheral pixel. Generally, s is "1", that is, the next pixel. However, s may be a number greater than one.
  • the function I () is the value of the pixel.
  • T 1 is a predetermined threshold.
  • N is a predetermined natural number.
  • the blur index value F (i, j) at the pixel at the coordinate (i, j) is each pixel of the area “(2N + 1) ⁇ (2N + 1)” up to N pixels around the pixel (i, j)
  • the blur index value F (i, j) is obtained by adding the absolute value sum ML (x, y) of the difference between each pixel and the peripheral pixels separated by the distance (pixel) s to a predetermined threshold (T 1).
  • T ) Is the sum of the absolute value sums ML (x, y).
  • the degree of blur in this case is an index indicating that the smaller the value is, the smaller the difference from the peripheral pixels is, that is, blur.
  • the degree-of-blur calculation unit 103 calculates the degree of blur (index value (i, j)) as follows. First, the degree-of-blur calculation unit 103 calculates the sum of absolute values of pixels in the region up to a predetermined number (N) of pixels in the upper, lower, left, and right with the processing point as the center and the processing point. Then, the degree-of-blur calculating unit 103 sets the operation of the sum of absolute values larger than a predetermined threshold as the degree of blur.
  • Equation 1 The calculation of Equation 1 above, that is, the calculation of NPL1 is low in calculation cost because the process of addition and subtraction in one image is performed.
  • the degree-of-blur calculation unit 103 uses a method with low calculation cost as described above in calculating the degree of blur at the processing point.
  • the blur degree estimation unit 104 estimates the blur degree of the face image using the blur degree calculated at the processing point (step S24).
  • the degree of blur estimation unit 104 determines a predetermined number of processed points having a large degree of blur (not blurred) as the degree of blur of the image. Calculate the average of the degree of blur of the processing point.
  • the blur degree estimation unit 104 may calculate the median or the sum instead of the mean value. The calculation of the average value and the like is an example of a calculation with low calculation cost.
  • the blur degree estimation unit 104 calculates, as the second blur degree, an average value, a median value, or a sum of at least a part of the first blur degree (the blur degree of the processing point).
  • the degree-of-blur estimation unit 104 calculates the degree of blur not using the degrees of blur at all points of the face image but using the degrees of blur of some points (processing points) susceptible to blur. Therefore, the degree of blur calculated by the degree of blur estimation unit 104 is an estimated value of the degree of blur of the face image.
  • this estimated value is an estimation using a point susceptible to blurring. Therefore, although this estimation has a low calculation cost, it is an effective estimation as an estimation of the degree of blur of the face image.
  • the degree-of-blur estimation unit 104 calculates an estimated value of the degree of blur of an image using a calculation method with low calculation cost.
  • the feature point detection unit 101 detects a feature point indicating the feature of the object in the image. Then, the processing point selection unit 102 selects, from among the feature points, a processing point that is susceptible to the influence of blur set in advance.
  • the degree of blur calculation unit 103 calculates the degree of blur of the processing point using a calculation method with low calculation cost. Then, the degree of blur estimation unit 104 estimates (calculates) the degree of blur (second degree of blur) of the image from the degree of blur (first degree of blur) of the processing point using a calculation method with low calculation cost. Therefore, the image processing apparatus 10 can obtain an accurate degree of blur in an image with reduced calculation cost.
  • the image processing apparatus 10 can obtain the effect of calculating the accurate degree of blur in an image by reducing the calculation cost.
  • the image processing apparatus 10 includes a feature point detection unit 101, a processing point selection unit 102, a blur degree calculation unit 103, and a blur degree estimation unit 104.
  • the feature point detection unit 101 detects feature points used for authentication of an object included in an image.
  • the processing point selection unit 102 selects a predetermined processing point from the feature points.
  • the degree of blur calculation unit 103 calculates the degree of blur (first degree of blur) of the processing point.
  • the blur degree estimation unit 104 estimates (calculates) the blur degree (second blur degree) of the face image (object) using the blur degree of the processing point.
  • the feature point detection unit 101 detects a feature point indicating a feature of an object in an image.
  • the processing point selection unit 102 selects a processing point set in advance (for example, an end point of a part susceptible to blurring) from the feature points.
  • the degree of blur calculation unit 103 calculates the degree of blur at the processing point. However, as described above, the degree-of-blur calculation unit 103 calculates the degree of blur at the processing point using a calculation method such as NPL1 that has a low calculation cost. As mentioned above, the processing point is a point susceptible to blurring. Therefore, the degree of blur calculated by the degree of blur calculation unit 103 is the degree of blur at a point susceptible to blur. The degree of blur calculation unit 103 calculates the degree of blur with high accuracy by reducing the calculation cost.
  • the blur degree estimation unit 104 estimates the blur degree in the image using the blur degree calculated by the blur degree calculation unit 103.
  • the degree-of-blur estimation unit 104 estimates the degree of blur in an image using a calculation method with low calculation cost such as an average value.
  • the blur degree estimation unit 104 estimates the blur degree of the image with high accuracy by reducing the calculation cost.
  • the image processing apparatus 10 can obtain an accurate estimate of the degree of blur in an image with reduced calculation cost.
  • FIG. 7 is a block diagram showing an example of the configuration of the image processing apparatus 11 that is an overview of the image processing apparatus 10 according to the first embodiment.
  • the image processing apparatus 11 includes a feature point detection unit 101, a blur degree calculation unit 103, and a blur degree estimation unit 104.
  • the feature point detection unit 101 detects feature points used for authentication of an object included in an image.
  • the degree of blur calculation unit 103 calculates a first degree of blur which is the degree of blur of a predetermined processing point at a feature point.
  • the blur degree estimation unit 104 estimates a second blur degree, which is the blur degree of the object, using the first blur degree.
  • the feature point detection unit 101 detects a feature point indicating a feature of an object in an image.
  • the blur degree calculation unit 103 may calculate, for example, the blur degree at the processing point set in advance among the feature points. It is assumed that the processing point is a point susceptible to blurring (e.g. the end point of a part susceptible to blurring). In this case, the degree of blur calculated by the degree of blur calculation unit 103 is the degree of blur at a point susceptible to the influence of blur. As a result, the degree of blur calculation unit 103 calculates the degree of blur with high accuracy while reducing the calculation cost. That is, the degree-of-blur calculation unit 103 calculates the degree of blur at the processing point using a calculation method such as NPL1 that has a low calculation cost.
  • the blur degree estimation unit 104 estimates the blur degree in the image using the blur degree calculated by the blur degree calculation unit 103.
  • the degree of blur estimation unit 104 can estimate the degree of blur in the image using a calculation method with low calculation cost such as an average value.
  • the blur degree estimation unit 104 can estimate the blur degree of the image with high accuracy by reducing the calculation cost.
  • the image processing apparatus 11 which is the first minimum configuration, can achieve the effect of calculating the accurate degree of blur in the image by reducing the calculation cost.
  • the image processing apparatus 10 is configured as follows.
  • each component of the image processing apparatus 10 may be configured by a hardware circuit.
  • each component may be configured using a plurality of devices connected via a network.
  • the plurality of components may be configured by one piece of hardware.
  • the image processing apparatus 10 may be realized as a computer apparatus including a central processing unit (CPU), a read only memory (ROM), and a random access memory (RAM).
  • the image processing apparatus 10 may be realized as a computer apparatus further including an input and output connection circuit (IOC: Input and Output Circuit) in addition to the above configuration.
  • the image processing apparatus 10 may be realized as a computer apparatus further including a network interface circuit (NIC: Network Interface Circuit) in addition to the above configuration.
  • NIC Network Interface Circuit
  • FIG. 8 is a block diagram showing the configuration of an image processing apparatus 60 which is an example of the hardware configuration of the image processing apparatus 10 according to the first embodiment.
  • the image processing device 60 includes a CPU 610, a ROM 620, a RAM 630, an internal storage device 640, an IOC 650, and an NIC 680, and constitutes a computer device.
  • the CPU 610 reads a program from the ROM 620. Then, the CPU 610 controls the RAM 630, the internal storage device 640, the IOC 650, and the NIC 680 based on the read program.
  • the computer including the CPU 610 controls these components, and the image reception unit 100, the feature point detection unit 101, the processing point selection unit 102, the degree of blur calculation unit 103, and the degree of blur shown in FIG. Each function as the estimation unit 104 is realized.
  • the CPU 610 may use the RAM 630 or the internal storage device 640 as a temporary recording medium of the program when realizing each function.
  • the CPU 610 may also read a program included in the recording medium 700 in which the program is stored so as to be readable by a computer using a recording medium reading device (not shown). Alternatively, the CPU 610 may receive a program from an external device (not shown) via the NIC 680, save the program in the RAM 630 or the internal storage device 640, and operate based on the saved program.
  • the ROM 620 stores programs executed by the CPU 610 and fixed data.
  • the ROM 620 is, for example, a P-ROM (Programmable-ROM) or a flash ROM.
  • the RAM 630 temporarily stores programs and data that the CPU 610 executes.
  • the RAM 630 is, for example, a D-RAM (Dynamic-RAM).
  • the internal storage device 640 stores data and programs that the image processing device 60 stores for a long time. Further, the internal storage device 640 may operate as a temporary storage device of the CPU 610.
  • the internal storage device 640 is, for example, a hard disk device, a magneto-optical disk device, a solid state drive (SSD), or a disk array device.
  • the ROM 620 and the internal storage device 640 are non-transitory recording media.
  • the RAM 630 is a volatile storage medium.
  • the CPU 610 can operate based on a program stored in the ROM 620, the internal storage device 640, or the RAM 630. That is, the CPU 610 can operate using a non-volatile storage medium or a volatile storage medium.
  • the IOC 650 mediates data between the CPU 610 and the input device 660 and the display device 670.
  • the IOC 650 is, for example, an IO interface card or a USB (Universal Serial Bus) card. Furthermore, the IOC 650 is not limited to wired like USB, and may use wireless.
  • the input device 660 is a device that receives an input instruction from the operator of the image processing apparatus 60.
  • the input device 660 is, for example, a keyboard, a mouse or a touch panel.
  • the display device 670 is a device that displays information to the operator of the image processing apparatus 60.
  • the display device 670 is, for example, a liquid crystal display.
  • the NIC 680 relays exchange of data with an external device (not shown) via a network.
  • the NIC 680 is, for example, a LAN (Local Area Network) card.
  • the NIC 680 may use wireless as well as wired.
  • the image processing apparatus 60 configured in this way can obtain the same effects as the image processing apparatus 10.
  • the reason is that the CPU 610 of the image processing apparatus 60 can realize the same function as the image processing apparatus 10 based on the program.
  • FIG. 5 is a block diagram showing an example of the configuration of an image processing apparatus 50 according to the second embodiment.
  • the image processing apparatus 50 includes a processing point selection unit 502 in place of the processing point selection unit 102 as compared with the image processing apparatus 10 according to the first embodiment. Furthermore, the image processing apparatus 50 includes a normalization unit 505. The other configuration is the same as the configuration of the image processing apparatus 10 according to the first embodiment, and thus the detailed description thereof is omitted.
  • the image processing device 50 may be realized using the computer device shown in FIG.
  • the normalization unit 505 normalizes the target face image based on the feature points detected by the feature point detection unit 101.
  • the image after normalization is referred to as a “normalized image”.
  • the target range of normalization is not limited.
  • normalization is normalization of the position of the face image, the size of the face image, and / or the angle of the face image.
  • the method of normalization used by the normalization unit 505 is not limited.
  • the normalization unit 505 may hold reference feature points in advance.
  • the reference feature point is a feature point that is converted to a predetermined position (this position is referred to as “reference”) in normalization.
  • the normalization unit 505 transforms the target face image using the reference feature points held in advance and the feature points in the target face image.
  • the normalization unit 505 transforms (for example, affine transforms) the target face image such that the feature points of the target face image corresponding to the reference feature points become the positions of the reference feature points.
  • the normalization unit 505 may use not only affine transformation but also methods such as projection transformation, similarity transformation, perspective projection transformation, and the like as a method of image transformation used for normalization.
  • the normalization unit 505 may also hold in advance three-dimensional information of reference feature points and / or average three-dimensional face shape information. In this case, the normalization unit 505 uses the target face image and the three-dimensional information (and / or the average three-dimensional face coordinate information) of the reference feature points to add the position, size, and angle to the direction of the face image. May be normalized.
  • the average three-dimensional face shape information is face shape information obtained by averaging three-dimensional information of a predetermined number of face shapes.
  • the three-dimensional information of the face shape used for the averaging may or may not include the three-dimensional information of the face shape of the target person.
  • the normalization unit 505 does not hold the position of the reference feature point, the three-dimensional information of the reference feature point, and / or the average three-dimensional face shape information in advance, and obtains these pieces of information from a device or the like (not shown) You may
  • the processing point selection unit 502 selects a processing point.
  • the normalization unit 505 normalizes the feature points. Therefore, the processing point selection unit 502 selects a processing point from the normalized feature points. For example, the processing point selection unit 502 selects the end points of the eye, eyebrow, nose, and mouth in the image after normalization. In this case, the processing point is a point included in the normalized image.
  • the processing point selection unit 502 may select a point at a predetermined coordinate (for example, a reference feature point or a point at a predetermined position with respect to the reference feature point) in the face image after normalization.
  • the processing point selection unit 502 can select a point at the same position in all face images as a processing point.
  • the processing point is a point at a preset position in the normalized image.
  • the processing point selection unit 102 can not select the processing point in that portion.
  • the processing point selection unit 502 can select a point at a predetermined coordinate in the image after normalization as a processing point. Therefore, even when the feature point can not be detected in a portion susceptible to blurring, the image processing apparatus 50 can select the processing point in that portion.
  • the processing point selection unit 502 can select the processing point more robustly than the processing point selection unit 102.
  • FIG. 6 is a flowchart showing an example of the operation of the image processing apparatus 50 according to the second embodiment.
  • the image processing apparatus 50 may not necessarily execute each operation in the order shown in FIG.
  • the image processing apparatus 50 may execute steps S62 and S23 for each processing point.
  • the normalization unit 505 normalizes the face image based on the detected feature points (step S65). For example, the normalization unit 505 holds in advance three-dimensional information and / or average three-dimensional face shape information of a reference feature point corresponding to the feature point. Then, the normalization unit 505 obtains transformation parameters of perspective projection transformation that transforms the reference feature points into the detected feature points. Then, the normalization unit 505 projects the target face image on the average three-dimensional face shape using the obtained conversion parameter. As described above, the normalization unit 505 generates a face image whose position and the like are normalized. However, as described above, the normalization method is not limited to this method. The normalization unit 505 may use any method.
  • the processing point selecting unit 502 selects a processing point for calculating the degree of blur from the normalized face image (step S62). For example, the processing point selection unit 502 selects a point corresponding to the feature point in the normalized face image as the processing point.
  • the processing point selection unit 502 may select processing points from feature points in the normalized face image, or may select processing points using coordinate values of reference feature points used for normalization. Good.
  • the image processing apparatus 50 according to the second embodiment can obtain an effect of estimating the degree of blur with higher accuracy, in addition to the effects of the first embodiment.
  • the normalization unit 505 normalizes the face image. As a result, in the image after normalization, the relationship between adjacent pixels and the size of the area represented by one pixel become uniform in all face images.
  • the degree-of-blur calculation unit 103 calculates the degree of blur (blur index value of Equation 1) using the pixel to be calculated and the peripheral pixels of the pixel.
  • the normalization unit 505 equalizes the relationship between the pixel to be calculated and the peripheral pixels. Therefore, the calculation accuracy of the degree of blur (blur index value) at the processing point is improved as compared to that before normalization. As a result, the image processing apparatus 50 can improve the estimation accuracy of the estimated value of the degree of blur of the image using the degree of blur at the processing point.
  • the image processing apparatus 50 according to the second embodiment can achieve the effect of calculating the degree of blur more robustly.
  • a normalization unit 505 transforms the image so as to normalize the positions of the feature points. Therefore, the feature points are converted to the same position. As a result, even in the image in which the feature point detection unit 101 can not detect the feature point, the processing point selection unit 502 can select the processing point using the position in the image after normalization.
  • the image reception unit 100 receives a target face image from a camera (not shown).
  • the feature point detection unit 101 detects feature points of the face from the target face image.
  • the feature points of the face to be detected are as shown in FIG. 3, both eye corners (2 points), both eyes (2 points), nose (1 point), mouth end (2 points), double eyebrow (4 points) And 18 points of the face contour (7 points).
  • the normalization unit 505 normalizes the face image using the detected feature points of the face. Furthermore, the normalization unit 505 normalizes the face orientation using the average three-dimensional face shape information.
  • the processing point selection unit 502 selects a processing point from the generated normalized face image.
  • the processing points are assumed to be eleven feature points excluding seven of the outline from the above eighteen feature points (however, feature points after normalization).
  • the degree-of-blur calculation unit 103 calculates the degree of blur for the selected processing point.
  • the degree-of-blur calculation unit 103 uses the NPL1 method to calculate the degree of blur (blur index value).
  • the degree-of-blurring estimation unit 104 calculates, as the degree of blur of the image, the average value of the top five points from the largest value.
  • the image receiving unit 100 determines that the target face image has been received.
  • the feature point detection unit 101 detects feature points of the face in the target face image (step S21). For example, the feature point detection unit 101 detects feature points (18 points) in both eye corners, both eyes, under the nose, mouth end, eyebrows, and outline (face line) using the Viola-Jones method.
  • the normalization unit 505 normalizes the face image based on the feature points (step S65).
  • the normalization unit 505 holds in advance three-dimensional information of the reference feature points corresponding to the feature points and average three-dimensional face shape information. Then, the normalization unit 505 obtains transformation parameters of perspective projection transformation that transforms the reference feature point to the position of the detected feature point. Then, the normalization unit 505 projects the pixels onto the average three-dimensional face shape using the conversion parameter. Thus, the normalization unit 505 generates a face image in which the position, size, angle, and / or orientation are normalized.
  • the processing point selection unit 502 selects a processing point for which the degree of blur is to be calculated from the generated normalized face image (step S62).
  • the processing point selection unit 502 selects, as processing points, points corresponding to the remaining 11 points of the detected feature points (18 points) except the 7 points of the outline in the normalized face image.
  • the processing point selection unit 502 uses the coordinate value of the reference feature point used in normalization as the coordinate value of the feature point of the normalized face image.
  • the degree-of-blur calculation unit 103 calculates the degree of blur for the selected processing point (step S23).
  • the blur degree estimation unit 104 estimates (calculates) the blur degree of the image using the calculated blur degree (blur index value) (step S24).
  • the degree of blur (blur index value) calculated by the degree-of-blur calculation unit 103 indicates that the smaller the value, the more blur. Therefore, the degree-of-blur estimation unit 104 sorts the degrees of blur in descending order, and calculates an average value of the top five degrees of blur with a large value as the degree of blur of the image.
  • the image processing system 40 may include an image processing device 50 or an image processing device 11 in place of the image processing device 10.
  • FIG. 9 is a block diagram showing an example of the configuration of the image processing system 40. As shown in FIG.
  • the image processing system 40 includes an image processing device 10, an image transmission device 20, and an image reception device 30.
  • the image transmission device 20 is a device that transmits a target face image to the image processing device 10.
  • the image transmission device 20 is an imaging device 201.
  • the image transmission device 20 is an image storage device 202 that stores an image.
  • the image transmission device 20 may include a plurality of devices (for example, the imaging device 201 and the image storage device 202).
  • the image transmission device 20 is not limited to the above.
  • the image processing apparatus 10 estimates (calculates) the degree of blur using the target face image as described above.
  • the image reception device 30 receives the degree of blur of the image (estimated value of the degree of blur) from the image processing device 10, and displays a predetermined image. For example, the image reception device 30 receives, from the image processing device 10, the target face image and the degree of blur of the image. Then, the image reception device 30 selects and displays a target face image to be displayed based on the degree of blur.
  • the image reception device 30 may select a target face image to be used for face authentication based on the degree of blur.
  • the image receiving device 30 re-executes the image transmission to the image transmitting device 20 and / or the image processing device 10 You may request acquisition.
  • the present invention is applicable to automatic determination or selection of blurred face images.
  • the digital camera when photographing a person, can automatically adjust the focus when it is estimated that the person's face is blurred by a certain degree or more.
  • the digital camera when it is estimated that the face is blurred by a certain degree or more in the image after shooting, the digital camera can automatically set it as a deletion candidate.
  • the face authentication device urges re-shooting of the face image or corrects the score in the authentication. it can.
  • image processing apparatus 11 image processing apparatus 20 image transmission apparatus 30 image reception apparatus 50 image processing apparatus 60 image processing apparatus 100 image reception unit 101 feature point detection unit 102 processing point selection unit 103 blur degree calculation unit 104 blur degree estimation unit 201 imaging Unit 202 Image storage unit 502 Processing point selection unit 505 Normalization unit 610 CPU 620 ROM 630 RAM 640 Internal storage 650 IOC 660 Input device 670 Display device 680 NIC 700 recording media

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

顔画像のぼけ度を高速かつ高精度に推定するため、本発明の画像処理装置は、画像に含まれる対象物の認証に用いられる特徴点を検出する特徴点検出手段と、特徴点における所定の処理点のぼけ度である第１のぼけ度を計算するぼけ度計算手段と、第１のぼけ度を用いて対象物のぼけ度である第２のぼけ度を推定するぼけ度推定手段とを含む。

Description

画像処理装置、画像処理方法、及び、記録媒体
　本発明は、画像の処理に関し、特に、画像のぼけの処理に関する。
　画像のぼけの程度（以下、「ぼけ度」と呼ぶ）に応じて画像を取捨選択したいという状況は、数多く存在する。
　例えば、鑑賞用の画像において、被写体がぼけている画像は、好まれない。特に、人の顔に関しては、ぼけていない画像が、好まれることが多い。
　また、画像において、ぼけは、情報の劣化とみなせる。そのため、ぼけた画像は、積極的に排除されることが多い。例えば、認証用の画像において、認証対象のぼけは、認証精度の低下につながる。顔認証においても、ぼけた顔画像は、認証失敗の原因となる。そのため、認証対象の顔がどの程度ぼけているのかを知ることは、有用である。
　画像のぼけ度を推定する手法が、提案されている（例えば、特許文献１（ＰＴＬ１：Ｐａｔｅｎｔ　Ｌｉｔｅｒａｔｕｒｅ　１）及び非特許文献１（ＮＰＬ１：Ｎｏｎ－ｐａｔｅｎｔ　Ｌｉｔｅｒａｔｕｅ　１）を参照）。
　ＰＴＬ１に記載の技術（以下、技術を含め単に「ＰＴＬ１」と呼ぶ）は、画像中の顔領域から「ぼけ度」を計算する。画像中に複数の顔が存在した場合、ＰＴＬ１は、顔の面積に比例した重みを用いて、複数の顔におけるぼけ度の平均を計算する。そして、ＰＴＬ１は、平均を、その画像のぼけ度とする。
　ＰＴＬ１は、上記の計算において、顔領域全体の多重解像度画像に対して縦横斜めのエッジ点を抽出し、所定の基準値に基づいてエッジ点を分類し、一定の強度を有するエッジ点の中からぼけが発生しているエッジ点の割合を計算する。
　ＮＰＬ１に記載の技術（以下、技術を含め単に「ＮＰＬ１」と呼ぶ）は、被写体のぼけ度から奥行きを推定する技術である。ＮＰＬ１は、奥行きの推定過程において、画素のぼけ度を推定する。ぼけ度の推定において、ＮＰＬ１は、画像中の任意の画素に対して周辺画素との差分の絶対値和を取り、絶対値和が一定値以上の画素を所定の領域内で総和したものを、ぼけ度とする。
特開２０１０－０７９４４６号公報
S. K. Nayar and Y. Nakagawa, "Shape from Focus", IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume: 16, Issue: 8, August 1994, pp. 824-831
　ＰＴＬ１は、ぼけ度の計算の途中過程において、顔領域全体の多重解像度画像に対してエッジ抽出計算を必要とする。つまり、ＰＴＬ１は、顔領域に対して、複数の解像度における画像を処理する必要がある。そのため、ＰＴＬ１は、計算コストが高いという問題点があった。
　ＮＰＬ１は、顔画像に限らず、任意の画像の任意の画素のぼけ度を、低い計算コストで推定できる。
　しかし、顔画像などの所定の対象物を含む画像は、ぼけの影響を受けやすい部分と、受けにくい部分とがある。そのため、対象物を含む画像におけるぼけ度の推定は、ぼけ度を推定する位置などを考慮する必要がある。
　しかし、ＮＰＬ１は、ぼけ度の推定における位置（例えば、顔画像のぼけ度を推定する位置）に関して、言及していない。つまり、ＮＰＬ１は、画素のぼけ度を推定できるが、対象物を含む画像のぼけ度を推定できないという問題点があった。
　本発明の目的は、上記問題を解決し、画像における精度のよいぼけ度を、計算コストを低減して推定する画像処理装置などを提供することにある。
　本発明の一形態に係る画像処理装置は、画像に含まれる対象物の認証に用いられる特徴点を検出する特徴点検出手段と、特徴点における所定の処理点のぼけ度である第１のぼけ度を計算するぼけ度計算手段と、第１のぼけ度を用いて対象物のぼけ度である第２のぼけ度を推定するぼけ度推定手段とを含む。
　本発明の一形態に係る画像処理方法は、画像に含まれる対象物の認証に用いられる特徴点を検出し、特徴点における所定の処理点のぼけ度である第１のぼけ度を計算し、第１のぼけ度を用いて対象物のぼけ度である第２のぼけ度を推定する。
　本発明の一形態に係る記録媒体は、画像に含まれる対象物の認証に用いられる特徴点を検出する処理と、特徴点における所定の処理点のぼけ度である第１のぼけ度を計算する処理と、第１のぼけ度を用いて対象物のぼけ度である第２のぼけ度を推定する処理とをコンピュータに実行させるプログラムをコンピュータ読み取り可能に記録する。
　本発明に基づけば、画像における精度のよいぼけ度を、計算コストを低減して推定するとの効果を奏することができる。
図１は、本発明における第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２は、第１の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 図３は、特徴点検出部の動作の一例を説明するための図である。 図４は、処理点選択部の動作の一例を説明するための図である。 図５は、第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図６は、第２の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 図７は、第１の実施形態に係る画像処理装置の概要の一例を示すブロック図である。 図８は、第１の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 図９は、第１の実施形態に係る画像処理システムの構成の一例を示す図である。
　以下、図面を参照して、本発明における実施形態について説明する。
　各図面は、本発明における実施形態を説明するためのものである。ただし、以下の実施形態に記載されている構成要素は、例示であり、本発明を限定するものではない。
　各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。
　なお、以下の説明において、実施形態における処理の対象として、「顔画像の認証」に影響する「画像のぼけ」を用いる。例えば、各実施形態は、顔認証に用いる特徴点を検出する。さらに、各実施形態は、特徴点から顔認証に影響するぼけに関連する処理点を選択する。
　ただし、これは、各実施形態に関連する画像処理、処理対象の画像、画像に含まれる対象物、画像の劣化、及び、抽出する特徴点などを限定するものではない。
　例えば、処理対象となる画像は、画像の処理に関連する特徴点（例えば、認証に用いる特徴点）を抽出できる画像であればよい。例えば、処理対象となる画像は、人、生物、又は車などの全体画像でもよい。
　あるいは、特徴点は、認識対象を基に選択されればよい。例えば、特徴点は、文字認識などにおける端点、交点、分岐点、及び屈折点などでもよい。
　あるいは、各実施形態は、焦点のずれなどに基づいて発生する「ぼけ」に限らず、照明不足、霧などの障害物、又は、対象物の移動など基づいて発生する画像の劣化を処理対象として用いてもよい。
　＜第１の実施形態＞
　以下、図面を参照して、本発明における第１の実施形態について説明する。
［構成の説明］
　まず、図面を参照して、第１の実施形態に係る画像処理装置１０の構成について説明する。
　図１は、本発明における第１の実施形態に係る画像処理装置１０の構成の一例を示すブロック図である。
　画像処理装置１０は、画像受信部１００と、特徴点検出部１０１と、処理点選択部１０２と、ぼけ度計算部１０３と、ぼけ度推定部１０４とを含む。
　画像受信部１００は、所定の装置（例えば、撮像装置）から、顔画像を受信する。あるいは、画像受信部１００は、所定の装置（例えば、記憶装置）から、顔画像を取得してもよい。以下、画像受信部１００が受信又は所得した顔画像を「対象顔画像」とも呼ぶ。
　本実施形態において、対象顔画像は、限定されない。対象顔画像は、カラー画像でもよく、白黒画像でもよい。対象顔画像は、カメラ等の撮像装置が撮像した画像でもよいし、人物の顔が写った画像を保存する記録媒体又は記憶装置等から読み出された画像でもよい。さらに、対象顔画像は、補正された画像（例えば、トリミング又は色補正等が施された画像）でもよい。
　特徴点検出部１０１は、顔認証に用いるため、対象顔画像に写った人物の顔領域、及び、顔の特徴点を検出する。
　顔の特徴点とは、目及び口など、その人物の顔（顔の輪郭を含む）における、その人物の特徴を表す点である。
　特徴点検出部１０１が用いる方法は、限定されない。例えば、顔領域及び顔の特徴点を検出する方法として、Ｖｉｏｌａ－Ｊｏｎｅｓ法がある。ただし、Ｖｉｏｌａ－Ｊｏｎｅｓ法は、特徴点検出部１０１が用いる方法の一例である。特徴点検出部１０１は、その他の手法を用いて、顔領域、及び、顔の特徴点を検出してもよい。
　処理点選択部１０２は、検出された特徴点の中から、ぼけ度の計算の対象となる点（以下、「処理点」と呼ぶ）を選択する。処理点は、予め、対象物（今の場合、顔）におけるぼけの影響を受けやすい部分から決定された点である。
　例えば、口及び目など顔の部分品、特に部分品の端点は、顔の認証に有効となる点である。これらの部分がぼけると、顔認証の精度が低下する。そこで、処理点として、例えば、対象物（今の場合、顔）の部分品（例えば、目及び口）の端点（例えば、目頭、目尻、及び口端）の少なくとも一部が選択される。例えば、処理点選択部１０２は、選択する処理点として、目、鼻、及び、口などの顔の主要な部分品（パーツ）の端点の少なくとも一部を保持し、特徴点からその処理点を選択する。
　さらに、処理点選択部１０２は、部分品の端点に加え、２つの端点を結んだ線分の分割点（例えば、線分の中点、三等分点、及び／又は、四等分点）、及び／又は、その線分を延長した延長線上の点を選択してもよい。
　処理点選択部１０２は、予め選択する処理点を保持していてもよい。あるいは、処理点選択部１０２は、対象となる顔画像と共に処理点を取得してもよい。なお、画像処理装置１０における処理点が固定の場合、特徴点検出部１０１又はぼけ度計算部１０３が、処理点選択部１０２の機能を含んでもよい。
　ぼけ度計算部１０３は、選択された処理点それぞれに対して、ぼけ度（第１のぼけ度）を計算する。ただし、ぼけ度計算部１０３は、計算コストの低い計算方法を用いることが望ましい。例えば、ぼけ度計算部１０３は、ぼけ度の計算方法として、ＮＰＬ１に記載された方法を用いてもよい。ただし、ＮＰＬ１に記載の方法は、ぼけ度計算部１０３が用いる方法の一例である。ぼけ度計算部１０３は、その他の手法を用いて、ぼけ度を計算してもよい。
　ぼけ度推定部１０４は、ぼけ度計算部１０３が計算したぼけ度を用いて、顔画像としてぼけ度（第２のぼけ度）を推定する。言い換えると、ぼけ度推定部１０４は、所定の処理点のぼけ度（第１のぼけ度）を用いて、顔画像としてのぼけ度（第２のぼけ度）の推定値を計算する。
　ぼけ度推定部１０４が用いるぼけ度は、限定されない。顔画像のぼけ度は、対象となる顔画像、又は、ぼけ度を用いる装置など、所定の知見を基に決定されればよい。
　例えば、算出したぼけ度が大きい処理点が顔画像のぼけ度として適切な場合、ぼけ度推定部１０４は、顔画像のぼけ度として、処理点のぼけ度の大きい方から所定数のぼけ度を平均した値を用いてもよい。あるいは、算出したぼけ度が小さい処理点が顔画像のぼけ度として適切な場合、ぼけ度推定部１０４は、顔画像のぼけ度として、処理点のぼけ度の小さい方から所定数のぼけ度を平均した値を用いてもよい。あるいは、算出したぼけ度が大きい処理点が顔画像のぼけ度として適切な場合、ぼけ度推定部１０４は、顔画像のぼけ度として、所定の閾値より大きな値である処理点のぼけ度の平均値を用いてもよい。あるいは、算出したぼけ度が小さい処理点が顔画像のぼけ度として適切な場合、ぼけ度推定部１０４は、顔画像のぼけ度として、所定の閾値より小さい値となる処理点のぼけ度の平均値を用いてもよい。さらに、ぼけ度推定部１０４は、平均値に限らず、中間値、又は、合計値など他の値を用いてもよい。
　ぼけ度推定部１０４は、推定した顔画像のぼけ度を所定の装置に出力する。
［動作の説明］
　次に、図面を参照して、第１の実施形態に係る画像処理装置１０の動作を説明する。
　図２は、第１の実施形態に係る画像処理装置１０の動作の一例を示すフローチャートである。ただし、図２に示す動作の流れは、一例である。画像処理装置１０は、各動作を、必ずしも図２に示された順に実行しなくてもよい。例えば、画像処理装置１０は、処理点毎に、ステップＳ２２及びＳ２３を実行してもよい。
　なお、画像受信部１００は、対象顔画像を受信済みとする。
　特徴点検出部１０１は、対象顔画像における顔領域、及び、顔の特徴点を検出する（ステップＳ２１）。
　図３は、特徴点検出部１０１の動作の一例を説明するための図である。
　図３の左側が、対象顔画像の一例である。
　図３の右側における円で示される点が、特徴点検出部１０１が検出した特徴点の一例である。図３の場合、特徴点検出部１０１は、特徴点として、目尻、目頭、鼻下、口端、眉端、及び、顔の輪郭（フェイスライン）を検出している。
　図２を参照した説明に戻る。
　処理点選択部１０２は、検出された特徴点から、ぼけ度を計算する処理点を選択する（ステップＳ２２）。処理点は、ぼけの影響を受けやすい点として、予め処理点選択部１０２に設定されている。例えば、顔の部分品（目、眉、鼻、及び、口を含む領域）は、ぼけの影響を受けやすい。そこで、例えば、処理点選択部１０２は、処理点として、顔の部分品の端点の特徴点を選択する。さらに、処理点選択部１０２は、処理点として、２つの処理点を結ぶ線分の間の点（例えば、処理点を結ぶ線分の中点）、及び／又は、その線分を延長した延長線上の点を選択してもよい。なお、処理点が、分割点などを含む場合、これらの点も、予め処理点選択部１０２に設定されている。
　図４は、処理点選択部１０２の動作の一例を説明するための図である。
　図４の左側が、図３の右側に対応する特徴点検出部１０１が検出した特徴点を示す。
　図４の右側が、選択された処理点の一例を示す図である。図４の右側の四角形で示される点が、処理点である。図４の場合、処理点選択部１０２は、処理点として、特徴点から次の１１点を選択している。
（１）両目頭と両目尻（４点）
（２）鼻下（１点）
（３）口端（２点）
（４）両眉端（４点）
　さらに、処理点選択部１０２は、上記に加え、次の４点を選択している。
（１）左目頭と鼻下とを結ぶ線分の中点
（２）右目頭と鼻下とを結ぶ線分の中点
（３）左目尻と左口端とを結ぶ線分の中点
（４）右目尻と右口端とを結ぶ線分の中点
　図２を参照した説明に戻る。
　上記のとおり、処理点選択部１０２は、顔画像における特徴点から、ぼけの影響を受けやすい点（例えば、部分品の端部）を選択する。そのため、以下の処理において、画像処理装置１０は、ぼけに対して精度の高い処理を実現できる。
　ぼけ度計算部１０３は、選択された処理点に対して、ぼけ度を計算する（ステップＳ２３）。例えば、ぼけ度計算部１０３は、選択された処理点の各点に対して、ＮＰＬ１に記載された方法を用いてぼけ度を計算する。
　参考として、ＮＰＬ１が用いるぼけ度を簡単に説明する。
　等式１は、ＮＰＬ１に用いられているぼけ度であるぼけ指標値Ｆ（ｉ，ｊ）を求める式である。ｉ及びｊは、画像上の画素の位置（例えば、ｉが横座標の位置で、ｊが縦座標の位置）である。関数ＭＬ（）は、絶対値和の関数である。ｓは、対象画素と、予め決められた周辺画素との距離（画素数）である。一般的に、ｓは、「１」つまり、隣の画素である。しかし、ｓは、１より大きな数でもよい。関数Ｉ（）は、画素の値である。Ｔ１は、所定の閾値である。Ｎは、所定の自然数である。
　座標（ｉ，ｊ）の画素におけるぼけ指標値Ｆ（ｉ，ｊ）は、画素（ｉ，ｊ）を中心とした上下左右それぞれＮ画素までの領域「（２Ｎ＋１）×（２Ｎ＋１）」の各画素を対象として計算される。詳細には、ぼけ指標値Ｆ（ｉ，ｊ）は、各画素と、距離（画素）sだけ離れた周辺画素との差分の絶対値和ＭＬ（ｘ，ｙ）が、所定の閾値（Ｔ１）以上となる絶対値和ＭＬ（ｘ，ｙ）の総和である。この場合のぼけ度は、その値が小さいほど、周辺画素との差が小さい、つまり、ぼけていることを示す指標である。
　［等式１］
Figure JPOXMLDOC01-appb-I000001
　等式１を処理点に適用した場合、ぼけ度計算部１０３は、次のようにぼけ度（指標値（ｉ，ｊ））を計算する。まず、ぼけ度計算部１０３は、処理点を中心として上下左右それぞれ所定数（Ｎ）の画素までの領域の画素と処理点との絶対値和を算出する。そして、ぼけ度計算部１０３は、所定の閾値より大きい絶対値和の操作を、ぼけ度とする。
　上記の等式１、つまり、ＮＰＬ１の計算は、一つの画像における加減算の処理のため、計算コストが低い。ぼけ度計算部１０３は、処理点におけるぼけ度の計算において、上記のような計算コストの低い方法を用いる。
　ぼけ度推定部１０４は、処理点において計算されたぼけ度を用いて、顔画像のぼけ度を推定する（ステップＳ２４）。
　顔認証において、認証において重要な部分（ぼけの影響を受けやすい部分）の中にぼけが少ない部分があると、顔認証の精度は、低下しにくい。顔認証においては、最もぼけていない部分でのぼけ度が、認証の精度に影響を与える。そこで、例えば、値が小さいほど画像がぼけているというぼけ度の場合、ぼけ度推定部１０４は、画像のぼけ度として、ぼけ度を値が大きい処理点（ぼけていない点）から所定数の処理点のぼけ度の平均値を計算する。ぼけ度推定部１０４は、平均値に替えて中央値又は総和を計算してもよい。平均値などの計算は、計算コストが低い計算の一例である。ぼけ度推定部１０４は、第２のぼけ度として、第１のぼけ度（処理点のぼけ度）の少なくとも一部の平均値、中央値、又は総和を計算する。
　この場合、ぼけ度推定部１０４は、顔画像の全ての点におけるぼけ度ではなく、ぼけの影響を受けやすい一部の点（処理点）のぼけ度を用いたぼけ度を計算している。そのため、ぼけ度推定部１０４が計算したぼけ度は、顔画像のぼけ度の推定値である。ただし、この推定値は、ぼけの影響を受けやすい点を用いた推定である。そのため、この推定は、計算コストが低いが、顔画像のぼけ度の推定としては有効な推定となる。
　このように、ぼけ度推定部１０４は、計算コストが低い計算方法を用いて画像のぼけ度の推定値を計算する。
　以上のように、特徴点検出部１０１は、画像における対象物の特徴を示す特徴点を検出する。そして、処理点選択部１０２は、特徴点の中から、予め設定されたぼけの影響を受けやすい処理点を選択する。ぼけ度計算部１０３は、計算コストが低い計算方法を用いて、処理点のぼけ度を計算する。そして、ぼけ度推定部１０４は、計算コストの低い計算方法を用いて、処理点のぼけ度（第１のぼけ度）から画像のぼけ度（第２のぼけ度）を推定（計算）する。そのため、画像処理装置１０は、画像における精度のよいぼけ度を、計算コストを低減して得ることができる。
　［効果の説明］
　次に、第１の実施形態に係る画像処理装置１０の効果について説明する。
　第１の実施形態に係る画像処理装置１０は、画像における精度のよいぼけ度を、計算コストを低減して計算するとの効果を得ることができる。
　その理由は、次のとおりである。
　画像処理装置１０は、特徴点検出部１０１と、処理点選択部１０２と、ぼけ度計算部１０３と、ぼけ度推定部１０４とを含む。特徴点検出部１０１は、画像に含まれる対象物の認証に用いられる特徴点を検出する。処理点選択部１０２は、特徴点から所定の処理点を選択する。ぼけ度計算部１０３は、処理点のぼけ度（第１のぼけ度）を計算する。ぼけ度推定部１０４は、処理点のぼけ度を用いて顔画像（対象物）のぼけ度（第２のぼけ度）を推定（計算）する。
　特徴点検出部１０１は、画像における対象物の特徴を示す特徴点を検出する。
　そして、処理点選択部１０２は、特徴点の中から、予め設定された処理点（例えば、ぼけの影響を受けやすい部分品の端点）を選択する。
　ぼけ度計算部１０３は、処理点におけるぼけ度を計算する。ただし、既に説明したとおり、ぼけ度計算部１０３は、ＮＰＬ１など計算コストが低い計算方法を用いて、処理点におけるぼけ度を計算する。上記のとおり、処理点は、ぼけの影響を受けやすい点である。そのため、ぼけ度計算部１０３が計算したぼけ度は、ぼけの影響を受けやすい点におけるぼけ度である。ぼけ度計算部１０３は、計算コストを低減して、精度のよいぼけ度を計算する。
　そして、ぼけ度推定部１０４は、ぼけ度計算部１０３が計算したぼけ度を用いて、画像におけるぼけ度を推定する。ただし、既に説明したとおり、ぼけ度推定部１０４は、平均値など計算コストの低い計算方法を用いて、画像におけるぼけ度を推定する。ぼけ度推定部１０４は、計算コストを低減して、精度のよい画像のぼけ度を推定する。
　このように、画像処理装置１０は、画像における精度のよいぼけ度の推定値を、計算コストを低減して得ることができる。
　［実施形態の概要］
　図面を参照して第１の実施形態の概要を説明する。
　図７は、第１の実施形態に係る画像処理装置１０の概要である画像処理装置１１の構成の一例を示すブロック図である。画像処理装置１１は、特徴点検出部１０１と、ぼけ度計算部１０３と、ぼけ度推定部１０４とを含む。特徴点検出部１０１は、画像に含まれる対象物の認証に用いられる特徴点を検出する。ぼけ度計算部１０３は、特徴点における所定の処理点のぼけ度である第１のぼけ度を計算する。ぼけ度推定部１０４は、第１のぼけ度を用いて対象物のぼけ度である第２のぼけ度を推定する。
　特徴点検出部１０１は、画像における対象物の特徴を示す特徴点を検出する。
　ぼけ度計算部１０３は、例えば、特徴点の中から、予め設定された処理点におけるぼけ度を計算してもよい。処理点は、ぼけの影響を受けやすい点（例えば、ぼけの影響を受けやすい部分品の端点）と仮定する。この場合、ぼけ度計算部１０３が計算したぼけ度は、ぼけの影響を受けやすい点におけるぼけ度である。その結果、ぼけ度計算部１０３は、計算コストを低減して、精度のよいぼけ度を計算する。すなわち、ぼけ度計算部１０３は、ＮＰＬ１など計算コストが低い計算方法を用いて、処理点におけるぼけ度を計算する。
　そして、ぼけ度推定部１０４は、ぼけ度計算部１０３が計算したぼけ度を用いて、画像におけるぼけ度を推定する。この場合、既に説明したとおり、ぼけ度推定部１０４は、平均値など計算コストの低い計算方法を用いて、画像におけるぼけ度を推定することができる。その結果、ぼけ度推定部１０４は、計算コストを低減して、精度のよい画像のぼけ度を推定することができる。
　要するに、第１の最小構成である画像処理装置１１は、画像処理装置１０と同様に、画像における精度のよいぼけ度を、計算コストを低減して計算するとの効果を奏することができる。
　［ハードウェア構成］
　画像処理装置１０を参照して、画像処理装置１０及び１１のハードウェアの構成について説明する。
　画像処理装置１０は、次のように構成される。
　例えば、画像処理装置１０の各構成部は、ハードウェア回路で構成されてもよい。
　あるいは、画像処理装置１０において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。
　あるいは、画像処理装置１０において、複数の構成部は、１つのハードウェアで構成されてもよい。
　あるいは、画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）とを含むコンピュータ装置として実現されてもよい。画像処理装置１０は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Ｉｎｐｕｔ　ａｎｄ　Ｏｕｔｐｕｔ　Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。画像処理装置１０は、上記構成に加え、さらに、ネットワークインターフェース回路（ＮＩＣ：Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。
　図８は、第１の実施形態に係る画像処理装置１０のハードウェア構成の一例である画像処理装置６０の構成を示すブロック図である。
　画像処理装置６０は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。
　ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１に示される、画像受信部１００と、特徴点検出部１０１と、処理点選択部１０２と、ぼけ度計算部１０３と、ぼけ度推定部１０４としての各機能を実現する。
　ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記録媒体として使用してもよい。
　また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記録媒体７００が含むプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０又は内部記憶装置６４０に保存して、保存したプログラムを基に動作してもよい。
　ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ－ＲＯＭ）又はフラッシュＲＯＭである。
　ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ－ＲＡＭ）である。
　内部記憶装置６４０は、画像処理装置６０が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。
　ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。一方、ＲＡＭ６３０は、揮発性（ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記録媒体又は揮発性記録媒体を用いて動作可能である。
　ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）カードである。さらに、ＩＯＣ６５０は、ＵＳＢのような有線に限らず、無線を用いてもよい。
　入力機器６６０は、画像処理装置６０の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。
　表示機器６７０は、画像処理装置６０の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。
　ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）カードである。さらに、ＮＩＣ６８０は、有線に限らず、無線を用いてもよい。
　このように構成された画像処理装置６０は、画像処理装置１０と同様の効果を得ることができる。
　その理由は、画像処理装置６０のＣＰＵ６１０が、プログラムに基づいて画像処理装置１０と同様の機能を実現できるためである。
　＜第２の実施形態＞
　次に、図面を参照して、第２の実施形態について説明する。
　［構成の説明］
　まず、図面を参照して、第２の実施形態に係る画像処理装置５０の構成について説明する。
　図５は、第２の実施形態に係る画像処理装置５０の構成の一例を示すブロック図である。
　画像処理装置５０は、第１の実施形態に係る画像処理装置１０と比較すると、処理点選択部１０２に替えて処理点選択部５０２を含む。さらに、画像処理装置５０は、正規化部５０５を含む。その他の構成は、第１の実施形態に係る画像処理装置１０の構成と同一のため、その詳細な説明を省略する。
　画像処理装置５０は、画像処理装置１０と同様に、図８に示されるコンピュータ装置を用いて実現されてもよい。
　正規化部５０５は、特徴点検出部１０１が検出した特徴点に基づいて、対象顔画像を正規化する。以下、正規化後の画像を「正規化画像」と呼ぶ。
　本実施形態において、正規化の対象範囲は、限定されない。例えば、正規化は、顔画像の位置、顔画像の大きさ、及び／又は、顔画像の角度の正規化である。
　また、正規化部５０５が用いる正規化の手法は、限定されない。例えば、正規化部５０５は、予め、基準特徴点を保持してもよい。基準特徴点とは、正規化において、予め決められた位置（この位置を「基準」と呼ぶ）に変換される特徴点である。正規化部５０５は、予め保持する基準特徴点と、対象顔画像における特徴点とを用いて、対象顔画像を変換する。
　この場合、正規化部５０５は、基準特徴点に対応した対象顔画像の特徴点が、基準特徴点の位置となるように、対象顔画像を変換（例えば、アフィン変換）する。正規化部５０５は、正規化に用いる画像変換の方法として、アフィン変換に限らず、射影変換、相似変換、又は、透視投影変換などの方法を用いてもよい。
　あるいは、正規化部５０５は、予め、基準特徴点の３次元情報及び／又は平均３次元顔形状情報も保持してもよい。この場合、正規化部５０５は、対象顔画像と、基準特徴点の３次元情報（及び／又は平均３次元顔座標情報）とを用いて、位置、大きさ、角度に加え、顔画像の向きを正規化してもよい。
　平均３次元顔形状情報とは、所定数の顔形状の３次元情報を平均化して得られる顔形状情報である。平均に用いられる顔形状の３次元情報は、対象となる人物の顔形状の３次元情報を含んでもよく、含まなくてもよい。
　正規化部５０５は、予め、基準特徴点の位置、基準特徴点の３次元情報、及び／又は、平均３次元顔形状情報を保持せず、処理に際して図示しない装置などから、これらの情報を取得してもよい。
　処理点選択部５０２は、処理点を選択する。ただし、正規化部５０５が、特徴点を正規化している。そのため、処理点選択部５０２は、正規化後の特徴点から処理点を選択する。例えば、処理点選択部５０２は、正規化後の画像における目、眉、鼻、及び口の端点を選択する。この場合、処理点は、正規化画像に含まれる点となる。
　ただし、正規化後の画像において、基準特徴点に対応する特徴点は、いずれの顔画像においても、同じ位置に変換される。そこで、処理点選択部５０２は、正規化後の顔画像における所定の座標の点（例えば、基準特徴点、又は、基準特徴点に対した所定の位置の点）を選択してもよい。この場合、処理点選択部５０２は、処理点として、全ての顔画像において同じ位置の点を選択できる。この場合、処理点は、正規化画像における予め設定された位置の点となる。
　例えば、画像によっては、特徴点検出部１０１が、ぼけの影響を受けやすい部分での特徴点を検出しにくい場合がある。この場合、第１の実施形態に係る処理点選択部１０２は、その部分において処理点を選択できない。
　しかし、第２の実施形態に係る処理点選択部５０２は、処理点として正規化後の画像における所定の座標の点を選択できる。そのため、画像処理装置５０は、ぼけの影響を受けやすい部分で特徴点が検出できない場合でも、その部分における処理点を選択できる。
　このように、処理点選択部５０２は、処理点選択部１０２よりも頑強に処理点を選択できる。
　［動作の説明］
　次に、図面を参照して、第２の実施形態に係る画像処理装置５０の動作の一例を説明する。
　図６は、第２の実施形態に係る画像処理装置５０の動作の一例を示すフローチャートである。ただし、図６に示す動作の流れは一例である。画像処理装置５０は、各動作を、必ずしも図６に示された順に実行しなくてもよい。例えば、画像処理装置５０は、処理点毎に、ステップＳ６２及びＳ２３を実行してもよい。
　なお、第１の実施形態に係る画像処理装置１０の動作と同じ動作については、詳細な説明を省略する。
　正規化部５０５は、検出された特徴点に基づいて、顔画像を正規化する（ステップＳ６５）。例えば、正規化部５０５は、予め、特徴点に対応した基準特徴点の３次元情報及び／又は平均３次元顔形状情報を保持する。そして、正規化部５０５は、基準特徴点を、検出された特徴点に変換する透視投影変換の変換パラメータを求める。そして、正規化部５０５は、求めた変換パラメータを用いて、平均３次元顔形状上に対象顔画像を投影する。このように、正規化部５０５は、位置などを正規化した顔画像を生成する。ただし、前述のとおり、正規化方法は、この方法に限らない。正規化部５０５は、任意の方法を用いてよい。
　処理点選択部５０２は、正規化後の顔画像から、ぼけ度を計算する処理点を選択する（ステップＳ６２）。例えば、処理点選択部５０２は、処理点として、正規化された顔画像において特徴点に対応する点を選択する。処理点選択部５０２は、正規化された顔画像における特徴点から処理点を選択してもよいし、正規化に利用された基準特徴点の座標値を利用して処理点を選択してもよい。
　［効果の説明］
　次に、第２の実施形態に係る画像処理装置５０の効果について説明する。
　第２の実施形態に係る画像処理装置５０は、第１の実施形態の効果に加え、ぼけ度をより高精度に推定するとの効果を得ることができる。
　その理由は、次のとおりである。
　処理点選択部１０２がぼけ度を計算する処理点を選択する前に、正規化部５０５が、顔画像を正規化する。その結果、正規化後の画像において、隣接画素間の関係性、及び、１画素が表す領域の大きさが、全ての顔画像において均一となる。
　等式１を用いる場合、ぼけ度計算部１０３は、計算対象の画素と、その画素の周辺画素とを用いてぼけ度（等式１のぼけ指標値）を計算する。正規化部５０５は、計算対象の画素と周辺画素との間の関係を均一化する。そのため、処理点におけるぼけ度（ぼけ指標値）の計算精度は、正規化前に比べ、向上する。その結果、画像処理装置５０は、処理点におけるぼけ度を用いた画像のぼけ度の推定値の推定精度を向上できる。
　さらに、第２の実施形態に係る画像処理装置５０は、より頑強にぼけ度を計算するとの効果を奏することができる。
　その理由は、次のとおりである。
　正規化部５０５が、特徴点の位置を正規化するように画像を変換する。そのため、特徴点は、同じ位置に変換される。その結果、特徴点検出部１０１が特徴点を検出できない画像においても、処理点選択部５０２は、正規化後の画像における位置を用いて、処理点を選択できるためである。
　［詳細例］
　次に、図面を参照して、第２の実施形態の詳細例について説明する。
　（構成の説明）
　以下の説明における画像処理装置５０の構成は、上記の説明と同じである。ただし、各構成は、次の説明するとおり、より詳細な動作を実行する。
　画像受信部１００は、図示しないカメラから対象顔画像を受信する。
　特徴点検出部１０１は、対象顔画像から顔の特徴点を検出する。検出する顔の特徴点は、図３に示されている、両目尻（２点）、両目頭（２点）、鼻下（１点）、口端（２点）、両眉端（４点）、及び、顔輪郭（７点）の１８点とする。
　正規化部５０５は、検出された顔の特徴点を利用して、顔画像を正規化する。さらに、正規化部５０５は、平均３次元顔形状情報を用いて、顔の向きを正規化する。
　処理点選択部５０２は、生成された正規化顔画像から処理点を選択する。処理点は、上記の１８個の特徴点から、輪郭の７個を除く１１個の特徴点（ただし、正規化後の特徴点）とする。
　ぼけ度計算部１０３は、選択された処理点に対してぼけ度を計算する。ぼけ度計算部１０３は、ぼけ度（ぼけ指標値）の計算に、ＮＰＬ１の方法を利用する。
　ぼけ度推定部１０４は、画像のぼけ度として、ぼけ度計算部１０３が計算したぼけ度の中で、値の大きい方から上位５点の平均値を計算する。
　（動作の説明）
　次に、詳細例の動作について説明する。動作フローは、図６である。
　なお、画像受信部１００は、対象顔画像を受信済みとする。
　特徴点検出部１０１が、対象顔画像中の顔の特徴点を検出する（ステップＳ２１）。例えば、特徴点検出部１０１は、Ｖｉｏｌａ－Ｊｏｎｅｓ法を用いて、両目尻、両目頭、鼻下、口端、眉、及び輪郭（フェイスライン）における特徴点（１８点）を検出する。
　正規化部５０５が、特徴点に基づいて、顔画像を正規化する（ステップＳ６５）。正規化部５０５は、予め、特徴点に対応した基準特徴点の３次元情報及び平均３次元顔形状情報を保持する。そして、正規化部５０５は、基準特徴点を、検出された特徴点の位置に変換する透視投影変換の変換パラメータを求める。そして、正規化部５０５は、その変換パラメータを使って画素を平均３次元顔形状上へ投影する。このように、正規化部５０５は、位置、大きさ、角度、及び／又は、向きを正規化した顔画像を生成する。
　処理点選択部５０２が、生成された正規化後の顔画像から、ぼけ度を計算する処理点を選択する（ステップＳ６２）。処理点選択部５０２は、処理点として、正規化された顔画像において、検出された特徴点（１８点）において輪郭の７点を除く残りの１１点に対応する点を選択する。処理点選択部５０２は、正規化された顔画像の特徴点の座標値として、正規化において利用された基準特徴点の座標値を利用する。
　ぼけ度計算部１０３は、選択された処理点に対して、ぼけ度を計算する（ステップＳ２３）。ぼけ度計算部１０３は、選択された各処理点に対して、ＮＰＬ１に記載された計算方法を用いて、ぼけ度を計算する。具体的には、ぼけ度計算部１０３は、等式１において、「ｓ＝１，Ｎ＝２，Ｔ１＝７」として、処理点のぼけ度（ぼけ指標値Ｆ（ｉ，ｊ））を計算する。
　ぼけ度推定部１０４が、計算されたぼけ度（ぼけ指標値）を用いて、画像のぼけ度を推定（計算）する（ステップＳ２４）。今の場合、ぼけ度計算部１０３が計算したぼけ度（ぼけ指標値）は、値が小さいほどぼけていることを示す。そのため、ぼけ度推定部１０４は、ぼけ度を大きい順にソートし、画像のぼけ度として値が大きい上位５点のぼけ度の平均値を計算する。
　＜画像処理システム＞
　次に図面を参照して、画像処理装置１０を含む画像処理システム４０について説明する。画像処理システム４０は、画像処理装置１０に替えて、画像処理装置５０、又は、画像処理装置１１を含んでもよい。
　図９は、画像処理システム４０の構成の一例を示すブロック図である。
　画像処理システム４０は、画像処理装置１０と、画像送信装置２０と、画像受信装置３０とを含む。
　画像送信装置２０は、対象顔画像を画像処理装置１０に送信する装置である。例えば、画像送信装置２０は、撮像装置２０１である。あるいは、画像送信装置２０は、画像を保存する画像記憶装置２０２である。画像送信装置２０は、複数の装置（例えば、撮像装置２０１と画像記憶装置２０２）を含んでもよい。ただし、画像送信装置２０は、上記に限定されない。
　画像処理装置１０は、既に説明したとおり、対象顔画像を用いて、ぼけ度を推定（計算）する。
　画像受信装置３０は、画像処理装置１０から画像のぼけ度（ぼけ度の推定値）を受信して、所定の画像を表示する。例えば、画像受信装置３０は、画像処理装置１０から、対象顔画像、及び、その画像のぼけ度を受信する。そして、画像受信装置３０は、ぼけ度を基に表示する対象顔画像を選択して表示する。
　あるいは、画像受信装置３０は、ぼけ度を基に顔認証に用いる対象顔画像を選択してもよい。
　さらに、画像受信装置３０は、受信した対象画像のぼけ度の推定値が所定の条件を満足しない場合（例えば、ぼけがひどい場合）、画像送信装置２０及び／又は画像処理装置１０に画像の再取得を依頼してもよい。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　本発明は、ぼけた顔画像の自動判定又は選別に利用可能である。
　例えば、本発明を利用すると、デジタルカメラは、人物を撮影する際に、人物の顔が一定以上ぼけていると推定された場合に、自動でフォーカスを調整できる。あるいは、デジタルカメラは、撮影後の画像において、顔が一定以上ぼけていると推定された場合、自動的に消去候補とすることができる。また、顔認証装置は、本発明を利用して、認証対象の顔画像が一定以上ぼけていると推定される場合に、顔画像の撮影をやり直すように促したり、認証におけるスコアを補正したりできる。
　１０　　画像処理装置
　１１　　画像処理装置
　２０　　画像送信装置
　３０　　画像受信装置
　５０　　画像処理装置
　６０　　画像処理装置
　１００　　画像受信部
　１０１　　特徴点検出部
　１０２　　処理点選択部
　１０３　　ぼけ度計算部
　１０４　　ぼけ度推定部
　２０１　　撮像装置
　２０２　　画像記憶装置
　５０２　　処理点選択部
　５０５　　正規化部
　６１０　　ＣＰＵ
　６２０　　ＲＯＭ
　６３０　　ＲＡＭ
　６４０　　内部記憶装置
　６５０　　ＩＯＣ
　６６０　　入力機器
　６７０　　表示機器
　６８０　　ＮＩＣ
　７００　　記録媒体

Claims (10)

  1. 　画像に含まれる対象物の認証に用いられる特徴点を検出する特徴点検出手段と、
    　前記特徴点における所定の処理点のぼけ度である第１のぼけ度を計算するぼけ度計算手段と、
    　前記第１のぼけ度を用いて前記対象物のぼけ度である第２のぼけ度を推定するぼけ度推定手段と
    　を含む画像処理装置。
  2. 　前記特徴点から前記所定の処理点を選択する処理点選択手段を、
    　さらに含む請求項１に記載の画像処理装置。
  3. 　前記処理点が、前記対象物に含まれる部分品の端点である
    　請求項１又は２に記載に画像処理装置。
  4. 　前記処理点が、前記処理点の少なくとも一部を結んだ線分の分割点、及び、前記線分を延長した延長線上の点の少なくともどちらか一つをさらに含む
    　請求項３に記載の画像処理装置。
  5. 　前記ぼけ度計算手段が、前記第１のぼけ度として、前記処理点を中心として上下左右それぞれ所定数の画素までの領域の画素と前記処理点との絶対値和を算出し、所定の閾値より大きい前記絶対値和の総和を算出し、
    　前記ぼけ度推定手段が、前記第２のぼけ度として、前記第１のぼけ度の少なくとも一部の平均値、中央値、又は総和を算出する
    　請求項１ないし４のいずれか１項に記載の画像処理装置。
  6. 　前記対象物の位置、大きさ、角度、及び向きの少なくとも一つにおいて前記対象物を正規化した正規化画像を生成する正規化手段をさらに含み、
    　前記処理点が、前記正規化画像に含まる点である
    　請求項１ないし５のいずれか１項に記載の画像処理装置。
  7. 　前記正規化手段が、
    　正規化の基準となる所定の基準特徴点を保持し、
    　前記特徴点と前記基準特徴点とを用いて前記正規化画像を生成する
    　請求項６に記載の画像処理装置。
  8. 　前記処理点が、前記正規化画像における予め設定された位置の点である
    　請求項６又は７に記載の画像処理装置。
  9. 　画像に含まれる対象物の認証に用いられる特徴点を検出し、
    　前記特徴点における所定の処理点のぼけ度である第１のぼけ度を計算し、
    　前記第１のぼけ度を用いて前記対象物のぼけ度である第２のぼけ度を推定する
    　画像処理方法。
  10. 　画像に含まれる対象物の認証に用いられる特徴点を検出する処理と、
    　前記特徴点における所定の処理点のぼけ度である第１のぼけ度を計算する処理と、
    　前記第１のぼけ度を用いて前記対象物のぼけ度である第２のぼけ度を推定する処理と
    　をコンピュータに実行させるプログラムをコンピュータ読み取り可能に記録する記録媒体。
PCT/JP2017/045633 2017-12-20 2017-12-20 画像処理装置、画像処理方法、及び、記録媒体 WO2019123554A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2017/045633 WO2019123554A1 (ja) 2017-12-20 2017-12-20 画像処理装置、画像処理方法、及び、記録媒体
US16/769,739 US11462052B2 (en) 2017-12-20 2017-12-20 Image processing device, image processing method, and recording medium
JP2019559918A JP6885474B2 (ja) 2017-12-20 2017-12-20 画像処理装置、画像処理方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/045633 WO2019123554A1 (ja) 2017-12-20 2017-12-20 画像処理装置、画像処理方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2019123554A1 true WO2019123554A1 (ja) 2019-06-27

Family

ID=66994525

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045633 WO2019123554A1 (ja) 2017-12-20 2017-12-20 画像処理装置、画像処理方法、及び、記録媒体

Country Status (3)

Country Link
US (1) US11462052B2 (ja)
JP (1) JP6885474B2 (ja)
WO (1) WO2019123554A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021179471A1 (zh) * 2020-03-09 2021-09-16 苏宁易购集团股份有限公司 一种人脸模糊度检测方法、装置、计算机设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230094984A1 (en) * 2020-03-30 2023-03-30 Nec Corporation Information processing device, system, method, and non-transitory computer-readablemedium storing program
CN112085701B (zh) * 2020-08-05 2024-06-11 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN116051390B (zh) * 2022-08-15 2024-04-09 荣耀终端有限公司 运动模糊程度检测方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157427A (ja) * 2004-11-29 2006-06-15 Seiko Epson Corp 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置
JP2010079446A (ja) * 2008-09-24 2010-04-08 Sony Corp 電子機器、ぼけ画像選別方法及びプログラム
JP2010217954A (ja) * 2009-03-13 2010-09-30 Sony Corp 画像処理装置および方法、学習装置および方法、並びに、プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714694B (zh) * 2010-06-04 2015-08-19 松下电器（美国）知识产权公司 图像处理装置、图像处理方法、集成电路、程序
US8532421B2 (en) * 2010-11-12 2013-09-10 Adobe Systems Incorporated Methods and apparatus for de-blurring images using lucky frames
US9436981B2 (en) * 2011-12-12 2016-09-06 Nec Corporation Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
US9129185B1 (en) * 2012-05-21 2015-09-08 The Boeing Company System and method for reducing image clutter
AU2013263760A1 (en) * 2013-11-28 2015-06-11 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel
US9911395B1 (en) * 2014-12-23 2018-03-06 Amazon Technologies, Inc. Glare correction via pixel processing
US9898674B2 (en) * 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157427A (ja) * 2004-11-29 2006-06-15 Seiko Epson Corp 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置
JP2010079446A (ja) * 2008-09-24 2010-04-08 Sony Corp 電子機器、ぼけ画像選別方法及びプログラム
JP2010217954A (ja) * 2009-03-13 2010-09-30 Sony Corp 画像処理装置および方法、学習装置および方法、並びに、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021179471A1 (zh) * 2020-03-09 2021-09-16 苏宁易购集团股份有限公司 一种人脸模糊度检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
JP6885474B2 (ja) 2021-06-16
US11462052B2 (en) 2022-10-04
US20210174062A1 (en) 2021-06-10
JPWO2019123554A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
KR102320649B1 (ko) 얼굴 이미지 품질을 결정하는 방법과 장치, 전자 기기 및 컴퓨터 저장 매체
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
WO2018176938A1 (zh) 红外光斑中心点提取方法、装置和电子设备
US9251589B2 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
RU2607774C2 (ru) Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных
WO2019123554A1 (ja) 画像処理装置、画像処理方法、及び、記録媒体
JP6570296B2 (ja) 画像処理装置、画像処理方法およびプログラム
US11210842B2 (en) Image processing apparatus, image processing method and storage medium
US11232586B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
JP2019114821A (ja) 監視システム、装置、方法およびプログラム
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
CN111368717A (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
JP4631973B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
JP2018081402A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
JP2016156702A (ja) 撮像装置および撮像方法
US10346680B2 (en) Imaging apparatus and control method for determining a posture of an object
JP7103443B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20200015001A (ko) 영상 처리 장치 및 방법
JP2019045990A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2016051707A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
US20220019771A1 (en) Image processing device, image processing method, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17935051

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019559918

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17935051

Country of ref document: EP

Kind code of ref document: A1