WO2012124142A1 - 画像処理装置、および画像処理方法 - Google Patents

画像処理装置、および画像処理方法 Download PDF

Info

Publication number
WO2012124142A1
WO2012124142A1 PCT/JP2011/056778 JP2011056778W WO2012124142A1 WO 2012124142 A1 WO2012124142 A1 WO 2012124142A1 JP 2011056778 W JP2011056778 W JP 2011056778W WO 2012124142 A1 WO2012124142 A1 WO 2012124142A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
voting
edge
point
pupil
Prior art date
Application number
PCT/JP2011/056778
Other languages
English (en)
French (fr)
Inventor
翔 阮
隆義 山下
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to EP11860858.7A priority Critical patent/EP2657903B1/en
Priority to US13/982,681 priority patent/US8750623B2/en
Publication of WO2012124142A1 publication Critical patent/WO2012124142A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present invention relates to an image processing apparatus and an image processing method, and more particularly to an image processing apparatus and an image processing method for specifying a pupil region.
  • Patent Document 1 the technique of Patent Document 1 is known as a method for detecting the position of the pupil.
  • a circular pupil is detected using the Hough transform.
  • a fan-shaped voting area is set and a pseudo voting value is set. Suppresses the occurrence of peaks.
  • the conventional configuration described above has a problem that the pupil region cannot be detected accurately.
  • a luminance edge (contour) is extracted from the image as preprocessing, and the edge is voted by Hough transform to detect the circle.
  • edges other than the eyes for example, contours of upper and lower eyelids, eyelashes, eyelids, eyeline makeup, or shadow edges
  • the upper and lower eyelid edges are long, and the number of pixels with extended edges is large.
  • the edges of the upper and lower eyelids are often close to a circle or an ellipse, the number of votes for the circle that fits the upper or lower eyelid increases, and the position of the circle indicating the upper or lower eyelid is determined by the position of the pupil. There is a possibility of erroneous detection as a position.
  • the outline of the pupil is visible in the face image, and the upper and lower outlines of the pupil are often hidden by the upper eyelid and the lower eyelid, especially when the eyes are narrowed. For this reason, the number of votes by the edge of the pupil is reduced, and in the conventional configuration, the position of the circle indicating the upper eyelid or the lower eyelid is easily erroneously detected as the pupil position.
  • the above-described conventional configuration does not consider the shapes of the upper eyelid and the lower eyelid, and cannot accurately detect the pupil region.
  • the outline of the eyelid (the outline of the eye) has been approximated mainly by a quadratic curve (conical curve) such as an ellipse or a parabola.
  • a quadratic curve conical curve
  • the contour of the heel cannot be accurately represented by these curves.
  • the outline shape of the kite varies greatly from person to person, and in many cases, it cannot be represented by an ellipse or a parabola.
  • the outline of the eyelid becomes a shape that cannot be accurately represented by an ellipse or a parabola, particularly when the face is not facing the front. If the outline of the eyelid cannot be detected accurately, the pupil region cannot be accurately identified.
  • the present invention has been made in view of the above problems, and an object thereof is to realize an image processing apparatus capable of accurately detecting a pupil region.
  • An image processing apparatus is an image processing apparatus that identifies eye characteristics from a person's face image, and in order to solve the above-described problems, A first differentiating unit for differentiating in a direction to obtain a first luminance gradient; a first edge point corresponding to a boundary where the left side is brighter than the right side according to the first luminance gradient; A first edge extraction unit that extracts a second edge point corresponding to a dark boundary as an edge point, and a Hough transform, which is either the first edge point or the second edge point for each edge point.
  • Identify the ellipse that represents the outline of the pupil It is characterized by comprising a contour specifying unit.
  • An image processing method is an image processing method for specifying eye characteristics from a person's face image, and in order to solve the above-described problems, an eye region with eyes of the face image
  • a differentiation step for differentiating in a direction to obtain a luminance gradient; and for the eye region, a first edge point corresponding to a boundary where the left side is brighter than the right side and a left side corresponding to a boundary where the left side is darker than the right side.
  • An edge extraction step for extracting two edge points as edge points, and a Hough transform to vote for each edge point depending on whether it is the first edge point or the second edge point.
  • a voting step for voting by changing the voting weight for the ellipse according to the positional relationship between the target ellipse and the edge point, and the pupil contour based on the voting result in the voting step It is characterized in that it comprises a pupil outline specifying step of specifying a circle.
  • the first edge point corresponding to the boundary where the left side is brighter than the right side and the second edge point corresponding to the boundary where the left side is darker than the right side are obtained from the first luminance gradient differentiated in the lateral direction. Extract as edge points. Therefore, the contour extending in the vertical direction in the eye is extracted as an edge point, and the contour extending in the horizontal direction is excluded. Therefore, it is possible to eliminate edges such as the outline of the eyelid that causes noise in specifying the ellipse representing the outline of the pupil.
  • the first edge point corresponding to the border where the left side is brighter than the right side corresponds to the left contour of the pupil, and the left side is darker than the right side.
  • the second edge point corresponding to is considered to correspond to the right contour of the pupil. That is, the center of the ellipse representing the outline of the pupil is considered to be on the right side of many first edge points and on the left side of many second edge points. Therefore, in the Hough transform, the voting weight for the ellipse is determined according to whether it is the first edge point or the second edge point and depending on the positional relationship between the ellipse to be voted and the edge point. By changing and voting, an ellipse representing the outline of the pupil can be accurately specified.
  • the pupil region can be specified by using an ellipse representing the accurately specified pupil outline.
  • the red eye region has a higher luminance than the surrounding pupil region. Therefore, the left and right edges of the contour of the red eye region are opposite in position to the left and right edges of the pupil contour. Therefore, voting from the red-eye area is dispersed by the weighted voting. Therefore, it is possible to prevent erroneous detection of the contour of the red eye region as the contour of the pupil.
  • the edge such as the outline of the eyelid extending mainly in the lateral direction can be eliminated by differentiating in the lateral direction of the eye.
  • the center of the ellipse representing the outline of the pupil is considered to be on the right side of many first edge points and on the left side of many second edge points. Therefore, in the Hough transform, the voting weight for the ellipse depends on whether it is the first edge point or the second edge point, and depending on the positional relationship between the ellipse to be voted and the edge point. By changing the voting, an ellipse representing the outline of the pupil can be accurately specified.
  • the pupil region can be specified by using an ellipse representing the accurately specified pupil outline.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a digital camera according to an embodiment of the present invention. It is a figure which shows an example of an eye image.
  • A is a figure which shows the Sobel filter of x direction
  • (b) is a figure which shows the Sobel filter of y direction.
  • the image processing apparatus is mounted on a photographing apparatus such as a digital video camera, a mobile phone with a camera, a Web camera of a personal computer (PC), a photo sticker creating machine, and is obtained by photographing with the photographing apparatus.
  • the image may be processed.
  • the image processing apparatus according to the present invention may perform processing on an image acquired from a communication path such as a network or an external storage device. Further, not only the captured still image but also a facial image such as a moving image may be processed. Further, a preview image displayed on the display device of the digital camera when imaging with the digital camera may be processed.
  • FIG. 1 is a block diagram showing a schematic configuration of a digital camera 1 according to an embodiment of the present invention.
  • the digital camera 1 includes an instruction input device 2, an imaging device 3, an image storage device 4, a display device 5, and an image processing device 6.
  • the instruction input device 2 includes an input device such as a button, a key, or a touch panel, receives an imaging instruction from a user, and outputs an imaging instruction to the imaging device 3.
  • an input device such as a button, a key, or a touch panel
  • the imaging device 3 includes an imaging element such as a CCD (charge coupled device) or a CMOS (complementary metal oxide semiconductor) imaging element.
  • the imaging device 3 captures an image according to an imaging instruction and outputs the captured image (image data) to the image processing device 6.
  • the image storage device 4 stores various types of information, and includes a storage device such as an HDD (Hard Disk Drive) or a flash memory.
  • the image storage device 4 stores and stores the image received from the image processing device 6.
  • the display device 5 includes a display, displays the input image, and presents it to the user.
  • the display device 5 receives the corrected image from the image processing device 6 and displays the corrected image.
  • the image processing device 6 includes an image acquisition unit 11, a face detection unit 12, a feature detection unit 13, an eye image extraction unit 14, a pupil contour detection unit 15, a eyelid contour detection unit 16, a pupil region specification unit 17, an image correction unit 18, And an output unit 19.
  • the image acquisition unit 11 acquires an image captured from the imaging device 3 as a processing target image. Note that the image acquisition unit 11 may acquire an image stored in the image storage device 4 as an image to be processed.
  • the image acquisition unit 11 outputs the acquired processing target image to the face detection unit 12, the feature detection unit 13, the eye image extraction unit 14, and the image correction unit 18.
  • the face detection unit 12 detects a face image included in the image received from the image acquisition unit 11. When detecting the face image included in the image, the face detection unit 12 specifies the position of the face image. The position of the face image may indicate the coordinates of a predetermined point of the face image, or may indicate a region of the face image. The face detection unit 12 outputs the position of the face image to the feature detection unit 13 and the eye image extraction unit 14. The face detection unit 12 may detect a plurality of face images from the processing target image. When a plurality of face images are detected, the face detection unit 12 may specify the positions of the face images and output the positions of the plurality of face images to the respective units.
  • the feature detection unit 13 detects the position of each feature of the face of the face image from the image to be processed received from the image acquisition unit 11 and the position of the face image received from the face detection unit 12.
  • the feature detection unit 13 includes features of facial organs such as eyes (head of eyes, corners of eyes, etc.), mouth (mouth end points, mouth center points, etc.), and nose (vertex of nose, etc.), and faces.
  • the features (feature points) such as the contours are detected and their positions are specified.
  • Each feature can be detected using a known technique.
  • the feature detection unit 13 particularly detects the eyes and corners of the eyes, and specifies their coordinates.
  • the feature detection unit 13 outputs the detected position of the facial feature to the eye image extraction unit 14, the pupil contour detection unit 15, and the eyelid contour detection unit 16.
  • the feature detection unit 13 may specify the positions of the features of the plurality of face images and output the positions of the features of the plurality of face images to each of the above-described units.
  • the eye image extraction unit 14 receives the image to be processed, the position of the face image, and the position of the facial feature from the image acquisition unit 11, the face detection unit 12, and the feature detection unit 13, respectively. Based on the received information, the eye image extraction unit 14 extracts an image of a predetermined area including the eyes of the face image to be processed. Note that the face in the image may be tilted. In order to simplify the detection process of the pupil region, the eye image extraction unit 14 determines the positional relationship between the feature point of the eye corner (eye corner point) and the feature point of the eye (eye head point). An image rotated as necessary so as to be horizontal is generated as an eye image.
  • the horizontal direction in the eye image (the direction in which the top of the eye and the corner of the eye are aligned) is defined as the x direction, and the vertical direction perpendicular thereto is defined as the y direction.
  • the eye image extraction unit 14 since the pupil region is detected using luminance information, the eye image extraction unit 14 generates a grayscale eye image in which each pixel has only a luminance value.
  • FIG. 2 is a diagram illustrating an example of an eye image.
  • the image of the eye area including the eye point Ea and the eye corner point Eb is used as the eye image.
  • the eye image In order to specify the pupil region, the eye image only needs to include the pupil and its periphery.
  • the eye image extraction unit 14 outputs the eye image to the pupil contour detection unit 15 and the eyelid contour detection unit 16. Further, the eye image extraction unit 14 outputs information indicating the correspondence relationship between the coordinates of the face image and the eye image to the image correction unit 18.
  • the eye image extraction unit 14 generates an eye image for each of the left and right eyes included in the face, and the pupil contour detection unit 15 and the eyelid contour detection unit 16 perform processing for each eye image. For simplicity, only the processing for one (left eye) eye image of one face will be described below. The same process is performed for the right eye.
  • the pupil contour detection unit 15 acquires the eye image from the eye image extraction unit 14 and acquires the coordinates of the corresponding eye point Ea and eye corner point Eb from the feature detection unit 13.
  • the pupil contour detector 15 detects the pupil contour as a circle, and outputs the detected circle information (center coordinates and radius) to the pupil region specifying unit 17. The detailed configuration of the pupil contour detection unit 15 will be described later.
  • the eyelid contour detection unit 16 acquires the eye image from the eye image extraction unit 14 and acquires the coordinates of the corresponding eye point Ea and eye corner point Eb from the feature detection unit 13.
  • the eyelid contour detection unit 16 detects the contour of the eyelid as a curve, and outputs information (coordinates of end points and control points) representing the detected curve to the pupil region specifying unit 17.
  • information coordinates of end points and control points representing the detected curve to the pupil region specifying unit 17.
  • the pupil region specifying unit 17 is based on a circle that represents the contour of the pupil specified by the pupil contour detection unit 15, a curve that represents the contour of the upper eyelid, and a curve that represents the contour of the lower eyelid specified by the eyelid contour detection unit 16.
  • a pupil region in the eye image is specified.
  • the pupil region specifying unit 17 uses, as a pupil region, a region that is inside a circle that represents the contour of the pupil and that is surrounded by a curve that represents the contour of the upper eyelid and a curve that represents the contour of the lower eyelid. Identify.
  • the pupil area specifying unit 17 outputs the specified pupil area to the image correcting unit 18.
  • the image correcting unit 18 corrects the image of the corresponding eye region in the face image based on the pupil region specified by the pupil region specifying unit 17.
  • pupil color correction of the pupil region is performed.
  • the image correction unit 18 outputs the corrected image to the output unit 19.
  • the output unit 19 outputs and stores the corrected image in the image storage device 4. Alternatively, the output unit 19 controls the display device 5 to output the corrected image and display the corrected image on the display.
  • the pupil contour detection unit 15 acquires an eye image from the eye image extraction unit 14, and acquires the coordinates of the corresponding eye point Ea and eye corner point Eb from the feature detection unit 13. The coordinates of the eye point Ea and the eye corner point Eb are associated with the eye image.
  • the pupil contour detection unit 15 includes a first differentiation unit 31, a ternary unit (first edge extraction unit) 32, a first voting unit (voting unit) 33, and a pupil contour specifying unit 34.
  • the first differentiation unit 31 applies a differentiation filter to the eye image to detect a luminance gradient in the horizontal direction.
  • the first differentiating unit 31 applies a differential filter (here, a Sobel filter) in the x direction to the eye image to obtain a luminance gradient in the horizontal direction.
  • FIG. 3A shows a Sobel filter in the x direction. Note that the eye image or the Sobel filter may be applied with appropriate enlargement / reduction.
  • a value (differential value) corresponding to a target pixel (a pixel located at the center of the filter) having a large luminance difference (luminance gradient) between peripheral pixels is The value of the eye image where the luminance decreases from right to left is a negative value.
  • the differential value is a positive value for a portion of the eye image where the luminance increases from left to right.
  • the absolute value of the differential value increases according to the magnitude of the luminance gradient. For a portion of the eye image where the luminance does not change from left to right, the differential value is zero.
  • the absolute value of the differential value can be referred to as edge strength.
  • the ternarization unit 32 obtains a luminance gradient (differential value) corresponding to each position of the eye image from the first differentiation unit 31, ternarizes the luminance gradient of the eye image, extracts an edge point, and outputs the first edge. Generate an image.
  • the ternarization unit 32 ternarizes the differential value dx obtained by applying the horizontal Sobel filter by using the positive threshold ta and the negative threshold tb. For each position of the eye image, -1 if dx ⁇ tb, 0 if tb ⁇ dx ⁇ ta, and 1 if ta ⁇ dx.
  • ta.
  • the value of the first edge image is one of ⁇ 1, 0, and 1, and the portion where the ternarized value is ⁇ 1 is a portion (edge point) where the left luminance is larger than the right luminance.
  • a place where the ternarized value is 1 is a place (edge point) where the left luminance is smaller than the right luminance. Further, a place where the ternarized value is 0 is a place where the difference between the left luminance and the right luminance is small.
  • FIG. 4 is a diagram showing a first edge image having a ternary luminance gradient value in the horizontal direction.
  • the edge of the boundary between the upper eyelid and the lower eyelid extending in the lateral direction can be removed. That is, it is possible to mainly detect the boundary between the pupil and the white eye extending in the vertical direction.
  • the value of the ternary luminance gradient is ⁇ 1 at the left boundary of the pupil
  • the value of the ternary luminance gradient is 1 at the right boundary of the pupil.
  • the left side and the right side of the pupil can be distinguished. Since the skin region often has lower brightness than the white eye region, the value of the ternary luminance gradient near the eye point Ea is 1, and the ternary value near the eye corner point Eb is ternarized.
  • the value of the luminance gradient is -1.
  • differential filters may be used as the differential filter instead of the Sobel filter. At this time, it suffices if the differential value can be ternarized according to the change in luminance in the direction from the top of the eye to the outside of the eye.
  • the first voting unit 33 uses each pixel located at the edge of the first edge image (pixels having values of ⁇ 1 and 1) as a voting execution pixel to detect a circle included in the first edge image by Hough transform. Voting.
  • the first voting unit 33 performs voting by weighting the voting target according to the ternary value.
  • the center coordinates (Xc, Yc) of the circle and the radius Rc of the circle there are three parameters of the Hough space to be voted: the center coordinates (Xc, Yc) of the circle and the radius Rc of the circle. Further, it is considered that the pupil region has lower luminance than the white eye region. Therefore, among the boundary between the pupil and the white eye, the ternary value of the left boundary is always ⁇ 1, and the ternary value of the right boundary is always 1. That is, the center coordinates (Xc, Yc) of the circle representing the pupil are located on the right side of the voting execution pixel having many ternary values of ⁇ 1, and many ternary values are 1. It is considered to be located on the left side of the voting execution pixel.
  • the first voting unit 33 passes the voting execution pixel and passes through the voting execution pixel. Voting is performed by increasing the voting weight for the circle having the center coordinate on the right side of the x coordinate, and decreasing the voting weight for the circle having the center coordinate on the left side. If the ternary value of the voting execution pixel is 1, the voting weight is reduced with respect to a circle that passes through the voting execution pixel and has a central coordinate on the right side of the x coordinate of the voting execution pixel. Then, increase the voting weight for the circle with the center coordinates on the left side to vote.
  • a weight (number of votes) is 1 for a circle passing through the voting execution pixel and centered on the left side of the voting execution pixel.
  • the pupil contour specifying unit 34 specifies the circle (Xc, Yc, Rc) that has obtained the largest number of votes based on the voting result by the first voting unit 33 as a circle representing the contour of the pupil.
  • the pupil contour specifying unit 34 outputs the specified center coordinates (Xc, Yc) and radius Rc of the specified circle to the pupil region specifying unit 17.
  • the pupil contour detector 15 may detect an ellipse representing the pupil contour by weighted voting.
  • the first voting unit 33 may change the weight of voting on the ellipse depending on, for example, the center of the ellipse or the two focal points on the left or right side of the voting execution pixel.
  • a general ellipse is expressed by, for example, five parameters representing the coordinates of two focal points and the sum of the distances from the focal points.
  • the eyelid contour detection unit 16 acquires the eye image from the eye image extraction unit 14, and acquires the coordinates of the corresponding eye point Ea and eye corner point Eb from the feature detection unit 13. The coordinates of the eye point Ea and the eye corner point Eb are associated with the eye image.
  • the eyelid contour detecting unit 16 includes a second differentiating unit 41, a binarizing unit (second edge extracting unit) 42, a second voting unit (curve specifying unit) 43, and a eyelid contour specifying unit (curve specifying unit) 44. .
  • contours of the upper and lower eyelids are detected separately.
  • the contour of the upper eyelid is detected will be described, the contour of the lower eyelid can be detected in the same manner.
  • the second differentiating unit 41 applies a differential filter to the eye image to obtain a luminance gradient. Unlike the first differentiating unit 31, the second differentiating unit 41 obtains luminance gradients in the vertical direction and the horizontal direction.
  • the second differentiation unit 41 applies a differentiation filter (Sobel filter in this case) to the eye image in the y direction and the x direction, and detects the absolute value of the luminance gradient as the edge strength.
  • FIG. 3B is a diagram illustrating a Sobel filter in the y direction. Note that the eye image or the Sobel filter may be applied with appropriate enlargement / reduction.
  • the second differentiating unit 41 applies a Sobel filter in the y direction and a Sobel filter in the x direction, and calculates the sum of the absolute value of the y direction differential value and the absolute value of the x direction differential value at each position of the eye image. The edge strength at.
  • the binarization unit 42 acquires edge strength (absolute value of the differential value) corresponding to each position of the eye image from the second differentiation unit 41, binarizes the edge strength of the eye image, and extracts an edge point, A second edge image is generated.
  • the binarization unit 42 binarizes the absolute value dz of the differential value obtained by applying the Sobel filter by the threshold value tc. For each position of the eye image, 0 is set if dz ⁇ tc, and 1 if tc ⁇ dz.
  • the value of the second edge image is either 0 or 1, with 1 being a high edge strength (edge point) and 0 being a low edge strength.
  • FIG. 5 is a diagram showing a second edge image having binarized edge strength.
  • the boundary between the skin and the eyes (the outline of the eyelids) and the boundary between the pupils and the white eyes (the boundary of the pupils) with a large luminance difference are mainly extracted.
  • the differential filter other differential filters may be used instead of the Sobel filter.
  • the second voting unit 43 performs voting for detecting a curve representing the outline of the cocoon by Hough transform, with each pixel (pixel having a value of 1) positioned at the edge of the second edge image as a voting execution pixel.
  • each pixel pixel having a value of 1
  • the edge of the lower eyelid becomes noise, so the position is located above the eye point Ea and the eye corner point Eb (above the line A shown in FIG. 5) of the second edge image. Let this pixel to be a vote execution pixel.
  • the contour of the ridge is expressed using a B-spline curve.
  • a quadratic B-spline curve of one section can be defined by two end points and one control point.
  • the B-spline curve is convex toward the control point.
  • the B-spline curve can change the position where the curve becomes convex according to the position of the control point, so even if the face in the image is a little sideways, it accurately represents the contour of the eyelid be able to. Since the coordinates of the eye point Ea and the corner point Eb, which are the end points of the eyelid outline, are known, the coordinates (Xb, Yb) of one control point may be obtained here.
  • the second voting unit 43 for each voting execution pixel located above the eye point Ea and the corner point Eb of the second edge image, the control point (Xb, Bbline curve passing through the voting execution pixel) Vote for Yb).
  • the range of control points to be voted may be limited to a predetermined range or the like as necessary. In the case of the upper eyelid, the control point is considered to be above the eye top point Ea and the eye corner point Eb.
  • the heel contour specifying unit 44 uses the B spline curve represented by the control points (Xb, Yb) that have obtained the largest number of votes based on the voting result by the second voting unit 43 as a curve representing the contour of the upper heel. Identify.
  • the identified B-spline curve is a curve represented by control points (Xb, Yb), with the head point Ea and the corner point Eb as end points of the section.
  • the eyelid contour specifying unit 44 outputs the coordinates of the eye top point Ea, the corner of the eye corner point Eb, and the specified control points (Xb, Yb) to the pupil region specifying unit 17.
  • the curve is not limited to a quadratic B-spline curve, but is represented by several control points such as a higher-order B-spline curve or a Bezier curve, and both end points (a head point and an eye corner point) through which the curve passes. May be used to detect the outline of the heel.
  • the contour of the eyelid is represented by the curve represented by the control point and the end point
  • the two end points (the top point and the eye corner point) through which the curve passes are known by the conventional feature detection technology, so the contour of the eyelid is detected.
  • the control point can be easily obtained by Hough transform.
  • a curve (B-spline curve or the like) expressed by both end points and control points, it is possible to accurately represent various outlines of the eyelids, and to accurately specify the outlines of the eyelids.
  • a B-spline curve that fits (fits) the binarized edge of the eye image can be obtained as a curve representing the contour of the eyelid using a least square method or the like.
  • voting is performed from each pixel of the edge located below the eye head point Ea and the eye corner point Eb, and the control point of the B-spline curve representing the contour of the lower eyelid is specified.
  • voting is performed separately for the upper eyelid and the lower eyelid, but voting is performed collectively from all the upper and lower edges of the eye image, and the upper and lower two curves with the highest number of votes represent the upper eyelid. It may also be specified as a curve representing the lower eyelid.
  • FIG. 6 is a flowchart showing the flow of image correction processing in the image processing apparatus 6.
  • FIG. 6 is a flowchart showing the flow of image correction processing in the image processing apparatus 6.
  • the image acquisition unit 11 receives an image captured from the imaging device 3 (S1).
  • the face detection unit 12 detects a face image included in the image to be processed and specifies the position of the face image (S2).
  • the feature detection unit 13 detects the positions of the eye point and the eye corner point included in the detected face image (S3).
  • the eye image extraction unit 14 extracts an image of a predetermined area including the eyes of the face image to be processed, and generates an eye image shown in FIG. 2 (S4). At this time, it is rotated as necessary so that the positional relationship between the eye corner point and the eye top point is horizontal.
  • the first differentiating unit 31 applies a differential filter for differentiating in the x direction to the eye image, and detects a luminance gradient in the horizontal direction of the eye (S5).
  • the ternarization unit 32 ternarizes the luminance gradient of the eye image (S6). Thereby, it can be ternarized to values of ⁇ 1, 0, 1 in accordance with changes in brightness in the horizontal direction (lateral direction) of the eye image.
  • FIG. 4 is a diagram illustrating a ternary first edge image.
  • the first voting unit 33 weights the voting target according to the ternarized value using each pixel (pixels having values of ⁇ 1 and 1) located at the edge of the first edge image as a voting execution pixel. Then, a vote for detecting a circle by Hough transform is performed (S7).
  • the pupil contour specifying unit 34 specifies the circle (Xc, Yc, Rc) that has obtained the largest number of votes based on the voting result by the first voting unit 33 as a circle representing the contour of the pupil (S8).
  • the second differentiating unit 41 applies a differential filter to the eye image and detects a luminance gradient in the vertical direction and the horizontal direction (S9).
  • the binarization unit 42 binarizes the luminance gradient of the eye image according to the edge strength (S10).
  • FIG. 5 is a diagram illustrating a binarized second edge image.
  • the second voting unit 43 performs voting for detecting the B-spline curve by the Hough transform using each pixel corresponding to the edge located above the second edge image (pixel having a value of 1) as a voting execution pixel ( S11).
  • the heel contour specifying unit 44 uses the B spline curve represented by the control points (Xb1, Yb1) that have obtained the largest number of votes based on the voting result by the second voting unit 43 as a curve representing the contour of the upper eyelid. Specify (S12).
  • the second voting unit 43 uses each pixel corresponding to the edge located at the lower side of the second edge image (a pixel having a value of 1) as a voting execution pixel to vote for detecting a B-spline curve by Hough transform. (S13).
  • the heel contour specifying unit 44 uses the B spline curve represented by the control points (Xb2, Yb2) that have obtained the largest number of votes based on the voting result by the second voting unit 43 as a curve representing the contour of the lower heel. Specify (S14).
  • FIG. 7 is a diagram showing a circle that represents the contour of the identified pupil and a curve that represents the contour of the identified eyelid.
  • a circle Ec representing the contour of the pupil is indicated by a broken line
  • a curve Ed representing the contour of the upper eyelid and a curve Ee representing the contour of the lower eyelid are indicated by a solid line.
  • the pupil area specifying unit 17 is an area inside the circle Ec representing the outline of the pupil, below the curve Ed representing the outline of the upper eyelid, and above the curve Ee representing the outline of the lower eyelid Is specified as the pupil region Ep (S15).
  • the image correction unit 18 corrects the pupil color of the pupil area in the face image (S16).
  • the image processing device 6 outputs the corrected image to the image storage device 4 or the display device 5 and ends the processing.
  • the luminance change (decrease, none, increase) in the x direction of the eye image (the direction in which the eye and the corner of the eye are almost aligned) is ternarized, and the luminance in the x direction is determined in the Hough transform.
  • the voting target (yen) is weighted according to the change. Therefore, it is possible to eliminate noise such as the outline of the eyelid. Further, by distinguishing between the left contour of the pupil and the right contour of the pupil by ternarization and voting by changing the weight of the voting object accordingly, a circle that is considered to more represent the contour of the pupil The number of votes can be increased. Therefore, it is possible to accurately specify a circle representing the outline of the pupil.
  • a red-eye region having a high luminance exists in the pupil of the eye image.
  • the boundary of the high-brightness red-eye region in the low-brightness pupil is, for example, 1 on the left side and -1 on the right side, and is opposite to the respective pupil boundaries.
  • the left boundary (value 1) of the red-eye region is more weighted with respect to the circle whose center is further to the left, and the right boundary (value -1) of the red-eye region is centered further to the right.
  • the weight is increased for the located circle. Therefore, the voting weights due to the boundary of the red-eye area, which is noise, are distributed in different areas. Therefore, it is possible to prevent erroneous detection of the red-eye area as a pupil area. In this way, weighting for ternarization can make it less susceptible to noise edge points in the Hough transform.
  • contours of the upper and lower eyelids that can vary depending on the face direction and individual differences are represented by curves (B-spline curves, etc.) represented by control points and both end points.
  • the B-spline curve or the like can adjust the convex direction and position of the curve according to the coordinates of the control point, and thus can accurately express the contours of the ridges having various shapes. Since the eye point and the eye corner point can be easily obtained by a known technique, both end points are known. Therefore, the remaining control points can be easily specified using the Hough transform based on the edge of the eye image.
  • the pupil region in the image partially hidden by the eyelid can be accurately identified. Therefore, it is possible to accurately correct the pupil region. Further, it is possible to correct the eyes and the like based on the accurately specified pupil region.
  • the pupil region and the pupil center can be accurately detected, it is possible to detect a human pupil from a still image or a moving image and apply it to various technologies that use the information.
  • the gaze of the subject especially infants
  • the shutter is automatically released when the gaze is facing the camera, or the driver's driving status (side-view driving, etc.) from the detected pupil It can be used for an in-vehicle driving system or the like that estimates and warns.
  • the functional configuration of the digital camera of the present embodiment is the same as that of the digital camera 1 of the first embodiment shown in FIG. In the present embodiment, only the processing of each part of the eyelid contour detection unit 16 is different from the first embodiment.
  • the second differentiating unit 41 applies a differential filter to the eye image to obtain a luminance gradient in the vertical direction. Unlike the first embodiment, in the present embodiment, the second differentiating unit 41 obtains the luminance gradient in the vertical direction and does not obtain the luminance gradient in the horizontal direction (horizontal direction).
  • the second differentiating unit 41 applies a differential filter (Sobel filter in this case) to the eye image in the y direction, and obtains the absolute value of the luminance gradient in the vertical direction as the edge strength.
  • the second differentiating unit 41 applies a Sobel filter in the y direction, and uses the absolute value of the differential value in the y direction as the edge strength at each position of the eye image.
  • the binarization unit 42 obtains edge strength (absolute value of the differential value) corresponding to each position of the eye image from the second differentiation unit 41, and generates a third edge image in which the edge strength of the eye image is binarized. To do.
  • the binarization unit 42 binarizes the absolute value dy of the differential value obtained by applying the Sobel filter by the threshold value td. For each position of the eye image, 0 is set if dy ⁇ td, and 1 if td ⁇ dy.
  • the value of the third edge image is either 0 or 1, where 1 is a portion where the edge strength is high and 0 is a portion where the edge strength is low.
  • FIG. 8 is a diagram showing a third edge image having binarized vertical edge strength.
  • the second voting unit 43 detects each curve (B-spline curve) representing the outline of the eyelid by the Hough transform using each pixel (pixel having a value of 1) located at the edge of the third edge image as a voting execution pixel. Voting. When a curve representing the contour of the upper eyelid is detected, the edge of the lower eyelid becomes noise, so that the position is located above the eye point Ea and the eye corner point Eb of the third edge image (above the line B shown in FIG. 8). Let this pixel to be a vote execution pixel.
  • the heel contour specifying unit 44 specifies the B-spline curve represented by the control point that has obtained the largest number of votes as a curve representing the contour of the upper heel.
  • the present embodiment it is possible to remove a part of the edge of the pupil contour that becomes noise when detecting the contour of the eyelid. Therefore, it is possible to specify the curve representing the outline of the eyelid more accurately and use it to specify the pupil region with high accuracy.
  • a differential value that can take a positive or negative value according to the luminance gradient may be binarized using a threshold value.
  • a threshold value For example, when the relationship of luminance is “pupil ⁇ skin ( ⁇ ) ⁇ white eye”, the boundary between the upper eyelid and the pupil and the boundary between the upper eyelid and the white eye in the outline of the upper eyelid are differential values. It is considered that the sign of is reversed. Therefore, only the boundary edge between the upper eyelid and the pupil can be left by binarization. In order to accurately specify the pupil region, it is only necessary to accurately detect the boundary between the pupil and the eyelid, and the boundary between the white eye and the eyelid does not necessarily have to be specified.
  • the pupil region can be specified with high accuracy by obtaining a B-spline curve that fits only to the edge of the boundary between the upper eyelid and the pupil.
  • binarization is separately performed using different thresholds for the upper side and the lower side of the eye point Ea and the eye corner point Eb.
  • An image processing apparatus is an image processing apparatus for identifying eye characteristics from a human face image, wherein a first luminance gradient is obtained by differentiating an eye area having eyes of the face image in a lateral direction of the eyes. And a first edge point corresponding to a boundary where the left side is brighter than the right side and a second edge point corresponding to a boundary where the left side is darker than the right side according to the first luminance gradient.
  • a first edge extraction unit that extracts the edge point as an edge point, and a Hough transform to determine whether each edge point is the first edge point or the second edge point
  • the voting unit that performs voting by changing the voting weight for the ellipse, and the ellipse that represents the outline of the pupil is specified based on the voting result of the voting unit
  • a pupil contour specifying unit
  • An image processing method is an image processing method for identifying eye characteristics from a human face image, and obtaining a luminance gradient by differentiating an eye region having the eye of the face image in a lateral direction of the eye.
  • the first edge point corresponding to the boundary where the left side is brighter than the right side and the second edge point corresponding to the boundary where the left side is darker than the right side are defined as edge points according to the luminance gradient.
  • An edge extraction step to extract, and using an Hough transform, depending on whether each edge point is the first edge point or the second edge point, and an ellipse to be voted and the edge point
  • the voting step for voting by changing the voting weight for the ellipse in accordance with the positional relationship of the pupil, and the pupil contour specifying step for specifying the ellipse representing the contour of the pupil based on the voting result in the voting step. And a flop.
  • the first edge point corresponding to the boundary where the left side is brighter than the right side and the second edge point corresponding to the boundary where the left side is darker than the right side are obtained from the first luminance gradient differentiated in the lateral direction. Extract as edge points. Therefore, the contour extending in the vertical direction in the eye is extracted as an edge point, and the contour extending in the horizontal direction is excluded. Therefore, it is possible to eliminate edges such as the outline of the eyelid that causes noise in specifying the ellipse representing the outline of the pupil.
  • the first edge point corresponding to the border where the left side is brighter than the right side corresponds to the left contour of the pupil, and the left side is darker than the right side.
  • the second edge point corresponding to is considered to correspond to the right contour of the pupil. That is, the center of the ellipse representing the outline of the pupil is considered to be on the right side of many first edge points and on the left side of many second edge points. Therefore, in the Hough transform, the voting weight for the ellipse is determined according to whether it is the first edge point or the second edge point and depending on the positional relationship between the ellipse to be voted and the edge point. By changing and voting, an ellipse representing the outline of the pupil can be accurately specified.
  • the pupil region can be specified by using an ellipse representing the accurately specified pupil outline.
  • the red eye region has a higher luminance than the surrounding pupil region. Therefore, the left and right edges of the contour of the red eye region are opposite in position to the left and right edges of the pupil contour. Therefore, voting from the red-eye area is dispersed by the weighted voting. Therefore, it is possible to prevent erroneous detection of the contour of the red eye region as the contour of the pupil.
  • the pupil contour may be regarded as a circle, and a circle representing the pupil contour may be specified.
  • the voting unit when voting from the first edge point, has a central coordinate located to the right of the first edge point by a weight for the ellipse whose central coordinate is located to the left of the first edge point.
  • the center coordinate is set to the left of the second edge point than the weight for the ellipse whose center coordinate is located to the right of the second edge point. You may vote by increasing the weight for the above ellipse.
  • the first differentiating unit obtains the first luminance gradient by differentiating the eye region along a direction in which the eyes and the outer corner of the eye are aligned, and the first edge extracting unit obtains a positive first threshold and a negative value.
  • the first luminance gradient may be ternarized by the second threshold value, and the first edge point and the second edge point may be extracted according to the ternarized first luminance gradient.
  • the first differentiating unit differentiates the eye region along the direction in which the eyes and the corners of the eye are aligned, thereby eliminating edges such as the contour of the eyelid that mainly extends in the lateral direction. can do.
  • the image processing device includes a second differentiating unit that obtains a second luminance gradient by differentiating the eye region at least in the longitudinal direction of the eye, and a third edge according to the second luminance gradient for the eye region.
  • a second edge extraction unit that extracts points; a curve that is expressed by both the endpoints and the corner points of the eyes and the endpoints and the control points; and the curve that matches the third edge point,
  • specification part specified as a curve showing the outline of an upper eyelid or a lower eyelid may be sufficient.
  • the curve expressed by the both end points and the control point is a curve that passes through the both end points and defines the convex position and direction of the curve between the both end points by the control points.
  • the curve expressed by the both end points and the control point is a B-spline curve or a Bezier curve.
  • the B-spline curve or the Bezier curve may be, for example, a secondary B-spline curve, a higher-order B-spline curve, a third-order Bezier curve, or a higher-order Bezier curve.
  • the third edge point is extracted from at least the second luminance gradient differentiated in the vertical direction of the eye. Since the contours of the upper eyelid and the lower eyelid mainly extend in the lateral direction, main edge points corresponding to the contours of the upper eyelid and the lower eyelid are included in the third edge point. Further, by using a curve such as a B-spline curve represented by both end points and control points, it is possible to express the contours of various shapes of ridges. For example, in an image in which the face does not face the front, the convex portion of the upper eyelid is close to the eye side or the eye corner side. In a curve represented by both end points and control points, such a wrinkle contour can be appropriately expressed by the control points.
  • a curve represented by both end points and control points
  • the curve specifying unit can specify a curve representing the outline of the eyelid only by specifying the remaining control points based on the third edge points.
  • the curve specifying unit specifies the curve that matches the third edge point located above the eye point or the corner of the eye as a curve representing the contour of the upper eyelid
  • the curve that matches the third edge point located on the lower side may be specified as a curve that represents the contour of the lower eyelid
  • the image processing device may include an ellipse that represents the contour of the pupil and the contour of the upper eyelid.
  • a configuration may be provided that includes a pupil region specifying unit that specifies a pupil region in the face image based on the curve that represents the contour of the lower eyelid.
  • the pupil region can be specified accurately.
  • the curve specifying unit performs voting on the control point that is a voting target with respect to the third edge point using the Hough transform, and conforms to the third edge point based on the voting result.
  • a B-spline curve expressed by the both end points and one control point may be specified as a curve representing the contour of the upper eyelid or the lower eyelid.
  • the convex position and height of the curve can be changed variously according to the position of the control point.
  • the contour of the ridge can be appropriately represented by one B-spline curve with control points, and the unknown variable is only the coordinates of one control point, so it can be easily obtained by Hough transform. be able to.
  • the curve specifying unit specifies a curve representing the outline of the upper eyelid from the third edge point located above a line connecting the eye point and the eye corner point, and the eye point and the eye corner point A curve representing the contour of the lower eyelid may be specified from the third edge point located below the line connecting the two.
  • the third edge point corresponding to the contour of the upper eyelid is considered to be located above the line connecting the above-mentioned eye point and the above-mentioned eye corner point. Further, the third edge point corresponding to the contour of the lower eyelid is considered to be located below the line connecting the above-mentioned eye point and the above-mentioned eye corner point. Therefore, according to said structure, the edge point used as the noise which is not related to each of the upper eyelid and the lower eyelid can be removed. Therefore, it is possible to specify the curve representing the contour of the upper eyelid and the curve representing the contour of the lower eyelid more accurately.
  • the second differentiating unit obtains a value obtained by differentiating the eye region in the vertical direction of the eyes as the second luminance gradient, and the second edge extracting unit determines that the absolute value of the second luminance gradient is third. A point larger than the threshold value may be extracted as the third edge point.
  • the image processing apparatus may be partially realized by a computer.
  • a control program that causes the image processing apparatus to be realized by the computer by causing the computer to operate as the respective units, and the control program
  • a computer-readable recording medium on which is recorded also falls within the scope of the present invention.
  • the eyelid contour specifying unit 44 may be configured by hardware logic, or may be realized by software using a CPU (central processing unit) as follows.
  • the image processing apparatus 6 includes a CPU that executes instructions of a control program that realizes each function, a ROM (read only memory) that stores the program, a RAM (random access memory) that develops the program, the program, and various types
  • a storage device such as a memory for storing data is provided.
  • An object of the present invention is a recording medium on which a program code (execution format program, intermediate code program, source program) of a control program of the image processing apparatus 6 which is software for realizing the functions described above is recorded so as to be readable by a computer. This can also be achieved by supplying the image processing apparatus 6 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU (microprocessor unit)).
  • Examples of the recording medium include a tape system such as a magnetic tape and a cassette tape, a magnetic disk such as a floppy (registered trademark) disk / hard disk, a CD-ROM (compact disk-read-only memory) / MO (magneto-optical) / Disc system including optical disc such as MD (Mini Disc) / DVD (digital versatile disc) / CD-R (CD Recordable), card system such as IC card (including memory card) / optical card, or mask ROM / EPROM ( A semiconductor memory system such as erasable, programmable, read-only memory, EEPROM (electrically erasable, programmable, read-only memory) / flash ROM, or the like can be used.
  • a tape system such as a magnetic tape and a cassette tape
  • a magnetic disk such as a floppy (registered trademark) disk / hard disk
  • the image processing apparatus 6 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited.
  • the Internet an intranet, an extranet, a LAN (local area network), an ISDN (integrated services network, digital network), a VAN (value-added network), and a CATV (community antenna) television communication.
  • a network, a virtual private network, a telephone line network, a mobile communication network, a satellite communication network, etc. can be used.
  • the transmission medium constituting the communication network is not particularly limited.
  • IEEE institute of electrical and electronic engineering
  • USB power line carrier
  • cable TV line telephone line
  • ADSL asynchronous digital subscriber loop
  • Bluetooth registered trademark
  • 802.11 wireless high data rate
  • mobile phone network satellite line, terrestrial digital network, etc. But it is available.
  • the present invention can be used for a digital camera equipped with an image processing apparatus.

Abstract

　正確に瞳の領域を検出することができる画像処理装置を実現する。本発明に係る画像処理装置（６）は、人物の顔画像から目の特徴を特定する画像処理装置であって、顔画像の目がある目領域を、目における横方向に微分して輝度勾配を求める第１微分部（３１）と、目領域について、輝度勾配を３値化し、左側が右側より明るい境界に対応する第１エッジ点と、左側が右側より暗い境界に対応する第２エッジ点とを、エッジ点として抽出する３値化部（３２）と、ハフ変換を用いて、各エッジ点について、第１エッジ点および第２エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、楕円に対する投票の重みを変えて投票を行う第１投票部（３３）と、第１投票部（３３）の投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定部（３４）とを備える。

Description

画像処理装置、および画像処理方法
　本発明は、画像処理装置および画像処理方法に関し、特に瞳の領域を特定する画像処理装置および画像処理方法に関する。
　近年、デジタルカメラまたはカメラ付き携帯電話等で撮影された人物の顔画像を、自動的に補正する技術が登場している。人物の顔のうち、目は特に画像の観察者の注意を引く部分である。目に対する補正として、例えば、フラッシュによって起こる赤目を補正することが考えられる。また、近年では、顔画像における目または瞳が大きくなるよう加工することにより、見栄えを変化させる（向上させる）技術もある。目または瞳を補正する場合、目の中の瞳の領域を正確に検出することが必要となる。
　瞳の位置を検出する方法として、例えば、特許文献１の技術が知られている。特許文献１に記載の構成では、ハフ変換を利用して円形の瞳孔を検出する。その際、近赤外光照明下で撮影された目における濃度勾配が可視光照明下で撮影された目における濃度勾配と異なることを利用し、扇状の投票領域を設定し、疑似的な投票値ピークの発生を抑制する。
日本国公開特許公報「特開２００９－１８１４２４号公報（２００９年８月１３日公開）」
　しかしながら、上記従来の構成では、正確に瞳の領域を検出できないという問題が生じる。
　通常、ハフ変換によって円を検出する場合、前処理として画像から輝度のエッジ（輪郭）を抽出し、そのエッジに対してハフ変換による投票を行い、円を検出する。しかしながら、画像処理に用いる目を含む周辺領域の画像からは、瞳以外のエッジ（例えば、上瞼および下瞼の輪郭、まつげ、皺、アイライン等の化粧、または影によるエッジ）がノイズとして検出される。特に、上瞼および下瞼のエッジは長く、エッジが延びている画素の数が多い。また、上瞼および下瞼のエッジは円形または楕円形に近いことが多いため、上瞼または下瞼にフィットする円に対する投票数が多くなり、上瞼または下瞼を示す円の位置を瞳の位置として誤検出する可能性がある。
　また、顔画像において瞳の輪郭が全て見えている場合は少なく、目を細めている場合は特に、瞳の上下の輪郭は上瞼および下瞼によって隠れていることが多い。そのため、瞳のエッジによる投票数が少なくなるので、従来の構成では、上瞼または下瞼を示す円の位置を瞳の位置として誤検出しやすくなる。
　また上述したように、瞳の領域の一部は、上瞼および下瞼によって隠されていることが多い。そのため、顔画像から正確な瞳の領域を検出するためには、瞳の輪郭を円として検出するだけでなく、上瞼および下瞼の境界線（目と肌との境界線）を正確に検出する必要がある。しかしながら、上記従来の構成は、上瞼および下瞼の形状を考慮しておらず、正確に瞳の領域を検出することはできない。
　従来、瞼の輪郭（目の輪郭）は、主に楕円または放物線等の２次曲線（円錐曲線）によって近似されていた。しかしながら、瞼の輪郭をこれらの曲線で正確に表すことができない場合がある。例えば、瞼の輪郭形状は個人差が大きく、人によっては楕円または放物線では表せないことが多い。また、画像に写った顔の向きによって、特に顔が正面を向いていない場合、瞼の輪郭は楕円または放物線では正確に表現できない形状になる。瞼の輪郭を正確に検出できないと、瞳の領域を精度よく特定することはできない。
　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、正確に瞳の領域を検出することができる画像処理装置を実現することにある。
　本発明に係る画像処理装置は、人物の顔画像から目の特徴を特定する画像処理装置であって、上記の課題を解決するために、上記顔画像の目がある目領域を、目における横方向に微分して第１輝度勾配を求める第１微分部と、上記目領域について、上記第１輝度勾配に応じて、左側が右側より明るい境界に対応する第１エッジ点と、左側が右側より暗い境界に対応する第２エッジ点とを、エッジ点として抽出する第１エッジ抽出部と、ハフ変換を用いて、各エッジ点について、上記第１エッジ点および上記第２エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票部と、上記投票部の投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定部とを備えることを特徴としている。
　本発明に係る画像処理方法は、人物の顔画像から目の特徴を特定する画像処理方法であって、上記の課題を解決するために、上記顔画像の目がある目領域を、目における横方向に微分して輝度勾配を求める微分ステップと、上記目領域について、上記輝度勾配に応じて、左側が右側より明るい境界に対応する第１エッジ点と、左側が右側より暗い境界に対応する第２エッジ点とを、エッジ点として抽出するエッジ抽出ステップと、ハフ変換を用いて、各エッジ点について、上記第１エッジ点および上記第２エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票ステップと、上記投票ステップにおける投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定ステップとを含むことを特徴としている。
　上記の構成によれば、目における横方向に微分した第１輝度勾配から、左側が右側より明るい境界に対応する第１エッジ点と、左側が右側より暗い境界に対応する第２エッジ点とを、エッジ点として抽出する。よって、目における縦方向に延びる輪郭をエッジ点として抽出し、横方向に延びる輪郭を排除することになる。それゆえ、瞳の輪郭を表す楕円の特定においてノイズとなる瞼の輪郭等のエッジを排除することができる。
　また、瞳の領域は周囲の白目の領域より輝度が低いと考えられるので、左側が右側より明るい境界に対応する第１エッジ点は、瞳の左側の輪郭に対応し、左側が右側より暗い境界に対応する第２エッジ点は、瞳の右側の輪郭に対応すると考えられる。すなわち、瞳の輪郭を表す楕円の中心は、多くの第１エッジ点の右側かつ多くの第２エッジ点の左側にあると考えられる。よって、ハフ変換において、第１エッジ点および第２エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行うことにより、瞳の輪郭を表す楕円を正確に特定することができる。そして、正確に特定した瞳の輪郭を表す楕円を利用して、瞳の領域を特定することができる。
　また、写真の画像において赤目が発生している場合、赤目領域は周囲の瞳の領域より輝度が大きいと考えられる。よって、赤目領域の輪郭の左右のエッジは、瞳の輪郭の左右のエッジと位置が逆になる。そのため、上記重みづけ投票によって赤目領域からの投票は分散することになる。それゆえ、赤目領域の輪郭を、瞳の輪郭として誤検出することを防ぐことができる。
　以上のように、瞳の輪郭を表す楕円の特定において、目における横方向に微分することで、主として横方向に延びる瞼の輪郭等のエッジを排除することができる。
　また、瞳の輪郭を表す楕円の中心は、多くの第１エッジ点の右側かつ多くの第２エッジ点の左側にあると考えられる。よって、ハフ変換において、第１エッジ点および上記第２エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行うことにより、瞳の輪郭を表す楕円を正確に特定することができる。そして、正確に特定した瞳の輪郭を表す楕円を利用して、瞳の領域を特定することができる。
本発明の一実施形態に係るデジタルカメラの概略構成を示すブロック図である。 目画像の一例を示す図である。 （ａ）は、ｘ方向のＳｏｂｅｌフィルタを示す図であり、（ｂ）は、ｙ方向のＳｏｂｅｌフィルタを示す図である。 ３値化された水平方向の輝度勾配の値を有する第１エッジ画像を示す図である。 ２値化されたエッジ強度を有する第２エッジ画像を示す図である。 上記デジタルカメラの画像処理装置における画像補正処理の流れを示すフローチャートである。 特定された瞳の輪郭を表す円と、特定された瞼の輪郭を表す曲線とを示す図である。 ２値化された縦方向のエッジ強度を有する第３エッジ画像を示す図である。
　以下では、主に、デジタルカメラに搭載され、撮像された画像に含まれる顔画像に対して処理を行う画像処理装置について説明するが、本発明はこれに限定されるものではない。例えば、本発明に係る画像処理装置は、デジタルビデオカメラ、カメラ付き携帯電話、パーソナルコンピュータ（ＰＣ）のＷｅｂカメラ、写真撮影シール作成機等の撮影装置に搭載され、撮影装置で撮影して得られた画像に対して処理を行ってもよい。また、本発明に係る画像処理装置は、ネットワーク等の通信経路、または外部記憶装置から取得した画像について処理を行ってもよい。また、撮像された静止画だけではなく、動画等の顔画像に処理を行ってもよい。また、デジタルカメラで撮像を行う際にデジタルカメラの表示装置に表示されるプレビュー画像に処理を施してもよい。
　［実施形態１］
　以下、本発明の実施形態について、図面を参照して詳細に説明する。
　＜デジタルカメラの構成＞
　図１は、本発明の実施形態に係るデジタルカメラ１の概略構成を示すブロック図である。デジタルカメラ１は、指示入力装置２、撮像装置３、画像記憶装置４、表示装置５、および画像処理装置６を備える。
　指示入力装置２は、ボタン、キーまたはタッチパネル等の入力装置を備え、利用者から撮像の指示を受け付け、撮像装置３に撮像の指示を出力する。
　撮像装置３は、例えば、ＣＣＤ（charge coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）撮像素子等の撮像素子を備える。撮像装置３は、撮像の指示に応じて撮像し、撮像した画像（画像データ）を画像処理装置６に出力する。
　画像記憶装置４は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）、またはフラッシュメモリ等の記憶デバイスを備える。画像記憶装置４は、画像処理装置６から受け取った画像を記憶して保存しておく。
　表示装置５は、ディスプレイを備え、入力された画像を表示して利用者に提示する。また、表示装置５は、画像処理装置６から補正処理済みの画像を受け取り、補正処理済みの画像を表示する。
　＜画像処理装置の構成＞
　画像処理装置６は、画像取得部１１、顔検出部１２、特徴検出部１３、目画像抽出部１４、瞳輪郭検出部１５、瞼輪郭検出部１６、瞳領域特定部１７、画像補正部１８、および出力部１９を備える。
　画像取得部１１は、撮像装置３から撮像された画像を処理対象の画像として取得する。なお、画像取得部１１は、画像記憶装置４に記憶されている画像を処理対象の画像として取得してもよい。画像取得部１１は、取得した処理対象の画像を顔検出部１２、特徴検出部１３、目画像抽出部１４、および画像補正部１８に出力する。
　顔検出部１２は、画像取得部１１から受け取った画像の中に含まれる顔画像を検出する。顔検出部１２は、画像に含まれる顔画像を検出すると、顔画像の位置を特定する。顔画像の位置は、顔画像の所定の点の座標を示してもよいし、顔画像の領域を示してもよい。顔検出部１２は、顔画像の位置を、特徴検出部１３、および目画像抽出部１４に出力する。なお、顔検出部１２は、処理対象の画像から複数の顔画像を検出してもよい。複数の顔画像を検出した場合、顔検出部１２は、各顔画像の位置を特定し、複数の顔画像の位置を上記各部に出力してもよい。
　特徴検出部１３は、画像取得部１１から受け取った処理対象の画像および顔検出部１２から受け取った顔画像の位置から、該顔画像の顔の各特徴の位置を検出する。具体的には、特徴検出部１３は、例えば目（目頭、目尻等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴、および顔の輪郭等の特徴（特徴点）を検出し、それらの位置を特定する。各特徴の検出は、公知の技術を用いて行うことができる。ここでは、特徴検出部１３は、特に目頭、目尻を検出し、それらの座標を特定する。特徴検出部１３は、検出した顔の特徴の位置を目画像抽出部１４、瞳輪郭検出部１５、および瞼輪郭検出部１６に出力する。なお、特徴検出部１３は、複数の顔画像の特徴の位置を特定し、複数の顔画像の特徴の位置を上記各部に出力してもよい。
　目画像抽出部１４は、画像取得部１１、顔検出部１２、および特徴検出部１３からそれぞれ処理対象の画像、顔画像の位置、および顔の特徴の位置を受け取る。目画像抽出部１４は、受け取った情報に基づき、処理対象となる顔画像の目を含む所定の領域の画像を抽出する。なお、画像の中の顔は傾いていることがある。瞳領域の検出処理が簡単になるように、目画像抽出部１４は、抽出した目を含む領域の画像を、目尻の特徴点（目尻点）と目頭の特徴点（目頭点）との位置関係が水平になるように必要に応じて回転させた画像を、目画像として生成する。目画像における水平方向（目頭と目尻とが並ぶ方向）をｘ方向、それに垂直な縦方向をｙ方向とする。なお、本実施形態では輝度の情報を用いて瞳領域の検出処理を行うので、目画像抽出部１４は、各画素が輝度値のみを有するグレースケールの目画像を生成する。図２は、目画像の一例を示す図である。ここでは、目頭点Ｅａおよび目尻点Ｅｂを含む目の領域の画像を目画像としている。瞳の領域を特定するために、目画像には瞳およびその周辺が含まれていればよい。目画像抽出部１４は、目画像を瞳輪郭検出部１５、および、瞼輪郭検出部１６に出力する。また、目画像抽出部１４は、顔画像と目画像との座標の対応関係を示す情報を、画像補正部１８に出力する。
　なお、目画像抽出部１４は、顔に含まれる左右の目のそれぞれについて、目画像を生成し、瞳輪郭検出部１５および瞼輪郭検出部１６は、各目画像について処理を行う。簡単のため、以下では、１つの顔の１つの（左眼の）目画像についての処理のみ記載する。なお、右眼についても同様の処理を行う。
　瞳輪郭検出部１５は、目画像抽出部１４から目画像を取得し、特徴検出部１３から対応する目頭点Ｅａおよび目尻点Ｅｂの座標を取得する。瞳輪郭検出部１５は、瞳の輪郭を円として検出し、検出した円の情報（中心座標および半径）を、瞳領域特定部１７に出力する。瞳輪郭検出部１５の詳細な構成は後述する。
　瞼輪郭検出部１６は、目画像抽出部１４から目画像を取得し、特徴検出部１３から対応する目頭点Ｅａおよび目尻点Ｅｂの座標を取得する。瞼輪郭検出部１６は、瞼の輪郭を曲線として検出し、検出した曲線を表す情報（端点および制御点の座標）を、瞳領域特定部１７に出力する。瞼輪郭検出部１６の詳細な構成は後述する。
　瞳領域特定部１７は、瞳輪郭検出部１５が特定した瞳の輪郭を表す円と、瞼輪郭検出部１６が特定した上瞼の輪郭を表す曲線および下瞼の輪郭を表す曲線とに基づき、目画像における瞳領域を特定する。具体的には、瞳領域特定部１７は、瞳の輪郭を表す円の内部であり、かつ、上瞼の輪郭を表す曲線と下瞼の輪郭を表す曲線とに囲まれる領域を、瞳領域として特定する。瞳領域特定部１７は、特定した瞳領域を画像補正部１８に出力する。
　画像補正部１８は、瞳領域特定部１７によって特定された瞳領域に基づいて、顔画像における対応する目の領域の画像を補正する。ここでは、瞳領域の瞳色補正を行う。なお、他の補正処理、例えば瞼の輪郭に基づいて瞳の大きさを大きくする等の補正を行ってもよい。画像補正部１８は、補正された画像を出力部１９に出力する。
　出力部１９は、画像記憶装置４に補正された画像を出力し、記憶させる。または、出力部１９は、表示装置５に補正された画像を出力し、ディスプレイに補正された画像を表示させるよう制御を行う。
　＜瞳輪郭検出部の構成＞
　瞳輪郭検出部１５は、目画像抽出部１４から目画像を取得し、特徴検出部１３から対応する目頭点Ｅａおよび目尻点Ｅｂの座標を取得する。目頭点Ｅａおよび目尻点Ｅｂの座標は、目画像に対応付けられる。瞳輪郭検出部１５は、第１微分部３１、３値化部（第１エッジ抽出部）３２、第１投票部（投票部）３３、および瞳輪郭特定部３４を備える。
　第１微分部３１は、目画像に微分フィルタを適用し、水平方向における輝度勾配を検出する。
　具体的には、第１微分部３１は、目画像に対してｘ方向に微分フィルタ（ここではＳｏｂｅｌフィルタ）を適用し、水平方向の輝度勾配を求める。図３の（ａ）は、ｘ方向のＳｏｂｅｌフィルタを示す図である。なお、目画像またはＳｏｂｅｌフィルタを適宜拡大・縮小して適用してよい。図３の（ａ）に示すＳｏｂｅｌフィルタを目画像に適用すると、周辺画素の輝度差（輝度勾配）が大きい注目画素（フィルタの中心に位置する画素）に対応する値（微分値）は、左から右に向かって輝度が小さくなる目画像の箇所については、負の値になる。また、左から右に向かって輝度が大きくなる目画像の箇所については、微分値は正の値になる。輝度勾配の大きさに応じて、微分値の絶対値は大きくなる。左から右に向かって輝度が変化しない目画像の箇所については、微分値は０になる。微分値の絶対値は、エッジ強度と言うことができる。
　３値化部３２は、第１微分部３１から目画像の各位置に対応する輝度勾配（微分値）を取得し、目画像の輝度勾配を３値化してエッジ点を抽出し、第１エッジ画像を生成する。
　具体的には、３値化部３２は、水平方向Ｓｏｂｅｌフィルタを適用して得た微分値ｄｘを、正の閾値ｔａおよび負の閾値ｔｂによって３値化する。目画像の各位置について、ｄｘ≦ｔｂであれば－１、ｔｂ＜ｄｘ＜ｔａであれば０、ｔａ≦ｄｘであれば１とする。ここでは、｜ｔｂ｜＝ｔａとする。第１エッジ画像の値は、－１、０、１のいずれかであり、３値化された値が－１の箇所は、左側の輝度が右側の輝度より大きい箇所（エッジ点）である。また、３値化された値が１の箇所は、左側の輝度が右側の輝度より小さい箇所（エッジ点）である。また、３値化された値が０の箇所は、左側の輝度と右側の輝度との差が小さい箇所である。
　図４は、３値化された水平方向の輝度勾配の値を有する第１エッジ画像を示す図である。水平方向の輝度勾配のみを３値化することにより、横方向に延びる上瞼および下瞼の境界のエッジを除去することができる。すなわち、縦方向に延びる瞳と白目との境界を主に検出できる。さらに、瞳の左側の境界は、３値化された輝度勾配の値が－１となり、瞳の右側の境界は、３値化された輝度勾配の値が１となる。これにより、瞳の左側と右側とを区別することができる。なお、肌の領域は白目の領域より輝度が小さいことが多いので、目頭点Ｅａに近い位置の３値化された輝度勾配の値は１となり、目尻点Ｅｂに近い位置の３値化された輝度勾配の値は－１となる。
　なお、微分フィルタとして、Ｓｏｂｅｌフィルタではなく、他の微分フィルタを用いてもよい。このとき、目頭から目尻への方向における輝度の変化に応じて、微分値を３値化できればよい。
　第１投票部３３は、第１エッジ画像のエッジに位置する各画素（値が－１および１の画素）を投票実行画素として、ハフ変換によって第１エッジ画像に含まれる円を検出するための投票を行う。ここで、第１投票部３３は、３値化された値に応じて投票対象に重みづけをして、投票を行う。
　円の検出を行うので、投票対象であるハフ空間のパラメータは円の中心座標（Ｘｃ、Ｙｃ）および円の半径Ｒｃの３つである。また、瞳の領域は、白目の領域より輝度が小さいと考えられる。よって、瞳と白目との境界のうち、左側の境界の３値化された値は必ず－１になり、右側の境界の３値化された値は必ず１になる。すなわち、瞳を表す円の中心座標（Ｘｃ、Ｙｃ）は、多くの３値化された値が－１である投票実行画素より右側に位置し、多くの３値化された値が１である投票実行画素より左側に位置すると考えられる。
　よって、第１投票部３３は、第１エッジ画像の各投票実行画素について、その投票実行画素の３値化された値が－１であれば、その投票実行画素を通り、その投票実行画素のｘ座標より右側に中心座標がある円に対する投票の重みを大きくして投票し、左側に中心座標がある円に対する投票の重みを小さくして投票する。また、その投票実行画素の３値化された値が１であれば、その投票実行画素を通り、その投票実行画素のｘ座標より右側に中心座標がある円に対する投票の重みを小さくして投票し、左側に中心座標がある円に対する投票の重みを大きくして投票する。例えば、３値化された値が－１である投票実行画素からの投票において、その投票実行画素を通り、その投票実行画素より左側に中心がある円に対しては重み（投票数）１で投票し、その投票実行画素より右側に中心がある円に対しては重み（投票数）２で投票する。
　瞳輪郭特定部３４は、第１投票部３３による投票結果に基づき、最も多くの投票数を得た円（Ｘｃ、Ｙｃ、Ｒｃ）を、瞳の輪郭を表す円として特定する。瞳輪郭特定部３４は、特定した円の中心座標（Ｘｃ、Ｙｃ）および半径Ｒｃを、瞳領域特定部１７に出力する。
　このように、３値化された輝度勾配と、投票対象（円）の位置に応じて、投票に重みづけをすることにより、瞳の輪郭をより表していると考えられる円の合計投票数が大きくなる。そのため、ノイズによって投票された円と、瞳の輪郭を表す円とを判別することができる。
　なお、瞳を円ではなく楕円と仮定して、瞳輪郭検出部１５は、瞳の輪郭を表す楕円を重みづけ投票によって検出してもよい。この場合、第１投票部３３は、例えば、楕円の中心または２つの焦点が投票実行画素の左右いずれの側にあるかに応じて、該楕円への投票の重みを変化させてもよい。なお、一般的な楕円は、例えば２つの焦点の座標と、焦点からの距離の和とを表す５つのパラメータで表現される。
　＜瞼輪郭検出部の構成＞
　瞼輪郭検出部１６は、目画像抽出部１４から目画像を取得し、特徴検出部１３から対応する目頭点Ｅａおよび目尻点Ｅｂの座標を取得する。目頭点Ｅａおよび目尻点Ｅｂの座標は、目画像に対応付けられる。瞼輪郭検出部１６は、第２微分部４１、２値化部（第２エッジ抽出部）４２、第２投票部（曲線特定部）４３、および瞼輪郭特定部（曲線特定部）４４を備える。
　なお、上瞼および下瞼の輪郭の検出は、別々に行われる。以下、上瞼の輪郭を検出する場合について説明するが、下瞼の輪郭も同様にして検出することができる。
　第２微分部４１は、目画像に微分フィルタを適用し、輝度勾配を求める。第２微分部４１は、第１微分部３１とは異なり、縦方向および横方向における輝度勾配を求める。
　具体的には、第２微分部４１は、目画像に対してｙ方向およびｘ方向に微分フィルタ（ここではＳｏｂｅｌフィルタ）を適用し、輝度勾配の絶対値をエッジ強度として検出する。図３の（ｂ）は、ｙ方向のＳｏｂｅｌフィルタを示す図である。なお、目画像またはＳｏｂｅｌフィルタを適宜拡大・縮小して適用してよい。第２微分部４１は、ｙ方向のＳｏｂｅｌフィルタおよびｘ方向のＳｏｂｅｌフィルタをそれぞれ適用し、ｙ方向の微分値の絶対値とｘ方向の微分値の絶対値との和を、目画像の各位置におけるエッジ強度とする。
　２値化部４２は、第２微分部４１から目画像の各位置に対応するエッジ強度（微分値の絶対値）を取得し、目画像のエッジ強度を２値化してエッジ点を抽出し、第２エッジ画像を生成する。
　具体的には、２値化部４２は、Ｓｏｂｅｌフィルタを適用して得た微分値の絶対値ｄｚを、閾値ｔｃによって２値化する。目画像の各位置について、ｄｚ＜ｔｃであれば０、ｔｃ≦ｄｚであれば１とする。第２エッジ画像の値は、０、１のいずれかであり、エッジ強度が大きい箇所（エッジ点）は１となり、エッジ強度が小さい箇所は０となる。
　図５は、２値化されたエッジ強度を有する第２エッジ画像を示す図である。２値化することにより、輝度差が大きい肌と目との境界（瞼の輪郭）、および、瞳と白目との境界（瞳の境界）が主に抽出される。なお、微分フィルタとして、Ｓｏｂｅｌフィルタではなく、他の微分フィルタを用いてもよい。
　第２投票部４３は、第２エッジ画像のエッジに位置する各画素（値が１の画素）を投票実行画素として、ハフ変換によって瞼の輪郭を表す曲線を検出するための投票を行う。なお、上瞼の輪郭を表す曲線を検出する場合、下瞼のエッジはノイズになるので、第２エッジ画像の目頭点Ｅａおよび目尻点Ｅｂの上側（図５に示す線Ａの上側）に位置する該画素を投票実行画素とする。
　本実施形態では、Ｂスプライン曲線を用いて瞼の輪郭を表現する。１つの区間の２次Ｂスプライン曲線は、２つの端点と、１つの制御点によって定義することができる。Ｂスプライン曲線は、制御点に向かって凸になっている。Ｂスプライン曲線は、制御点の位置に応じて、曲線の凸になる位置を変化させることができるので、画像の中の顔が少し横を向いている場合でも、瞼の輪郭を正確に表現することができる。瞼の輪郭の端点である目頭点Ｅａおよび目尻点Ｅｂの座標は既知であるので、ここでは、１つの制御点の座標（Ｘｂ、Ｙｂ）を求めればよい。
　具体的には、第２投票部４３は、第２エッジ画像の目頭点Ｅａおよび目尻点Ｅｂの上側に位置する各投票実行画素について、該投票実行画素を通るＢスプライン曲線の制御点（Ｘｂ、Ｙｂ）に投票する。投票対象となる制御点の範囲（ハフ空間での投票範囲）は必要に応じて所定の範囲等に制限してよい。なお上瞼の場合、制御点は目頭点Ｅａおよび目尻点Ｅｂの上側にあると考えられる。
　瞼輪郭特定部４４は、第２投票部４３による投票結果に基づき、最も多くの投票数を得た制御点（Ｘｂ、Ｙｂ）で表されるＢスプライン曲線を、上瞼の輪郭を表す曲線として特定する。特定されたＢスプライン曲線は、目頭点Ｅａおよび目尻点Ｅｂを区間の端点とし、制御点（Ｘｂ、Ｙｂ）で表される曲線である。瞼輪郭特定部４４は、目頭点Ｅａ、目尻点Ｅｂの座標、および特定した制御点（Ｘｂ、Ｙｂ）を、瞳領域特定部１７に出力する。
　なお、２次Ｂスプライン曲線に限らず、より高次のＢスプライン曲線またはベジエ曲線等の、いくつかの制御点と、曲線が通過する両端点（目頭点および目尻点）とによって表される曲線を用いて、瞼の輪郭を検出してもよい。
　上記の制御点と端点とで表される曲線によって瞼の輪郭を表す場合、曲線が通過する両端点（目頭点および目尻点）は従来の特徴検出技術により既知であるので、瞼の輪郭を検出するためには、残る制御点の座標を特定するだけでよい。そのため、制御点をハフ変換により容易に求めることができる。また、両端点と制御点により表現される曲線（Ｂスプライン曲線等）によれば、様々な瞼の輪郭を精度よく表すことができ、瞼の輪郭を正確に特定することができる。なお、制御点が１つの２次Ｂスプライン曲線を用いても、様々な瞼の輪郭を精度よく表すことができる上、ハフ空間でのパラメータが２つ（Ｘｂ、Ｙｂ）なので、円を検出する場合よりも計算が少なくて済む。
　なお、ハフ変換の代わりに、最小二乗法等を用いて、目画像の２値化されたエッジにフィット（適合）するＢスプライン曲線を、瞼の輪郭を表す曲線として求めることもできる。
　下瞼についても、上瞼と同様に、目頭点Ｅａおよび目尻点Ｅｂの下側に位置するエッジの各画素から投票を行い、下瞼の輪郭を表すＢスプライン曲線の制御点を特定する。なお、上記の例では上瞼および下瞼に対して別々に投票を行うが、目画像の上下の全てのエッジからまとめて投票を行い、投票数の多い上下２つの曲線を上瞼を表す曲線および下瞼を表す曲線として特定してもよい。
　＜画像処理フロー＞
　以下に、画像処理装置６における画像補正処理の流れについて説明する。図６は、画像処理装置６における画像補正処理の流れを示すフローチャートである。なお、ここでは、簡単のため、検出された１つの目に対して処理を行う場合について説明する。
　画像取得部１１は、撮像装置３から撮像された画像を受け取る（Ｓ１）。
　顔検出部１２は、処理対象となる画像に含まれる顔画像を検出し、その顔画像の位置を特定する（Ｓ２）。
　特徴検出部１３は、検出された顔画像に含まれる、目頭点および目尻点の位置を検出する（Ｓ３）。
　目画像抽出部１４は、処理対象となる顔画像の目を含む所定の領域の画像を抽出し、図２に示される目画像を生成する（Ｓ４）。このとき、目尻点と目頭点との位置関係が水平になるように必要に応じて回転させる。
　第１微分部３１は、目画像にｘ方向の微分を行う微分フィルタを適用し、目の水平方向における輝度勾配を検出する（Ｓ５）。
　３値化部３２は、目画像の輝度勾配を３値化する（Ｓ６）。これにより、目画像の水平方向（横方向）における明暗の変化に応じて、－１、０、１の値に３値化することができる。図４は、３値化された第１エッジ画像を示す図である。
　第１投票部３３は、第１エッジ画像のエッジに位置する各画素（値が－１および１の画素）を投票実行画素として、３値化された値に応じて投票対象に重みづけをして、ハフ変換によって円を検出するための投票を行う（Ｓ７）。
　瞳輪郭特定部３４は、第１投票部３３による投票結果に基づき、最も多くの投票数を得た円（Ｘｃ、Ｙｃ、Ｒｃ）を、瞳の輪郭を表す円として特定する（Ｓ８）。
　第２微分部４１は、目画像に微分フィルタを適用し、縦方向および横方向における輝度勾配を検出する（Ｓ９）。
　２値化部４２は、エッジ強度に応じて目画像の輝度勾配を２値化する（Ｓ１０）。図５は、２値化された第２エッジ画像を示す図である。
　第２投票部４３は、第２エッジ画像の上側に位置するエッジに対応する各画素（値が１の画素）を投票実行画素として、ハフ変換によってＢスプライン曲線を検出するための投票を行う（Ｓ１１）。
　瞼輪郭特定部４４は、第２投票部４３による投票結果に基づき、最も多くの投票数を得た制御点（Ｘｂ１、Ｙｂ１）で表されるＢスプライン曲線を、上瞼の輪郭を表す曲線として特定する（Ｓ１２）。
　また、第２投票部４３は、第２エッジ画像の下側に位置するエッジに対応する各画素（値が１の画素）を投票実行画素として、ハフ変換によってＢスプライン曲線を検出するための投票を行う（Ｓ１３）。
　瞼輪郭特定部４４は、第２投票部４３による投票結果に基づき、最も多くの投票数を得た制御点（Ｘｂ２、Ｙｂ２）で表されるＢスプライン曲線を、下瞼の輪郭を表す曲線として特定する（Ｓ１４）。
　図７は、特定された瞳の輪郭を表す円と、特定された瞼の輪郭を表す曲線とを示す図である。図７では、瞳の輪郭を表す円Ｅｃが破線で示され、上瞼の輪郭を表す曲線Ｅｄおよび下瞼の輪郭を表す曲線Ｅｅが実線で示されている。
　瞳領域特定部１７は、瞳の輪郭を表す円Ｅｃの内部であり、かつ、上瞼の輪郭を表す曲線Ｅｄの下側であり、かつ、下瞼の輪郭を表す曲線Ｅｅの上側である領域を、瞳領域Ｅｐとして特定する（Ｓ１５）。
　画像補正部１８は、顔画像における瞳領域の瞳色補正を行う（Ｓ１６）。
　画像処理装置６は、画像記憶装置４または表示装置５に補正された画像を出力し、処理を終了する。
　本実施形態では、上述したように、目画像のｘ方向（目頭と目尻とがほぼ並ぶ方向）における輝度の変化（減少、無し、増大）を３値化し、ハフ変換において、ｘ方向における輝度の変化に応じて投票対象（円）に重みをつけて投票を行う。よって、瞼の輪郭等のノイズを排除することができる。また、３値化によって瞳の左側の輪郭と瞳の右側の輪郭とを区別し、それに応じて投票対象の重みを変えて投票することにより、瞳の輪郭をより表していると考えられる円の投票数が大きくなるようにすることができる。よって、瞳の輪郭を表す円を正確に特定することができる。このように、画像の中の検出対象である瞳は周囲の白目の部分より輝度が小さいという事前知識を、３値化とそれに応じた重みづけによって検出処理に組み込むことができる。よって、一般的な従来のハフ変換を用いた円形の検出よりも、正確に瞳の輪郭を検出することができる。
　また、撮影された画像に赤目が発生している場合、目画像の瞳の中に輝度の大きな赤目領域が存在する。輝度が小さい瞳の中の輝度が大きい赤目領域の境界は、３値化によって、例えば左側が１、右側が－１となり、瞳のそれぞれの境界と逆の値になる。赤目領域の左側の境界（値が１）は、そのさらに左側に中心が位置する円に対して重みが大きくなり、赤目領域の右側の境界（値が－１）は、そのさらに右側に中心が位置する円に対して重みが大きくなる。よって、ノイズである赤目領域の境界による投票の重みは異なる領域に分散することになる。そのため、赤目領域を瞳領域として誤検出することを防ぐことができる。このように、３値化に対する重みづけによって、ハフ変換においてノイズのエッジ点の影響を受けにくくすることができる。
　また、顔の向き、個人差によって様々に変わりうる上下の各瞼の輪郭を、制御点と両端点とで表される曲線（Ｂスプライン曲線等）で表現する。Ｂスプライン曲線等は、制御点の座標によって曲線の凸の向きと位置とを調整することができるので、様々な形状である瞼の輪郭を、正確に表現することができる。目頭点および目尻点は、公知の技術によって容易に取得することができるので、両端点は既知である。そのため、目画像のエッジに基づいて、残る制御点を容易にハフ変換を用いて特定することができる。
　このようにして特定された瞳の輪郭を表す円と瞼の輪郭を表す曲線とに基づき、瞼によって部分的に隠れた画像中の瞳の領域を、精度よく特定することができる。よって、瞳の領域に正確に補正を行うことができる。また、正確に特定された瞳の領域に基づき、目等の補正を行うことができる。
　また、瞳の領域および瞳の中心を正確に検出することができるので、静止画または動画から人物の瞳を検出し、その情報を利用する様々な技術に応用することができる。例えば、検出した瞳から被写体（特に幼児）の視線を推定し、視線がカメラに向いたときに自動でシャッターを切るオートシャッター機能、または、検出した瞳から運転手の運転状態（わき見運転等）を推定し、警告等を行う車載ドライビングシステム等に利用することができる。
　［実施形態２］
　本実施形態では、瞼検出において縦方向（ｙ方向）にのみ微分を行う構成について説明する。なお、説明の便宜上、実施形態１にて説明した図面と同じ機能を有する部材・構成については、同じ符号を付記し、その詳細な説明を省略する。以下、本実施形態について、図面を参照して詳細に説明する。
　本実施形態のデジタルカメラの機能構成は、図１に示す実施形態１のデジタルカメラ１と同様である。本実施形態では、瞼輪郭検出部１６の各部の処理のみが実施形態１と異なる。
　第２微分部４１は、目画像に微分フィルタを適用し、縦方向における輝度勾配を求める。実施形態１と異なり本実施形態では、第２微分部４１は、縦方向における輝度勾配を求め、横方向（水平方向）における輝度勾配は求めない。
　具体的には、第２微分部４１は、目画像に対してｙ方向に微分フィルタ（ここではＳｏｂｅｌフィルタ）を適用し、縦方向の輝度勾配の絶対値をエッジ強度として求める。第２微分部４１は、ｙ方向のＳｏｂｅｌフィルタを適用し、ｙ方向の微分値の絶対値を、目画像の各位置におけるエッジ強度とする。
　２値化部４２は、第２微分部４１から目画像の各位置に対応するエッジ強度（微分値の絶対値）を取得し、目画像のエッジ強度を２値化した第３エッジ画像を生成する。
　具体的には、２値化部４２は、Ｓｏｂｅｌフィルタを適用して得た微分値の絶対値ｄｙを、閾値ｔｄによって２値化する。目画像の各位置について、ｄｙ＜ｔｄであれば０、ｔｄ≦ｄｙであれば１とする。第３エッジ画像の値は、０、１のいずれかであり、エッジ強度が大きい箇所は１となり、エッジ強度が小さい箇所は０となる。
　図８は、２値化された縦方向のエッジ強度を有する第３エッジ画像を示す図である。縦方向のエッジ強度を２値化することにより、縦方向に延びる瞳と白目との境界のエッジの一部を除去することができる。すなわち、横方向に延びる瞼と白目または瞳との境界を主に抽出することができる。
　第２投票部４３は、第３エッジ画像のエッジに位置する各画素（値が１の画素）を投票実行画素として、ハフ変換によって瞼の輪郭を表す曲線（Ｂスプライン曲線）を検出するための投票を行う。なお、上瞼の輪郭を表す曲線を検出する場合、下瞼のエッジはノイズになるので、第３エッジ画像の目頭点Ｅａおよび目尻点Ｅｂの上側（図８に示す線Ｂの上側）に位置する該画素を投票実行画素とする。
　瞼輪郭特定部４４は、第２投票部４３による投票結果に基づき、最も多くの投票数を得た制御点で表されるＢスプライン曲線を、上瞼の輪郭を表す曲線として特定する。
　本実施形態によれば、瞼の輪郭を検出する際にノイズとなる瞳の輪郭の一部のエッジを除去することができる。よって、より正確に瞼の輪郭を表す曲線を特定し、それを用いて精度よく瞳領域を特定することができる。
　なお、２値化において、微分値の絶対値を２値化するのではなく、輝度勾配に応じて正負の値を取り得る微分値を閾値によって２値化してもよい。例えば、輝度の関係が、「瞳＜肌（瞼）＜白目」となっている場合、上瞼の輪郭において、上瞼と瞳との境界と、上瞼と白目との境界とは、微分値の正負の符号が逆になると考えられる。そのため、２値化によって上瞼と瞳との境界のエッジのみを残すことができる。瞳領域を精度よく特定するためには、瞳と瞼との境界を正確に検出できればよく、白目と瞼との境界は必ずしも特定しなくてもよい。よって、上瞼と瞳との境界のエッジのみにフィットするＢスプライン曲線を求めることで、瞳領域を精度よく特定することができる。なお、この場合、目頭点Ｅａおよび目尻点Ｅｂの上側と下側とについて、異なる閾値を用いて別々に２値化する。
　［他の変形例］
　本発明に係る画像処理装置は、人物の顔画像から目の特徴を特定する画像処理装置であって、上記顔画像の目がある目領域を、目における横方向に微分して第１輝度勾配を求める第１微分部と、上記目領域について、上記第１輝度勾配に応じて、左側が右側より明るい境界に対応する第１エッジ点と、左側が右側より暗い境界に対応する第２エッジ点とを、エッジ点として抽出する第１エッジ抽出部と、ハフ変換を用いて、各エッジ点について、上記第１エッジ点および上記第２エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票部と、上記投票部の投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定部とを備える。
　本発明に係る画像処理方法は、人物の顔画像から目の特徴を特定する画像処理方法であって、上記顔画像の目がある目領域を、目における横方向に微分して輝度勾配を求める微分ステップと、上記目領域について、上記輝度勾配に応じて、左側が右側より明るい境界に対応する第１エッジ点と、左側が右側より暗い境界に対応する第２エッジ点とを、エッジ点として抽出するエッジ抽出ステップと、ハフ変換を用いて、各エッジ点について、上記第１エッジ点および上記第２エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票ステップと、上記投票ステップにおける投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定ステップとを含む。
　上記の構成によれば、目における横方向に微分した第１輝度勾配から、左側が右側より明るい境界に対応する第１エッジ点と、左側が右側より暗い境界に対応する第２エッジ点とを、エッジ点として抽出する。よって、目における縦方向に延びる輪郭をエッジ点として抽出し、横方向に延びる輪郭を排除することになる。それゆえ、瞳の輪郭を表す楕円の特定においてノイズとなる瞼の輪郭等のエッジを排除することができる。
　また、瞳の領域は周囲の白目の領域より輝度が低いと考えられるので、左側が右側より明るい境界に対応する第１エッジ点は、瞳の左側の輪郭に対応し、左側が右側より暗い境界に対応する第２エッジ点は、瞳の右側の輪郭に対応すると考えられる。すなわち、瞳の輪郭を表す楕円の中心は、多くの第１エッジ点の右側かつ多くの第２エッジ点の左側にあると考えられる。よって、ハフ変換において、第１エッジ点および第２エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行うことにより、瞳の輪郭を表す楕円を正確に特定することができる。そして、正確に特定した瞳の輪郭を表す楕円を利用して、瞳の領域を特定することができる。
　また、写真の画像において赤目が発生している場合、赤目領域は周囲の瞳の領域より輝度が大きいと考えられる。よって、赤目領域の輪郭の左右のエッジは、瞳の輪郭の左右のエッジと位置が逆になる。そのため、上記重みづけ投票によって赤目領域からの投票は分散することになる。それゆえ、赤目領域の輪郭を、瞳の輪郭として誤検出することを防ぐことができる。
　なお、瞳の輪郭を円とみなし、瞳の輪郭を表す円を特定してもよい。
　また、上記投票部は、上記第１エッジ点から投票する場合、該第１エッジ点より中心座標が左に位置する上記楕円に対する重みより、該第１エッジ点より中心座標が右に位置する上記楕円に対する重みを大きくして投票し、上記第２エッジ点から投票する場合、該第２エッジ点より中心座標が右に位置する上記楕円に対する重みより、該第２エッジ点より中心座標が左に位置する上記楕円に対する重みを大きくして投票してもよい。
　上記の構成によれば、瞳の左側の輪郭である可能性が高い第１エッジ点から、それより右側に中心座標があり瞳の輪郭として適切と考えられる楕円に大きな重みで投票し、それより左側に中心座標があり瞳の輪郭として適切ではないと考えられる楕円に小さな重みで投票する。また、同様に、瞳の右側の輪郭である可能性が高い第２エッジ点から、それより左側に中心座標があり瞳の輪郭として適切と考えられる楕円に大きな重みで投票し、それより右側に中心座標があり瞳の輪郭として適切ではないと考えられる楕円に小さな重みで投票する。よって、瞳の輪郭として適切な楕円に対する投票を大きくすることができる。それゆえ、瞳の輪郭を表す楕円を正確に特定することができる。
　また、上記第１微分部は、上記目領域を、目頭と目尻とが並ぶ方向に沿って微分して上記第１輝度勾配を求め、上記第１エッジ抽出部は、正の第１閾値および負の第２閾値によって上記第１輝度勾配を３値化し、上記３値化された第１輝度勾配に応じて上記第１エッジ点および上記第２エッジ点を抽出する構成であってもよい。
　上記の構成によれば、上記第１微分部は、上記目領域を、目頭と目尻とが並ぶ方向に沿って微分するので、ノイズとなる主に横方向に延びる瞼の輪郭等のエッジを排除することができる。
　また、上記画像処理装置は、上記目領域を、少なくとも目における縦方向に微分して第２輝度勾配を求める第２微分部と、上記目領域について、上記第２輝度勾配に応じて第３エッジ点を抽出する第２エッジ抽出部と、目頭点および目尻点を両端点とし該両端点と制御点とによって表現される曲線であって、かつ、上記第３エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定部とを備える構成であってもよい。
　ここで、上記両端点と制御点とによって表現される上記曲線は、上記両端点を通り、上記両端点の間において該曲線の凸の位置および向きが上記制御点によって規定される曲線である。例えば、上記両端点と制御点とによって表現される上記曲線は、Ｂスプライン曲線またはベジエ曲線である。ここで、上記Ｂスプライン曲線またはベジエ曲線は、例えば２次Ｂスプライン曲線、より高次のＢスプライン曲線、３次のベジエ曲線、または、より高次のベジエ曲線であってもよい。
　上記の構成によれば、少なくとも目における縦方向に微分した第２輝度勾配から、第３エッジ点を抽出する。上瞼および下瞼の輪郭は主に横方向に延びるので、上瞼および下瞼の輪郭に対応する主なエッジ点は、第３エッジ点に含まれる。また、両端点と制御点とによって表されるＢスプライン曲線等の曲線を用いることで、様々な形状の瞼の輪郭を表現することができる。例えば、顔が正面を向いていない画像では、上瞼の凸の部分が目頭側または目尻側に寄ったものになる。両端点と制御点とによって表される曲線では、制御点によってこのような瞼の輪郭を適切に表現することができる。また、曲線の両端点である目頭点および目尻点は、周知の技術を用いて容易に特定することができる。そのため、曲線特定部は、第３エッジ点に基づいて残りの制御点を特定するだけで、瞼の輪郭を表す曲線を特定することができる。
　また、上記曲線特定部は、上記目頭点または上記目尻点より上側に位置する上記第３エッジ点に適合する上記曲線を上瞼の輪郭を表す曲線として特定し、上記目頭点または上記目尻点より下側に位置する上記第３エッジ点に適合する上記曲線を下瞼の輪郭を表す曲線として特定してもよく、上記画像処理装置は、上記瞳の輪郭を表す楕円、上記上瞼の輪郭を表す曲線、および上記下瞼の輪郭を表す曲線に基づき、上記顔画像における瞳の領域を特定する瞳領域特定部を備える構成であってもよい。
　上記の構成によれば、上瞼の輪郭を表す曲線、下瞼の輪郭を表す曲線、および瞳の輪郭を表す楕円を正確に特定することができる。瞳の輪郭を表す楕円の内側、かつ、上瞼の輪郭を表す曲線の下側、かつ、下瞼の輪郭を表す曲線の上側の領域が、顔画像における瞳の領域と考えられる。よって、正確に瞳の領域を特定することができる。
　また、上記曲線特定部は、ハフ変換を用いて、上記第３エッジ点について、投票対象である上記制御点に対して投票を行い、該投票結果に基づいて、上記第３エッジ点に適合する上記両端点と１つの上記制御点とによって表現されるＢスプライン曲線を上記上瞼または下瞼の輪郭を表す曲線として特定してもよい。
　制御点が１つのＢスプライン曲線でも、制御点の位置に応じて曲線の凸の位置および高さを様々に変化させることができる。上記の構成によれば、瞼の輪郭を制御点が１つのＢスプライン曲線で適切に表すことができ、また、未知の変数が１つの制御点の座標だけになるので、ハフ変換によって容易に求めることができる。
　また、上記曲線特定部は、上記目頭点と上記目尻点とを結ぶ線より上側に位置する上記第３エッジ点から上記上瞼の輪郭を表す曲線を特定し、上記目頭点と上記目尻点とを結ぶ線より下側に位置する上記第３エッジ点から上記下瞼の輪郭を表す曲線を特定してもよい。
　上瞼の輪郭に対応する第３エッジ点は、上記目頭点と上記目尻点とを結ぶ線より上側に位置すると考えられる。また、下瞼の輪郭に対応する第３エッジ点は、上記目頭点と上記目尻点とを結ぶ線より下側に位置すると考えられる。よって、上記の構成によれば、上瞼および下瞼のそれぞれに関係のないノイズとなるエッジ点を除去することができる。よって、より正確に上瞼の輪郭を表す曲線および下瞼の輪郭を表す曲線を特定することができる。
　また、上記第２微分部は、上記目領域を、目における縦方向に微分した値を上記第２輝度勾配として求め、上記第２エッジ抽出部は、上記第２輝度勾配の絶対値が第３閾値より大きい点を上記第３エッジ点として抽出してもよい。
　上記の構成によれば、ノイズとなる縦方向に延びる瞳と白目との境界のエッジの一部を除去することができる。よって、より正確に上瞼の輪郭を表す曲線および下瞼の輪郭を表す曲線を特定することができる。
　（プログラムおよび記録媒体）
　なお、上記画像処理装置は、一部をコンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させる制御プログラム、および上記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　画像処理装置６の各ブロック、特に画像取得部１１、顔検出部１２、特徴検出部１３、目画像抽出部１４、瞳輪郭検出部１５、瞼輪郭検出部１６、瞳領域特定部１７、画像補正部１８、出力部１９、第１微分部３１、３値化部３２、第１投票部３３、瞳輪郭特定部３４、第２微分部４１、２値化部４２、第２投票部４３、および瞼輪郭特定部４４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
　すなわち、画像処理装置６は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置６の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置６に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ－Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
　また、画像処理装置６を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　本発明は、画像処理装置を備えるデジタルカメラ等に利用することができる。
　１　　デジタルカメラ
　２　　指示入力装置
　３　　撮像装置
　４　　画像記憶装置
　５　　表示装置
　６　　画像処理装置
１１　　画像取得部
１２　　顔検出部
１３　　特徴検出部
１４　　目画像抽出部
１５　　瞳輪郭検出部
１６　　瞼輪郭検出部
１７　　瞳領域特定部
１８　　画像補正部
１９　　出力部
３１　　第１微分部
３２　　３値化部（第１エッジ抽出部）
３３　　第１投票部（投票部）
３４　　瞳輪郭特定部
４１　　第２微分部
４２　　２値化部（第２エッジ抽出部）
４３　　第２投票部（曲線特定部）
４４　　瞼輪郭特定部（曲線特定部）

Claims (10)

  1. 　人物の顔画像から目の特徴を特定する画像処理装置において、
    　上記顔画像の目がある目領域を、目における横方向に微分して第１輝度勾配を求める第１微分部と、
    　上記目領域について、上記第１輝度勾配に応じて、左側が右側より明るい境界に対応する第１エッジ点と、左側が右側より暗い境界に対応する第２エッジ点とを、エッジ点として抽出する第１エッジ抽出部と、
    　ハフ変換を用いて、各エッジ点について、上記第１エッジ点および上記第２エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票部と、
    　上記投票部の投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定部とを備えることを特徴とする画像処理装置。
  2. 　上記投票部は、
    　上記第１エッジ点から投票する場合、該第１エッジ点より中心座標が左に位置する上記楕円に対する重みより、該第１エッジ点より中心座標が右に位置する上記楕円に対する重みを大きくして投票し、
    　上記第２エッジ点から投票する場合、該第２エッジ点より中心座標が右に位置する上記楕円に対する重みより、該第２エッジ点より中心座標が左に位置する上記楕円に対する重みを大きくして投票することを特徴とする請求項１に記載の画像処理装置。
  3. 　上記投票部の投票対象は円であり、
    　上記瞳輪郭特定部は、上記投票部の投票結果に基づいて、瞳の輪郭を表す円を特定することを特徴とする請求項１または２に記載の画像処理装置。
  4. 　上記第１微分部は、上記目領域を、目頭と目尻とが並ぶ方向に沿って微分して上記第１輝度勾配を求め、
    　上記第１エッジ抽出部は、正の第１閾値および負の第２閾値によって上記第１輝度勾配を３値化し、上記３値化された第１輝度勾配に応じて上記第１エッジ点および上記第２エッジ点を抽出することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
  5. 　上記目領域を、少なくとも目における縦方向に微分して第２輝度勾配を求める第２微分部と、
    　上記目領域について、上記第２輝度勾配に応じて第３エッジ点を抽出する第２エッジ抽出部と、
    　目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記第３エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定部とを備え、
    　上記両端点と制御点とによって表現される上記曲線は、Ｂスプライン曲線またはベジエ曲線であることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
  6. 　上記曲線特定部は、上記目頭点または上記目尻点より上側に位置する上記第３エッジ点に適合する上記曲線を上瞼の輪郭を表す曲線として特定し、上記目頭点または上記目尻点より下側に位置する上記第３エッジ点に適合する上記曲線を下瞼の輪郭を表す曲線として特定し、
    　上記瞳の輪郭を表す楕円、上記上瞼の輪郭を表す曲線、および上記下瞼の輪郭を表す曲線に基づき、上記顔画像における瞳の領域を特定する瞳領域特定部を備えることを特徴とする請求項５に記載の画像処理装置。
  7. 　上記曲線特定部は、ハフ変換を用いて、上記第３エッジ点について、投票対象である上記制御点に対して投票を行い、該投票結果に基づいて、上記第３エッジ点に適合する上記両端点と１つの上記制御点とによって表現されるＢスプライン曲線を上記上瞼または下瞼の輪郭を表す曲線として特定することを特徴とする請求項５または６に記載の画像処理装置。
  8. 　上記曲線特定部は、上記目頭点と上記目尻点とを結ぶ線より上側に位置する上記第３エッジ点から上記上瞼の輪郭を表す曲線を特定し、上記目頭点と上記目尻点とを結ぶ線より下側に位置する上記第３エッジ点から上記下瞼の輪郭を表す曲線を特定することを特徴とする請求項５から７のいずれか一項に記載の画像処理装置。
  9. 　上記第２微分部は、上記目領域を、目における縦方向に微分した値を上記第２輝度勾配として求め、
    　上記第２エッジ抽出部は、上記第２輝度勾配の絶対値が第３閾値より大きい点を上記第３エッジ点として抽出することを特徴とする請求項５から８のいずれか一項に記載の画像処理装置。
  10. 　人物の顔画像から目の特徴を特定する画像処理方法において、
    　上記顔画像の目がある目領域を、目における横方向に微分して輝度勾配を求める微分ステップと、
    　上記目領域について、上記輝度勾配に応じて、左側が右側より明るい境界に対応する第１エッジ点と、左側が右側より暗い境界に対応する第２エッジ点とを、エッジ点として抽出するエッジ抽出ステップと、
    　ハフ変換を用いて、各エッジ点について、上記第１エッジ点および上記第２エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票ステップと、
    　上記投票ステップにおける投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定ステップとを含むことを特徴とする画像処理方法。
PCT/JP2011/056778 2011-03-11 2011-03-22 画像処理装置、および画像処理方法 WO2012124142A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP11860858.7A EP2657903B1 (en) 2011-03-11 2011-03-22 Image processing device and image processing method
US13/982,681 US8750623B2 (en) 2011-03-11 2011-03-22 Image processing device and image processing method for identifying a pupil region

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-054650 2011-03-11
JP2011054650A JP4893862B1 (ja) 2011-03-11 2011-03-11 画像処理装置、および画像処理方法

Publications (1)

Publication Number Publication Date
WO2012124142A1 true WO2012124142A1 (ja) 2012-09-20

Family

ID=45907934

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/056778 WO2012124142A1 (ja) 2011-03-11 2011-03-22 画像処理装置、および画像処理方法

Country Status (4)

Country Link
US (1) US8750623B2 (ja)
EP (1) EP2657903B1 (ja)
JP (1) JP4893862B1 (ja)
WO (1) WO2012124142A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342614A (zh) * 2023-06-01 2023-06-27 山东九思新材料科技有限责任公司 基于图像识别的废硅片形状检测方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US9114838B2 (en) 2011-01-05 2015-08-25 Sphero, Inc. Self-propelled device for interpreting input from a controller device
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US9020199B2 (en) * 2011-04-19 2015-04-28 Aisin Seiki Kabushiki Kaisha Eyelid detection device, eyelid detection method, and recording medium
JP5790762B2 (ja) * 2011-07-11 2015-10-07 トヨタ自動車株式会社 瞼検出装置
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
KR20150012274A (ko) 2012-05-14 2015-02-03 오보틱스, 아이엔씨. 이미지 내 원형 객체 검출에 의한 계산장치 동작
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
PL3498115T3 (pl) 2013-12-23 2021-12-20 Juul Labs International Inc. Systemy urządzeń do odparowywania
US10017114B2 (en) 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
JP2015156937A (ja) * 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US20150296135A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring
US9355315B2 (en) 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
US9704038B2 (en) 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
JP6497162B2 (ja) 2015-03-26 2019-04-10 オムロン株式会社 画像処理装置および画像処理方法
AU2016310452B2 (en) * 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation
CN108135469B (zh) 2015-08-21 2021-03-09 奇跃公司 使用眼睛姿态测量的眼睑形状估计
KR102463169B1 (ko) * 2015-09-07 2022-11-04 삼성전자주식회사 시점 추적 방법 및 장치
CN114140867A (zh) 2015-10-16 2022-03-04 奇跃公司 使用眼睛特征的眼睛姿态识别
CN105590092B (zh) * 2015-11-11 2019-07-19 中国银联股份有限公司 一种识别图像中瞳孔的方法和装置
US10324297B2 (en) 2015-11-30 2019-06-18 Magna Electronics Inc. Heads up display system for vehicle
US10401621B2 (en) 2016-04-19 2019-09-03 Magna Electronics Inc. Display unit for vehicle head-up display system
US10521659B2 (en) * 2016-11-21 2019-12-31 Yazaki Corporation Image processing device, image processing method, and image processing program
JP6930223B2 (ja) * 2017-05-31 2021-09-01 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
CN108053444B (zh) * 2018-01-02 2021-03-12 京东方科技集团股份有限公司 瞳孔定位方法及装置、设备和存储介质
CN109300125B (zh) * 2018-09-21 2022-02-18 南京航轩轨道交通科技有限公司 一种复杂环境下城轨列车受电弓滑板图像提取方法
WO2020197537A1 (en) * 2019-03-22 2020-10-01 Hewlett-Packard Development Company, L.P. Detecting eye measurements
CN111145241A (zh) * 2019-11-25 2020-05-12 上海宇航系统工程研究所 一种椭圆特征检测方法及装置
CN110929672B (zh) * 2019-11-28 2024-03-01 联想(北京)有限公司 瞳孔定位方法和电子设备
CN111273052A (zh) * 2020-03-03 2020-06-12 浙江省特种设备科学研究院 一种基于机器视觉的自动扶梯扶手带测速方法
US11837023B2 (en) * 2020-09-15 2023-12-05 Nec Corporation Detection system, detection method, and computer program
CN115886717B (zh) * 2022-08-18 2023-09-29 上海佰翊医疗科技有限公司 一种眼裂宽度的测量方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309862A (ja) * 2004-04-22 2005-11-04 Digital Fashion Ltd 図形抽出プログラム、図形抽出方法、及び図形抽出装置
JP2009181424A (ja) 2008-01-31 2009-08-13 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2010009234A (ja) * 2008-06-25 2010-01-14 Toyota Motor Corp 眼画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4789408B2 (ja) * 2003-06-30 2011-10-12 株式会社 資生堂 目の形態分類方法及び形態分類マップ並びに目の化粧方法
FR2907569B1 (fr) * 2006-10-24 2009-05-29 Jean Marc Robin Procede et dispositif de simulation virtuelle d'une sequence d'images video.
US8055074B2 (en) * 2007-01-17 2011-11-08 Donald Martin Monro Shape representation using fourier transforms
US8317325B2 (en) 2008-10-31 2012-11-27 Cross Match Technologies, Inc. Apparatus and method for two eye imaging for iris identification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309862A (ja) * 2004-04-22 2005-11-04 Digital Fashion Ltd 図形抽出プログラム、図形抽出方法、及び図形抽出装置
JP2009181424A (ja) 2008-01-31 2009-08-13 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2010009234A (ja) * 2008-06-25 2010-01-14 Toyota Motor Corp 眼画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2657903A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342614A (zh) * 2023-06-01 2023-06-27 山东九思新材料科技有限责任公司 基于图像识别的废硅片形状检测方法
CN116342614B (zh) * 2023-06-01 2023-08-08 山东九思新材料科技有限责任公司 基于图像识别的废硅片形状检测方法

Also Published As

Publication number Publication date
JP2012190350A (ja) 2012-10-04
US8750623B2 (en) 2014-06-10
JP4893862B1 (ja) 2012-03-07
US20140072230A1 (en) 2014-03-13
EP2657903A4 (en) 2014-03-26
EP2657903A1 (en) 2013-10-30
EP2657903B1 (en) 2017-07-26

Similar Documents

Publication Publication Date Title
JP4893862B1 (ja) 画像処理装置、および画像処理方法
JP4893863B1 (ja) 画像処理装置、および画像処理方法
US9111132B2 (en) Image processing device, image processing method, and control program
US10304166B2 (en) Eye beautification under inaccurate localization
CN108229278B (zh) 人脸图像处理方法、装置和电子设备
EP2615577B1 (en) Image-processing device, image-processing method, and control program
US8385609B2 (en) Image segmentation
US8638993B2 (en) Segmenting human hairs and faces
EP2615576B1 (en) Image-processing device, image-processing method, and control program
US8520089B2 (en) Eye beautification
EP1394723A2 (en) Method for detecting red-eye effect in digital images
CN105787888A (zh) 人脸图像美化方法
US8154591B2 (en) Eyelid opening level determination device and computer readable medium storing computer program thereof
CN108416291A (zh) 人脸检测识别方法、装置和系统
Yoo et al. Red-eye detection and correction using inpainting in digital photographs
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
CN111105368A (zh) 图像处理方法及其装置、电子设备和计算机可读存储介质
JP2008209969A (ja) 顔特徴点検出装置、顔特徴点検出方法及びプログラム
Samadzadegan Automatic and Adaptive Red Eye Detection and Removal: Investigation and Implementation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11860858

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2011860858

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011860858

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13982681

Country of ref document: US