WO2012039139A1 - 瞳孔検出装置及び瞳孔検出方法 - Google Patents

瞳孔検出装置及び瞳孔検出方法 Download PDF

Info

Publication number
WO2012039139A1
WO2012039139A1 PCT/JP2011/005336 JP2011005336W WO2012039139A1 WO 2012039139 A1 WO2012039139 A1 WO 2012039139A1 JP 2011005336 W JP2011005336 W JP 2011005336W WO 2012039139 A1 WO2012039139 A1 WO 2012039139A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
image
value
resolution
calculated
Prior art date
Application number
PCT/JP2011/005336
Other languages
English (en)
French (fr)
Inventor
宗太郎 築澤
兼司 岡
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP11826585.9A priority Critical patent/EP2620907B1/en
Priority to CN201180045125.0A priority patent/CN103119623B/zh
Priority to US13/821,382 priority patent/US8983235B2/en
Publication of WO2012039139A1 publication Critical patent/WO2012039139A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Definitions

  • the present invention relates to a pupil detection device and a pupil detection method.
  • erroneous detection may occur frequently because the resolution of the pupil part is too low.
  • the angle of view of the imaging device increases to capture a wide range, and the resolution of the eye area cannot be secured sufficiently.
  • the first feature that the luminance of the pupil portion is lower than the luminance around the pupil portion or the second feature that the pupil is circular or elliptical is used.
  • the pupil contour on the image may be a polygon and may not be a circle or an ellipse. If pupil detection is performed using the above-described second feature in such a state, erroneous detection frequently occurs.
  • the resolution is low, the shape is different from the pupil as described above, but a portion whose luminance is as low as the pupil portion is erroneously detected as the pupil.
  • Patent Document 1 an eye area is detected from a face image, and zoom processing is performed on the detected eye area. Then, by photographing an eye region in which the edge of the pupil is sufficiently observed to be observed, the resolution of the pupil is ensured as much as necessary for pupil detection.
  • Patent Document 2 there is a technique disclosed in Patent Document 2 as a technique for detecting an iris that is a part of an eye.
  • an iris contour is detected in advance from the eye region, and the image of the eye region is converted so that the iris contour becomes a circle having a predetermined size.
  • the zoom magnification when the zoom magnification is insufficient, if the pupil is small, the number of pixels at the edge of the pupil contour portion is reduced, and pupil detection becomes unstable. Therefore, it is necessary to set the zoom magnification so that a sufficient number of pixels with an edge can be secured even when the pupil is small.
  • the zoom magnification is set so that a sufficient number of edge pixels can be secured even when the pupil is small, when the pupil is large, an excessive number of edge pixels is detected with respect to the originally required number of edge pixels. End up. At this time, since the number of pixels more than necessary for the detection performance is processed, there is a problem that the amount of calculation required for the pupil detection process increases.
  • An object of the present invention is to provide a pupil detection device and a pupil detection method that can improve pupil detection accuracy even when the detection target image has a low resolution.
  • a pupil detection device is a pupil detection device that detects an image of a pupil, and obtains an actual scale value of a peripheral region including the pupil, and calculates an actual scale predicted value of a pupil diameter.
  • a normalization means for calculating an enlargement / reduction magnification based on the image, normalizing the image of the peripheral region based on the calculated enlargement / reduction magnification, and the pupil of the pupil from the normalized image of the peripheral region Detecting means for detecting an image.
  • the pupil detection method of one aspect of the present invention is a pupil detection method for detecting an image of a pupil, acquires an actual scale value of a peripheral region including the pupil, calculates an actual scale predicted value of a pupil diameter, A target value of resolution is calculated based on the calculated actual scale predicted value, and an enlargement / reduction ratio is calculated based on the calculated target value of resolution and the actual scale value of the surrounding area, and the calculated The image of the peripheral area is normalized based on the enlargement / reduction magnification, and the pupil image is detected from the normalized image of the peripheral area.
  • the present invention it is possible to provide a pupil detection device and a pupil detection method that can improve pupil detection accuracy even when the detection target image has a low resolution.
  • Block diagram showing the configuration of the eye region detection unit Flow chart for explaining the operation of the pupil detection device
  • the figure which shows the face image which is the target image Diagram showing an example of a resolution table The block diagram which shows the structure of the pupil detection apparatus based on Embodiment 2 of this invention.
  • FIG. 1 is a block diagram showing a configuration of pupil detection apparatus 100 according to Embodiment 1 of the present invention.
  • the pupil detection device 100 is provided, for example, in a passenger compartment of an automobile and is used by being connected to a line-of-sight detection device.
  • This line-of-sight detection apparatus determines the pupil position based on the detection result of the pupil detection apparatus 100 and detects the line-of-sight direction of the driver.
  • a case where the pupil detection device 100 is applied to a visual line detection device will be described.
  • a pupil detection device 100 includes an eye region image acquisition unit 101, an eye region actual size calculation unit 102, a pupil state prediction unit 103, an actual size pupil diameter storage unit 104, a necessary resolution estimation unit 105, and a table storage.
  • Unit 106 eye region image normalization unit 107, pupil detection unit 108, and pupil actual size calculation unit 109.
  • the eye area image acquisition unit 101 acquires an eye area image and outputs it to the eye area actual size calculation unit 102.
  • the eye area image acquisition unit 101 includes an image input unit 111 and an eye area detection unit 112.
  • the image input unit 111 images an imaging target (that is, a person here).
  • the image input unit 111 includes a stereo camera, and acquires a stereo image by the stereo camera.
  • the target image data is output to the eye area detection unit 112.
  • the image input unit 111 is installed in front of the driver's seat, for example, on a car handle or on a dashboard. As a result, the face of the driving driver is photographed by the image input unit 111.
  • the eye area detection unit 112 detects an eye area image from the target image acquired from the image input unit 111.
  • the eye region detection unit 112 includes a face detection unit 121, a face part detection unit 122, and an eye region determination unit 123, as shown in FIG.
  • the face detection unit 121 detects a face image from the target image acquired from the image input unit 111, and outputs the detected face image data to the face part detection unit 122.
  • the face part detection unit 122 detects a face part group (that is, the mouth corner, the corner of the eye, the eyes, etc.) from the face image data acquired from the face detection part 121, and determines the position coordinates of each face part together with the face image data to determine the eye area. Output to the unit 123.
  • a face part group that is, the mouth corner, the corner of the eye, the eyes, etc.
  • the eye area determination unit 123 acquires the position coordinates of each face part from the face part detection unit 122, and based on the acquired position coordinates of each face part, the position and size (width / height) of the eye area in the face image. Determine). Then, the eye area determination unit 123 cuts out the eye area image from the face image and sets it as the eye area image. The position and size of the eye area in the face image are output to the eye area actual size calculator 102 together with the eye area image as an eye area detection result. The position and size of the eye area are calculated for each of the right eye and the left eye.
  • the eye area actual size calculation unit 102 determines the eye area based on the eye area image data (stereo image data in the first embodiment) acquired from the eye area image acquisition unit 101 and the eye area detection result. Calculate the actual scale value.
  • the actual scale value of the eye area is a value representing how much the eye area on the target image actually has.
  • the actual scale value of the eye area is, for example, as the width and height of the eye area, the actual size (for example, 30 mm in width and 20 mm in height) of the object (face area around the eyes) or 1 on the eye area image. It is represented by a distance per pixel (for example, 1 pixel 0.75 mm).
  • the pupil state prediction unit 103 calculates an actual scale prediction value of the pupil diameter. Specifically, the pupil state prediction unit 103 determines the actual size of the pupil in the eye region image acquired by the eye region image acquisition unit 101 based on the past actual size pupil diameter held in the actual size pupil diameter storage unit 104. To calculate an actual scale prediction value.
  • the actual size pupil diameter storage unit 104 stores the actual size of the pupil acquired from the pupil actual size calculation unit 109 together with the photographing time. That is, the actual size pupil diameter storage unit 104 holds the pupil diameter (history) derived from the pupil image acquired in the past by the eye region image acquisition unit 101.
  • the required resolution estimation unit 105 calculates a target value of resolution based on the actual scale prediction value calculated by the pupil state prediction unit 103.
  • a resolution table stored in the table storage unit 106 is used.
  • an actual scale value candidate group of pupil diameters is associated with an image resolution necessary for pupil detection in each actual scale value candidate. Therefore, the necessary resolution estimation unit 105 uses the resolution table to determine the resolution target value based on the actual scale prediction value calculated by the pupil state prediction unit 103 and the necessary resolution corresponding to the actual scale prediction value. calculate.
  • the table storage unit 106 holds the resolution table described above.
  • the resolution table is a table in which a plurality of pupil diameters are associated with resolutions that are calculated in advance through experiments or simulations and that are necessary for stably detecting pupils with each pupil diameter.
  • images of each pupil diameter are taken at a plurality of resolutions, the resolution with the best pupil detection result is selected from each resolution image, and that resolution is used as the pupil resolution for each pupil diameter. It is done by attaching.
  • the eye area image normalization unit 107 calculates the enlargement / reduction magnification based on the target value of the resolution calculated by the necessary resolution estimation unit 105 and the actual scale value of the eye area calculated by the eye area actual size calculation unit 102. calculate. Specifically, the eye region image normalization unit 107 is used for the actual scale value of the eye region calculated by the eye region actual size calculation unit 102 and the eye region image acquired from the eye region image acquisition unit 101. Based on the number of pixels, the number of pixels per unit length is calculated, and the ratio between the calculated number of pixels per unit length and the target value of the resolution calculated by the necessary resolution estimation unit 105 is obtained. Calculate the reduction ratio.
  • the eye area image normalization unit 107 normalizes the eye area image acquired from the eye area image acquisition unit 101 based on the calculated enlargement / reduction ratio.
  • the normalized eye region image (that is, the normalized eye region image) is output to the pupil detection unit 108.
  • the eye region image normalization unit 107 calculates the actual size value of the eye region in the normalized eye region image and outputs it to the pupil actual size calculation unit 109.
  • the pupil detection unit 108 detects a pupil image from the normalized eye region image acquired from the eye region image normalization unit 107.
  • the coordinates of the pupil center and the pupil diameter in the detected pupil image are output to the line-of-sight detection unit (not shown) and the pupil actual size calculation unit 109, respectively.
  • the actual pupil size calculation unit 109 calculates the actual size of the pupil from the actual size value of the eye region in the normalized eye region image acquired from the eye region image normalization unit 107 and the pupil diameter acquired from the pupil detection unit 108. . This actual size pupil diameter is held in the actual size pupil diameter storage unit 104.
  • FIG. 3 is a flowchart for explaining the operation of the pupil detection device 100.
  • the flow diagram of FIG. 3 also includes a processing flow in the above-described line-of-sight detection apparatus.
  • the processing flow shown in FIG. 3 starts with the start of the shooting operation.
  • the shooting operation may be started by a user operation, or may be started with some external signal as a trigger.
  • step S201 the image input unit 111 images an imaging target (that is, a person here). Thereby, a target image is acquired.
  • the image input unit 111 is, for example, a digital camera provided with a CMOS image sensor and a lens. Accordingly, the PPM (Portable Pix Map File format) image captured by the image input unit 111 is temporarily stored in an image storage unit (not shown) (for example, a memory space of a PC) included in the image input unit 111. Then, the data is output to the eye area detection unit 112 in the PPM format.
  • an image storage unit for example, a memory space of a PC
  • step S ⁇ b> 202 the face detection unit 121 detects a face image from the target image acquired from the image input unit 111.
  • FIG. 4 is a diagram illustrating a face image that is a target image.
  • the horizontal direction of the image is the X axis and the vertical direction of the image is the Y axis, and one pixel is one coordinate point.
  • a candidate image that is, a feature image candidate
  • the extracted feature image candidate is compared with a feature image representing a face area prepared in advance.
  • the similarity is obtained, for example, as a reciprocal of the absolute value of the difference between the average face Gabor feature amount acquired in advance and the Gabor feature amount extracted by scanning the target image.
  • the face detection unit 121 extracts a face area candidate group from the image 400 in FIG. 4, compares the extracted face area candidate group with a template prepared in advance, and determines the face area candidate with the highest correlation. It is detected as a face image 401.
  • the face area detection processing may be performed by detecting a skin color area from the image (that is, skin color area detection) or by detecting an ellipse part (that is, ellipse detection). However, it may be performed by using a statistical pattern identification method. In addition, any method may be employed as long as the technique can perform the face detection.
  • step S ⁇ b> 203 the face part detection unit 122 detects a face part group (that is, mouth corner, corner of the eye, an eye, etc.) from the face image acquired from the face detection part 121, and sets the position coordinates of each face part to the eye region determination part 123. Output to.
  • the search area for the face part group is the face image 401 specified in step S202.
  • FIG. 4 shows a face component group 402.
  • a two-dimensional coordinate such as an end point of a face part such as a mouth corner, an eye corner, or an eye or a nostril is detected using a separability filter.
  • the learning unit learns the correspondence between a plurality of face images and the position of the face part corresponding to the face image in advance, and the face part detection unit 122 receives the correspondence relation when the face image 401 is input.
  • the part with the highest likelihood of the above may be detected as a face part.
  • the face part detection unit 122 may search for a face part from the face image 401 using a standard face part template.
  • step S ⁇ b> 204 the eye region determination unit 123 determines an eye region from the face image acquired from the face detection unit 121 and the face component group acquired from the face component detection unit 122.
  • a rectangular area 403 including the corners of the eyes and the eyes is determined as the eye area, and the upper left corner coordinates and the lower right corner coordinates of the rectangle are acquired as the eye area detection results.
  • the parameters indicating the position and size of the eye region rectangular upper left corner coordinates and lower right corner coordinates are used.
  • the eye area actual size calculation unit 102 calculates the actual scale value of the eye area from the eye area image data (stereo image data in the first embodiment) acquired from the eye area image acquisition unit 101. Specifically, the eye area actual size calculator 102 calculates a feature distance (number of pixels) p between feature points on the image from the eye area image data. The feature distance between feature points on the image is, for example, the distance between the corners of the eyes and the eyes on the image. Then, the eye area actual size calculation unit 102 calculates x / p by multiplying the reference distance x by the feature distance p.
  • the feature distance p is, for example, an average distance (for example, 28 mm) between the corners of the eyes and the eyes in the real space. Therefore, x / p represents an actual size value corresponding to one pixel.
  • step S206 the pupil state prediction unit 103 calculates an actual scale predicted value of the pupil diameter.
  • the pupil state prediction unit 103 is based on the past actual size pupil diameter held in the actual size pupil diameter storage unit 104, and the pupil state included in the eye region image acquired from the eye region image acquisition unit 101 is determined. Predict the actual size. For example, when the actual size pupil diameter one frame before is D t ⁇ 1 and the actual size pupil diameter two frames before is D t ⁇ 2 , the pupil state prediction unit 103 calculates the actual scale predicted value D t of the pupil diameter by the formula ( Calculated according to 1).
  • pupil state predicting unit 103 the actual scale prediction value D t of the pupil diameter may be calculated by equation (2).
  • V m is the average human miosis (here, representing the smaller pupil).
  • the pupil state prediction unit 103 may perform state prediction using a Kalman filter or the like.
  • step S ⁇ b> 207 the necessary resolution estimation unit 105 calculates a resolution target value based on the actual scale prediction value calculated by the pupil state prediction unit 103.
  • a resolution table stored in the table storage unit 106 is used for the calculation of the resolution target value.
  • the actual scale value candidate group of the pupil diameter is associated with the image resolution necessary for pupil detection in each actual scale value candidate.
  • the resolution table stored in the table storage unit 106 may be held in a graph format as shown in FIG. 5A, or may be held in a table format as shown in FIG.
  • the tendency characteristics of the resolution table are as follows. (1) The larger the actual size pupil diameter (that is, the actual scale value candidate), the larger the corresponding necessary resolution value. (2) The necessary resolution monotonously decreases with respect to the actual scale value candidate and converges to a constant value.
  • the necessary resolution estimation unit 105 uses the resolution table based on the actual scale prediction value a calculated by the pupil state prediction unit 103 and the necessary resolution b corresponding to the actual scale prediction value.
  • the resolution target value b / a is calculated.
  • the resolution target value b / a is the number of pixels per unit length of an actual size necessary for stably detecting a pupil having a predicted pupil diameter.
  • step S ⁇ b> 208 the eye area image normalization unit 107 enlarges based on the target value of the resolution calculated by the necessary resolution estimation unit 105 and the actual scale value of the eye area calculated by the eye area actual size calculation unit 102. / Calculate the reduction ratio.
  • the eye region image normalization unit 107 is used for the actual scale value of the eye region calculated by the eye region actual size calculation unit 102 and the eye region image acquired from the eye region image acquisition unit 101.
  • the number of pixels per unit length is calculated, and the ratio between the calculated number of pixels per unit length and the target value of the resolution calculated by the necessary resolution estimation unit 105 is obtained. Calculate the reduction ratio.
  • the eye area image normalization unit 107 normalizes the eye area image acquired from the eye area image acquisition unit 101 based on the calculated enlargement / reduction ratio.
  • a technique generally used in image processing such as bilinear or bicubic, is used.
  • step S209 the pupil detection unit 108 detects a pupil image from the normalized eye region image acquired from the eye region image normalization unit 107.
  • the coordinates of the pupil center and the pupil diameter in the pupil image are output to the line-of-sight detection unit (not shown) and the pupil actual size calculation unit 109, respectively.
  • step S210 the line-of-sight detection unit (not shown) is calculated from, for example, a face direction vector representing the front direction of the face calculated from the coordinates of the face component group 402, and coordinates of the corners of the eyes, the eyes, and the pupil.
  • the gaze direction is calculated from the gaze direction vector with respect to the front direction of the face.
  • the face orientation vector is calculated by the following procedure, for example. First, the three-dimensional coordinates of the driver's facial parts group acquired in advance are converted by rotating and translating. Then, the converted three-dimensional coordinates are projected onto the target image used for pupil detection. Then, a rotation / translation parameter that most closely matches the face component group detected in step S203 is calculated. In this case, when the three-dimensional coordinates of the driver's facial parts group are acquired in advance, the set of the vector representing the direction in which the driver's face is facing and the vector rotated by the determined rotation parameter is the face orientation. Is a vector.
  • the line-of-sight direction vector is calculated, for example, by the following procedure. First, when the face is facing in a predetermined direction, the driver's face parts group and the three-dimensional coordinates of the pupil center when looking in the same direction as the face direction are stored in advance. The detection of the center of the pupil is performed, for example, by taking the center of gravity of a pixel having a predetermined luminance or less in the eye region. Next, from the detected three-dimensional coordinates of the pupil, a position moved by a predetermined distance in the direction opposite to the line-of-sight direction is calculated as the eyeball center position.
  • the predetermined distance is appropriately about 12 mm, which is a radius of a general adult eyeball, but is not limited to the above value, and an arbitrary value may be used.
  • the three-dimensional coordinates of the eyeball center at the time of detection are calculated using the rotation / translation parameters of the face acquired in the face orientation vector calculation.
  • a search is made as to which position on the sphere the detected pupil center is.
  • a vector connecting the center of the eyeball and the searched point on the sphere is calculated as the line-of-sight direction.
  • step S ⁇ b> 211 the actual pupil size calculation unit 109 calculates the pupil size based on the actual size value of the eye region in the normalized eye region image acquired from the eye region image normalization unit 107 and the pupil diameter acquired from the pupil detection unit 108. Calculate the actual size.
  • the actual pupil size D rt is calculated by Equation (3), where n is the magnification of the normalized eye region image and n is the pupil diameter of the detected pupil on the normalized eye region image. This actual size pupil diameter is held in the actual size pupil diameter storage unit 104.
  • step S212 end determination is performed.
  • the end determination may be performed by manually inputting an end command, or may be performed by the pupil detection device 100 using an external signal as a trigger.
  • step S212 If it is determined in step S212 that the process is to end, the process in FIG. 3 ends.
  • the necessary resolution estimation unit 105 calculates the target value of the resolution based on the actual scale prediction value calculated by the pupil state prediction unit 103. Then, the eye area image normalization unit 107 enlarges / reduces based on the resolution target value calculated by the necessary resolution estimation unit 105 and the actual scale value of the eye area acquired by the eye area actual size calculation unit 102. The magnification is calculated, and the image of the eye area is normalized based on the calculated enlargement / reduction magnification. Then, the pupil detection unit 108 detects the pupil image from the eye region image normalized by the eye region image normalization unit 107.
  • pupil detection is performed using a normalized image obtained by enlarging / reducing the eye area image with an enlargement / reduction magnification reflecting the substance, calculated based on the actual scale predicted value of the pupil diameter and the actual scale value of the eye area. Therefore, even if the detection target image has a low resolution, the pupil detection accuracy can be improved.
  • the eye area image normalization unit 107 calculates the number of pixels per unit length based on the actual scale value of the eye area and the number of pixels used in the image of the eye area.
  • the enlargement / reduction ratio is calculated by obtaining the ratio between the number of pixels and the resolution target value.
  • the resolution target value is an ideal resolution
  • the value corresponding to the current resolution is described as the actual scale value of the eye area.
  • the present invention is not limited to this, and any actual scale value may be used as long as it is a peripheral region of the pupil and the resolution of the pupil image is not much different from that of the pupil image.
  • the actual scale value of the eye area is obtained by a distance sensor.
  • FIG. 6 is a block diagram showing a configuration of pupil detection apparatus 500 according to Embodiment 2 of the present invention.
  • the pupil detection device 500 includes an eye area actual size calculation unit 501.
  • the eye area actual size calculation unit 501 includes a distance measuring sensor, and directly detects the actual scale value of the eye area using the distance measuring sensor.
  • the distance measuring sensor is, for example, a laser range sensor or a TOF (Time-Of-Flight) sensor.
  • the actual scale value of the detected eye area is output to the eye area image normalization unit 107.
  • the value corresponding to the current resolution is not limited to the actual scale value of the eye region, but is a peripheral region of the pupil and the resolution of the pupil image on the image is much different. Any real scale value in a non-existing region is sufficient.
  • the eye area actual size calculation unit 501 includes the distance measuring sensor, and the eye area image normalization unit 107 calculates the target value and the calculated resolution.
  • the enlargement / reduction magnification is calculated based on the actual scale value of the eye area measured by the distance measuring sensor, the image of the eye area is normalized based on the calculated enlargement / reduction magnification, and the pupil detection unit 108 A pupil image is detected from the converted image of the eye region.
  • the actual scale value of the eye area can be detected without using an image, so that even if the detection target image has a low resolution, a more accurate actual scale value of the eye area can be acquired. .
  • the pupil detection accuracy can be further improved.
  • the calculation method of the actual scale predicted value of the pupil diameter is switched based on the balanced or non-balanced state of illuminance.
  • FIG. 7 is a block diagram showing a configuration of pupil detection apparatus 600 according to Embodiment 3 of the present invention.
  • the pupil detection device 600 includes an illuminance sensor 601 and a pupil state prediction unit 602.
  • the illuminance sensor 601 measures the illuminance around the pupil detection device 600 and the imaging target at a predetermined cycle, and sequentially outputs the measured illuminance to the pupil state prediction unit 602.
  • the pupil state prediction unit 602 determines whether the illuminance is in an equilibrium state or a non-equilibrium state based on the illuminance history measured by the illuminance sensor 601, and based on the determination result, the actual scale of the pupil diameter Switch the calculation method of the predicted value.
  • the actual scale prediction value of the pupil diameter is set to at least two pupil diameters detected in the past by the pupil detection unit 108. Calculate based on That is, when it is determined that the illuminance is in an equilibrium state, the pupil state prediction unit 602 calculates the actual scale prediction value of the pupil diameter using the above-described equation (1).
  • the pupil scale prediction unit 602 determines the actual scale prediction value of the pupil diameter based on the pupil diameter and the miosis speed detected in the past by the pupil detection unit 108. To calculate. That is, when the pupil state prediction unit 602 determines that the illuminance is in a non-equilibrium state, the pupil state prediction unit 602 calculates the actual scale prediction value of the pupil diameter using the above equation (2).
  • the pupil state prediction unit 602 determines whether the illuminance is in an equilibrium state or an unbalanced state based on the measurement value history of illuminance, and based on the determination result. Then, the calculation method of the actual scale predicted value of the pupil diameter is switched.
  • each functional block used in the description of each of the above embodiments is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. Although referred to as LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the pupil detection device described in each of the above embodiments is applied to an information providing device mounted on an information terminal such as a personal computer, an OA device, a mobile phone, or a moving means such as an automobile, an airplane, a ship, or a train. Useful.
  • the present invention can also be applied to a monitoring device, an alarm device, a robot, a video / audio reproduction device, and the like.
  • the pupil detection device and pupil detection method of the present invention can improve pupil detection accuracy even when the detection target image has a low resolution.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　検出対象画像が低解像度であっても瞳孔検出精度を向上することができる瞳孔検出装置。瞳孔検出装置（１００）において、目領域実寸算出部（１０２）が、目領域の実スケール値を取得し、瞳孔状態予測部（１０３）が、瞳孔径の実スケール予測値を算出し、必要解像度推定部（１０５）が、算出された実スケール予測値に基づいて解像度のターゲット値を算出し、目領域画像正規化部（１０７）が、算出された解像度のターゲット値及び目領域の実スケール値に基づいて拡大／縮小倍率を算出し、算出された拡大／縮小倍率に基づいて目領域の画像を正規化し、瞳孔検出部（１０８）が、正規化された目領域の画像から瞳孔画像を検出する。

Description

瞳孔検出装置及び瞳孔検出方法
　本発明は、瞳孔検出装置及び瞳孔検出方法に関する。
　画像上の瞳孔を検出する場合、瞳孔部分の解像度が低すぎるために、誤検出が頻発することがある。例えば、広範囲を撮影するために撮像装置の画角が大きくなり、目領域の解像度が十分に確保できないような場合である。
　画像に基づく一般的な瞳孔検出方法では、瞳孔部分の輝度が瞳孔部分の周辺の輝度よりも低いという第１の特徴、又は、瞳孔が円又は楕円形状であるという第２の特徴が利用される。しかしながら、解像度が十分確保できない場合には、画像上で瞳孔輪郭は、多角形となり、円又は楕円とならないことがある。このような状態で、上記した第２の特徴を用いて瞳孔検出を行うと、誤検出が頻発することになる。目の周辺には、まつげ、虹彩輪郭、目尻・目頭に発生する陰、又は、Ｓ／Ｎ比が悪い場合に発生するノイズ等、実際には形状が円又は楕円でないものの、画像上での輝度が瞳孔部分と同程度に低いものが、多数存在する。そして、解像度が低い場合には、このように形状は瞳孔とは異なるが、輝度が瞳孔部分と同程度に低い部分が、瞳孔として誤検出されてしまう。
　このような課題に対して、次のような技術が提案されている。例えば、特許文献１に開示されている技術では、顔画像から目領域が検出され、検出された目領域に対するズーム処理が行われる。そして、瞳孔のエッジが十分観測できるだけ拡大された目領域が撮影されることにより、瞳孔の解像度が瞳孔検出に必要なだけ確保される。
　また、瞳孔検出ではないが、目の一部である虹彩を検出する技術として特許文献２に開示されている技術がある。特許文献２に開示されている技術では、目領域から虹彩輪郭が予め検出され、虹彩輪郭が所定の大きさの円になるように、目領域の画像が変換される。
特開2002-282210号公報 特開2008-90483号公報
　しかしながら、特許文献１に開示されている技術においては、目領域に対するズーム処理が行われる段階では検出対象である瞳孔の大きさがわからないので、そのズーム倍率を瞳孔検出のためのエッジ検出に最適な値に設定することは難しい。
　このため、安定して瞳孔検出を行なうためには、瞳孔が最も小さい場合（例えば、まぶしいときの瞳孔の場合）でも、瞳孔輪郭がエッジとして検出できるだけのズーム倍率が、常に設定される必要がある。
　すなわち、ズーム倍率が不十分な場合には、瞳孔が小さければ瞳孔輪郭部分のエッジの画素数が少なくなり、瞳孔検出が不安定になる。このため、瞳孔が小さい場合でも十分なエッジの画素数が確保できるように、ズーム倍率が設定される必要がある。
　しかし、瞳孔が小さい場合でも十分なエッジの画素数が確保できるようなズーム倍率が設定された場合、瞳孔が大きいときには、本来必要なエッジの画素数に対して過剰なエッジ画素数が検出されてしまう。このとき、検出性能に対して必要以上の画素数が処理対象となるため、瞳孔検出処理に掛かる計算量が増加してしまう問題がある。
　また、特許文献２に開示されている技術においては、目領域画像の変換時に、変換パラメータとして画像上の虹彩輪郭形状が必要となる。従って、この技術を瞳孔検出処理に適用しようとしても、瞳孔検出のために瞳孔検出結果が必要となるため、その適用は困難である。
　本発明の目的は、検出対象画像が低解像度であっても瞳孔検出精度を向上することができる瞳孔検出装置及び瞳孔検出方法を提供することである。
　本発明の一態様の瞳孔検出装置は、瞳孔の画像を検出する瞳孔検出装置であって、前記瞳孔を含む周辺領域の実スケール値を取得する取得手段と、瞳孔径の実スケール予測値を算出する第１の算出手段と、前記算出された実スケール予測値に基づいて、解像度のターゲット値を算出する第２の算出手段と、前記算出された解像度のターゲット値及び前記周辺領域の実スケール値に基づいて、拡大／縮小倍率を算出し、前記算出された拡大／縮小倍率に基づいて前記周辺領域の画像を正規化する正規化手段と、前記正規化された周辺領域の画像から前記瞳孔の画像を検出する検出手段と、を具備する。
　本発明の一態様の瞳孔検出方法は、瞳孔の画像を検出する瞳孔検出方法であって、前記瞳孔を含む周辺領域の実スケール値を取得し、瞳孔径の実スケール予測値を算出し、前記算出された実スケール予測値に基づいて、解像度のターゲット値を算出し、前記算出された解像度のターゲット値及び前記周辺領域の実スケール値に基づいて、拡大／縮小倍率を算出し、前記算出された拡大／縮小倍率に基づいて前記周辺領域の画像を正規化し、前記正規化された周辺領域の画像から前記瞳孔の画像を検出する。
　本発明によれば、検出対象画像が低解像度であっても瞳孔検出精度を向上することができる瞳孔検出装置及び瞳孔検出方法を提供することができる。
本発明の実施の形態１に係る瞳孔検出装置の構成を示すブロック図 目領域検出部の構成を示すブロック図 瞳孔検出装置の動作説明に供するフロー図 ターゲット画像である顔画像を示す図 解像度テーブルの例を示す図 本発明の実施の形態２に係る瞳孔検出装置の構成を示すブロック図 本発明の実施の形態３に係る瞳孔検出装置の構成を示すブロック図
　以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。
　［実施の形態１］
　［瞳孔検出装置の構成］
　図１は、本発明の実施の形態１に係る瞳孔検出装置１００の構成を示すブロック図である。瞳孔検出装置１００は、例えば、自動車の車室内に設けられ、視線検出装置と接続されて使用される。この視線検出装置は、瞳孔検出装置１００の検出結果に基づいて瞳孔位置を決定し、ドライバーの視線方向を検出する。以下では、特に、瞳孔検出装置１００が視線検出装置に適用された場合について説明する。
　図１において、瞳孔検出装置１００は、目領域画像取得部１０１と、目領域実寸算出部１０２と、瞳孔状態予測部１０３と、実寸瞳孔径記憶部１０４と、必要解像度推定部１０５と、テーブル記憶部１０６と、目領域画像正規化部１０７と、瞳孔検出部１０８と、瞳孔実寸算出部１０９とを有する。
　目領域画像取得部１０１は、目領域画像を取得し、目領域実寸算出部１０２へ出力する。
　具体的には、目領域画像取得部１０１は、画像入力部１１１と、目領域検出部１１２とを有する。
　画像入力部１１１は、撮像ターゲット（つまり、ここでは、人物）を撮像する。ここでは、画像入力部１１１は、ステレオカメラを具備し、当該ステレオカメラによってステレオ画像を取得する。このターゲット画像データは、目領域検出部１１２へ出力される。
　画像入力部１１１は、例えば、車のハンドルの上、又は、ダッシュボード上など、運転席の正面に設置される。これにより、画像入力部１１１によって運転中の運転者の顔が撮影される。
　目領域検出部１１２は、画像入力部１１１から取得されるターゲット画像から、目領域画像を検出する。
　具体的には、目領域検出部１１２は、図２に示すように、顔検出部１２１と、顔部品検出部１２２と、目領域決定部１２３とを有する。
　顔検出部１２１は、画像入力部１１１から取得されるターゲット画像から顔画像を検出し、検出された顔画像データを顔部品検出部１２２へ出力する。
　顔部品検出部１２２は、顔検出部１２１から取得される顔画像データから顔部品群（つまり、口角、目尻、目頭など）を検出し、各顔部品の位置座標を顔画像データとともに目領域決定部１２３へ出力する。
　目領域決定部１２３は、各顔部品の位置座標を顔部品検出部１２２から取得し、取得された各顔部品の位置座標に基づいて、顔画像における目領域の位置、大きさ（幅・高さ）を決定する。そして、目領域決定部１２３は、顔画像から目領域画像を切り出し、目領域画像とする。顔画像における目領域の位置および大きさは、目領域検出結果として、目領域画像と共に目領域実寸算出部１０２へ出力される。なお、目領域の位置及び大きさは、右目及び左目のそれぞれについて算出される。
　図１に戻り、目領域実寸算出部１０２は、目領域画像取得部１０１から取得される目領域画像データ（実施の形態１では、ステレオ画像データ）および目領域検出結果に基づいて、目領域の実スケール値を算出する。目領域の実スケール値とは、ターゲット画像上の目領域が実際にどれだけの大きさを持つかを表す値である。目領域の実スケール値は、例えば、目領域の幅および高さとして、写っている物体（顔の目周辺部分）の実寸（例えば、幅30mm、高さ20mm）や、目領域画像上の１画素あたりの距離（例えば、1画素0.75mm）で表される。
　瞳孔状態予測部１０３は、瞳孔径の実スケール予測値を算出する。具体的には、瞳孔状態予測部１０３は、実寸瞳孔径記憶部１０４に保持されている過去の実寸瞳孔径に基づいて、目領域画像取得部１０１において取得される目領域画像中の瞳孔の実寸を予測して、実スケール予測値を算出する。
　実寸瞳孔径記憶部１０４は、瞳孔実寸算出部１０９から取得される瞳孔の実寸を、撮影時刻と併せて記憶する。すなわち、実寸瞳孔径記憶部１０４には、目領域画像取得部１０１によって過去に取得された瞳孔画像から導出される瞳孔径（の履歴）が保持される。
　必要解像度推定部１０５は、瞳孔状態予測部１０３において算出された実スケール予測値に基づいて、解像度のターゲット値を算出する。解像度のターゲット値の算出においては、テーブル記憶部１０６に記憶されている解像度テーブルが用いられる。解像度テーブルでは、瞳孔径の実スケール値候補群と、各実スケール値候補において瞳孔検出に必要な画像解像度とが対応付けられている。従って、必要解像度推定部１０５は、解像度テーブルを用いて、瞳孔状態予測部１０３において算出された実スケール予測値と、当該実スケール予測値に対応する必要解像度とに基づいて、解像度のターゲット値を算出する。
　テーブル記憶部１０６は、上記した解像度テーブルを保持する。解像度テーブルは、複数の瞳孔径と、予め実験又はシミュレーションなどによって算出された、各瞳孔径の瞳孔を安定して検出するために必要な解像度とを対応付けたテーブルである。解像度テーブルの作成は、例えば、各瞳孔径の画像を複数の解像度で撮影し、各解像度の画像の中で最も瞳孔検出結果が良い解像度を選択し、その解像度を各瞳孔径の瞳孔解像度として対応づけることにより行われる。
　目領域画像正規化部１０７は、必要解像度推定部１０５において算出された解像度のターゲット値と、目領域実寸算出部１０２において算出された目領域の実スケール値とに基づいて、拡大／縮小倍率を算出する。具体的には、目領域画像正規化部１０７は、目領域実寸算出部１０２において算出された目領域の実スケール値と、目領域画像取得部１０１から取得される目領域画像に用いられている画素数とに基づいて、単位長当たりの画素数を算出し、算出された単位長当たりの画素数と必要解像度推定部１０５で算出された解像度のターゲット値との比を求めることにより、拡大／縮小倍率を算出する。
　そして、目領域画像正規化部１０７は、算出された拡大／縮小倍率に基づいて、目領域画像取得部１０１から取得される目領域画像を正規化する。正規化された目領域画像（つまり、正規化目領域画像）は、瞳孔検出部１０８へ出力される。
　また、目領域画像正規化部１０７は、正規化目領域画像における目領域の実寸値を算出し、瞳孔実寸算出部１０９へ出力する。
　瞳孔検出部１０８は、目領域画像正規化部１０７から取得される正規化目領域画像から、瞳孔画像を検出する。検出瞳孔画像における、瞳孔中心の座標及び瞳孔径は、視線検出部（図示せず）及び瞳孔実寸算出部１０９へそれぞれ出力される。
　瞳孔実寸算出部１０９は、目領域画像正規化部１０７から取得される正規化目領域画像における目領域の実寸値と、瞳孔検出部１０８から取得される瞳孔径とから、瞳孔の実寸を算出する。この実寸瞳孔径は、実寸瞳孔径記憶部１０４で保持される。
　［瞳孔検出装置１００の動作］
　以上の構成を有する瞳孔検出装置１００の動作について説明する。図３は、瞳孔検出装置１００の動作説明に供するフロー図である。図３のフロー図には、上記した視線検出装置における処理フローも含まれている。
　図３に示す処理フローは、撮影作業の開始と共にスタートする。撮影作業は、ユーザの操作によって開始されても良いし、外的な何らかの信号をトリガとして開始されても良い。
　＜画像取得処理＞
　ステップＳ２０１において、画像入力部１１１は、撮像ターゲット（つまり、ここでは、人物）を撮像する。これにより、ターゲット画像が取得される。
　画像入力部１１１は、例えば、ＣＭＯＳイメージセンサおよびレンズを備えたデジタルカメラである。従って、画像入力部１１１において撮像されたＰＰＭ（Portable Pix Map file format）形式の画像等が、画像入力部１１１に含まれる、図示されていない画像記憶部（例えば、ＰＣのメモリ空間）に一時記憶された後、ＰＰＭ形式のまま目領域検出部１１２へ出力される。
　＜顔画像検出処理＞
　ステップＳ２０２で顔検出部１２１は、画像入力部１１１から取得されるターゲット画像から顔画像を検出する。図４は、ターゲット画像である顔画像を示す図である。なお、撮像した顔画像では、例えば、画像横方向をＸ軸、画像縦方向をＹ軸とし、１画素が１座標点である。
　顔領域検出処理では、例えば、ターゲット画像から、特徴となる画像の候補（つまり、特徴画像候補）を抽出し、抽出された特徴画像候補と、予め用意された顔領域を表す特徴画像とを比較することにより、類似度の高い特徴画像候補を検出する。類似度は、例えば、予め取得された平均顔のガボール特徴量と、ターゲット画像をスキャンすることにより抽出されるガボール特徴量とを照合し、両者の差分の絶対値の逆数として求められる。
　この場合、顔検出部１２１は、図４の画像４００において顔領域候補群を抽出し、抽出された顔領域候補群と予め用意されたテンプレートとを比べて、最も相関の高い顔領域候補を、顔画像４０１として検出する。なお、顔領域検出処理は、画像中から肌色領域を検出すること（つまり、肌色領域検出）によって行われても良いし、楕円部分を検出すること（つまり、楕円検出）により行われても良いし、統計的パターン識別手法を用いることにより行われても良い。その他、上記顔検出を行うことができる技術であれば、どのような方法が採用されても良い。
　＜顔部品検出処理＞
　ステップＳ２０３で顔部品検出部１２２は、顔検出部１２１から取得される顔画像から顔部品群（つまり、口角、目尻、目頭など）を検出し、各顔部品の位置座標を目領域決定部１２３へ出力する。顔部品群の探索領域は、ステップＳ２０２において特定された顔画像４０１である。図４には、それぞれ顔部品群４０２が示されている。
　顔部品群検出処理では、例えば、分離度フィルタを用いて、口角、目尻、目頭などの顔部品の端点又は鼻の穴などの２次元座標が検出される。また、予め複数の顔画像と顔画像に対応する顔部品の位置との対応関係を学習器に学習させておき、顔部品検出部１２２は、顔画像４０１が入力された場合に、その対応関係に関して最も尤度が高い部分を顔部品として検出しても良い。又は、顔部品検出部１２２は、標準的な顔部品のテンプレートを用いて、顔画像４０１内から顔部品を探索しても良い。
　＜目領域決定処理＞
　ステップＳ２０４で、目領域決定部１２３は、顔検出部１２１から取得される顔画像と、顔部品検出部１２２から取得される顔部品群から、目の領域を決定する。
　目領域決定処理では、例えば、左右それぞれの目において、目尻、目頭を含む矩形領域４０３を目領域として決定し、矩形の左上端点座標と、右下端点座標を、目領域検出結果として取得する。ここでは、目領域の位置、大きさを示すパラメータとして、矩形の左上端点座標と、右下端点座標とが用いられている。
　＜目領域実寸算出処理＞
　ステップＳ２０５において、目領域実寸算出部１０２は、目領域画像取得部１０１から取得される目領域画像データ（実施の形態１では、ステレオ画像データ）から、目領域の実スケール値を算出する。具体的には、目領域実寸算出部１０２は、目領域画像データから、画像上の特徴点間の特徴距離（画素数）ｐを算出する。この画像上の特徴点間の特徴距離とは、例えば、画像上の目尻と目頭との間の距離である。そして、目領域実寸算出部１０２は、基準距離ｘを特徴距離ｐによって乗算することにより、ｘ／ｐを算出する。特徴距離ｐは、例えば、実空間における目尻と目頭との間の平均的な距離（例えば、28mm）である。従って、ｘ／ｐは、１画素に相当する実寸値を表す。
　＜推定瞳孔径算出処理＞
　ステップＳ２０６において、瞳孔状態予測部１０３は、瞳孔径の実スケール予測値を算出する。　
　具体的には、瞳孔状態予測部１０３は、実寸瞳孔径記憶部１０４に保持されている過去の実寸瞳孔径に基づいて、目領域画像取得部１０１から取得される目領域画像に含まれる瞳孔の実寸を予測する。例えば、瞳孔状態予測部１０３は、１フレーム前の実寸瞳孔径をＤｔ－１、２フレーム前の実寸瞳孔径をＤｔ－２とした場合、瞳孔径の実スケール予測値Ｄｔを式（１）によって算出する。
Figure JPOXMLDOC01-appb-M000001
　又は、瞳孔状態予測部１０３は、瞳孔径の実スケール予測値Ｄｔを式（２）によって算出しても良い。式（２）中で、Ｖｍは、ヒトの平均的な縮瞳（ここでは、瞳孔が小さくなることを表す）速度である。
Figure JPOXMLDOC01-appb-M000002
　又は、瞳孔状態予測部１０３は、カルマンフィルタなどを用いた状態予測を行なっても良い。
　＜必要解像度算出処理＞
　ステップＳ２０７で、必要解像度推定部１０５は、瞳孔状態予測部１０３において算出された実スケール予測値に基づいて、解像度のターゲット値を算出する。解像度のターゲット値の算出には、テーブル記憶部１０６に記憶されている解像度テーブルが用いられる。この解像度テーブルでは、瞳孔径の実スケール値候補群と、各実スケール値候補において瞳孔検出に必要な画像解像度とが対応付けられている。
　テーブル記憶部１０６に記憶されている解像度テーブルは、図５（ａ）のようにグラフ形式で保持されていても良いし、図５（ｂ）のようにテーブル形式で保持されていても良い。解像度テーブルが有する傾向特性は、次の通りである。（１）実寸瞳孔径（つまり、実スケール値候補）が大きい程、対応する必要解像度の値は大きくなる。（２）必要解像度は、実スケール値候補に対して単調減少であり、一定値に収束する。
　具体的には、必要解像度推定部１０５は、解像度テーブルを用いて、瞳孔状態予測部１０３において算出された実スケール予測値ａと、当該実スケール予測値に対応する必要解像度ｂとに基づいて、解像度のターゲット値ｂ／ａを算出する。解像度のターゲット値ｂ／ａは、予測される瞳孔径を持つ瞳孔を安定して検出するために必要な、実寸の単位長あたりの画素数である。
　＜目領域画像正規化処理＞
　ステップＳ２０８において、目領域画像正規化部１０７は、必要解像度推定部１０５において算出された解像度のターゲット値と、目領域実寸算出部１０２において算出された目領域の実スケール値とに基づいて、拡大／縮小倍率を算出する。具体的には、目領域画像正規化部１０７は、目領域実寸算出部１０２で算出された目領域の実スケール値と、目領域画像取得部１０１から取得される目領域画像に用いられている画素数とに基づいて、単位長当たりの画素数を算出し、算出された単位長当たりの画素数と必要解像度推定部１０５で算出された解像度のターゲット値との比を求めることにより、拡大／縮小倍率を算出する。
　そして、目領域画像正規化部１０７は、算出された拡大／縮小倍率に基づいて、目領域画像取得部１０１から取得される目領域画像を正規化する。この拡大縮小処理には、バイリニア又はバイキュービックなどの一般的に画像処理で用いられる手法が用いられる。
　＜瞳孔探索処理＞
　ステップＳ２０９において、瞳孔検出部１０８は、目領域画像正規化部１０７から取得される正規化目領域画像から、瞳孔画像を検出する。瞳孔画像における、瞳孔中心の座標及び瞳孔径は、視線検出部（図示せず）及び瞳孔実寸算出部１０９へそれぞれ出力される。
　ステップＳ２１０において、視線検出部（図示せず）は、例えば、顔部品群４０２の座標から算出される顔の正面方向の向きを表す顔向きベクトルと、目尻、目頭、瞳孔中心の座標から算出される顔の正面方向に対する視線方向ベクトルから視線方向を算出する。
　顔向きベクトルは、例えば、以下の手順で算出される。まず、予め取得された運転者の顔部品群の三次元座標を回転および並進させることにより変換する。そして、変換された三次元座標を、瞳孔検出に使用されたターゲット画像に投影する。そして、ステップＳ２０３において検出された顔部品群と最も一致する回転・並進パラメータを算出する。この場合、予め運転者の顔部品群の三次元座標を取得した場合に、運転者の顔が向いている方向を表すベクトルと、決定された回転パラメータによって回転したベクトルとの組みが、顔向きベクトルである。
　また、視線方向ベクトルは、例えば、以下の手順で算出される。まず、予め、所定の方向を顔が向いている場合に、顔向きと同じ方向を見ている場合の運転者の顔部品群と瞳孔中心の三次元座標とを記憶する。瞳孔中心の検出は、例えば、目領域内において所定の輝度以下の画素の重心をとることにより行なわれる。次に、検出された瞳孔の三次元座標から、視線方向と反対側に所定の距離だけ移動した位置を眼球中心位置として算出する。この場合、上記所定の距離は、一般的な成人眼球の半径である１２ｍｍ程度が適当であるが、上記値に限らず、任意の値を用いても良い。次に、顔向きベクトル算出において取得された顔の回転・並進パラメータを用いて、検出時の眼球中心の三次元座標が算出される。次に、眼球中心を中心とし、半径が上記所定の距離である球上に瞳孔があると想定し、検出された瞳孔中心が上記球上の何れの位置にあるか探索する。最後に、眼球中心と探索された球上の点を結ぶベクトルを視線方向として算出する。
　＜瞳孔実寸算出処理＞
　ステップＳ２１１で、瞳孔実寸算出部１０９は、目領域画像正規化部１０７から取得される正規化目領域画像における目領域の実寸値と、瞳孔検出部１０８から取得される瞳孔径とから、瞳孔の実寸を算出する。
　瞳孔の実寸Ｄｒｔは、正規化目領域画像の拡大縮小倍率をｎとし、検出瞳孔の正規化目領域画像上での瞳孔径をＤｎとしたとき、式（３）によって算出される。この実寸瞳孔径は、実寸瞳孔径記憶部１０４において保持される。
Figure JPOXMLDOC01-appb-M000003
　＜終了判定処理＞
　ステップＳ２１２においては、終了判定が行なわれる。終了判定は、人手による終了命令の入力によって行われても良いし、外的な何らかの信号をトリガに瞳孔検出装置１００により行われても良い。
　ステップＳ２１２において終了すると判定された場合に、図３の処理が終了する。
　以上のように本実施の形態によれば、瞳孔検出装置１００において、必要解像度推定部１０５が、瞳孔状態予測部１０３によって算出された実スケール予測値に基づいて、解像度のターゲット値を算出する。そして、目領域画像正規化部１０７が、必要解像度推定部１０５によって算出された解像度のターゲット値と、目領域実寸算出部１０２によって取得された目領域の実スケール値とに基づいて、拡大／縮小倍率を算出し、算出された拡大／縮小倍率に基づいて目領域の画像を正規化する。そして、瞳孔検出部１０８が、目領域画像正規化部１０７によって正規化された目領域の画像から瞳孔画像を検出する。
　こうすることで、瞳孔径の実スケール予測値及び目領域の実スケール値に基づいて算出した、実体を反映した拡大／縮小倍率によって目領域画像を拡大／縮小した正規化画像を用いて瞳孔検出することができるので、検出対象画像が低解像度であっても瞳孔検出精度を向上することができる。
　また、目領域画像正規化部１０７は、目領域の実スケール値と目領域の画像に用いられている画素数とに基づいて、単位長当たりの画素数を算出し、算出された単位長当たりの画素数と解像度のターゲット値との比を求めることにより、拡大／縮小倍率を算出する。
　なお、以上の説明では、解像度のターゲット値が理想の解像度であるとすると、現状の解像度に相当する値を、目領域の実スケール値として説明した。しかしながら、本発明は、これに限定されるものではなく、瞳孔の周辺領域であって画像上で瞳孔画像と解像度が余り変わらない領域の実スケール値であれば良い。
　［実施の形態２］
　実施の形態２では、目領域の実スケール値が、距離センサによって求められる。
　図６は、本発明の実施の形態２に係る瞳孔検出装置５００の構成を示すブロック図である。図６において、瞳孔検出装置５００は、目領域実寸算出部５０１を有する。
　目領域実寸算出部５０１は、測距センサを具備し、当該測距センサを用いて目領域の実スケール値を直接的に検出する。測距センサは、例えば、レーザーレンジセンサ、又はTOF（Time-Of-Flight）センサなどである。
　検出された目領域の実スケール値は、目領域画像正規化部１０７へ出力される。なお、実施の形態１と同様に、現状の解像度に相当する値は、目領域の実スケール値に限定されるものではなく、瞳孔の周辺領域であって画像上で瞳孔画像と解像度が余り変わらない領域の実スケール値であれば良い。
　以上のように本実施の形態によれば、瞳孔検出装置５００において、目領域実寸算出部５０１が、測距センサを具備し、目領域画像正規化部１０７が、算出された解像度のターゲット値及び測距センサで計測された目領域の実スケール値に基づいて、拡大／縮小倍率を算出し、算出された拡大／縮小倍率に基づいて目領域の画像を正規化し、瞳孔検出部１０８が、正規化された目領域の画像から瞳孔画像を検出する。
　こうすることで、画像を用いずに目領域の実スケール値を検出することができるので、検出対象画像が低解像度であっても、より正確な目領域の実スケール値を取得することができる。この結果、より正確な目領域の実スケール値に基づいて拡大／縮小倍率を算出することができるので、瞳孔検出精度をさらに向上することができる。
　［実施の形態３］
　実施の形態３では、照度の平衡状態又は非平衡状態に基づいて、瞳孔径の実スケール予測値の算出方法が切り替えられる。
　図７は、本発明の実施の形態３に係る瞳孔検出装置６００の構成を示すブロック図である。図７において、瞳孔検出装置６００は、照度センサ６０１と、瞳孔状態予測部６０２とを有する。
　照度センサ６０１は、瞳孔検出装置６００及び撮像ターゲットの周辺の照度を所定の周期で計測し、計測された照度を瞳孔状態予測部６０２へ順次出力する。
　瞳孔状態予測部６０２は、照度センサ６０１において計測された照度の履歴に基づいて、照度が平衡状態にあるのか又は非平衡状態にあるのかを判定し、判定結果に基づいて、瞳孔径の実スケール予測値の算出方法を切り替える。
　具体的には、瞳孔状態予測部６０２は、照度が平衡状態にあると判定した場合には、瞳孔径の実スケール予測値を、瞳孔検出部１０８において過去に検出された少なくとも２つの瞳孔径に基づいて算出する。すなわち、瞳孔状態予測部６０２は、照度が平衡状態にあると判定した場合には、上記した式（１）を用いて瞳孔径の実スケール予測値を算出する。
　一方、瞳孔状態予測部６０２は、照度が非平衡状態にあると判定した場合には、瞳孔径の実スケール予測値を、瞳孔検出部１０８において過去に検出された瞳孔径及び縮瞳速度に基づいて算出する。すなわち、瞳孔状態予測部６０２は、照度が非平衡状態にあると判定した場合には、上記した式（２）を用いて瞳孔径の実スケール予測値を算出する。
　以上のように本実施の形態によれば、瞳孔状態予測部６０２は、照度の計測値履歴に基づいて、照度が平衡状態にあるのか又は非平衡状態にあるのかを判定し、判定結果に基づいて、瞳孔径の実スケール予測値の算出方法を切り替える。
　こうすることで、撮影環境を反映して瞳孔径の実スケール予測値を算出することができりので、検出対象画像が低解像度であっても、より正確な解像度のターゲット値を取得することができる。この結果、より正確な解像度のターゲット値に基づいて拡大／縮小倍率を算出することができるので、瞳孔検出精度をさらに向上することができる。
　なお、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
　また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　上記各実施の形態で説明した瞳孔検出装置は、パーソナルコンピュータ、ＯＡ機器、携帯電話などの情報端末、又は、自動車、飛行機、船、電車などの移動手段に搭載される情報提供装置に適用して有用である。また、監視装置、警報装置、ロボット、映像音響再生装置などにも適用することができる。
　２０１０年９月２４日出願の特願２０１０－２１３７８０の日本出願に含まれる明細書、図面および要約書は、すべて本願に援用される。
　本発明の瞳孔検出装置及び瞳孔検出方法は、検出対象画像が低解像度であっても瞳孔検出精度を向上することができる。
　１００，５００，６００　瞳孔検出装置
　１０１　目領域画像取得部
　１０２，５０１　目領域実寸算出部
　１０３，６０２　瞳孔状態予測部
　１０４　実寸瞳孔径記憶部
　１０５　必要解像度推定部
　１０６　テーブル記憶部
　１０７　目領域画像正規化部
　１０８　瞳孔検出部
　１０９　瞳孔実寸算出部
　１１１　画像入力部
　１１２　目領域検出部
　１２１　顔検出部
　１２２　顔部品検出部
　１２３　目領域決定部
　６０１　照度センサ

Claims (7)

  1. 　瞳孔の画像を検出する瞳孔検出装置であって、
    　前記瞳孔を含む周辺領域の実スケール値を取得する取得手段と、
    　瞳孔径の実スケール予測値を算出する第１の算出手段と、
    　前記算出された実スケール予測値に基づいて、解像度のターゲット値を算出する第２の算出手段と、
    　前記算出された解像度のターゲット値及び前記周辺領域の実スケール値に基づいて、拡大／縮小倍率を算出し、前記算出された拡大／縮小倍率に基づいて前記周辺領域の画像を正規化する正規化手段と、
    　前記正規化された周辺領域の画像から前記瞳孔の画像を検出する検出手段と、
    　を具備する瞳孔検出装置。
  2. 　前記正規化手段は、前記周辺領域の実スケール値と前記周辺領域の画像に用いられている画素数とに基づいて、単位長当たりの画素数を算出し、前記算出された単位長当たりの画素数と前記解像度のターゲット値との比を求めることにより、前記拡大／縮小倍率を算出する、
    　請求項１に記載の瞳孔検出装置。
  3. 　前記第１の算出手段は、前記検出手段によって過去に検出された瞳孔画像から求められる瞳孔径に基づいて、前記実スケール予測値を算出する、
    　請求項１に記載の瞳孔検出装置。
  4. 　複数の瞳孔径と各瞳孔径に適した解像度とが対応付けられた解像度テーブルを記憶する記憶手段をさらに具備し、
    　前記第２の算出手段は、前記解像度テーブルを用いて、前記算出された実スケール予測値に対応する解像度のターゲット値を算出する、
    　請求項請求項１に記載の瞳孔検出装置。
  5. 　前記取得手段は、測距センサを具備し、前記測距センサによって前記周辺領域の実スケールを計測する、
    　請求項１に記載の瞳孔検出装置。
  6. 　前記第１の算出手段は、照度センサで計測された照度の履歴に基づいて、照度が平衡状態にあるのか又は非平衡状態にあるのかを判定し、判定結果に基づいて、瞳孔径の実スケール予測値の算出方法を切り替える、
    　請求項１に記載の瞳孔検出装置。
  7. 　瞳孔の画像を検出する瞳孔検出方法であって、
    　前記瞳孔を含む周辺領域の実スケール値を取得し、
    　瞳孔径の実スケール予測値を算出し、
    　前記算出された実スケール予測値に基づいて、解像度のターゲット値を算出し、
    　前記算出された解像度のターゲット値及び前記周辺領域の実スケール値に基づいて、拡大／縮小倍率を算出し、
    　前記算出された拡大／縮小倍率に基づいて前記周辺領域の画像を正規化し、
    　前記正規化された周辺領域の画像から前記瞳孔の画像を検出する、
    　瞳孔検出方法。
     
     
PCT/JP2011/005336 2010-09-24 2011-09-22 瞳孔検出装置及び瞳孔検出方法 WO2012039139A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11826585.9A EP2620907B1 (en) 2010-09-24 2011-09-22 Pupil detection device and pupil detection method
CN201180045125.0A CN103119623B (zh) 2010-09-24 2011-09-22 瞳孔检测装置及瞳孔检测方法
US13/821,382 US8983235B2 (en) 2010-09-24 2011-09-22 Pupil detection device and pupil detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-213780 2010-09-24
JP2010213780A JP5538160B2 (ja) 2010-09-24 2010-09-24 瞳孔検出装置及び瞳孔検出方法

Publications (1)

Publication Number Publication Date
WO2012039139A1 true WO2012039139A1 (ja) 2012-03-29

Family

ID=45873637

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/005336 WO2012039139A1 (ja) 2010-09-24 2011-09-22 瞳孔検出装置及び瞳孔検出方法

Country Status (5)

Country Link
US (1) US8983235B2 (ja)
EP (1) EP2620907B1 (ja)
JP (1) JP5538160B2 (ja)
CN (1) CN103119623B (ja)
WO (1) WO2012039139A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182380A (zh) * 2017-11-30 2018-06-19 天津大学 一种基于机器学习的鱼眼瞳孔智能测量方法
CN109711239A (zh) * 2018-09-11 2019-05-03 重庆邮电大学 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法
US10881806B2 (en) 2015-12-14 2021-01-05 Sanofi-Aventis Deutschland Gmbh Drive mechanism for an injection device

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
JP5746937B2 (ja) * 2011-09-01 2015-07-08 ルネサスエレクトロニクス株式会社 オブジェクト追跡装置
JP6375607B2 (ja) 2013-09-30 2018-08-22 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
JPWO2015075894A1 (ja) * 2013-11-19 2017-03-16 日本電気株式会社 撮像装置、瞳孔撮像装置、瞳孔径測定装置、瞳孔状態検出装置、及び瞳孔撮像方法
US9355315B2 (en) 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
US10861180B2 (en) * 2016-03-10 2020-12-08 Ohio State Innovation Foundation Measurements using a single image capture device
JP6587254B2 (ja) * 2016-09-16 2019-10-09 株式会社東海理化電機製作所 輝度制御装置、輝度制御システム及び輝度制御方法
WO2018061927A1 (ja) * 2016-09-30 2018-04-05 日本電気株式会社 情報処理装置、情報処理方法およびプログラム記憶媒体
CN106419830A (zh) * 2016-11-10 2017-02-22 任秋生 一种瞳孔直径测量方法
CN109725418B (zh) 2017-10-30 2020-10-16 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
TWI662946B (zh) * 2018-07-02 2019-06-21 宏碁股份有限公司 瞳距運算裝置及方法
CN108986164B (zh) * 2018-07-03 2021-01-26 百度在线网络技术（北京）有限公司 基于图像的位置检测方法、装置、设备及存储介质
WO2021024470A1 (ja) * 2019-08-08 2021-02-11 オムロン株式会社 モニタリング装置
JP6717477B1 (ja) * 2019-09-13 2020-07-01 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
KR20210073135A (ko) * 2019-12-10 2021-06-18 삼성전자주식회사 눈 복원 기반의 눈 추적 방법 및 장치
CN113405505B (zh) * 2020-03-16 2022-09-16 同方威视技术股份有限公司 基于多传感器的距离与身高的确定方法及其装置
JP6958828B1 (ja) * 2020-12-22 2021-11-02 株式会社スワローインキュベート 視距離推定方法、視距離推定装置、及び視距離推定プログラム
CN116421135A (zh) * 2023-04-27 2023-07-14 北京京东拓先科技有限公司 视力测试方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249197A (ja) * 1994-03-10 1995-09-26 Mitsubishi Electric Corp 人物状態検出装置
JP2002282210A (ja) 2001-03-27 2002-10-02 Japan Science & Technology Corp 視線検出方法及びその装置
JP2008090483A (ja) 2006-09-29 2008-04-17 Oki Electric Ind Co Ltd 個人認証システム及び個人認証方法
JP2009080706A (ja) * 2007-09-26 2009-04-16 Honda Motor Co Ltd 個人認証装置
JP2009282925A (ja) * 2008-05-26 2009-12-03 Sharp Corp 虹彩認証支援装置及び虹彩認証支援方法
JP2010213780A (ja) 2009-03-13 2010-09-30 Kawasumi Lab Inc 固定具、接続部材及び医療用具

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6631208B1 (en) * 1998-05-29 2003-10-07 Fuji Photo Film Co., Ltd. Image processing method
AUPQ958400A0 (en) * 2000-08-22 2000-09-14 Cmx Technologies Pty Ltd Validation of transactions
JP4317465B2 (ja) 2004-02-13 2009-08-19 本田技研工業株式会社 顔識別装置、顔識別方法及び顔識別プログラム
EP1818869A1 (en) * 2004-11-25 2007-08-15 NEC Corporation Face image synthesis method and face image synthesis device
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US7912252B2 (en) * 2009-02-06 2011-03-22 Robert Bosch Gmbh Time-of-flight sensor-assisted iris capture system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249197A (ja) * 1994-03-10 1995-09-26 Mitsubishi Electric Corp 人物状態検出装置
JP2002282210A (ja) 2001-03-27 2002-10-02 Japan Science & Technology Corp 視線検出方法及びその装置
JP2008090483A (ja) 2006-09-29 2008-04-17 Oki Electric Ind Co Ltd 個人認証システム及び個人認証方法
JP2009080706A (ja) * 2007-09-26 2009-04-16 Honda Motor Co Ltd 個人認証装置
JP2009282925A (ja) * 2008-05-26 2009-12-03 Sharp Corp 虹彩認証支援装置及び虹彩認証支援方法
JP2010213780A (ja) 2009-03-13 2010-09-30 Kawasumi Lab Inc 固定具、接続部材及び医療用具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2620907A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10881806B2 (en) 2015-12-14 2021-01-05 Sanofi-Aventis Deutschland Gmbh Drive mechanism for an injection device
CN108182380A (zh) * 2017-11-30 2018-06-19 天津大学 一种基于机器学习的鱼眼瞳孔智能测量方法
CN108182380B (zh) * 2017-11-30 2023-06-06 天津大学 一种基于机器学习的鱼眼瞳孔智能测量方法
CN109711239A (zh) * 2018-09-11 2019-05-03 重庆邮电大学 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法
CN109711239B (zh) * 2018-09-11 2023-04-07 重庆邮电大学 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法

Also Published As

Publication number Publication date
CN103119623A (zh) 2013-05-22
US8983235B2 (en) 2015-03-17
EP2620907A4 (en) 2014-03-05
EP2620907A1 (en) 2013-07-31
US20130170754A1 (en) 2013-07-04
EP2620907B1 (en) 2017-11-08
CN103119623B (zh) 2016-07-06
JP2012068937A (ja) 2012-04-05
JP5538160B2 (ja) 2014-07-02

Similar Documents

Publication Publication Date Title
JP5538160B2 (ja) 瞳孔検出装置及び瞳孔検出方法
JP5529660B2 (ja) 瞳孔検出装置及び瞳孔検出方法
CN106598221B (zh) 基于眼部关键点检测的3d视线方向估计方法
EP2541493B1 (en) Pupil detection device and pupil detection method
JP5661043B2 (ja) 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法
EP2704056A2 (en) Image processing apparatus, image processing method
JP5466610B2 (ja) 視線推定装置
CN111919222B (zh) 识别图像中的对象的装置和方法
JP2006260397A (ja) 開眼度推定装置
CN108369739B (zh) 物体检测装置和物体检测方法
CN113508420A (zh) 物体追踪装置以及物体追踪方法
JP2005318546A (ja) 画像認識システム、画像認識方法、及び画像認識プログラム
CN110909561A (zh) 眼睛状态检测系统及眼睛状态检测系统的操作方法
CN108734066B (zh) 一种手势图像获取设备及方法
JP6452236B2 (ja) 眼球識別装置及び眼球識別方法
KR20160146567A (ko) 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치
JP2012226645A (ja) 画像処理装置および方法、記録媒体並びにプログラム
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
US20190005675A1 (en) Methods and Apparatus for Tracking A Light Source In An Environment Surrounding A Device
US20160066150A1 (en) Dynamic Configuration of a Positioning System
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
JP2015106307A (ja) 物体検出装置
EP3496390B1 (en) Information processing device, information processing method, and storage medium
KR101212316B1 (ko) 공간 변환과 움직임 추정을 이용한 프레임 중앙점의 이동 경로 추출방법
EP3796257A1 (en) Estimation device, estimation method, and computer program product

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180045125.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11826585

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13821382

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2011826585

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011826585

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE