WO2006006298A1 - 瞳孔検出装置および虹彩認証装置 - Google Patents

瞳孔検出装置および虹彩認証装置 Download PDF

Info

Publication number
WO2006006298A1
WO2006006298A1 PCT/JP2005/009045 JP2005009045W WO2006006298A1 WO 2006006298 A1 WO2006006298 A1 WO 2006006298A1 JP 2005009045 W JP2005009045 W JP 2005009045W WO 2006006298 A1 WO2006006298 A1 WO 2006006298A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
candidate
integration
circle
data
Prior art date
Application number
PCT/JP2005/009045
Other languages
English (en)
French (fr)
Inventor
Morio Sugita
Masahiro Wakamori
Takeshi Fujimatsu
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US10/555,232 priority Critical patent/US20070036396A1/en
Priority to EP05741518A priority patent/EP1767141A4/en
Publication of WO2006006298A1 publication Critical patent/WO2006006298A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Definitions

  • Pupil detection device and iris authentication device Pupil detection device and iris authentication device
  • the present invention relates to an iris authentication device used for personal authentication and the like, and more particularly to a pupil detection device that detects the position of a middle-powered pupil image (hereinafter abbreviated as “eye image”).
  • eye image a middle-powered pupil image
  • the image data of the eye image (hereinafter abbreviated as “eye image data”) is binarized.
  • There is known a method for calculating a partial derivative of this quantity with respect to r by calculating the force r to increase the radius r see, for example, Japanese Patent Publication No. 8-504 979.
  • some methods have been proposed to improve the detection accuracy by eliminating the influence of eyelashes and external light reflection (for example, Japanese Patent Application Laid-Open No. 2002-119477).
  • the present invention provides a pupil detection device and an iris authentication device capable of detecting a pupil position at high speed and with high accuracy.
  • the pupil detection device of the present invention includes a pupil candidate detection unit that detects the position of a pupil candidate that can be a candidate for a pupil from an eye image, and a pupil that holds a plurality of pupil candidate positions detected by the pupil candidate detection unit.
  • the center position force of the pupil candidate has a center position of another pupil candidate in a region within a predetermined distance. Pupil selection for selecting a pupil candidate as a pupil A part.
  • FIG. 1 is a circuit block diagram of an iris authentication device using a pupil detection device according to a first embodiment of the present invention.
  • FIG. 2A is a diagram showing an example of an image including a pupil.
  • FIG. 2B is a diagram showing an integrated value with respect to the radius of the integrating circle.
  • FIG. 2C is a diagram showing a value obtained by differentiating the integral value by the radius of the integral circle.
  • FIG. 2D is a diagram showing an integration circle moving on the eye image.
  • FIG. 3A is a diagram showing an example of an eye image when the integrating circle is located in the iris region and luminance at that time.
  • FIG. 3B is a diagram showing an example of an eye image and luminance at that time when the integrating circle is located in the eyeglass frame.
  • FIG. 4 is a circuit block diagram of the pupil detection device in the same embodiment.
  • FIG. 5 is a circuit diagram of an image data extraction unit in the same embodiment.
  • FIG. 6 is a circuit block diagram of a pupil candidate holding unit and a pupil selection unit in the same embodiment.
  • FIG. 7 is a diagram for explaining the operation of the pupil selection unit in the embodiment.
  • FIG. 8 is a flowchart showing an operation for one frame of an eye image of the pupil detection device in the same embodiment.
  • FIG. 9 is a flowchart for selecting a middle-power pupil of a pupil candidate according to another embodiment of the present invention. Explanation of symbols
  • the pupil detection device of the present invention includes a pupil candidate detection unit that detects the position of a pupil candidate that can be a candidate for a pupil from an eye image, and a pupil that holds a plurality of pupil candidate positions detected by the pupil candidate detection unit.
  • the center position force of the pupil candidate has a center position of another pupil candidate in a region within a predetermined distance. Pupil selection for selecting a pupil candidate as a pupil A part. With this configuration, it is possible to provide a pupil detection device that can detect the pupil position with high accuracy and high speed.
  • the pupil detection device of the present invention sets a plurality of concentric circles as integral circles on the eye image, and extracts image data of an eye image located on the circumference of the integral circle.
  • a change circle detection unit that detects an integration circle that changes stepwise with respect to the radius of the pupil
  • a pupil candidate holding unit that holds the center coordinates of the integration circle detected by the change circle detection unit as the coordinate position of the pupil candidate
  • a pupil selection unit that selects a pupil candidate having a center position of another pupil candidate in a region within a predetermined distance from the center coordinate of the pupil candidate among the pupil candidates held by the pupil candidate holding unit.
  • the change circle detection unit of the pupil detection device of the present invention outputs, as an evaluation value, the magnitude of change in which the integration value of the circular integration unit changes stepwise with respect to the radius of the integration circle.
  • the holding unit is configured by connecting multiple maximum value detectors that detect data having the maximum value among the input data in series, and by inputting the evaluation value to the pupil candidate holding unit, the evaluation value is large! / In order, pupil candidates are held. With this configuration, it is possible to arrange pupil candidates in large and river pages using evaluation values.
  • the maximum value detector of the pupil detection device of the present invention includes a register for holding input data, A comparator that compares the data held in the register with the input data, and a selector that selects and outputs either the data held in the register or the input data. Based on the output of the comparator, the register holds the input data if the input data is larger than the stored data. The input data is larger than the data! In this case, the data held by the register may be selected, and the input data may be smaller than the data held by the register. In this case, the input data may be selected. With this configuration, the maximum value detector can be realized with a relatively simple circuit.
  • the pupil selection unit of the pupil detection device of the present invention groups a plurality of pupil candidates that are close to each other as one group! ⁇ ⁇ ⁇ ⁇ , and pupil candidates from each group In other words, the sum of the evaluation values of the group or the pupil candidates is the highest, and the pupil position may be determined from the selected group.
  • the pupil selection unit can be realized using a relatively simple algorithm.
  • the iris authentication apparatus of the present invention includes the pupil detection apparatus of the present invention. With this configuration, it is possible to provide an iris authentication device equipped with a pupil detection device capable of detecting the pupil position with high accuracy and high speed.
  • FIG. 1 is a circuit block diagram of an iris authentication device 100 using the pupil detection device 200 according to the first embodiment of the present invention.
  • FIG. 1 also shows an imaging unit 120, an illumination unit 130, and an authentication processing unit 140 that are necessary for configuring the iris authentication device 100 in addition to the pupil detection device 200.
  • An iris authentication device 100 includes an imaging unit 120 that captures a user's eye image, a pupil detection device 200 that detects a pupil position and its radius from the eye image, and an eye image force acquisition.
  • the authentication processing unit 140 which performs personal authentication by comparing the iris code with the registered iris code, emits near-infrared light with a light intensity suitable for eye image acquisition and its surroundings An illumination unit 130 for illuminating the part is provided.
  • the imaging unit 120 includes a guide mirror 121, a visible light cut filter 122, a lens 123, an imaging device 124, and a preprocessing unit 125.
  • the optical system can be reduced in size, weight, and cost.
  • the guiding mirror 121 guides the eyes to the correct imaging position by the user reflecting his / her eyes.
  • the pre-processing unit 125 extracts an image data component from the output signal of the image sensor 124, performs necessary processing as image data such as gain adjustment, and outputs it as user's eye image data.
  • the pupil detection device 200 includes a pupil candidate detection unit 210, a pupil candidate holding unit 280, and a pupil selection unit 290.
  • the pupil detection device 200 detects the pupil position and its radius from the center of the eye image, and sends it to the authentication processing unit 140. Output.
  • the authentication processing unit 140 cuts out an iris image from the eye image data based on the pupil center coordinates and the pupil radius detected by the pupil detection device 200. Then, the authentication operation is executed by converting the iris image into a unique iris code indicating an iris pattern and comparing it with a registered iris code.
  • FIGS. 2A to 2D are diagrams for explaining a pupil detection method of the pupil detection device 200 according to the first embodiment of the present invention.
  • 2A is a diagram showing an example of an image including a pupil
  • FIG. 2B is a diagram showing an integrated value with respect to the radius of the integrating circle
  • FIG. 2C is a diagram showing a value obtained by differentiating the integrated value with the radius of the integrating circle
  • FIG. 2D is an eye image. It is a figure which shows the integrating circle which moves up.
  • the image including the pupil includes a disk-shaped low luminance region indicating the pupil and an annular medium luminance region indicating the iris on the outer side. Therefore, if the image data is circularly integrated along the circumference of the integration circle C of radius R around the pupil center position coordinate (Xo, Yo), the integration value I is stepped at the pupil radius Ro as shown in Fig. 2 (b). Will change. Therefore, the pupil radius Ro can be obtained by finding the radius of the integral circle when the value dlZdR obtained by differentiating the integral value I with the radius R exceeds a threshold (hereinafter referred to as “difference threshold”) Alth.
  • difference threshold hereinafter referred to as “difference threshold” Alth.
  • the pupil detection device 200 detects the position coordinates (Xo, Yo) of the pupil and the pupil radius Ro.
  • the average value of the image data of the pixels located on the circumference of each integral circle ⁇ is calculated, or a medium constant number (m) of pixels located on the circumference is selected and selected. Add image data.
  • the integral value I of the circular integration is assumed.
  • the integration value I for each integration circle ⁇ changes in a step shape, so that the radius R of the integration value I
  • a large maximum value is shown where it is equal to the pupil radius Ro.
  • the position of the pupil and its radius can be obtained by obtaining the integral circle C in which the difference value ⁇ is larger than the difference threshold value A lth.
  • the difference value ⁇ may show a large value accidentally.
  • the number of integration circles n and the number of pixels m selected on each integration circle are reduced, the amount of calculation can be reduced and high-speed pupil detection is possible, but on the other hand, the difference value ⁇ is increased accidentally.
  • the possibility of showing a high value increases, and the pupil detection accuracy decreases. Therefore, a luminance difference calculation unit 240 is provided in the pupil detection device 200, and for each integration circle C, a difference B between the maximum value and the minimum value on the circumference of the circle is obtained, and the difference ⁇ This is referred to as the “brightness difference threshold”.
  • FIGS. 3A and 3B are diagrams for explaining the operation of the luminance difference calculation unit 240.
  • Fig. 3A is a diagram showing an example of an eye image when the integration circle is located in the iris region and an example of luminance at that time
  • Fig. 3B is an example of an eye image when the integration circle is located in the eyeglass frame and an example of luminance at that time.
  • each integration circle C is located in a relatively uniform region such as the inside of the pupil region or the iris region.
  • the brightness variation of the image data on the circumference is small.
  • Fig. 3A shows the integration circle located in the iris region, which is the middle luminance region of the ring.
  • the difference B between the maximum luminance value and the minimum luminance value on the circumference is smaller than the smaller luminance difference threshold Bth.
  • the luminance difference threshold Bth is desirably set to be larger than the expected variation in luminance data on the circumference. Empirically, it should be set smaller than the difference between the average brightness of the skin and the average brightness of the pupil, which is larger than the difference between the average brightness of the iris and the average brightness of the pupil. For example, in the case of an image signal with 256 gradations, the average brightness of the pupil is about 40 gradations, the average brightness of the iris is about 100 gradations, and the average brightness of the skin is about 200 gradations. Set between 60 and 160! /.
  • the integral value I when the integral circle is on the pupil is approximately 40.
  • FIG. 4 is a circuit block diagram of pupil detection device 200 according to the first embodiment of the present invention.
  • the pupil detection device 200 includes a pupil candidate detection unit 210, a pupil candidate holding unit 280, a pupil selection The selector 290 is provided.
  • the pupil candidate detection unit 210 sets an integration circle to on the eye image and extracts image data on the circumference of each integration circle ⁇ , and extracts the extracted image data for each integration circle C.
  • Circulatory integration unit 230 that circulates and integrates, luminance difference calculation unit 240 that calculates the difference B between the maximum and minimum values of the image data for each integration circle, and the difference value ⁇ I that determines the difference value ⁇ I of the integral value I relative to the radius R
  • the maximum value of ⁇ I is larger than the difference threshold ⁇ Ith.
  • the change circle detector 250 outputs the difference value ⁇ I and the radius R of the integration circle, and shows the center coordinates (X, Y) of the integration circles C to C
  • a pointer portion 260 is provided.
  • the pupil candidate holding unit 280 is configured such that the change circle detection unit 250 has a difference value larger than the difference threshold A lth.
  • ⁇ When ⁇ is output, it is considered that the pupil candidate has been detected, and the position coordinates (X, Y) and radius R of the plurality of pupil candidates are stored, and the pupil selection unit 290 selects one pupil from among the plurality of pupil candidates. Pick out.
  • FIG. 5 is a circuit diagram of the image data extraction unit 220.
  • Fig. 5 also shows an adder 230 and a luminance difference calculator 240 corresponding to one integral circle C.
  • the image data extraction unit 220 is composed of a partial frame memory 222 and a lead line for extracting image data.
  • the partial frame memory 222 is formed by connecting a plurality of first-in-first-out type (FIFO type) line memories 224 in series. Then, image data is extracted from m pixels corresponding to the integration circle C on the image by the extraction line L.
  • FIG. 5 shows only one integration circle C and a drawing line L for extracting four pixel data on the circumference. In the first embodiment, there are 20 forces. From the integration circles C to C, eight data lines are drawn for each i 1 20.
  • the circular integrator 230 includes adders 230 to 230 that are independent of each of the integration circles C to C, and adds m pieces of image data positioned on the circumference of each integration circle C, The result of addition is output as integral value I to change circle detector 250.
  • the luminance difference calculation unit 240 includes independent luminance difference calculators 240 to 240 for each of the integration circles C to C, and each luminance difference calculator 240 is m positioned on the circumference of the integration circle C.
  • Maximum value detector 241 that detects the maximum value of each pixel data
  • minimum value detector 242 that detects the minimum value
  • subtractor 243 that calculates the difference B between the maximum value and minimum value
  • difference B and luminance difference threshold Bth Comparator 24 is provided. Then, n comparison results are output to the change circle detection unit 250.
  • the odd circle detection pole 250 includes subtractors 252 to 252, a selector 253, and a con- verter 254.
  • the subtractor 252 calculates a difference with respect to the radius R of the integral value I for each integral circle C. That is, among the integration circles C to C, the difference value ⁇ I between the integration values I and I with respect to the integration circle C with a different radius is obtained. However, if the difference B between the maximum value and the minimum value of the image data for the integration circle C is larger than the luminance difference threshold Bth, the difference value is forcibly set to 0.
  • the selector 253 and the comparator 254 output the radius R of the integration circle C in which the difference value ⁇ is larger than the difference threshold A lth to the pupil candidate holding unit 280, and the difference value ⁇ I is also evaluated as an evaluation ⁇ . Output to pupil candidate holding unit 280. At this time, the image for the integration circle C
  • the subtractor 252i When the difference B between the maximum value and the minimum value of the data is larger than the luminance difference threshold Bth, the subtractor 252i forcibly sets the difference value ⁇ I to 0, so that the difference B is larger than the luminance difference threshold Bth. In this case, the radius R is not output to the pupil candidate holding unit 280.
  • the difference B between the maximum value and the minimum value of the pixel data is limited. Or less.
  • the difference B increases if it does not coincide with the center of the pupil. Therefore, the possibility of false detection can be reduced by excluding information when the difference B is greater than the luminance difference threshold Bth.
  • the pupil detection accuracy can be increased.
  • FIG. 6 is a circuit block diagram of pupil candidate holding unit 280 and pupil selection unit 290.
  • a plurality of maximum value detectors 280 to 280 are connected in series.
  • Each of the maximum value detectors 280 is held in registers 282, 283, 284 and 285 which hold the maximum X and Y coordinates, radius R and evaluation value of the candidate pupil, and the input evaluation value and register 285.
  • Comparator 281 for comparing with the evaluation city that has been input, selector X for selecting the offset force of the input X coordinate, Y coordinate, radius R and evaluation ⁇ and the held X coordinate, Y coordinate, radius R and evaluation ffi , 287, 288, and 289!
  • the maximum value detector 280 at the top receives the outputs X and Y of the X counter 262 and Y counter 264 indicating the coordinates of the integral circle, The output R of the change circle detector 250 is also input.
  • the X coordinate X, Y coordinate Y, radius R, and evaluation ⁇ ⁇ that were previously held in the registers 282 to 285 are input to the second maximum value detector 280 via the selectors 286 to 289. And the newly entered X coordinate X, Y coordinate Y, radius R, evaluation value
  • evaluation city 0 is less than or equal to evaluation city 1, newly entered X coordinates X, Y
  • the second maximum value detector 280 is an evaluation output from the first maximum value detector 280.
  • the entered X coordinate X, Y coordinate Y, radius R, and evaluation value are output to the third maximum value detector 280.
  • the i-th maximum value detector 280 holds the maximum output value 280 on the upstream side as well. The data that has been held until then is output to the maximum value detector 280 on the downstream side and the upstream side i + 1
  • the first maximum value detector SSC ⁇ retains the X-coordinate X, Y-coordinate Y, radius R, and evaluation value for the pupil candidate that has a large evaluation value
  • the second maximum value detector 28 0 contains the X coordinate X, Y coordinate Y, radius R, and rating for the second largest candidate pupil.
  • the city is retained, and the i-th maximum detector 280 has the i-th largest pupil value.
  • the X coordinate X, Y coordinate Y, radius R, and evaluation city for the complement are retained.
  • the pupil selection unit 290 has the center position of another pupil candidate in a region within a predetermined distance from the plurality of pupil candidates held in the pupil candidate holding unit 280.
  • One pupil candidate is selected, and its position coordinates and radius are output to the authentication processing unit 140 as the position coordinates and radius of the pupil.
  • the predetermined distance is 1.5 pixels. Therefore, the pupil selection unit 290, for each of the pupil candidates, includes pupil candidates included in a total of eight pixel positions corresponding to four pixels vertically and horizontally adjacent to the position coordinates (X, Y) of the pupil candidate and four pixels in the diagonal direction. The number of pupils is counted, and a pupil candidate including a large number of pupil candidates is selected as a true pupil.
  • the pupil selection unit 290 can be configured using a dedicated circuit that performs the above operations. In this embodiment, the above-described processing is performed using a CPU (not shown) provided in the authentication processing unit 140. Go and go.
  • FIG. 7 is a diagram for explaining the operation of the pupil selection unit 290. Pupil candidates P, P
  • the erroneously detected pupil candidates are hardly clustered, but the pupil candidates tend to be clustered around the true pupil. This depends on the detection accuracy of the pupil candidates. The better the detection accuracy, the smaller the number of pupil candidates that are dense.
  • the number k of pupil candidates detected by the pupil candidate holding unit 280 and the number of pixel positions for counting the number of pupil candidates existing around by the pupil selection unit 290 are the detection accuracy of the pupil candidates, It is desirable to determine by estimation of the number of erroneously detected pupil candidates.
  • the number of pixel positions for counting the number of pupil candidates is 4 pixels vertically, horizontally, and diagonally 4
  • the area was set to include a total of 8 pixels. It is also assumed that there are nine pupil candidates at the true pupil position (one true pupil, one each vertically and horizontally, one each diagonally) and a maximum of six erroneously detected pupil candidates. Then, set the number of pupil candidates to be detected to 15 and 7 pieces.
  • a plurality of pupil candidates are detected from the eye image, and the center position of another pupil candidate exists at a pixel position adjacent to the center position of the pupil candidate from the plurality of pupil candidates.
  • FIG. 8 is a flowchart showing the operation for one frame of the eye image of the pupil detection device 200 in the first embodiment of the present invention.
  • the pupil detection device 200 captures image data for one pixel (S51). If the captured image data is the first data of one frame (S52), the Y counter 264 is reset and the registers 282 to 285 of the pupil candidate holding unit 280 are reset (S53). If the fetched data is the first data of one line (S54), the X counter 262 is reset and the Y counter 264 is incremented (S55). Then, the X counter 262 is incremented (S56).
  • the captured image data is captured into the partial frame memory 222.
  • n ⁇ m image data are extracted for each of the integration circles C force m out of the pixels corresponding to the n integration circles C to C on the eye image.
  • the adder 230 corresponding to each integration circle C is The integral value Ii of the image data is calculated, and the luminance difference calculator 240i calculates the difference B between the maximum value and the minimum value of the image data.
  • the change circle detection unit 250 calculates a difference value ⁇ I of each integral value I. However, at this time, if the difference B is larger than the luminance difference threshold Bth, the difference value ⁇ is forcibly set to 0 (S57).
  • the comparator 254 compares the difference value ⁇ I with the difference threshold value ⁇ Ith (S58), and the difference value
  • the pupil candidate holding unit 280 holds the X counter 262, the Y counter 264, and the radius of the integrating circle Ro at this time as pupil candidates, and also the difference value ⁇ I thereof. Hold as evaluation ⁇ o. At this time, the pupil candidate holding unit 280 rearranges the pupil candidates in descending order of evaluation value and holds a maximum of k pupil candidates (S 59). Next, it is determined whether or not the captured data is the last data of one frame (S60). If not, the process returns to step S51.
  • the pupil selection unit 290 for each pupil candidate, another pupil candidate that exists at a pixel position adjacent to the center coordinate.
  • the X-coordinate, Y-coordinate, and radius values of the pupil candidate with the largest value are output to the iris recognition processing unit 140 as the true pupil X-coordinate Xo, Y-coordinate Yo, and pupil radius Ro. (S61).
  • step S 51 to step S 60 described above are executed each time image data for one pixel is input to the partial frame memory 222.
  • the frame frequency is 30 Hz and the eye image power is 40 to 480 pixels
  • the above-described series of operations are executed in a time of 1Z (30 X 640 X 480) or less.
  • the integration circle moves by one pixel on the image, so the integration circle scans the image once while inputting one frame image. In this way, pupil detection can be performed in real time on image data captured by the imaging unit 120 using a relatively small circuit.
  • the method of selecting a pupil candidate having a center position force within the predetermined distance near the center position of another pupil candidate from the plurality of pupil candidates is not limited to the above-described method.
  • multiple pupil candidates that are close to each other are grouped as a single loop, and the number of pupil candidates included in each group is large! The total of the evaluation values of the pupil candidates included or included is high!
  • a configuration may be adopted in which a true pupil is selected based on a clue.
  • Fig. 9 is a flowchart for selecting a candidate pupil of the pupil candidate based on this concept.
  • the pupil selection unit 290 takes in one pupil candidate.
  • the difference between the pupil candidate values Xi, Yi, and Ri and the average value Xgj, Ygj, and Rgj (j is 0 or a positive integer) is predetermined.
  • step S71 the candidate pupil captured in step S71 is added to the group (S73). If it does not exist, a new group including only the pupil candidates taken in step S71 is created (S74). Next, for the group to which pupil candidates are added in step S73, the average values Xgj, Ygj, and Rgj are recalculated for the group newly created in step S74 (S75).
  • step S71 the process returns to step S71 (S76).
  • the total ⁇ J of the evaluation values of the pupil candidates included in the group is obtained for each group (S77).
  • the average value Xgj, Ygj, and Rgj of the group having the largest total evaluation value ⁇ J is output to the iris authentication processing unit 140 as the X coordinate, Y coordinate, and radius of the pupil ( S 78).
  • the selector 253 of the change circle detection unit 250 of the present embodiment has a function of selecting the maximum value of the difference value ⁇ ⁇ and the radius R of the integration circle C at that time.
  • pupil candidate protection The holding unit 280 originally has a function of detecting the maximum value. Therefore, the selector 253 can be configured to simply output the outputs of the subtracters 252 to 252 and the radius of the integrating circle in a time division manner.
  • the number of concentric integration circles is 20, and the number of image data to be extracted from one integration circle is 8. These numbers are detection accuracy, processing time, circuit It is desirable to decide on the balance with the scale, etc.
  • the present invention it is possible to provide a pupil detection device and an iris authentication device capable of detecting the pupil position with high accuracy and high speed.
  • the present invention can provide a pupil detection device capable of detecting the pupil position with high accuracy and high speed, it is useful as an iris authentication device used for personal authentication and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　目画像の中から瞳孔の候補となりうる瞳孔候補の位置を検出する瞳孔候補検出部（２１０）と、検出した複数の瞳孔候補の位置を保持する瞳孔候補保持部（２８０）と、複数の瞳孔候補のうち、瞳孔候補の中心位置から所定の距離以内の領域に他の瞳孔候補の中心位置が存在する瞳孔候補を選択する瞳孔選択部（２９０）とを備えた。

Description

明 細 書
瞳孔検出装置および虹彩認証装置
技術分野
[0001] 本発明は、個人認証等に用いられる虹彩認証装置に関し、特に目を含む画像 (以 下、「目画像」と略記する）の中力 瞳孔の位置を検出する瞳孔検出装置に関する。 背景技術
[0002] 従来より目画像の中から瞳孔の位置を検出する様々な方法が提案されており、たと えば、目画像の画像データ（以下、「目画像データ」と略記する）を 2値ィ匕し、低輝度 領域の中の円形の領域を検出する方法や、半径カ^であり、中心座標が（xO、yO)で ある円の弧に対して画像強度 I (x、 y)の周回積分を計算し、半径 rが増加するにした 力 て rに関するこの量の部分的な導関数を計算する方法 (たとえば特表平 8— 504 979号公報参照)等が知られている。また、まつげや外光反射の影響をなくして検出 精度を上げる方法にっ 、ても 、くつか提案されて 、る（たとえば特開 2002— 11947 7号公報)。
[0003] これらの方法を用いて精度よく瞳孔を検出するためには膨大な画像データを高速 に処理する必要があり、処理能力の高い大きな CPUゃ大容量メモリを用いても、現 状では目画像の画像データをリアルタイムで処理することが困難であり得る。また、画 像データをリアルタイムで処理できる程度に CPUの処理量を減らすと検出精度が低 下する等の課題があり得る。 発明の開示
[0004] 本発明は、高速にかつ精度よく瞳孔位置の検出が可能な瞳孔検出装置および虹 彩認証装置を提供する。
[0005] 本発明の瞳孔検出装置は、目画像の中から瞳孔の候補となりうる瞳孔候補の位置 を検出する瞳孔候補検出部と、瞳孔候補検出部が検出した瞳孔候補の位置を複数 保持する瞳孔候補保持部と、瞳孔候補保持部に保持された瞳孔候補のうち瞳孔候 補の中心位置力 所定の距離以内の領域に他の瞳孔候補の中心位置が存在する 瞳孔候補を瞳孔として選択する瞳孔選択部とを備える。 図面の簡単な説明
[0006] [図 1]図 1は本発明の第 1の実施の形態における瞳孔検出装置を用いた虹彩認証装 置の回路ブロック図である。
[図 2A]図 2Aは瞳孔を含む画像の一例を示す図である。
[図 2B]図 2Bは積分円の半径に対する積分値を示す図である。
[図 2C]図 2Cは積分値を積分円の半径で微分した値を示す図である。
[図 2D]図 2Dは目画像上を移動する積分円を示す図である。
[図 3A]図 3Aは積分円が虹彩領域に位置する場合の目画像とそのときの輝度の一例 を示す図である。
[図 3B]図 3Bは積分円がメガネフレームに位置する場合の目画像とそのときの輝度の 一例を示す図である。
[図 4]図 4は同実施の形態における瞳孔検出装置の回路ブロック図である。
[図 5]図 5は同実施の形態における画像データ抽出部の回路図である。
[図 6]図 6は同実施の形態における瞳孔候補保持部および瞳孔選択部の回路ブロッ ク図である。
[図 7]図 7は同実施の形態における瞳孔選択部の動作を説明するための図である。
[図 8]図 8は同実施の形態における瞳孔検出装置の目画像 1フレーム分の動作を示 すフローチャートである。
[図 9]図 9は本発明の他の実施の形態における瞳孔候補の中力 瞳孔を選択するた めのフローチャートである。 符号の説明
[0007] 120 撮像部
130 照明部
140 認証処理部
200 瞳孔検出装置
220 画像データ抽出部
230 周回積分部
240 輝度差算出部 250 変化円検出部
260 ポインタ咅
280 瞳孔候補保持部
290 瞳孔選択部
発明を実施するための最良の形態
[0008] 本発明の瞳孔検出装置は、目画像の中から瞳孔の候補となりうる瞳孔候補の位置 を検出する瞳孔候補検出部と、瞳孔候補検出部が検出した瞳孔候補の位置を複数 保持する瞳孔候補保持部と、瞳孔候補保持部に保持された瞳孔候補のうち瞳孔候 補の中心位置力 所定の距離以内の領域に他の瞳孔候補の中心位置が存在する 瞳孔候補を瞳孔として選択する瞳孔選択部とを備える。この構成により、精度よくか つ高速に瞳孔位置の検出が可能な瞳孔検出装置を提供することができる。
[0009] また本発明の瞳孔検出装置は、同心円状の複数の円をそれぞれ積分円として目画 像上に設定し、積分円の円周上に位置する目画像の画像データを抽出する画像デ ータ抽出部と、画像データ抽出部が抽出した画像データを積分円のそれぞれの円周 に沿って積分する周回積分部と、複数の積分円の中から周回積分部の積分値が積 分円の半径に対してステップ状に変化するような積分円を検出する変化円検出部と 、変化円検出部で検出した積分円の中心座標を瞳孔候補の座標位置として保持す る瞳孔候補保持部と、瞳孔候補保持部で保持された瞳孔候補のうち、瞳孔候補の中 心座標から所定の距離以内の領域に他の瞳孔候補の中心位置が存在する瞳孔候 補を選択する瞳孔選択部とを備える。この構成により、比較的小規模な回路を用いて 、撮像部で撮像された画像データに対してリアルタイムで瞳孔検出することができる。
[0010] また本発明の瞳孔検出装置の変化円検出部は、周回積分部の積分値が積分円の 半径に対してステップ状に変化する変化の大きさを評価値として出力し、瞳孔候補保 持部は、入力データのうち最大の値をもつデータを検出する最大値検出器を直列に 複数接続して構成され、瞳孔候補保持部に評価値を入力することにより、評価値の 大き!/、順に瞳孔候補を保持する。この構成により評価値を用いて瞳孔候補を大き 、 川頁に並べることができる。
[0011] また本発明の瞳孔検出装置の最大値検出器は、入力データを保持するレジスタと 、レジスタに保持しているデータと入力データとを比較するコンパレータと、レジスタに 保持しているデータまたは入力データのいずれかを選択して出力するセレクタとを備 え、レジスタは、コンパレータの出力にもとづき、保持しているデータよりも入力データ が大きい場合には入力データを保持し、セレクタは、コンパレータの出力にもとづき、 レジスタが保持して！/、るデータよりも入力データが大き！/、場合にはレジスタが保持し て 、るデータを選択し、レジスタが保持して 、るデータよりも入力データが小さ!/、場合 には入力データを選択する構成であってもよい。この構成により、比較的簡単な回路 で最大値検出器を実現できる。
[0012] また本発明の瞳孔検出装置の瞳孔選択部は、複数の瞳孔候補に対して互いに距 離の近 ヽものを 1つのグループとしてグループ分けを行!ヽ、それぞれのグループの 中から瞳孔候補の数のもっとも多 、グループ、または瞳孔候補の評価値の合計がも つとも高 、グループを選択し、その選択されたグループの中から瞳孔位置を決定す る構成であってもよい。この構成により、比較的簡単なアルゴリズムを用いて瞳孔選 択部を実現することができる。
[0013] 本発明の虹彩認証装置は、本発明の瞳孔検出装置を備える。この構成によって、 精度よくかつ高速に瞳孔位置の検出が可能な瞳孔検出装置を搭載した虹彩認証装 置を提供することができる。
[0014] 以下、本発明の実施の形態における瞳孔検出装置を用いた虹彩認証装置につい て、図面を用いて説明する。
[0015] (第 1の実施の形態）
図 1は本発明の第 1の実施の形態における瞳孔検出装置 200を用いた虹彩認証装 置 100の回路ブロック図である。図 1には、瞳孔検出装置 200にカ卩えて虹彩認証装 置 100を構成するために必要な撮像部 120、照明部 130、認証処理部 140も示して いる。
[0016] 第 1の実施の形態における虹彩認証装置 100は、使用者の目画像を撮像する撮像 部 120、 目画像の中から瞳孔位置とその半径を検出する瞳孔検出装置 200、 目画像 力 得られた虹彩コードを登録されている虹彩コードと比較して個人認証を行う認証 処理部 140、 目画像取得に適した光量の近赤外線を照射し使用者の目とその周辺 部分を照明する照明部 130を備えている。
[0017] 撮像部 120は、誘導ミラー 121、可視光カットフィルタ 122、レンズ 123、撮像素子 1 24および前処理部 125を有する。本実施の形態においては、レンズ 123として固定 焦点レンズを用いることにより光学系の小型、軽量化と低コストィ匕を実現している。誘 導ミラー 121は使用者が自らの目を映すことにより目を正しい撮像位置へ誘導する。
[0018] そして、使用者の目はレンズ 123、可視光カットフィルタ 122を通して撮像素子 124 で撮像される。前処理部 125は、撮像素子 124の出力信号から画像データ成分を取 り出し、ゲイン調整等画像データとして必要な処理を行った上で、使用者の目画像デ ータとして出力する。
[0019] 瞳孔検出装置 200は瞳孔候補検出部 210、瞳孔候補保持部 280、瞳孔選択部 29 0を有し、目画像の中カゝら瞳孔位置とその半径を検出し、認証処理部 140へ出力す る。
[0020] 認証処理部 140は、瞳孔検出装置 200が検出した瞳孔中心座標および瞳孔半径 にもとづき、目画像データの中から虹彩画像を切り出す。そして、虹彩画像を虹彩の 模様を示す固有の虹彩コードに変換し、登録されている虹彩コードと比較すること〖こ よって認証動作を実行する。
[0021] つぎに、瞳孔検出装置 200の瞳孔検出方法について説明する。図 2A〜図 2Dは、 本発明の第 1の実施の形態における瞳孔検出装置 200の瞳孔検出方法を説明する ための図である。図 2Aは瞳孔を含む画像の一例を示す図、図 2Bは積分円の半径 に対する積分値を示す図、図 2Cは積分値を積分円の半径で微分した値を示す図、 図 2Dは目画像上を移動する積分円を示す図である。
[0022] 瞳孔を含む画像は図 2Aに示すように、瞳孔を示す円盤状の低輝度領域と、その外 側に虹彩を示す円環状の中輝度領域とが存在する。したがって、瞳孔中心の位置座 標 (Xo、Yo)を中心として半径 Rの積分円 Cの円周に沿って画像データを周回積分 すると図 2Βに示すように積分値 Iは瞳孔半径 Roのところでステップ状に変化すること になる。そこで、積分値 Iを半径 Rで微分した値 dlZdRが閾値 (以下、「差分閾値」と 記す） A lthを超えるときの積分円の半径を求めることにより瞳孔半径 Roを知ることが できる。 [0023] 以上の考え方にもとづき、瞳孔検出装置 200は、瞳孔の位置座標 (Xo、 Yo)と瞳孔 半径 Roを検出する。まず、図 2Dに示すように中心座標が等しく半径の異なる n個の 積分円 C〜Cを目画像上に設定し、各々の積分円 C (i= l〜n)に対してその円周 上に位置する画像データを積分する。現実的には各々の積分円 ^の円周上に位置 する画素の画像データの平均値を計算するか、円周上に位置する画素の中力 一 定数 (m個）の画素を選んでその画像データを加算する。
[0024] 第 1の実施の形態においては同心円状の積分円の数 nを 20とし、各積分円 Cの円 周上に位置する画素の中から m= 8画素を選んでその画像データを加算し周回積分 の積分値 Iとした。このとき、積分円 C〜Cの中心が瞳孔中心と一致している場合に は、上述したように、各積分円 ^に対する積分値 I力ステップ状に変化するので、積 分値 Iの半径 Rに対する差分値 Δ Iを求めると瞳孔半径 Roに等しいところで大きな極 大値を示すことになる。
[0025] ところが、積分円 C〜Cの中心が瞳孔中心に一致しない場合は、積分値 Iは緩や かに変化するので、その差分値 Δ Ιは大きな値を示さない。したがって、差分値 Δ Ιが 差分閾値 A lthよりも大きな値を示す積分円 Cを求めることで、瞳孔の位置とその半 径を求めることができる。
[0026] そして、目画像上の各位置に積分円 C〜Cを移動させて上述の動作を繰り返す。
こうして差分値 Δ Iが大きな値を示すときの積分円 Cの中心座標 (X、 Y)とそのときの 半径 Rを求めることにより、瞳孔の位置座標 (Xo、 Yo)と瞳孔半径 Roを求めることが できる。
[0027] し力しながら、画像によっては偶発的に差分値 Δ Ιが大きな値を示す可能性がある 。特に、積分円の数 nや各積分円上で選択する画素の数 mを小さくすると計算量を 減らすことができ高速な瞳孔検出が可能となるが、反面、偶発的に差分値 Δ Ιが大き な値を示す可能性が高くなり瞳孔検出精度が低下する。そのため瞳孔検出装置 200 に輝度差算出部 240を設け、積分円 Cの各々に対して、円周上における輝度の最 大値と最小値の差 Bを求め、その差 ^が所定の閾値 (以下、「輝度差閾値」と記する） Bthより小さ ヽ場合に限り積分値 I、あるいはその差分値 Δ Iが有効であるとすること で瞳孔検出精度の低下を防 、で 、る。 [0028] 図 3A及び図 3Bは、輝度差算出部 240の動作を説明するための図である。図 3A は積分円が虹彩領域に位置する場合の目画像とそのときの輝度の一例を示す図で あり、図 3Bは積分円がメガネフレームに位置する場合の目画像とそのときの輝度の 一例を示す図である。
[0029] 積分円 C〜Cの中心が瞳孔中心と一致している場合には、各積分円 Cは瞳孔領 域内部、虹彩領域内部等、比較的輝度の均一な領域に位置するため、円周上の画 像データの輝度ばらつきは小さい。図 3Aに、円環状の中輝度領域である虹彩領域 に位置する積分円を示している。この場合、円周上の輝度の最大値と最小値との差 Bは小さぐ輝度差閾値 Bth以下となる。
[0030] し力し、たとえば図 3Bに示すように、積分円 C〜Cの中心が黒いメガネフレームの 一部に位置するときには、円周上の輝度はメガネフレーム上では低く皮膚の部分で は高くなるため、輝度の最大値と最小値との差 Bは大きくなる。このように、各積分円 Cの円周上の輝度の最大値と最小値との差 Bを求め、その差 Bが輝度差閾値 Bthよ り小さい場合に限り積分値 I、あるいはその差分値 Δ Ιが有効であるとすることで、メガ ネフレームを誤って瞳孔と判定する等の誤判定を防ぐことができ、瞳孔検出精度の低 下を防止できる。
[0031] なお、輝度差閾値 Bthとしては円周上の輝度データの予想されるばらつきよりわず 力に大きく設定することが望ましい。経験的には、虹彩の平均輝度と瞳孔の平均輝度 との差よりも大きぐ肌の平均輝度と瞳孔の平均輝度との差よりも小さく設定するとよ い。たとえば、 256階調の画像信号の場合、瞳孔の平均輝度が 40階調程度、虹彩 の平均輝度が 100階調程度、肌の平均輝度が 200階調程度となるため、輝度差閾 値 Bthとしては 60〜160の間で設定するとよ！/、。
[0032] また、差分閾値 A lthとしては、積分円が瞳孔上にある場合の積分値 Iはおよそ 40
X 8 = 320であり、積分円が虹彩上にある場合の積分値 Iはおよそ 100 X 8 = 800で あるので、差分閾値 A lthとしては、その差 480の半分程度、すなわち 240程度に設 定するとよい。
[0033] 図 4は、本発明の第 1の実施の形態における瞳孔検出装置 200の回路ブロック図 である。瞳孔検出装置 200は、瞳孔候補検出部 210、瞳孔候補保持部 280、瞳孔選 択部 290を備えている。
[0034] 瞳孔候補検出部 210は、目画像上に積分円 〜 を設定し各積分円 ^の円周上 の画像データを抽出する画像データ抽出部 220、抽出された画像データを積分円 C 毎に周回積分する周回積分部 230、各積分円毎に画像データの最大値と最小値と の差 Bを求める輝度差算出部 240、積分値 Iの半径 Rに対する差分値 Δ Iを求め差 分値の最大値 Δ Iが差分閾値 Δ Ithよりも大き 、ときの差分値 Δ Iと積分円の半径 Rを 出力する変化円検出部 250、積分円 C〜Cの中心座標 (X、 Y)を示すポインタ部 2 60を備えている。
[0035] 瞳孔候補保持部 280は、変化円検出部 250が差分閾値 A lthよりも大きい差分値
Δ を出力したとき瞳孔候補を検出したものとみなし、複数の瞳孔候補の位置座標 ( X、 Y)と半径 Rを記憶し、瞳孔選択部 290は、複数の瞳孔候補の中から 1つの瞳孔を 選び出す。
[0036] 図 5は、画像データ抽出部 220の回路図である。あわせて図 5には 1つの積分円 C に対応する加算器 230および輝度差算出器 240をも示している。画像データ抽出 部 220は部分フレームメモリ 222とそこ力も画像データを引出すための引出し線しか ら構成されている。
[0037] 部分フレ一ムメモリ 222はファーストイン一ファーストアゥト型（FIFO型）のラインメモ リ 224を複数個直列に接続したものである。そして、引出し線 Lによって画像上で積 分円 Cに対応する m個の画素から画像データを引出している。なお、図を見やすく するため図 5には 1つの積分円 Cとその円周上にある 4個の画素データを引出す引 出し線 Lのみを示した力 第 1の実施の形態においては 20個の積分円 C〜C から i 1 20 各々 8個ずつデータの引出し線が引出されている。
[0038] そして、部分フレームメモリ 222に 1画素ずつ画像データを入力する毎に部分フレ ームメモリ 222に保持されている画像全体が 1画素ずつシフトするので、引出し線 L 力も引出される画像データも 1画素ずつシフトすることになる。すなわち、部分フレー ムメモリ 222に画像データを 1画素分入力すると目画像上では積分円 C〜Cが右に 1画素分移動し、 1ライン分の画像データを入力すると目画像上では積分円 C〜C 力 Siライン分下へ移動する。 [0039] こうして、 1フレーム分の画像データが部分フレームメモリ 222に入力する間に、目 画像上では積分円 c 〜cが目画像全体を走査することになる。このときの積分円の 中心座標（X、 Y)は Xカウンタ 262および Yカウンタ 264の出力によって示される。
[0040] 周回積分部 230は積分円 C 〜Cの各々に対して独立な加算器 230 〜230を備 え、各積分円 Cの円周上に位置する m個の画像データを加算し、各々の加算結果を 積分値 Iとして変化円検出部 250へ出力する。
[0041] 輝度差算出部 240は積分円 C 〜Cの各々に対して独立な輝度差算出器 240 〜 240を備え、各々の輝度差算出器 240は積分円 Cの円周上に位置する m個の画 素データの最大値を検出する最大値検出器 241、最小値を検出する最小値検出器 242、最大値と最小値の差 Bを計算する減算器 243、差 Bと輝度差閾値 Bthとを比 較するコンパレータ 24 を備えている。そして n個の比較結果を変化円検出部 250 へ出力する。
[0042] 変ィ匕円検出咅 250は、減算器 252 〜252 、セレクタ 253、コンノ レータ 254とを 備える。減算器 252は、各積分円 Cに対する積分値 Iの半径 Rに対する差分を求め る。すなわち、積分円 C 〜Cのうち、半径の 1つ違う積分円 Cとじ とに対する積分 値 Iと I との差分値 Δ Iを求める。ただし、積分円 Cに対する画像データの最大値と 最小値との差 Bが輝度差閾値 Bthよりも大きい場合には差分値 を強制的に 0に 設定する。
[0043] そしてセレクタ 253およびコンパレータ 254は、差分値 Δ Ιが差分閾値 A lthより大 きくなる積分円 Cの半径 Rを瞳孔候補保持部 280に出力するとともに、その差分値 Δ Iも評価銜として瞳孔候補保持部 280に出力する。このとき積分円 Cに対する画像
0 i
データの最大値と最小値との差 Bが輝度差閾値 Bthよりも大きい場合、減算器 252i は差分値 Δ Iを強制的に 0に設定するので、差 Bが輝度差閾値 Bthよりも大き 、場合 には半径 Rが瞳孔候補保持部 280に出力されることはない。
[0044] 図 3を用いて説明したように、積分円 C 〜Cの中心が瞳孔の中心と一致している場 合には、画素データの最大値と最小値との差 Bはある限られた値以下となる。しかし 、瞳孔の中心と一致していない場合には差 Bは大きくなる。したがって、差 Bが輝度 差閾値 Bthよりも大きい場合の情報を除くことにより誤検出の可能性を減らすことがで き、瞳孔検出精度を上げることができる。
[0045] 図 6は瞳孔候補保持部 280および瞳孔選択部 290の回路ブロック図である。瞳孔 候補保持部 280は、複数の最大値検出器 280〜280がそれぞれ直列に接続され
1 k
ている。最大値検出器 280の各々は、瞳孔候補の X座標、 Y座標、半径 Rおよび評 価銜の最大値を保持するレジスタ 282、 283、 284および 285、入力した評価銜 とレジスタ 285に保持している評価街とを比較するコンパレータ 281、入力した X 座標、 Y座標、半径 Rおよび評価銜と保持している X座標、 Y座標、半径 Rおよび評 価 ffiの!ヽずれ力を選択するセレクタ 286、 287、 288および 289を備えて!/ヽる Q [0046] 先頭の最大値検出器 280には、積分円の座標を示す Xカウンタ 262および Yカウ ンタ 264の出力 X、 Yが入力され、変化円検出部 250の出力 Rも入力されている。
0 0 0
[0047] そして、変化円検出部 250から出力される評価街がレジスタ 285の保持している
0 1
評価銜よりも大きい場合には、それまでレジスタ 282〜285に保持していた X座標 X、 Y座標 Y、半径 R、評価銜をセレクタ 286〜289を介して 2番目の最大値検 出器 280に出力するとともに、新しく入力した X座標 X、 Y座標 Y、半径 R、評価値
2 0 0 0
Jをレジスタ 282〜285 に保持する。
0 1 1
[0048] 評価街 0が評価街 1以下の場合には新しく入力した X座標 X、 Y
0 座標 Y
0、半径 R、
0 評価銜をセレクタ 286〜289を介して 2番目の最大値検出器 280に出力する。
0 1 1 2
[0049] 2番目の最大値検出器 280は、 1番目の最大値検出器 280から出力される評価
2 1
がレジスタ 285の保持している評価銜よりも大きい場合には、それまでレジスタ
1 2 2
282〜285に保持していた X座標 X、 Y座標 Y、半径 R、評価銜を 3番目の最大
2 2 2 2 2 2 値検出器 280に出力するとともに、新しく入力した X座標 X、 Y座標 Y、半径 R、評
3 1 1 1 価街をレジスタ 282〜285に保持する。評価街が評価街以下の場合には新し
1 2 2 1 2
く入力した X座標 X、 Y座標 Y、半径 R、評価銜を 3番目の最大値検出器 280に 出力する。
[0050] 以下同様に、 i番目の最大値検出器 280は、上流側の最大値検出器 280 力も出 力される評価銜 力 Sそれまで保持して 、た評価銜よりも大き 、場合には、それまで 保持していたデータを下流側の最大値検出器 280 に出力するとともに上流側のデ i+ 1
ータを保持する。評価 iBJ が評価 iBJ以下の場合には上流側のデータを下流側に 出力する。
[0051] その結果、先頭の最大値検出器 SSC^にはもつとも評価値の大きい瞳孔候補に対 する X座標 X、 Y座標 Y、半径 R、評価銜が保持され、 2番目の最大値検出器 28 0には 2番目に評価値の大きい瞳孔候補に対する X座標 X、 Y座標 Y、半径 R、評
2 2 2 2 価街が保持され、 i番目の最大値検出器 280には i番目に評価値の大きい瞳孔候
2 i
補に対する X座標 X、 Y座標 Y、半径 R、評価街が保持される。
[0052] 瞳孔選択部 290は瞳孔候補保持部 280に保持されている複数の瞳孔候補の中か ら、瞳孔候補の中心位置力 所定の距離以内の領域に他の瞳孔候補の中心位置が 存在する瞳孔候補を 1つ選び出し、その位置座標および半径を瞳孔の位置座標およ び半径として認証処理部 140へ出力する。本実施の形態においては所定の距離を 1 . 5画素とした。したがって、瞳孔選択部 290は瞳孔候補のそれぞれについて、瞳孔 候補の位置座標 (X、 Y)に隣接する上下左右の 4画素と、斜め方向 4画素分の合計 8箇所の画素位置に含まれる瞳孔候補の数を数え、このときもつとも多くの瞳孔候補 が含まれる瞳孔候補を真の瞳孔として選択する。
[0053] もっとも多くの瞳孔候補が含まれる瞳孔候補が複数存在する場合には、それらの瞳 孔候補のうち評価街のもっとも大き 、瞳孔候補を真の瞳孔として選択する。その結 果、瞳孔選択部 290によって選択された瞳孔は、その周囲に他の瞳孔候補の存在 する瞳孔となる。瞳孔選択部 290は以上の動作を行う専用回路を用いて構成するこ とも可能である力 本実施の形態においては認証処理部 140に設けられている CPU (図示せず）を用いて上述の処理を行って 、る。
[0054] 図 7は瞳孔選択部 290の動作を説明するための図である。瞳孔候補 P、 Pはまつ
1 2 げを瞳孔と間違って検出したものであり、瞳孔候補 P〜P は真の瞳孔を検出したも
3 11
のである。このように、一般に誤検出された瞳孔候補が密集することはほとんどないが 、真の瞳孔の周囲には瞳孔候補が密集する傾向がある。これは瞳孔候補の検出精 度に依存し、検出精度がよくなるほど密集する瞳孔候補の数は少なくなる。
[0055] しかし、精度を上げても撮像素子に依存する 1画素程度の誤差は残るため真の瞳 孔の中心位置に隣接する画素位置には他の瞳孔候補の中心が存在する可能性が 高い。したがって、周囲に他の瞳孔候補の存在する瞳孔候補を真の瞳孔として選択 することにより、まつげ等を瞳孔と間違って検出する等の誤検出をなくし瞳孔検出精 度を向上させることができる。
[0056] ここで、瞳孔候補保持部 280で検出する瞳孔候補の数 k、および瞳孔選択部 290 で周囲に存在する瞳孔候補の数を数えるための画素位置の数は、瞳孔候補の検出 精度、誤検出される瞳孔候補の数の見積もり等により決めることが望ましい。本実施 の形態においては、真の瞳孔位置の上下左右に 1つずつ瞳孔候補が集まる可能性 を見越して、瞳孔候補の数を数えるための画素位置の数としては上下左右 4画素と 斜め方向 4画素との合計 8画素を含む領域に設定した。また、真の瞳孔の位置に瞳 孔候補が 9個 (真の瞳孔 1個、上下左右に各 1個、斜め方向に各 1個)集まり、誤検出 される瞳孔候補が最大 6個存在すると仮定して、検出する瞳孔候補の数 kを 15に設 し 7こ。
[0057] このように、目画像の中から複数の瞳孔候補を検出し、複数の瞳孔候補の中から、 瞳孔候補の中心位置に隣接する画素位置に他の瞳孔候補の中心位置が存在する 瞳孔候補を選択することにより、まつげ等を瞳孔と間違って検出する等の誤検出をな くし、瞳孔検出精度を向上させることができる。
[0058] つぎに、瞳孔検出装置 200の動作について説明する。以下の説明では、目画像デ ータが順次走査データであり、 1フレームが、たとえば 480ライン X 640ピクセルのデ ジタルデータで構成されているものとする。図 8は、本発明の第 1の実施の形態にお ける瞳孔検出装置 200の目画像 1フレーム分の動作を示すフローチャートである。
[0059] まず瞳孔検出装置 200は 1画素分の画像データを取り込む（S51)。取り込んだ画 像データが 1フレームの先頭のデータであれば（S52)、 Yカウンタ 264をリセットする とともに、瞳孔候補保持部 280の各レジスタ 282〜285をリセットする（S53)。取り込 んだデータが 1ラインの先頭のデータであれば（S54)、 Xカウンタ 262をリセットし、 Y カウンタ 264をインクリメントする（S55)。そして、 Xカウンタ 262をインクリメントする（S 56)。
[0060] つぎに、取り込んだ画像データを部分フレームメモリ 222に取り込む。すると目画像 上で n個の積分円 C〜Cに対応する画素のうち各々の積分円 C力 m個ずつ、 n X m個の画像データが引出される。そして各積分円 Cに対応する加算器 230はそれぞ れ画像データの積分値 Iiを算出し、輝度差算出器 24〇iは画像データの最大値と最 小値との差 Bを算出する。変化円検出部 250はそれぞれの積分値 Iの差分値 Δ Iを 計算する。ただしこのとき、差 Bが輝度差閾値 Bthよりも大きい場合には差分値 Δ Ιを 強制的に 0とする（S57)。
[0061] そして、コンパレータ 254が差分値 Δ Iと差分閾値 Δ Ithとを比較し (S58)、差分値
Δ Ιが差分閾値 A lthより大きい場合には、瞳孔候補保持部 280はこのときの Xカウン タ 262、 Yカウンタ 264および積分円の半径 Roを瞳孔候補として保持するとともにそ の差分値 Δ Iも評価銜 oとして保持する。このとき瞳孔候補保持部 280は評価値の 大きい順に瞳孔候補を並べ替え最大 k個の瞳孔候補を保持する（S 59)。つぎに、取 り込んだデータが 1フレームの末尾のデータであるか否かを判定し（S60)、末尾でな ければステップ S 51に戻る。
[0062] 入力される画像データが 1フレームの最後の画素にいたったときは、瞳孔選択部 29 0は、それぞれの瞳孔候補に対してその中心座標に隣接する画素位置に存在する 他の瞳孔候補の数を計算し、その値力もっとも大きい瞳孔候補の X座標、 Y座標およ び半径の値を真の瞳孔の X座標 Xo、Y座標 Yoおよび瞳孔半径 Roとして虹彩認証 処理部 140へ出力する（S61)。
[0063] 以上の、ステップ S 51からステップ S60までの一連の動作は、部分フレームメモリ 22 2に画像データを 1画素分入力する毎に実行される。たとえばフレーム周波数が 30H z、目画像力 40 Χ 480画素で構成されている場合、 1Z (30 X 640 X 480)禾少以下 の時間で上記の一連の動作が実行される。そして、部分フレームメモリ 222に 1画素 入力されると積分円は画像上で 1画素分移動するので、 1フレームの画像を入力する 間に積分円が画像上を 1回走査することになる。このようにして、比較的小規模な回 路を用いて、撮像部 120で撮像された画像データに対してリアルタイムで瞳孔検出 することができる。
[0064] なお、中心位置力も所定の距離以内の近傍に他の瞳孔候補の中心位置が存在す る瞳孔候補を複数の瞳孔候補の中から選択する方法は、上述の方法に限られるもの ではない。たとえば、複数の瞳孔候補に対して互いに距離の近いものを 1つのダル ープとしてグループ分けし、それぞれのグループに含まれる瞳孔候補の数の多!、も の、あるいは含まれる瞳孔候補の評価値の合計が高!、もの等を手がかりにして真の 瞳孔を選択する構成としてもよい。図 9はこのような考え方にもとづいて瞳孔候補の中 力 瞳孔を選択するためのフローチャートである。
[0065] まず、瞳孔選択部 290は瞳孔候補を 1つ取り込む。取り込んだ瞳孔候補の X座標、 Y座標、半径および評価値をそれぞれ Xi、 Yi、 Riおよび Jiとする（S71)。つぎに、 X 座標、 Y座標および半径のそれぞれについて、瞳孔候補の値 Xi、 Yiおよび Riとダル ープの平均値 Xgj、 Ygjおよび Rgj (jは 0または正の整数）との差が所定の閾値 Xth、 Ythおよび Rthより小さくなるグループが存在するか調べる。すなわち、 I Xi— Xgj I <Xth、 I Yi— Ygj I <Yth、 I Ri-Rgj I <Rthを満たすグループが存在するか 調べる（S72)。
[0066] 存在する場合には、ステップ S71で取り込んだ瞳孔候補をそのグループに追加す る（S73)。存在しない場合には、ステップ S71で取り込んだ瞳孔候補だけを含む新 たなグループを作成する（S74)。つぎに、ステップ S73で瞳孔候補を追加されたグ ループある 、はステップ S74で新たに作成されたグループに対して平均値 Xgj、 Ygj および Rgjの再計算を行う（S75)。
[0067] グループ分けの終えて 、な 、瞳孔候補が残って 、る場合はステップ S71に戻る（S 76)。すべての瞳孔候補のグループ分けを終えると、各々のグループに対して、その グループに含まれる各瞳孔候補の評価値の合計∑Jを求める（S77)。そして、評価 値の合計∑Jが最大のグループの X座標、 Y座標および半径の平均値 Xgj、 Ygjおよ び Rgjを瞳孔の X座標、 Y座標および半径として虹彩認証処理部 140へ出力する（S 78)。
[0068] 以上の方法によれば、原理的には瞳孔候補の順序によりグループ分けの結果が変 わる等の不安定さはあるが、誤検出される瞳孔候補は孤立しており、真の瞳孔を含 む瞳孔候補の集まりは密集しているため、たとえば Xth、 Ythの値を予想される瞳孔 半径の 1Z2程度に設定すれば事実上問題は発生しない。また、このフローによれば データ処理が比較的簡単であり高速動作に適している。
[0069] また、本実施の形態の変化円検出部 250のセレクタ 253は、差分値 Δ Ιの最大値と そのときの積分円 Cの半径 Rを選択する機能をもっている。しかしながら、瞳孔候補保 持部 280はもともと最大値を検出する機能をもっている。したがってセレクタ 253とし て、単純に時分割で減算器 252〜252 の出力と積分円の半径とを出力する構成 とすることち可會である。
[0070] なお、本実施の形態においては同心円状の積分円の数を 20、 1つの積分円から引 出す画像データの数を 8個としたが、これらの数は検出精度、処理時間、回路規模等 との兼ね合 、で決定することが望まし 、。
[0071] 本発明によれば、精度よくかつ高速に瞳孔位置の検出が可能な瞳孔検出装置およ び虹彩認証装置を提供することができる。
産業上の利用可能性
[0072] 本発明は、精度よくかつ高速に瞳孔位置検出可能な瞳孔検出装置を提供すること ができるので、個人認証等に用いられる虹彩認証装置等として有用である。

Claims

請求の範囲
[1] 目画像の中力も瞳孔の候補となりうる瞳孔候補の位置を検出する瞳孔候補検出部と 前記瞳孔候補検出部が検出した瞳孔候補の位置を複数保持する瞳孔候補保持部と 前記瞳孔候補保持部に保持された瞳孔候補のうち、瞳孔候補の中心位置力も所定 の距離以内の領域に他の瞳孔候補の中心位置が存在する瞳孔候補を瞳孔として選 択する瞳孔選択部と
を備えた瞳孔検出装置。
[2] 同心円状の複数の円をそれぞれ積分円として目画像上に設定し、前記積分円の円 周上に位置する目画像の画像データを抽出する画像データ抽出部と、
前記画像データ抽出部が抽出した画像データを積分円のそれぞれの円周に沿って 積分する周回積分部と、
前記複数の積分円の中から前記周回積分部の積分値が積分円の半径に対してステ ップ状に変化するような積分円を検出する変化円検出部と、
前記変化円検出部で検出した積分円の中心座標を瞳孔候補の座標位置として保持 する瞳孔候補保持部と、
前記瞳孔候補保持部で保持された瞳孔候補のうち、瞳孔候補の中心座標カゝら所定 の距離以内の領域に他の瞳孔候補の中心位置が存在する瞳孔候補を選択する瞳 孔選択部と
を備えた瞳孔検出装置。
[3] 前記変化円検出部は、前記周回積分部の積分値が積分円の半径に対してステップ 状に変化する変化の大きさを評価値として出力し、
前記瞳孔候補保持部は、入力データのうち最大の値をもつデータを検出する最大値 検出器を直列に複数接続して構成され、前記瞳孔候補保持部に前記評価値を入力 することにより、評価値の大きい順に瞳孔候補を保持する請求項 2に記載の瞳孔検 出装置。
[4] 前記最大値検出器は、 入力データを保持するレジスタと、前記レジスタに保持して ヽるデータと前記入力デ 一タとを比較するコンパレータと、前記レジスタに保持しているデータまたは前記入力 データのいずれかを選択して出力するセレクタとを備え、
前記レジスタは、前記コンパレータの出力にもとづき、保持しているデータよりも前記 入力データが大きい場合には前記入力データを保持し、
前記セレクタは、前記コンパレータの出力にもとづき、前記レジスタが保持しているデ ータよりも前記入力データが大き 、場合には前記レジスタが保持して 、るデータを選 択し、前記レジスタが保持して 、るデータよりも前記入力データが小さ 、場合には前 記入力データを選択する請求項 3に記載の瞳孔検出装置。
[5] 前記瞳孔選択部は、複数の瞳孔候補に対して互いに距離の近いものを 1つのダル ープとしてグループ分けを行!、、それぞれのグループの中力 瞳孔候補の数のもつ とも多 、グループ、または瞳孔候補の評価値の合計力 Sもっとも高 、グループを選択し 、その選択されたグループの中から瞳孔位置を決定する請求項 2に記載の瞳孔検出 装置。
[6] 請求項 1から請求項 5までの 、ずれかに記載の瞳孔検出装置を備えた虹彩認証装 置。
PCT/JP2005/009045 2004-07-14 2005-05-18 瞳孔検出装置および虹彩認証装置 WO2006006298A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/555,232 US20070036396A1 (en) 2004-07-14 2005-05-18 Pupil detection device and iris authentication apparatus
EP05741518A EP1767141A4 (en) 2004-07-14 2005-05-18 PUPIL MEASUREMENT DEVICE AND DEVICE FOR IRISIDENTIFICATION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004206932A JP3966309B2 (ja) 2004-07-14 2004-07-14 瞳孔検出装置および虹彩認証装置
JP2004-206932 2004-07-14

Publications (1)

Publication Number Publication Date
WO2006006298A1 true WO2006006298A1 (ja) 2006-01-19

Family

ID=35783655

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/009045 WO2006006298A1 (ja) 2004-07-14 2005-05-18 瞳孔検出装置および虹彩認証装置

Country Status (5)

Country Link
US (1) US20070036396A1 (ja)
EP (1) EP1767141A4 (ja)
JP (1) JP3966309B2 (ja)
CN (1) CN100403973C (ja)
WO (1) WO2006006298A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090157B2 (en) * 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
US9020854B2 (en) 2004-03-08 2015-04-28 Proxense, Llc Linked account system using personal digital key (PDK-LAS)
US8433919B2 (en) 2005-11-30 2013-04-30 Proxense, Llc Two-level authentication for secure transactions
US8036152B2 (en) 2006-01-06 2011-10-11 Proxense, Llc Integrated power management of a client device via system time slot assignment
US11206664B2 (en) 2006-01-06 2021-12-21 Proxense, Llc Wireless network synchronization of cells and client devices on a network
US8659427B2 (en) 2007-11-09 2014-02-25 Proxense, Llc Proximity-sensor supporting multiple application services
US8171528B1 (en) 2007-12-06 2012-05-01 Proxense, Llc Hybrid device having a personal digital key and receiver-decoder circuit and methods of use
WO2009079666A1 (en) 2007-12-19 2009-06-25 Proxense, Llc Security system and method for controlling access to computing resources
US8508336B2 (en) 2008-02-14 2013-08-13 Proxense, Llc Proximity-based healthcare management system with automatic access to private information
WO2009126732A2 (en) 2008-04-08 2009-10-15 Proxense, Llc Automated service-based order processing
JP5365214B2 (ja) * 2009-01-22 2013-12-11 日本電気株式会社 画像処理装置、生体認証装置、画像処理方法及びプログラム
US9418205B2 (en) 2010-03-15 2016-08-16 Proxense, Llc Proximity-based system for automatic application or data access and item tracking
US9322974B1 (en) 2010-07-15 2016-04-26 Proxense, Llc. Proximity-based system for object tracking
US9265450B1 (en) 2011-02-21 2016-02-23 Proxense, Llc Proximity-based system for object tracking and automatic application initialization
IL215883A0 (en) * 2011-10-24 2012-03-01 Iriss Medical Technologies Ltd System and method for indentifying eye conditions
JP2013215549A (ja) * 2012-03-16 2013-10-24 Fujitsu Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
US9405898B2 (en) 2013-05-10 2016-08-02 Proxense, Llc Secure element as a digital pocket
JP6751324B2 (ja) * 2016-09-14 2020-09-02 株式会社デンソーアイティーラボラトリ 虹彩検出装置、虹彩検出方法、およびプログラム
KR102369412B1 (ko) 2017-02-02 2022-03-03 삼성전자주식회사 홍채 인식 장치 및 방법
US11003936B2 (en) * 2019-06-14 2021-05-11 Tobii Ab Method and system for controlling an eye tracking system
WO2021171396A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法
WO2021171395A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法
CN112464829B (zh) * 2020-12-01 2024-04-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167252A (ja) * 1999-12-10 2001-06-22 Oki Electric Ind Co Ltd 眼画像作成方法、アイリス認証方法及びアイリス認証装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4641349A (en) * 1985-02-20 1987-02-03 Leonard Flom Iris recognition system
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US6419638B1 (en) * 1993-07-20 2002-07-16 Sam H. Hay Optical recognition methods for locating eyes
US6095989A (en) * 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
US5805745A (en) * 1995-06-26 1998-09-08 Lucent Technologies Inc. Method for locating a subject's lips in a facial image
US6144754A (en) * 1997-03-28 2000-11-07 Oki Electric Industry Co., Ltd. Method and apparatus for identifying individuals
CN1144152C (zh) * 1999-07-22 2004-03-31 中国科学院自动化研究所 基于虹膜识别的身份鉴定方法
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US7277561B2 (en) * 2000-10-07 2007-10-02 Qritek Co., Ltd. Iris identification
JP2004021406A (ja) * 2002-06-13 2004-01-22 Matsushita Electric Ind Co Ltd 目位置特定方法及び認証装置
JP2004240583A (ja) * 2003-02-04 2004-08-26 Brother Ind Ltd 画像処理装置およびそれを備えた画像読み取り装置
US7599524B2 (en) * 2003-04-04 2009-10-06 Sarnoff Corporation Method and apparatus for providing a robust object finder
US20050031173A1 (en) * 2003-06-20 2005-02-10 Kyungtae Hwang Systems and methods for detecting skin, eye region, and pupils
US7756301B2 (en) * 2005-01-26 2010-07-13 Honeywell International Inc. Iris recognition system and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167252A (ja) * 1999-12-10 2001-06-22 Oki Electric Ind Co Ltd 眼画像作成方法、アイリス認証方法及びアイリス認証装置

Also Published As

Publication number Publication date
US20070036396A1 (en) 2007-02-15
JP3966309B2 (ja) 2007-08-29
EP1767141A4 (en) 2009-08-05
JP2006025969A (ja) 2006-02-02
CN100403973C (zh) 2008-07-23
CN1805702A (zh) 2006-07-19
EP1767141A1 (en) 2007-03-28

Similar Documents

Publication Publication Date Title
WO2006006298A1 (ja) 瞳孔検出装置および虹彩認証装置
WO2006013668A1 (ja) 瞳孔検出装置および虹彩認証装置
US7347547B2 (en) Pupil detection device and iris authentication apparatus
WO2006013669A1 (ja) 瞳孔検出装置および虹彩認証装置
JP6778247B2 (ja) 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および／またはサブ顔領域との融合
CN111507994B (zh) 一种人像提取方法、人像提取装置及移动终端
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
US8401247B2 (en) Image processing apparatus, biometric authentication apparatus, image processing method and recording medium
KR102393298B1 (ko) 홍채 인식 방법 및 장치
JP5995217B2 (ja) 瞳孔部分を近似する楕円の検出を行う方法
US20060262965A1 (en) Pupil detection device and iris authentication apparatus
CN108932498A (zh) 办公场所指纹识别鉴权机构
CN111444817A (zh) 一种人物图像识别方法、装置、电子设备和存储介质
JP2008021121A (ja) 瞳孔検出装置および虹彩認証装置ならびに瞳孔検出方法
KR20180072517A (ko) 홍채와 공막의 경계선 검출 방법
KR19980020738A (ko) 얼굴 구성요소 추출시스템 및 그 추출방법
JP2006260351A (ja) 眼鏡反射検出機能つき瞳孔検出装置および虹彩認証装置
Mazur Fast algorithm for iris detection
Karasek et al. Genetic programming based classifier in viola-jones rapidminer image mining extension
Mohammadi et al. Comparative Study of Skeletonization and Radial Distance Methods for Automated Finger Enumeration

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200580000545.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2007036396

Country of ref document: US

Ref document number: 10555232

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2005741518

Country of ref document: EP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWP Wipo information: published in national office

Ref document number: 10555232

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2005741518

Country of ref document: EP