JP6503856B2 - Iris pattern comparison device and program - Google Patents
Iris pattern comparison device and program Download PDFInfo
- Publication number
- JP6503856B2 JP6503856B2 JP2015080841A JP2015080841A JP6503856B2 JP 6503856 B2 JP6503856 B2 JP 6503856B2 JP 2015080841 A JP2015080841 A JP 2015080841A JP 2015080841 A JP2015080841 A JP 2015080841A JP 6503856 B2 JP6503856 B2 JP 6503856B2
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- image
- point
- cornea
- iris pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、虹彩パタン比較装置及びプログラムに係り、特に、眼画像から虹彩パタンを切り出して基準虹彩パタンと比較する虹彩パタン比較装置及びプログラムに関する。 The present invention relates to an iris pattern comparison apparatus and program, and more particularly to an iris pattern comparison apparatus and program for extracting an iris pattern from an eye image and comparing it with a reference iris pattern.
従来より、計測対象者の眼球を撮影して眼球画像を取得する眼球撮影手段と、角膜における屈折を考慮して前記眼球画像を補正する眼球画像補正手段と、前記眼球画像から虹彩パターンを取得する虹彩パターン取得手段と、基準となる前記虹彩パターンである基準虹彩パターンと、計測対象の前記虹彩パターンである計測虹彩パターンとを比較し、前記基準虹彩パターンに対する前記計測虹彩パターンの相対的な回旋角度を計測する回旋角度計測手段を備えることを特徴とする眼球運動計測装置が知られている（特許文献１）。 Conventionally, an eyeball photographing means for photographing an eyeball of a measurement target person to acquire an eyeball image, an eyeball image correction means for correcting the eyeball image in consideration of refraction in the cornea, and an iris pattern from the eyeball image The rotation angle of the measurement iris pattern relative to the reference iris pattern is compared with the iris pattern acquisition means, the reference iris pattern as the reference iris pattern, and the measurement iris pattern as the iris pattern to be measured An eye movement measurement apparatus is known which is characterized by comprising a rotation angle measurement means for measuring.
上記特許文献１に記載の技術では、角膜における屈折補正を瞳孔中心算出時にのみ行い、虹彩パタンを切り出すときには行っておらず、瞳孔楕円を中心に単純に同心楕円形状に切り出している。このため、瞳孔パタンが歪んで切り出されてしまう、という問題がある。 In the technique described in Patent Document 1 above, refraction correction in the cornea is performed only at pupil center calculation, and not performed at the time of cutting out the iris pattern, and it is cut out in a concentric elliptical shape centering on the pupil ellipse. Therefore, there is a problem that the pupil pattern is distorted and cut out.
また、上記特許文献１に記載の技術では、基準となる眼球画像の瞳孔全周パタンと、比較する眼球画像の瞳孔全周パタンを用いて位相限定相関法によるマッチングを行っていたため、部分的に欠損があったり全体として画像が不明瞭であったりすると相関が悪くなる、という問題がある。 Further, in the technique described in Patent Document 1 described above, matching is performed by the phase-only correlation method using the full pupil pattern of the eyeball image as a reference and the full pupil pattern of the eyeball image to be compared. There is a problem that the correlation becomes worse if there is a defect or the image is unclear as a whole.
本発明は、上記の問題点を解決するためになされたもので、眼球姿勢角を考慮して、虹彩パタンを比較することができる虹彩パタン比較装置及びプログラムを提供することを第１の目的とする。 The present invention has been made to solve the above problems, and has as its first object to provide an iris pattern comparison device and program capable of comparing iris patterns in consideration of eye posture angles. Do.
また、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる虹彩パタン比較装置及びプログラムを提供することを第２の目的とする。 It is a second object of the present invention to provide an iris pattern comparison device and program capable of comparing iris patterns even if partial defects exist or the whole image is unclear.
上記の第１の目的を達成するために第１の発明に係る虹彩パタン比較装置は、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段と、基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する補正手段と、前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段と、を含んで構成されている。 In order to achieve the first object described above, an iris pattern comparison apparatus according to a first aspect of the present invention is an eyeball image representing an eyeball from a face image representing the face imaged by an imaging means for imaging a face of a person to be observed , Each point on the cornea at the current eye pose angle, which is obtained based on the current eye pose angle and the refractive shift amount of each point on the cornea at the reference eye pose angle Correction means for correcting the coordinates of each point on the cornea in the eyeball image acquired by the image acquisition means based on the refractive shift amount of the image, and each point on the cornea in the eyeball image corrected by the correction means And a pattern cutout unit configured to cut out a comparison iris pattern to be compared with a reference iris pattern determined in advance from the eyeball image acquired by the image acquisition unit based on the coordinates of .
また、第２の発明に係るプログラムは、コンピュータを、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段、基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する補正手段、及び前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段として機能させるためのプログラムである。 A program according to a second aspect of the present invention is an image acquisition means for acquiring an eyeball image representing an eyeball from a face image representing the face imaged by the imaging means for imaging a face of the subject. The image is obtained based on the amount of refraction deviation of each point on the cornea at the current eye posture angle obtained based on the amount of refraction deviation of each point on the cornea at the eye posture angle and the current eye posture angle A correction unit that corrects the coordinates of each point on the cornea in the eyeball image acquired by the acquisition unit; and the image acquisition unit based on the coordinates of each point on the cornea in the eyeball image corrected by the correction unit It is a program for functioning as a pattern cutting out means for cutting out a comparison iris pattern for comparing with the reference iris pattern obtained in advance from the eyeball image obtained by the above.
第１の発明及び第２の発明によれば、画像取得手段によって、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する。補正手段によって、基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する。 According to the first invention and the second invention, the image acquisition means acquires an eyeball image representing an eyeball from the face image representing the face imaged by the imaging means for imaging the face of the subject. Correction amount of refraction deviation of each point on the cornea at the present eye posture angle determined based on the refraction deviation amount of each point on the cornea at the standard eye posture angle and the present eye posture angle The coordinates of each point on the cornea in the eyeball image acquired by the image acquisition means are corrected based on the above.
そして、パタン切出し手段によって、前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出す。 Then, based on the coordinates of each point on the cornea in the eyeball image corrected by the correction means by the pattern cutout means, a reference iris pattern previously obtained from the eyeball image acquired by the image acquisition means Cut out a comparison iris pattern for comparison.
このように、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、眼球画像における角膜上の各点の座標を補正して、眼球画像から比較虹彩パタンを切り出すことにより、眼球姿勢角を考慮して、虹彩パタンを比較することができる。 In this manner, the coordinates of each point on the cornea in the eyeball image are corrected based on the amount of refraction shift of each point on the cornea at the current eye pose angle, and the comparison iris pattern is cut out from the eyeball image. The iris patterns can be compared in consideration of the eye pose angle.
上記の第２の目的を達成するために第３の発明に係る虹彩パタン比較装置は、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段と、前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する範囲決定手段と、前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段と、を含んで構成されている。 In order to achieve the above second object, an iris pattern comparison device according to a third aspect of the present invention is an eyeball image representing an eyeball from a face image representing the face imaged by the imaging means for imaging the face of the person to be observed Image acquisition means for acquiring the image, and dispersion of the lightness distribution in the pupil circumferential direction or pupil diameter direction in the eyeball image acquired by A reference iris determined in advance from the eyeball image acquired by the image acquisition unit based on the range determination unit which determines the range and the range in the pupil circumferential direction or pupil diameter direction determined by the range determination unit And a pattern cutout unit configured to cut out a comparison iris pattern to be compared with the pattern.
第４の発明に係るプログラムは、コンピュータを、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段、前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する範囲決定手段、及び前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段として機能させるためのプログラムである。 A program according to a fourth aspect of the present invention is an image acquisition means for acquiring an eyeball image representing an eyeball from a face image representing the face imaged by the imaging means for imaging a face of a person with a computer Range determination means for determining the range in the pupil circumferential direction or pupil diameter direction so that the variance of the lightness distribution in the pupil circumferential direction or pupil diameter direction in the eyeball image acquired by Based on the range of the pupil circumferential direction or pupil diameter direction determined by the means, a comparison iris pattern to be compared with a reference iris pattern obtained in advance is cut out from the eyeball image obtained by the image obtaining means It is a program for functioning as pattern extraction means.
第３の発明及び第４の発明によれば、画像取得手段によって、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する。範囲決定手段によって、前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する。 According to the third and fourth inventions, the image acquiring means acquires an eyeball image representing an eyeball from the face image representing the face imaged by the imaging means for imaging the face of the person to be observed. The range determination means determines the range in the pupil circumferential direction or the pupil diameter direction so that the dispersion of the lightness distribution in the pupil circumferential direction or the pupil diameter direction in the eyeball image acquired by the image acquisition means becomes equal to or less than a fixed value. Do.
そして、パタン切出し手段によって、前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出す。 Then, a reference iris pattern obtained in advance from the eyeball image acquired by the image acquisition unit, based on the range in the pupil circumferential direction or the pupil diameter direction determined by the range determination unit, by the pattern cutout unit Cut out a comparison iris pattern for comparison.
このように、眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定し、眼球画像から比較虹彩パタンを切り出すことにより、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる。 As described above, the pupil circumferential direction or the pupil diameter direction is determined so that the variance of the lightness distribution in the pupil circumferential direction or the pupil diameter direction in the eyeball image becomes equal to or less than a predetermined value, and the comparison iris pattern is cut out from the eyeball image In this way, the iris patterns can be compared even if there is a partial defect or the whole image is unclear.
以上説明したように、本発明の虹彩パタン比較装置及びプログラムによれば、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、眼球画像における角膜上の各点の座標を補正して、眼球画像から比較虹彩パタンを切り出すことにより、眼球姿勢角を考慮して、虹彩パタンを比較することができる、という効果が得られる。 As described above, according to the iris pattern comparison apparatus and program of the present invention, the coordinates of each point on the cornea in the eyeball image are calculated based on the amount of refraction shift of each point on the cornea at the current eyeball posture angle. By correcting and cutting out the comparison iris pattern from the eyeball image, it is possible to obtain an effect that iris patterns can be compared in consideration of the eyeball posture angle.
また、本発明の虹彩パタン比較装置及びプログラムによれば、眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定し、眼球画像から比較虹彩パタンを切り出すことにより、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる、という効果が得られる。 Further, according to the iris pattern comparison apparatus and program of the present invention, the range of the pupil circumferential direction or the pupil diameter direction is set so that the dispersion of the lightness distribution in the pupil circumference direction or pupil diameter direction in the eyeball image becomes a predetermined value or less. By determining and cutting out the comparison iris pattern from the eyeball image, it is possible to compare the iris patterns even if there is a partial defect or the whole image is unclear.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、撮像された顔画像から、眼球回旋角度を推定する眼球回旋角度推定装置に本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to an eyeball rotation angle estimation apparatus that estimates an eyeball rotation angle from a captured face image will be described as an example.
図１に示すように、第１の実施の形態に係る眼球回旋角度推定装置１０は、対象とする被観察者の顔を含む画像を撮像するＣＣＤカメラ等からなる画像撮像部１２と、画像処理を行うコンピュータ１４と、ＣＲＴ等で構成された出力部１６とを備えている。 As shown in FIG. 1, the eyeball rotation angle estimation apparatus 10 according to the first embodiment includes an image pickup unit 12 including a CCD camera or the like that picks up an image including a face of an object person to be observed; And an output unit 16 configured of a CRT or the like.
コンピュータ１４は、ＣＰＵ、後述するずれマップ計算処理ルーチン及び眼球回旋角度推定処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１４は、画像撮像部１２から出力される顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像から、眼球を表す眼球画像を取得する眼球画像取得部２２と、眼球画像から、瞳孔楕円を推定すると共に、眼球姿勢角を推定する瞳孔楕円姿勢角推定部２６と、眼球姿勢角の各々に対するずれマップを計算するずれマップ計算部２８と、眼球姿勢角の各々に対するずれマップを記憶するずれマップ記憶部３０と、基準となる眼球画像の眼球姿勢角に対するずれマップを選択するずれマップ選択部３２と、ずれマップを用いて、基準となる眼球画像の角膜上の各座標を補正するずれ補正部３４と、補正された角膜上の各座標に基づいて、基準となる眼球画像から基準虹彩パタンを切り出すパタン切出し部３６と、切り出された基準虹彩パタンを記憶するパタン記憶部３８と、推定対象となる眼球画像の眼球姿勢角に対するずれマップを選択するずれマップ選択部４０と、ずれマップを用いて、推定対象となる眼球画像の角膜上の各座標を補正するずれ補正部４２と、補正された角膜上の各座標に基づいて、推定対象となる眼球画像から比較虹彩パタンを切り出すパタン切出し部４４と、切り出された比較虹彩パタン及びパタン記憶部３８に記憶された基準虹彩パタンに対してパタンマッチングを行って、眼球回旋角度を算出する回旋角度算出部４８とを備えている。 The computer 14 is configured to include a CPU, a ROM storing programs of a displacement map calculation processing routine and an eyeball rotation angle estimation processing routine described later, a RAM storing data and the like, and a bus connecting these. Describing this computer 14 by functional blocks divided into function realizing means determined based on hardware and software, as shown in FIG. 1, the computer 14 inputs a face image output from the image pickup unit 12 The eyeball image acquisition unit 22 for acquiring an eyeball image representing an eyeball from the image input unit 20 and the face image output from the image input unit 20, and the pupil ellipse from the eyeball image and the eyeball posture angle Pupil elliptical attitude angle estimation unit 26, an offset map calculation unit 28 for calculating an offset map for each eyeball attitude angle, an offset map storage unit 30 for storing an offset map for each eyeball attitude angle, and an eyeball as a reference Each coordinate on the cornea of the eyeball image as a reference is selected using the deviation map selection unit 32 for selecting the deviation map for the eyeball posture angle of the image and the deviation map A correction part 34 for correcting the deviation, a pattern cutout part 36 for cutting out a reference iris pattern from the eyeball image serving as a reference based on each corrected coordinate on the cornea, and a pattern storage part 38 for storing the reference iris pattern cut out. And a shift map selection unit that selects a shift map of the eyeball image to be estimated with respect to the eyeball posture angle, and a shift correction unit that corrects each coordinate on the cornea of the eyeball image to be estimated using the shift map. And, based on each corrected coordinate on the cornea, the pattern cutting out unit 44 which cuts out the comparison iris pattern from the eyeball image to be estimated, and the reference iris pattern stored in the cut out comparison iris pattern and pattern storage unit 38 And a rotation angle calculation unit 48 that calculates the eyeball rotation angle by performing pattern matching with respect to.
画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。 The image input unit 20 includes, for example, an A / D converter, an image memory for storing image data of one screen, and the like.
眼球画像取得部２２は、画像入力部２０の出力である顔画像から、従来既知の画像認識手法を用いて、眼球を表す眼球画像を取得する。眼球画像取得部２２は、対象とする被観察者の基準の顔画像から、眼球画像を取得する。ここで、基準の顔画像とは、眼球回旋角度が基準角度であるときの顔画像である。また、眼球画像取得部２２は、対象とする被観察者の推定対象の顔画像から、眼球画像を取得する。 The eyeball image acquisition unit 22 acquires an eyeball image representing an eyeball from the face image output from the image input unit 20 using a conventionally known image recognition method. The eyeball image acquisition unit 22 acquires an eyeball image from the reference face image of the subject to be an object. Here, the reference face image is a face image when the eyeball rotation angle is a reference angle. In addition, the eyeball image acquisition unit 22 acquires an eyeball image from the face image of the estimation target of the subject to be an object.
瞳孔楕円姿勢角推定部２６は、眼球画像取得部２２によって取得された眼球画像に基づいて、従来既知の画像認識手法を用いて、眼球画像上の瞳孔楕円を推定する。また、瞳孔楕円姿勢角推定部２６は、眼球画像取得部２２によって取得された眼球画像に基づいて、眼球の３次元の姿勢角として、眼球座標系（図２参照）でのＹ軸周りの回転角度θY、Ｚ軸周りの回転角度θZを推定する。なお、眼球姿勢角の推定方法は、従来既知の手法を用いればよいため、説明を省略する。 The pupil ellipse posture angle estimation unit 26 estimates a pupil ellipse on the eyeball image based on the eyeball image acquired by the eyeball image acquisition unit 22 using a conventionally known image recognition method. In addition, the pupil ellipse posture angle estimation unit 26 rotates around the Y axis in the eye coordinate system (see FIG. 2) as the three-dimensional posture angle of the eyeball based on the eyeball image acquired by the eyeball image acquisition unit 22. The angle θ Y and the rotation angle θ Z around the Z axis are estimated. In addition, since the estimation method of an eyeball attitude | position angle should just use the conventionally known method, description is abbreviate | omitted.
ずれマップ計算部２８は、事前に、予め定められた眼球特性値に基づいて、以下に説明するように、眼球姿勢角の各々に対するずれマップを計算する。 The deviation map calculation unit 28 calculates deviation maps for each of the eye pose angles, as described below, based on the eye characteristic values determined in advance.
まず、計算には図２に示す眼球モデルを使用する。本実施の形態では、計算上、以下の（１）〜（３）の仮定を用いる。 First, an eyeball model shown in FIG. 2 is used for the calculation. In the present embodiment, the following assumptions (1) to (3) are used in calculation.
（１）眼球回転中心は眼球曲率中心に等しい。
（２）虹彩は平面であり、虹彩面中心に瞳孔中心が位置する。
（３）眼球を撮影するカメラ光軸方向を[-1 0 0]Tとする。
(1) The eyeball rotation center is equal to the eyeball curvature center.
(2) The iris is a plane, and the pupil center is located at the iris plane center.
(3) The camera optical axis direction for photographing the eyeball is [−1 0 0] T.
また、眼球半径をl、角膜曲率半径をr、カメラから見た鉛直方向の黒目(角膜)の半径をa、空気と房水の屈折率の比をεとし、本実施の形態で用いた具体的な値を、図３に示す。また、眼球回転中心をOe、角膜曲率中心をOc、瞳孔中心をOpとする。OcOeの距離oは以下の式で表わされる。 In addition, the eyeball radius is 1, the radius of curvature of the cornea is r, the radius of a black eye (cornea) in the vertical direction viewed from the camera is a, and the ratio of the refractive index of air to aqueous humor is ε. Typical values are shown in FIG. Further, it is assumed that the eye rotation center is O e , the corneal curvature center is O c , and the pupil center is O p . The distance o of O c O e is expressed by the following equation.
ここで、眼球正面位でカメラ方向から見て瞳孔中心から径方向に等間隔で並ぶ角膜表面の点Pi(i=1,2,…,n)を考える。点Piは極座標を有し、中心からi番目、周方向にψの位置の点Piの位置ベクトルは、Oeを原点として次式で表される。 Here, let us consider points P i (i = 1, 2,..., N) on the corneal surface arranged at equal intervals in the radial direction from the pupil center as viewed from the camera direction at the front of the eyeball. The point P i has polar coordinates, and the position vector of the point P i at the position of the i-th from the center in the circumferential direction is represented by the following equation with O e as the origin.
この点Piにおける角膜曲面の法線ベクトルをniとすると、カメラ方向から入射する光は角膜での屈折を受けて3次元の屈折を表わす以下の（３）式を満たす方向ベクトルIの光となる（図４参照）。 Assuming that the normal vector of the corneal surface at this point P i is n i , the light incident from the camera direction is refracted by the cornea and the light of the direction vector I satisfying the following equation (3) representing three-dimensional refraction (See FIG. 4).
また、方向ベクトルI はniと入射光ベクトルが張る面内のベクトルなので次式を満たす。 Also, the direction vector I Since in the plane where n i and the incident light vector span, the following equation is satisfied.
Piから虹彩面へ下ろした垂線と虹彩面の交点Qiと，ベクトルI を延長し虹彩面と交わる点P’との距離は、Pi Qの距離diを用いて次式で表される。 Intersection point Q i of the normal and iris plane dropped from P i to the iris plane, vector I Distance of the extension and the point P 'intersects the iris surface is expressed by the following equation using the distance d i of P i Q.
Di0はすなわち、眼球正面位のときの点Piにおける角膜屈折によるずれベクトルである。カメラで撮影した角膜画像には、等間隔に並ぶ点P群で構成される画素に、それぞれDi0(i=1,2,…,n)だけずれたパタンが映っていることになる。この点P群の各点Pに対応するずれベクトルDをマップとして保存しておく。径方向に10分割したときの点PとずれベクトルDを図５（Ａ）、（Ｂ）に示す。図５（Ａ）はカメラ光軸視の場合を表し、図５（Ｂ）は、俯瞰視の場合を表す。なお、ずれベクトルが、屈折ずれ量の一例である。 That is, D i0 is a displacement vector due to corneal refraction at the point P i when in the front of the eye. In the cornea image taken by the camera, patterns which are shifted by D i0 (i = 1, 2,..., N) appear in the pixels constituted by the point P group arranged at equal intervals. A shift vector D corresponding to each point P of the point P group is stored as a map. Points P and deviation vectors D when divided into 10 in the radial direction are shown in FIGS. 5A and 5B. FIG. 5A shows the case of camera optical axis viewing, and FIG. 5B shows the case of glancing vision. Note that the displacement vector is an example of the refraction displacement amount.
このように、眼球が正面を向いている場合、すわなち眼球姿勢角［θY、θZ］＝［０，０］において、眼球角膜上の点Piに入射した光が、房水による屈折を受けない場合に虹彩面に交差する点P’と、房水で屈折した場合に虹彩面に交差する点Qiとの２点間ベクトルP’Qi（ずれベクトル）を角膜全面に渡って算出したマップを用意し、これを以下の式で表わす。 Thus, when the eyeball is facing forward, the light incident on the point P i on the cornea of the eyeball at the eyeball posture angle [θ Y , θ Z ] = [0, 0] is caused by the aqueous humor and P 'the point of intersection in the iris surface if not refracted, across two points vector between Q i point of intersection in the iris surface when refracted by the aqueous humor P'Q i (the displacement vector) into the cornea over the entire surface The calculated map is prepared, and this is expressed by the following equation.
Ｄ（０，０）＝［P P’Qi］（P∋Pi，P’Q∋P’Qi） D (0,0) = [P P'Q i] (P∋P i, P'Q∋P'Q i)
次に、眼球が斜め向きの場合を考える。Y軸周りにθY、Z軸周りにθZ回転しているとすると、回転行列Ｒは(6)式で表され、回転後の点Pi 、法線ベクトルniを、Pθi 、nθiとすると(7)式で表される。 Next, consider the case where the eyeballs are oriented obliquely. Around the Y-axis theta Y, when the rotating theta Z around the Z axis, rotation matrix R is expressed by equation (6), the point after the rotation P i, the normal vector n i, P θi, n If it is set as ( theta ) i, it will be represented by (7) Formula.
(7)式を(3)式から(5)式に用いて屈折光ベクトルI、ずれベクトルDを求める。眼球姿勢角がθY=10度、θZ =30度のときの点PとずれベクトルDの関係を図６（Ａ）、（Ｂ）に示す。ここでも点P群に対するずれマップDを保存しておく． The refracted light vector I and the deviation vector D are obtained using the equation (7) from the equation (3) to the equation (5). The relationship between the point P and the deviation vector D when the eye posture angle is θ Y = 10 degrees and θ Z = 30 degrees is shown in FIGS. 6 (A) and 6 (B). Here too, the deviation map D for the point P group is stored.
このように、眼球姿勢角［θY、θZ］＝［０，０］から、眼球姿勢角の範囲、［θY、θZ］＝［０，π／２］、［θY、θZ］＝［π／２，０］、［θY、θZ］＝［π／２，π／２］までの間の任意の姿勢角について求めたマップによる集合Ｄ∋Ｄ（θY、θZ）を、ずれマップ記憶部３０に予め格納しておく。 Thus, from the eyeball attitude angle [θ Y , θ Z ] = [0, 0], the range of the eye ball attitude angle, [θ Y , θ Z ] = [0, π / 2], [θ Y , θ Z A set D ∋ D (θ Y , θ Z) by a map determined for an arbitrary attitude angle between [] / 2, 0] and [θ Y , θ Z ] = [π / 2, π / 2] Is stored in advance in the displacement map storage unit 30.
ずれマップ選択部３２は、基準の顔画像の眼球画像について瞳孔楕円姿勢角推定部２６によって推定された眼球姿勢角θY、θZに対応するずれマップＤ（θY、θZ）を、ずれマップ記憶部３０から取得する。 The shift map selection unit 32 shifts the shift map D (θ Y , θ Z ) corresponding to the eye posture angles θ Y and θ Z estimated by the pupil elliptical posture angle estimation unit 26 with respect to the eye image of the reference face image. Acquired from the map storage unit 30.
ずれ補正部３４は、ずれマップ選択部３２によって取得されたずれマップＤ（θY、θZ）を用いて、以下に説明するように、基準の顔画像の眼球画像における角膜上の各座標を補正する。 The shift correction unit 34 uses the shift map D (θ Y , θ Z ) acquired by the shift map selection unit 32 to set each coordinate on the cornea in the eyeball image of the reference face image as described below. to correct.
まず、基準の顔画像の眼球画像において、瞳孔中心から径方向に引いた、放射状の各線上において、瞳孔楕円上にあるものを点Pj、角膜端上にあるものを点Pnとする。Pj Pn間をそれぞれm等分割し各分割点Pmにおけるずれベクトルを、ずれマップ選択部３２で取得したずれマップＤ（θY、θZ）から求める。具体的には、ずれマップの各点ＰのずれベクトルDθを補間して、各分割点PmにおけるずれベクトルDθmを計算する。そして、ずれベクトルDθmのY,Z成分をピクセル値に変換した量を分割点Pmの画像上の座標から減算し、屈折によるずれベクトルを補正した座標が得られる。なお、分割点が、観察点の一例である。 First, in the eyeball image of the reference face image, on each radial line drawn radially from the pupil center, one on the pupil ellipse is set as a point P j and one on the corneal end is set as a point P n . The distance between P j and P n is divided equally into m, and the displacement vector at each division point P m is obtained from the displacement map D (θ Y , θ Z ) acquired by the displacement map selection unit 32. Specifically, the deviation vector D θm of each division point P m is calculated by interpolating the deviation vector D θ of each point P of the deviation map. Then, the amount obtained by converting the Y and Z components of the displacement vector D θm into pixel values is subtracted from the coordinates on the image of the division point P m to obtain coordinates in which the displacement vector due to refraction is corrected. The division point is an example of the observation point.
パタン切出し部３６は、ずれ補正部３４によって補正された各分割点Pmの補正座標を、極座標に変換し、各分割点Pm間の距離に比例したグリッドで規定される、基準虹彩パタンの切出し範囲を決定する。パタン切出し部３６は、基準の顔画像の眼球画像の、決定した切出し範囲から、基準虹彩パタンを切り出し、パタン記憶部３８に格納する。これによって、屈折による歪みを補正した基準虹彩パタンが得られる。 The pattern cutout unit 36 converts the correction coordinates of each division point P m corrected by the deviation correction unit 34 into polar coordinates, and is defined by a grid in proportion to the distance between the division points P m . Determine the cutting range. The pattern cutout unit 36 cuts out the reference iris pattern from the determined cutout range of the eyeball image of the reference face image, and stores the reference iris pattern in the pattern storage unit 38. As a result, a reference iris pattern in which distortion due to refraction is corrected is obtained.
ずれマップ選択部４０は、推定対象の顔画像の眼球画像について瞳孔楕円姿勢角推定部２６によって推定された眼球姿勢角θY、θZに対応するずれマップＤ（θY、θZ）を、ずれマップ記憶部３０から取得する。 The displacement map selection unit 40 generates a displacement map D (θ Y , θ Z ) corresponding to the eye posture angles θ Y and θ Z estimated by the pupil elliptic posture angle estimation unit 26 with respect to the eyeball image of the face image to be estimated. Acquired from the displacement map storage unit 30.
ずれ補正部４２は、ずれマップ選択部３２によって取得されたずれマップＤ（θY、θZ）を用いて、以下に説明するように、推定対象の顔画像の眼球画像における角膜上の各座標を補正する。 The shift correction unit 42 uses the shift map D (θ Y , θ Z ) acquired by the shift map selection unit 32 and sets each coordinate on the cornea in the eyeball image of the face image to be estimated, as described below. Correct the
まず、推定対象の顔画像の眼球画像において、瞳孔中心から径方向に引いた、放射状の各線上において、瞳孔楕円上にあるものを点Pθｋ、角膜端上にあるものを点Pθｎとする。特許文献（特開２００８−４５５号公報）より、基準の顔画像におけるPj Pn間の虹彩パタンと、Pθｋ Pθｎ間の虹彩パタンは線形に伸縮している筈であるので、Pθｋ Pθｎ間をそれぞれm等分割し各分割点Pmにおけるずれベクトルを、ずれマップ選択部４０で取得したずれマップＤ（θY、θZ）から求める。具体的には、ずれマップの各点ＰのずれベクトルDを補間して、各分割点PmにおけるずれベクトルDθmを計算する。そして、ずれベクトルDθmのY,Z成分をピクセル値に変換した量を分割点Pmの画像上の座標から減算すると（図７参照）、屈折によるずれを補正した座標が得られる（図８参照）。 First, in the eyeball image of the face image to be estimated, on radial lines drawn radially from the pupil center, those on the pupil ellipse are taken as the point P θk and those on the corneal edge are taken as the point P θn . From patent document (JP-2008-455), and the iris pattern between P j P n in the reference face image, the iris pattern between P .theta.k P .theta.n ought that stretch linearly, P .theta.k The interval between P θ n is divided equally into m, and the displacement vector at each division point P m is obtained from the displacement map D (θ Y , θ Z ) acquired by the displacement map selection unit 40. Specifically, the deviation vector D of each point P of the deviation map is interpolated to calculate the deviation vector D θm at each division point P m . Then, if the amount obtained by converting the Y and Z components of the displacement vector D θm into pixel values is subtracted from the coordinates on the image of the division point P m (see FIG. 7), coordinates in which the displacement due to refraction is corrected are obtained (FIG. 8) reference).
パタン切出し部４４は、ずれ補正部４２によって補正された各分割点Pmの補正座標を、極座標に変換し、各分割点Pm間の距離に比例したグリッドで規定される、比較虹彩パタンの切出し範囲を決定する。図９に、切り出し範囲の一例を示す。図１０に示す従来手法による瞳孔パタン切り出し範囲と比較すると、屈折歪みを考慮した切り出し範囲となっていることが分かる。パタン切出し部４４は、推定対象の顔画像の眼球画像の、決定した切出し範囲から、比較虹彩パタンを切り出す。 The pattern cutout unit 44 converts the correction coordinates of each division point P m corrected by the deviation correction unit 42 into polar coordinates, and is defined by a grid in proportion to the distance between the division points P m . Determine the cutting range. FIG. 9 shows an example of the cutout range. As compared with the pupil pattern cutout range by the conventional method shown in FIG. The pattern cutting out unit 44 cuts out the comparison iris pattern from the determined cutting out range of the eyeball image of the face image of the estimation target.
ここで、眼球姿勢角は時々刻々変わるのでその度に角膜上の点Ｐ群のずれマップＤ（θY、θZ）を求めることは計算コストがかかりすぎる。そこで、本実施の形態では、上述したように、眼球姿勢角(例:Y,Z各軸周りに１度刻み等)に対応したマップＤ（θY、θZ）(例：[θY,θZ]=[0,1],[0,2],,[1,1],[2,1],,[90,90])を事前に用意しておき、眼球姿勢角が最も近いマップから目的の位置の近似的なずれを読み取ることで高速化することができる。 Here, since the eyeball posture angle changes every moment, it is too computationally expensive to obtain the shift map D (θ Y , θ Z ) of the point P group on the cornea each time. Therefore, in the present embodiment, as described above, the map D (θ Y , θ Z ) corresponding to the eyeball posture angle (eg, one step around Y and Z axes, etc.) (eg, [θ Y , θ Z ] = [0, 1], [0, 2], [1, 1], [2, 1], [90, 90]) are prepared in advance, and the eye posture angle is closest The speed can be increased by reading the approximate deviation of the target position from the map.
回旋角度算出部４８は、回旋角度を所定角度（例えば０．５度）ずつずらして、基準虹彩パタンと、回旋角度に応じてずらした比較虹彩パタンとのパタンマッチングを行って、差分画素数を求め、差分画素数が最も小さい回旋角度を、基準虹彩パタンに対する比較虹彩パタンの相対的な回旋角度として算出し、眼球の回旋角度とする。 The rotation angle calculation unit 48 shifts the rotation angle by a predetermined angle (for example, 0.5 degrees), performs pattern matching between the reference iris pattern and the comparison iris pattern shifted according to the rotation angle, and obtains the difference pixel number. The rotation angle at which the difference pixel number is the smallest is calculated as the relative rotation angle of the comparison iris pattern with respect to the reference iris pattern, and is used as the rotation angle of the eye.
回旋角度算出部４８によって算出された眼球の回旋角度が、出力部１６により出力される。 The rotation angle of the eyeball calculated by the rotation angle calculation unit 48 is output by the output unit 16.
次に、眼球回旋角度推定装置１０の動作について説明する。 Next, the operation of the eyeball rotation angle estimation apparatus 10 will be described.
まず、コンピュータ１４において、図１１に示すずれマップ計算処理ルーチンを実行する。 First, the computer 14 executes a deviation map calculation processing routine shown in FIG.
ステップ１００において、眼球モデルのパラメータを設定する。ステップ１０２において、角膜上の表面における径方向及び周方向の分割数を設定する。 In step 100, parameters of the eye model are set. In step 102, the number of radial and circumferential divisions on the surface on the cornea is set.
次のステップ１０４では、上記ステップ１００で設定された眼球モデルのパラメータ及び上記ステップ１０２で設定された径方向及び周方向の分割数に基づいて、角膜上の表面における各分割点の位置ベクトルＰを算出する。 In the next step 104, based on the parameters of the eyeball model set in step 100 and the number of radial and circumferential divisions set in step 102, the position vector P of each division point on the surface on the cornea is calculated calculate.
そして、ステップ１０６において、眼球姿勢角の分割数ｎを設定する。そして、ループ回数ｉがｎに到達するまで、後述するステップ１０８〜ステップ１１４を繰り返す。 Then, in step 106, the division number n of the eyeball posture angle is set. Then, steps 108 to 114 described later are repeated until the loop number i reaches n.
ステップ１０８では、各分割点Ｐからなる点群を、ｉ番目の眼球姿勢角に従い回転させる。ステップ１１０では、上記ステップ１０８で回転させた点群の各分割点Ｐについて、ずれベクトルを算出する。 At step 108, the point group consisting of the division points P is rotated in accordance with the ith eyeball attitude angle. At step 110, for each division point P of the point group rotated at step 108, a deviation vector is calculated.
次のステップ１１２では、上記ステップ１１０で算出された各分割点Ｐについて、ずれベクトルを格納した、ｉ番目の眼球姿勢角に対応するずれマップを、ずれマップ記憶部３０に記憶する。そしてステップ１１４で、ループ回数ｉを１だけインクリメントして、上記ステップ１０８へ戻る。 In the next step 112, the shift map storage unit 30 stores a shift map corresponding to the i-th eyeball posture angle in which shift vectors are stored for each division point P calculated in step 110. Then, at step 114, the loop number i is incremented by one and the process returns to step 108.
ループ回数ｉがｎに到達するまで、上記ステップ１０８〜ステップ１１４が繰り返し実行されると、ずれマップ計算処理ルーチンを終了する。 When steps 108 to 114 are repeatedly executed until the loop number i reaches n, the deviation map calculation processing routine is ended.
次に、画像撮像部１２で、眼球の回旋角度が基準角度の状態である被観察者の顔画像を撮像する。 Next, the image pickup unit 12 picks up a face image of the subject whose turning angle of the eyeball is the reference angle.
そして、コンピュータ１４において、図１２に示す基準虹彩パタン切出し処理ルーチンを実行する。まず、ステップ１２０において、画像撮像部１２で撮像された顔画像を読み込み、顔画像から眼球画像を取得する。 Then, the computer 14 executes a reference iris pattern cutting process routine shown in FIG. First, in step 120, the face image captured by the image capturing unit 12 is read, and an eyeball image is acquired from the face image.
そして、ステップ１２２において、上記ステップ１２０で取得した眼球画像から瞳孔領域を抽出し、瞳孔楕円を取得する。ステップ１２４では、上記ステップ１２０で取得した眼球画像における眼球姿勢角を推定する。 Then, in step 122, a pupil region is extracted from the eyeball image acquired in step 120, and a pupil ellipse is acquired. At step 124, the eyeball posture angle in the eyeball image acquired at step 120 is estimated.
そして、ステップ１２６において、上記ステップ１２４で推定された眼球姿勢角に対応するずれマップを、ずれマップ記憶部３０から選択する。次のステップ１２８では、上記ステップ１２６で選択したずれマップから、角膜上の各点に対応するずれベクトルを取得する。 Then, at step 126, a shift map corresponding to the eyeball posture angle estimated at step 124 is selected from the shift map storage unit 30. In the next step 128, from the displacement map selected in step 126, displacement vectors corresponding to each point on the cornea are obtained.
そして、ステップ１３０において、上記ステップ１２８で取得したずれベクトルに基づいて、上記ステップ１２０で取得した眼球画像における、瞳孔楕円上の点から角膜端上の点までの間のｍ分割点の各々におけるずれベクトルを補間計算する。 Then, in step 130, based on the deviation vector acquired in step 128, the deviation at each of the m division points between the point on the pupil ellipse and the point on the corneal end in the eyeball image acquired in step 120 Interpolate vector.
次のステップ１３２では、上記ステップ１３０で計算したｍ分割点の各々におけるずれベクトルのＹ成分、Ｚ成分を画素数に変換する。ステップ１３４では、上記ステップ１３２で得られた変換結果を用いて、ｍ分割点の各々を補正し、ずれを補正したｍ分割点の各々の位置の座標を、虹彩パタン極座標に変換する。 In the next step 132, the Y component and Z component of the displacement vector at each of the m division points calculated in the above step 130 are converted into the number of pixels. In step 134, each of the m division points is corrected using the conversion result obtained in step 132, and the coordinates of each position of the m division points whose deviation has been corrected are converted into iris pattern polar coordinates.
そして、ステップ１３６において、上記ステップ１３４で得られたずれを補正したｍ分割点の各々の位置の極座標に基づいて、グリッドで規定される基準虹彩パタンの切り出し範囲を決定する。ステップ１３８において、上記ステップ１３６で決定された切り出し範囲に基づいて、上記ステップ１２０で取得した眼球画像から、基準虹彩パタンを切り出して、パタン記憶部３８に格納し、基準虹彩パタン切出し処理ルーチンを終了する。 Then, in step 136, based on the polar coordinates of the position of each of the m-divided points whose displacement has been corrected obtained in step 134, the cutout range of the reference iris pattern defined by the grid is determined. In step 138, based on the clipping range determined in step 136, a reference iris pattern is cut out from the eyeball image acquired in step 120 and stored in the pattern storage unit 38, and the reference iris pattern cutout processing routine is ended. Do.
そして、画像撮像部１２で、眼球回旋角度の推定対象となる被観察者の顔画像を撮像する。 Then, the image pickup unit 12 picks up a face image of the person to be observed whose eyeball rotation angle is to be estimated.
そして、コンピュータ１４において、図１３に示す眼球回旋角度推定処理ルーチンを実行する。まず、ステップ１４０において、画像撮像部１２で撮像された顔画像を読み込み、顔画像から眼球画像を取得する。 Then, the eyeball rotation angle estimation processing routine shown in FIG. 13 is executed in the computer 14. First, in step 140, the face image captured by the image capturing unit 12 is read, and an eyeball image is acquired from the face image.
そして、ステップ１４２において、上記ステップ１４０で取得した眼球画像から瞳孔領域を抽出し、瞳孔楕円を取得する。ステップ１４４では、上記ステップ１４０で取得した眼球画像における眼球姿勢角を推定する。 Then, in step 142, a pupil region is extracted from the eyeball image acquired in step 140, and a pupil ellipse is acquired. In step 144, the eyeball posture angle in the eyeball image acquired in step 140 is estimated.
そして、ステップ１４６において、上記ステップ１４４で推定された眼球姿勢角に対応するずれマップを、ずれマップ記憶部３０から選択する。次のステップ１４８では、上記ステップ１４６で選択したずれマップから、角膜上の各点に対応するずれベクトルを取得する。 Then, at step 146, the shift map corresponding to the eyeball posture angle estimated at step 144 is selected from the shift map storage unit 30. In the next step 148, from the displacement map selected in step 146, displacement vectors corresponding to each point on the cornea are obtained.
そして、ステップ１５０において、上記ステップ１４８で取得したずれベクトルに基づいて、上記ステップ１４０で取得した眼球画像における、瞳孔楕円上の点から角膜端上の点までの間のｍ分割点の各々におけるずれベクトルを補間計算する。 Then, in step 150, based on the deviation vector acquired in step 148, the deviation at each of the m division points between the point on the pupil ellipse and the point on the corneal end in the eyeball image acquired in step 140 Interpolate vector.
次のステップ１５２では、上記ステップ１５０で計算したｍ分割点の各々におけるずれベクトルのＹ成分、Ｚ成分を画素数に変換する。ステップ１５４では、上記ステップ１５２で得られた変換結果を用いて、ｍ分割点の各々を補正し、ずれを補正したｍ分割点の各々の位置の座標を、虹彩パタン極座標に変換する。 In the next step 152, the Y component and Z component of the displacement vector at each of the m division points calculated in the above step 150 are converted into the number of pixels. In step 154, each of the m division points is corrected using the conversion result obtained in step 152, and the coordinates of each position of the m division points whose deviations have been corrected are converted into iris pattern polar coordinates.
そして、ステップ１５６において、上記ステップ１５４で得られたずれを補正したｍ分割点の各々の位置の極座標に基づいて、グリッドで規定される比較虹彩パタンの切り出し範囲を決定する。ステップ１５８において、上記ステップ１５６で決定された切り出し範囲に基づいて、上記ステップ１４０で取得した眼球画像から、比較虹彩パタンを切り出す。 Then, in step 156, based on the polar coordinates of the position of each of the m-divided points whose displacement has been corrected obtained in step 154, the cutout range of the comparison iris pattern defined by the grid is determined. In step 158, based on the clipping range determined in step 156, the comparison iris pattern is clipped from the eyeball image acquired in step 140.
そして、ステップ１６０において、回旋角度毎に、上記ステップ１５８で切り出された比較虹彩パタンであって、当該回旋角度に応じてずらした比較虹彩パタンと、パタン記憶部３８に格納された基準虹彩パタンとのパタンマッチングを行い、差分画素数を計算する。 Then, in step 160, the comparison iris pattern cut out in the above step 158 for each rotation angle and shifted according to the rotation angle, and the reference iris pattern stored in the pattern storage unit 38 Pattern matching is performed to calculate the number of difference pixels.
次のステップ１６２では、上記ステップ１６０で計算された回旋角度毎の差分画素数に基づいて、上記ステップ１４０で取得した眼球画像における回旋角度を推定し、眼球回旋角度推定処理ルーチンを終了する。 In the next step 162, the rotation angle in the eyeball image acquired in step 140 is estimated based on the difference pixel count for each rotation angle calculated in step 160, and the eye rotation angle estimation processing routine is ended.
以上説明したように、第１の実施の形態に係る眼球回旋角度推定装置によれば、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、眼球画像における角膜上の各点の座標を補正して、眼球画像から比較虹彩パタンを切り出すことにより、眼球姿勢角を考慮して、虹彩パタンを比較することができる。 As described above, according to the eyeball rotation angle estimation apparatus according to the first embodiment, each on the cornea in the eyeball image is based on the amount of refraction shift of each point on the cornea at the current eyeball posture angle. By correcting the coordinates of the point and cutting out the comparison iris pattern from the eyeball image, it is possible to compare the iris patterns in consideration of the eyeball posture angle.
また、眼球３次元モデルを設定し、眼球が正面以外を向いたときの角膜上の各点における屈折ずれ量を計算する。屈折ずれ量を用い、虹彩パタンの切出し範囲を補正することで、虹彩パタンの歪み補正を行う。これによって、眼球が正面を向いていない場合でも眼球回旋角度を精度よく推定できる。 Also, an eyeball three-dimensional model is set, and the amount of refraction shift at each point on the cornea when the eyeball faces other than the front is calculated. The iris pattern distortion correction is performed by correcting the cutout range of the iris pattern using the refraction shift amount. This makes it possible to accurately estimate the eyeball rotation angle even when the eyeball is not facing the front.
また、眼球姿勢角毎のずれマップを予め計算しておくことにより、眼球回旋角度の推定処理を高速化することができる。 In addition, the estimation process of the eyeball rotation angle can be speeded up by calculating in advance the deviation map for each eyeball posture angle.
次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る眼球回旋角度推定装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。 Next, a second embodiment will be described. The configuration of the eyeball rotation angle estimation apparatus according to the second embodiment is the same as that of the first embodiment, so the same reference numerals are given and the description is omitted.
第２の実施の形態では、比較虹彩パタンの切り出し範囲を、ノイズ部分を避けるように決定している点が第１の実施の形態と異なっている。 The second embodiment is different from the first embodiment in that the cutout range of the comparison iris pattern is determined so as to avoid the noise portion.
本実施の形態では、図１４に示すように、光の映り込みによるパタンの欠損やノイズを避けるように、虹彩パタンが明瞭な部分から比較虹彩パタンを切り出して周方向にパタンマッチングする。 In the present embodiment, as shown in FIG. 14, a comparison iris pattern is cut out from a portion where the iris pattern is clear and pattern matching is carried out in the circumferential direction so as to avoid pattern loss and noise due to light reflection.
第２の実施の形態に係る眼球回旋角度推定装置のパタン切出し部４４は、以下に説明するように、比較虹彩パタンを切り出す範囲を決定する。 The pattern cutout unit 44 of the eyeball rotation angle estimation apparatus according to the second embodiment determines a range from which the comparison iris pattern is cut out, as described below.
まず、個人ごとに予め定められた初期設定エリアに基づいて、瞳孔周方向の範囲を設定する。例えば、天頂側を０度としπ/3〜2π/3の範囲や、4π/3〜5π/3の範囲を用いる（図１５参照）。 First, a range in the pupil circumferential direction is set based on an initial setting area predetermined for each individual. For example, the zenith side is 0 degree, and a range of π / 3 to 2π / 3 or a range of 4π / 3 to 5π / 3 is used (see FIG. 15).
次に、上記で設定した瞳孔周方向の範囲のエリアで、径方向のグレースケール明度分布を求め、グレースケール明度分布の分散が閾値以下となるように瞳孔径方向の範囲を狭める（図１６参照）。 Next, the gray scale brightness distribution in the radial direction is determined in the area of the range in the pupil circumferential direction set above, and the range in the pupil diameter direction is narrowed so that the variance of the gray scale brightness distribution becomes equal to or less than the threshold (see FIG. 16). ).
また、基準の眼球姿勢角に比べて眼球姿勢角が変化している場合、眼球画像の画像中心[0,0]に対する瞳孔中心(位置[x,y])の距離(x2+y2)0.5とその比x/yに応じて、上記で設定した瞳孔周方向の範囲のエリアを周方向にずらす。具体的には、キャリブレーション時の中立位置（眼球原点）から一定上の角度がついた場合（例えば、眼球のピッチ角をθとし、ヨー角をφとして、
パタン切出し部４４は、ずれ補正部４２によって補正された各分割点Pmの補正座標を、極座標に変換し、等間隔の分割線であるグリッドで規定される、比較虹彩パタンの切出し範囲を決定する。また、パタン切出し部４４は、決定された比較虹彩パタンの切出し範囲のうち、上記で設定した瞳孔周方向の範囲及び瞳孔径方向の範囲のエリアから、比較虹彩パタンを切り出す（図１７参照）。 The pattern cutout unit 44 converts the correction coordinates of each division point P m corrected by the deviation correction unit 42 into polar coordinates, and determines the cutout range of the comparison iris pattern defined by the grid which is division lines at equal intervals. Do. In addition, the pattern cutout unit 44 cuts out the comparison iris pattern from the area of the range in the pupil circumferential direction and the range in the pupil diameter direction set in the above among the determined cutout range of the comparison iris pattern (see FIG. 17).
なお、第２の実施の形態に係る眼球回旋角度推定装置の他の構成について、第１の実施の形態と同様であるため、説明を省略する。 The other configuration of the eyeball rotation angle estimation apparatus according to the second embodiment is the same as that of the first embodiment, and thus the description thereof will be omitted.
次に、第２の実施の形態に係る眼球回旋角度推定装置の動作について説明する。 Next, the operation of the eyeball rotation angle estimation apparatus according to the second embodiment will be described.
まず、コンピュータ１４において、上記図１１に示すずれマップ計算処理ルーチンを実行する。 First, in the computer 14, the deviation map calculation processing routine shown in FIG. 11 is executed.
また、画像撮像部１２で、眼球の回旋角度が基準角度の状態である被観察者の顔画像を撮像する。そして、コンピュータ１４において、上記図１２に示す基準虹彩パタン切出し処理ルーチンを実行する。 Further, the image pickup unit 12 picks up a face image of the subject whose turning angle of the eyeball is the reference angle. Then, the computer 14 executes a reference iris pattern cutting process routine shown in FIG.
そして、画像撮像部１２で、眼球回旋角度の推定対象となる被観察者の顔画像を撮像する。コンピュータ１４において、上記図１３に示す眼球回旋角度推定処理ルーチンを実行する。このとき、上記ステップ１５６は、図１８に示す切り出し範囲決定処理ルーチンによって実現される。 Then, the image pickup unit 12 picks up a face image of the person to be observed whose eyeball rotation angle is to be estimated. In the computer 14, the eyeball rotation angle estimation processing routine shown in FIG. 13 is executed. At this time, the above step 156 is realized by the clipping range determination processing routine shown in FIG.
まず、ステップ２００では、ユーザ固有の初期設定エリアに基づいて、瞳孔周方向の範囲を設定する。 First, in step 200, the range in the pupil circumferential direction is set based on the user-specific initial setting area.
そして、ステップ２０２において、上記ステップ２００で設定した瞳孔周方向の範囲のエリアで、瞳孔径方向のグレースケール明度分布を求め、グレースケール明度分布の分散が閾値以下となるように瞳孔径方向の範囲を狭める。 Then, in step 202, the gray scale lightness distribution in the pupil diameter direction is determined in the area in the pupil circumferential direction set in step 200, and the pupil diameter direction range so that the variance of the gray scale lightness distribution becomes equal to or less than the threshold. Narrow down.
次のステップ２０４では、上記ステップ１４２で取得した瞳孔楕円に基づいて、眼球画像の画像中心[0,0]に対する瞳孔中心(位置[x,y])の距離(x2+y2)0.5とその比x/yに応じて、上記ステップ２００で設定した瞳孔周方向の範囲のエリアを瞳孔周方向にずらす。 In the next step 204, based on the pupil ellipse acquired in step 142, the distance (x 2 + y 2 ) 0.5 of the pupil center (position [x, y]) to the image center [0, 0] of the eyeball image In accordance with the ratio x / y, the area in the range of the pupil circumferential direction set in step 200 is shifted in the pupil circumferential direction.
そして、ステップ２０６において、上記ステップ１５４で得られたずれを補正したｍ分割点の各々の位置の極座標に基づいて、グリッドで規定される比較虹彩パタンの切り出し範囲を決定する。また、決定された比較虹彩パタンの切出し範囲のうち、上記ステップ２０２、２０４で設定した瞳孔周方向の範囲及び瞳孔径方向の範囲のエリアから、比較虹彩パタンを切り出す。 Then, in step 206, based on the polar coordinates of the position of each of the m-division points of which the displacement has been corrected obtained in step 154, the cutout range of the comparison iris pattern defined by the grid is determined. Further, the comparison iris pattern is cut out from the area of the range in the pupil circumferential direction and the range of the pupil diameter direction set in the above steps 202 and 204 out of the determined cutting range of the comparison iris pattern.
このように、眼球画像における瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔径方向の範囲を決定し、眼球画像から比較虹彩パタンを切り出すことにより、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる。 As described above, the partial range of the pupil diameter direction is determined so that the variance of the lightness distribution in the pupil diameter direction in the eyeball image becomes equal to or less than a predetermined value, and partial loss occurs by cutting out the comparison iris pattern from the eyeball image. The iris patterns can be compared, even if they are unclear as the whole image.
また、画像の明瞭な部分を用いてマッチングし、回旋角度を推定する手法としたため、光ノイズが多い画像であっても、眼球回旋角度を精度よく推定できる。 In addition, since the method is used in which matching is performed using a clear part of the image to estimate the rotation angle, the eye rotation angle can be accurately estimated even in an image with many optical noises.
また、上記の第１の実施の形態〜第２の実施の形態において、ずれマップを事前に計算しておく場合を例に説明したが、これに限定されるものではなく、眼球回旋角度を推定するときに、随時、現在の眼球姿勢角に対応するずれマップを計算するようにしてもよい。 Further, in the above-described first and second embodiments, although the case where the deviation map is calculated in advance is described as an example, the present invention is not limited to this, and the eye rotation angle is estimated. When this is done, a shift map corresponding to the current eye pose angle may be calculated at any time.
また、眼球モデルのパラメータとして予め設定された値を用いて、ずれマップを計算する場合を例に説明したが、これに限定されるものではなく、被観察者固有のパラメータを用いて、個人差を考慮したずれマップを計算してもよい。 In addition, although the case of calculating the shift map using the values set in advance as parameters of the eyeball model has been described as an example, the present invention is not limited to this, and individual differences may be used using parameters unique to the observer A shift map may be calculated in consideration of
また、上記の第２の実施の形態において、瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔径方向の範囲を決定する場合を例に説明したが、これに限定されるものではなく、瞳孔周方向の明度分布の分散が、一定値以下となるように、瞳孔周方向の範囲を決定するようにしてもよい。また、瞳孔周方向の明度分布の分散が、一定値以下となるように、瞳孔周方向の範囲を決定し、かつ、瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔径方向の範囲を決定するようにしてもよい。 Further, in the second embodiment described above, the case of determining the range in the pupil diameter direction has been described by way of example so that the variance of the lightness distribution in the pupil diameter direction becomes equal to or less than a constant value. Instead, the range in the pupil circumferential direction may be determined so that the variance of the lightness distribution in the pupil circumferential direction is equal to or less than a predetermined value. In addition, the range in the pupil circumferential direction is determined so that the variance of the lightness distribution in the pupil circumferential direction is less than or equal to a certain value, and the pupil is such that the variance of the lightness distribution in the pupil diameter direction is less than or equal to a certain value. The radial range may be determined.
１０ 眼球回旋角度推定装置
１２ 画像撮像部
１４ コンピュータ
１６ 出力部
２０ 画像入力部
２２ 眼球画像取得部
２６ 瞳孔楕円姿勢角推定部
２８ マップ計算部
３０ マップ記憶部
３２ マップ選択部
３４ ずれ補正部
３６ パタン切出し部
３８ パタン記憶部
４０ マップ選択部
４２ ずれ補正部
４４ パタン切出し部
４８ 回旋角度算出部
DESCRIPTION OF SYMBOLS 10 eyeball rotation angle estimation apparatus 12 image imaging part 14 computer 16 output part 20 image input part 22 eyeball image acquisition part 26 pupil elliptical attitude angle estimation part 28 map calculation part 30 map storage part 32 map selection part 34 shift correction part 36 pattern cutting out Unit 38 Pattern storage unit 40 Map selection unit 42 Deviation correction unit 44 Pattern extraction unit 48 Rotation angle calculation unit
Claims (8)
基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像上の座標であって、角膜上の各点の座標を補正する補正手段と、
前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段と、
を含む虹彩パタン比較装置。 An image acquisition unit configured to acquire an eyeball image representing an eyeball from a face image representing the face imaged by the imaging unit imaging the face of the subject;
Based on the dioptric shift amount of each point on the cornea at the current eye pose angle determined based on the dioptric shift amount of each point on the cornea at the reference eye pose angle, and the current eye pose angle, A correction unit that corrects the coordinates of each point on the cornea , which are coordinates on the eyeball image acquired by the image acquisition unit;
A comparison iris for comparing with a reference iris pattern previously obtained from the eyeball image acquired by the image acquisition means based on the coordinates of each point on the cornea in the eyeball image corrected by the correction means Pattern cutting means for cutting out a pattern;
An iris pattern comparison device including
前記補正手段は、現在の眼球姿勢角についての前記マップに基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する請求項１又は２記載の虹彩パタン比較装置。 Of each point on the cornea at the eyeball posture angle based on the refraction shift amount of each point on the cornea at the reference eyeball posture angle and the eyeball posture angle previously obtained for each of the eyeball posture angle Further including storage means for storing a map representing the amount of refraction shift;
The iris pattern comparison according to claim 1 or 2, wherein the correction means corrects the coordinates of each point on the cornea in the eyeball image acquired by the image acquisition means based on the map for the current eyeball posture angle. apparatus.
前記パタン切出し手段は、前記補正手段によって補正された前記眼球画像における角膜上の観察点の各々の座標に基づいて、前記画像取得手段によって取得された前記眼球画像上にグリッドを設定して、前記比較虹彩パタンを切り出す請求項１〜請求項３の何れか１項記載の虹彩パタン比較装置。 The correction means is for each of the observation points on the cornea at the current eye posture angle, for each of the observation points arranged at a predetermined interval between the pupil end point on the straight line drawn in the pupil radial direction from the pupil and the corneal end point. The coordinates of the observation point on the cornea , which are the coordinates on the eyeball image , are corrected based on the refractive shift amount of the point,
The pattern cutout unit sets a grid on the eyeball image acquired by the image acquisition unit, based on the coordinates of each of observation points on the cornea in the eyeball image corrected by the correction unit. The iris pattern comparison device according to any one of claims 1 to 3, wherein the comparison iris pattern is cut out.
前記パタン切出し手段は、前記補正手段によって補正された前記眼球画像における角膜上の各点の座標と、前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲とに基づいて、前記画像取得手段によって取得された前記眼球画像から前記比較虹彩パタンを切り出す請求項１〜請求項５の何れか１項記載の虹彩パタン比較装置。 Range determination means for determining a range in a pupil circumferential direction or a pupil diameter direction such that dispersion of lightness distribution in a pupil circumference direction or a pupil diameter direction in the eyeball image acquired by the image acquiring means is equal to or less than a fixed value In addition,
The pattern cutting-out means is based on the coordinates of each point on the cornea in the eyeball image corrected by the correction means, and the pupil circumferential direction or pupil diameter direction range determined by the range determining means. The iris pattern comparison device according to any one of claims 1 to 5, wherein the comparison iris pattern is cut out from the eyeball image acquired by the image acquisition means.
被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段、
基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像上の座標であって、角膜上の各点の座標を補正する補正手段、及び
前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段
として機能させるためのプログラム。 Computer,
An image acquisition unit configured to acquire an eyeball image representing an eyeball from a face image representing the face imaged by the imaging unit imaging the face of the subject;
Based on the dioptric shift amount of each point on the cornea at the current eye pose angle determined based on the dioptric shift amount of each point on the cornea at the reference eye pose angle, and the current eye pose angle, A correction unit that corrects the coordinates of each point on the cornea , which is a coordinate on the eyeball image acquired by the image acquisition unit, and a coordinate of each point on the cornea in the eyeball image corrected by the correction unit And a program for functioning as a pattern cutout unit for cutting out a comparison iris pattern, for comparison with a reference iris pattern obtained in advance from the eyeball image acquired by the image acquisition unit based on the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015080841A JP6503856B2 (en) | 2015-04-10 | 2015-04-10 | Iris pattern comparison device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015080841A JP6503856B2 (en) | 2015-04-10 | 2015-04-10 | Iris pattern comparison device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016198301A JP2016198301A (en) | 2016-12-01 |
| JP6503856B2 true JP6503856B2 (en) | 2019-04-24 |
Family
ID=57423139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015080841A Expired - Fee Related JP6503856B2 (en) | 2015-04-10 | 2015-04-10 | Iris pattern comparison device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6503856B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI754806B (en) * | 2019-04-09 | 2022-02-11 | 栗永徽 | System and method for locating iris using deep learning |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006308375A (en) * | 2005-04-27 | 2006-11-09 | Matsushita Electric Ind Co Ltd | Infrared ray using type eye position detection device |
| JP4650386B2 (en) * | 2006-09-29 | 2011-03-16 | 沖電気工業株式会社 | Personal authentication system and personal authentication method |
| JP5158842B2 (en) * | 2007-04-24 | 2013-03-06 | 学校法人中部大学 | Eye movement measuring method and eye movement measuring apparatus |
| WO2013125707A1 (en) * | 2012-02-24 | 2013-08-29 | 国立大学法人筑波大学 | Cycloduction measurement device, cycloduction measurement method, and cycloduction measurement program |
-
2015
- 2015-04-10 JP JP2015080841A patent/JP6503856B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016198301A (en) | 2016-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107705333B (en) | Space positioning method and device based on binocular camera | |
| JP7136875B2 (en) | Eye Pose Identification Using Eye Features | |
| US11227144B2 (en) | Image processing device and method for detecting image of object to be detected from input data | |
| US10643347B2 (en) | Device for measuring position and orientation of imaging apparatus and method therefor | |
| JP6363863B2 (en) | Information processing apparatus and information processing method | |
| US7848547B2 (en) | Apparatus for detecting feature point and method of detecting feature point | |
| CN108932698B (en) | Image distortion correction method, device, electronic equipment and storage medium | |
| CN110264426B (en) | Image distortion correction method and device | |
| JP6840697B2 (en) | Line-of-sight direction estimation device, line-of-sight direction estimation method, and line-of-sight direction estimation program | |
| JP5158842B2 (en) | Eye movement measuring method and eye movement measuring apparatus | |
| JP2016019194A (en) | Image processing apparatus, image processing method, and image projection device | |
| KR101053506B1 (en) | Method for adjusting parameters in distortion calibration of image acquired by camera having fish eye lens | |
| JP6566768B2 (en) | Information processing apparatus, information processing method, and program | |
| US11232586B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
| US10205928B2 (en) | Image processing apparatus that estimates distance information, method of controlling the same, and storage medium | |
| JP6594170B2 (en) | Image processing apparatus, image processing method, image projection system, and program | |
| CN111091507A (en) | Image processing method, image processing apparatus, electronic device, and storage medium | |
| CN111325803A (en) | Calibration method for evaluating binocular camera internal and external participation time synchronization | |
| JP6503856B2 (en) | Iris pattern comparison device and program | |
| JP6346018B2 (en) | Eye measurement system, eye detection system, eye measurement method, eye measurement program, eye detection method, and eye detection program | |
| JP2021049130A (en) | Eyeball structure estimation device | |
| JP2016156702A (en) | Imaging device and imaging method | |
| KR101255742B1 (en) | Dmethod for deciding of lens distortion correction parameters | |
| JP4507571B2 (en) | Human body posture measurement device | |
| JP2020034525A (en) | Information processing apparatus and method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190311 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6503856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |