JP4623172B2 - Pupil detection device, program for pupil detection device, and pupil detection method - Google Patents
Pupil detection device, program for pupil detection device, and pupil detection method Download PDFInfo
- Publication number
- JP4623172B2 JP4623172B2 JP2008226407A JP2008226407A JP4623172B2 JP 4623172 B2 JP4623172 B2 JP 4623172B2 JP 2008226407 A JP2008226407 A JP 2008226407A JP 2008226407 A JP2008226407 A JP 2008226407A JP 4623172 B2 JP4623172 B2 JP 4623172B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- edge
- detected
- detection
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、人の顔を撮影した画像から瞳孔を検出するための瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法に関する。 The present invention relates to a pupil detection device, a pupil detection device program, and a pupil detection method for detecting a pupil from an image obtained by photographing a human face.
従来、カメラにより撮影した人の顔画像から眼の領域や瞳孔中心の位置を検出し、視線を算出する技術が知られている。例えば特許文献１記載の発明では、テンプレートマッチング手法により画像上の眼の領域を検出し、得られた眼の領域内においてエッジを抽出し、得られたエッジに対して円ハフ変換を使用して瞳孔の円方程式を求め、瞳孔中心を検出する。そして、得られた眼の領域と瞳孔中心との位置関係から視線を算出する。
しかしながら、瞳孔の輪郭は、常に完全な形で検出できるものではなく、顔の向きや視線の向きによっては瞳孔の一部が瞼に隠れてしまうこともある。また、眼の形状も個人差があるため、人によっては、正面を向いている状態においても瞳孔の一部が瞼に隠れることがある。例えば、図１４（ａ）に示すように瞳孔（黒目における中心の黒い部分であり、図面上やや大きめに示している。）の上部が上瞼に隠れている状態でエッジを検出しようとした場合、図１４（ｂ）に示すように上瞼のエッジと瞳孔のエッジとが見かけ上連続して検出され、そのようなエッジに対して円ハフ変換を施した場合、図１４（ｃ）に示すように瞼に基づくエッジの影響を受けるため、瞳孔の位置を誤って検出してしまうという問題があった。 However, the outline of the pupil cannot always be detected completely, and a part of the pupil may be hidden behind the eyelid depending on the direction of the face or the direction of the line of sight. In addition, since there are individual differences in eye shape, some pupils may be hidden behind the eyelids even when facing the front. For example, as shown in FIG. 14 (a), when an edge is to be detected in a state where the upper part of the pupil (the black portion at the center of the black eye and slightly larger in the drawing) is hidden in the upper eyelid. As shown in FIG. 14B, when the upper eyelid edge and the pupil edge are detected in succession and circular Hough transform is applied to such an edge, the edge shown in FIG. Thus, there is a problem that the position of the pupil is erroneously detected due to the influence of the edge based on the eyelid.
本発明は、こうした問題に鑑みなされたものであり、瞳孔の一部が隠れた場合でも精度よく瞳孔を検出することができる瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法を提供することを目的とする。 The present invention has been made in view of these problems, and provides a pupil detection device, a pupil detection device program, and a pupil detection method that can accurately detect a pupil even when a portion of the pupil is hidden. Objective.
上記目的を達成するためになされた請求項１記載の発明は、取得手段、眼検出手段、エッジ検出手段及び瞳孔検出手段を備えた瞳孔検出装置である。そして、取得手段は、人の顔を撮影した画像を取得し、眼検出手段は、取得手段により取得された画像から眼を検出し、エッジ検出手段は、眼検出手段により検出された眼の領域内でエッジを検出し、瞳孔検出手段は、エッジ検出手段により検出されたエッジから瞳孔を検出する。さらに、本発明の瞳孔検出装置は、形状検出手段及び選択手段を備え、形状検出手段は、眼の形状を検出し、選択手段は、形状検出手段により検出された眼の形状に基づいて、エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する。そして、瞳孔検出手段は、エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出する。 In order to achieve the above object, the invention according to claim 1 is a pupil detection device including an acquisition unit, an eye detection unit, an edge detection unit, and a pupil detection unit. Then, the acquisition unit acquires an image obtained by photographing a human face, the eye detection unit detects an eye from the image acquired by the acquisition unit, and the edge detection unit detects an eye area detected by the eye detection unit. The edge is detected within the pupil, and the pupil detection means detects the pupil from the edge detected by the edge detection means. Furthermore, the pupil detection device of the present invention includes a shape detection unit and a selection unit, the shape detection unit detects the shape of the eye, and the selection unit detects the edge based on the eye shape detected by the shape detection unit. Only edges along the pupil are selected from the edges detected by the detecting means. The pupil detection means compares the first pupil detection result obtained by detecting the pupil from all edges detected by the edge detection means and the second pupil detection result obtained by detecting the pupil only from the edge selected by the selection means. Then, the higher position is detected as a pupil.
なお、ここにいう眼を検出するとは、具体的には、眼の領域を画像内で特定することをいう。またエッジとは、画像を二値化してフィルタリングするなどの画像処理により抽出されるエッジ点群をいい、画像内で輝度や色彩が異なる領域の境界線を指す。 Note that “detecting an eye” as used herein specifically refers to specifying an eye region in an image. An edge is a group of edge points extracted by image processing such as binarizing and filtering an image, and indicates a boundary line of a region having different luminance and color in the image.
かかる請求項１記載の瞳孔検出装置による第２瞳孔検出結果は、眼の形状に基づいて選択した瞳孔に沿ったエッジのみから瞳孔を検出したものであるため、例えば前述したように瞳孔の上側部分が上瞼に隠れているような場合にも、眼の形状による影響を排除することができ、精度よく瞳孔を検出することができる。すなわち第２瞳孔検出結果によれば、多くの場合で、エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果よりも精度よく瞳孔を検出することができる。 Since the second pupil detection result by the pupil detection device according to claim 1 is obtained by detecting the pupil only from the edge along the pupil selected based on the shape of the eye, for example, as described above, the upper portion of the pupil Even when the lens is hidden behind the upper eyelid, the influence of the eye shape can be eliminated, and the pupil can be detected with high accuracy. That is, according to the second pupil detection result, in many cases, the pupil can be detected with higher accuracy than the first pupil detection result in which the pupil is detected from all the edges detected by the edge detection means.
ただし、瞳孔にノイズがのったような場合、必ずしも第２瞳孔検出結果の方が第１瞳孔検出結果よりも精度よく瞳孔を検出できるとは限らない。
例えば図９（ａ）に示すように、反射光などのノイズで瞳孔の両側が欠けた場合、瞳孔に沿ったエッジはその両側がくぼんだ形となる。このため、眼の形状に基づいて選択した瞳孔に沿ったエッジのみから瞳孔を検出する処理により、瞳孔に沿ったエッジの上側部分が除去されると（図９（ｂ））、エッジの下側部分と内側にくぼんだ部分との影響で、瞳孔が実際の瞳孔よりもやや下方の小さな円として検出されてしまうことになる（図９（ｃ））。
However, when there is noise in the pupil, the second pupil detection result cannot always detect the pupil more accurately than the first pupil detection result.
For example, as shown in FIG. 9A, when both sides of the pupil are missing due to noise such as reflected light, the edge along the pupil has a concave shape on both sides. Therefore, when the upper portion of the edge along the pupil is removed by the process of detecting the pupil only from the edge along the pupil selected based on the shape of the eye (FIG. 9B), the lower side of the edge The pupil is detected as a small circle slightly below the actual pupil due to the influence of the portion and the portion recessed inward (FIG. 9C).
これに対し、エッジ検出手段により検出された全てのエッジから瞳孔を検出する場合には、瞳孔に沿ったエッジの上側部分が除去されないため（図１０（ｂ））、実際の瞳孔に近い円を検出することができる（図１０（ｃ））。 On the other hand, when the pupil is detected from all the edges detected by the edge detection means, the upper part of the edge along the pupil is not removed (FIG. 10B), so a circle close to the actual pupil is drawn. It can be detected (FIG. 10 (c)).
そこで、請求項１記載の瞳孔検出装置では、第２瞳孔検出結果をそのまま最終的な検出結果とするのではなく、エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と比較し、高い位置にある方を瞳孔として検出するものとした。このため、エッジにノイズがのっていたような場合であっても精度よく瞳孔を検出することが可能となる。 Therefore, in the pupil detection device according to claim 1, the first pupil detection result in which the pupil is detected from all edges detected by the edge detection means, instead of using the second pupil detection result as it is as a final detection result. In comparison with the above , the higher position is detected as a pupil. For this reason, it is possible to accurately detect the pupil even when noise is present on the edge.
ここにいう画像内の高さで比較するとは、検出した瞳孔の高さ位置を比較することをいい、例えば、瞳孔検出結果が画像内の円で示された場合であれば、円の中心の高さを比較することをいう。 Comparing by the height in the image here refers to comparing the height position of the detected pupil. For example, if the pupil detection result is indicated by a circle in the image, the center of the circle Comparing height.
例えば前述の図９の例でいえば、第２瞳孔検出結果は、エッジの下側部分と内側にくぼんだ部分との影響で、瞳孔が実際の瞳孔よりもやや下方の小さな円として検出されることになる（図９（ｃ）参照）。すなわち、第２瞳孔検出結果を検出する過程で、瞳孔に沿ったエッジを選択する際、たとえ瞳孔が隠れていなくても眼の形状による影響を確実に除去するため、エッジを除去することがある（図９（ａ））。このようにエッジを除去する場合、上瞼の形状以外から影響を受けることがほとんどないことから、多くの場合エッジの上側部分が除去されることになる。そして、この場合さらに、瞳孔にノイズがのっていると、エッジ自体が内側にくぼんだ形となるため、第２瞳孔検出結果は、際の瞳孔よりもやや下方の小さい円として誤って検出されることになる（図９（ｃ））。 For example, in the example of FIG. 9 described above, the detection result of the second pupil is detected as a small circle slightly below the actual pupil due to the influence of the lower part of the edge and the recessed part inside. (See FIG. 9 (c)). That is, in the process of detecting the second pupil detection result, when an edge along the pupil is selected, the edge may be removed to reliably remove the influence of the eye shape even if the pupil is not hidden. (FIG. 9A). When the edge is removed in this manner, the upper portion of the edge is often removed because it is hardly affected by other than the shape of the upper eyelid. In this case, if the pupil is noisy, the edge itself is recessed inward, so the second pupil detection result is erroneously detected as a small circle slightly below the original pupil. (FIG. 9C).
これに対し、この場合の第１瞳孔検出結果は、図１０に示すように瞳孔に沿ったエッジの上側部分を除去することなく全てのエッジから瞳孔を検出するため実際の瞳孔に近い形で円を検出することができる。すなわち、図１１に示すように円の中心座標が高い位置にある第１瞳孔検出結果の方が実際の瞳孔に近い円となる。 On the other hand, the first pupil detection result in this case is a circle that is close to the actual pupil because the pupil is detected from all edges without removing the upper part of the edge along the pupil as shown in FIG. Can be detected. That is, as shown in FIG. 11, the first pupil detection result at a position where the center coordinates of the circle are higher is a circle closer to the actual pupil.
また、図１２及び図１３は、ノイズがなく上瞼により瞳孔が隠れた場合の瞳孔検出結果を示している。ノイズがなく上瞼に瞳孔が隠れる場合（図１２（ａ））、エッジ検出部１２により検出された全てのエッジは上瞼による影響を受けるため実際の瞳孔よりも上側が低い位置でエッジが検出される（図１２（ｂ））。そのため、このエッジから円ハフ変換などにより瞳孔を検出すると、実際の瞳孔よりもやや下方の小さな円として誤って検出されることが多くなる（図１２（ｃ））。 12 and 13 show pupil detection results when there is no noise and the pupil is hidden by the upper eyelid. When there is no noise and the pupil is hidden in the upper eyelid (FIG. 12 (a)), all edges detected by the edge detector 12 are affected by the upper eyelid, so the edge is detected at a position lower than the actual pupil. (FIG. 12B). For this reason, when a pupil is detected from this edge by circular Hough transform or the like, it is often erroneously detected as a small circle slightly below the actual pupil (FIG. 12C).
これに対し、この場合の第２瞳孔検出結果は、実際の瞳孔に近い円として検出される。すなわち、ノイズがなく上瞼により瞳孔が隠れた場合（図１３（ａ））、選択手段により選択されたエッジは上側部分を除去した形となり（図１３（ｂ））、これに円ハフ変換を施した第２瞳孔検出結果は上側部分の影響を受けることがないため実際の瞳孔に近い円となる（図１３（ｃ））。 On the other hand, the second pupil detection result in this case is detected as a circle close to the actual pupil. That is, when there is no noise and the pupil is hidden by the upper eyelid (FIG. 13 (a)), the edge selected by the selection means has a shape obtained by removing the upper part (FIG. 13 (b)), and a circular Hough transform is applied to this. The applied second pupil detection result is not affected by the upper part, and thus becomes a circle close to the actual pupil (FIG. 13C).
以上から、瞳孔が誤って検出される場合はいずれも瞳孔検出結果が低い位置となることが多いことになる。
そこで、請求項２記載の発明によれば、第１瞳孔検出結果と第２瞳孔検出結果とを比較して高い位置にある瞳孔検出結果の方を選択するため、多くの場合で正確に瞳孔を検出できることになる。
From the above, when the pupil is erroneously detected, the pupil detection result is often at a low position.
Therefore, according to the second aspect of the present invention, the first pupil detection result and the second pupil detection result are compared and the higher pupil detection result is selected. It can be detected.
請求項２記載の発明は、瞳孔検出装置において、瞳孔検出手段が、第１瞳孔検出結果と第２瞳孔検出結果とを画像内の大きさで比較し、大きい方を瞳孔として検出する。 According to a second aspect of the invention, the pupil hole detecting device, the pupil detection means, the first pupil detection result and the second pupil detection result compared with the size of the image to detect the larger as the pupil.
ここにいう画像内の大きさで比較するとは、検出した瞳孔の大きさを比較することをいい、例えば、瞳孔検出結果が画像内の円で示された場合であれば、円の半径の長さや面積などにより両者の大きさを比較することをいう。 Comparing by the size in the image here means comparing the sizes of the detected pupils. For example, if the pupil detection result is indicated by a circle in the image, the length of the radius of the circle It means to compare the size of both by the size and area.
前述のとおり、瞳孔の両側に反射光などノイズがのった場合にしても、上瞼による影響を受けた場合にしても、正確でない瞳孔検出結果は実際の瞳孔よりも小さく検出されることが多くなる。 As described above, an inaccurate pupil detection result may be detected smaller than the actual pupil, regardless of whether there is noise such as reflected light on both sides of the pupil, or whether it is affected by upper eyelids. Become more.
そのため請求項２記載の発明によれば、より大きい方を瞳孔検出結果とするため、多くの場合に、より正確に瞳孔を検出できることになる。
請求項３記載の発明は、瞳孔検出装置において、形状検出手段が、顔形状モデルにより眼の形状を検出する。
かかる請求項３記載の瞳孔検出装置によれば、精度よく眼形状を検出することができる。また、眼検出手段についても顔形状モデルを利用することができるため、その場合は両者で同じ処理を用いることができ、簡素な処理で実現できる。
請求項４記載の発明は、請求項１乃至３記載の瞳孔検出装置において、形状検出手段が、眼の形状として瞼の輪郭を検出し、選択手段が、形状検出手段により検出された瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択する。
Therefore, according to the second aspect of the present invention, since the larger one is used as the pupil detection result, the pupil can be detected more accurately in many cases.
According to a third aspect of the present invention, in the pupil detection device, the shape detection means detects the shape of the eye using a face shape model.
According to the pupil detection device of the third aspect, the eye shape can be detected with high accuracy. In addition, since the face shape model can be used also for the eye detection means, in that case, the same processing can be used in both cases, which can be realized by simple processing.
According to a fourth aspect of the present invention, in the pupil detection device according to any one of the first to third aspects, the shape detecting means detects the contour of the eyelid as the shape of the eye, and the selecting means is the contour of the eyelid detected by the shape detecting means. Only edges along the pupil are selected by removing edges along.
かかる請求項４記載の瞳孔検出装置によれば、瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択するため、瞼の輪郭の影響を受けることが少なくなり精度よく瞳孔を検出することができる。 According to this pupil detection device of claim 4, since only the edge along the pupil is selected by removing the edge along the contour of the eyelid, the influence of the contour of the eyelid is reduced, and the pupil is accurately detected. Can be detected.
請求項５記載の発明は、請求項４記載の瞳孔検出装置において、形状検出手段が、瞼の輪郭として上瞼の輪郭を検出し、選択手段が、形状検出手段により検出された上瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択する。 According to a fifth aspect of the present invention, in the pupil detection device according to the fourth aspect, the shape detecting means detects the contour of the upper eyelid as the contour of the eyelid, and the selecting means is the contour of the upper eyelid detected by the shape detecting means. Only edges along the pupil are selected by removing edges along.
かかる請求項５記載の瞳孔検出装置によれば、特に瞳孔が隠れることが多い上瞼の輪郭に沿ったエッジを除去することで精度よく瞳孔を検出できるとともに、除去する領域が上瞼に制限されるため処理量が少なくて済む。 According to the pupil detection device of the fifth aspect, the pupil can be accurately detected by removing an edge along the contour of the upper eyelid, in which the pupil is often hidden, and the area to be removed is limited to the upper eyelid. Therefore, the processing amount is small.
請求項６記載の発明は、人の顔を撮影した画像を取得する取得手段と、取得手段により取得された画像から眼を検出する眼検出手段と、眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段としてコンピュータを機能させる瞳孔検出装置用プログラムであり、さらに、眼の形状を検出する形状検出手段と、形状検出手段により検出された眼の形状に基づいて、エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段としてコンピュータを機能させ、瞳孔検出手段は、エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出する。 The invention according to claim 6 is an acquisition means for acquiring an image obtained by photographing a human face, an eye detection means for detecting an eye from the image acquired by the acquisition means, and an eye area detected by the eye detection means. An edge detection means for detecting an edge with a pupil detection device program for causing a computer to function as a pupil detection means for detecting a pupil from an edge detected by the edge detection means, and a shape detection means for detecting an eye shape And the computer functions as a selection unit that selects only an edge along the pupil from the edge detected by the edge detection unit based on the shape of the eye detected by the shape detection unit. The first pupil detection result in which the pupil is detected from all the edges detected by, and the pupil is detected only from the edge selected by the selection means. Comparing the the second pupil detection result, it detects a person in a high position as the pupil.
かかる請求項６記載の瞳孔検出装置用プログラムによれば、請求項１記載の瞳孔検出装置としてコンピュータを機能させることができ、同様の効果を得ることができる。
請求項７記載の発明は、取得ステップ、眼検出ステップ、エッジ検出ステップ、瞳孔検出ステップを備えた瞳孔検出方法である。そして、取得ステップでは、人の顔を撮影した画像を取得し、眼検出ステップでは、取得ステップで取得した画像から眼を検出し、エッジ検出ステップでは、眼検出ステップで検出した眼の領域内でエッジを検出し、瞳孔検出ステップでは、エッジ検出ステップで検出したエッジから瞳孔を検出する。さらに、本発明の瞳孔検出方法は、形状検出ステップ、選択ステップを備え、形状検出ステップでは、眼の形状を検出し、選択ステップでは、形状検出ステップで検出した眼の形状に基づいて、エッジ検出ステップで検出したエッジから瞳孔に沿ったエッジのみを選択する。そして、瞳孔検出ステップでは、エッジ検出ステップで検出した全てのエッジから瞳孔を検出した第１瞳孔検出結果と、選択ステップで選択したエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出する。
According to the pupil detection device program according to the sixth aspect , the computer can be caused to function as the pupil detection device according to the first aspect, and the same effect can be obtained.
The invention according to claim 7 is a pupil detection method including an acquisition step, an eye detection step, an edge detection step, and a pupil detection step. In the acquisition step, an image obtained by photographing a human face is acquired. In the eye detection step, eyes are detected from the image acquired in the acquisition step. In the edge detection step, within the eye area detected in the eye detection step. In the pupil detection step, the pupil is detected from the edge detected in the edge detection step. Furthermore, the pupil detection method of the present invention includes a shape detection step and a selection step. In the shape detection step, an eye shape is detected, and in the selection step, edge detection is performed based on the eye shape detected in the shape detection step. Only edges along the pupil are selected from the edges detected in the step. In the pupil detection step, the first pupil detection result in which the pupil is detected from all the edges detected in the edge detection step is compared with the second pupil detection result in which the pupil is detected only from the edge selected in the selection step, The higher position is detected as a pupil.
かかる請求項７記載の瞳孔検出方法によれば、請求項１記載の発明と同様の効果を得ることができる。 According to the pupil detection method of the seventh aspect, the same effect as that of the first aspect of the invention can be obtained.
以下、本発明の実施形態について図面とともに説明する。
［１ 構成］
図１は、実施形態の瞳孔検出装置１の概略構成を表すブロック図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[1 Configuration]
FIG. 1 is a block diagram illustrating a schematic configuration of a pupil detection device 1 of the embodiment.
この瞳孔検出装置１は、車両に搭載されて用いられるものであって、コンピュータを中心に構成されており、図１に示すように、顔画像取得部１０、眼検出部１１、エッジ検出部１２、眼形状検出部１３、特徴量選択部１４、瞳孔円検出部１５及び瞳孔位置判定部１６として機能する。 The pupil detection device 1 is used by being mounted on a vehicle, and is configured around a computer. As shown in FIG. 1, a face image acquisition unit 10, an eye detection unit 11, and an edge detection unit 12 are used. , Function as an eye shape detection unit 13, a feature amount selection unit 14, a pupil circle detection unit 15, and a pupil position determination unit 16.
顔画像取得部１０は、カメラ２によって撮影された顔画像をキャプチャして一時的に記憶する画像キャプチャボード（図示せず）から、その顔画像を表す画像データを取得する。 The face image acquisition unit 10 acquires image data representing the face image from an image capture board (not shown) that captures and temporarily stores the face image taken by the camera 2.
ここで、カメラ２は、車両室内における運転席に着座している運転者の顔を正面から撮影できる位置に配置されている。具体的には、カメラ２は、インストルメントパネル内の計器盤又はその近傍に設置されている。このカメラ２は、イメージセンサとして例えばＣＣＤ又はＣＭＯＳを備えるとともに、人の顔が明瞭に撮影できるような焦点距離のレンズが装着される。 Here, the camera 2 is arranged at a position where the face of the driver seated in the driver's seat in the vehicle compartment can be photographed from the front. Specifically, the camera 2 is installed on the instrument panel in the instrument panel or in the vicinity thereof. The camera 2 includes, for example, a CCD or CMOS as an image sensor, and a lens having a focal length that allows a human face to be clearly photographed.
また運転者の顔に向けて左右から近赤外線を照射する２台の投光機（図示せず）がインストルメントパネル内の計器盤に設置されており、カメラ２の近傍に配置されている。運転者の眼に近赤外線を照射することで、眼の領域内における運転者の瞳孔を画像上明確に認識できるようになる。 Also, two projectors (not shown) that irradiate near infrared rays from the left and right toward the driver's face are installed on the instrument panel in the instrument panel, and are arranged in the vicinity of the camera 2. By irradiating the driver's eyes with near-infrared rays, the driver's pupil in the eye region can be clearly recognized on the image.
眼検出部１１は、顔画像取得部１０により取得された画像データの表す画像内で、顔が撮影されている領域から眼の領域を検出する。本実施形態では、眼の領域を検出する方法として顔形状モデルを用いる。例えば、「I. Matthews and S. Baker, "Active Appearance Models Revisited," International Journal of Computer Vision, Vol. 60, No. 2, November, 2004, pp. 135 - 164.」記載の技術を用いることができる。 The eye detection unit 11 detects an eye region from the region where the face is photographed in the image represented by the image data acquired by the face image acquisition unit 10. In this embodiment, a face shape model is used as a method for detecting an eye region. For example, using the technique described in “I. Matthews and S. Baker,“ Active Appearance Models Revisited, ”International Journal of Computer Vision, Vol. 60, No. 2, November, 2004, pp. 135-164.” it can.
エッジ検出部１２は、眼検出部１１により検出された眼の領域内にてエッジを検出する。具体的には、まず画像を所定の閾値により二値化処理して、公知のソーベルフィルタを用いることにより画像内で輝度や色彩が異なる領域の境界線をエッジとして検出する。 The edge detection unit 12 detects an edge in the eye region detected by the eye detection unit 11. Specifically, first, the image is binarized with a predetermined threshold value, and a boundary line of a region having different luminance and color is detected as an edge in the image by using a known Sobel filter.
眼形状検出部１３は、眼検出部１１により検出された眼の領域から、撮影された眼の上瞼の形状（以下「上瞼輪郭」という。）を検出する。これについても前述した顔形状モデルを用いる。 The eye shape detection unit 13 detects the shape of the upper eyelid of the photographed eye (hereinafter referred to as “upper eye contour”) from the eye area detected by the eye detection unit 11. Also for this, the face shape model described above is used.
特徴量選択部１４は、エッジ検出部１２により検出されたエッジから、眼形状検出部１３により検出された上瞼輪郭に沿ったエッジを除去することにより、瞳孔に沿ったエッジのみを選択する。 The feature amount selection unit 14 selects only the edge along the pupil by removing the edge along the upper eyelid contour detected by the eye shape detection unit 13 from the edge detected by the edge detection unit 12.
瞳孔円検出部１５は、エッジ検出部１２により検出された全てのエッジから瞳孔を検出（具体的には、瞳孔を画像内の円として検出）し、その円の中心座標及び半径を第１瞳孔検出結果として出力するとともに、特徴量選択部１４により選択されたエッジのみからも瞳孔を検出し、その円の中心座標及び半径を第２瞳孔検出結果として出力する。ここでは公知の円ハフ変換の技術を用いる。 The pupil circle detection unit 15 detects the pupil from all the edges detected by the edge detection unit 12 (specifically, the pupil is detected as a circle in the image), and the center coordinates and radius of the circle are determined as the first pupil. While outputting as a detection result, a pupil is detected also only from the edge selected by the feature amount selection unit 14, and the center coordinates and radius of the circle are output as a second pupil detection result. Here, a known circle Hough transform technique is used.
瞳孔位置判定部１６は、瞳孔円検出部１５により検出された第１瞳孔検出結果と第２瞳孔検出結果とから、あらかじめ定められている基準（より正確な瞳孔を選択できる基準）に基づき一方の瞳孔検出結果を瞳孔として検出する。ここでは円の中心が高い位置にある方の瞳孔検出結果を瞳孔として検出する。
［２ 処理］
次に、瞳孔検出装置１が実行する具体的な処理手順について説明する。
The pupil position determination unit 16 selects one of the first pupil detection result and the second pupil detection result detected by the pupil circle detection unit 15 based on a predetermined criterion (a criterion for selecting a more accurate pupil). The pupil detection result is detected as a pupil. Here, the pupil detection result with the higher center of the circle is detected as the pupil.
[2 processing]
Next, a specific processing procedure executed by the pupil detection device 1 will be described.
図２は、瞳孔検出装置１が実行する瞳孔検出処理を示すフローチャートである。この瞳孔検出処理は、車両のイグニションスイッチがオンになることで開始される。
まずＳ１１０では、カメラ２によって撮影された運転者の顔画像を表す画像データを取得する。このＳ１１０の処理は、顔画像取得部１０としての処理に相当する。
FIG. 2 is a flowchart showing pupil detection processing executed by the pupil detection device 1. This pupil detection process is started when the ignition switch of the vehicle is turned on.
First, in S110, image data representing a driver's face image taken by the camera 2 is acquired. The process of S110 corresponds to the process as the face image acquisition unit 10.
続いてＳ１２０では、顔形状モデルを用いて、Ｓ１１０で取得した画像データのフィッティングを行うことで眼の領域を検出する。このＳ１２０の処理は、眼検出部１１としての処理に相当する。 In S120, the eye area is detected by fitting the image data acquired in S110 using the face shape model. The process of S120 corresponds to the process as the eye detection unit 11.
ここで顔形状モデルについて図を用いて説明する。図３（ａ）は基本形状ｓ0、図３（ｂ）は形状ベクトルｓ1、図３（ｃ）は形状ベクトルｓ2、図３（ｄ）は形状ベクトルｓ3をそれぞれ表している。なお、図３（ｂ），（ｃ），（ｄ）では、ベクトルの始点を明確にするために、基本形状ｓ0の上にベクトルｓ1，ｓ2，ｓ3を上書きしている。 Here, the face shape model will be described with reference to the drawings. 3A shows the basic shape s 0 , FIG. 3B shows the shape vector s 1 , FIG. 3C shows the shape vector s 2 , and FIG. 3D shows the shape vector s 3 . In FIGS. 3B, 3C and 3D, the vectors s 1 , s 2 and s 3 are overwritten on the basic shape s 0 in order to clarify the starting point of the vector.
顔形状モデルは、正面顔を三角形状の複数のメッシュで表現した基本形状（base shape）ｓ0（図３（ａ）を参照）と、基本形状ｓ0からの顔向き方向を示すｎ個（ｎは自然数）の形状ベクトル（shape vector）ｓi（ｉ＝１，２，３・・・，ｎ）（図３（ｂ），（ｃ），（ｄ）を参照）とが予め設定されており、これら基本形状ｓ0及びｎ個の形状ベクトルｓiを用いて（１）式により計算することにより、人間の顔の形状を表現する。 The face shape model includes a basic shape (base shape) s 0 (see FIG. 3A) in which the front face is represented by a plurality of triangular meshes, and n pieces of face directions from the basic shape s 0 ( n is a natural number) and a shape vector (shape vector) s i (i = 1, 2, 3,..., n) (see FIGS. 3B, 3C, and 3D) is preset. The shape of the human face is expressed by calculating the basic shape s 0 and n shape vectors s i according to the equation (1).
更に顔形状モデルは、正面顔についての基本となるアピアランスを示す画像（base appearance image）Ａ0（ｘ）（以下「基本アピアランス像Ａ0（ｘ）」という。）と、アピアランスのフィッティングの際に基本アピアランス像Ａ0（ｘ）に重ね合わせるためのｍ個（ｍは自然数）のアピアランス像（appearance image）Ａi（ｘ）（ｉ＝１，２，３・・・，ｍ）とが予め設定されており、これら基本アピアランス像Ａ0（ｘ）及びｍ個のアピアランス像Ａi（ｘ）を用いて（２）式で計算することにより人間の顔のアピアランスを表現する。 Further, the face shape model is a base appearance image A 0 (x) (hereinafter referred to as “basic appearance image A 0 (x)”) indicating the appearance of the front face, and when fitting the appearance. M (m is a natural number) appearance images A i (x) (i = 1, 2, 3,..., M) to be superimposed on the basic appearance image A 0 (x) are set in advance. The appearance of the human face is expressed by calculating with the formula (2) using these basic appearance images A 0 (x) and m appearance images A i (x).
すなわちＳ１２０では、（１）式及び（２）式で得られる画像が、Ｓ１１０で取得した顔画像に一致するように、重ね合せ係数ｐi及び重ね合せ係数λiを変化させるフィッティングを行う（図４を参照）。 That is, in S120, fitting is performed to change the superposition coefficient p i and the superposition coefficient λ i so that the images obtained by the expressions (1) and (2) match the face image acquired in S110 (FIG. 4).
なお、瞳孔検出装置１は、性別、年代、人種に応じて異なる複数種類の基本形状ｓ0、ｎ個の形状ベクトルｓi、基本アピアランス像Ａ0（ｘ）、及びｍ個のアピアランス像Ａi（ｘ）を記憶している。そして瞳孔検出装置１は、ユーザ（運転者）が自身の性別、年代、人種に応じて複数種類のｓ0，ｓi，Ａ0（ｘ），Ａi（ｘ）から１つのｓ0，ｓi，Ａ0（ｘ），Ａi（ｘ）を選択できるように構成されている。 Note that the pupil detection device 1 includes a plurality of types of basic shapes s 0 , n shape vectors s i , basic appearance images A 0 (x), and m appearance images A that differ according to gender, age, and race. i (x) is stored. The pupil detection device 1, the user (driver) has its own sex, age, a plurality of types of s 0, depending on race, s i, A 0 (x ), A i (x) from one s 0, s i , A 0 (x), A i (x) can be selected.
続いてＳ１３０では、Ｓ１２０で検出した眼の領域内で予め用意しておいた閾値により二値化処理を行った後、ソーベルフィルタによってエッジを検出する。このＳ１３０の処理は、エッジ検出部１２としての処理に相当する。 Subsequently, in S130, binarization processing is performed using a threshold prepared in advance in the eye region detected in S120, and then an edge is detected by a Sobel filter. The process of S130 corresponds to the process as the edge detection unit 12.
続いてＳ１４０では、Ｓ１３０で検出したエッジから瞳孔を円として検出し、その結果を瞳孔データ３として出力する瞳孔円検出処理を行う。なお瞳孔データ３としては、前述のとおり瞳孔を表す円の中心座標及び半径を出力する。この処理を実行して瞳孔検出処理を終了する。 Subsequently, in S140, the pupil is detected as a circle from the edge detected in S130, and pupil circle detection processing for outputting the result as pupil data 3 is performed. As pupil data 3, the center coordinates and radius of a circle representing the pupil are output as described above. This process is executed to end the pupil detection process.
次にＳ１４０にて行われる瞳孔円検出処理をさらに詳しく説明する。図５は、瞳孔円検出処理を示すフローチャートである。
まずＳ２１０では、顔形状モデルを用いて、眼形状として上瞼輪郭を検出する。前述のＳ１２０にて顔形状モデルにより眼の領域が検出されると同時に顔形状モデルの眼に関係する複数の三角形メッシュの頂点座標（以下「顔特徴点」ともいう。）から上瞼輪郭が検出できる。
Next, the pupil circle detection process performed in S140 will be described in more detail. FIG. 5 is a flowchart showing pupil circle detection processing.
First, in S210, an upper eyelid contour is detected as an eye shape using a face shape model. In S120 described above, the eye area is detected by the face shape model, and at the same time, the upper eyelid contour is detected from the vertex coordinates (hereinafter also referred to as “face feature points”) of a plurality of triangle meshes related to the eyes of the face shape model. it can.
具体的には、図６に示すように顔形状モデルにより眼の領域が検出された時の顔特徴点ＦＰ１、ＦＰ２、ＦＰ３、ＦＰ４から上瞼輪郭を検出することができる。このＳ２１０の処理は、眼形状検出部１３としての処理に相当する。 Specifically, as shown in FIG. 6, the upper eyelid contour can be detected from the face feature points FP1, FP2, FP3, and FP4 when the eye region is detected by the face shape model. The process of S210 corresponds to the process as the eye shape detection unit 13.
続いてＳ２２０では、瞳孔に沿ったエッジのみを選択する特徴量選択処理が行われる。ここでは、Ｓ２１０により得られた上瞼位置であるＦＰ２、ＦＰ３を使用して特徴量選択を行う。具体的には、まず、ＦＰ２、ＦＰ３を通る直線Ｌを算出し、その直線Ｌ上に瞼端点である目尻の位置ＦＰ１及び目頭の位置ＦＰ４からそれぞれ垂直に下ろした二点を両端とする線分をその直線Ｌから切り出す（図７（ａ））。 Subsequently, in S220, a feature amount selection process for selecting only edges along the pupil is performed. Here, feature quantity selection is performed using FP2 and FP3 which are the upper eyelid positions obtained in S210. Specifically, first, a straight line L passing through FP2 and FP3 is calculated, and a line segment having two ends vertically extending from the position FP1 of the corner of the eyelid and the position FP4 of the head of the eye on the straight line L. Is cut out from the straight line L (FIG. 7A).
次に、その線分から一定量だけ下がった位置までの領域（以下「エッジ除去領域」という。）に存在するエッジを上瞼に沿ったエッジとして削除する。なお、本実施形態では、一定量として５画素分下がった位置までの領域に存在するエッジを除去する（図７（ｂ））。このように一定の画素分下がった領域を除去する理由は、上瞼に沿ったエッジを確実に除去するためである。このＳ２２０の処理は、特徴量選択部１４としての処理に相当する。 Next, an edge existing in a region from the line segment to a position lowered by a certain amount (hereinafter referred to as “edge removal region”) is deleted as an edge along the upper eyelid. In the present embodiment, the edge existing in the region up to a position lowered by 5 pixels as a fixed amount is removed (FIG. 7B). The reason for removing the region lowered by a certain pixel in this way is to surely remove the edge along the upper eyelid. The process of S220 corresponds to the process as the feature amount selection unit 14.
続いてＳ２３０では、Ｓ１３０で検出した全てのエッジに対して円ハフ変換を施して瞳孔を円として検出し、その円の中心座標及び半径を第１瞳孔検出結果とするとともに、Ｓ２２０で選択した瞳孔に沿ったエッジのみに対しても円ハフ変換を施して瞳孔を円として検出し、その円の中心座標及び半径を第２瞳孔検出結果とする。このＳ２３０の処理は、瞳孔円検出部１５としての処理に相当する。 Subsequently, in S230, all the edges detected in S130 are subjected to circular Hough transformation to detect the pupil as a circle, the center coordinates and radius of the circle are set as the first pupil detection result, and the pupil selected in S220 is selected. A circle Hough transform is also applied to only the edge along the circle to detect the pupil as a circle, and the center coordinates and radius of the circle are used as the second pupil detection result. The process of S230 corresponds to the process as the pupil circle detection unit 15.
続いてＳ２４０の瞳孔位置判定処理を実行して、あらかじめ定められている基準（より正確な瞳孔を選択できる基準）として円の中心座標が高い方を選択し、その瞳孔検出結果を瞳孔データ３として出力する。このＳ２４０の処理は、瞳孔位置判定部１６としての処理に相当する。その後、この瞳孔円検出処理を終了する。 Subsequently, the pupil position determination process of S240 is executed, and the higher one of the center coordinates of the circle is selected as a predetermined reference (a reference for selecting a more accurate pupil), and the pupil detection result is used as pupil data 3. Output. The process of S240 corresponds to the process as the pupil position determination unit 16. Thereafter, the pupil circle detection process is terminated.
次にＳ２４０にて行われる瞳孔位置判定処理をさらに詳しく説明する。図８は、瞳孔位置判定処理を示すフローチャートである。
まずＳ３１０では、第１瞳孔検出結果の円の中心座標の高さが第２瞳孔検出結果の円の中心座標の高さ以上であるか否かを判定する。
Next, the pupil position determination process performed in S240 will be described in more detail. FIG. 8 is a flowchart showing pupil position determination processing.
First, in S310, it is determined whether or not the height of the center coordinate of the circle of the first pupil detection result is equal to or higher than the height of the center coordinate of the circle of the second pupil detection result.
第１瞳孔検出結果の円の中心座標の高さが第２瞳孔検出結果の円の中心座標の高さ以上である場合（Ｓ３１０：ＹＥＳ）、Ｓ３２０に進み、そうでない場合（Ｓ３１０：ＮＯ）、Ｓ３３０に進む。 When the height of the center coordinate of the circle of the first pupil detection result is equal to or higher than the height of the center coordinate of the circle of the second pupil detection result (S310: YES), the process proceeds to S320, otherwise (S310: NO), Proceed to S330.
Ｓ３２０では、第１瞳孔検出結果の方が高いか同じ高さである場合であるから、第１瞳孔検出結果を瞳孔データ３として出力して、この瞳孔位置判定処理を終了する。
Ｓ３３０では、第２瞳孔検出結果の方が高い場合であるから、第２瞳孔検出結果を瞳孔データ３として出力して、この瞳孔位置判定処理を終了する。
［３ 効果］
以上説明したとおり、本実施形態の瞳孔検出装置１によれば、検出された全てのエッジにより検出された第１瞳孔検出結果と、眼の形状に基づき瞳孔に沿ったエッジのみから検出された第２瞳孔検出結果とが比較されて、検出結果としての円の中心座標がより高い位置にある方が検出結果として選ばれるので（Ｓ３１０〜Ｓ３３０）、より正確な円が瞳孔として検出されることになり、エッジにノイズがのっていたような場合であっても影響を受けず、精度よく瞳孔を検出することができる。
In S320, since the first pupil detection result is higher or the same height, the first pupil detection result is output as the pupil data 3, and the pupil position determination process is terminated.
In S330, since the second pupil detection result is higher, the second pupil detection result is output as pupil data 3, and the pupil position determination process is terminated.
[3 effects]
As described above, according to the pupil detection device 1 of the present embodiment, the first pupil detection result detected by all the detected edges and the first detection from only the edge along the pupil based on the eye shape. Since the detection result is selected by comparing the two pupil detection results and the center coordinate of the circle as the detection result is higher (S310 to S330), a more accurate circle is detected as the pupil. Thus, even if the noise is on the edge, it is not affected and the pupil can be accurately detected.
特に、近赤外線を運転者の顔に対し両横から照射する場合は、瞳孔の両側にノイズがのる場合が多いが必ずノイズがのるとは限らず、かつ瞳孔が上瞼以外の原因により隠れることはほとんどないことを考えると、第１瞳孔検出結果と第２瞳孔検出結果の中心座標の高さで比較することは、極めて瞳孔検出の精度を上げるものといえる。 In particular, when near-infrared rays are emitted from both sides of the driver's face, noise often appears on both sides of the pupil. However, noise is not always present, and the pupil is not due to upper eyelids. Considering that there is almost no hiding, it can be said that comparing the heights of the center coordinates of the first pupil detection result and the second pupil detection result extremely increases the accuracy of pupil detection.
また第２瞳孔検出結果を検出するにあたっては上瞼輪郭に沿ったエッジを除去することにより選択した瞳孔に沿ったエッジのみを使って瞳孔の検出を行うため（Ｓ２１０〜Ｓ２３０）、上瞼輪郭という眼の形状による影響を排除することができ、精度よく瞳孔を検出することができる。 Further, in detecting the second pupil detection result, since the pupil is detected using only the edge along the selected pupil by removing the edge along the upper eyelid contour (S210 to S230), it is called the upper eyelid contour. The influence of the eye shape can be eliminated, and the pupil can be detected with high accuracy.
特に、瞳孔が上瞼以外の原因により隠れることはほとんどないことから、本実施形態の瞳孔検出装置１では、上瞼の輪郭に沿ったエッジのみを除去するようにしている。このため、少ない処理量で効率よく瞳孔検出の精度を向上させることができる。 In particular, since the pupil is hardly hidden due to causes other than the upper eyelid, in the pupil detection device 1 of the present embodiment, only the edge along the contour of the upper eyelid is removed. For this reason, the accuracy of pupil detection can be improved efficiently with a small amount of processing.
また眼形状検出部１３が、顔形状モデルにより眼の形状を検出するため（Ｓ２１０）、精度よく眼形状を検出することができる。また眼検出部１１でも顔形状モデルにより眼を検出するため（Ｓ１２０）、両者で同じ処理を用いることができ、簡素な処理で実現できる。
［４ 特許請求の範囲との対応］
なお本実施形態において、顔画像取得部１０が取得手段、眼検出部１１が眼検出手段、エッジ検出部１２がエッジ検出手段、眼形状検出部１３が形状検出手段、特徴量選択部１４が選択手段、瞳孔円検出部１５及び瞳孔位置判定部１６が瞳孔検出手段にそれぞれ相当する。
［５ 他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
Further, since the eye shape detection unit 13 detects the eye shape from the face shape model (S210), the eye shape can be detected with high accuracy. Further, since the eye detection unit 11 also detects eyes with the face shape model (S120), the same processing can be used for both, and can be realized with simple processing.
[4 Correspondence with Claims]
In this embodiment, the face image acquisition unit 10 is an acquisition unit, the eye detection unit 11 is an eye detection unit, the edge detection unit 12 is an edge detection unit, the eye shape detection unit 13 is a shape detection unit, and the feature amount selection unit 14 is selected. The pupil circle detection unit 15 and the pupil position determination unit 16 correspond to the pupil detection unit.
[5 Other Embodiments]
As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, As long as it belongs to the technical scope of this invention, a various form can be taken.
例えば、上記実施形態では、第１瞳孔検出結果と第２瞳孔検出結果とを円の中心座標の高さで比較して高い方を選択するものとしたが（Ｓ３１０）、これに代えて、第１瞳孔検出結果と第２瞳孔検出結果との円の半径が大きい方を基準とすることもできる。このようにしても、多くの場合、正確に瞳孔を検出できる。この場合の処理はＳ３１０の条件を変更するだけであり、その他の処理は上記実施態様と同様である。 For example, in the above embodiment, the first pupil detection result and the second pupil detection result are compared with the height of the center coordinates of the circle, and the higher one is selected (S310). The larger one of the circle radius of the first pupil detection result and the second pupil detection result may be used as a reference. Even in this case, in many cases, the pupil can be accurately detected. The process in this case only changes the conditions in S310, and the other processes are the same as in the above embodiment.
同じく、画像内で瞳孔の大きさだけが検出されるような場合であれば、その面積を比較して大きい方を選択するようにＳ３１０を設定することもできる。
また例えば、上記実施形態においては、選択されたエッジに対して、円ハフ変換を施して瞳孔を円として検出したが、最小二乗法による楕円検出によって瞳孔を検出してもよい。
Similarly, if only the size of the pupil is detected in the image, the area can be compared and S310 can be set to select the larger one.
Further, for example, in the above embodiment, the pupil is detected as a circle by performing circular Hough transform on the selected edge, but the pupil may be detected by ellipse detection by the least square method.
また上記実施形態では、上瞼輪郭によるエッジ除去領域を上瞼に沿ったエッジから算出した直線から線分を切り出し、その線分の５画素分としたが、この画素数については、ＦＰ１とＦＰ２又はＦＰ３とＦＰ４との画像上での高さの差から適宜決定してもよい。 In the above-described embodiment, the edge removal region based on the upper eyelid contour is cut out from the straight line calculated from the edge along the upper eyelid to obtain five pixels of the line segment. However, the number of pixels is FP1 and FP2. Or you may determine suitably from the difference in the height on the image of FP3 and FP4.
このエッジ除去領域については直線ではなく、ベジエ曲線やスプライン曲線などの方法により曲線を求めて、所定の画素数分下げる形で設定してもよい。このように曲線を切り出せば直線で切り出した場合に比べて、除去する領域を小さくすることができ、瞳孔に沿ったエッジを多く残すことができる。 The edge removal region may be set in such a manner that a curve is obtained by a method such as a Bezier curve or a spline curve instead of a straight line and is lowered by a predetermined number of pixels. If the curve is cut out in this way, the area to be removed can be made smaller than in the case of cutting out with a straight line, and many edges along the pupil can be left.
また上記実施形態では、眼の形状として上瞼輪郭に沿ったエッジのみを除去するものとしたが、これに限定されるものではなく、例えば下瞼に沿ったエッジも除去するようにしてもよい。この場合、運転者が眼を細めるなどして、瞳孔が下瞼によっても隠れるような場合でも正確に瞳孔の位置を検出できる。 In the above embodiment, only the edge along the upper eyelid contour is removed as the eye shape. However, the present invention is not limited to this. For example, the edge along the lower eyelid may also be removed. . In this case, the position of the pupil can be accurately detected even when the driver narrows his eyes or the like and the pupil is also hidden by the lower eyelid.
さらにエッジ検出処理における二値化処理においては、二値化に使用する閾値を事前に用意しておく代わりに、公知の判別分析法を使用してその都度決定してもよい。これにより、顔画像が全体として明るくなった場合や暗くなった場合などの照明変動にも頑健に二値化処理することができる。 Further, in the binarization process in the edge detection process, instead of preparing a threshold value used for binarization in advance, it may be determined each time using a known discriminant analysis method. Thereby, it is possible to perform binarization processing robustly against illumination fluctuations such as when the face image becomes bright or dark as a whole.
また上記実施形態においては、運転者が自身の性別、年代、人種に応じて、ｓ0，ｓi，Ａ0（ｘ）及びＡi（ｘ）を選択できるように構成されているものを示したが、選択条件としては性別、年代、人種に限られない。また、性別、年代、人種等の条件に依存することなく利用できるｓ0，ｓi，Ａ0（ｘ）及びＡi（ｘ）を用意しておいてもよい。これにより、本装置の使用者がｓ0，ｓi，Ａ0（ｘ），Ａi（ｘ）を選択する手間を省略することができる。 In the above embodiment, the driver is configured to be able to select s 0 , s i , A 0 (x) and A i (x) according to his / her gender, age, and race. As shown, selection conditions are not limited to gender, age, or race. Further, s 0 , s i , A 0 (x) and A i (x) that can be used without depending on conditions such as sex, age, race, etc. may be prepared. Thereby, it is possible to save the user of this apparatus from selecting s 0 , s i , A 0 (x), A i (x).
この眼の領域及び眼の形状の検出については、顔形状モデルによらず、テンプレートマッチングの手法によってもよい。
さらに上記実施形態では、車両に搭載され、運転者の顔の画像を一つのカメラから撮影する構成としたが、これは必ずしも一つのカメラに限定されるものではなく、二つ以上のカメラによるステレオ画像を用いることもできる。
The detection of the eye region and the eye shape may be performed by a template matching method regardless of the face shape model.
Further, in the above-described embodiment, the configuration is such that the image of the driver's face is taken from a single camera mounted on the vehicle, but this is not necessarily limited to a single camera, and a stereo by two or more cameras. Images can also be used.
また本発明の瞳孔検出装置は、必ずしも車両に搭載されるものに限らなくてもよく、例えば、電車、航空機、船舶などの運転席、医療用機械、シミュレーション機、その他ゲーム機などに搭載してもよい。 In addition, the pupil detection device of the present invention is not necessarily limited to that mounted on a vehicle. For example, the pupil detection device may be mounted on a driver's seat such as a train, an aircraft, a ship, a medical machine, a simulation machine, and other game machines. Also good.
１…瞳孔検出装置、２…カメラ、３…瞳孔データ、１０…顔画像取得部、１１…眼検出部、１２…エッジ検出部、１３…眼形状検出部、１４…特徴量選択部、１５…瞳孔円検出部、１６…瞳孔位置判定部 DESCRIPTION OF SYMBOLS 1 ... Pupil detection apparatus, 2 ... Camera, 3 ... Pupil data, 10 ... Face image acquisition part, 11 ... Eye detection part, 12 ... Edge detection part, 13 ... Eye shape detection part, 14 ... Feature-value selection part, 15 ... Pupil circle detection unit, 16 ... Pupil position determination unit
Claims (9)
前記取得手段により取得された画像から眼を検出する眼検出手段と、
前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、
前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段とを備えた瞳孔検出装置であって、
眼の形状を検出する形状検出手段と、
前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段とを備え、
前記瞳孔検出手段は、前記エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出すること
を特徴とする瞳孔検出装置。 Obtaining means for obtaining an image of a person's face;
Eye detection means for detecting eyes from the image acquired by the acquisition means;
Edge detection means for detecting an edge in an eye area detected by the eye detection means;
A pupil detection device comprising pupil detection means for detecting a pupil from the edge detected by the edge detection means,
Shape detection means for detecting the shape of the eye;
A selection unit that selects only an edge along the pupil from the edge detected by the edge detection unit based on the shape of the eye detected by the shape detection unit;
The pupil detection means includes a first pupil detection result in which the pupil is detected from all edges detected by the edge detection means, and a second pupil detection result in which the pupil is detected only from the edge selected by the selection means. A pupil detection device characterized by comparing and detecting a higher position as a pupil.
前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段とを備えた瞳孔検出装置であって、 A pupil detection device comprising pupil detection means for detecting a pupil from the edge detected by the edge detection means,
眼の形状を検出する形状検出手段と、 Shape detection means for detecting the shape of the eye;
前記形状検出人の顔を撮影した画像を取得する取得手段と、 Obtaining means for obtaining an image of the face of the shape detection person;
前記取得手段により取得された画像から眼を検出する眼検出手段と、 Eye detection means for detecting eyes from the image acquired by the acquisition means;
前記手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段とを備え、 Selecting means for selecting only the edge along the pupil from the edges detected by the edge detection means based on the shape of the eye detected by the means;
前記瞳孔検出手段は、前記エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、大きい方を瞳孔として検出すること The pupil detection means includes a first pupil detection result in which the pupil is detected from all edges detected by the edge detection means, and a second pupil detection result in which the pupil is detected only from the edge selected by the selection means. Compare and detect the larger as the pupil
を特徴とする瞳孔検出装置。 A pupil detection device characterized by the above.
前記取得手段により取得された画像から眼を検出する眼検出手段と、 Eye detection means for detecting eyes from the image acquired by the acquisition means;
前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、 Edge detection means for detecting an edge in an eye area detected by the eye detection means;
前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段とを備えた瞳孔検出装置であって、 A pupil detection device comprising pupil detection means for detecting a pupil from the edge detected by the edge detection means,
顔形状モデルにより眼の形状を検出する形状検出手段と、 Shape detection means for detecting the shape of the eye by a face shape model;
前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段とを備え、 A selection unit that selects only an edge along the pupil from the edge detected by the edge detection unit based on the shape of the eye detected by the shape detection unit;
前記瞳孔検出手段は、前記エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、あらかじめ定められている基準に基づき一方の瞳孔検出結果を瞳孔として検出すること The pupil detection means includes a first pupil detection result in which the pupil is detected from all edges detected by the edge detection means, and a second pupil detection result in which the pupil is detected only from the edge selected by the selection means. Comparing and detecting one pupil detection result as a pupil based on a predetermined standard
を特徴とする瞳孔検出装置。 A pupil detection device characterized by the above.
前記選択手段は、前記形状検出手段により検出された瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択すること
を特徴とする請求項１乃至３のいずれか記載の瞳孔検出装置。 The shape detecting means detects the outline of the eyelid as the shape of the eye,
4. The pupil according to claim 1, wherein the selection unit selects only the edge along the pupil by removing the edge along the contour of the eyelid detected by the shape detection unit. 5. Detection device.
前記選択手段は、前記形状検出手段により検出された上瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択すること
を特徴とする請求項４記載の瞳孔検出装置。 The shape detecting means detects the contour of the upper eyelid as the contour of the eyelid,
The pupil detection device according to claim 4, wherein the selection unit selects only an edge along the pupil by removing an edge along the contour of the upper eyelid detected by the shape detection unit.
前記取得手段により取得された画像から眼を検出する眼検出手段と、 Eye detection means for detecting eyes from the image acquired by the acquisition means;
前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、 Edge detection means for detecting an edge in an eye area detected by the eye detection means;
前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段としてコンピュータを機能させる瞳孔検出装置用プログラムであって、 A pupil detection device program for causing a computer to function as pupil detection means for detecting a pupil from an edge detected by the edge detection means,
眼の形状を検出する形状検出手段と、 Shape detection means for detecting the shape of the eye;
前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段としてコンピュータを機能させ、 Based on the shape of the eye detected by the shape detection means, the computer functions as a selection means for selecting only the edges along the pupil from the edges detected by the edge detection means,
前記瞳孔検出手段は、前記エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出すること The pupil detection means includes a first pupil detection result in which the pupil is detected from all edges detected by the edge detection means, and a second pupil detection result in which the pupil is detected only from the edge selected by the selection means. Compare and detect the higher position as the pupil
を特徴とする瞳孔検出装置用プログラム。 A pupil detection device program characterized by the above.
前記取得ステップで取得した画像から眼を検出する眼検出ステップと、 An eye detection step of detecting an eye from the image acquired in the acquisition step;
前記眼検出ステップで検出した眼の領域内でエッジを検出するエッジ検出ステップと、 An edge detection step for detecting an edge in the eye region detected in the eye detection step;
前記エッジ検出ステップで検出したエッジから瞳孔を検出する瞳孔検出ステップとを備えた瞳孔検出方法であって、 A pupil detection method comprising a pupil detection step of detecting a pupil from the edge detected in the edge detection step,
眼の形状を検出する形状検出ステップと、 A shape detection step for detecting the shape of the eye;
前記形状検出ステップで検出した眼の形状に基づいて、前記エッジ検出ステップで検出したエッジから瞳孔に沿ったエッジのみを選択する選択ステップとを備え、 A selection step of selecting only edges along the pupil from the edges detected in the edge detection step based on the shape of the eye detected in the shape detection step;
前記瞳孔検出ステップは、前記エッジ検出ステップで検出した全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択ステップで選択したエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、高い位置にある方を瞳孔として検出すること The pupil detection step compares the first pupil detection result in which the pupil is detected from all the edges detected in the edge detection step and the second pupil detection result in which the pupil is detected only from the edge selected in the selection step. Detecting the higher position as a pupil
を特徴とする瞳孔検出方法。 A pupil detection method characterized by the above.
前記取得手段により取得された画像から眼を検出する眼検出手段と、 Eye detection means for detecting eyes from the image acquired by the acquisition means;
前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、 Edge detection means for detecting an edge in an eye area detected by the eye detection means;
前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段としてコンピュータを機能させる瞳孔検出装置用プログラムであって、 A pupil detection device program for causing a computer to function as pupil detection means for detecting a pupil from an edge detected by the edge detection means,
眼の形状を検出する形状検出手段と、 Shape detection means for detecting the shape of the eye;
前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段としてコンピュータを機能させ、 Based on the shape of the eye detected by the shape detection means, the computer functions as a selection means for selecting only the edges along the pupil from the edges detected by the edge detection means,
前記瞳孔検出手段は、前記エッジ検出手段により検出された全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択手段によって選択されたエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、大きい方を瞳孔として検出すること The pupil detection means includes a first pupil detection result in which the pupil is detected from all edges detected by the edge detection means, and a second pupil detection result in which the pupil is detected only from the edge selected by the selection means. Compare and detect the larger as the pupil
を特徴とする瞳孔検出装置用プログラム。 A pupil detection device program characterized by the above.
前記取得ステップで取得した画像から眼を検出する眼検出ステップと、 An eye detection step of detecting an eye from the image acquired in the acquisition step;
前記眼検出ステップで検出した眼の領域内でエッジを検出するエッジ検出ステップと、 An edge detection step for detecting an edge in the eye region detected in the eye detection step;
前記エッジ検出ステップで検出したエッジから瞳孔を検出する瞳孔検出ステップとを備えた瞳孔検出方法であって、 A pupil detection method comprising a pupil detection step of detecting a pupil from the edge detected in the edge detection step,
眼の形状を検出する形状検出ステップと、 A shape detection step for detecting the shape of the eye;
前記形状検出ステップで検出した眼の形状に基づいて、前記エッジ検出ステップで検出したエッジから瞳孔に沿ったエッジのみを選択する選択ステップとを備え、 A selection step of selecting only edges along the pupil from the edges detected in the edge detection step based on the shape of the eye detected in the shape detection step;
前記瞳孔検出ステップは、前記エッジ検出ステップで検出した全てのエッジから瞳孔を検出した第１瞳孔検出結果と、前記選択ステップで選択したエッジのみから瞳孔を検出した第２瞳孔検出結果とを比較し、大きい方を瞳孔として検出すること The pupil detection step compares the first pupil detection result in which the pupil is detected from all the edges detected in the edge detection step and the second pupil detection result in which the pupil is detected only from the edge selected in the selection step. Detecting the larger as a pupil
を特徴とする瞳孔検出方法。 A pupil detection method characterized by the above.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008226407A JP4623172B2 (en) | 2008-09-03 | 2008-09-03 | Pupil detection device, program for pupil detection device, and pupil detection method |
| US12/585,053 US8345922B2 (en) | 2008-09-03 | 2009-09-01 | Apparatus for detecting a pupil, program for the same, and method for detecting a pupil |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008226407A JP4623172B2 (en) | 2008-09-03 | 2008-09-03 | Pupil detection device, program for pupil detection device, and pupil detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010057683A JP2010057683A (en) | 2010-03-18 |
| JP4623172B2 true JP4623172B2 (en) | 2011-02-02 |
Family
ID=42185181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008226407A Expired - Fee Related JP4623172B2 (en) | 2008-09-03 | 2008-09-03 | Pupil detection device, program for pupil detection device, and pupil detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4623172B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9053389B2 (en) | 2012-12-03 | 2015-06-09 | Analog Devices, Inc. | Hough transform for circles |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5601179B2 (en) * | 2010-12-01 | 2014-10-08 | 富士通株式会社 | Gaze detection apparatus and gaze detection method |
| JP5962268B2 (en) * | 2012-07-09 | 2016-08-03 | カシオ計算機株式会社 | Image processing apparatus, image processing method, image generation method, and program |
| WO2016131075A1 (en) | 2015-02-20 | 2016-08-25 | Seeing Machines Limited | Glare reduction |
| AU2017430168A1 (en) * | 2017-09-01 | 2020-02-20 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06138373A (en) * | 1992-10-29 | 1994-05-20 | Canon Inc | Sight line detecting device |
| JP2008158922A (en) * | 2006-12-26 | 2008-07-10 | Aisin Seiki Co Ltd | Eyelid detection apparatus, eyelid detection method, and program |
-
2008
- 2008-09-03 JP JP2008226407A patent/JP4623172B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06138373A (en) * | 1992-10-29 | 1994-05-20 | Canon Inc | Sight line detecting device |
| JP2008158922A (en) * | 2006-12-26 | 2008-07-10 | Aisin Seiki Co Ltd | Eyelid detection apparatus, eyelid detection method, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9053389B2 (en) | 2012-12-03 | 2015-06-09 | Analog Devices, Inc. | Hough transform for circles |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010057683A (en) | 2010-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8345922B2 (en) | Apparatus for detecting a pupil, program for the same, and method for detecting a pupil | |
| JP4537104B2 (en) | Marker detection method, marker detection device, position and orientation estimation method, and mixed reality space presentation method | |
| JP5061645B2 (en) | Information extraction method, information extraction device, program, registration device, and verification device | |
| CN101523411B (en) | Eye opening detection system and method of detecting eye opening | |
| JP5221436B2 (en) | Facial feature point detection apparatus and program | |
| EP2338416B1 (en) | Line-of-sight direction determination device and line-of-sight direction determination method | |
| EP2131589B1 (en) | Image processing device, image processing method, and image processing program | |
| JP4263737B2 (en) | Pedestrian detection device | |
| JP4793269B2 (en) | Sleepiness detection device | |
| US7907752B2 (en) | Face center position detecting device, face center position detecting method, and computer-readable medium | |
| JP4623172B2 (en) | Pupil detection device, program for pupil detection device, and pupil detection method | |
| JP4999731B2 (en) | Face image processing device | |
| JP2001101429A (en) | Method and device for observing face, and recording medium for face observing processing | |
| JP6840697B2 (en) | Line-of-sight direction estimation device, line-of-sight direction estimation method, and line-of-sight direction estimation program | |
| JP2013225205A (en) | Smoking detection device and program | |
| JP6855872B2 (en) | Face recognition device | |
| JP4645433B2 (en) | Graphic center detection method, ellipse detection method, image recognition device, control device | |
| EP2693399A1 (en) | Method and apparatus for tomography imaging | |
| JP2017161965A (en) | Face image processing apparatus | |
| JP5362405B2 (en) | Pupil measuring device, pupil measuring method and pupil measuring program | |
| JP4623171B2 (en) | Pupil detection device, program for pupil detection device, and pupil detection method | |
| JP2003271932A (en) | Sight line direction detector | |
| US11161470B2 (en) | Occupant observation device | |
| JP2008203995A (en) | Object shape generation method, object shape generation device and program | |
| JP7078386B2 (en) | Image processing equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101018 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4623172 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |