JP4623171B2 - Pupil detection device, program for pupil detection device, and pupil detection method - Google Patents
Pupil detection device, program for pupil detection device, and pupil detection method Download PDFInfo
- Publication number
- JP4623171B2 JP4623171B2 JP2008226406A JP2008226406A JP4623171B2 JP 4623171 B2 JP4623171 B2 JP 4623171B2 JP 2008226406 A JP2008226406 A JP 2008226406A JP 2008226406 A JP2008226406 A JP 2008226406A JP 4623171 B2 JP4623171 B2 JP 4623171B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- edge
- eye
- shape
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、人の顔を撮影した画像から瞳孔を検出するための瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法に関する。 The present invention relates to a pupil detection device, a pupil detection device program, and a pupil detection method for detecting a pupil from an image obtained by photographing a human face.
従来、カメラにより撮影した人の顔画像から眼の領域や瞳孔中心の位置を検出し、視線を算出する技術が知られている。例えば特許文献１記載の発明では、テンプレートマッチング手法により画像上の眼の領域を検出し、得られた眼の領域内においてエッジを抽出し、得られたエッジに対して円ハフ変換を使用して瞳孔の円方程式を求め、瞳孔中心を検出する。そして、得られた眼の領域と瞳孔中心との位置関係から視線を算出する。
しかしながら、瞳孔の輪郭は、常に完全な形で検出できるものではなく、顔の向きや視線の向きによっては瞳孔の一部が瞼に隠れてしまうこともある。また、眼の形状も個人差があるため、人によっては、正面を向いている状態においても瞳孔の一部が瞼に隠れることがある。例えば、図９（ａ）に示すように瞳孔（黒目における中心の黒い部分であり、図面上やや大きめに示している。）の上部が上瞼に隠れている状態でエッジを検出しようとした場合、図９（ｂ）に示すように上瞼のエッジと瞳孔のエッジとが見かけ上連続して検出され、そのようなエッジに対して円ハフ変換を施した場合、図９（ｃ）に示すように瞼に基づくエッジの影響を受けるため、瞳孔の位置を誤って検出してしまうという問題があった。 However, the outline of the pupil cannot always be detected completely, and a part of the pupil may be hidden behind the eyelid depending on the direction of the face or the direction of the line of sight. In addition, since there are individual differences in eye shape, some pupils may be hidden behind the eyelids even when facing the front. For example, as shown in FIG. 9A, when an edge is to be detected in a state where the upper part of the pupil (the central black part of the black eye and slightly larger in the drawing) is hidden in the upper eyelid. As shown in FIG. 9 (b), when the upper eyelid edge and the pupil edge are detected in succession and circular Hough transform is applied to such an edge, it is shown in FIG. 9 (c). Thus, there is a problem that the position of the pupil is erroneously detected due to the influence of the edge based on the eyelid.
本発明は、こうした問題に鑑みなされたものであり、瞳孔の一部が隠れた場合でも精度よく瞳孔を検出することができる瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法を提供することを目的とする。 The present invention has been made in view of these problems, and provides a pupil detection device, a pupil detection device program, and a pupil detection method that can accurately detect a pupil even when a portion of the pupil is hidden. Objective.
上記目的を達成するためになされた請求項１記載の発明は、取得手段、眼検出手段、エッジ検出手段及び瞳孔検出手段を備えた瞳孔検出装置である。そして、取得手段は、人の顔を撮影した画像を取得し、眼検出手段は、取得手段により取得された画像から眼を検出し、エッジ検出手段は、眼検出手段により検出された眼の領域内でエッジを検出し、瞳孔検出手段は、エッジ検出手段により検出されたエッジから瞳孔を検出する。さらに、本発明の瞳孔検出装置は、形状検出手段及び選択手段を備え、形状検出手段は、顔形状モデルにより眼の形状を検出し、選択手段は、形状検出手段により検出された眼の形状に基づいて、エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する。そして、瞳孔検出手段は、選択手段によって選択されたエッジから瞳孔を検出する。 In order to achieve the above object, the invention according to claim 1 is a pupil detection device including an acquisition unit, an eye detection unit, an edge detection unit, and a pupil detection unit. Then, the acquisition unit acquires an image obtained by photographing a human face, the eye detection unit detects an eye from the image acquired by the acquisition unit, and the edge detection unit detects an eye area detected by the eye detection unit. The edge is detected within the pupil, and the pupil detection means detects the pupil from the edge detected by the edge detection means. Furthermore, the pupil detection device of the present invention includes a shape detection unit and a selection unit, the shape detection unit detects the shape of the eye based on a face shape model , and the selection unit converts the eye shape detected by the shape detection unit. Based on the edge detected by the edge detection means, only the edge along the pupil is selected. Then, the pupil detection means detects the pupil from the edge selected by the selection means.
かかる請求項１記載の瞳孔検出装置によれば、眼の形状に基づいて選択した瞳孔に沿ったエッジのみから瞳孔の検出を行うため、眼の形状による影響を排除することができ、精度よく瞳孔を検出することができる。
さらに顔形状モデルによるため、精度よく眼形状を検出することができる。また、眼検出手段についても顔形状モデルを利用することができるため、その場合は両者で同じ処理を用いることができ、簡素な処理で実現できる。
According to the pupil detection device of claim 1, since the pupil is detected only from the edge along the pupil selected based on the shape of the eye, the influence of the shape of the eye can be eliminated, and the pupil can be accurately detected. Can be detected.
Furthermore, because of the face shape model, the eye shape can be detected with high accuracy. In addition, since the face shape model can be used also for the eye detection means, in that case, the same processing can be used in both cases, which can be realized by simple processing.
なお、ここにいう眼を検出するとは、具体的には、眼の領域を画像内で特定することをいう。またエッジとは、画像を二値化してフィルタリングするなどの画像処理により抽出されるエッジ点群をいい、画像内で輝度や色彩が異なる領域の境界線を指す。 Note that “detecting an eye” as used herein specifically refers to specifying an eye region in an image. An edge is a group of edge points extracted by image processing such as binarizing and filtering an image, and indicates a boundary line of a region having different luminance and color in the image.
請求項２記載の発明は、請求項１記載の瞳孔検出装置において、形状検出手段が、眼の形状として瞼の輪郭を検出し、選択手段が、形状検出手段により検出された瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択する。 According to a second aspect of the present invention, in the pupil detection device according to the first aspect, the shape detecting means detects the contour of the eyelid as the shape of the eye, and the selecting means follows the contour of the eyelid detected by the shape detecting means. Only edges along the pupil are selected by removing those edges.
かかる請求項２記載の瞳孔検出装置によれば、瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択するため、瞼の輪郭の影響を受けることが少なくなり精度よく瞳孔を検出することができる。 According to such a pupil detection device according to claim 2, since only the edge along the pupil is selected by removing the edge along the contour of the eyelid, the influence of the contour of the eyelid is reduced, and the pupil is accurately detected. Can be detected.
請求項３記載の発明は、請求項２記載の瞳孔検出装置において、形状検出手段が、瞼の輪郭として上瞼の輪郭を検出し、選択手段が、形状検出手段により検出された上瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択する。 According to a third aspect of the present invention, in the pupil detection device according to the second aspect, the shape detection means detects the contour of the upper eyelid as the contour of the eyelid, and the selection means detects the contour of the upper eyelid detected by the shape detection means. Only edges along the pupil are selected by removing edges along.
かかる請求項３記載の瞳孔検出装置によれば、特に瞳孔が隠れることが多い上瞼の輪郭に沿ったエッジを除去することで精度よく瞳孔を検出できるとともに、除去する領域が上瞼に制限されるため処理量が少なくて済む。 According to the pupil detection device of the third aspect, the pupil can be detected accurately by removing an edge along the contour of the upper eyelid, in which the pupil is often hidden, and the area to be removed is limited to the upper eyelid. Therefore, the processing amount is small.
請求項４記載の発明は、人の顔を撮影した画像を取得する取得手段と、取得手段により取得された画像から眼を検出する眼検出手段と、眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段としてコンピュータを機能させる瞳孔検出装置用プログラムであり、さらに、顔形状モデルにより眼の形状を検出する形状検出手段と、形状検出手段により検出された眼の形状に基づいて、エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段としてコンピュータを機能させ、瞳孔検出手段は、選択手段によって選択されたエッジから瞳孔を検出する。 The invention according to claim 4 is an acquisition means for acquiring an image obtained by photographing a human face, an eye detection means for detecting an eye from the image acquired by the acquisition means, and an eye area detected by the eye detection means. Is a program for a pupil detection device that causes a computer to function as an edge detection means for detecting an edge and a pupil detection means for detecting a pupil from the edge detected by the edge detection means, and further detects the shape of the eye using a face shape model And a computer that functions as a selection unit that selects only an edge along the pupil from the edge detected by the edge detection unit based on the shape of the eye detected by the shape detection unit and the pupil detection unit. The pupil is detected from the edge selected by the selection means.
かかる請求項４記載の瞳孔検出装置用プログラムによれば、請求項１記載の瞳孔検出装置としてコンピュータを機能させることができ、同様の効果を得ることができる。
請求項５記載の発明は、取得ステップ、眼検出ステップ、エッジ検出ステップ、瞳孔検出ステップを備えた瞳孔検出方法である。そして、取得ステップでは、人の顔を撮影した画像を取得し、眼検出ステップでは、取得ステップで取得した画像から眼を検出し、エッジ検出ステップでは、眼検出ステップで検出した眼の領域内でエッジを検出し、瞳孔検出ステップでは、エッジ検出ステップで検出したエッジから瞳孔を検出する。さらに、本発明の瞳孔検出方法は、形状検出ステップ、選択ステップを備え、形状検出ステップでは、顔形状モデルにより眼の形状を検出し、選択ステップでは、形状検出ステップで検出した眼の形状に基づいて、エッジ検出ステップで検出したエッジから瞳孔に沿ったエッジのみを選択する。そして、瞳孔検出ステップでは、選択ステップで選択したエッジから瞳孔を検出する。
According to the pupil detection device program according to the fourth aspect , the computer can function as the pupil detection device according to the first aspect, and the same effect can be obtained.
The invention described in claim 5 is a pupil detection method comprising an acquisition step, an eye detection step, an edge detection step, and a pupil detection step. In the acquisition step, an image obtained by photographing a human face is acquired. In the eye detection step, eyes are detected from the image acquired in the acquisition step. In the edge detection step, within the eye area detected in the eye detection step. In the pupil detection step, the pupil is detected from the edge detected in the edge detection step. Furthermore, the pupil detection method of the present invention includes a shape detection step and a selection step. In the shape detection step, an eye shape is detected by a face shape model , and in the selection step, based on the eye shape detected in the shape detection step. Thus, only edges along the pupil are selected from the edges detected in the edge detection step. In the pupil detection step, the pupil is detected from the edge selected in the selection step.
かかる請求項５記載の瞳孔検出方法によれば、請求項１記載の発明と同様の効果を得ることができる。 According to the pupil detection method of the fifth aspect, the same effect as that of the first aspect of the invention can be obtained.
以下、本発明の実施形態について図面とともに説明する。
［１ 構成］
図１は、実施形態の瞳孔検出装置１の概略構成を表すブロック図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[1 Configuration]
FIG. 1 is a block diagram illustrating a schematic configuration of a pupil detection device 1 of the embodiment.
この瞳孔検出装置１は、車両に搭載されて用いられるものであって、コンピュータを中心に構成されており、図１に示すように、顔画像取得部１０、眼検出部１１、エッジ検出部１２、眼形状検出部１３、特徴量選択部１４及び瞳孔円検出部１５として機能する。 The pupil detection device 1 is used by being mounted on a vehicle, and is configured around a computer. As shown in FIG. 1, a face image acquisition unit 10, an eye detection unit 11, and an edge detection unit 12 are used. , Function as an eye shape detection unit 13, a feature amount selection unit 14, and a pupil circle detection unit 15.
顔画像取得部１０は、カメラ２によって撮影された顔画像をキャプチャして一時的に記憶する画像キャプチャボード（図示せず）から、その顔画像を表す画像データを取得する。 The face image acquisition unit 10 acquires image data representing the face image from an image capture board (not shown) that captures and temporarily stores the face image taken by the camera 2.
ここで、カメラ２は、車両室内における運転席に着座している運転者の顔を正面から撮影できる位置に配置されている。具体的には、カメラ２は、インストルメントパネル内の計器盤又はその近傍に設置されている。このカメラ２は、イメージセンサとして例えばＣＣＤ又はＣＭＯＳを備えるとともに、人の顔が明瞭に撮影できるような焦点距離のレンズが装着される。 Here, the camera 2 is arranged at a position where the face of the driver seated in the driver's seat in the vehicle compartment can be photographed from the front. Specifically, the camera 2 is installed on the instrument panel in the instrument panel or in the vicinity thereof. The camera 2 includes, for example, a CCD or CMOS as an image sensor, and a lens having a focal length that allows a human face to be clearly photographed.
また運転者の顔に向けて左右から近赤外線を照射する２台の投光機（図示せず）がインストルメントパネル内の計器盤に設置されており、カメラ２の近傍に配置されている。運転者の眼に近赤外線を照射することで、眼の領域内における運転者の瞳孔を画像上明確に認識できるようになる。 Also, two projectors (not shown) that irradiate near infrared rays from the left and right toward the driver's face are installed on the instrument panel in the instrument panel, and are arranged in the vicinity of the camera 2. By irradiating the driver's eyes with near-infrared rays, the driver's pupil in the eye region can be clearly recognized on the image.
眼検出部１１は、顔画像取得部１０により取得された画像データの表す画像内で、顔が撮影されている領域から眼の領域を検出する。本実施形態では、眼の領域を検出する方法として顔形状モデルを用いる。例えば、「I. Matthews and S. Baker, "Active Appearance Models Revisited," International Journal of Computer Vision, Vol. 60, No. 2, November, 2004, pp. 135 - 164.」記載の技術を用いることができる。 The eye detection unit 11 detects an eye region from the region where the face is photographed in the image represented by the image data acquired by the face image acquisition unit 10. In this embodiment, a face shape model is used as a method for detecting an eye region. For example, using the technique described in “I. Matthews and S. Baker,“ Active Appearance Models Revisited, ”International Journal of Computer Vision, Vol. 60, No. 2, November, 2004, pp. 135-164.” it can.
エッジ検出部１２は、眼検出部１１により検出された眼の領域内にてエッジを検出する。具体的には、まず画像を所定の閾値により二値化処理して、公知のソーベルフィルタを用いることにより画像内で輝度や色彩が異なる領域の境界線をエッジとして検出する。 The edge detection unit 12 detects an edge in the eye region detected by the eye detection unit 11. Specifically, first, the image is binarized with a predetermined threshold value, and a boundary line of a region having different luminance and color is detected as an edge in the image by using a known Sobel filter.
眼形状検出部１３は、眼検出部１１により検出された眼の領域から、撮影された眼の上瞼の形状（以下「上瞼輪郭」という。）を検出する。これについても前述した顔形状モデルを用いる。 The eye shape detection unit 13 detects the shape of the upper eyelid of the photographed eye (hereinafter referred to as “upper eye contour”) from the eye area detected by the eye detection unit 11. Also for this, the face shape model described above is used.
特徴量選択部１４は、エッジ検出部１２により検出されたエッジから、眼形状検出部１３により検出された上瞼輪郭に沿ったエッジを除去することにより、瞳孔に沿ったエッジのみを選択する。 The feature amount selection unit 14 selects only the edge along the pupil by removing the edge along the upper eyelid contour detected by the eye shape detection unit 13 from the edge detected by the edge detection unit 12.
瞳孔円検出部１５は、特徴量選択部１４により選択されたエッジから瞳孔を検出（具体的には、瞳孔を画像内の円として検出）し、その円の中心座標及び半径を瞳孔データ３として出力する。ここでは公知の円ハフ変換の技術を用いる。
［２ 処理］
次に、瞳孔検出装置１が実行する具体的な処理手順について説明する。
The pupil circle detection unit 15 detects the pupil from the edge selected by the feature amount selection unit 14 (specifically, the pupil is detected as a circle in the image), and the center coordinates and radius of the circle are used as the pupil data 3. Output. Here, a known circle Hough transform technique is used.
[2 processing]
Next, a specific processing procedure executed by the pupil detection device 1 will be described.
図２は、瞳孔検出装置１が実行する瞳孔検出処理を示すフローチャートである。この瞳孔検出処理は、車両のイグニションスイッチがオンになることで開始される。
まずＳ１１０では、カメラ２によって撮影された運転者の顔画像を表す画像データを取得する。このＳ１１０の処理は、顔画像取得部１０としての処理に相当する。
FIG. 2 is a flowchart showing pupil detection processing executed by the pupil detection device 1. This pupil detection process is started when the ignition switch of the vehicle is turned on.
First, in S110, image data representing a driver's face image taken by the camera 2 is acquired. The process of S110 corresponds to the process as the face image acquisition unit 10.
続いてＳ１２０では、顔形状モデルを用いて、Ｓ１１０で取得した画像データのフィッティングを行うことで眼の領域を検出する。このＳ１２０の処理は、眼検出部１１としての処理に相当する。 In S120, the eye area is detected by fitting the image data acquired in S110 using the face shape model. The process of S120 corresponds to the process as the eye detection unit 11.
ここで顔形状モデルについて図を用いて説明する。図３（ａ）は基本形状ｓ0、図３（ｂ）は形状ベクトルｓ1、図３（ｃ）は形状ベクトルｓ2、図３（ｄ）は形状ベクトルｓ3をそれぞれ表している。なお、図３（ｂ），（ｃ），（ｄ）では、ベクトルの始点を明確にするために、基本形状ｓ0の上にベクトルｓ1，ｓ2，ｓ3を上書きしている。 Here, the face shape model will be described with reference to the drawings. 3A shows the basic shape s 0 , FIG. 3B shows the shape vector s 1 , FIG. 3C shows the shape vector s 2 , and FIG. 3D shows the shape vector s 3 . In FIGS. 3B, 3C and 3D, the vectors s 1 , s 2 and s 3 are overwritten on the basic shape s 0 in order to clarify the starting point of the vector.
顔形状モデルは、正面顔を三角形状の複数のメッシュで表現した基本形状（base shape）ｓ0（図３（ａ）を参照）と、基本形状ｓ0からの顔向き方向を示すｎ個（ｎは自然数）の形状ベクトル（shape vector）ｓi（ｉ＝１，２，３・・・，ｎ）（図３（ｂ），（ｃ），（ｄ）を参照）とが予め設定されており、これら基本形状ｓ0及びｎ個の形状ベクトルｓiを用いて（１）式により計算することにより、人間の顔の形状を表現する。 The face shape model includes a basic shape (base shape) s 0 (see FIG. 3A) in which the front face is represented by a plurality of triangular meshes, and n pieces of face directions from the basic shape s 0 ( n is a natural number) and a shape vector (shape vector) s i (i = 1, 2, 3,..., n) (see FIGS. 3B, 3C, and 3D) is preset. The shape of the human face is expressed by calculating the basic shape s 0 and n shape vectors s i according to the equation (1).
更に顔形状モデルは、正面顔についての基本となるアピアランスを示す画像（base appearance image）Ａ0（ｘ）（以下「基本アピアランス像Ａ0（ｘ）」という。）と、アピアランスのフィッティングの際に基本アピアランス像Ａ0（ｘ）に重ね合わせるためのｍ個（ｍは自然数）のアピアランス像（appearance image）Ａi（ｘ）（ｉ＝１，２，３・・・，ｍ）とが予め設定されており、これら基本アピアランス像Ａ0（ｘ）及びｍ個のアピアランス像Ａi（ｘ）を用いて（２）式で計算することにより人間の顔のアピアランスを表現する。 Further, the face shape model is a base appearance image A 0 (x) (hereinafter referred to as a “basic appearance image A 0 (x)”) indicating the appearance of the front face, and when fitting the appearance. M (m is a natural number) appearance images A i (x) (i = 1, 2, 3,..., M) to be superimposed on the basic appearance image A 0 (x) are set in advance. The appearance of the human face is expressed by calculating with the formula (2) using these basic appearance images A 0 (x) and m appearance images A i (x).
すなわちＳ１２０では、（１）式及び（２）式で得られる画像が、Ｓ１１０で取得した顔画像に一致するように、重ね合せ係数ｐi及び重ね合せ係数λiを変化させるフィッティングを行う（図４を参照）。 That is, in S120, fitting is performed to change the superposition coefficient p i and the superposition coefficient λ i so that the images obtained by the expressions (1) and (2) match the face image acquired in S110 (FIG. 4).
なお、瞳孔検出装置１は、性別、年代、人種に応じて異なる複数種類の基本形状ｓ0、ｎ個の形状ベクトルｓi、基本アピアランス像Ａ0（ｘ）、及びｍ個のアピアランス像Ａi（ｘ）を記憶している。そして瞳孔検出装置１は、ユーザ（運転者）が自身の性別、年代、人種に応じて複数種類のｓ0，ｓi，Ａ0（ｘ），Ａi（ｘ）から１つのｓ0，ｓi，Ａ0（ｘ），Ａi（ｘ）を選択できるように構成されている。 Note that the pupil detection device 1 includes a plurality of types of basic shapes s 0 , n shape vectors s i , basic appearance images A 0 (x), and m appearance images A that differ according to gender, age, and race. i (x) is stored. The pupil detection device 1, the user (driver) has its own sex, age, a plurality of types of s 0, depending on race, s i, A 0 (x ), A i (x) from one s 0, s i , A 0 (x), A i (x) can be selected.
続いてＳ１３０では、Ｓ１２０で検出した眼の領域内で予め用意しておいた閾値により二値化処理を行った後、ソーベルフィルタによってエッジを検出する。このＳ１３０の処理は、エッジ検出部１２としての処理に相当する。 Subsequently, in S130, binarization processing is performed using a threshold prepared in advance in the eye region detected in S120, and then an edge is detected by a Sobel filter. The process of S130 corresponds to the process as the edge detection unit 12.
続いてＳ１４０では、Ｓ１３０で検出したエッジから瞳孔を円として検出し、その結果を瞳孔データ３として出力する瞳孔円検出処理を行う。なお瞳孔データ３としては、前述のとおり瞳孔を表す円の中心座標及び半径を出力する。この処理を実行して瞳孔検出処理を終了する。 Subsequently, in S140, the pupil is detected as a circle from the edge detected in S130, and pupil circle detection processing for outputting the result as pupil data 3 is performed. As pupil data 3, the center coordinates and radius of a circle representing the pupil are output as described above. This process is executed to end the pupil detection process.
次にＳ１４０にて行われる瞳孔円検出処理をさらに詳しく説明する。図５は、瞳孔円検出処理を示すフローチャートである。
まずＳ２１０では、顔形状モデルを用いて、眼形状として上瞼輪郭を検出する。前述のＳ１２０にて顔形状モデルにより眼の領域が検出されると同時に顔形状モデルの眼に関係する複数の三角形メッシュの頂点座標（以下「顔特徴点」ともいう。）から上瞼輪郭が検出できる。
Next, the pupil circle detection process performed in S140 will be described in more detail. FIG. 5 is a flowchart showing pupil circle detection processing.
First, in S210, an upper eyelid contour is detected as an eye shape using a face shape model. In S120 described above, the eye area is detected by the face shape model, and at the same time, the upper eyelid contour is detected from the vertex coordinates (hereinafter also referred to as “face feature points”) of a plurality of triangle meshes related to the eyes of the face shape model. it can.
具体的には、図６に示すように顔形状モデルにより眼の領域が検出された時の顔特徴点ＦＰ１、ＦＰ２、ＦＰ３、ＦＰ４から上瞼輪郭を検出することができる。このＳ２１０の処理は、眼形状検出部１３としての処理に相当する。 Specifically, as shown in FIG. 6, the upper eyelid contour can be detected from the face feature points FP1, FP2, FP3, and FP4 when the eye region is detected by the face shape model. The process of S210 corresponds to the process as the eye shape detection unit 13.
続いてＳ２２０では、瞳孔に沿ったエッジのみを選択する特徴量選択処理が行われる。ここでは、Ｓ２１０により得られた上瞼位置であるＦＰ２、ＦＰ３を使用して特徴量選択を行う。具体的には、まず、ＦＰ２、ＦＰ３を通る直線Ｌを算出し、その直線Ｌ上に瞼端点である目尻の位置ＦＰ１及び目頭の位置ＦＰ４からそれぞれ垂直に下ろした二点を両端とする線分をその直線Ｌから切り出す（図７（ａ））。 Subsequently, in S220, a feature amount selection process for selecting only edges along the pupil is performed. Here, feature quantity selection is performed using FP2 and FP3 which are the upper eyelid positions obtained in S210. Specifically, first, a straight line L passing through FP2 and FP3 is calculated, and a line segment having two ends vertically extending from the position FP1 of the corner of the eyelid and the position FP4 of the head of the eye on the straight line L. Is cut out from the straight line L (FIG. 7A).
次に、その線分から一定量だけ下がった位置までの領域（以下「エッジ除去領域」という。）に存在するエッジを上瞼に沿ったエッジとして削除する。なお、本実施形態では、一定量として５画素分下がった位置までの領域に存在するエッジを除去する（図７（ｂ））。このように一定の画素分下がった領域を除去する理由は、上瞼に沿ったエッジを確実に除去するためである。このＳ２２０の処理は、特徴量選択部１４としての処理に相当する。 Next, an edge existing in a region from the line segment to a position lowered by a certain amount (hereinafter referred to as “edge removal region”) is deleted as an edge along the upper eyelid. In the present embodiment, the edge existing in the region up to a position lowered by 5 pixels as a fixed amount is removed (FIG. 7B). The reason for removing the region lowered by a certain pixel in this way is to surely remove the edge along the upper eyelid. The process of S220 corresponds to the process as the feature amount selection unit 14.
続いてＳ２３０では、Ｓ２２０で選択したエッジに対し、公知の円ハフ変換を施して瞳孔を円として検出し、その円の中心座標及び半径を出力する。具体的には、Ｓ２２０で上瞼輪郭に沿うエッジを除去して瞳孔に沿ったエッジを選択した後（図８（ａ））、このＳ２３０で円ハフ変換を施して瞳孔に沿った円の中心及び半径を検出する（図８（ｂ））。 Subsequently, in S230, the edge selected in S220 is subjected to a known circle Hough transform to detect the pupil as a circle, and the center coordinates and radius of the circle are output. Specifically, after removing the edge along the upper eyelid contour in S220 and selecting the edge along the pupil (FIG. 8A), the center of the circle along the pupil is subjected to circular Hough transformation in S230. Then, the radius is detected (FIG. 8B).
このＳ２３０の処理は、瞳孔円検出部１５としての処理に相当する。この処理を実行して瞳孔円検出処理を終了する。
［３ 効果］
以上説明したとおり、本実施形態の瞳孔検出装置１によれば、上瞼輪郭に沿ったエッジを除去することにより選択した瞳孔に沿ったエッジのみを使って瞳孔の検出を行うため（Ｓ２１０〜Ｓ２３０）、上瞼輪郭による影響を排除することができ、精度よく瞳孔を検出することができる。
The process of S230 corresponds to the process as the pupil circle detection unit 15. This process is executed to end the pupil circle detection process.
[3 effects]
As described above, according to the pupil detection device 1 of the present embodiment, the pupil is detected using only the edge along the selected pupil by removing the edge along the upper eyelid contour (S210 to S230). ), The influence of the upper eyelid contour can be eliminated, and the pupil can be detected with high accuracy.
特に、瞳孔が上瞼以外の原因により隠れることはほとんどないことから、本実施形態の瞳孔検出装置１では、上瞼の輪郭に沿ったエッジのみを除去するようにしている。このため、少ない処理量で効率よく瞳孔検出の精度を向上させることができる。 In particular, since the pupil is hardly hidden due to causes other than the upper eyelid, in the pupil detection device 1 of the present embodiment, only the edge along the contour of the upper eyelid is removed. For this reason, the accuracy of pupil detection can be improved efficiently with a small amount of processing.
また眼形状検出部１３が、顔形状モデルにより眼の形状を検出するため（Ｓ２１０）、精度よく眼形状を検出することができる。また眼検出部１１でも顔形状モデルにより眼を検出するため（Ｓ１２０）、両者で同じ処理を用いることができ、簡素な処理で実現できる。
［４ 特許請求の範囲との対応］
なお本実施形態において、顔画像取得部１０が取得手段、眼検出部１１が眼検出手段、エッジ検出部１２がエッジ検出手段、眼形状検出部１３が形状検出手段、特徴量選択部１４が選択手段、瞳孔円検出部１５が瞳孔検出手段にそれぞれ相当する。
［５ 他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
Further, since the eye shape detection unit 13 detects the eye shape from the face shape model (S210), the eye shape can be detected with high accuracy. Further, since the eye detection unit 11 also detects eyes with the face shape model (S120), the same processing can be used for both, and can be realized with simple processing.
[4 Correspondence with Claims]
In this embodiment, the face image acquisition unit 10 is an acquisition unit, the eye detection unit 11 is an eye detection unit, the edge detection unit 12 is an edge detection unit, the eye shape detection unit 13 is a shape detection unit, and the feature amount selection unit 14 is selected. The pupil circle detector 15 corresponds to the pupil detector.
[5 Other Embodiments]
As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, As long as it belongs to the technical scope of this invention, a various form can be taken.
例えば、上記実施形態においては、選択されたエッジに対して、円ハフ変換を施して瞳孔を円として検出したが、最小二乗法による楕円検出によって瞳孔を検出してもよい。
また上記実施形態では、上瞼輪郭によるエッジ除去領域を上瞼輪郭から算出した直線から線分を切り出し、その線分の５画素分としたが、この画素数については、ＦＰ１とＦＰ２又はＦＰ３とＦＰ４との画像上での高さの差から適宜決定してもよい。
For example, in the above embodiment, the pupil is detected as a circle by performing circular Hough transform on the selected edge, but the pupil may be detected by ellipse detection by the least square method.
Further, in the above embodiment, the edge removal area by the upper eyelid contour is cut out from the straight line calculated from the upper eyelid contour to obtain five pixels of the line segment. You may determine suitably from the difference in the height on the image with FP4.
このエッジ除去領域については直線ではなく、ベジエ曲線やスプライン曲線などの方法により曲線を求めて、所定の画素数分下げる形で設定してもよい。このように曲線を切り出せば直線で切り出した場合に比べて、除去する領域を小さくすることができ、瞳孔に沿ったエッジを多く残すことができる。 The edge removal region may be set in such a manner that a curve is obtained by a method such as a Bezier curve or a spline curve instead of a straight line and is lowered by a predetermined number of pixels. If the curve is cut out in this way, the area to be removed can be made smaller than in the case of cutting out with a straight line, and many edges along the pupil can be left.
また上記実施形態では、眼の形状として上瞼輪郭に沿ったエッジのみを除去するものとしたが、これに限定されるものではなく、例えば下瞼に沿ったエッジも除去するようにしてもよい。この場合、運転者が眼を細めるなどして、瞳孔が下瞼によっても隠れるような場合でも正確に瞳孔の位置を検出できる。 In the above embodiment, only the edge along the upper eyelid contour is removed as the eye shape. However, the present invention is not limited to this. For example, the edge along the lower eyelid may also be removed. . In this case, the position of the pupil can be accurately detected even when the driver narrows his eyes or the like and the pupil is also hidden by the lower eyelid.
さらにエッジ検出処理における二値化処理においては、二値化に使用する閾値を事前に用意しておく代わりに、公知の判別分析法を使用してその都度決定してもよい。これにより、顔画像が全体として明るくなった場合や暗くなった場合などの照明変動にも頑健に二値化処理することができる。 Further, in the binarization process in the edge detection process, instead of preparing a threshold value used for binarization in advance, it may be determined each time using a known discriminant analysis method. Thereby, it is possible to perform binarization processing robustly against illumination fluctuations such as when the face image becomes bright or dark as a whole.
また上記実施形態においては、運転者が自身の性別、年代、人種に応じて、ｓ0，ｓi，Ａ0（ｘ）及びＡi（ｘ）を選択できるように構成されているものを示したが、選択条件としては性別、年代、人種に限られない。また、性別、年代、人種等の条件に依存することなく利用できるｓ0，ｓi，Ａ0（ｘ）及びＡi（ｘ）を用意しておいてもよい。これにより、本装置の使用者がｓ0，ｓi，Ａ0（ｘ），Ａi（ｘ）を選択する手間を省略することができる。 In the above embodiment, the driver is configured to be able to select s 0 , s i , A 0 (x) and A i (x) according to his / her gender, age, and race. As shown, selection conditions are not limited to gender, age, or race. Further, s 0 , s i , A 0 (x) and A i (x) that can be used without depending on conditions such as sex, age, race, etc. may be prepared. Thereby, it is possible to save the user of this apparatus from selecting s 0 , s i , A 0 (x), A i (x).
この眼の領域及び眼の形状の検出については、顔形状モデルによらず、テンプレートマッチングの手法によってもよい。
さらに上記実施形態では、車両に搭載され、運転者の顔の画像を一つのカメラから撮影する構成としたが、これは必ずしも一つのカメラに限定されるものではなく、二つ以上のカメラによるステレオ画像を用いることもできる。
The detection of the eye region and the eye shape may be performed by a template matching method regardless of the face shape model.
Further, in the above-described embodiment, the configuration is such that the image of the driver's face is taken from a single camera mounted on the vehicle, but this is not necessarily limited to a single camera, and a stereo by two or more cameras. Images can also be used.
また本発明の瞳孔検出装置は、必ずしも車両に搭載されるものに限らなくてもよく、例えば、電車、航空機、船舶などの運転席、医療用機械、シミュレーション機、その他ゲーム機などに搭載してもよい。 In addition, the pupil detection device of the present invention is not necessarily limited to that mounted on a vehicle. For example, the pupil detection device may be mounted on a driver's seat such as a train, an aircraft, a ship, a medical machine, a simulation machine, and other game machines. Also good.
１…瞳孔検出装置、２…カメラ、３…瞳孔データ、１０…顔画像取得部、１１…眼検出部、１２…エッジ検出部、１３…眼形状検出部、１４…特徴量選択部、１５…瞳孔円検出部 DESCRIPTION OF SYMBOLS 1 ... Pupil detection apparatus, 2 ... Camera, 3 ... Pupil data, 10 ... Face image acquisition part, 11 ... Eye detection part, 12 ... Edge detection part, 13 ... Eye shape detection part, 14 ... Feature-value selection part, 15 ... Pupil circle detector
Claims (5)
前記取得手段により取得された画像から眼を検出する眼検出手段と、
前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、
前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段とを備えた瞳孔検出装置であって、
顔形状モデルにより眼の形状を検出する形状検出手段と、
前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段とを備え、
前記瞳孔検出手段は、前記選択手段によって選択されたエッジから瞳孔を検出すること
を特徴とする瞳孔検出装置。 Obtaining means for obtaining an image of a person's face;
Eye detection means for detecting eyes from the image acquired by the acquisition means;
Edge detection means for detecting an edge in an eye area detected by the eye detection means;
A pupil detection device comprising pupil detection means for detecting a pupil from the edge detected by the edge detection means,
Shape detection means for detecting the shape of the eye by a face shape model ;
A selection unit that selects only an edge along the pupil from the edge detected by the edge detection unit based on the shape of the eye detected by the shape detection unit;
The pupil detection unit detects a pupil from the edge selected by the selection unit.
前記選択手段は、前記形状検出手段により検出された瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択すること
を特徴とする請求項１記載の瞳孔検出装置。 The shape detecting means detects the outline of the eyelid as the shape of the eye,
The pupil detection device according to claim 1, wherein the selection unit selects only the edge along the pupil by removing the edge along the contour of the eyelid detected by the shape detection unit.
前記選択手段は、前記形状検出手段により検出された上瞼の輪郭に沿ったエッジを除去することにより瞳孔に沿ったエッジのみを選択すること
を特徴とする請求項２記載の瞳孔検出装置。 The shape detecting means detects the contour of the upper eyelid as the contour of the eyelid,
The pupil detection device according to claim 2, wherein the selection unit selects only an edge along the pupil by removing an edge along the contour of the upper eyelid detected by the shape detection unit.
前記取得手段により取得された画像から眼を検出する眼検出手段と、 Eye detection means for detecting eyes from the image acquired by the acquisition means;
前記眼検出手段により検出された眼の領域内でエッジを検出するエッジ検出手段と、 Edge detection means for detecting an edge in an eye area detected by the eye detection means;
前記エッジ検出手段により検出されたエッジから瞳孔を検出する瞳孔検出手段としてコンピュータを機能させる瞳孔検出装置用プログラムであって、 A pupil detection device program for causing a computer to function as pupil detection means for detecting a pupil from an edge detected by the edge detection means,
顔形状モデルにより眼の形状を検出する形状検出手段と、 Shape detection means for detecting the shape of the eye by a face shape model;
前記形状検出手段により検出された眼の形状に基づいて、前記エッジ検出手段により検出されたエッジから瞳孔に沿ったエッジのみを選択する選択手段としてコンピュータを機能させ、 Based on the shape of the eye detected by the shape detection means, the computer functions as a selection means for selecting only the edges along the pupil from the edges detected by the edge detection means,
前記瞳孔検出手段は、前記選択手段によって選択されたエッジから瞳孔を検出すること The pupil detection means detects a pupil from the edge selected by the selection means.
を特徴とする瞳孔検出装置用プログラム。 A pupil detection device program characterized by the above.
前記取得ステップで取得した画像から眼を検出する眼検出ステップと、 An eye detection step of detecting an eye from the image acquired in the acquisition step;
前記眼検出ステップで検出した眼の領域内でエッジを検出するエッジ検出ステップと、 An edge detection step for detecting an edge in the eye region detected in the eye detection step;
前記エッジ検出ステップで検出したエッジから瞳孔を検出する瞳孔検出ステップとを備えた瞳孔検出方法であって、 A pupil detection method comprising a pupil detection step of detecting a pupil from the edge detected in the edge detection step,
顔形状モデルにより眼の形状を検出する形状検出ステップと、 A shape detection step for detecting the shape of the eye using a face shape model;
前記形状検出ステップで検出した眼の形状に基づいて、前記エッジ検出ステップで検出したエッジから瞳孔に沿ったエッジのみを選択する選択ステップとを備え、 A selection step of selecting only edges along the pupil from the edges detected in the edge detection step based on the shape of the eye detected in the shape detection step;
前記瞳孔検出ステップでは、前記選択ステップで選択したエッジから瞳孔を検出すること In the pupil detection step, the pupil is detected from the edge selected in the selection step.
を特徴とする瞳孔検出方法。 A pupil detection method characterized by the above.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008226406A JP4623171B2 (en) | 2008-09-03 | 2008-09-03 | Pupil detection device, program for pupil detection device, and pupil detection method |
| US12/585,053 US8345922B2 (en) | 2008-09-03 | 2009-09-01 | Apparatus for detecting a pupil, program for the same, and method for detecting a pupil |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008226406A JP4623171B2 (en) | 2008-09-03 | 2008-09-03 | Pupil detection device, program for pupil detection device, and pupil detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010057682A JP2010057682A (en) | 2010-03-18 |
| JP4623171B2 true JP4623171B2 (en) | 2011-02-02 |
Family
ID=42185180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008226406A Expired - Fee Related JP4623171B2 (en) | 2008-09-03 | 2008-09-03 | Pupil detection device, program for pupil detection device, and pupil detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4623171B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5718694B2 (en) * | 2011-03-23 | 2015-05-13 | パナソニック株式会社 | Pupil diameter detector |
| JP6142604B2 (en) * | 2013-03-21 | 2017-06-07 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
| JP2016028669A (en) * | 2014-07-23 | 2016-03-03 | 株式会社Ｊｖｃケンウッド | Pupil detection device and pupil detection method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06138373A (en) * | 1992-10-29 | 1994-05-20 | Canon Inc | Sight line detecting device |
| JP2008158922A (en) * | 2006-12-26 | 2008-07-10 | Aisin Seiki Co Ltd | Eyelid detection apparatus, eyelid detection method, and program |
-
2008
- 2008-09-03 JP JP2008226406A patent/JP4623171B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06138373A (en) * | 1992-10-29 | 1994-05-20 | Canon Inc | Sight line detecting device |
| JP2008158922A (en) * | 2006-12-26 | 2008-07-10 | Aisin Seiki Co Ltd | Eyelid detection apparatus, eyelid detection method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010057682A (en) | 2010-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8345922B2 (en) | Apparatus for detecting a pupil, program for the same, and method for detecting a pupil | |
| CN101523411B (en) | Eye opening detection system and method of detecting eye opening | |
| JP4537104B2 (en) | Marker detection method, marker detection device, position and orientation estimation method, and mixed reality space presentation method | |
| JP4623172B2 (en) | Pupil detection device, program for pupil detection device, and pupil detection method | |
| EP2131589B1 (en) | Image processing device, image processing method, and image processing program | |
| JP5061645B2 (en) | Information extraction method, information extraction device, program, registration device, and verification device | |
| EP3358298A1 (en) | Building height calculation method and apparatus, and storage medium | |
| EP3000386A1 (en) | Skin function evaluation device and skin evaluation method | |
| JP4445454B2 (en) | Face center position detection device, face center position detection method, and program | |
| JP4739870B2 (en) | Sunglasses detection device and face center position detection device | |
| JP5404358B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6855872B2 (en) | Face recognition device | |
| JP2010244178A (en) | Face feature point detection device and program | |
| WO2013157466A1 (en) | Smoking detection device, method and program | |
| JP4645433B2 (en) | Graphic center detection method, ellipse detection method, image recognition device, control device | |
| CN109886137A (en) | Infant sleeping posture detection method, device and computer readable storage medium | |
| JP2008167806A (en) | Sleepiness detector | |
| JP5362405B2 (en) | Pupil measuring device, pupil measuring method and pupil measuring program | |
| JP4623171B2 (en) | Pupil detection device, program for pupil detection device, and pupil detection method | |
| JP2009000410A (en) | Image processor and image processing method | |
| JP2008046691A (en) | Face image processor and program for computer | |
| JP7392368B2 (en) | Image processing device, system, program | |
| CN109089032A (en) | A kind of smog vision imaging device | |
| CN111353388A (en) | Living body detection method, living body detection device, electronic apparatus, and storage medium | |
| JP4664805B2 (en) | Face edge detection device, face edge detection method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101018 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4623171 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |