JP4032994B2

JP4032994B2 - Gaze direction detection device and gaze direction detection method

Info

Publication number: JP4032994B2
Application number: JP2003049919A
Authority: JP
Inventors: 竜士船山; 雅道大杉
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2003-02-26
Filing date: 2003-02-26
Publication date: 2008-01-16
Anticipated expiration: 2023-02-26
Also published as: JP2004254960A

Description

【０００１】
【発明の属する技術分野】
本発明は、検出対象となる目の視線方向を検出する視線方向検出装置および視線方向検出方法に関する。
【０００２】
【従来の技術】
自動車を運転する運転者などの視線方向を非接触で検出する技術として、従来、たとえば特開平７−１６７６１８号公報に開示された技術がある。この技術は、赤外線カメラと運転者の距離を計測し、赤外線カメラとの距離関係が既知の視線計測用カメラで運転者の眼球を撮影する。視線計測用カメラで撮影された眼球の角膜反射像、瞳孔中心等の位置から視線方向を算出するものである。
【０００３】
【特許文献１】
特開平７−１６７６１８号公報（４頁右欄、図１）
【０００４】
【発明が解決しようとする課題】
しかし、上記特許文献１に開示された技術では、視線計測用カメラで撮影された眼球の角膜反射像や瞳孔中心等から視線方向を求めるにすぎないものである。このため、正確な視線方向を求めているとは言い難いものであった。
【０００５】
そこで、本発明の課題は、視線方向を容易かつ正確に検出することができる視線方向検出装置および視線方向検出方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決した本発明に係る視線検出装置は、検出対象となる目の視線方向を検出する視線方向検出装置において、目をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラと、第１撮像手段および第２撮像手段で撮像された第１画像および第２画像から、目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出手段と、第１画像および第２画像から、目における黒目部分の中心位置を検出する黒目中心検出手段と、眼球の中心位置と、黒目部分の中心位置とに基づいて、目の視線の方向を求める視線方向検出手段と、を有するものである。
【０００７】
また、上記課題を解決した本発明に係る視線検出方法は、検出対象となる目の視線方向を検出する視線方向検出方法において、第１撮像手段および第２撮像手段によって、それぞれ検出対象を撮像する撮像工程と、第１撮像手段で撮像された第１画像と第２撮像手段で撮像された第２画像から、目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出工程と、第１画像および第２画像から、目における黒目部分の中心位置を検出する黒目中心検出工程と、眼球の中心位置と、黒目部分の中心位置とに基づいて、目の視線の方向を求める視線方向検出工程と、を備えることを特徴とするものである。
【０００８】
本発明に係る視線方向検出装置および検出方法においては、眼球の中心位置と黒目の中心位置とを求め、両中心位置に基づいて視線方向を検出している。人の視線は、眼球の中心を始点として黒目の中心を通ると考えられる。このため、視線方向を正確に検出することができる。
【０００９】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、各実施形態において、同一の機能を有する部分については同一の符号を付し、重複する説明は省略することがある。
【００１０】
図１は、本発明の実施形態に係る視線検出装置のブロック構成図である。図１に示すように、本実施形態に係る視線検出装置Ｄは、たとえば自動車の運転席に設けられ、運転者の視線を検出するために用いられる。この視線検出装置Ｄは、ステレオカメラ１および画像処理装置２を有している。ステレオカメラ１は、第１撮像手段である第１撮像装置１１および第２撮像手段である第２撮像装置１２を備えている。第１撮像装置１１および第２撮像装置１２には、同期装置１３が接続されており、それぞれ同期した状態で同一の対象物を撮像するようになっている。これらの第１撮像装置１１および第２撮像装置１２は、内部パラメータおよび相対的な位置関係は既知であり、同期装置１３で同期が取られた状態で視線検出対象となる目を含む顔画像を撮像することができる。
【００１１】
また、画像処理装置２は、画像間対応点探索部２１、三次元座標算出部２２、眼球中心算出部２３、黒目中心推定部２４、および視線方向計測部２５を有している。画像間対応点探索部２１は、第１撮像装置１１および第２撮像装置１２に接続されており、ステレオカメラ１における第１撮像装置１１および第２撮像装置１２に接続されている。第１撮像装置１１は、撮像した画像（第１画像）を画像間対応点探索部２１に出力し、第２撮像装置１２は、撮像した画像（第２画像）を画像間対応点探索部２１に出力する。画像間対応点探索部２１では、第１画像と第２画像との間の対応点を探索する。
【００１２】
三次元座標算出部２２は、画像間対応点探索部２１に接続されている。画像間対応点探索部２１は、三次元座標算出部２２に対応点を探索した第１画像および第２画像を出力する。三次元座標算出部２２では、対応付けられた第１画像および第２画像における所定の点の三次元座標を算出する。また、三次元座標算出部２２は、眼球中心算出部２３および黒目中心推定部２４に接続されている。眼球中心算出部２３は、三次元座標算出部２２から出力される所定の三次元座標に基づいて眼球の中心座標を算出する。また、黒目中心推定部２４では、三次元座標算出部２２から出力される所定の三次元座標に基づいて、黒目の中心となる黒目中心座標を算出する。
【００１３】
さらに、眼球中心算出部２３および黒目中心推定部２４は、本発明の視線方向検出手段である視線方向計測部２５に接続されており、それぞれ眼球中心座標および黒目中心座標を出力している。視線方向計測部２５では、出力された眼球中心座標および黒目中心座標に基づいて、視線方向を検出している。
【００１４】
以上の構成を有する本実施形態に係る視線検出方法について説明する。図２は、本実施形態に係る視線検出方法の手順を示すフローチャートである。図２に示すように、本実施形態に係る視線方向検出方法では、目周辺画像を取得する（Ｓ１）。目周辺画像は、あらかじめキャリブレーションされ、内部パラメータおよび相対的な位置関係が既知であるステレオカメラ１における第１撮像装置１１および第２撮像装置１２のそれぞれで同一の目の近傍を撮像することによって取得される。第１撮像装置１１および第２撮像装置１２は、それぞれ同期装置１３に接続されており、両撮像装置１１，１２の同期が取られている。
【００１５】
第１撮像装置１１で撮像された目周辺画像である第１画像および第２撮像装置１２で撮像された目周辺画像である第２画像は、画像処理装置２における画像間対応点探索部２１にそれぞれ出力される。画像間対応点探索部２１では、第１画像および第２画像から、第１画像および第２画像の間の対応付けを行う（Ｓ２）。第１画像および第２画像の間の対応付けは、たとえば黒目部分および白目部分について行い、黒目の対応付けは、黒目の輪郭を抽出して行う。
【００１６】
そのため、まず、図３（ａ）に示す画像Ｇ中における白色に近い色の領域だけを抽出するように、画像を白で二値化してエッジ処理を施し、図３（ｂ）に示すように白目を抽出した白色エッジ画像ＷＧを生成する。この白色エッジ画像ＷＧに対して、白色部分をわずかに膨張させる膨張処理を施し、図３（ｃ）に示す白色膨張エッジ画像ＷＥＧを生成する。このような白での二値化処理を行う一方、図３（ｄ）に示すように、黒色に近い色の領域だけを抽出するように、画像を黒で二値化してエッジ処理を施し、図３（ｄ）に示すように黒目を抽出した黒色エッジ画像ＢＧを生成する。この黒色エッジ画像ＢＧに対して、白色部分を膨張させる膨張処理を施し、図３（ｅ）に示す黒色膨張エッジ画像ＢＥＧを生成する。そして、それぞれ膨張処理を施して得られた白色膨張エッジ画像ＷＥＧおよび黒色膨張エッジ画像ＢＥＧ間で、同じ座標同士の画素でＡＮＤ演算を行う。その結果、図３（ｆ）に示すように、有意となった画素が輪郭エッジとなるエッジ画像ＥＧが生成される。
【００１７】
次に、白目部分の対応付けについて説明する。白目眼球上には、本発明の白目の特徴部分となる多くの微細な血管が存在し、これらの血管の配置はランダムとなっているので、同じパターンの血管が張っていることはほとんどない。このことから、血管のパターン同士によって対応点を取ることができる。白目眼球の対応点の取り方について図４を参照して説明する。
【００１８】
図４（ａ）は第１撮像装置１１で撮像した目およびその周辺の画像の模式図、図４（ｂ）は第２撮像装置１２で撮像した目およびその周辺の画像の模式図である。図４（ａ）に示すように、第１撮像装置１１で撮像した画像Ｇ１において、目Ｅの周辺には多数の血管Ｂ１，Ｂ２…が存在する。このうちのたとえば血管Ｂ１〜Ｂ３を含む矩形領域Ｒ１を指定し、この血管Ｂ１〜Ｂ３を含む矩形領域Ｒ１における参照パターンを検出する。
【００１９】
この参照パターンに対して、第２撮像装置１２で撮像した画像Ｇ２において、画像Ｇ１に指定された矩形領域Ｒ１の参照パターンにもっとも近い矩形領域を、下記（１）式を用いて探索する。この探索は、画像Ｇ１における矩形領域Ｒ１と画像Ｇ２における矩形領域の類似度（一致度）を算出することにより行われる。
【００２０】
【数１】

【００２１】
そして、（１）式により、画像Ｇ２において、画像Ｇ１における矩形領域Ｒ１に一致し、または最も類似する矩形領域Ｒ２を探索することができる。
【００２２】
こうして、黒目部分および白目部分のそれぞれの対応付けが済んだら、三次元座標算出部２２において、黒目部分および白目部分の三次元座標を求める（Ｓ３）。これらの三次元座標は、黒目部分および白目部分の血管パターンの画像上での二次元座標と２台のカメラの相対的な位置関係から求められる。具体的には、下記（２）式および（３）式を満たす（Ｘ，Ｙ，Ｚ）^Tを算出することによって求めることができる。
【００２３】
【数２】

【００２４】
上記（２）式および（３）式により、黒目部分における輪郭エッジの三次元座標および白目部分における血管上における１つの平面上にない任意の４点の三次元座標を算出する。
【００２５】
これらの三次元座標を求めたら、続いて、眼球中心算出部２３において、眼球の中心を算出する（Ｓ４）。眼球の中心は、上記（２）式および（３）によって求めた血管上における１つの平面上にない任意の４点の三次元座標から求める。一般に球の式は下記（４）式で与えられる。
【００２６】
【数３】

【００２７】
いま、眼球を球として考えると、眼球上の血管は、この球の表面に存在することになる。また、球の式を特定するためには、１つの平面上にない４点が与えられればよい。したがって、（２）式および（３）式によって求めた血管の三次元座標から、（４）式の定数ａ、ｂ、ｃ、ｒを求めることにより、眼球を示す球の中心座標（ａ、ｂ、ｃ）を得ることができる。
【００２８】
こうして眼球の中心を求めたら、黒目中心推定部２４において、黒目の中心の三次元座標を求める（Ｓ５）。ここで、黒目輪郭は円形（またはだ円形）を形成しているので、その中心は、下記（５）式に示すように、黒目輪郭上の点として計算した２点間の最大の点となる組の中心として算出できる。
【００２９】
【数４】

【００３０】
こうして、黒目の中心を算出したら、視線方向の検出を行う（Ｓ６）。人の視線は、眼球の中心と黒目の中心を通る線に等しいと考えられる。このため、視線方向の検出は、下記（６）式によって行うことができる。
【００３１】
視線方向＝黒目中心座標−眼球中心座標・・・（６）
上記（６）式により、視線方向を検出することができる。このときの視線の始点は、眼球の中心となる。
【００３２】
このように、本実施形態に係る視線検出方法では、眼球の中心位置と黒目の中心位置とを求め、両中心位置に基づいて視線方向を検出している。このため、視線方向を容易かつ正確に検出することができる。
【００３３】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では、眼球の中心位置を求めるために、白目部分の特徴部分として血管を利用しているが、血管に代えて虹彩などを利用することができる。また、上記実施形態では、黒目の中心を求める際に、黒目輪郭上の点として計算した２点間の最大の点となる組の中心を黒目の中心としているが、たとえば黒目の形状をだ円に置き換えて、演算処理を施してだ円の中心を求めて、そのだ円の中心を黒目の中心とすることもできる。
【００３４】
他方、上記実施形態では、視線検出装置を自動車に設ける例について説明したが、入力装置として使用することにより、パソコンや家電製品などをはじめあらゆる装置の指令デバイスとしても用いることができる。
【００３５】
【発明の効果】
以上のとおり、本発明によれば、視線方向を容易かつ正確に検出することができる視線検出装置および視線検出方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る視線検出装置のブロック構成図である。
【図２】本実施形態に係る視線方向検出方法を示すフローチャートである。
【図３】（ａ）は撮像手段で撮像した目の模式図、（ｂ）は（ａ）の画像を白色で二値化してエッジ処理した白色エッジ画像の模式図、（ｃ）は（ｂ）の白色部分を膨張させた膨張処理を施した白色膨張エッジ画像の模式図、（ｄ）は（ａ）の画像を黒色で二値化してエッジ処理した黒色エッジ画像の模式図、（ｅ）は（ｄ）の白色部分を膨張させた膨張処理を施した黒色膨張エッジ画像の模式図、（ｆ）は（ｃ）の画像と（ｅ）の画像をＡＮＤ演算して得られたエッジ画像の模式図である。
【図４】（ａ）は第１撮像装置１１で撮像した目およびその周辺の画像の模式図、（ｂ）は第２撮像装置１２で撮像した目およびその周辺の画像の模式図である。
【符号の説明】
１…ステレオカメラ、２…画像処理装置、１１…第１撮像装置、１２…第２撮像装置、１３…同期装置、２１…画像間対応点探索部、２２…三次元座標算出部、２３…眼球中心算出部、２４…黒目中心推定部、２５…視線方向計測部、Ｂ１〜Ｂ３…血管、Ｄ…視線検出装置、Ｇ，Ｇ１，Ｇ２…画像、ＷＧ…白色エッジ画像、ＷＥＧ…白色膨張エッジ画像、ＢＧ…黒色エッジ画像、ＢＥＧ…黒色膨張エッジ画像、Ｅ…目、ＥＧ…エッジ画像、Ｒ１，Ｒ２…矩形領域。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a gaze direction detection device and a gaze direction detection method for detecting a gaze direction of an eye to be detected.
[0002]
[Prior art]
Conventionally, for example, a technique disclosed in, for example, Japanese Patent Application Laid-Open No. 7-167618 is known as a technique for detecting the line-of-sight direction of a driver or the like driving a car. This technology measures the distance between the infrared camera and the driver, and images the driver's eyeball with a line-of-sight measurement camera whose distance relationship with the infrared camera is known. The line-of-sight direction is calculated from the position of the cornea reflection image of the eyeball taken by the line-of-sight measurement camera, the pupil center, and the like.
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 7-167618 (right column on page 4, FIG. 1)
[0004]
[Problems to be solved by the invention]
However, the technique disclosed in Patent Document 1 merely obtains the line-of-sight direction from the cornea reflection image of the eyeball taken by the line-of-sight measurement camera, the pupil center, and the like. For this reason, it is difficult to say that an accurate gaze direction is required.
[0005]
Therefore, an object of the present invention is to provide a gaze direction detection device and a gaze direction detection method capable of easily and accurately detecting a gaze direction.
[0006]
[Means for Solving the Problems]
A gaze detection apparatus according to the present invention that solves the above problems is a gaze direction detection apparatus that detects a gaze direction of an eye to be detected, and a stereo camera that includes a first imaging unit and a second imaging unit that respectively image the eyes. , Eyeball center detecting means for detecting a center portion of the eyeball by detecting a feature portion of a white-eye portion of the eye from the first image and the second image imaged by the first imaging means and the second imaging means; Black eye center detecting means for detecting the center position of the black eye part of the eye from the second image, gaze direction detecting means for determining the eye gaze direction based on the center position of the eyeball and the center position of the black eye part, It is what has.
[0007]
In addition, the gaze detection method according to the present invention that solves the above-described problem is a gaze direction detection method that detects the gaze direction of the eye that is the detection target, and the first imaging unit and the second imaging unit respectively capture the detection target. An imaging step, and an eyeball center detection step for obtaining a center position of an eyeball by detecting a feature portion of a white-eye portion of the eye from a first image captured by the first imaging unit and a second image captured by the second imaging unit Then, from the first image and the second image, the eye gaze direction is obtained based on the black eye center detection step for detecting the center position of the black eye part of the eye, the center position of the eyeball, and the center position of the black eye part. And a line-of-sight direction detecting step.
[0008]
In the gaze direction detecting device and the detection method according to the present invention, the center position of the eyeball and the center position of the black eye are obtained, and the gaze direction is detected based on both center positions. It is considered that the human gaze passes through the center of the black eye starting from the center of the eyeball. For this reason, it is possible to accurately detect the line-of-sight direction.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In each embodiment, portions having the same function are denoted by the same reference numerals, and redundant description may be omitted.
[0010]
FIG. 1 is a block diagram of a line-of-sight detection apparatus according to an embodiment of the present invention. As shown in FIG. 1, the line-of-sight detection device D according to the present embodiment is provided, for example, in a driver's seat of an automobile and is used for detecting the line of sight of the driver. The line-of-sight detection device D includes a stereo camera 1 and an image processing device 2. The stereo camera 1 includes a first imaging device 11 that is a first imaging means and a second imaging device 12 that is a second imaging means. A synchronization device 13 is connected to the first imaging device 11 and the second imaging device 12, and the same object is imaged in a synchronized state. The first imaging device 11 and the second imaging device 12 are known in terms of internal parameters and relative positional relationship, and face images including eyes that are eyes detection targets in a state of being synchronized by the synchronization device 13. An image can be taken.
[0011]
The image processing apparatus 2 includes an inter-image corresponding point search unit 21, a three-dimensional coordinate calculation unit 22, an eyeball center calculation unit 23, a black eye center estimation unit 24, and a line-of-sight direction measurement unit 25. The inter-image corresponding point search unit 21 is connected to the first imaging device 11 and the second imaging device 12, and is connected to the first imaging device 11 and the second imaging device 12 in the stereo camera 1. The first imaging device 11 outputs the captured image (first image) to the inter-image corresponding point search unit 21, and the second imaging device 12 outputs the captured image (second image) to the inter-image corresponding point search unit 21. Output to. The inter-image corresponding point search unit 21 searches for corresponding points between the first image and the second image.
[0012]
The three-dimensional coordinate calculation unit 22 is connected to the inter-image corresponding point search unit 21. The inter-image corresponding point search unit 21 outputs the first image and the second image obtained by searching for the corresponding point to the three-dimensional coordinate calculation unit 22. The three-dimensional coordinate calculation unit 22 calculates the three-dimensional coordinates of a predetermined point in the associated first image and second image. The three-dimensional coordinate calculation unit 22 is connected to an eyeball center calculation unit 23 and a black eye center estimation unit 24. The eyeball center calculation unit 23 calculates the center coordinates of the eyeball based on the predetermined three-dimensional coordinates output from the three-dimensional coordinate calculation unit 22. Further, the black eye center estimation unit 24 calculates the black eye center coordinate that is the center of the black eye based on the predetermined three-dimensional coordinates output from the three-dimensional coordinate calculation unit 22.
[0013]
Furthermore, the eyeball center calculation unit 23 and the black eye center estimation unit 24 are connected to a gaze direction measurement unit 25 that is a gaze direction detection unit of the present invention, and output eyeball center coordinates and black eye center coordinates, respectively. The gaze direction measuring unit 25 detects the gaze direction based on the output eyeball center coordinates and black eye center coordinates.
[0014]
A line-of-sight detection method according to the present embodiment having the above configuration will be described. FIG. 2 is a flowchart showing a procedure of the gaze detection method according to the present embodiment. As shown in FIG. 2, in the gaze direction detection method according to the present embodiment, an eye peripheral image is acquired (S1). The eye peripheral image is calibrated in advance, and the vicinity of the same eye is imaged by each of the first imaging device 11 and the second imaging device 12 in the stereo camera 1 whose internal parameters and relative positional relationships are known. To be acquired. The first imaging device 11 and the second imaging device 12 are respectively connected to the synchronization device 13, and both the

imaging devices

11 and 12 are synchronized.
[0015]
The first image that is the eye peripheral image captured by the first imaging device 11 and the second image that is the eye peripheral image captured by the second imaging device 12 are transmitted to the inter-image corresponding point search unit 21 in the image processing device 2. Each is output. The inter-image corresponding point search unit 21 performs association between the first image and the second image from the first image and the second image (S2). The association between the first image and the second image is performed for, for example, the black eye portion and the white eye portion, and the black eye association is performed by extracting the outline of the black eye.
[0016]
Therefore, first, the image is binarized with white so as to extract only a region of a color close to white in the image G shown in FIG. 3A, and edge processing is performed, as shown in FIG. A white edge image WG obtained by extracting white eyes is generated. The white edge image WG is subjected to expansion processing for slightly expanding the white portion, and a white expansion edge image WEG shown in FIG. 3C is generated. While performing such binarization processing in white, as shown in FIG. 3D, the image is binarized in black and edge processing is performed so as to extract only a region having a color close to black, As shown in FIG. 3D, a black edge image BG extracted with black eyes is generated. The black edge image BG is subjected to expansion processing for expanding the white portion, and a black expansion edge image BEG shown in FIG. 3E is generated. Then, an AND operation is performed on pixels having the same coordinates between the white expansion edge image WEG and the black expansion edge image BEG obtained by performing the expansion processing. As a result, as shown in FIG. 3F, an edge image EG is generated in which the significant pixel becomes the contour edge.
[0017]
Next, association of white-eye portions will be described. On the white-eye eyeball, there are many fine blood vessels that are the characteristic part of the white eye of the present invention, and since the arrangement of these blood vessels is random, blood vessels of the same pattern are rarely stretched. From this, it is possible to take corresponding points according to the blood vessel patterns. A method of obtaining corresponding points of the white eyeball will be described with reference to FIG.
[0018]
FIG. 4A is a schematic diagram of an image captured by the first imaging device 11 and its surroundings, and FIG. 4B is a schematic diagram of an image captured by the second imaging device 12 and its surroundings. As shown in FIG. 4A, in the image G1 captured by the first imaging device 11, there are a large number of blood vessels B1, B2,. Among these, for example, a rectangular region R1 including blood vessels B1 to B3 is designated, and a reference pattern in the rectangular region R1 including blood vessels B1 to B3 is detected.
[0019]
With respect to this reference pattern, in the image G2 imaged by the second imaging device 12, a rectangular area closest to the reference pattern of the rectangular area R1 specified in the image G1 is searched using the following equation (1). This search is performed by calculating the similarity (matching degree) between the rectangular region R1 in the image G1 and the rectangular region in the image G2.
[0020]
[Expression 1]

[0021]
Then, by the equation (1), in the image G2, a rectangular region R2 that matches or is most similar to the rectangular region R1 in the image G1 can be searched.
[0022]
Thus, when the black eye portion and the white eye portion are associated with each other, the three-dimensional coordinate calculation unit 22 obtains the three-dimensional coordinates of the black eye portion and the white eye portion (S3). These three-dimensional coordinates are obtained from the two-dimensional coordinates on the blood vessel pattern image of the black-eye portion and the white-eye portion and the relative positional relationship between the two cameras. Specifically, it can be obtained by calculating (X, Y, Z) ^T that satisfies the following equations (2) and (3).
[0023]
[Expression 2]

[0024]
By the above equations (2) and (3), the three-dimensional coordinates of the contour edge in the black eye portion and the three-dimensional coordinates of any four points not on one plane on the blood vessel in the white eye portion are calculated.
[0025]
After obtaining these three-dimensional coordinates, the eyeball center calculation unit 23 calculates the center of the eyeball (S4). The center of the eyeball is obtained from three-dimensional coordinates of arbitrary four points not on one plane on the blood vessel obtained by the above equations (2) and (3). In general, the sphere equation is given by the following equation (4).
[0026]
[Equation 3]

[0027]
Considering the eyeball as a sphere now, blood vessels on the eyeball are present on the surface of the sphere. Moreover, in order to specify the formula of the sphere, it is only necessary to give four points that are not on one plane. Therefore, by obtaining the constants a, b, c, and r in the equation (4) from the three-dimensional coordinates of the blood vessel obtained by the equations (2) and (3), the center coordinates (a, b) of the sphere indicating the eyeball are obtained. C) can be obtained.
[0028]
When the center of the eyeball is thus obtained, the black eye center estimation unit 24 obtains the three-dimensional coordinates of the center of the black eye (S5). Here, since the black eye contour forms a circle (or an oval), the center thereof is the maximum point between the two points calculated as a point on the black eye contour as shown in the following equation (5). It can be calculated as the center of the set.
[0029]
[Expression 4]

[0030]
Thus, when the center of the black eye is calculated, the direction of the line of sight is detected (S6). A person's line of sight is considered to be equal to a line passing through the center of the eyeball and the center of the black eye. For this reason, the gaze direction can be detected by the following equation (6).
[0031]
Gaze direction = black eye center coordinates-eyeball center coordinates (6)
The line-of-sight direction can be detected by the above equation (6). The starting point of the line of sight at this time is the center of the eyeball.
[0032]
As described above, in the gaze detection method according to the present embodiment, the center position of the eyeball and the center position of the black eye are obtained, and the gaze direction is detected based on both center positions. For this reason, the line-of-sight direction can be detected easily and accurately.
[0033]
The preferred embodiment of the present invention has been described above, but the present invention is not limited to the above embodiment. For example, in the above embodiment, a blood vessel is used as a characteristic part of the white eye portion in order to obtain the center position of the eyeball, but an iris or the like can be used instead of the blood vessel. In the above embodiment, when the center of the black eye is obtained, the center of the pair that is the maximum point between the two points calculated as the points on the black eye contour is the center of the black eye. Alternatively, the center of the ellipse can be obtained by performing arithmetic processing, and the center of the ellipse can be set as the center of the black eye.
[0034]
On the other hand, in the above-described embodiment, an example in which the line-of-sight detection device is provided in an automobile has been described. However, by using it as an input device, it can also be used as a command device for all devices including personal computers and home appliances.
[0035]
【The invention's effect】
As described above, according to the present invention, it is possible to provide a gaze detection apparatus and a gaze detection method that can easily and accurately detect a gaze direction.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of a gaze detection apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a gaze direction detection method according to the present embodiment.
3A is a schematic diagram of an eye imaged by an imaging unit, FIG. 3B is a schematic diagram of a white edge image obtained by binarizing the image of FIG. ) Is a schematic diagram of a white expanded edge image subjected to expansion processing in which a white portion is expanded, (d) is a schematic diagram of a black edge image obtained by binarizing the image of (a) with black and performing edge processing, (e) (D) is a schematic diagram of a black expanded edge image obtained by expanding the white part of (d), and (f) is an edge image obtained by ANDing the image of (c) and the image of (e). It is a schematic diagram.
4A is a schematic diagram of an image captured by the first imaging device 11 and its surroundings, and FIG. 4B is a schematic diagram of an image captured by the second imaging device 12 and its surroundings.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Stereo camera, 2 ... Image processing apparatus, 11 ... 1st imaging device, 12 ... 2nd imaging device, 13 ... Synchronizer, 21 ... Inter-image corresponding point search part, 22 ... Three-dimensional coordinate calculation part, 23 ... Eyeball Center calculation unit, 24 ... black eye center estimation unit, 25 ... gaze direction measurement unit, B1 to B3 ... blood vessel, D ... gaze detection device, G, G1, G2 ... image, WG ... white edge image, WEG ... white expansion edge image , BG ... black edge image, BEG ... black expansion edge image, E ... eye, EG ... edge image, R1, R2 ... rectangular area.

Claims

In the gaze direction detection device that detects the gaze direction of the eye to be detected,
A stereo camera comprising a first imaging means and a second imaging means for imaging the eyes;
An eyeball center detecting means for detecting a feature portion of a white-eye portion of the eye from the first image and the second image imaged by the first image pickup means and the second image pickup means to obtain a center position of the eyeball;
Black-eye center detecting means for detecting a center position of a black-eye portion of the eye from the first image and the second image;
Gaze direction detecting means for obtaining the gaze direction of the eye based on the center position of the eyeball and the center position of the black eye part;
A line-of-sight direction detection device comprising:

In the gaze direction detection method for detecting the gaze direction of the eye to be detected,
An imaging step of imaging the detection object by each of the first imaging means and the second imaging means;
An eyeball center detection step of detecting a center part of an eyeball by detecting a feature portion of a white-eye portion of the eye from a first image imaged by the first imager and a second image imaged by the second imager; ,
A black eye center detecting step of detecting a center position of a black eye portion of the eye from the first image and the second image;
A line-of-sight direction detecting step for obtaining a line-of-sight direction of the eye based on the center position of the eyeball and the center position of the black eye part;
A gaze direction detection method comprising: