JP3232873B2 - Gaze direction detection device for vehicles - Google Patents

Gaze direction detection device for vehicles

Info

Publication number
JP3232873B2
JP3232873B2 JP11217594A JP11217594A JP3232873B2 JP 3232873 B2 JP3232873 B2 JP 3232873B2 JP 11217594 A JP11217594 A JP 11217594A JP 11217594 A JP11217594 A JP 11217594A JP 3232873 B2 JP3232873 B2 JP 3232873B2
Authority
JP
Japan
Prior art keywords
image
focus
degree
reflection image
gaze direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP11217594A
Other languages
Japanese (ja)
Other versions
JPH07289519A (en
Inventor
浩 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP11217594A priority Critical patent/JP3232873B2/en
Publication of JPH07289519A publication Critical patent/JPH07289519A/en
Application granted granted Critical
Publication of JP3232873B2 publication Critical patent/JP3232873B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Eye Examination Apparatus (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、車両運転者の視線方向
を非接触で計測してスイッチ操作等のインターフェース
に利用する車両用視線方向検出装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a gaze direction detecting device for a vehicle which measures a gaze direction of a vehicle driver in a non-contact manner and uses the measured gaze direction for an interface such as a switch operation.

【0002】[0002]

【従来の技術】従来、車両上の各種装置の制御のための
入力装置としては、手動の機械式スイッチや、電気式ス
イッチ、電子式スイッチ等が知られている。この様な従
来のスイッチを用いた入力装置においては、操作対象と
なるスイッチを目で捜して手で操作するという一連の動
作を必要とするために、視線をスイッチに移さなければ
ならず、車両前方への注意がおろそかになる。また視線
移動を少なくするために他より前面に位置するステアリ
ングコラムにスイッチを設けても、スイッチ数が多くな
ると必要なスイッチを特定するために、車両前方からの
視線逸脱時間が長くなる。その上、手の届くところにス
イッチを設置しなければならず、装置のデザインに制約
をもたらす。
2. Description of the Related Art Conventionally, as an input device for controlling various devices on a vehicle, a manual mechanical switch, an electric switch, an electronic switch, and the like are known. In such an input device using a conventional switch, since a series of operations of searching for a switch to be operated and visually operating the switch by hand is required, the line of sight must be shifted to the switch. Attention to the front is neglected. Further, even if switches are provided on the steering column located on the front side to reduce the movement of the line of sight, as the number of switches increases, the time required for the line of sight to deviate from the front of the vehicle increases in order to identify the required switch. In addition, switches must be installed within easy reach, which limits the design of the device.

【0003】このような問題の対策として、例えば特開
平2−134130号公報には、車両運転者の視線方向
を非接触で計測してスイッチ操作等のインターフェース
に利用する車両用視線方向検出装置が開示されている。
これは照明光源とカメラによって人間の角膜球を撮像し
て、光源の反射光の座標とカメラの座標を結び、角膜球
の中心を通る直線の式を求めるとともに、同時に瞳孔の
中心座標を求める2つの作業を、2組の照明光源および
カメラのセットにより行い、角膜球の中心座標と瞳孔の
中心座標とを結ぶ直線方向として、運転者の視線方向を
3角測量法により検出するようにしている。
As a countermeasure against such a problem, for example, Japanese Patent Laying-Open No. 2-134130 discloses a vehicular gaze direction detecting device that measures the gaze direction of a vehicle driver in a non-contact manner and uses the measured gaze direction for an interface such as a switch operation. It has been disclosed.
In this method, a human corneal sphere is imaged by an illumination light source and a camera, the coordinates of the reflected light from the light source and the coordinates of the camera are connected, and an equation of a straight line passing through the center of the corneal sphere is obtained. The two operations are performed by a set of two illumination light sources and a camera, and the line of sight of the driver is detected by a triangulation method as a linear direction connecting the central coordinates of the corneal sphere and the central coordinates of the pupil. .

【0004】[0004]

【発明が解決しようとする課題】しかしながら、上記の
視線方向検出装置にあっては、眼球の反射像の合焦度を
検出する手段が施されていないために、車両運転者など
において、頭部位置が変動するような場合、視線方向検
出に必要な眼球反射像の合焦度が低下してしまい、正確
な眼球反射像の特定が困難で、そのため精度良く視線方
向を求めることができないという問題がある。したがっ
て、本発明は上記従来の問題点に鑑み、車両運転者の視
線方向を非接触で計測する車両用視線方向検出装置にお
いて、運転者の頭部位置が変動しても、常に眼球の反射
像にもっとも合焦した画像を用いて精度良く視線方向を
求めることができる車両用視線方向検出装置を提供する
ことを目的とする。
However, in the above-mentioned line-of-sight direction detecting device, a means for detecting the degree of focus of the reflected image of the eyeball is not provided, so that the head of the vehicle driver or the like is not used. When the position fluctuates, the degree of focus of the eyeball reflection image required for gaze direction detection is reduced, and it is difficult to accurately specify the eyeball reflection image, so that the gaze direction cannot be obtained with high accuracy. There is. Therefore, in view of the above-mentioned conventional problems, the present invention provides a vehicle gaze direction detecting device that measures the gaze direction of a vehicle driver in a non-contact manner. It is an object of the present invention to provide a gaze direction detecting device for a vehicle that can accurately determine a gaze direction using an image most focused on a vehicle.

【0005】[0005]

【課題を解決するための手段】上記目的を達成するため
に、請求項1に記載の本発明は、運転者の眼球に不可視
光を照射し画像入力部により眼球からの反射像を撮像し
て運転者の視線方向を検出する視線検出装置において、
画像入力部のレンズの光軸と照射方向が一致する共軸系
照明と、前記レンズと非共軸な位置に設けた非共軸系照
明とで前記不可視光を照射し、前記画像入力部はピント
位置調節機能を有して異なるピント位置ごとに前記各照
明を交互に点灯させた各画像を入力するよう構成され、
前記ピント位置ごとの画像の合焦度を算出する合焦度算
出手段と、入力した複数枚の画像から、最大合焦度を有
する画像を選択する最大合焦画像選択手段と、前記最大
合焦度を有する画像のデータから網膜反射像と角膜反射
抽出する眼球反射像抽出手段と、前記網膜反射像と
角膜反射像を基に運転者の視線方向を算出する視線方向
算出手段とを有し、上記の合焦度算出手段は、画像入力
部からの入力画像から網膜反射像候補を抽出する網膜反
射像候補抽出手段を備え、画像の合焦度として網膜反射
像候補を包含する小領域の合焦度を算出し、眼球反射像
抽出手段は、最大合焦度を有する小領域の共軸系照明と
非共軸系照明による画像データの差分に基づいて網膜反
射像を抽出するものとした。
In order to achieve the above object, according to the present invention, an invisible light is applied to a driver's eyeball and a reflected image from the eyeball is captured by an image input unit. In a gaze detection device that detects a gaze direction of a driver,
Coaxial system in which the optical axis of the lens of the image input unit and the irradiation direction match
An illumination, and a non-coaxial illumination provided at a position that is not coaxial with the lens.
Irradiating the invisible light in the bright, the image input unit each irradiation for different focus positions have the focus position adjustment function
It is configured to input each image in which lights are alternately turned on ,
A focusing degree calculating means for calculating a focusing degree of the image for each focus position; a maximum focused image selecting means for selecting an image having a maximum focusing degree from a plurality of input images; Eyeball reflection image extraction means for extracting a retinal reflection image and a corneal reflection image from data of an image having a degree, and gaze direction calculation means for calculating a gaze direction of a driver based on the retinal reflection image and the corneal reflection image. The above-mentioned focusing degree calculating means includes a retinal reflection image candidate extracting means for extracting a retinal reflection image candidate from the input image from the image input unit, and the small area including the retinal reflection image candidate as the focusing degree of the image. Calculate the degree of focus of the eyeball reflection image
The extracting means includes coaxial illumination of a small area having a maximum focus degree and
Retinal anti-retina based on difference of image data by non-coaxial illumination
The projection was extracted .

【0006】また、前記最大合焦画像選択手段は、異な
るピント位置の画像の合焦度の比較に基づいて前記画像
入力部にピント位置調節指令を出力し、前記画像入力部
は該ピント位置調節指令に基づいてそのピント位置を変
更することができる。
The maximum focus image selecting means outputs a focus position adjustment command to the image input unit based on a comparison of the degree of focus between images at different focus positions, and the image input unit adjusts the focus position. The focus position can be changed based on the command.

【0007】[0007]

【作用】請求項1のものは、ピント位置調節機能を有す
る前記画像入力部において、異なるピント位置ごとに共
軸系照明と非共軸系照明を交互に点灯させた各画像を入
力し、合焦度算出手段において、入力画像から抽出した
網膜反射像候補を包含する小領域で上記ピント位置ごと
の画像の合焦度を算出し、最大合焦画像選択手段におい
て、入力した複数枚の画像から、最大合焦度を有する画
像を選択し、眼球反射像抽出手段において、前記最大合
焦画像のデータから網膜反射像と角膜反射像を抽出す
る。この際、網膜反射像は小領域の共軸系照明と非共軸
系照明による画像データの差分に基づいて抽出される。
まず、ある程度ボケても可視化容易な網膜反射像候補を
包含する小領域で合焦度を算出するので、位置特定が簡
単である。視線方向算出手段では、網膜反射像と角膜反
射像を基に運転者の視線方向を算出出力することによ
り、運転者の頭部位置が変動する場合にも、視線方向の
計測が可能となる。
According to a first aspect of the present invention, in the image input unit having a focus position adjusting function, a common focus position is set for each different focus position.
Each image in which the axial illumination and the non-coaxial illumination are alternately turned on is input, and the degree of focus calculation unit calculates the image of each of the focus positions in a small area including the retinal reflection image candidate extracted from the input image. The focus degree is calculated, and the maximum focus image selection means selects an image having the maximum focus degree from the plurality of input images, and the eyeball reflection image extraction means selects the retina from the data of the maximum focus image. A reflection image and a corneal reflection image are extracted. At this time, the retinal reflection image is non-coaxial with the coaxial illumination of the small area.
It is extracted based on the difference of the image data by the system illumination.
First, since the degree of focus is calculated in a small area that includes a retinal reflection image candidate that can be easily visualized even if the image is blurred to some extent, position identification is easy. The gaze direction calculating means calculates and outputs the gaze direction of the driver based on the retinal reflection image and the corneal reflection image, so that the gaze direction can be measured even when the driver's head position changes.

【0008】[0008]

【実施例】図1は本発明の車両用視線方向検出装置の実
施例を示すブロック図である。運転者16の眼球を撮像
するよう計器盤上にCCD等を用いた画像入力部4が設
置される。画像入力部4の前面には、ピント位置が任意
に変更可能なレンズ3が設けられている。レンズ3の中
心に画像入力部4の光軸と照射方向が一致する様に取り
付けられ近赤外LED等からなる共軸系の照明1が設け
られる。また照明1との相対関係が既知の位置に照明1
と同一仕様を有する非共軸系の照明2が設けられてい
る。画像入力部4からの撮像出力はA/D変換器5で画
像データとしてA/D変換され、画像メモリ6に格納さ
れる。画像メモリ6には、瞳孔抽出部7が接続され、こ
れに順次瞳孔位置決定部8、合焦度算出部9、最大合焦
画像選択部10、レンズ駆動用アクチュエータ11、眼
球反射像抽出部12、視線方向算出部13が接続されて
いる。
1 is a block diagram showing an embodiment of a gaze direction detecting device for a vehicle according to the present invention. An image input unit 4 using a CCD or the like is installed on an instrument panel so as to image the eyeball of the driver 16. On the front surface of the image input unit 4, a lens 3 whose focus position can be arbitrarily changed is provided. At the center of the lens 3, a coaxial illumination 1 composed of a near-infrared LED or the like is provided so that the optical axis of the image input unit 4 and the irradiation direction coincide with each other. Also, the illumination 1 is placed at a position where the relative relationship with the illumination 1 is known.
A non-coaxial illumination 2 having the same specifications as the above is provided. The imaging output from the image input unit 4 is A / D converted as image data by an A / D converter 5 and stored in an image memory 6. A pupil extraction unit 7 is connected to the image memory 6, and sequentially connected to the pupil position determination unit 8, a focus degree calculation unit 9, a maximum focus image selection unit 10, a lens driving actuator 11, an eyeball reflection image extraction unit 12 , A gaze direction calculation unit 13 is connected.

【0009】瞳孔抽出部7では画像メモリ6に格納され
た各画像データの差分演算により照明1および照明2に
よる網膜反射像候補を抽出する。瞳孔位置決定部8で
は、網膜反射像候補の中心位置を演算抽出し小領域Aを
設定する。合焦度算出部9では、小領域Aにおける網膜
反射像候補への合焦度を算出する。レンズ駆動用アクチ
ュエータ11はレンズ3を駆動しピント位置を変更す
る。最大合焦画像選択部10では合焦度が最大になる画
像を決定する。
The pupil extraction unit 7 extracts a retinal reflection image candidate by the illumination 1 and the illumination 2 by calculating a difference between the respective image data stored in the image memory 6. The pupil position determination unit 8 calculates and extracts the center position of the retinal reflection image candidate and sets the small area A. The focus degree calculation unit 9 calculates the focus degree for the retinal reflection image candidate in the small area A. The lens driving actuator 11 drives the lens 3 to change the focus position. The maximum in-focus image selection unit 10 determines an image having the maximum in-focus degree.

【0010】眼球反射像抽出部12では、最大合焦度を
与える画像から網膜反射像と、照明1、照明2による角
膜反射像が抽出される。そして視線方向算出部13にお
いて、抽出された反射像位置から運転者の視線方向が演
算算出される。照明1、2にはその発光を制御する照明
発光制御部15が接続されており、この照明発光制御部
15,A/D変換器5を含み装置全体の動作を制御する
全体制御部14が設けられている。
An eyeball reflection image extraction unit 12 extracts a retinal reflection image and corneal reflection images by illumination 1 and illumination 2 from an image giving the maximum degree of focus. Then, the gaze direction calculation unit 13 calculates the gaze direction of the driver from the extracted reflected image position. The illuminations 1 and 2 are connected to an illumination light emission control unit 15 for controlling the light emission thereof. The illumination light emission control unit 15 and an overall control unit 14 including the A / D converter 5 for controlling the operation of the entire apparatus are provided. Have been.

【0011】図2は上述した視線方向検出装置を用いた
車両の視線スイッチシステムの全体構成図を示し、図3
はその車載レイアウトを示す。図2において、図1に示
した視線方向検出装置が参照番号20で示されている。
視線方向算出部13には視線停留判断部23を介してH
UD(ヘッドアップディスプレイ)表示制御部24が接
続されている。HUD表示制御部24には、コントロー
ラ切り替え部27が接続されている。コントローラ切り
替え部27には、エアコンコントローラ28、CDコン
トローラ29、ラジオコントローラ30、ヘッドライト
コントローラ31およびワイパコントローラ32が接続
されている。視線スイッチエリア26には、エアコン、
ワイパ等の各操作対象項目(エリア)が表示される。H
UD表示部には操作対象のエリア内容が表示される。メ
インスイッチ21は全体制御部21に、ステアリングス
イッチ22はHUD表示制御部24に接続されている。
FIG. 2 is a diagram showing the overall configuration of a line-of-sight switch system of a vehicle using the above-described line-of-sight direction detecting device.
Indicates the in-vehicle layout. In FIG. 2, the gaze direction detecting device shown in FIG.
The line-of-sight direction calculation unit 13 receives H through the line-of-sight stop determination unit 23.
A UD (head-up display) display control unit 24 is connected. The controller switching unit 27 is connected to the HUD display control unit 24. An air conditioner controller 28, a CD controller 29, a radio controller 30, a headlight controller 31, and a wiper controller 32 are connected to the controller switching unit 27. An air conditioner,
Each operation target item (area) such as a wiper is displayed. H
The content of the area to be operated is displayed on the UD display unit. The main switch 21 is connected to the overall control unit 21 and the steering switch 22 is connected to the HUD display control unit 24.

【0012】いま、メインスイッチ21が押されるとシ
ステムがONして、視線方向検出装置20の視線方向算
出部13は、運転者の視線方向を算出し、視線停留判断
部23に出力する。視線停留判断部23は視線が停留し
ているエリアを判断しHUD表示制御部24へ出力す
る。HUD表示制御部24はHUD表示部25上に決定
されたエリアの内容を表示するとともに、コントローラ
切り替え部27によりエアコンコントローラ28、CD
コントローラ29、ラジオコントローラ30、ヘッドラ
イトコントローラ31あるいはワイパコントローラ32
を選択する項目切り替えを行う。続いて、ステアリング
スイッチ22からのユーザ入力判断による所定の制御対
象の制御が行われる。
When the main switch 21 is pressed, the system is turned on, and the gaze direction calculating unit 13 of the gaze direction detecting device 20 calculates the gaze direction of the driver and outputs the calculated gaze direction to the gaze stop determining unit 23. The gaze stop determining unit 23 determines the area where the gaze is stopped and outputs the determined area to the HUD display control unit 24. The HUD display control unit 24 displays the contents of the determined area on the HUD display unit 25 and controls the air conditioner controller 28 and the CD by the controller switching unit 27.
Controller 29, radio controller 30, headlight controller 31, or wiper controller 32
Switch the item to select. Subsequently, a predetermined control target is controlled based on the user input determination from the steering switch 22.

【0013】図3の(a)に示されるように、メインス
イッチ21とステアリングスイッチ22はステアリング
34に取り付けられる。また、照明1、画像入力部4、
照明2等が運転席前方の計器盤ボード内パネルに設置さ
れ、ウインドシールド33上にHUD表示部25と視線
スイッチエリア26が設定されている。視線スイッチエ
リア26はさらに、図3の(b)にその詳細を示すよう
に、各種コントローラの名称がHUD表示されているも
のである。また、同図(c)にはステアリングスイッチ
22の詳細が示されている。
As shown in FIG. 3A, the main switch 21 and the steering switch 22 are mounted on a steering 34. In addition, illumination 1, image input unit 4,
The lighting 2 and the like are installed on an instrument panel board panel in front of the driver's seat, and a HUD display unit 25 and a line-of-sight switch area 26 are set on a windshield 33. The line-of-sight switch area 26 further displays the names of various controllers in HUD, as shown in detail in FIG. 3B. FIG. 3C shows details of the steering switch 22.

【0014】次に、上記のように構成された本実施例に
おける動作について説明する。まず、視線方向算出に必
要な網膜反射像と角膜反射像抽出の動作原理を最初に説
明しておく。網膜反射像と角膜反射像のうち、網膜反射
像は、ある程度ボケてもそのおおよその位置を特定可能
であるのに対し、角膜反射像はわずかなボケでも、その
位置を特定するのが困難になる。これは、両像に含まれ
る空間周波数成分が異なるためである。即ち、角膜反射
像は網膜反射像に対し、高周波成分を多く含んでいるの
で、ピントのボケは高域カットフィルタとして作用する
ため、ピントのボケた角膜反射像はパワーの低下量が大
きく、可視化困難になる。
Next, the operation of the embodiment constructed as described above will be described. First, the principle of operation of extracting a retinal reflection image and a corneal reflection image required for gaze direction calculation will be described first. Of the retinal reflection image and the corneal reflection image, the retinal reflection image can specify the approximate position even when blurred to some extent, whereas the corneal reflection image makes it difficult to specify the position even when the blur is slight. Become. This is because the spatial frequency components included in both images are different. That is, since the corneal reflection image contains more high frequency components than the retinal reflection image, the out-of-focus blur acts as a high-frequency cut filter, so that the out-of-focus corneal reflection image has a large amount of power reduction and is visualized. It becomes difficult.

【0015】このため、上記のようにピントがボケても
網膜反射像の位置特定が可能であることを利用し、画像
から抽出した、ボケた網膜反射像候補を含む小領域Aを
設定し、画像入力部のレンズのピント位置をずらしなが
ら、複数枚の画像を入力して、各画像の小領域Aについ
て、周波数分析等によって合焦度を算出し、最大合焦画
像選択部10で、最大合焦度を与える画像を決定する。
網膜反射像の縁(瞳孔面)と角膜反射像の結像位置はほ
ぼ一致するため、網膜反射像に合焦していれば角膜反射
像にも合焦している。この最大合焦画像から各反射像を
抽出することにより視線方向が算出可能となる。
For this reason, taking advantage of the fact that the position of the retinal reflection image can be specified even if the focus is out of focus as described above, a small area A containing the blurred retinal reflection image candidate extracted from the image is set. A plurality of images are input while the focus position of the lens of the image input unit is shifted, and the degree of focus is calculated for the small area A of each image by frequency analysis or the like. An image to be given a degree of focus is determined.
Since the edge (pupil plane) of the retinal reflection image substantially coincides with the image formation position of the corneal reflection image, if the retinal reflection image is focused, the corneal reflection image is also focused. By extracting each reflection image from the maximum in-focus image, the gaze direction can be calculated.

【0016】続いて、視線方向検出装置20における動
作について説明する。図4および図5は、上記視線方向
検出装置20における視線方向算出処理の流れを示すフ
ローチャートである。
Next, the operation of the gaze direction detecting device 20 will be described. FIGS. 4 and 5 are flowcharts showing the flow of the gaze direction calculation process in the gaze direction detection device 20.

【0017】ステップ101において、ステアリング3
4に設けられたメインスイッチ21を押すと、制御が開
始される。ステップ102で、抽出画像枚数nが0にセ
ットされる。ステップ103ではnがインクリメントさ
れる。ステップ104において、照明発光制御部15の
制御信号で、照明1が点灯し、照明2が消灯する。ステ
ップ105で、画像入力部4から入力された画像信号
は,A/D変換器5でA/D変換され、画像メモリ6に
格納される。この画像をIn1(x,y)とする。ステッ
プ106では、照明発光制御部15の制御信号で、照明
1が消灯し、照明2が点灯する。ステップ107におい
て、画像入力部4から入力された画像信号は,A/D変
換器5でA/D変換され画像メモリ6に格納される。こ
の画像をIn2(x,y)とする。
In step 101, the steering 3
By pressing the main switch 21 provided in 4, the control is started. In step 102, the number n of extracted images is set to zero. In step 103, n is incremented. In step 104, the illumination 1 is turned on and the illumination 2 is turned off by the control signal of the illumination light emission control unit 15. In step 105, the image signal input from the image input unit 4 is A / D converted by the A / D converter 5 and stored in the image memory 6. This image is designated as In1 (x, y). In step 106, the illumination 1 is turned off and the illumination 2 is turned on by the control signal of the illumination light emission control unit 15. In step 107, the image signal input from the image input unit 4 is A / D converted by the A / D converter 5 and stored in the image memory 6. This image is defined as In2 (x, y).

【0018】ステップ108では、nが1であるかどう
かがチェックされる。nが1であればステップ109へ
進み、以降の網膜反射像候補を決定するフローへ進む。
nが1以外のときには、ステップ115へ進む。ステッ
プ109において、瞳孔抽出部7では、画像In1(x,
y)から画像In2(x,y)を差引いて、画像In3
(x,y)を生成する。ステップ110で、画像In3
(x,y)を固定しきい値Th1 で2値化し、2値画像
In4(x,y)を生成する。ステップ111では、画像
In4(x,y)にラベリング処理を施し、領域の番号付
けを行う。
In step 108, it is checked whether n is 1. If n is 1, the flow advances to step 109, and the flow advances to a flow for determining a retinal reflection image candidate thereafter.
When n is other than 1, the routine proceeds to step 115. In step 109, the pupil extraction unit 7 sets the image In1 (x,
y) is subtracted from the image In2 (x, y) to obtain an image In3
Generate (x, y). In step 110, the image In3
(X, y) is binarized by a fixed threshold value Th1 to generate a binary image In4 (x, y). In step 111, a labeling process is performed on the image In4 (x, y), and the regions are numbered.

【0019】ステップ112において、ラベリングの結
果得られた各領域の面積Ri を、予め決めておいたしき
い値S1 、S2 (S1 <S2 )と比較して、S1 <Ri
<S2 を満足する領域のみ抜き出す。すなわち、画像I
n4(x,y)の中には、網膜反射像候補の他に、例え
ば、眼鏡レンズ反射像、眼鏡フレーム反射像、外部照明
の変動で生じた顔の一部等、様々なノイズが含まれてい
る可能性がある。これらのノイズは、一般に不定形状、
かつ面積も不定であるため、あらかじめ予想される面積
の円もしくは楕円として観測される網膜反射像候補とは
明確に識別可能である。したがって、ここでは先ず領域
の面積による選別を行うものである。
In step 112, the area Ri of each region obtained as a result of the labeling is compared with predetermined thresholds S1 and S2 (S1 <S2), and S1 <Ri
<Only the region that satisfies S2 is extracted. That is, the image I
In n4 (x, y), in addition to the retinal reflection image candidate, various noises such as a spectacle lens reflection image, a spectacle frame reflection image, and a part of a face caused by a change in external illumination are included. Could be. These noises are generally irregular,
In addition, since the area is indefinite, it can be clearly distinguished from a retinal reflection image candidate that is observed as a circle or an ellipse having an expected area. Therefore, here, sorting is performed first based on the area of the region.

【0020】上記S1 、S2 は、画像入力部4の撮影倍
率から推定した、予想される瞳孔径(直径2〜8mm)
を有する瞳孔の面積が対応する画素数の上限値と下限値
にセットされる。照明光源からの光による眼鏡レンズ反
射像も円形領域として観測されるが、例えば、画像入力
部4のレンズの絞りを絞ることによって、常に、網膜反
射像候補の面積より、眼鏡レンズ反射像の面積が小さく
なるようにしておけば、面積により、両者を識別でき
る。
S1 and S2 are the expected pupil diameters (diameter of 2 to 8 mm) estimated from the photographing magnification of the image input unit 4.
Are set to the upper limit and the lower limit of the number of corresponding pixels. The spectacle lens reflection image due to light from the illumination light source is also observed as a circular area. For example, by reducing the aperture of the lens of the image input unit 4, the area of the spectacle lens reflection image is always larger than the area of the retinal reflection image candidate. Is small, the two can be identified by the area.

【0021】ステップ113では、ステップ112によ
る選別処理の結果残った領域に対して領域形状による選
別が行われる。ここでは、領域の外接長方形に対する領
域面積の比率Fを計算する。網膜反射像は円または楕円
形状で観測されるため、比率Fがある一定値以上である
のに対し、例えば眼鏡フレーム反射は、フレームに沿っ
た細長い領域になるため、仮に網膜反射像候補と同等の
面積を有していても、Fが小さくなるので識別される。
ステップ113による選別処理結果残った領域を網膜反
射像候補に決定する。瞳孔抽出部7ではこうして網膜反
射像候補が決定される。
In step 113, the area remaining as a result of the selection processing in step 112 is selected based on the area shape. Here, the ratio F of the area of the area to the circumscribed rectangle of the area is calculated. Since the retinal reflection image is observed in a circular or elliptical shape, the ratio F is equal to or more than a certain value, whereas, for example, the spectacle frame reflection is an elongated region along the frame, and is temporarily equivalent to a retinal reflection image candidate. Are identified because F becomes smaller.
The area remaining as a result of the selection processing in step 113 is determined as a retinal reflection image candidate. The pupil extraction unit 7 determines a retinal reflection image candidate in this manner.

【0022】次にステップ114においては、瞳孔位置
決定部8において、抽出した網膜反射像候補の重心位置
(xg 、yg )を求め、そこを中心とし、網膜反射像候
補を包含する小領域Aを設定する。小領域Aは、予め決
められたα、βを用いて、2点(xg −α、yg −
β)、(xg +α、yg +β)を左上、右下とする矩形
小領域Aが設定される。
Next, in step 114, the pupil position determining section 8 finds the center of gravity (xg, yg) of the extracted retinal reflection image candidate, and sets the small area A centered on the centroid position and containing the retinal reflection image candidate. Set. The small area A has two points (xg-α, yg-
.beta.) and (xg + .alpha., yg + .beta.) are set at the upper left and lower right, respectively.

【0023】続いてステップ115で、合焦度算出手段
9において瞳孔位置決定部8で設定された小領域Aに対
応した画像Isn1 (x,y)上の領域で、網膜反射像候
補への合焦度を算出する。合焦度を示す評価パラメータ
としては、小領域Aをフーリエ変換したときのパワース
ペクトルの総和や、小領域Aをフーリエ変換したときの
ある空間周波数以上のパワースペクトルの総和、または
画像Isn1 (x,y)に微分フィルタを作用させた時の
出力の総和等が考えられる。
Subsequently, at step 115, the focusing degree calculating means 9 focuses on the retinal reflection image candidate in the area on the image Isn1 (x, y) corresponding to the small area A set by the pupil position determining section 8. Calculate the degree of focus. As an evaluation parameter indicating the degree of focus, the sum of power spectra when the small area A is Fourier transformed, the sum of power spectra at a certain spatial frequency or higher when the small area A is Fourier transformed, or the image Isn1 (x, The sum of outputs when a differential filter is applied to y) can be considered.

【0024】ここで、画像Isn1 (x,y)に微分フィ
ルタを作用させたときの出力の総和を例にとって、合焦
度Gn の算出法を説明する。微分フィルタの一例を図6
に示す。画像Isn1 (x,y)に(a)のフィルタE1
を作用させると、画像Isn1(x,y)の縦エッジ強度
Et (x,y)が算出され、画像Isn1 (x,y)に
(b)のフィルタE2 を作用させると、画像Isn1
(x,y)の横エッジ強度Ey (x,y)が算出され
る。このフィルタリング演算はコンボリューションと呼
ばれ、画像上に3×3フィルタを配した時の対応する画
素同士の積和演算で実行される。この時,Et (x,
y)+ Ey (x,y)を点(x,y)におけるエッジ
強度と定義する。画像Isn1 (x,y)の全ての点にお
いてEt (x,y)+Ey(x,y)を算出し、その総
和を求め画像Isn1 (x,y)のエッジ強度とする。一
般に、画像の合焦度が高い程、画像に含まれる高い空間
周波数成分が多くなるから、エッジ強度が強くなる。そ
こで、算出したエッジ強度を合焦度Gn とする。どの評
価パラメータを用いても、合焦度が高いほど、その値は
大きい。
Here, a method of calculating the degree of focus Gn will be described by taking as an example the sum of outputs when a differential filter is applied to the image Isn1 (x, y). FIG. 6 shows an example of the differential filter.
Shown in The filter E1 of (a) is added to the image Isn1 (x, y).
Is applied, the vertical edge strength Et (x, y) of the image Isn1 (x, y) is calculated. When the filter E2 of (b) is applied to the image Isn1 (x, y), the image Isn1 is obtained.
The horizontal edge strength Ey (x, y) of (x, y) is calculated. This filtering operation is called convolution, and is executed by a product-sum operation between corresponding pixels when a 3 × 3 filter is arranged on an image. At this time, Et (x,
y) + Ey (x, y) is defined as the edge strength at point (x, y). Et (x, y) + Ey (x, y) is calculated at all points of the image Isn1 (x, y), and the sum thereof is obtained as the edge strength of the image Isn1 (x, y). In general, the higher the degree of focus of an image, the higher the number of high spatial frequency components included in the image, and thus the higher the edge intensity. Therefore, the calculated edge strength is defined as the focus degree Gn. Regardless of which evaluation parameter is used, the higher the degree of focusing, the larger the value.

【0025】ステップ116では、nが2以上かどうか
がチェックされる。nが2以上になっていなければステ
ップ117において、最大合焦画像選択部10からレン
ズ駆動用アクチュエータ11にレンズ駆動信号をおく
り、レンズ3のピント位置を初期位置から△d変更す
る。そしてステップ103に戻り、ステップ104から
ステップ108までとステップ115の処理が繰り返さ
れ、新たな合焦度Gn が得られる。ステップ116のチ
ェックでnが2以上になると、ステップ118へ進む。
ステップ118において、最大合焦画像選択部10にお
いて、合焦度Gn-1 が最大になったか否かを判定する。
Gn-1 <Gn の時にはステップ119へ進み、ステップ
103に戻りステップ104からステップ108までと
ステップ115を繰り返し、初めてGn-1 >Gn になっ
た時の合焦度Gn-1 を最大合焦度Gmaxとし、最大合焦
度Gmax を与える画像を最大合焦画像Imax1(x,
y),Imax2(x,y)としステップ120へ進む。
In step 116, it is checked whether n is 2 or more. If n is not 2 or more, in step 117, the lens drive signal is sent from the maximum focus image selecting unit 10 to the lens drive actuator 11, and the focus position of the lens 3 is changed from the initial position by Δd. Then, the process returns to step 103, and the processes from step 104 to step 108 and step 115 are repeated, and a new focus degree Gn is obtained. If n is equal to or greater than 2 in the check in step 116, the process proceeds to step 118.
In step 118, the maximum in-focus image selection unit 10 determines whether or not the degree of focus Gn-1 has become maximum.
When Gn-1 <Gn, the process proceeds to step 119, returns to step 103, repeats steps 104 to 108 and step 115, and sets the focus degree Gn-1 when Gn-1> Gn for the first time to the maximum focus degree. Gmax, and an image that gives the maximum focus degree Gmax is a maximum focus image Imax1 (x,
y), Imax2 (x, y), and the routine proceeds to step 120.

【0026】ステップ119では、もしG1 <G2 の時
は、上述のように、レンズのピント位置を△d変更し
て、ステップ103へ戻る。以後、ステップ119で
は、同様にしてピント位置を△dずつ変更する。一方、
もしG1 >G2 の時は、G2 の位置から逆にピント位置
をー△d変更して、再びステップ103へ戻る。以後ス
テップ119では、同様にしてピント位置を−△dずつ
変更する。
In step 119, if G1 <G2, the focus position of the lens is changed by $ d as described above, and the routine returns to step 103. Thereafter, in step 119, the focus position is similarly changed by Δd. on the other hand,
If G1> G2, the focus position is changed by -d from the position of G2, and the process returns to step 103 again. Thereafter, in step 119, the focus position is similarly changed by-△ d.

【0027】ステップ120において、眼球反射像抽出
部12において、最大合焦度を与える画像Imax1(x,
y),Imax2(x,y)から、網膜反射像と、照明1、
照明2による角膜反射像の抽出を行う。ここでは、小領
域Aに対応した画像Ismax1 (x,y),Ismax2
(x,y)についてのみ、以下の処理を行う。Ismax1
(x,y)−Ismax2 (x,y)を演算し、演算結果
を、固定しきい値Th1 で2値化する。抜き出された領
域は、網膜反射像である。抜き出された領域の重心位置
を求める。求めた重心位置を(xgmax1 ,ygmax1 )と
する。
In step 120, the eyeball reflection image extraction unit 12 generates an image Imax1 (x,
y), Imax2 (x, y), a retinal reflection image, illumination 1,
The corneal reflection image by the illumination 2 is extracted. Here, images Ismax1 (x, y) and Ismax2 corresponding to small area A
The following processing is performed only for (x, y). Ismax1
(X, y) -Ismax2 (x, y) is calculated, and the calculation result is binarized using a fixed threshold value Th1. The extracted region is a retinal reflection image. Find the position of the center of gravity of the extracted area. The obtained position of the center of gravity is defined as (xgmax1, ygmax1).

【0028】次に画像Ismax1 (x,y)−Ismax2
(x,y)内で最大輝度階調を持つ画素を求める。求め
た画素(xpsmax1,ypsmax1)は、照明1による角膜反
射像である。さらにIsmax2 (x,y)−Ismax1
(x,y)を演算し、小領域A内で最大輝度階調を持つ
画素を求める。求めた画素(xpsmax2,ypsmax2)は、
照明2による角膜反射像である。
Next, the image Ismax1 (x, y) -Ismax2
A pixel having the maximum luminance gradation in (x, y) is obtained. The obtained pixels (xpsmax1, ypsmax1) are corneal reflection images due to illumination 1. Further, Ismax2 (x, y) -Ismax1
By calculating (x, y), a pixel having the maximum luminance gradation in the small area A is obtained. The obtained pixels (xpsmax2, ypsmax2)
It is a corneal reflection image by illumination 2.

【0029】このあとステップ121では、視線方向算
出部13において、眼球反射像抽出部12で抽出した3
つの反射像位置から、運転者の視線方向を算出する。視
線方向の算出は、3つの反射像の位置関係、2つの照明
の設置位置の相対関係、画像入力部の光学パラメータ
(焦点距離、受光素子サイズ)及び、眼球の平均サイズ
(角膜球半径7.8mm、角膜球中心と瞳孔中心の間の
距離4.2mm)を用いて行う。
Thereafter, in step 121, the line-of-sight direction calculation unit 13 extracts the three pixels extracted by the eyeball reflection image extraction unit 12.
The gaze direction of the driver is calculated from the two reflected image positions. The line-of-sight direction is calculated by the positional relationship between the three reflected images, the relative relationship between the installation positions of the two illuminations, the optical parameters (focal length, light receiving element size) of the image input unit, and the average size of the eyeball (corneal sphere radius 7. 8 mm, a distance of 4.2 mm between the center of the corneal sphere and the center of the pupil).

【0030】具体的には、図7の角膜反射像生成の説明
図に示すように、照明1による虚像の角膜反射像を発生
する点R’、レンズの焦点位置T、角膜球中心Oは1直
線L上に存在する。照明2と、その虚像の角膜反射像を
生じさせる角膜表面上の正反射点Qを結ぶ線分と、照明
2による虚像の角膜反射像を発生させる点Rとレンズの
焦点位置Tを結ぶ線分のなす角の2等分線は、直線Lと
点Oで交わり、QとOの距離は7.8mmである。ま
た、このOは角膜球中心である。ここで、図8はモデル
化された一般的な眼球構成を示す図であり、Oを中心と
する半径4.2mmの球面と、画像上の網膜反射像の重
心とレンズの焦点位置を結ぶ直線の交点のうち、画像入
力部4に近い側の点は、瞳孔中心Pである。以上の条件
を満足する半直線OPが、運転者の視線方向を与える。
上述のように運転者の視線方向の算出については、共軸
系照明1の角膜反射像と瞳孔中心と、非共軸系照明2の
角膜反射像とが定まれば視線方向が算出できる。
More specifically, as shown in the explanatory diagram of the generation of a corneal reflection image in FIG. 7, a point R 'at which a virtual corneal reflection image is generated by the illumination 1, the focal position T of the lens, and the center O of the corneal sphere are 1 It exists on the straight line L. A line segment connecting the illumination 2 and a regular reflection point Q on the corneal surface that generates a virtual image of the corneal reflection image, and a line segment connecting the point R generating a virtual image of the corneal reflection image by the illumination 2 and the focal position T of the lens. , The bisector of the angle intersects the straight line L at the point O, and the distance between Q and O is 7.8 mm. O is the center of the corneal sphere. Here, FIG. 8 is a diagram showing a modeled general eyeball configuration, in which a spherical surface having a radius of 4.2 mm around O, a straight line connecting the center of gravity of the retinal reflection image on the image and the focal position of the lens. Of the intersections on the side closer to the image input unit 4 is the pupil center P. The half line OP satisfying the above conditions gives the driver's line of sight.
As described above, the gaze direction of the driver can be calculated when the corneal reflection image and the pupil center of the coaxial illumination 1 and the corneal reflection image of the non-coaxial illumination 2 are determined.

【0031】ここで、本装置により、エアコンの設定温
度を制御するケースを例にあげ、視線方向算出以降の動
作について説明する。以上のステップ101〜ステップ
121において視線方向が算出されたのち、視線停留判
断部23において視線スイッチエリア26のどこに視線
が停留しているかが判断される。これは、一定回数連続
して同一エリアを見ているか否かで判定する。視線方向
算出に、1回あたり400msec要するとすれば、例
えば連続して2回、すなわち約0.8secの間視線方
向が停留すれば、同一エリアを見ていると判断する。
Here, the operation after the line-of-sight direction calculation will be described by taking as an example a case where the set temperature of the air conditioner is controlled by the present apparatus. After the gaze direction is calculated in steps 101 to 121, the gaze stop determining unit 23 determines where the gaze is stopped in the gaze switch area 26. This is determined based on whether or not the same area is viewed a certain number of times in succession. If it takes 400 msec for one gaze direction calculation, for example, if the gaze direction stops for two consecutive times, that is, for about 0.8 sec, it is determined that the same area is viewed.

【0032】視線停留判断部23において、視線スイッ
チエリア26のエアコン部に視線方向が停留していると
判断されると、図9に示すようにHUD表示部25に
は、現在のエアコン設定温度が表示される。ここで、H
UD表示部25にエアコン設定温度が表示されると、ス
テアリングスイッチ22のアップダウンスイッチが、設
定温度の上下調節を行うように機能するので、運転者
は、アップダウンボタンを操作して、HUD表示部25
を見ながら所定の温度に調節する。一定時間、例えば5
秒間アップダウンボタンが操作されないと、操作が終了
したものと判断して、スイッチ機能は全て停止する。再
び、何らかの操作の必要が生じたら、メインスイッチ2
1を押すことによって、動作が開始される。
When the gaze stop determining unit 23 determines that the gaze direction is stopped in the air conditioner unit of the gaze switch area 26, the HUD display unit 25 displays the current air conditioner set temperature as shown in FIG. Is displayed. Where H
When the air conditioner set temperature is displayed on the UD display unit 25, the up / down switch of the steering switch 22 functions to perform up / down adjustment of the set temperature. The driver operates the up / down button to display the HUD display. Part 25
Adjust to a predetermined temperature while watching. Fixed time, eg 5
If the up-down button is not operated for a second, it is determined that the operation has been completed, and all the switch functions are stopped. When some operation is required again, the main switch 2
Pressing 1 starts the operation.

【0033】この実施例は以上のように構成されている
から、運転者の頭部位置に即応追尾して最大合焦画像を
採用することにより、運転者の頭部位置が変動しても、
視線方向を高い精度で算出することが可能になる。な
お、上記実施例では、レンズのピント位置調節量を△d
の一定量ごととしたが、レンズを複数ステップずつ、例
えば2ステップずつ動かし、その中で極大点を探し、次
に極大点の周辺のみで、レンズを1ステップずつ動かし
ながら、真の極大点を求めることにより、高速に最大合
焦位置を検出する事ができる。また、最大合焦位置近傍
にて、レンズのピント位置調節量△dをさらに多段階に
小さくすることにより合焦位置検出の分解能を上げるこ
とが出来る。
Since this embodiment is configured as described above, by immediately following the driver's head position and adopting the maximum in-focus image, even if the driver's head position fluctuates.
The gaze direction can be calculated with high accuracy. In the above embodiment, the amount of lens focus position adjustment is Δd
The lens was moved by a plurality of steps, for example, two steps, and a local maximum point was searched for. Then, only around the local maximum point, the lens was moved one step at a time, and the true local maximum point was determined. By calculating, the maximum in-focus position can be detected at high speed. Further, the resolution of the focus position detection can be increased by further reducing the focus position adjustment amount Δd of the lens in multiple steps near the maximum focus position.

【0034】[0034]

【発明の効果】 以上のとおり、本発明によれば、画像
入力部よる画像データを基に、網膜反射像候補を抽出
し、合焦度を算出してレンズのピント位置を調節し、最
大合焦度を有する画像の選択を行い、この選択された最
大合焦画像から網膜反射像、角膜反射像を抽出し視線方
向を算出するものとしたので、運転者の頭部位置が変動
したときでも、視線方向を高い精度で算出できるという
効果を有する。そして、合焦度を算出する領域を網膜反
射像候補を包含する小領域に限定しているので、視線方
向検出処理が高速に行える。さらに、共軸系の照明と非
共軸系の照明および一台の撮像装置のセットを用いて画
像データを入力できるので、画像入力部を小型化でき
る。
As described above, according to the present invention, a retinal reflection image candidate is extracted based on image data from an image input unit, the degree of focusing is calculated, the focus position of the lens is adjusted, and the maximum focusing is achieved. An image having a degree of focus is selected, and a retinal reflection image and a corneal reflection image are extracted from the selected maximum in-focus image and the gaze direction is calculated, so that even when the driver's head position fluctuates. And the gaze direction can be calculated with high accuracy. Since the area for calculating the degree of focus is limited to the small area including the retinal reflection image candidate, the gaze direction detection processing can be performed at high speed. Furthermore, since image data can be input using a set of coaxial illumination, non-coaxial illumination, and one imaging device, the size of the image input unit can be reduced.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第一の実施例を示す図である。FIG. 1 is a diagram showing a first embodiment of the present invention.

【図2】視線方向検出装置を用いた車両の視線スイッチ
システムの全体構成を示す図である。
FIG. 2 is a diagram illustrating an overall configuration of a line-of-sight switch system of a vehicle using the line-of-sight direction detection device.

【図3】視線スイッチシステムの車載レイアウト及び車
載レイアウト主要部の詳細を示す図である。
FIG. 3 is a diagram illustrating details of a vehicle-mounted layout and a main part of the vehicle-mounted layout of the eye-gaze switch system.

【図4】視線方向検出装置における処理の流れを示す図
である。
FIG. 4 is a diagram showing a flow of processing in a gaze direction detecting device.

【図5】視線方向検出装置における処理の流れを示す図
である。
FIG. 5 is a diagram showing a flow of processing in a gaze direction detecting device.

【図6】微分フィルタの説明図である。FIG. 6 is an explanatory diagram of a differential filter.

【図7】角膜反射像生成の説明図である。FIG. 7 is an explanatory diagram of corneal reflection image generation.

【図8】モデル化された眼球構成を示す図である。FIG. 8 is a diagram showing a modeled eyeball configuration.

【図9】HUD表示部における表示状態の説明図であ
る。
FIG. 9 is an explanatory diagram of a display state on the HUD display unit.

【符号の説明】[Explanation of symbols]

1 照明 2 照明 3 レンズ 4 画像入力部 5 A/D変換部 6 画像メモリ 7 瞳孔抽出部 8 瞳孔位置決定部 9 合焦度算出部 10 最大合焦画像選択部 11 レンズ駆動用アクチュエータ 12 眼球反射像抽出部 13 視線方向算出部 14 全体制御部 15 照明発光制御部 16 運転者 20 視線方向検出装置 21 メインスイッチ 22 ステアリングスイッチ 23 視線停留判断部 24 HUD表示制御部 25 HUD表示部 26 視線スイッチエリア 27 コントローラ切り替え部 28 エアコンコントローラ 29 CDコントローラ 30 ラジオコントローラ 31 ヘッドライトコントローラ 32 ワイパコントローラ 33 ウインドシールド 34 ステアリング L 正反射点Q' と角膜反射像が発生する点R’
を結ぶ直線 O 角膜球中心 P 瞳孔中心 Q 非共軸系照明2による正反射点 Q’ 共軸系照明1による正反射点 R 非共軸系照明2による虚像の角膜反射像が発
生する点 R’ 共軸系照明1による虚像の角膜反射像が発生
する点
REFERENCE SIGNS LIST 1 illumination 2 illumination 3 lens 4 image input unit 5 A / D conversion unit 6 image memory 7 pupil extraction unit 8 pupil position determination unit 9 focus degree calculation unit 10 maximum focus image selection unit 11 lens drive actuator 12 eyeball reflection image Extraction unit 13 Gaze direction calculation unit 14 Overall control unit 15 Illumination emission control unit 16 Driver 20 Gaze direction detection device 21 Main switch 22 Steering switch 23 Gaze stop determination unit 24 HUD display control unit 25 HUD display unit 26 Gaze switch area 27 Controller Switching unit 28 Air conditioner controller 29 CD controller 30 Radio controller 31 Headlight controller 32 Wiper controller 33 Windshield 34 Steering L Specular reflection point Q 'and point R' at which corneal reflection image is generated
O The center of the corneal sphere P The center of the pupil Q The specular reflection point by the non-coaxial illumination 2 Q 'The specular reflection point by the coaxial illumination 1 R The point at which a virtual corneal reflection image by the non-coaxial illumination 2 is generated R '' Point where the corneal reflection image of the virtual image by the coaxial illumination 1 occurs

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) A61B 3/00 - 3/16 G02B 7/28 ──────────────────────────────────────────────────続 き Continued on front page (58) Field surveyed (Int. Cl. 7 , DB name) A61B 3/00-3/16 G02B 7/28

Claims (2)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 運転者の眼球に不可視光を照射し画像入
力部により眼球からの反射像を撮像して運転者の視線方
向を検出する視線検出装置において、前記画像入力部のレンズの光軸と照射方向が一致する共
軸系照明と、前記レンズと非共軸な位置に設けた非共軸
系照明とで前記不可視光を照射し、 前記画像入力部はピント位置調節機能を有して異なるピ
ント位置ごとに前記各照明を交互に点灯させた各画像を
入力するよう構成され、 前記ピント位置ごとの画像の合焦度を算出する合焦度算
出手段と、 入力した複数枚の画像から、最大合焦度を有する画像を
選択する最大合焦画像選択手段と、 前記最大合焦度を有する画像のデータから網膜反射像と
角膜反射像抽出する眼球反射像抽出手段と、 前記網膜反射像と角膜反射像を基に運転者の視線方向を
算出する視線方向算出手段とを有し、 前記合焦度算出手段は、画像入力部からの入力画像から
網膜反射像候補を抽出する網膜反射像候補抽出手段を備
え、前記画像の合焦度として網膜反射像候補を包含する
小領域の合焦度を算出し、 前記眼球反射像抽出手段は、最大合焦度を有する前記小
領域の共軸系照明と非共軸系照明による画像データの差
分に基づいて網膜反射像を抽出 することを特徴とする車
両用視線方向検出装置。
An image is input by irradiating a driver's eyeball with invisible light.
The driver's line of sight by capturing the reflected image from the eyeball with the force part
In a gaze detection device that detects the direction,The optical axis of the lens of the image input unit and the irradiation direction coincide with each other.
Axial illumination and non-coaxial provided at a non-coaxial position with the lens
Irradiating the invisible light with the system lighting,  The image input unit has a focus position adjusting function and has different pin positions.
For each pointEach of the above lights was alternately turned on.the image
A focus degree calculator for calculating a focus degree of an image for each focus position
Output means and an image having the maximum focus degree from the plurality of input images.
Means for selecting the maximum focus image to be selected; and the maximum focus degreeHavingRetinal reflection image from image data
Cornea reflection imageToAn eyeball reflection image extracting means for extracting, a driver's gaze direction based on the retinal reflection image and the corneal reflection image.
Eye-gaze direction calculating means for calculating, wherein the degree of focus calculating means calculates the degree of focus from an input image from an image input unit.
A retinal reflection image candidate extracting means for extracting a retinal reflection image candidate is provided.
Including the retinal reflection image candidate as the degree of focus of the image
Calculate the focus of a small areaAnd The eyeball reflection image extracting means is configured to output the small
Difference in image data between coaxial and non-coaxial illumination of a region
Extract retinal reflection image based on minute A car characterized by
Dual-purpose gaze direction detection device.
【請求項2】 前記最大合焦画像選択手段は、異なるピ
ント位置の画像の合焦度の比較に基づいて前記画像入力
部にピント位置調節指令を出力し、前記画像入力部は該
ピント位置調節指令に基づいてそのピント位置を変更す
るものであることを特徴とする請求項1記載の車両用視
線方向検出装置。
2. The maximum focus image selection means outputs a focus position adjustment command to the image input unit based on a comparison of the degree of focus of images at different focus positions, and the image input unit adjusts the focus position. The gaze direction detecting device for a vehicle according to claim 1, wherein the focus position is changed based on a command.
JP11217594A 1994-04-27 1994-04-27 Gaze direction detection device for vehicles Expired - Fee Related JP3232873B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11217594A JP3232873B2 (en) 1994-04-27 1994-04-27 Gaze direction detection device for vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11217594A JP3232873B2 (en) 1994-04-27 1994-04-27 Gaze direction detection device for vehicles

Publications (2)

Publication Number Publication Date
JPH07289519A JPH07289519A (en) 1995-11-07
JP3232873B2 true JP3232873B2 (en) 2001-11-26

Family

ID=14580135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11217594A Expired - Fee Related JP3232873B2 (en) 1994-04-27 1994-04-27 Gaze direction detection device for vehicles

Country Status (1)

Country Link
JP (1) JP3232873B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4568836B2 (en) * 2004-06-08 2010-10-27 国立大学法人静岡大学 Real-time pupil position detection system
CN100343867C (en) * 2005-06-15 2007-10-17 北京中星微电子有限公司 Method and apparatus for distinguishing direction of visual lines
TWI432172B (en) * 2008-10-27 2014-04-01 Utechzone Co Ltd Pupil location method, pupil positioning system and storage media

Also Published As

Publication number Publication date
JPH07289519A (en) 1995-11-07

Similar Documents

Publication Publication Date Title
JP3324295B2 (en) Gaze direction measuring device for vehicles
JP2988178B2 (en) Gaze direction measuring device
CN111931579B (en) Automatic driving assistance system and method using eye tracking and gesture recognition techniques
JP4879189B2 (en) Safe driving support device
US6397137B1 (en) System and method for selection of vehicular sideview mirrors via eye gaze
JP3203951B2 (en) Vehicle interface
CN108621947B (en) Self-adaptive adjustment vehicle-mounted head-up display system
EP2338416A1 (en) Line-of-sight direction determination device and line-of-sight direction determination method
JP3785669B2 (en) Gaze direction measuring device
JPH07257228A (en) Display device for vehicle
WO2006035890A1 (en) Method for detecting line of sight
JP2017039373A (en) Vehicle video display system
JP3735947B2 (en) Line-of-sight input device
WO2021246012A1 (en) Device, method, and program for detecting line of sight
JP3232873B2 (en) Gaze direction detection device for vehicles
JPH0953917A (en) Instrument for measuring direction of line of sight for vehicle
JP2011042179A (en) Projector control device
JP3185522B2 (en) Gaze direction measuring device for vehicles
JP4701961B2 (en) Pedestrian detection device
JPH09212082A (en) Visual line input device
US11810372B2 (en) Multiple in-cabin cameras and lighting sources for driver monitoring
JP3296119B2 (en) Gaze direction measuring device for vehicles
JPH08297019A (en) Apparatus for detecting direction of line of sight for vehicle
JPH09251539A (en) Line-of-sight measuring instrument
JP2988235B2 (en) Gaze direction detection device for vehicles

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010821

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070921

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080921

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090921

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees