JP3296119B2 - Gaze direction measuring device for vehicles - Google Patents
Gaze direction measuring device for vehiclesInfo
- Publication number
- JP3296119B2 JP3296119B2 JP32354794A JP32354794A JP3296119B2 JP 3296119 B2 JP3296119 B2 JP 3296119B2 JP 32354794 A JP32354794 A JP 32354794A JP 32354794 A JP32354794 A JP 32354794A JP 3296119 B2 JP3296119 B2 JP 3296119B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- gaze direction
- illumination
- driver
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、車両運転者の視線方向
を遠隔から非接触で計測する車両用視線方向計測装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a gaze direction measuring device for a vehicle which measures the gaze direction of a vehicle driver from a remote place without contact.
【０００２】[0002]
【従来の技術】このような視線方向計測装置は、車両用
の非接触ヒューマンマシンインターフェイスとして、例
えば車両運転者の注目している方向に視覚情報を表示す
るとか、視線方向を計測し、視線方向に表示された内容
に応じてラジオやエアコン等の車載機器のスイッチを動
作させる視線スイッチなど、種々の目的への利用が期待
されている。従来、遠隔から非接触で計測する視線方向
計測装置として、眼球に赤外ＬＥＤ等の不可視光を照射
し、眼球の網膜反射像および角膜反射像の位置を画像情
報として取入れて、視線方向を演算算出する装置が提案
されている。このような従来の視線方向計測装置で、車
両運転者の眼球からの反射像を計測する場合、太陽光な
どの強い外来光下では、瞳孔が縮小する（縮瞳）ため、
瞳孔を通過して網膜に達する光量が減少し、網膜からの
反射像が得にくくなり、視線方向の計測精度が悪化す
る。2. Description of the Related Art Such a gaze direction measuring device is used as a non-contact human-machine interface for a vehicle, for example, to display visual information in a direction of interest of a vehicle driver, or to measure a gaze direction, and to measure the gaze direction. It is expected to be used for various purposes, such as a line-of-sight switch that operates a switch of an in-vehicle device such as a radio or an air conditioner according to the content displayed in the above. Conventionally, as a gaze direction measurement device that measures non-contact remotely, the eyeball is irradiated with invisible light such as an infrared LED, and the position of the retinal reflection image and corneal reflection image of the eyeball is taken as image information to calculate the gaze direction. A device for calculating has been proposed. When measuring a reflected image from the eyeball of a vehicle driver with such a conventional gaze direction measuring device, the pupil is reduced (constricted pupil) under strong extraneous light such as sunlight.
The amount of light that passes through the pupil and reaches the retina decreases, making it difficult to obtain a reflected image from the retina and deteriorating the measurement accuracy in the line of sight direction.
【０００３】このような問題の対策として、例えば特開
平４−１５７４３５号公報には、反射像が得られない時
には照明光量を増やす視線方向計測装置が開示されてい
る。また、特開平２−６５８３６号公報には、顔面照度
から瞳孔径を推定し、Ｓ／Ｎの悪い画像から網膜反射像
抽出を可能にする視線計測装置が開示されている。さら
に、テレビやオーディオ装置の制御に用いられている赤
外線リモコンでは、赤外ＬＥＤの発光に変調をかけ、受
光側で同期検波することにより、外来光による直流成分
を除去し、強い外来光下でも安定に動作させている。こ
の同期検波機能を視線方向計測装置に付加することが検
討されている。As a countermeasure against such a problem, for example, Japanese Patent Application Laid-Open No. 4-157435 discloses a gaze direction measuring device that increases the amount of illumination when a reflected image cannot be obtained. Further, Japanese Patent Application Laid-Open No. 2-65836 discloses an eye gaze measuring apparatus that estimates a pupil diameter from face illuminance and enables a retinal reflection image to be extracted from an image having a poor S / N. In addition, infrared remote controllers used for controlling televisions and audio equipment modulate the emission of infrared LEDs and perform synchronous detection on the light-receiving side to remove DC components due to extraneous light, even under strong extraneous light. It operates stably. It has been studied to add this synchronous detection function to the gaze direction measuring device.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、特開平
４−１５７４３５公報に開示されている視線方向計測装
置においては、カメラのファインダを覗いた状態を想定
しているため、光量は僅かであり、眼球の安全性に対す
る考慮はなされていない。しかし、車両運転者の顔面照
度は、太陽光下では数万ルクスにも達するため、小さく
縮小した瞳孔に対応するために、大きな光量が必要とさ
れ、この場合は、眼球の安全性に対する十分な配慮が必
要である。現在、光線に対する眼球の安全性を確保する
ための基準として、米国労働衛生専門官会議では、波長
０．７７μｍ以上の赤外線は、眼球への照射エネルギー
密度を１０ｍＷ／ｃｍ2 以下に制限すべきであると定め
ていることが人間の許容限界ハンドブックに報告されて
いる。However, the gaze direction measuring device disclosed in Japanese Patent Application Laid-Open No. 4-157435 assumes a state in which the user looks into the viewfinder of the camera. No consideration has been given to the safety of the ship. However, since the face illuminance of the vehicle driver reaches tens of thousands of lux under sunlight, a large amount of light is required to correspond to a small and reduced pupil, and in this case, sufficient safety for the eyeball is required. Care must be taken. At present, as a criterion for ensuring the safety of the eye against light rays, the U.S. Occupational Health Council should limit the irradiation energy density to the eye to 10 mW / cm 2 or less for infrared rays having a wavelength of 0.77 μm or more. It is reported in the Human Limits Handbook that there is.
【０００５】従来の視線方向計測装置では、この安全基
準の範囲内の照射エネルギー密度を有する連続赤外線を
眼球に照射したときに、外来光が強いと、必要な反射像
の信号が埋もれてしまい、視線方向計測の精度が悪化す
るという問題がある。また、特開平２−６５８３６号公
報に開示されている視線方向計測装置においては、質の
悪い画像から反射像を抽出するために、計測精度の悪化
や画像処理時間の増大を招くという問題がある。さら
に、リモコン装置のような同期検波機能を付加すると、
画像入力に必要な時間が増大するという問題がある。し
たがって、本発明は上記従来の問題点に鑑み、車両運転
者の視線方向を非接触で計測する車両用視線方向計測装
置において、強い外来光下においても、安全にかつ迅速
正確に視線方向を計測することができる車両用視線方向
計測装置を提供することを目的とする。In the conventional gaze direction measuring device, when continuous infrared light having an irradiation energy density within the range of the safety standard is applied to the eyeball, if the external light is strong, a necessary reflected image signal is buried. There is a problem that the accuracy of gaze direction measurement is deteriorated. Further, the gaze direction measuring device disclosed in Japanese Patent Application Laid-Open No. 2-65836 has a problem that the measurement accuracy is deteriorated and the image processing time is increased because a reflected image is extracted from a poor quality image. . Furthermore, if a synchronous detection function like a remote control device is added,
There is a problem that the time required for image input increases. Accordingly, the present invention has been made in view of the above-mentioned conventional problems, and in a vehicle gaze direction measuring device that measures the gaze direction of a vehicle driver in a non-contact manner, even under strong external light, measures the gaze direction safely and quickly and accurately. It is an object of the present invention to provide a gaze direction measuring device for a vehicle, which can perform the above.
【０００６】[0006]
【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の本発明は、運転者の眼球に不可視
光を照射し該眼球からの反射像を含む画像を撮像して、
該画像から反射像を抽出し、該反射像を基に運転者の視
線方向を計測する視線方向計測装置において、撮像時間
を高速化可能なシャッタを備えた画像入力手段と、該シ
ャッタと同期してパルス発光し、かつピークパワーが撮
像時間と逆比例する照明手段とを有するものとした。ま
た、請求項２に記載の本発明は、運転者の眼球に不可視
光を照射し該眼球からの反射像を含む画像を撮像して、
該画像から反射像を抽出し、該反射像を基に運転者の視
線方向を計測する視線方向計測装置において、撮像時間
を高速化可能なシャッタを備えた画像入力手段と、該シ
ャッタと同期してパルス発光する照明手段と、車両運転
者の顔面照度を計測する顔面照度計測手段と、該顔面照
度に応じて前記照明手段のピークパワーを制御する照明
ピークパワー制御手段を有するものとした。In order to achieve the above object, the present invention according to claim 1 irradiates an invisible light to an eyeball of a driver and captures an image including a reflection image from the eyeball,
A gaze direction measuring device for extracting a reflection image from the image and measuring a gaze direction of the driver based on the reflection image, wherein an image input unit having a shutter capable of shortening an imaging time is synchronized with the shutter. Illuminating means that emits pulsed light, and whose peak power is inversely proportional to the imaging time. The present invention according to claim 2 irradiates the driver's eyeball with invisible light to capture an image including a reflection image from the eyeball,
A gaze direction measuring device for extracting a reflection image from the image and measuring a gaze direction of the driver based on the reflection image, wherein an image input unit having a shutter capable of shortening an imaging time is synchronized with the shutter. Illumination means for emitting pulsed light, a face illuminance measurement means for measuring the face illuminance of the vehicle driver, and an illumination peak power control means for controlling the peak power of the illumination means in accordance with the face illuminance.
【０００７】[0007]
【作用】請求項１のものは、シャッタ速度を高速化し、
照明光のピークパワーを増加させることにより、外来光
によるノイズが低減され、計測時間の増大を招くことな
く、精度よく、反射像を抽出できる。また照明光をパル
ス発光させ、照射エネルギー密度を１０ｍＷ／ｃｍ2 以
下に制限することにより、眼球の安全性が確保できる。
請求項２のものは、眼球の安全性を確保したうえで、外
来光によるノイズを低減し、計測時間の増大を招くこと
なく、精度よく、反射像を抽出でき、さらに、顔面照度
を計測し、計測した顔面照度に応じて照明手段のピーク
パワーを制御することにより、顔面照度が低い場合に
は、無駄な高出力照射を防止できる。According to the first aspect, the shutter speed is increased,
By increasing the peak power of the illumination light, noise due to extraneous light is reduced, and a reflected image can be accurately extracted without increasing the measurement time. In addition, the safety of the eyeball can be ensured by causing the illumination light to emit pulse light and limiting the irradiation energy density to 10 mW / cm 2 or less.
According to the second aspect, while ensuring the safety of the eyeball, noise due to extraneous light is reduced, the reflected image can be accurately extracted without increasing the measurement time, and the face illuminance is measured. By controlling the peak power of the illuminating means according to the measured face illuminance, it is possible to prevent unnecessary high-output irradiation when the face illuminance is low.
【０００８】[0008]
【実施例】図１は本発明の第１の実施例を示すブロック
図である。運転者１３の眼球を撮像するよう計器盤上に
ＣＣＤ等を用いた画像入力部５が設置される。画像入力
部５の中には、１／５００〜１／１０００秒で高速動作
するシャッタ５ａが設けられている。画像入力部５の中
心に画像入力部５の光軸と照射方向が一致する様に取り
付けらた共軸系の照明１が設けられる。また照明１との
相対関係が既知の位置に照明１と同一仕様を有する非共
軸系の照明２が設けられている。照明１および照明２
は、人間に不可視な赤外光を発し、かつパルス発光可能
である赤外ＬＥＤ等から構成され、その照射エネルギー
密度が、運転者１３の顔面上で、１０ｍＷ／ｃｍ2 以下
になるように設定されている。またそのピークパワーは
シャッタ５ａの動作速度と逆比例し、その発光はシャッ
タ５ａの動作と同期している。また画像入力部５の前面
には照明１および照明２の波長域の光のみを透過するバ
ンドパスフィルタ３が装着されている。なお画像入力部
５の感度は照明１および照明２の波長域に一致してい
る。FIG. 1 is a block diagram showing a first embodiment of the present invention. An image input unit 5 using a CCD or the like is installed on an instrument panel so as to image the driver's 13 eyeball. In the image input unit 5, a shutter 5a that operates at high speed in 1/500 to 1/1000 second is provided. A coaxial illumination 1 is provided at the center of the image input unit 5 so that the optical axis of the image input unit 5 and the irradiation direction coincide with each other. A non-coaxial illumination 2 having the same specification as the illumination 1 is provided at a position where the relative relationship with the illumination 1 is known. Light 1 and Light 2
Is composed of an infrared LED or the like that emits infrared light that is invisible to humans and that can emit pulses, and is set so that the irradiation energy density on the face of the driver 13 is 10 mW / cm 2 or less. Have been. The peak power is inversely proportional to the operation speed of the shutter 5a, and its light emission is synchronized with the operation of the shutter 5a. On the front surface of the image input unit 5, a band-pass filter 3 that transmits only light in the wavelength range of the illumination 1 and the illumination 2 is mounted. Note that the sensitivity of the image input unit 5 matches the wavelength range of the illumination 1 and the illumination 2.
【０００９】画像入力部５からの撮像出力はＡ／Ｄ変換
器６で画像データとしてＡ／Ｄ変換され、画像メモリ７
に格納される。画像メモリ７には、瞳孔抽出部８が接続
され、これに順次、角膜反射像抽出部９、視線方向算出
部１０が接続されている。瞳孔抽出部８では画像メモリ
７に格納された各画像データの差分演算により照明１お
よび照明２による網膜反射像を抽出する。角膜反射像抽
出部９では照明１、照明２による角膜反射像を抽出す
る。そして視線方向算出部１０において、抽出された反
射像位置から運転者の視線方向が演算算出される。照明
１、照明２にはその発光を制御する照明パルス発光制御
部１１が接続されている。また画像入力部５には、画像
入力部５内のシャッタ５ａを制御するシャッタ制御部４
が接続されている。この照明パルス発光制御部１１，シ
ャッタ制御部４、Ａ／Ｄ変換器６を含み装置全体の動作
を制御する全体制御部１２が設けられている。An image pickup output from the image input unit 5 is A / D converted as image data by an A / D converter 6,
Is stored in A pupil extraction unit 8 is connected to the image memory 7, and a corneal reflection image extraction unit 9 and a gaze direction calculation unit 10 are sequentially connected to the pupil extraction unit 8. The pupil extraction unit 8 extracts a retinal reflection image by the illumination 1 and the illumination 2 by calculating a difference between the respective image data stored in the image memory 7. The corneal reflection image extraction unit 9 extracts a corneal reflection image by the illumination 1 and the illumination 2. Then, the gaze direction calculation unit 10 calculates the gaze direction of the driver from the extracted reflected image position. The illumination 1 and illumination 2 are connected to an illumination pulse emission control unit 11 for controlling the emission. The image input unit 5 includes a shutter control unit 4 that controls a shutter 5 a in the image input unit 5.
Is connected. An overall control unit 12 including the illumination pulse emission control unit 11, the shutter control unit 4, and the A / D converter 6 for controlling the operation of the entire apparatus is provided.
【００１０】画像入力部５と共軸系をなすように配置さ
れた照明１を用いて撮像された画像には、眼球の網膜か
らの反射光により、瞳孔部が明るく撮像される。また、
画像入力部５と非共軸系をなすように配置された照明２
を用いて撮像された画像には、眼球の網膜からの反射光
は写らないので、眼球の瞳孔部は暗く撮像される。この
２枚の画像の差分から網膜反射像を抽出する。画像上の
瞳孔に着目すると、共軸系照明１点灯時の瞳孔像には、
網膜反射光とともに外来光の角膜反射成分が含まれてい
る。単位時間当りの共軸系照明強度をＷ、単位時間当り
の外来光強度をＩ、画像入力部の受光面に到達する網膜
反射光の減衰率（角膜、水晶体、硝子体の透過率、網膜
反射率、レンズ透過率を含む）をｒ１、画像入力部の受
光面に到達する外来光の角膜反射光の減衰率をｒ２（角
膜反射率、レンズ透過率を含む）とすると、単位時間シ
ャッタ５ａを開いた時、網膜反射成分はｒ１・Ｗ、外来
光の角膜表面反射成分はｒ２・Ｉとなる。すなわち、共
軸系照明１点灯時に計測される瞳孔部の輝度は、おおよ
そ、ｒ１・Ｗ＋ｒ２・Ｉとなる。非共軸系照明２点灯時
の瞳孔部の輝度は、外来光の角膜反射成分のみで、おお
よそｒ２・Ｉとなる。したがって、この２枚の画像の差
分はｒ１・Ｗとなり、ｒ１・Ｗが大きいほど瞳孔が強調
される。一方、外来光の角膜反射成分ｒ２・Ｉは計測に
不要であり、画像入力部５の受光素子のオーバーフロー
を防止するために、ｒ２・Ｉは小さいことが望ましい。In an image picked up by using the illumination 1 arranged so as to form a coaxial system with the image input unit 5, a pupil part is picked up brightly by reflected light from the retina of the eyeball. Also,
Illumination 2 arranged so as to form a non-coaxial system with image input unit 5
Since the reflected light from the retina of the eyeball is not reflected in the image captured using, the pupil of the eyeball is captured dark. A retinal reflection image is extracted from the difference between the two images. Focusing on the pupil on the image, the pupil image at the time of turning on the coaxial illumination 1 includes:
A corneal reflection component of extraneous light is included together with the retinal reflection light. W is the coaxial illumination intensity per unit time, I is the extraneous light intensity per unit time, and the attenuation rate of retinal reflected light reaching the light receiving surface of the image input unit (transmittance of cornea, lens, vitreous, retinal reflection Assuming that r1 (including the corneal reflectance and the lens transmittance) is r1 (including the corneal reflectance and the lens transmittance), the attenuation rate of the corneal reflection light of the extraneous light reaching the light receiving surface of the image input unit is r1. When opened, the retinal reflection component is r1 · W, and the corneal surface reflection component of extraneous light is r2 · I. That is, the luminance of the pupil measured when the coaxial illumination 1 is turned on is approximately r1 · W + r2 · I. When the non-coaxial illumination 2 is turned on, the luminance of the pupil portion is approximately r2 · I due to only the corneal reflection component of the extraneous light. Therefore, the difference between these two images is r1 · W, and the pupil is emphasized as r1 · W is larger. On the other hand, the corneal reflection component r2 · I of extraneous light is unnecessary for measurement, and it is desirable that r2 · I be small in order to prevent overflow of the light receiving element of the image input unit 5.
【００１１】いま、基準のシャッタ速度を１とし、短縮
したシャッタ速度をｋ（ｋ＜１）とする。単位時間当り
強度Ｗの照明を照射するものとする。この時の、２枚の
画像の差分はｋ・ｒ１・Ｗとなり、外来光の角膜反射成
分はｋ・ｒ２・Ｉとなる。すなわち、シャッタ速度を速
くすると、外来光の角膜反射成分は減少するが、同時に
網膜反射成分ｋ・ｒ１・Ｗも小さくなってしまうので、
その分、照明光のピークパワーを上げて、１／ｋ倍にす
る。このとき、眼球に照射する光の安全基準を考慮し
て、照明光をパルス点灯させ、照射時間をシャッタ速度
と同じくｋまで短縮することにより、眼球に照射される
光量はピークパワーを１／ｋ倍する前と同じになる。し
たがって、シャッタ速度を高速化し、照明光のピークパ
ワーを増加させることにより、外来光によるノイズが低
減され、計測時間の増大を招くことなく、精度よく、反
射像を抽出できる。Here, the reference shutter speed is 1, and the reduced shutter speed is k (k <1). It is assumed that illumination with intensity W per unit time is applied. At this time, the difference between the two images is k · r1 · W, and the corneal reflection component of the extraneous light is k · r2 · I. That is, when the shutter speed is increased, the corneal reflection component of the extraneous light decreases, but at the same time, the retinal reflection component k · r1 · W also decreases.
The peak power of the illuminating light is increased by 1 / k times. At this time, in consideration of the safety standard of the light irradiating the eyeball, the illumination light is pulsed and the irradiation time is shortened to k as well as the shutter speed. It is the same as before doubling. Therefore, by increasing the shutter speed and increasing the peak power of the illumination light, noise due to extraneous light is reduced, and a reflected image can be accurately extracted without increasing the measurement time.
【００１２】図２は上述した視線方向計測装置を用いた
車両の視線スイッチシステムの全体構成図を示し、図３
はその車載レイアウトを示す。図２において、図１に示
した視線方向計測装置が参照番号２０で示されている。
視線方向算出部１０には視線停留判断部２３を介してＨ
ＵＤ（ヘッドアップディスプレイ）表示制御部２４が接
続されている。ＨＵＤ表示制御部２４には、コントロー
ラ切り替え部２７が接続されている。コントローラ切り
替え部２７には、エアコンコントローラ２８、ＣＤコン
トローラ２９、ラジオコントローラ３０、ヘッドライト
コントローラ３１およびワイパコントローラ３２が接続
されている。スイッチ表示エリア２６には、エアコン、
ワイパ等の各操作対象項目（エリア）が表示される。Ｈ
ＵＤ表示エリア２５には操作対象のエリア内容が表示さ
れる。メインスイッチ２１は全体制御部１２に、ステア
リングスイッチ２２はＨＵＤ表示制御部２４に接続され
ている。FIG. 2 is a diagram showing an entire configuration of a line-of-sight switch system of a vehicle using the above-described line-of-sight direction measuring device.
Indicates the in-vehicle layout. In FIG. 2, the gaze direction measuring apparatus shown in FIG.
The line-of-sight direction calculation unit 10 receives H through the line-of-sight stop determination unit 23.
A UD (head-up display) display control unit 24 is connected. The controller switching unit 27 is connected to the HUD display control unit 24. An air conditioner controller 28, a CD controller 29, a radio controller 30, a headlight controller 31, and a wiper controller 32 are connected to the controller switching unit 27. An air conditioner,
Each operation target item (area) such as a wiper is displayed. H
The UD display area 25 displays the contents of the area to be operated. The main switch 21 is connected to the overall control unit 12 and the steering switch 22 is connected to the HUD display control unit 24.
【００１３】いま、メインスイッチ２１が押されるとシ
ステムがＯＮして、視線方向計測装置２０の視線方向算
出部１０は、運転者の視線方向を算出し、視線停留判断
部２３に出力する。視線停留判断部２３は視線が停留し
ているエリアを判断しＨＵＤ表示制御部２４へ出力す
る。ＨＵＤ表示制御部２４はＨＵＤ表示エリア２５上に
決定されたエリアの内容を表示するとともに、コントロ
ーラ切り替え部２７によりエアコンコントローラ２８、
ＣＤコントローラ２９、ラジオコントローラ３０、ヘッ
ドライトコントローラ３１あるいはワイパコントローラ
３２を選択する項目切り替えを行う。続いて、ステアリ
ングスイッチ２２からのユーザ入力判断による所定の制
御対象の制御が行われる。図３の（ａ）に示されるよう
に、メインスイッチ２１とステアリングスイッチ２２は
ステアリング４２に取り付けられる。また、照明１、画
像入力部５、照明２等が運転席前方の計器盤ボード内パ
ネルに設置され、ウインドシールド４１上にＨＵＤ表示
エリア２５とスイッチ表示エリア２６が設定されてい
る。スイッチ表示エリア２６はさらに、図３の（ｂ）に
その詳細を示すように、各種コントローラの名称がＨＵ
Ｄ表示されているものである。また、同図（ｃ）にはス
テアリングスイッチ２２の詳細が示されている。When the main switch 21 is pressed, the system is turned on, and the gaze direction calculating unit 10 of the gaze direction measuring device 20 calculates the gaze direction of the driver and outputs the calculated gaze direction to the gaze stop determining unit 23. The gaze stop determining unit 23 determines the area where the gaze is stopped and outputs the determined area to the HUD display control unit 24. The HUD display controller 24 displays the contents of the determined area on the HUD display area 25, and controls the air conditioner controller 28,
The items for selecting the CD controller 29, the radio controller 30, the headlight controller 31, or the wiper controller 32 are switched. Subsequently, a predetermined control target is controlled based on the user input determination from the steering switch 22. As shown in FIG. 3A, the main switch 21 and the steering switch 22 are attached to the steering 42. Further, a light 1, an image input unit 5, a light 2 and the like are installed on an instrument panel board in front of a driver's seat, and a HUD display area 25 and a switch display area 26 are set on a windshield 41. As shown in detail in FIG. 3B, the switch display area 26 further includes names of various controllers HU.
D is displayed. FIG. 3C shows details of the steering switch 22.
【００１４】続いて、視線方向計測装置２０における動
作について説明する。図４は、上記視線方向計測装置２
０における視線方向算出処理の流れを示すフローチャー
トである。まず、ステアリング４２に設けられたメイン
スイッチ２１を押すと、全体制御部１２から制御開始信
号が出力され、制御が開始される。ステップ１０１にお
いて、照明パルス発光制御部１１の制御信号で、照明１
がパルス点灯する。照明２は消灯したままとされる。ス
テップ１０２で、シャッタ制御部４の制御により、照明
１のパルス点灯と同期してシャッタ５ａが開き、画像入
力部５から入力された画像信号は，Ａ／Ｄ変換器６でＡ
／Ｄ変換され、画像メモリ７に格納される。この画像を
Ｉn1（ｘ，ｙ）とする。ステップ１０３では、照明パル
ス発光制御部１１の制御信号で、照明１が消灯し、照明
２が点灯する。ステップ１０４において、シャッタ制御
部４の制御により、照明２のパルス点灯と同期してシャ
ッタ５ａが開き画像入力部５から入力された画像信号
は，Ａ／Ｄ変換器６でＡ／Ｄ変換され画像メモリ７に格
納される。この画像をＩn2（ｘ，ｙ）とする。Next, the operation of the gaze direction measuring device 20 will be described. FIG. 4 shows the gaze direction measuring device 2
9 is a flowchart illustrating the flow of a gaze direction calculation process at 0. First, when the main switch 21 provided on the steering wheel 42 is pressed, a control start signal is output from the overall control unit 12 and control is started. In step 101, the illumination 1 is controlled by the control signal of the illumination pulse emission control unit 11.
Lights up in pulses. The illumination 2 remains off. In step 102, under the control of the shutter control unit 4, the shutter 5 a is opened in synchronization with the pulse lighting of the illumination 1, and the image signal input from the image input unit 5 is converted by the A / D converter 6 into A / D converter 6.
/ D converted and stored in the image memory 7. This image is designated as In1 (x, y). In step 103, the illumination 1 is turned off and the illumination 2 is turned on by the control signal of the illumination pulse emission control unit 11. In step 104, under the control of the shutter control unit 4, the shutter 5 a opens in synchronization with the pulse lighting of the illumination 2, the image signal input from the image input unit 5 is A / D converted by the A / D converter 6, Stored in the memory 7. This image is defined as In2 (x, y).
【００１５】ステップ１０５において、瞳孔抽出部８で
は、網膜反射像を抽出する。まず画像Ｉ1 （ｘ，ｙ）か
ら画像Ｉ2 （ｘ，ｙ）を差引いて、画像Ｉ3 （ｘ，ｙ）
を生成する。画像Ｉ3 （ｘ，ｙ）を固定しきい値Ｔｈ1
で２値化し、２値画像Ｉ4 （ｘ，ｙ）を生成する。画像
Ｉ4 （ｘ，ｙ）にラベリング処理を施し、領域の番号付
けを行う。ラベリングの結果得られた各領域の面積Ａi
を、予め決めておいたしきい値Ｓ1 、Ｓ2（Ｓ1 ＜Ｓ2
）と比較して、Ｓ1 ＜Ａi ＜Ｓ2 を満足する領域のみ
抜き出す。すなわち、画像Ｉ4 （ｘ，ｙ）の中には、網
膜反射像の他に、例えば、眼鏡レンズ反射像、眼鏡フレ
ーム反射像、外部照明の変動で生じた顔の一部等、様々
なノイズが含まれている可能性がある。これらのノイズ
は、一般に不定形状、かつ面積も不定であるため、あら
かじめ予想される面積の円もしくは楕円として観測され
る網膜反射像とは明確に識別可能である。したがって、
ここでは先ず領域の面積による選別を行うものである。In step 105, the pupil extracting section 8 extracts a retinal reflection image. First, the image I2 (x, y) is subtracted from the image I1 (x, y) to obtain the image I3 (x, y).
Generate The image I3 (x, y) is set to a fixed threshold Th1.
To generate a binary image I4 (x, y). A labeling process is performed on the image I4 (x, y) to number the regions. Area Ai of each region obtained as a result of labeling
Are determined in advance by threshold values S1, S2 (S1 <S2
), Only the region satisfying S1 <Ai <S2 is extracted. That is, in the image I4 (x, y), besides the retinal reflection image, various noises such as a spectacle lens reflection image, a spectacle frame reflection image, and a part of a face caused by a change in external illumination are included. May be included. Since these noises generally have an indeterminate shape and an indeterminate area, they can be clearly distinguished from a retinal reflection image observed as a circle or an ellipse having an expected area. Therefore,
Here, sorting is first performed according to the area of the region.
【００１６】上記Ｓ1 、Ｓ2 は、画像入力部５の撮影倍
率から推定した、予想される瞳孔径（直径２〜８ｍｍ）
を有する瞳孔の面積が対応する画素数の上限値と下限値
にセットされる。照明光源からの光による眼鏡レンズ反
射像も円形領域として観測されるが、例えば、画像入力
部５のレンズの絞りを絞ることによって、常に、網膜反
射像の面積より、眼鏡レンズ反射像の面積が小さくなる
ようにしておけば、面積により、両者を識別できる。面
積による選別処理の結果残った領域に対して、領域形状
による選別が行われる。ここでは、領域の外接長方形に
対する領域面積の比率Ｆを計算する。網膜反射像は円ま
たは楕円形状で観測されるため、比率Ｆがある一定値以
上であるのに対し、例えば眼鏡フレーム反射は、フレー
ムに沿った細長い領域になるため、仮に網膜反射像と同
等の面積を有していても、Ｆが小さくなるので識別され
る。領域形状による選別処理の結果残った領域を網膜反
射像に決定し、抽出した網膜反射像の重心位置（ｘg 、
ｙg ）を求める。S1 and S2 are the expected pupil diameters (diameter of 2 to 8 mm) estimated from the photographing magnification of the image input unit 5.
Are set to the upper limit and the lower limit of the number of corresponding pixels. The spectacle lens reflection image due to the light from the illumination light source is also observed as a circular area. For example, by reducing the aperture of the lens of the image input unit 5, the area of the spectacle lens reflection image is always larger than the area of the retinal reflection image. If they are made smaller, both can be distinguished by the area. Areas remaining as a result of the area-based sorting process are subjected to area-based sorting. Here, the ratio F of the area of the area to the circumscribed rectangle of the area is calculated. Since the retinal reflection image is observed in a circular or elliptical shape, the ratio F is equal to or greater than a certain value. On the other hand, for example, the spectacle frame reflection is an elongated region along the frame. Even if it has an area, it is identified because F becomes small. The region remaining as a result of the selection processing based on the region shape is determined as a retinal reflection image, and the position of the center of gravity (xg,
yg).
【００１７】ステップ１０６において、角膜反射像抽出
部９において、画像Ｉ1 （ｘ，ｙ）と画像Ｉ2 （ｘ，
ｙ）から、照明１、照明２による角膜反射像の抽出を行
う。それぞれの画像において、角膜表面での正反射光が
輝点として撮像されている。まず画像Ｉ1 （ｘ，ｙ）−
Ｉ2 （ｘ，ｙ）を演算し、抽出した網膜反射像の重心位
置（ｘg 、ｙg ）の近傍で最大輝度階調を持つ画素を求
める。求めた画素（ｘp1，ｙp1）は、照明１による角膜
反射像である。さらにＩ2 （ｘ，ｙ）−Ｉ1 （ｘ，ｙ）
を演算し、抽出した網膜反射像の重心位置（ｘg 、ｙg
）の近傍で最大輝度階調を持つ画素を求める。求めた
画素（ｘp2 ，ｙp2 ）は、照明２による角膜反射像で
ある。このあとステップ１０７では、視線方向算出部１
０において、瞳孔抽出部８で抽出した網膜反射像と角膜
反射像抽出部９で抽出した２つの角膜反射像位置から、
運転者１３の視線方向を算出する。視線方向の算出は、
３つの反射像の位置関係、２つの照明の設置位置の相対
関係、画像入力部の光学パラメータ（焦点距離、受光素
子サイズ）および、眼球の平均サイズ（角膜球半径７．
８ｍｍ、角膜球中心と瞳孔中心の間の距離４．２ｍｍ）
を用いて行う。In step 106, the corneal reflection image extraction unit 9 extracts the image I1 (x, y) and the image I2 (x, y).
From y), a corneal reflection image by illumination 1 and illumination 2 is extracted. In each image, the specularly reflected light on the corneal surface is captured as a bright point. First, the image I1 (x, y)-
I2 (x, y) is calculated, and a pixel having the maximum luminance gradation near the center of gravity (xg, yg) of the extracted retinal reflection image is obtained. The obtained pixel (xp1, yp1) is a corneal reflection image by illumination 1. Further, I2 (x, y) -I1 (x, y)
Is calculated, and the center of gravity of the extracted retinal reflection image (xg, yg
The pixel having the maximum luminance gradation near () is obtained. The obtained pixel (xp2, yp2) is a corneal reflection image by illumination 2. Thereafter, in step 107, the gaze direction calculation unit 1
0, the retinal reflection image extracted by the pupil extraction unit 8 and the two corneal reflection image positions extracted by the corneal reflection image extraction unit 9 are:
The gaze direction of the driver 13 is calculated. The gaze direction is calculated as
The positional relationship between the three reflected images, the relative relationship between the installation positions of the two illuminations, the optical parameters (focal length, light receiving element size) of the image input unit, and the average size of the eyeball (corneal sphere radius 7.
8 mm, distance between corneal sphere center and pupil center 4.2 mm)
This is performed using
【００１８】具体的には、図５の角膜反射像生成の説明
図に示すように、照明１の角膜反射像Ｒ（ｘp1，ｙp
1）、レンズの焦点位置Ｔ、角膜球中心Ｏは１直線Ｌ上
に存在する。照明２と、その角膜反射像Ｒ’（ｘp2 ，
ｙp2 ）を生じさせる角膜表面上の正反射点Ｑを結ぶ線
分と、角膜反射像Ｒ’とレンズの焦点位置Ｔを結ぶ線分
のなす角の２等分線は、直線Ｌと点Ｏで交わり、点Ｑと
点Ｏの距離は７．８ｍｍである。また、この点Ｏは角膜
球中心である。ここで、図６はモデル化された一般的な
眼球構成を示す図であり、Ｏを中心とする半径４．２ｍ
ｍの球面と、画像上の網膜反射像の重心とレンズの焦点
位置Ｔを結ぶ直線の交点のうち、画像入力部５に近い側
の点は、瞳孔中心Ｐである。以上の条件を満足する半直
線Ｌ１が、運転者の視線方向を与える。上述のように運
転者の視線方向の算出については、共軸系照明１の角膜
反射像と瞳孔中心と、非共軸系照明２の角膜反射像とが
定まれば視線方向が算出できる。More specifically, as shown in FIG. 5 for explaining the generation of a corneal reflection image, a corneal reflection image R (xp1, yp) of the illumination 1 is shown.
1) The focal position T of the lens and the center O of the corneal sphere are on one straight line L. Illumination 2 and its corneal reflection image R '(xp2,
The line bisecting the line connecting the regular reflection point Q on the corneal surface and the line connecting the corneal reflection image R 'and the focal position T of the lens is a straight line L and a point O. Intersection, the distance between point Q and point O is 7.8 mm. This point O is the center of the corneal sphere. Here, FIG. 6 is a diagram showing a modeled general eyeball configuration, and has a radius of 4.2 m centered on O.
The point close to the image input unit 5 at the intersection of the straight line connecting the center of gravity of the retinal reflection image on the image and the focal point T of the lens is the pupil center P. The half line L1 satisfying the above conditions gives the driver's line of sight. As described above, the gaze direction of the driver can be calculated when the corneal reflection image and the pupil center of the coaxial illumination 1 and the corneal reflection image of the non-coaxial illumination 2 are determined.
【００１９】ここで、本装置により、エアコンの設定温
度を制御するケースを例にあげ、視線方向算出以降の動
作について説明する。以上のステップ１０１〜ステップ
１０７において視線方向が算出されたのち、視線停留判
断部２３においてスイッチ表示エリア２６のどこに視線
が停留しているかが判断される。これは、一定回数連続
して同一エリアを見ているか否かで判定する。視線方向
算出に、１回あたり１００ｍｓｅｃ要するとすれば、例
えば連続して４回、すなわち約０．４ｓｅｃの間視線方
向が停留すれば、同一エリアを見ていると判断する。視
線停留判断部２３において、スイッチ表示エリア２６の
エアコン部に視線方向が停留していると判断されると、
図７に示すようにＨＵＤ表示エリア２５には、現在のエ
アコン設定温度が表示される。ここで、ＨＵＤ表示エリ
ア２５にエアコン設定温度が表示されると、ステアリン
グスイッチ２２のアップダウンスイッチが、設定温度の
上下調節を行うように機能するので、運転者は、アップ
ダウンボタンを操作して、ＨＵＤ表示エリア２５を見な
がら所定の温度に調節する。一定時間、例えば５秒間ア
ップダウンボタンが操作されないと、操作が終了したも
のと判断して、スイッチ機能は全て停止する。再び、何
らかの操作の必要が生じたら、メインスイッチ２１を押
すことによって、動作が開始される。The operation after the calculation of the line-of-sight direction will be described by taking as an example a case where the set temperature of the air conditioner is controlled by the present apparatus. After the gaze direction is calculated in steps 101 to 107, the gaze stop determining unit 23 determines where the gaze is stopped in the switch display area 26. This is determined based on whether or not the same area is viewed a certain number of times in succession. If it takes 100 msec for one gaze direction calculation, for example, if the gaze direction stops for four consecutive times, that is, for about 0.4 sec, it is determined that the same area is being viewed. When the gaze stop determining unit 23 determines that the gaze direction is stopped in the air conditioner unit of the switch display area 26,
As shown in FIG. 7, in the HUD display area 25, the current air conditioner set temperature is displayed. Here, when the air conditioner set temperature is displayed in the HUD display area 25, the up / down switch of the steering switch 22 functions to perform up / down adjustment of the set temperature, so the driver operates the up / down button by operating the up / down button. , While controlling the HUD display area 25 to a predetermined temperature. If the up / down button is not operated for a certain period of time, for example, 5 seconds, it is determined that the operation has been completed, and all the switch functions are stopped. When some operation is required again, the operation is started by pressing the main switch 21.
【００２０】これにより、眼球の安全性を確保したうえ
で、外来光によるノイズを低減し、計測時間の増大を招
くことなく、精度よく、反射像を抽出できる。この実施
例は以上のように構成されているから、強い外来光下に
おいても、安全にかつ迅速正確に視線方向を計測するこ
とができる。Thus, while ensuring the safety of the eyeball, noise due to extraneous light can be reduced, and a reflected image can be accurately extracted without increasing the measurement time. Since this embodiment is configured as described above, the gaze direction can be measured safely, quickly and accurately even under strong external light.
【００２１】次に図８は本発明の第２の実施例を示す。
本実施例には運転者１３の顔面照度を計測する顔面照度
計測部１４と計測された顔面照度に応じて照明のピーク
パワーを制御する照明ピークパワー制御部１５が設けら
れている。照明ピークパワー制御部１５は照明パルス発
光制御部１１’へ接続されている。顔面照度計測部１４
はオートライト制御用センサと共用されている。図９は
照明ピークパワー制御部１５において使用される照明ピ
ークパワー制御テーブルである。顔面照度が低く１００
０ルクス以下の時には、瞳孔が大きく開いているため照
射エネルギー密度の低い照明光でも十分に視線方向計測
が可能な網膜反射像および角膜反射像が得られるので、
照明光の照射エネルギー密度は、１ｍＷ／ｃｍ2 に制御
される。顔面照度が１０００ルクスを越えた場合には、
縮瞳の影響を考慮して、照明光の照射エネルギー密度
は、１０ｍＷ／ｃｍ2 に制御される。その他の構成は図
１に示された第１の実施例と同様である。FIG. 8 shows a second embodiment of the present invention.
In this embodiment, a face illuminance measuring unit 14 for measuring the face illuminance of the driver 13 and an illumination peak power control unit 15 for controlling the peak power of the illumination in accordance with the measured face illuminance are provided. The illumination peak power control unit 15 is connected to the illumination pulse emission control unit 11 '. Face illuminance measurement unit 14
Is shared with the sensor for auto light control. FIG. 9 is an illumination peak power control table used in the illumination peak power control unit 15. Low facial illuminance 100
At 0 lux or less, since the pupil is wide open, a retinal reflection image and a corneal reflection image that can sufficiently measure the gaze direction can be obtained even with illumination light having a low irradiation energy density.
The irradiation energy density of the illumination light is controlled to 1 mW / cm 2 . If the face illuminance exceeds 1000 lux,
The irradiation energy density of the illumination light is controlled to 10 mW / cm 2 in consideration of the effect of miosis. Other configurations are the same as those of the first embodiment shown in FIG.
【００２２】上記の様に構成された本実施例の動作につ
いて説明する。まず、ステアリング４２に設けられたメ
インスイッチ２１を押すと、全体制御部１２から制御開
始信号が出力され、制御が開始される。顔面照度計測部
１４は運転者の顔面照度の計測を行い照明ピークパワー
制御部１５へ計測結果を送る。照明ピークパワー制御部
１５ではピークパワー制御テーブルから顔面照度計測結
果に基づき照明光のピークパワーを決定する。そして、
照明パルス発光制御部１１’はこのピークパワー値を参
照して照明１および照明２の駆動電流値を制御する。以
後の動作は第１の実施例と同様に行われる。The operation of the embodiment constructed as described above will be described. First, when the main switch 21 provided on the steering wheel 42 is pressed, a control start signal is output from the overall control unit 12 and control is started. The face illuminance measurement unit 14 measures the driver's face illuminance and sends the measurement result to the illumination peak power control unit 15. The illumination peak power control unit 15 determines the peak power of the illumination light based on the face illuminance measurement result from the peak power control table. And
The illumination pulse emission control unit 11 'controls the drive current values of the illumination 1 and the illumination 2 with reference to the peak power value. Subsequent operations are performed in the same manner as in the first embodiment.
【００２３】これにより、眼球の安全性を確保したうえ
で、外来光によるノイズを低減し、計測時間の増大を招
くことなく、精度よく、反射像を抽出できる。また、顔
面照度が低い場合には、照明のピークパワーを小さく制
御し、無駄な高出力照射を防止できる。この実施例は以
上のように構成されているから、強い外来光下において
も、安全にかつ迅速正確に視線方向を計測することがで
きる。さら顔面照度が低い場合には照明の寿命を長くで
きる。Thus, while ensuring the safety of the eyeball, noise due to extraneous light can be reduced, and a reflected image can be accurately extracted without increasing the measurement time. In addition, when the face illuminance is low, the peak power of the illumination is controlled to be small, so that useless high-power irradiation can be prevented. Since this embodiment is configured as described above, the gaze direction can be measured safely, quickly and accurately even under strong external light. Further, when the face illuminance is low, the life of the lighting can be extended.
【００２４】[0024]
【発明の効果】以上のとうり、本発明によれば、画像入
力手段のシャッタと同期してパルス発光し、かつピーク
パワーが撮像時間と逆比例する照明手段とを用いて、運
転者の眼球に不可視光を照射し、撮像時間を高速化可能
なシャッタを備えた画像入力手段で、眼球からの反射像
を含む画像を撮像して、撮像した画像から反射像を抽出
し、その反射像を基に運転者の視線方向を計測するもの
としたので、外来光によるノイズが低減され、計測時間
の増大を招くことなく、精度よく、反射像を抽出でき
る。また照明光をパルス発光させ、照射エネルギー密度
を１０ｍＷ／ｃｍ2 以下に制限することにより、眼球の
安全性が確保できる。したがって、強い外来光下におい
ても、安全にかつ迅速正確に視線方向を計測することが
できるさらに、車両運転者の顔面照度を計測する顔面照
度計測手段と、該顔面照度に応じて該照明手段のピーク
パワーを制御する照明ピークパワー制御手段を有するも
のとしたときには、顔面照度が低い場合には、むだな高
出力照射を防止でき、照明の寿命を長くできる。As described above, according to the present invention, a driver emits a pulse in synchronization with a shutter of an image input means and uses an illuminating means whose peak power is inversely proportional to an imaging time, thereby using the driver's eyeball. Irradiates invisible light to the image input means having a shutter capable of speeding up the image capturing time, captures an image including a reflected image from an eyeball, extracts a reflected image from the captured image, and extracts the reflected image. Since the gaze direction of the driver is measured based on the noise, noise due to extraneous light is reduced, and a reflected image can be accurately extracted without increasing the measurement time. In addition, the safety of the eyeball can be ensured by causing the illumination light to emit pulse light and limiting the irradiation energy density to 10 mW / cm 2 or less. Therefore, even under a strong external light, the gaze direction can be measured safely and quickly and accurately.Furthermore, a face illuminance measuring means for measuring the face illuminance of the vehicle driver, and the lighting means according to the face illuminance, When the apparatus has illumination peak power control means for controlling the peak power, when the face illuminance is low, useless high-output irradiation can be prevented, and the life of the illumination can be extended.
【図１】本発明の第１の実施例の構成を示す図である。FIG. 1 is a diagram showing a configuration of a first exemplary embodiment of the present invention.
【図２】視線方向計測装置を用いた車両の視線スイッチ
システムの全体構成を示す図である。FIG. 2 is a diagram illustrating an overall configuration of a line-of-sight switch system of a vehicle using the line-of-sight direction measuring device.
【図３】視線スイッチシステムの車載レイアウト及び車
載レイアウト主要部の詳細を示す図である。FIG. 3 is a diagram illustrating details of a vehicle-mounted layout and a main part of the vehicle-mounted layout of the eye-gaze switch system.
【図４】視線方向計測装置における処理の流れを示す図
である。FIG. 4 is a diagram showing a flow of processing in the gaze direction measuring device.
【図５】角膜反射像生成の説明図であるFIG. 5 is an explanatory diagram of corneal reflection image generation.
【図６】モデル化された眼球構成を示す図である。FIG. 6 is a diagram showing a modeled eyeball configuration.
【図７】ＨＵＤ表示エリアにおける表示状態の説明図で
ある。FIG. 7 is an explanatory diagram of a display state in a HUD display area.
【図８】第２の実施例の構成を示す図である。FIG. 8 is a diagram showing a configuration of a second embodiment.
【図９】照明ピークパワーの制御テーブルである。FIG. 9 is a control table of an illumination peak power.
１ 照明 ２ 照明 ３ バンドパスフィルタ ４ シャッタ制御部 ５ 画像入力部（画像入力手段） ５ａ シャッタ ６ Ａ／Ｄ変換部 ７ 画像メモリ ８ 瞳孔抽出部 ９ 角膜反射像抽出部 １０ 視線方向算出部 １１、１１’ 照明パルス発光制御部 １２ 全体制御部 １３ 運転者 １４ 顔面照度計測部（顔面照度計測手段） １５ 照明ピークパワー制御部（照明ピークパワー
制御手段） ２０ 視線方向計測装置 ２１ メインスイッチ ２２ ステアリングスイッチ ２３ 視線停留判断部 ２４ ＨＵＤ表示制御部 ２５ ＨＵＤ表示エリア ２６ スイッチ表示エリア ２７ コントローラ切り替え部 ２８ エアコンコントローラ ２９ ＣＤコントローラ ３０ ラジオコントローラ ３１ ヘッドライトコントローラ ３２ ワイパコントローラ ４１ ウインドシールド ４２ ステアリングDESCRIPTION OF SYMBOLS 1 Illumination 2 Illumination 3 Bandpass filter 4 Shutter control part 5 Image input part (image input means) 5a Shutter 6 A / D conversion part 7 Image memory 8 Pupil extraction part 9 Corneal reflection image extraction part 10 Line-of-sight direction calculation part 11, 11 '' Illumination pulse emission control unit 12 Overall control unit 13 Driver 14 Face illuminance measurement unit (face illuminance measurement means) 15 Illumination peak power control unit (illumination peak power control means) 20 Gaze direction measurement device 21 Main switch 22 Steering switch 23 Gaze Stop determination unit 24 HUD display control unit 25 HUD display area 26 Switch display area 27 Controller switching unit 28 Air conditioner controller 29 CD controller 30 Radio controller 31 Headlight controller 32 Wiper controller 41 Windshield 42 Steari Grayed
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/26 A61B 3/113 G02B 27/02 ──────────────────────────────────────────────────続 き Continued on front page (58) Field surveyed (Int.Cl. 7 , DB name) G01B 11/26 A61B 3/113 G02B 27/02
Claims (3)
からの反射像を含む画像を撮像して、該画像から反射像
を抽出し、該反射像を基に運転者の視線方向を計測する
視線方向計測装置において、撮像時間を高速化可能なシ
ャッタを備えた画像入力手段と、該シャッタと同期して
パルス発光し、かつピークパワーが撮像時間と逆比例す
る照明手段とを有することを特徴とする車両用視線方向
計測装置。1. An invisible light is applied to an eyeball of a driver, an image including a reflection image from the eyeball is captured, a reflection image is extracted from the image, and a gaze direction of the driver is determined based on the reflection image. A gaze direction measuring device for measuring includes: an image input unit having a shutter capable of speeding up an imaging time; and an illuminating unit that emits a pulse in synchronization with the shutter and whose peak power is inversely proportional to the imaging time. A gaze direction measuring device for a vehicle, comprising:
からの反射像を含む画像を撮像して、該画像から反射像
を抽出し、該反射像を基に運転者の視線方向を計測する
視線方向計測装置において、撮像時間を高速化可能なシ
ャッタを備えた画像入力手段と、該シャッタと同期して
パルス発光する照明手段と、車両運転者の顔面照度を計
測する顔面照度計測手段と、該顔面照度に応じて前記照
明手段のピークパワーを制御する照明ピークパワー制御
手段を有することを特徴とする車両用視線方向計測装
置。2. An invisible light is applied to a driver's eyeball to capture an image including a reflection image from the eyeball, extract a reflection image from the image, and determine a gaze direction of the driver based on the reflection image. In a gaze direction measuring device for measuring, an image input unit having a shutter capable of accelerating an imaging time, an illuminating unit for emitting a pulse in synchronization with the shutter, and a face illuminance measuring unit for measuring a face illuminance of a vehicle driver And a lighting peak power control means for controlling a peak power of the lighting means in accordance with the face illuminance.
と照射方向が一致する共軸系照明および前記画像入力手
段と非共軸な位置に設けた非共軸系照明から構成され、
順次前記シャッタと同期してパルス発光することを特徴
とする請求項１または２記載の車両用視線方向計測装
置。3. The illumination unit includes a coaxial illumination having an irradiation direction coincident with an optical axis of the image input unit, and a non-coaxial illumination provided at a position non-coaxial with the image input unit.
3. The gaze direction measuring device for a vehicle according to claim 1, wherein pulses are sequentially emitted in synchronization with the shutter.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32354794A JP3296119B2 (en) | 1994-12-01 | 1994-12-01 | Gaze direction measuring device for vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32354794A JP3296119B2 (en) | 1994-12-01 | 1994-12-01 | Gaze direction measuring device for vehicles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08159733A JPH08159733A (en) | 1996-06-21 |
| JP3296119B2 true JP3296119B2 (en) | 2002-06-24 |
Family
ID=18155923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32354794A Expired - Fee Related JP3296119B2 (en) | 1994-12-01 | 1994-12-01 | Gaze direction measuring device for vehicles |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3296119B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000028315A (en) | 1998-07-13 | 2000-01-28 | Honda Motor Co Ltd | Object detector |
| US7280678B2 (en) * | 2003-02-28 | 2007-10-09 | Avago Technologies General Ip Pte Ltd | Apparatus and method for detecting pupils |
| US7720264B2 (en) * | 2004-05-10 | 2010-05-18 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Method and system for pupil detection for security applications |
| JP2007259931A (en) * | 2006-03-27 | 2007-10-11 | Honda Motor Co Ltd | Visual axis detector |
| JP5366028B2 (en) | 2011-08-25 | 2013-12-11 | 株式会社デンソー | Face image capturing device |
| KR101673701B1 (en) * | 2014-11-24 | 2016-11-07 | 현대자동차주식회사 | Apparatus and Method for Detecting Eyes |
| US10509467B1 (en) * | 2018-06-01 | 2019-12-17 | Facebook Technologies, Llc | Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display |
-
1994
- 1994-12-01 JP JP32354794A patent/JP3296119B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08159733A (en) | 1996-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4593942B2 (en) | Pupil detection apparatus and method | |
| JP5366028B2 (en) | Face image capturing device | |
| JP2988178B2 (en) | Gaze direction measuring device | |
| JP2937030B2 (en) | Image processing device and person state determination device | |
| JP3324295B2 (en) | Gaze direction measuring device for vehicles | |
| JP3214195B2 (en) | Driver photography device | |
| JP3855439B2 (en) | Night driving visibility support device | |
| JP5761074B2 (en) | Imaging control apparatus and program | |
| JPH0761257A (en) | Display device for vehicle | |
| JP2003521950A6 (en) | Target tracking system | |
| JP2002513176A (en) | Apparatus and method for monitoring a subject's eye using two different wavelengths of light | |
| JP2002342750A (en) | Focal angle and distance display device for irs recognizing system | |
| JP2009116797A (en) | Face imaging apparatus, face imaging method, and program of the same | |
| US20070263908A1 (en) | Iris Authentication Device | |
| CN107960989B (en) | Pulse wave measurement device and pulse wave measurement method | |
| JP2007101618A (en) | Display device | |
| WO2007092512A2 (en) | Driver drowsiness and distraction monitor | |
| JP2016049260A (en) | In-vehicle imaging apparatus | |
| JPH0782539B2 (en) | Pupil imager | |
| JP2000028315A (en) | Object detector | |
| JP2006248365A (en) | Back monitoring mirror of movement body, driver photographing device, driver monitoring device and safety driving support device | |
| JP3520618B2 (en) | Gaze direction measuring device for vehicles | |
| JP3296119B2 (en) | Gaze direction measuring device for vehicles | |
| US20050185243A1 (en) | Wavelength selectivity enabling subject monitoring outside the subject's field of view | |
| JP3185522B2 (en) | Gaze direction measuring device for vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020312 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090412 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |