JPS60158303A - Apparatus for recognizing positions of vehicle driver's eyes - Google Patents

Apparatus for recognizing positions of vehicle driver's eyes

Info

Publication number
JPS60158303A
JPS60158303A JP1459684A JP1459684A JPS60158303A JP S60158303 A JPS60158303 A JP S60158303A JP 1459684 A JP1459684 A JP 1459684A JP 1459684 A JP1459684 A JP 1459684A JP S60158303 A JPS60158303 A JP S60158303A
Authority
JP
Japan
Prior art keywords
driver
eyes
image
dimensional
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1459684A
Other languages
Japanese (ja)
Inventor
Hiroshi Ishikawa
浩 石川
Kazuma Matsui
松井 数馬
Takashi Kurahashi
崇 倉橋
Hidehiko Akatsuka
赤塚 英彦
Genichi Yamada
山田 元一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
NipponDenso Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NipponDenso Co Ltd filed Critical NipponDenso Co Ltd
Priority to JP1459684A priority Critical patent/JPS60158303A/en
Publication of JPS60158303A publication Critical patent/JPS60158303A/en
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/06Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/062Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
    • B60R1/07Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

PURPOSE:To determine the actual positions of driver's eyes accurately in three dimensions, by providing light-emitting means, two two-dimensional image sensor parts, which detect the reflected light caused by the projection of light, and a means, which recognizes the positions of the driver's eyes. CONSTITUTION:Infrared rays are projected by using an infrared-ray stroboscope 5, in an area including the upper-half part of a driver. The reflected light is detected by two two-dimensional solid-state image sensor elements (two-dimensional CCD) 9a and 9b as pictures. The two detected pictures are supplied to an electronic operating circuit 20. The picture recognization is performed, e.g., the maximum closed white part is recognized, and the surface of the face is detected. After these processing, the special points on the pictures corresponding to both eyes, e.g., two independent parts (black points) as the eyes, are detected from the two pictures. Thus the three-dimensional positions of the driver's eyes (the coordinates of the central points of the right and left eyes) are obtained. Since the positions of the driver's eyes can be directly obtained, the three-dimensional positions of the driver's eyes in a cabin can be accurately obtained. Therefore, the angles of rearview mirrors and the like can be automatically adjusted.

Description

【発明の詳細な説明】 [a業上の利用分野1 本発明は車両運転者の位置を認識する車両運転者位置認
識装置に関し、特に2個の2次元画像から単室内におけ
る運転者の眼の3次元位置を認識する車両運転者の眼の
位置認識装置に関する。
Detailed Description of the Invention [Field of Application in Industry 1] The present invention relates to a vehicle driver position recognition device that recognizes the position of a vehicle driver, and in particular, the present invention relates to a vehicle driver position recognition device that recognizes the position of a vehicle driver. The present invention relates to an eye position recognition device for a vehicle driver that recognizes a three-dimensional position.

[従来技術] 近年、自動車等の車両における操作性の向上が強くめら
れるようになり、運転者にとって良好な車両の操作11
を実現りる要素のひどつとして、バックミラー〈インザ
イドミラーとフェンダミラーあるいはドアミラー)の角
度調整等を個々の運転者に合わせて自動的に行なうもの
が望まれている3、この為にIJI中両運転者の眼の位
置を知る必要があるが、従来はぜいぜい運転席の前後位
置や高さ、あるいはリクライニングの状態等を検出して
、運転者の眼の位置を推定していたにすぎず、ひとりひ
とり異なった運転者の身長や姿勢を考慮して運転者の位
置を正確に認識することはできなかつl、:。
[Prior Art] In recent years, there has been a strong emphasis on improving the operability of vehicles such as automobiles, and it has become necessary to improve the operability of vehicles such as automobiles.
One of the most important factors in achieving this is the desire for something that can automatically adjust the angle of rearview mirrors (inside mirrors, fender mirrors, or door mirrors) to suit each driver3. It is necessary to know the position of the driver's eyes, but conventionally, the position of the driver's eyes has been estimated by detecting the fore/aft position and height of the driver's seat, or the reclining state of the driver's seat. However, it is not possible to accurately recognize the driver's position by taking into account the height and posture of each driver.

しかしながら、車両の操作性を向上させる上での前記調
整を自動的に行なう為には、運転者の眼の位置を正確に
認識することが必要である。従って、個々の運転者に合
った良好な車両操作性の実現がめられるようになると、
車苗内における運転者の眼の3次元位置を正確に認識す
る装置の実現が望まれるに至った。
However, in order to automatically perform the adjustment to improve the operability of the vehicle, it is necessary to accurately recognize the position of the driver's eyes. Therefore, if it becomes possible to realize good vehicle operability that suits each driver,
It has become desirable to realize a device that can accurately recognize the three-dimensional position of a driver's eyes within a vehicle.

[発明の目的] 本発明の目的は、車室内におCプる運転者の眼の3次元
位置を正確に認識する車両運転者の眼の位置認識装置を
提供することにある。
[Object of the Invention] An object of the present invention is to provide a vehicle driver's eye position recognition device that accurately recognizes the three-dimensional position of the driver's eyes in a vehicle interior.

[発明の構成1 かかる目的を達成する為になされた本発明の構成は、第
1図に図示づる如く、 車両運転者M1を照射する発光手段M2と、前記発光手
段M2の照射による該運転者M1からの反射光を画像と
して検知する2個の2次元撤像部M3からなる検出手段
M4と、該検出手段M4によって検出された2個の2次
元画像より画像処理を行なって、前記画像上で前記運転
者M1の眼M5に該当し周囲とは性質を異にする部分を
特異点として検出して、該特異点から単室内における運
転者の眼の3次元位置を認識する認識手段M6とを備え
たことを特徴と覆る車両運転者の眼の位置認識装置を要
旨としている。
[Configuration 1 of the Invention The configuration of the present invention made to achieve the above object, as shown in FIG. A detection means M4 consisting of two two-dimensional image removal units M3 detects the reflected light from M1 as an image, and image processing is performed on the two two-dimensional images detected by the detection means M4, a recognition means M6 that detects as a singular point a part that corresponds to the eye M5 of the driver M1 and has a property different from the surroundings, and recognizes the three-dimensional position of the driver's eye in the single room from the singular point; The gist of this paper is a device for recognizing the position of the eyes of a vehicle driver.

以下に本発明を実施例を挙げて図面と共に説明する。The present invention will be described below with reference to examples and drawings.

[実施例1 第2図は、本発明一実施例の要部の概略配置図、ff!
 3図は同じく発光手段と画像検出手段と運転者との位
置関係を示す側面配買図、第4図は同じ〈実施例の概略
構成図である。
[Embodiment 1 FIG. 2 is a schematic layout diagram of the main parts of an embodiment of the present invention, ff!
Similarly, FIG. 3 is a side layout diagram showing the positional relationship between the light emitting means, the image detecting means, and the driver, and FIG. 4 is a schematic configuration diagram of the same embodiment.

図において、1は運転者、2は運転席、3は操舵輪〈ハ
ンドル)、4aはダツシュボード4内のインストルメン
トパネル、5はインストルメントパネル4a内に配設さ
れた発光手段としての赤外ストロボ、8は同じく2個の
赤外検出用2次元固体踊fψ索子〈以下2次元CODと
呼ぶ)9a、9b及び液晶絞り素子12a、12bと2
次元CC1”)9a 、9bからの画像の読み出しを制
御する画像信号制御回路14a、14bを要部とする画
像検出器を各々表わしている。又、20は認識手段とし
ての電子演算回路であって、22は中央処理]ニット(
CPU)、24は制御・演算プログラム等を格納するリ
ードオンリメモリ<ROM)、26は画像データ等を一
時的に格納・読み出しできるランダムアクセスメモリ(
RAM)、27はCPIJ 22より書き込まれたデー
タに従って所定の間隔でCPU22に対してタイマ割込
を発生させるタイマ、28は画像検出器8より画像デー
、−夕をアナログ信号として入力するアナログ入カポ−
]へ、30は赤外フラッシュ5と画像検出器8とに制御
信号を出力する出力ポート、31はCPU 22、RO
M24.RAM26.9イマ27. 入力ポー1〜28
.出カポ−1−30を相互に接続するバス、32はバッ
テリ34からの電力をイグニッションスイッチとして働
くキースイッチ36を介して受取り電子演算回路20全
体に安定化された電圧として供給する電源回路を各々表
わしている。
In the figure, 1 is a driver, 2 is a driver's seat, 3 is a steering wheel (steering wheel), 4a is an instrument panel in the dash board 4, and 5 is an infrared strobe as a light emitting means arranged in the instrument panel 4a. , 8 are two infrared detection two-dimensional solid-state dancers (hereinafter referred to as two-dimensional COD) 9a, 9b and liquid crystal aperture elements 12a, 12b and 2.
The image detectors each include image signal control circuits 14a and 14b as main parts for controlling the reading of images from the dimensions CC1'') 9a and 9b. Also, 20 is an electronic arithmetic circuit as a recognition means. , 22 is central processing] knit (
24 is a read-only memory (ROM) that stores control and calculation programs, etc., and 26 is a random access memory (ROM) that can temporarily store and read image data, etc.
RAM), 27 is a timer that generates a timer interrupt to the CPU 22 at predetermined intervals according to the data written by the CPIJ 22, and 28 is an analog input capacitor that inputs image data and data from the image detector 8 as analog signals. −
], 30 is an output port that outputs control signals to the infrared flash 5 and image detector 8, 31 is the CPU 22, RO
M24. RAM26.9 now 27. Input ports 1-28
.. A bus 32 interconnects the output ports 1-30, and a power supply circuit 32 receives power from the battery 34 via a key switch 36 serving as an ignition switch and supplies the entire electronic arithmetic circuit 20 as a stabilized voltage. It represents.

第2図、第3図に示すように、赤外ストロボ5は運転席
を正面下方向より照らず位置に設けられ、該赤外ストロ
ボ5からの赤外光はハンドル3の空隙を通過して運転席
−Fの運転者の頭部の存在しうる最大範囲を照射するよ
うに構成されている。又、画像検出器8は赤外ストロボ
5の光軸を挟んで左右対称位置に2ケの2次元CCD9
a 、9bを設け、後述する光学系を用いて、赤外スト
ロボ5の照射による反射光によって前記範囲の画像を2
次元CCD9a 、9b上に結像させ、これを検知する
J、うにGlf成さねている。
As shown in FIGS. 2 and 3, the infrared strobe 5 is installed in a position that does not illuminate the driver's seat from below the front, and the infrared light from the infrared strobe 5 passes through the gap in the steering wheel 3. It is configured to irradiate the maximum possible range of the head of the driver in the driver's seat-F. The image detector 8 includes two two-dimensional CCDs 9 located symmetrically across the optical axis of the infrared strobe 5.
a, 9b are provided, and an optical system to be described later is used to generate two images of the above range using reflected light from the infrared strobe 5.
An image is formed on the dimensional CCDs 9a and 9b, and an image sensor is formed to detect the image.

次に、実施例の光学系を構成する発光手段と画像の検出
手段のうち、光光手段としての赤外ストロボ5の構成を
第5図に、検出手段としての2次元C0D9a、91)
を中心とする画像検出器8の構成を第6図に、画像検出
器8に使われている液晶絞りの4f4造を第7図に、各
々拠って説明する。
Next, among the light emitting means and image detecting means constituting the optical system of the example, the configuration of the infrared strobe 5 as the optical means is shown in FIG.
The configuration of the image detector 8 centered on the image detector 8 will be explained with reference to FIG. 6 and the 4F4 structure of the liquid crystal aperture used in the image detector 8 with reference to FIG. 7.

第5図(△)は赤外ストロボ5の側面図であるが、50
は赤外発光体、51は赤外光を広く運転者1に照射する
為のレンズ、53は赤外光を透過し可視光を通さない赤
外フィルタ、55はケース、57はレンズ51とフィル
タ53をケースに固定するインチを各々表わしている。
FIG. 5 (△) is a side view of the infrared strobe 5.
51 is an infrared light emitter, 51 is a lens for irradiating a wide range of infrared light onto the driver 1, 53 is an infrared filter that transmits infrared light but not visible light, 55 is a case, and 57 is a lens 51 and filter. 53 to the case.

赤外ストロボ5はインストルメントパネル4aのほぼ中
心にポルト58a、ナツト58bにより固定されている
The infrared strobe 5 is fixed approximately at the center of the instrument panel 4a by a port 58a and a nut 58b.

赤外発光体50の発光スペクトルを第5図(B)に示し
たが、一般に赤外発光体といえども可視光領域にもかな
りの発光スペクトルを有するので、赤外フィルタ53に
よって波長soonm以下の光はカットし、赤外光のみ
を運転者1の上半身に照射するように構成しである。こ
の為、運転者(よ赤外ストロボ5が発光してもま75ミ
しざを感じることはない。
The emission spectrum of the infrared emitter 50 is shown in FIG. The structure is such that the light is cut off and only infrared light is irradiated onto the upper body of the driver 1. For this reason, the driver does not feel any discomfort even when the infrared strobe 5 emits light.

次に第6図は画像検出器8の構成を示づ一説明図である
が、画像検出器8は二相の全く同一の構成を有する画像
検出部からなっているので、以下、そのうちの−組とし
て2次元CCr)9a 、n品絞り素子12a2画像信
号制御回路1/Iaを要部とするものについC説明する
。他の絹は以下の説明を「2次元CCI)91]J、r
液晶絞り素子12bJの如く読みかえればよい。
Next, FIG. 6 is an explanatory diagram showing the configuration of the image detector 8. Since the image detector 8 consists of a two-phase image detecting section having exactly the same configuration, below, among them - A description will be given of a configuration in which the main parts are a two-dimensional CCr) 9a, an n-item aperture element 12a, and an image signal control circuit 1/Ia as a set. For other silks, the following explanation is "2D CCI) 91] J, r
It can be read as liquid crystal aperture element 12bJ.

第6図に図示する如く、2次元CCD9aはプリント基
板76aの上に装着されており、プリント基板77a 
、78a 、79a上には画像信号制御回路14aが形
成されている。図において、8Qaはマウントアダプタ
であって、2次元CCD9a上に画像を結ばせる焦点距
離fのレンズ81aと2次元CCD9aへ集められる光
量を調整する液晶絞り素子12aとレンズ81a、液晶
絞り素子12aを透過して2次元CCD9aに達する光
の吊を検出Jるホトl−ランラスタ83aとが組込まれ
ている。又、85aは一組の画像検出部を収めたケ=−
スであって、フランジ86を介してボルト88.ナラ1
−89によりインストルメントパネル4aに固定どれて
いる。以上の構成よりなる画像検出部が2組あり、21
の画像検出部は赤外ストロボ5を中心にして対称位置に
配され、全体で画像検出器8を構成している。
As shown in FIG. 6, the two-dimensional CCD 9a is mounted on a printed circuit board 76a, and a printed circuit board 77a
, 78a, and 79a, an image signal control circuit 14a is formed. In the figure, 8Qa is a mount adapter that includes a lens 81a with a focal length f that focuses an image on the two-dimensional CCD 9a, a liquid crystal aperture element 12a that adjusts the amount of light collected on the two-dimensional CCD 9a, a lens 81a, and a liquid crystal aperture element 12a. A photo l-run raster 83a is incorporated to detect the drop of light that passes through and reaches the two-dimensional CCD 9a. Further, 85a is a case containing a set of image detection sections.
bolts 88 . through flange 86 . Oak 1
-89 is fixed to the instrument panel 4a. There are two sets of image detection units having the above configuration, 21
The image detection sections are arranged at symmetrical positions with the infrared strobe 5 at the center, and together constitute an image detector 8.

次に第7図(A)、(B)は液晶絞り素子12a、12
bの構造を示す説明図であって、特に第7図(B)はモ
の断面図である。図において、120.121は互いに
直交する偏光面を持った2つの偏光板、123,124
は液晶125を挟む透明N極である。本実施例では光量
を5段階に調節できるよう、液晶125と透明電極12
3,124は同一の同心円で外側より、液晶125は1
25a 、125b 、125c 、、125(lに、
透明電極123,124は123a (124a )、
123b (124b )、123c (124c )
、123d (124d )に各々区分けされている。
Next, FIGS. 7(A) and 7(B) show the liquid crystal aperture elements 12a and 12.
FIG. 7(B) is an explanatory diagram showing the structure of FIG. In the figure, 120, 121 are two polarizing plates with polarization planes perpendicular to each other, 123, 124
is a transparent N pole sandwiching the liquid crystal 125. In this embodiment, the liquid crystal 125 and the transparent electrode 12 are arranged so that the amount of light can be adjusted in five levels.
3,124 are the same concentric circles, and from the outside, the liquid crystal 125 is 1
25a, 125b, 125c, 125 (in l,
The transparent electrodes 123 and 124 are 123a (124a),
123b (124b), 123c (124c)
, 123d (124d).

又、区分けされた一対の電極毎に電源127より)′ナ
ログスイッチ部128を介して電圧を印加できるように
配線がなされている。その接続は、図示する如く、光量
を検出するフォトトランジスタ83aに流れる電流を増
幅器129によって電圧出力に変換し、該電圧に応じて
アナログスイッチ部12Bの4つのスイッチ128a 
、128b 、 128c、128dを駆動するように
イ萌っており、フォト1−ランジスタ83aに流れる電
流が増加り−ると、液晶絞り素子12aのス・1向する
電極の各対(123aど124a、123hと1241
1、−・・・・・)に対して外側より順に電圧を印加し
てゆ(ようになされている。液晶125は電圧が印加さ
れていない状態ではその透過光の偏光而を90°旋回さ
せる性質を有しているので、偏光板120を透過して単
幅光となった外光は、液晶125で偏光而が90’S1
回し、もうひとつの偏光板121を通過し、レンズ81
aで集光されて2次元CCD9aに)ヱする。しかしな
がら、電極123−124に電圧が印加されると、液晶
125は印加された電界によってイの結晶の配列方向を
変えるので、偏光板120を透過した後の単偏光の偏光
面は液晶125によってはもはや90°旋回されること
はなく、もうひとつの偏光板121に遮ぎられて、レン
ズ81a側へ透過する光量は著しく減少する。この為、
アナログスイッチ128が128a、1281+・・・
・・・ど順次閉じてゆくと、液晶絞り12aは外側のリ
ング部より透過光量が低下し、通常の機械的な絞りと同
様な機能をはたして、2次元CCD9a全体に集光され
る平均光量を一定にするよう働く。
Further, wiring is provided so that a voltage can be applied from a power source 127 to each pair of divided electrodes via an analog switch section 128. As shown in the figure, the current flowing through the phototransistor 83a that detects the amount of light is converted into a voltage output by the amplifier 129, and the four switches 128a of the analog switch section 12B are connected according to the voltage.
, 128b, 128c, and 128d, and when the current flowing through the photo transistor 83a increases, each pair of electrodes (123a and 124a) facing the liquid crystal aperture element 12a , 123h and 1241
1, -...) from the outside. When no voltage is applied, the liquid crystal 125 rotates the polarization of the transmitted light by 90 degrees. Therefore, the external light that passes through the polarizing plate 120 and becomes single-width light is polarized by the liquid crystal 125 and becomes 90'S1.
The lens 81 passes through another polarizing plate 121.
The light is condensed at point a and sent to the two-dimensional CCD 9a). However, when a voltage is applied to the electrodes 123-124, the liquid crystal 125 changes the alignment direction of the crystals of A due to the applied electric field. It is no longer rotated by 90 degrees and is blocked by another polarizing plate 121, so that the amount of light transmitted to the lens 81a side is significantly reduced. For this reason,
Analog switch 128 is 128a, 1281+...
...As the liquid crystal diaphragm 12a is closed one after another, the amount of transmitted light decreases from the outer ring portion, and the liquid crystal diaphragm 12a functions similarly to a normal mechanical diaphragm, increasing the average amount of light focused on the entire two-dimensional CCD 9a. Work to keep it constant.

こうして光量を調整させた光は、液晶絞り12aによる
絞りの作用も相俟って、レンズ81aによって2次元C
CDQa上に外部のシャープな像を結ぶ。2次元CCD
9aは画像512X512の画素に分割する光電変操−
電荷蓄積素子よりなっており、2次元CCDQa上の画
像は各素子によって吊子化され、素子毎に光量に応じた
電荷量に光電変換された後、電荷として蓄積されてゆく
The light whose amount has been adjusted in this way is converted into a two-dimensional C
A sharp external image is formed on CDQa. 2D CCD
9a is a photoelectric transformation that divides the image into 512 x 512 pixels.
It consists of charge storage elements, and the image on the two-dimensional CCDQa is suspended by each element, photoelectrically converted into an amount of charge according to the amount of light for each element, and then accumulated as charges.

画像信号制御回路14aはこの蓄積された電荷を逐次走
査して読み出してゆくが、電荷量は読み出しから次の読
み出しまでに2次元CCD9aの各素子が受【プとった
光量に応じて蓄積されるので、読み出し間隔は各素子に
とって同一となるよう制御されている。読み出された電
荷は読み出し間隔の間に各素子が受けとった光量に対応
しており、読み出し順に時系列化されたアナ[lグ信号
として、電子演粋回路20のアナログ入カポ−[・28
に出力される。
The image signal control circuit 14a sequentially scans and reads out the accumulated charge, but the amount of charge is accumulated according to the amount of light received by each element of the two-dimensional CCD 9a from one readout to the next readout. Therefore, the readout interval is controlled to be the same for each element. The read out charge corresponds to the amount of light received by each element during the readout interval, and is sent as an analog input signal to the electronic logic circuit 20 as a time-series analog signal in the readout order.
is output to.

次に」:記構成を用い゛C電子演算回路20内でなされ
る車両運転者位置認識の処理について第8図のフロチャ
ート、第9図の光学系の模式図及び第10図の画像処理
例を用いて説明する。
Next, regarding the vehicle driver position recognition process performed in the electronic arithmetic circuit 20 using the configuration described above, the flowchart in FIG. 8, the schematic diagram of the optical system in FIG. 9, and the image processing example in FIG. 10. Explain using.

キースイッチ36がオフの位置以外の位置に切換えられ
ると、制御は第8図△より開始され、まず、初期化のス
テップ200で、CPU22内部のレジスタ等のクリア
やパラメータのセット等の処理を行なう。次のステップ
210では、出力ボート30を介して、赤外ストロボ5
を発光させる制御信号を出力し、同時に画像検出器8の
画像信り制御回路14a、14bにも画像読み出し同期
信号を出力する。赤外ストロボ5は制御信号を受【プて
直ちに発光し、赤外光を運転者1に照射する。
When the key switch 36 is switched to a position other than the OFF position, control starts from △ in FIG. 8, and first, at an initialization step 200, processes such as clearing registers, etc. inside the CPU 22 and setting parameters are performed. . In the next step 210, the infrared strobe 5 is connected via the output boat 30.
At the same time, it outputs an image read synchronization signal to the image trust control circuits 14a and 14b of the image detector 8. The infrared strobe 5 emits light immediately upon receiving the control signal, and irradiates the driver 1 with infrared light.

第9図に示した本実施例の光学系の模式図にみる如く、
赤外ストロボ5より運転者1に照射されたこの赤外光は
運転者1や座席2で反射し、画像検出器8内の2つの2
次元CCD9a 、9bに集光される。この時、前述し
た液晶絞り素子12a。
As shown in the schematic diagram of the optical system of this example shown in Fig. 9,
This infrared light irradiated to the driver 1 from the infrared strobe 5 is reflected by the driver 1 and the seat 2, and is reflected by the two rays in the image detector 8.
The light is focused on dimensional CCDs 9a and 9b. At this time, the aforementioned liquid crystal aperture element 12a.

121〕の動きによって2次元CCD9a 、9bに集
められる光量は2次元CCD9a 、9bの光検出の感
度特性に合わせて調節されている。反射光はレンズ81
a、81bによって2次元CCD9a、9b上に、運転
者1の上半身を中心とする画像を結像する。これが第9
図に画像R,l−とじて示すものである。2次元CCD
9a 、9b上に結像された該画像R,Lによって2次
元CCD9a 。
121] is adjusted to match the light detection sensitivity characteristics of the two-dimensional CCDs 9a, 9b. The reflected light is the lens 81
A, 81b forms an image centered on the upper body of the driver 1 on the two-dimensional CCDs 9a, 9b. This is the 9th
The images R and l- are shown together in the figure. 2D CCD
A two-dimensional CCD 9a is formed by the images R and L formed on 9a and 9b.

9bの各素子には電荷が生じ、ステップ210で出力さ
れた画像読出同期信号によって、画像の左上隅より読み
出しが開始され、@:”rホした如く、逐次アナログ入
力ボート28に画像信号として出力される。ステップ2
20ではこの画像信号を、アナログ入力ボート28を介
しC高速r−A / l’)変換を行ないつつ、2つの
画像信号制御回路14a。
A charge is generated in each element of 9b, and readout is started from the upper left corner of the image by the image readout synchronization signal output in step 210, and as shown in ``@:''r, the readout is sequentially output to the analog input port 28 as an image signal. Step 2
At 20, this image signal is subjected to high-speed r-A/l') conversion via an analog input port 28, and is connected to two image signal control circuits 14a.

14bより交互に取込んで、RA M 26内の2つの
所定のエリア(以下、画像メモリと呼ぶ)にストアする
処理を行なう。ステップ230では、ステップ220に
よる画像の取込みが2次元ccU′)9a 、 9t+
の512X512の画素1べてにツいて終了したか否か
を判断し、終了してぃな(プればステップ220へ戻り
、終了していれば次のステップ2710へ進む。ステッ
プ220を繰返すことによって2次元CCD9a 、9
hに結像した2つの画像R,l−に関する量子化されて
た画像信号がすべて入力されると、RAM26内の画像
メモリには、赤外ストロボ5が発光した時点での運転者
の上半身を含む画像の情報が2組残されたことになる。
14b and stored in two predetermined areas (hereinafter referred to as image memories) in the RAM 26. In step 230, the image capture in step 220 is performed in two dimensions (ccU') 9a, 9t+
Determine whether or not all 512 x 512 pixels of the image are completed, and if the process is completed, the process returns to step 220; if the process is completed, proceed to the next step 2710. Repeat step 220. By two-dimensional CCD9a, 9
When all the quantized image signals related to the two images R and l- focused on h are input, the image memory in the RAM 26 stores the upper body of the driver at the time when the infrared strobe 5 emits light. This means that two sets of information about the included images remain.

この操作を画像R,l−を固定したという意味でフリー
ズと呼ぶが、フリーズ後、画像メモリ上には画像情報R
f、Lfが格納されている。ステップ240以下では、
この画像情報?f、L(に対して、いわゆるパターン認
識の処理が行なわれる。
This operation is called freezing in the sense that images R, l- are fixed, but after freezing, image information R is stored on the image memory.
f and Lf are stored. Below step 240,
This image information? So-called pattern recognition processing is performed on f and L(.

ステップ240では画像メモリ」:の画像データRr、
Ifに対して21直化の処理が行なわれる。
In step 240, the image data Rr of the image memory ":"
21 conversion processing is performed on If.

2(1n化の処理とは画像がもっていたm fA 、即
ち階調の情報に対しで、所定のレベルを設定して比較を
行ない、該レベルJ:りも濃い部分(2次元CCD9a
、911において電荷の蓄積があまりなされなかった部
分、つまり111)部)を黒のレベルに、該レベルより
も淡い部分(2次元CCD9a 、9bにおいて電荷の
蓄積が充分になされた部分、つまり明部)を白のレベル
に、敢然と分離する処理である。この2値化の一例を第
10図に示す。第10図<A>はフリーズ後に画像メモ
リーヒに形成された画像情報に対応する原画像であり、
第10図(B)はこれに2 filli化の処理を施し
た場合に得られる2値化後の画像情報に対応する画像の
一例である。2値化後の画像は2値化の判定レベルをど
こにとるかで変化するが、液晶絞り索子12a。
2 (1n processing is to set a predetermined level for the m fA that the image had, that is, the gradation information, and compare it.
, 911 (in other words, the part 111)) is set to a black level, and the part lighter than that level (the part in which charge has been sufficiently accumulated in the two-dimensional CCDs 9a and 9b, that is, the bright part) is set to a black level. ) to the white level. An example of this binarization is shown in FIG. FIG. 10 <A> is the original image corresponding to the image information formed in the image memory after freezing,
FIG. 10(B) is an example of an image corresponding to the binarized image information obtained when 2 filli processing is applied to this. The image after binarization changes depending on the judgment level of the binarization, but the liquid crystal aperture filter 12a.

121フで光量が調節されているので、運転者の顔が白
レベルとなり、背理が黒レベルとなるような判定レベル
を設定しておくことは容易である。
Since the amount of light is adjusted in Step 121, it is easy to set a determination level such that the driver's face is at a white level and the background is at a black level.

こうして2(lII化された後の画像情報に対しで、次
のステップ250では白レベルの最大開部分を検出する
処理を行なう。この処理の一例を以下に説明する。まず
2値化後の画像に対応する画像情報を順次走査し、白レ
ベルの画素を見出した8、ン、これにラベルとしてひと
つの番号をふる。この11その画素を取囲む8つの画素
(第10図(C)における判定画素aOに対する周囲の
画素a1ないしaS)を調べ、もしすでに走査して雷同
をふった白レベルの画素があれば、その画素と同一のラ
ベル番号をふる。なければ新たな番号を付(プる。
In the next step 250, the image information after being converted to 2(III) is processed to detect the maximum open area of the white level.An example of this process will be explained below.First, the image after binarization is processed. The image information corresponding to the pixel 11 is sequentially scanned, and the pixel 8, which has a white level, is assigned a number as a label. Check the surrounding pixels a1 to aS for pixel aO, and if there is a pixel with the same white level that has already been scanned, give it the same label number as that pixel.If not, give it a new number. .

この操作を2値化後の画像のすべてに対して行なった後
、同一のラベルm号がふられた画像の数を調べれば、白
レベル部(以下、白部と呼ぶ)の開部分の各画素数がわ
かるので、最大開部分を判定・検出することができる。
After performing this operation on all images after binarization, if you check the number of images with the same label m, you can find that each of the open parts of the white level part (hereinafter referred to as white part) Since the number of pixels is known, the maximum open area can be determined and detected.

例えば、第10図(B)に対してこれを行なえば、顔面
の白部と襟元の2つの白部の3カ所が別々の番号を付さ
れて検出され、その最大面栢部である顔面の白部が最大
開部分として見出される。
For example, if this is done for Figure 10 (B), three areas, the white area of the face and the two white areas around the neckline, will be detected with different numbers, and the largest part of the face, which is the white area of the neck, will be detected. The white area is found as the largest open area.

ト記ステップ250に続くステップ260ではステップ
250にお【プる2値化後の画像に対応する画(ρ(情
報の走査が終了し山部毎にラベルが付された接で、顔面
に相当づる白部の最大開部分の検出がなさね/jか否か
が判断される。赤外ストロボ5より赤外光を型側して運
転者1の上半身を含む画像をフリーズした時、何らかの
理由、例えば操舵片にハンドル3のスポークが画像検出
器8の光軸を横切っIこ時あるいは運転者1が運転上の
必要から背後を振り向いた時など、によって顔面が検出
できなかったとすれば、ステップ260での判断は「N
O」となって処理は再びステップ210へ戻りステップ
210以下の処理を繰返す。一方、顔面の検出がなされ
たと判断された時には、処理はステップ280へ進む。
In step 260, which follows step 250, an image (ρ) corresponding to the binarized image inputted in step 250 (where information has been scanned and each peak is labeled, corresponding to the face) is extracted. It is determined whether or not the maximum open part of the white part is not detected.When the image including the upper body of the driver 1 is frozen by applying infrared light from the infrared strobe 5, for some reason If, for example, the face cannot be detected because the spokes of the steering wheel 3 cross the optical axis of the image detector 8 on the steering wheel, or when the driver 1 turns around due to driving needs, then step The judgment at 260 is “N
O'', the process returns to step 210, and the processes from step 210 onward are repeated. On the other hand, if it is determined that a face has been detected, the process proceeds to step 280.

ステップ280では、運転者1の顔面としてとらえられ
た白部の最大開部分内に対して画像処理を行ない、運転
者1の両眼に該当し周囲とはその性質を異にするような
部分を特異点として検出して、両眼に対応する2つの特
異点の中間点をめる処理が行なわれる。この為に、まず
、ステップ250にて検出された最大開部分に対してそ
の1一部よりX軸方向に走査を行なって、X軸方向への
ひとつの走査線の内部に、2っIス上の黒点が存在する
J:うな範囲を検出づる処理を行なう。ここで黒点とは
ノイズを除去づる為に最低4画素以上が隣接して黒レベ
ルであるような領域を意味している。顔面に対応する白
部の最大開部分をX軸方向に走査してノイズではないよ
うな黒レベル部の集まり、即ら黒点が2箇所以上検出さ
れるのはoRに該当する特異点どみなせるから、その範
囲を検出して各黒点を特異点として互いの中間点をめる
処理までがステップ280で行なわれる。この処理を」
ズ下詳細に説明する。第11図は2値化の処理が行なわ
れた後の画像情報の一部を2次元型面に展開した例の一
部分を示しているが、図は2次元CCI)9aがとらえ
た顔面のFfiRに対応する白部の最大開部分のおよそ
上半分に対応している。
In step 280, image processing is performed on the inside of the maximum open area of the white area captured as the face of the driver 1, and parts that correspond to both eyes of the driver 1 and have different characteristics from the surroundings are extracted. A process is performed in which the point is detected as a singular point and the midpoint between the two singular points corresponding to both eyes is determined. For this purpose, first, a portion of the maximum open portion detected in step 250 is scanned in the X-axis direction, and two I-scan lines are created within one scanning line in the X-axis direction. J where there is a black dot on the top: Processing is performed to detect the black dot. Here, a black point means an area where at least four pixels or more are adjacent to each other and have a black level in order to remove noise. When the maximum open area of the white area corresponding to the face is scanned in the X-axis direction, a collection of black level areas that are not noise, that is, two or more black points detected, can be considered as a singular point corresponding to oR. , the range is detected and each black point is regarded as a singular point and the midpoint between them is determined in step 280. This process
This will be explained in detail below. Figure 11 shows a part of an example in which part of the image information after the binarization process is developed into a two-dimensional surface. It corresponds to approximately the upper half of the maximum open part of the white part corresponding to .

ここで、該最人閉部分内部でのX軸方向への走査からひ
とつの走査線上に2つの黒点が見出される範囲が存在す
ることから、その黒点の各々を右左のORであるとみな
してRer、 Re nとし、Rerと1’<e文のη
いの面積中心の中間点をRe (左右の眼の中間点)と
してその位置を演算する。同様の処理をもうひとつの2
次元CCD 91)によってとらえられた画像情報につ
いても行ない、左右の眼の中間点1 cの位置を演算づ
る。
Here, since there is a range where two black dots are found on one scanning line from scanning in the X-axis direction inside the most crowded part, each of the black dots is considered to be the right and left OR, and Rer. , Re n, Rer and η of 1'<e sentence
The position is calculated by setting the midpoint between the center of the area of the eye as Re (the midpoint between the left and right eyes). Another 2nd similar process
This is also performed on the image information captured by the dimensional CCD 91), and the position of the midpoint 1c between the left and right eyes is calculated.

こうして、左右2つの2次元CCD9a 、9bがとら
えた運転者1のト半身を含む2つの画像は、各々、ステ
ップ240ないし280の処理を施され、夫々の画像情
報どして左右の眼の中間点が見出されて2次元CCD9
a、9b上での座標が算出されたことになる。第9図に
図示する如く、検出された左右の眼の中間点RC,LC
のX座標上の値を各々Xr、X立、Y座標上の値をYt
とする。各座標は2次元CCD9a 、9b及びレンズ
81a、81bの中心線を各々原点としてとられている
In this way, the two images including the front half of the driver 1's body captured by the two left and right two-dimensional CCDs 9a and 9b are each processed in steps 240 to 280, and the respective image information is used to determine the center point between the left and right eyes. The point is found and the two-dimensional CCD9
This means that the coordinates on a and 9b have been calculated. As shown in FIG. 9, the detected midpoints RC and LC of the left and right eyes
The value on the X coordinate is Xr, the value on the Y coordinate is Yt
shall be. Each coordinate is taken with the center line of the two-dimensional CCD 9a, 9b and the lens 81a, 81b as the origin.

ステップ290では、2つの画像からシ9かれた左右の
眼の中間点の各X座標Xr、X立を用いて、画像検出器
8から運転者1までの距−1を演算りる処理を行なう。
In step 290, the distance from the image detector 8 to the driver 1 - 1 is calculated using the respective X coordinates Xr and X coordinates of the midpoints of the left and right eyes drawn from the two images. .

第9図に光学系の模式図を示すが、運転者1からレンズ
81a、8111までの距H1をdルンズ81a 、8
1bから各々の2次元CCD9a、9bまτの距離をa
ルンズ81a、81bの焦点距離をfとすれば、該距離
dは次の式よりめられる。
FIG. 9 shows a schematic diagram of the optical system. The distance H1 from the driver 1 to the lenses 81a, 8111 is d.
The distance τ from 1b to each two-dimensional CCD 9a, 9b is a
If the focal length of the lenses 81a and 81b is f, then the distance d can be calculated from the following equation.

d =a xu/ (Xr −Xu ) ・=・(1)
ここrl/f =1/a +1/dr:あるから、a・
て′、dであるどみなせるなら、 d =f Xu/(Xr 、、−Xi−=−(2)を用
いてdをめてもよい請求められた運転者1までの距11
1dをRAM26の所定の番地に格納した後、処理はス
テップ290よりステップ300に進み、運転者1の左
右方向の位置を演算する処理を行なう。
d = a xu/ (Xr - Xu) ・=・(1)
Here rl/f = 1/a + 1/dr: Since there is, a・
If it can be assumed that
1d is stored in a predetermined address of the RAM 26, the process proceeds from step 290 to step 300, where the position of the driver 1 in the left and right direction is calculated.

第9図に図示する如く、運転者1が座席2の中心軸、つ
まり2つの2次元CCD9a 、9bがそれを挟/Vで
対称位置に配置された対称軸に対して左右方向にXSだ
けズして座っていたとする。この1侍、2次元CCD 
9 aがとらえた運転者1の左右の眼の中間点のX座4
jJ Xrより、Xsは次の式1式% (3) 式〈2)をめた時と同様の近似を行なって、XS =X
r xd /f −1/2−−−−−− (4)を用い
てXsをめてもよい。こうしてめられた運転者1の71
右方向の位M X SをRAM26の所定のエリアに格
納した後、処理はステップ310に進み、運転者1の眼
の3次元位置の演算・認識を行インう。
As shown in FIG. 9, a driver 1 moves by an amount of Suppose you were sitting there. This one samurai, 2D CCD
9 X position 4 at the midpoint between the left and right eyes of driver 1 captured by a
From jJ
r xd /f −1/2−−−−−− (4) may be used to determine Xs. 71 of driver 1 who was arrested in this way
After storing the rightward position M X S in a predetermined area of the RAM 26, the process proceeds to step 310, where the three-dimensional position of the driver's 1 eyes is calculated and recognized.

既【こステップ280,290.300でめた運転者1
までの距1i111 (+及び運転者1の左右方向の1
0置×Sと、ステップ280で検出した運転者1の2次
元CCD9a 、9b上の画像での左右の眼の中間点の
Y座標での値Ytから導かれる運転者1の実際の高さ方
向の位置’/hとから、運転者1の眼の3次元位置はそ
の左右の眼の中間点の座標(d、Xs、Yb)で表わJ
ことがてさる。ステップ310ではステップ290,3
00でRAM26の所定の番地に格納された+l、×s
の+lf(を読み出すと共に、Yl)の値を演算して運
転者1の眼の3次元位置どして((1,Xs、Yh)の
データのセットを対応させ、RAM26の所定のエリア
に格納する。
Driver 1 who already won at step 280, 290, 300
distance 1i111 (+ and 1 in the left and right direction of driver 1)
The actual height direction of the driver 1 derived from the value Yt at the Y coordinate of the midpoint between the left and right eyes in the images on the two-dimensional CCDs 9a and 9b of the driver 1 detected in step 280. From the position '/h, the three-dimensional position of driver 1's eyes is expressed by the coordinates (d, Xs, Yb) of the midpoint between the left and right eyes.
That's a monkey. In step 310, step 290,3
+l, ×s stored at a predetermined address in RAM 26 at 00
At the same time as reading out +lf (and Yl), the data set ((1, do.

以上で運転者1の眼の3次元位置を認識づる処理は終了
し、処理は再びステップ210へ戻り、上述の処理を繰
返ずことにイlる。
With this, the process of recognizing the three-dimensional position of the driver's 1 eyes is completed, and the process returns to step 210, where the above-described process is not repeated.

以上詳述したように、本実施例では運転者1の上半身を
含む範囲に赤外ストロボ5を用いて赤外光を照射し、そ
の反則光を2つの2次元固体R像素子(2次元CCD 
) 9’a 、 9b ニよッテ画像として検知し、該
検知された2つの画商より両眼に該当する画像上の特異
点を検出して運転者1の眼の3次元位置を認識している
。この為、座席の位置等から運転者1の眼の位置を推定
するのではなく、直接運転者1の眼の位置をめることが
できるので、精度よく車室内における運転者1の眼の3
次元位置を知ることができる。又、発光手段として赤外
ストロボ5を使用し赤外光を用いて画像を検知している
ので、外光が運転者1の一部を照したりしても、こうし
た外乱の影響をうけること<r <画像を検知すること
ができる上、運転者1がまふしざを感じることもない。
As described in detail above, in this embodiment, an infrared strobe 5 is used to irradiate infrared light to a range including the upper body of the driver 1, and the foul light is transmitted to two two-dimensional solid-state R image elements (two-dimensional CCD
) 9'a, 9b are detected as Niyotte images, and from the two detected art dealers, a singular point on the image corresponding to both eyes is detected, and the three-dimensional position of the driver's 1 eyes is recognized. There is. Therefore, instead of estimating the position of the driver's 1 eyes from the seat position etc., it is possible to directly determine the position of the driver's 1 eyes.
You can know the dimensional position. Furthermore, since the infrared strobe 5 is used as a light emitting means and the image is detected using infrared light, even if a part of the driver 1 is illuminated by external light, the driver 1 will not be affected by such disturbances. <r<In addition to being able to detect the image, the driver 1 does not feel any stiffness.

本実施例では、画像の検出手段として2次元固体撮像素
子を用いているので、従来の撤像管を用いるものと較べ
て検出部を小型化することができ、可動部がない為、耐
振動性に優れており、車両搭載用として高い信頼性を実
現でることができる。このことは、絞り機構として用い
た液晶絞り素子12a、12bについても同様である。
In this example, since a two-dimensional solid-state image sensor is used as the image detection means, the detection unit can be made smaller compared to one using a conventional image retraction tube, and since there are no moving parts, it is vibration resistant. It has excellent properties and can achieve high reliability when installed in vehicles. This also applies to the liquid crystal aperture elements 12a and 12b used as the aperture mechanism.

さらに、本実施例では、この液晶絞り素子12a、12
bを用いて2次元CC1)9a、9bに集められる光量
を一定範囲に調節しており、一般に固体搬像素子にみら
れるブルーミング現像の発生を防いでいる。
Furthermore, in this embodiment, the liquid crystal aperture elements 12a, 12
b is used to adjust the amount of light collected on the two-dimensional CCs 1) 9a and 9b within a certain range, thereby preventing the occurrence of blooming development that is generally seen in solid-state image carriers.

尚、本発明の主旨・目的を変更しない範囲で、次のよう
な他の構成を用いることも何ら差支えない。
It should be noted that the following other configurations may be used as long as the gist and purpose of the present invention are not changed.

発光手段として赤外ストロボ5のがわりに赤外発光ダイ
オードを用いる。この場合、発光ダーイA−ドは連続発
光させてもよく、発光・検出タイミングをとる必要がな
いので画像信号制御部の構成を簡易にすることができる
。又、運転者がまぶしさを感じない範囲で、可視光を用
いてもよい。
As a light emitting means, an infrared light emitting diode is used instead of the infrared strobe 5. In this case, the light emitting diode A may emit light continuously, and there is no need to determine the timing of light emission and detection, so the configuration of the image signal control section can be simplified. Further, visible light may be used within a range where the driver does not feel glare.

画像検出手段の一部に用いた固体@像索了どして、電荷
蓄積型デバイス(COD)のがわりに、フォトダイオー
ドアレイの出力をMOS l−ランジスタを切換えて読
みだすMOS型の固定tlil素像を用いてもよい。M
OS型の固定撮像素子は画像の読み出し回路が簡単なの
で両縁信号制御回路を簡易・小型化Jることができる。
Instead of the solid-state charge storage device (COD) used as part of the image detection means, a MOS-type fixed tlil element that reads out the output of the photodiode array by switching the MOS l-transistor is used. A statue may also be used. M
Since the OS-type fixed image sensor has a simple image readout circuit, the both-edge signal control circuit can be simplified and miniaturized.

光量の絞り機構として、液晶絞り素子12a。A liquid crystal aperture element 12a serves as a light amount aperture mechanism.

12bのかわりに、通常の機械的な絞りゃセラミックの
複屈折電界依存性を利用した透明セラミック絞り素子を
用いてもJ:い。透明セラミックは優れた耐久性を有し
、経年変化が少ないので、装置の信頼性を高めることが
できる。
12b may be replaced by a normal mechanical aperture or a transparent ceramic aperture element that utilizes the electric field dependence of birefringence of ceramic. Transparent ceramic has excellent durability and does not change much over time, so it can increase the reliability of the device.

発光手段、検出手段はインストルメントパネル内以外に
段冒しでしよく、運転者の上半身を正面ノ)日らとらえ
る位置、例えばステアリングシャフトの土部カバーの十
に設けてもよい。
The light emitting means and the detecting means may be provided on a step other than in the instrument panel, and may be provided at a position where the driver's upper body is directly exposed to the sun, for example, on the bottom cover of the steering shaft.

パターン認識の処理どして、白部の最大開部分をル?I
L、て顔面を検出ブるかわりに、2値化の処JIJjに
かえて微分処理を行なった後、輪郭線をめて顔面を検出
してもよい。
How do you process pattern recognition to find the maximum open area in white? I
Instead of detecting the face using L, the face may be detected by performing differential processing instead of the binarization process and then determining the contour line.

眼に該当づる画像りの特異点を検出する場合、水平方向
への走査にJ、って独立した2つの部分く黒点)を検出
するかわりに、予め知られた眼のパターンを、運転者の
顔面に相当Jる部分内で検出された黒点に巾ね合わせて
、最も誤差の小さな黒点を眼として検出づ−る等、画像
の有する性質を解析して、その特徴抽出を行なうパター
ン認識の他の手法を用いてもよい。
When detecting a singular point in an image that corresponds to an eye, instead of detecting a singular point in an image that corresponds to the eye, instead of scanning in the horizontal direction and detecting two independent parts (black dots), a previously known eye pattern is detected by In addition to pattern recognition, which analyzes the properties of an image and extracts its features, such as matching the width of sunspots detected in the area corresponding to the face and detecting the sunspot with the smallest error as an eye. You may also use this method.

運転者の眼の位置を認識する場合に、左右の眼の中間点
の座標で表現で−るのではなく、運転者の左右いずれか
の利き眼の位置の座標で表現してもよい。さらに、パ〈
標表現の形式として、画像検出器/)冒ろみた座標位置
ではなく、例えばパックミラーの位置を原点とブる極座
標の形式で表現し8公識してもよい。このことは、運転
者の眼の3次元位向を認識して、バックミラーの角磨を
調整づるI=で有効である。
When recognizing the position of the driver's eyes, it may be expressed not by the coordinates of the midpoint between the left and right eyes, but by the coordinates of the position of either the left or right dominant eye of the driver. In addition, Pa
As a format for representing the mark, instead of using the coordinate position of the image detector/), for example, the position of the pack mirror may be expressed in the form of polar coordinates with the origin as the origin. This is effective in I=, which recognizes the three-dimensional position of the driver's eyes and adjusts the angle of the rearview mirror.

[発明の効果〕 以上詳述したように本発明の車両運転者位置認識装置は
、 車両運転者を型銅する発光手段と、 前記発光手段の照射による該運転者からの反射光を画像
として検知する2個の2次元Ili像部からなる検出手
段と、 該検出手段にJ:って検出された2個の2次元画像より
画像処理を行なって、該1iji像上で、前記運転者の
眼に該当し周囲とは性質を異にする部をQ4j異点どし
て検出して、該特異点の位置から中室内にお1プる運転
者の眼の3次元位置を認識1−る認識手段と、 を備えている。
[Effects of the Invention] As described in detail above, the vehicle driver position recognition device of the present invention includes: a light emitting means for modeling a vehicle driver; and detecting reflected light from the driver by irradiation of the light emitting means as an image. A detection means consisting of two two-dimensional Ili image parts, and image processing is performed on the two two-dimensional images detected by the detection means, and the driver's eyes are detected on the Iji image. Detects a part that corresponds to Q4j and has different properties from the surroundings as a Q4j abnormal point, and recognizes the three-dimensional position of the driver's eyes in the middle room from the position of the singular point. Equipped with the means and.

従って、運転者の中室内における運転者の眼の3次元位
置を、座席の位置やリクライニングの状態等からlft
定づるのでは’、’K < 、運転者の姿をR像しパタ
ーン認識によって正確に検出することができる。この為
、ひとりひとり異なった運転者の身長ヤ)姿勢といった
ものに左右されることなく、運転者の1Rの実イCl冒
を3次元的に正確に指押することhくできるという優れ
た効果が得られる。このこと【、L、車室内におりる運
転者の眼の3次元位置に応じて、バックミラーの角度を
自動的に調整し、個々の運転者にとって良好な車両の操
作性を実現ゴることが可能に<−Bっだことを意味して
いる。
Therefore, the three-dimensional position of the driver's eyes in the driver's interior can be determined based on the seat position, reclining state, etc.
If it is determined that ','K <, the driver's appearance can be accurately detected by pattern recognition. For this reason, it has the excellent effect of being able to accurately press the driver's finger on the driver's 1R in three dimensions without being influenced by factors such as the height and posture of each driver. can get. This means that the angle of the rearview mirror is automatically adjusted according to the three-dimensional position of the driver's eyes inside the vehicle, thereby achieving good vehicle operability for each driver. This means that it is possible <-B.

又、運転者の眼の動きを検出し、これを監視して、運転
者の居眠運転を防止する装置や、脇見運転を警告・防止
する装置等への応用も可能である。
Furthermore, the present invention can be applied to devices that detect and monitor eye movements of a driver to prevent the driver from falling asleep while driving, or to warn and prevent distracted driving.

【図面の簡単な説明】[Brief explanation of the drawing]

第1図は本発明の基本的構成図、第2図は本発明実施例
の要部の概略配置図、第3図は同じく側面扉同図、第4
図は実施例の概略構成図、第5図(△)は発光手段どし
ての赤外ストロボ5の説明図、第5図(B)は赤外スト
ロボ5の発光スペクトルを表わす説明図、第6図は画像
の検出手段としての画像検出器8の説明図、第7図(A
)は液晶絞り索子12a、12bの構造を示す上面図、
第7図(B)は同じくその断面図、第ε3図は実施例に
おける運転者の3次元位置を認識づる処理を示すフロー
チャート、第9図は実施例の光学系を表わす模式図、第
10図は(A)、(B)、(C)は画像処理の一例を示
し第10図(△)は原画の一例を示す説明図、第10図
(B)はその2値化処理後の画像の一例を示す説明図、
第10図(C)はパターン認識の一手法を示す説明図、
第11図は眼に該当J−る特責点を検出する処%を説明
する為の説明図である。 1・・・運転者 4・・・ダラシ」ボード 4a・・・インストルメントパネル 5・・・赤外ストロボ 8・・・画像検出器 9a、9b・・・2次元固体1最像素子12a、12b
・・・液晶絞り素子 20・・・電子演粋回路 22 ・・・ CP 1ノ 26・・・RAM 81a 、81b ・−Lzレン ズ理人 弁理士 足)”f 勉 他1名 第1図 第5図 (A) 68八 リシ 艮(nm) 第6図 X斤譚 第9図 +4−一−−L−−−−−− X庁傅 X斥臀。 第10図
Figure 1 is a basic configuration diagram of the present invention, Figure 2 is a schematic layout diagram of the main parts of an embodiment of the present invention, Figure 3 is the same diagram of the side door, and Figure 4 is the same diagram of the side door.
The figure is a schematic diagram of the configuration of the embodiment, FIG. 6 is an explanatory diagram of the image detector 8 as an image detecting means, and FIG. 7 (A
) is a top view showing the structure of the liquid crystal iris 12a, 12b;
FIG. 7(B) is a cross-sectional view thereof, FIG. ε3 is a flowchart showing the process of recognizing the three-dimensional position of the driver in the embodiment, FIG. 9 is a schematic diagram showing the optical system of the embodiment, and FIG. 10 (A), (B), and (C) are examples of image processing; Figure 10 (△) is an explanatory diagram showing an example of the original image; Figure 10 (B) is the image after binarization processing. An explanatory diagram showing an example,
FIG. 10(C) is an explanatory diagram showing one method of pattern recognition,
FIG. 11 is an explanatory diagram for explaining the process of detecting the special point corresponding to the eye. 1... Driver 4... Darashi board 4a... Instrument panel 5... Infrared strobe 8... Image detectors 9a, 9b... Two-dimensional solid 1 most imaging element 12a, 12b
...Liquid crystal aperture element 20...Electronic abstraction circuit 22...CP 1-26...RAM 81a, 81b -Lz lens attorney Patent attorney Foot)"f Tsutomu and 1 other person Figure 1 Figure 5 Figure (A) 68 eight rishi (nm) Figure 6

Claims (1)

【特許請求の範囲】 1 車両運転者を照1−jる発光手段と、前記発光手段
の照射による該運転者からの反射光を画像として検知す
る2個の2次元搬像部からなる検出手段と、 該検出手段によって検出された2個の2次元画像より画
像処理を行なって、該画像上で前記運転者の眼に該当し
周囲とは性質を異にする部分を特異点として検出して、
該特異点の位置から車室内にお(プる運転者の眼の3次
元位置を認識する認識手段と、 を備えたことを特徴とする車両運転者位置認識装置。 2 前記2次元撮像部が2次元固体撮像素子を備えた特
許請求の範囲第1項記載の車両運転者の眼の位置認識装
置。 3 ′#i記発光発光手段外発光手段であり、前記検出
手段が赤外光検出手段である特許請求の範囲第1項また
は第2項記載の車両運転者の眼の位置認識装置。 4 前記赤外発光手段が赤外ストロボである特許請求の
範囲第3項記載の車両運転者の眼の位置認識装置。 5 前記特異点が、運転者の顔面に対応1−る画像上の
部分内で、水平方向への走査により独立した2つの部分
どして検出される特許請求の範囲第1項ないし第4項の
いずれか記載の車両運転者の眼の位置認識装置。
[Scope of Claims] 1. Detection means consisting of a light emitting means 1-j that illuminates a vehicle driver, and two two-dimensional image carriers that detect light reflected from the driver by irradiation of the light emitting means as an image. and performing image processing on the two two-dimensional images detected by the detection means to detect a part of the image that corresponds to the driver's eyes and has different properties from the surroundings as a singular point. ,
A vehicle driver position recognition device comprising: recognition means for recognizing the three-dimensional position of the driver's eyes from the position of the singular point in the vehicle interior. 2. The two-dimensional imaging unit is A device for recognizing the position of the eyes of a vehicle driver according to claim 1, comprising a two-dimensional solid-state image sensor. 3'#i is an external light emitting means, and the detecting means is an infrared light detecting means. 4. The vehicle driver's eye position recognition device according to claim 1 or 2, wherein the infrared emitting means is an infrared strobe. Eye position recognition device.5 The singular point is detected as two independent parts within a part of the image corresponding to the driver's face by scanning in the horizontal direction. The vehicle driver's eye position recognition device according to any one of items 1 to 4.
JP1459684A 1984-01-30 1984-01-30 Apparatus for recognizing positions of vehicle driver's eyes Pending JPS60158303A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1459684A JPS60158303A (en) 1984-01-30 1984-01-30 Apparatus for recognizing positions of vehicle driver's eyes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1459684A JPS60158303A (en) 1984-01-30 1984-01-30 Apparatus for recognizing positions of vehicle driver's eyes

Publications (1)

Publication Number Publication Date
JPS60158303A true JPS60158303A (en) 1985-08-19

Family

ID=11865558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1459684A Pending JPS60158303A (en) 1984-01-30 1984-01-30 Apparatus for recognizing positions of vehicle driver's eyes

Country Status (1)

Country Link
JP (1) JPS60158303A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0324429U (en) * 1989-07-13 1991-03-13
JPH03202045A (en) * 1989-12-28 1991-09-03 Nissan Motor Co Ltd Detecting device for state of driver
US5218387A (en) * 1990-05-21 1993-06-08 Nissan Motor Co., Ltd. Eye position detecting apparatus
US5293427A (en) * 1990-12-14 1994-03-08 Nissan Motor Company, Ltd. Eye position detecting system and method therefor
DE4441332A1 (en) * 1993-11-11 1995-05-18 Mitsubishi Electric Corp Illuminating and picture-taking installation for motor vehicle driver
DE19509689A1 (en) * 1994-03-10 1995-09-14 Mitsubishi Electric Corp Physiological or psychological state detector using corneal reflection
DE19852873A1 (en) * 1998-11-16 2000-05-25 Trw Automotive Electron & Comp Setting up at least one optical device in vehicle involves e.g. setting angular position of information output surface or influencing optical element depending on measured eye position
JP2008305203A (en) * 2007-06-07 2008-12-18 Denso Corp Face imaging device
CN105522968A (en) * 2015-12-21 2016-04-27 浙江大学 Automatic adjustment system for automobile rearview mirrors
WO2017187224A1 (en) 2016-04-26 2017-11-02 Continental Automotive Gmbh Human-machine interface apparatus for a vehicle
US20190176837A1 (en) * 2017-12-08 2019-06-13 Tesla, Inc. Personalization system and method for a vehicle based on spatial locations of occupants' body portions

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0324429U (en) * 1989-07-13 1991-03-13
JPH03202045A (en) * 1989-12-28 1991-09-03 Nissan Motor Co Ltd Detecting device for state of driver
US5218387A (en) * 1990-05-21 1993-06-08 Nissan Motor Co., Ltd. Eye position detecting apparatus
US5293427A (en) * 1990-12-14 1994-03-08 Nissan Motor Company, Ltd. Eye position detecting system and method therefor
DE4441332A1 (en) * 1993-11-11 1995-05-18 Mitsubishi Electric Corp Illuminating and picture-taking installation for motor vehicle driver
DE4441332B4 (en) * 1993-11-11 2008-04-24 Mitsubishi Denki K.K. Device for determining the position of the pupils of a driver
US5598145A (en) * 1993-11-11 1997-01-28 Mitsubishi Denki Kabushiki Kaisha Driver photographing apparatus
DE19509689C2 (en) * 1994-03-10 2000-01-05 Mitsubishi Electric Corp Method of detecting a person's vigilance
US5795306A (en) * 1994-03-10 1998-08-18 Mitsubishi Denki Kabushiki Kaisha Bodily state detection apparatus
DE19509689A1 (en) * 1994-03-10 1995-09-14 Mitsubishi Electric Corp Physiological or psychological state detector using corneal reflection
DE19852873A1 (en) * 1998-11-16 2000-05-25 Trw Automotive Electron & Comp Setting up at least one optical device in vehicle involves e.g. setting angular position of information output surface or influencing optical element depending on measured eye position
DE19852873B4 (en) * 1998-11-16 2005-06-23 Trw Automotive Electronics & Components Gmbh & Co. Kg Device for adjusting at least one optical device of a vehicle
JP2008305203A (en) * 2007-06-07 2008-12-18 Denso Corp Face imaging device
CN105522968A (en) * 2015-12-21 2016-04-27 浙江大学 Automatic adjustment system for automobile rearview mirrors
WO2017187224A1 (en) 2016-04-26 2017-11-02 Continental Automotive Gmbh Human-machine interface apparatus for a vehicle
EP3448723A4 (en) * 2016-04-26 2019-12-11 Continental Automotive GmbH Human-machine interface apparatus for a vehicle
US20190176837A1 (en) * 2017-12-08 2019-06-13 Tesla, Inc. Personalization system and method for a vehicle based on spatial locations of occupants' body portions
US11465631B2 (en) * 2017-12-08 2022-10-11 Tesla, Inc. Personalization system and method for a vehicle based on spatial locations of occupants' body portions

Similar Documents

Publication Publication Date Title
JPS60152904A (en) Vehicle-driver-position recognizing apparatus
CN112219280B (en) Light receiving element, distance measuring module, and electronic device
US20240214666A1 (en) Vehicular driver monitoring system with camera view optimization
KR20020002221A (en) Optimized human presence detection through elimination of background interference
CN113271400A (en) Imaging device and electronic apparatus
JPS60158303A (en) Apparatus for recognizing positions of vehicle driver&#39;s eyes
CA2460695A1 (en) Moisture sensor utilizing stereo imaging with an image sensor
KR20020002220A (en) Human presence detection, identification and tracking using a facial feature image sensing system for airbag deployment
CN103916610B (en) Dazzle for dynamic reversing mirror is reduced
KR20000062977A (en) Electronic optical target ranging and imaging
CN113875217A (en) Image recognition apparatus and image recognition method
CN110557629A (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
CN117015967A (en) Line driver assembly and solid-state imaging device
JP6892231B2 (en) Eyelid opening / closing detection device and eyelid opening / closing detection method
US20050151053A1 (en) Infrared proximity sensor for air bag safety
JPH0349769B2 (en)
JP2017188851A (en) Face imaging method for vehicle interior camera and vehicle interior camera
JP2008183933A (en) Noctovision equipment
JP2006178652A (en) Vehicle environment recognition system and image processor
JPS6166906A (en) Recognizing device for vehicle driver position
JPH0426041B2 (en)
JPS60158304A (en) Apparatus for recognizing positions of vehicle driver&#39;s eyes
JP3201037B2 (en) Driver photography device
JPS60174906A (en) Apparatus for discriminating vehicle driver position
WO2024024269A1 (en) Solid-state imaging device and method for manufacturing same