JP3036319B2 - Driver status monitoring device - Google Patents
Driver status monitoring deviceInfo
- Publication number
- JP3036319B2 JP3036319B2 JP5236183A JP23618393A JP3036319B2 JP 3036319 B2 JP3036319 B2 JP 3036319B2 JP 5236183 A JP5236183 A JP 5236183A JP 23618393 A JP23618393 A JP 23618393A JP 3036319 B2 JP3036319 B2 JP 3036319B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- driver
- edge
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、自動車に搭載され運転
者の目の状態を自動認識し、運転者の居眠り等に対して
警報を発して事故を防止すること車載用運転車状態監視
装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an on-vehicle driving vehicle condition monitoring apparatus which is mounted on a vehicle and automatically recognizes the state of the driver's eyes, and issues an alarm when the driver falls asleep to prevent an accident. It is about.
【0002】[0002]
【従来の技術】図3は従来の車載用運転車状態監視装置
の構成を説明する。図3において、撮像部1は撮像手段
であり、運転車の顔部分を撮像する。認識装置2は撮像
部1が取り込んだアナログ撮像データをディジタル撮像
データに変換し、予め設定した閾値で2値化する。デジ
タル撮像データは、ある輝度値を持った画素の集合体で
あり、2値化処理が施されることにより、この画素の輝
度値が前記閾値を越える白い部分は”1”、越えない黒
い部分(以下、黒画素領域と呼ぶ)は”0”とされ、”
1”と”0”の集合体となる。ディジタル撮像データ内
の目の位置及び状態はこの黒画素領域の位置及び大きさ
から検出される。認識装置2はこの検出結果から運転者
の居眠りや脇見等の認識がされると、スピーカより運転
者に向けて警告が発せられる。2. Description of the Related Art FIG. 3 illustrates the configuration of a conventional on-vehicle driving condition monitoring apparatus. In FIG. 3, an imaging unit 1 is an imaging unit, and captures an image of a face portion of a driving vehicle. The recognition device 2 converts the analog imaging data captured by the imaging unit 1 into digital imaging data, and binarizes the digital imaging data with a preset threshold. The digital image data is a set of pixels having a certain luminance value. By performing binarization processing, a white portion where the luminance value of this pixel exceeds the threshold value is "1", and a black portion which does not exceed the threshold value is "1". (Hereinafter, referred to as a black pixel area) is set to “0” and “
The position and state of the eyes in the digital image data are detected from the position and size of the black pixel area.The recognition device 2 uses the detection result to determine whether the driver has fallen asleep or not. When inattentiveness or the like is recognized, a warning is issued from the speaker to the driver.
【0003】このように、従来の車載用運転者監視装置
では、運転者が居眠りや脇見等を行うと、スピーカから
警告が発せられる。As described above, in the conventional in-vehicle driver monitoring device, when the driver falls asleep or looks aside, a warning is issued from the speaker.
【0004】[0004]
【発明が解決しようとする課題】しかしながら上記の従
来の車載用運転者監視装置では、目の位置及び状態の検
出に運転者のディジタル画像データに対して2値化処理
すると、閾値の設定の仕方で目の周辺がすべて黒画素領
域となってしまったり、閾値の設定が適したものであっ
たとしても、車内の明るさ及び運転者の形状の個人差に
よる顔部分の明暗の違い等によって目の位置及び状態を
正しく判定できないという問題を有していた。However, in the above-described conventional on-vehicle driver monitoring apparatus, if the digital image data of the driver is binarized to detect the position and state of the eyes, the threshold value setting method Even if the entire area around the eyes becomes a black pixel area or the threshold setting is appropriate, the difference in brightness of the face due to individual differences in the brightness of the vehicle and the shape of the driver causes the eyes to change. However, there is a problem that the position and the state cannot be determined correctly.
【0005】本発明は上記従来の問題を解決するもの
で、運転者の目の状態を正しく判定し運転者が居眠りや
脇見等を行っている場合には素早く警告する優れた車載
用運転者監視装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention solves the above-mentioned conventional problems, and is an excellent vehicle-mounted driver monitoring system in which the condition of the driver's eyes is correctly determined and a warning is quickly given when the driver falls asleep or looking aside. It is intended to provide a device.
【0006】[0006]
【課題を解決するための手段】本発明は上記目的を達成
するために、車載用運転者監視装置に、運転者の顔部分
を撮像する撮像部と、この撮像部が取り込んだ画像上に
対して明るい領域から暗い領域に変わる境目、また暗い
領域から明るい領域に変わる境目を検出するエッジ検出
手段と、画像領域を制限する矩形領域のアドレスを発生
する矩形領域アドレス発生部と、前記エッジ検出部によ
って検出されたエッジ画像に対して前記矩形領域アドレ
ス発生部が指定した領域内のこのエッジ画像を記憶する
記憶手段と、運転者の目の様々な状態における画像デー
タを格納し、この画像データ内から順次選択した画像デ
ータに対して、前記記憶手段に蓄積されているエッジ画
像とを照合し一致度を測定する照合部と、この照合部が
測定した一致度を判断するとともに、照合位置に基づい
て前記矩形アドレス発生部に対して矩形領域を狭める指
示を送信し、前記一致度が所定基準を上まわった場合に
は運転者へ警告を発する指示を送出する制御部とを設け
たものである。SUMMARY OF THE INVENTION In order to achieve the above object, the present invention provides an in-vehicle driver monitoring device which includes an image pickup unit for picking up a driver's face and an image picked up by the image pickup unit. Edge detecting means for detecting a boundary changing from a bright area to a dark area and a boundary changing from a dark area to a bright area, a rectangular area address generating section for generating an address of a rectangular area for limiting an image area, and the edge detecting section Storage means for storing the edge image in the area specified by the rectangular area address generator with respect to the edge image detected by the image processing apparatus, and image data in various states of the driver's eyes are stored. A matching unit that compares the image data sequentially selected from with the edge image stored in the storage unit and measures the degree of coincidence; As well as the cross-sectional, based on the collation position
Finger to narrow the rectangular area with respect to the rectangular address generator
And a controller for sending an instruction to issue a warning to the driver when the degree of coincidence exceeds a predetermined standard.
【0007】[0007]
【作用】本発明は上記手段により、運転者の顔部分の画
像に対してエッジ検出を行い、運転者の顔部分の輪郭を
明確にするともに、このエッジ画像を運転者の目部分を
含む矩形領域に抜き出し、この抜き出されたエッジ画像
に対して予め作成された目の様々な状態の数種類の画像
データを一致させてこの一致度を測定し、この一致度が
予め設定した閾値を越えない場合には他の画像データに
変えるとともに、エッジ画像を抜き出す領域を狭めるこ
とをおこなうことにより、運転者の目の状態を正確に把
握する。According to the present invention, edge detection is performed on an image of a driver's face portion by the above means to clarify the contour of the driver's face portion, and this edge image is converted into a rectangle including the driver's eye portion. It is extracted to an area, and several kinds of image data of various states of the eye prepared in advance are matched with the extracted edge image to measure the degree of coincidence, and the degree of coincidence does not exceed a preset threshold value In this case, the state of the driver's eyes is accurately grasped by changing to another image data and narrowing the area from which the edge image is extracted.
【0008】[0008]
【実施例】以下、本発明の一実施例について、図面を用
いて説明する。An embodiment of the present invention will be described below with reference to the drawings.
【0009】図1において、A/D変換部4は、入力し
たアナログデータをデジタルデータへ変換する手段であ
り、撮像部1が入力したアナログ画像をディジタル画像
に変換する。撮像画像メモリ5は、画像データの記憶手
段であり、前記ディジタル画像を蓄える。エッジ検出回
路6は、ディジタル画像上で明るい領域から暗い領域に
変わる境目、また暗い領域から明るい領域に変わる境目
(以下、エッジとする)を検出する手段であり、前記撮
像画像メモリ5が蓄積したディジタル画像からこのエッ
ジを検出する。In FIG. 1, an A / D converter 4 is a means for converting input analog data into digital data, and converts an analog image input by the imaging unit 1 into a digital image. The captured image memory 5 is storage means for image data, and stores the digital image. The edge detection circuit 6 is a means for detecting a boundary where a bright region changes to a dark region and a boundary where a dark region changes to a bright region (hereinafter referred to as an edge) on the digital image. This edge is detected from the digital image.
【0010】エッジ画像メモリ7は、画像データの記憶
手段であり、前記ディジタル画像に対して前記エッジ検
出回路6がエッジを検出したエッジ画像を蓄える。矩形
領域アドレス発生部8は、画像領域を制限する矩形領域
のアドレスを発生する手段であり、前記エッジ画像メモ
リ7に蓄えられていたエッジ画像に対して矩形領域のア
ドレスを発生する。この矩形領域のアドレスは、前記エ
ッジ画像に対して予め目の位置を含んだ領域のアドレス
が設定されている。An edge image memory 7 is a storage means for image data, and stores an edge image of the digital image in which the edge detection circuit 6 detects an edge. The rectangular area address generator 8 is a means for generating an address of a rectangular area for limiting the image area, and generates an address of the rectangular area for the edge image stored in the edge image memory 7. As the address of the rectangular area, the address of the area including the position of the eye with respect to the edge image is set in advance.
【0011】テンプレートマッチング部9は、狭い矩形
領域であり予め設定された画像(以下、テンプレートデ
ータと呼ぶ)の画像データに対する比較手段(以下、テ
ンプレートマッチングと呼ぶ)であり、前記矩形領域ア
ドレス発生部8で発生した矩形領域アドレス内の前記エ
ッジ画像に対して、予め格納した数種類のテンプレート
によってテンプレートマッチングを行う。The template matching section 9 is a comparing means (hereinafter, referred to as template matching) for comparing image data of an image which is a narrow rectangular area and is set in advance (hereinafter, referred to as template data). The template matching is performed on the edge image in the rectangular area address generated in step 8 by using several types of templates stored in advance.
【0012】制御・演算部10は、一定時間分の画像デ
ータを内部のメモリに蓄え、この画像データの時間的変
化を測定する画像データの解析手段であり、前記エッジ
画像と一致するテンプレートデータに対して一定時間分
蓄え、このテンプレートの時間的変化から運転者の状態
を解析するとともに、前記矩形領域アドレス発生部8へ
矩形領域を狭める指示を送出する。The control / arithmetic unit 10 stores image data for a certain period of time in an internal memory, and is image data analysis means for measuring a temporal change of the image data. On the other hand, the data is stored for a fixed time, the state of the driver is analyzed from the temporal change of the template, and an instruction to narrow the rectangular area is sent to the rectangular area address generator 8.
【0013】まばたき動作解析部11は、この制御・演
算部10内に設置され内部に記憶手段を有し、一定時間
分を蓄積したテンプレートの瞳の位置変化の解析手段で
ある。眼球運動解析部12は、この制御・演算部10内
に設置され内部に記憶手段を有した一定時間分を蓄積し
たテンプレートの目の状態変化の解析手段である。The blinking motion analysis unit 11 is provided in the control / calculation unit 10 and has a storage unit therein. The blinking motion analysis unit 11 is a means for analyzing a change in the position of the pupil of the template in which a predetermined time has been accumulated. The eye movement analysis unit 12 is a means for analyzing a change in the state of the eyes of the template which has been stored in the control / calculation unit 10 and has a storage means therein for a predetermined time.
【0014】総合判断部13は、入力されたデータから
運転者状態の判断手段であり、前記まばたき動作解析部
11及び前記眼球運動解析部12からの解析データに基
づき運転者の状態を判断する。信号入力部14は、自動
車本体から自動車の走行状態に関するデータの入力手段
であり、このデータを前記総合判断部13に出力する。The comprehensive judgment section 13 is a means for judging the driver's state from the input data, and judges the driver's state based on the analysis data from the blinking motion analysis section 11 and the eye movement analysis section 12. The signal input unit 14 is an input unit for inputting data relating to the traveling state of the vehicle from the vehicle body, and outputs this data to the comprehensive judgment unit 13.
【0015】図2において、エッジパターンバッファ1
5は、画像の蓄積手段であり、エッジ画像メモリ7のエ
ッジ画像に対し、矩形領域アドレス発生部8によって指
定された領域のこのエッジ画像を蓄積する。テンプレー
トデータ格納用メモリ16は、まぶたの開閉状態が異な
る又は視線の方向が異なる数種類のテンプレートデータ
が予め格納されている。テンプレートアドレスセレクト
部17は、数種類のこのテンプレートからの選択手段で
あり、前記テンプレートデータ格納用メモリ16から一
つのテンプレートデータを選択する。In FIG. 2, an edge pattern buffer 1
Reference numeral 5 denotes an image storage unit that stores the edge image in the area specified by the rectangular area address generator 8 with respect to the edge image in the edge image memory 7. The template data storage memory 16 previously stores several types of template data having different eyelid opening / closing states or different line-of-sight directions. The template address selector 17 is a means for selecting from several types of templates, and selects one template data from the template data storage memory 16.
【0016】テンプレートパターンバッファ18は、テ
ンプレートデータの記憶手段であり、前記テンプレート
アドレスセレクト部17がテンプレートデータ格納用メ
モリ16から選択したテンプレートを格納する。The template pattern buffer 18 is a storage unit for storing template data, and stores the template selected by the template address selecting unit 17 from the template data storage memory 16.
【0017】パターン照合部19は、一つのデータに対
するデータの一致度を求める手段であり、エッジパター
ンバッファ15内のエッジ画像を1画素単位ごとにずら
しながら前記テンプレートパターンバッファ18に蓄え
られたテンプレートデータに対する一致度を求め、この
エッジ画像に対して最も一致度が高いテンプレートの位
置と一致度をパターン照合結果として出力する。The pattern matching section 19 is a means for determining the degree of coincidence of data with one piece of data. The pattern matching section 19 shifts the edge image in the edge pattern buffer 15 by one pixel unit and stores the template data stored in the template pattern buffer 18. Is obtained, and the position of the template and the degree of coincidence with the highest degree of coincidence with the edge image are output as the pattern matching result.
【0018】パターン照合制御部20は、前記パターン
照合部19が出力したパターン照合結果からのまぶた開
閉状態及び瞳の位置の算出手段であり、テンプレートマ
ッチングの一致度が予め設定した基準に達していない場
合には、他のテンプレートを用いてのテンプレートマッ
チングを再度行うためにテンプレートアドレスセレクト
部17へ他のテンプレートを選択する指示を送出し、こ
の一致度が予め設定した基準に達した場合には、このパ
ターン照合結果から算出したまぶた開閉状態及び瞳の位
置のデータを制御・演算部10へ送出する。The pattern matching control unit 20 is a means for calculating the eyelid opening / closing state and the pupil position based on the pattern matching result output from the pattern matching unit 19, and the matching degree of the template matching does not reach a preset reference. In this case, an instruction to select another template is sent to the template address selecting unit 17 in order to perform template matching using another template again, and when the matching degree reaches a preset reference, The data of the eyelid opening / closing state and the position of the pupil calculated from the pattern matching result are sent to the control / calculation unit 10.
【0019】次に、上記実施例の動作について説明す
る。図2において、撮像部1が撮像した運転者の顔のア
ナログ画像データがA/D変換部4へ送出される。A/
D変換部4は、この送出されたアナログ画像データをデ
ィジタル画像データに変換する。このディジタル画像デ
ータは、撮像画像メモリ5に蓄積され、エッジ検出回路
6によってエッジが検出される。このディジタル画像デ
ータがエッジ検出されることで、運転手の顔、目、鼻、
口等の輪郭が明確となる。Next, the operation of the above embodiment will be described. In FIG. 2, an image of the driver's face captured by the imaging unit 1 is shown.
Na log image data is sent to the A / D conversion unit 4. A /
D converter 4 converts the Anal log image data the sent to the digital image data. The digital image data is stored in the captured image memory 5, and the edge is detected by the edge detection circuit 6. By detecting the edge of this digital image data, the driver's face, eyes, nose,
The outline of the mouth and the like becomes clear.
【0020】このエッジ検出されたエッジ画像は、エッ
ジ画像メモリ7によって蓄積される。テンプレートマッ
チング部9に、エッジ画像メモリ7に蓄積されたこのエ
ッジ画像に対して矩形領域アドレス発生部8によって指
定された矩形領域内のエッジ画像が出力される。The detected edge image is stored in the edge image memory 7. The edge image stored in the edge image memory 7 and the edge image in the rectangular area designated by the rectangular area address generator 8 are output to the template matching section 9.
【0021】この矩形領域内のエッジ画像は、テンプレ
ートマッチング部9内のエッジパターンバッファ15に
格納され、パターン照合部19は、このエッジ画像と、
テンプレートパターンバッファ18に格納されているテ
ンプレートデータとを照合する。すなわち、このエッジ
画像に対して、このテンプレートデータを1画素ずつず
らしながら重ね合わせ、このエッジ画像とこのテンプレ
ートデータとの一致度を求める。このエッジ画像に対す
るこのテンプレートデータの位置とこの一致度が最も高
い場合には、パターン照合結果としてパターン照合制御
部20に出力される。The edge image in the rectangular area is stored in the edge pattern buffer 15 in the template matching unit 9, and the pattern matching unit 19
The template data stored in the template pattern buffer 18 is compared with the template data. That is, the template data is superimposed on the edge image while being shifted one pixel at a time, and the degree of coincidence between the edge image and the template data is obtained. When the position of the template data with respect to the edge image and the degree of coincidence are the highest, the pattern data is output to the pattern matching control unit 20 as a pattern matching result.
【0022】パターン照合制御部20において、このパ
ターン照合結果が予め設定した基準に達していない場合
には、他のテンプレートデータを用いて行う。その際に
は、パターン照合制御部20は、テンプレートアドレス
セレクト部17へ他のテンプレートを選択する指示を送
出する。テンプレートデータ格納用メモリ16には数種
類のテンプレートデータが格納されており、テンプレー
トアドレスセレクト部17はこの選択する指示を受信す
ると、このテンプレートデータ格納用メモリ16から先
に使用したテンプレートデータとは異なるテンプレート
を選択し、テンプレートパターンバッファ18へ出力す
る。パターン照合部19は、この新たなテンプレートデ
ータを用いて、エッジ画像との一致度を求め、パターン
照合制御部20へ出力する。When the pattern matching result does not reach the preset reference in the pattern matching control section 20, the pattern matching control section 20 uses another template data. At that time, the pattern matching control unit 20 sends an instruction to select another template to the template address selecting unit 17. The template data storage memory 16 stores several types of template data. When the template address selection unit 17 receives the instruction to select the template data, the template data storage memory 16 stores a different template data from the template data used earlier. And outputs it to the template pattern buffer 18. The pattern matching unit 19 obtains the degree of coincidence with the edge image using the new template data, and outputs it to the pattern matching control unit 20.
【0023】次に、パターン照合制御部20において、
このパターン照合結果が予め設定した基準に達している
場合には、このパターン照合結果は制御・演算部10に
出力される。図1において、このパターン照合結果は、
制御・演算部10内のまばたき動作解析部11と眼球運
動解析部12に分けて解析される。Next, in the pattern matching control unit 20,
If the pattern matching result has reached a preset reference, the pattern matching result is output to the control / calculation unit 10. In FIG. 1, the pattern matching result is
The analysis is performed separately by a blinking motion analysis unit 11 and an eye movement analysis unit 12 in the control / calculation unit 10.
【0024】まばたき動作解析部11は、一定時間分の
このパターン照合結果を蓄積し、この蓄積されたパター
ン照合結果よりテンプレートの瞳の位置変化を解析す
る。眼球運動解析12は、一定時間分のこのパターン照
合結果を蓄積し、この蓄積されたパターン照合結果より
テンプレートの目の状態変化を解析する。このまばたき
動作解析部11と眼球運動解析12の解析結果は、互い
に総合判断部13に送出される。総合判断部13は、信
号入力部14による自動車本体からの自動車走行状態に
関するデータと前記解析結果とを含めて運転者に警告を
発すべきであると判断場合には、スピーカ3より警告を
発する信号を送出する。The blinking motion analysis unit 11 accumulates the pattern matching results for a predetermined time, and analyzes a change in the position of the pupil of the template from the accumulated pattern matching results. The eye movement analysis 12 accumulates the pattern matching results for a certain period of time, and analyzes a change in the eye state of the template from the accumulated pattern matching results. The analysis results of the blinking motion analysis unit 11 and the eye movement analysis 12 are sent to the overall judgment unit 13. When it is determined that a warning should be issued to the driver including the data on the traveling state of the vehicle from the vehicle body by the signal input unit 14 and the analysis result, the general determination unit 13 issues a warning signal from the speaker 3. Is sent.
【0025】このように、上記実施例によれば、撮像部
1の画像に対してエッジ出力して運転者の顔の輪郭を明
確にでき、目の動きの抽出に対して矩形領域を設定して
矩形領域内のエッジ画像で行いかつ、処理を行っていく
上でこの矩形領域が狭まっていくことで精度と処理速度
をあげることができるという利点を有する。As described above, according to the above embodiment, the contour of the driver's face can be clarified by outputting edges to the image of the image pickup unit 1, and a rectangular area is set for extraction of eye movement. When performing the processing with the edge image in the rectangular area and performing the processing, there is an advantage that the precision and processing speed can be increased by narrowing the rectangular area.
【0026】[0026]
【発明の効果】本発明は上記実施例より明らかなよう
に、車載用運転者監視装置に、運転者の顔部分を撮像す
る撮像部と、この撮像部が取り込んだ画像上に対して明
るい領域から暗い領域に変わる境目、また暗い領域から
明るい領域に変わる境目を検出するエッジ検出手段と、
画像領域を制限する矩形領域のアドレスを発生する矩形
領域アドレス発生部と、前記エッジ検出部によって検出
されたエッジ画像に対して前記矩形領域アドレス発生部
が指定した領域内のこのエッジ画像を記憶する記憶手段
と、運転者の目の様々な状態における画像データを格納
し、この画像データ内から順次選択した画像データに対
して、前記記憶手段に蓄積されているエッジ画像とを照
合し一致度を測定する照合部と、この照合部が測定した
一致度を判断するとともに、照合位置に基づいて前記矩
形アドレス発生部に対して矩形領域を狭める指示を送信
し、前記一致度が所定基準を上まった場合には運転者へ
警告を発する指示を送出する制御部とを設け、運転者の
顔部分の画像に対してエッジ検出を行い、運転者の顔部
分の輪郭を明確にするともに、このエッジ画像を運転者
の目部分を含む矩形領域に抜き出し、この抜き出された
エッジ画像に対して予め作成された目の様々な状態の数
種類の画像データを一致させてこの一致度を測定し、こ
の一致度が予め設定した閾値を越えない場合には他の画
像データに変えるとともに、エッジ画像を抜き出す領域
を狭めることをおこなうことにより、運転者の目の状態
を正確に把握するものであり、運転者の目の状態の精度
と処理速度があがるため、より確かな運転者に対する居
眠り及び脇見等における交通事故を防止することができ
るという効果を有する。As is apparent from the above embodiment, the present invention provides an in-vehicle driver monitoring device with an image pickup unit for picking up a driver's face and a bright area on the image taken by the image pickup unit. Edge detection means for detecting a boundary that changes from a dark area to a dark area, and a boundary that changes from a dark area to a light area,
A rectangular area address generating section for generating an address of a rectangular area for limiting an image area, and storing the edge image in the area designated by the rectangular area address generating section with respect to the edge image detected by the edge detecting section. The storage unit stores image data in various states of the driver's eyes, and compares image data sequentially selected from the image data with edge images stored in the storage unit to determine a degree of coincidence. A collating unit to be measured, and the degree of coincidence measured by the collating unit is determined, and the rectangular shape is determined based on the collating position.
An instruction to narrow the rectangular area to the shape address generator
A control unit for sending an instruction to issue a warning to the driver when the degree of coincidence exceeds a predetermined criterion, performing edge detection on the image of the driver's face, In addition to clarifying the outline of the portion, the edge image is extracted into a rectangular area including the driver's eye portion, and several types of image data of various states of the eyes created in advance for the extracted edge image are extracted. When the coincidence does not exceed a preset threshold value, the image data is changed to another image data, and the area from which the edge image is extracted is narrowed, so that the driver's eyes can be obtained. is intended to accurately grasp the state, the accuracy and processing speed of the eye condition of the driver is increased, it has the effect of preventing traffic accidents in drowsy and inattentive, etc. for more reliable driver That.
【図1】本発明の実施例における車載用運転者状態監視
装置の構成ブロック図FIG. 1 is a block diagram showing a configuration of a vehicle-mounted driver state monitoring device according to an embodiment of the present invention.
【図2】本発明の実施例における車載用運転者状態監視
装置の構成要素ブロック図FIG. 2 is a block diagram of components of a vehicle-mounted driver status monitoring device according to an embodiment of the present invention.
【図3】従来の車載用運転者状態監視装置の構成ブロッ
ク図FIG. 3 is a configuration block diagram of a conventional vehicle-mounted driver state monitoring device.
1 撮像部 5 撮像画像メモリ 6 エッジ検出回路 8 矩形領域アドレス発生部 10 制御・演算部 15 エッジパターンバッファ 16 テンプレートデータ格納用メモリ 17 テンプレートアドレスセレクト部 19 パターン照合部 20 パターン照合制御部 Reference Signs List 1 imaging unit 5 captured image memory 6 edge detection circuit 8 rectangular area address generation unit 10 control / calculation unit 15 edge pattern buffer 16 template data storage memory 17 template address selection unit 19 pattern matching unit 20 pattern matching control unit
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G08G 1/16 G06T 1/00 G08B 21/00 H04N 7/18 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) G08G 1/16 G06T 1/00 G08B 21/00 H04N 7/18
Claims (2)
の撮像部が取り込んだ画像上に対して明るい領域から暗
い領域に変わる境目、また暗い領域から明るい領域に変
わる境目を検出するエッジ検出手段と、画像領域を制限
する矩形領域のアドレスを発生する矩形領域アドレス発
生部と、前記エッジ検出部によって検出されたエッジ画
像に対して前記矩形領域アドレス発生部が指定した領域
内のこのエッジ画像を記憶する記憶手段と、運転者の目
の各状態における画像データを格納し、この画像データ
内から順次選択した画像データに対して、前記記憶手段
に蓄積されているエッジ画像とを照合し一致度を測定す
る照合部と、この照合部が測定した一致度を判断すると
ともに、照合位置に基づいて前記矩形アドレス発生部に
対して矩形領域を狭める指示を送信し、前記一致度が所
定基準を上わまった場合には運転者へ警告を発する指示
を送出する制御部とを備えた車載用運転者状態監視装
置。1. An image pickup unit for picking up a driver's face, and an edge for detecting a boundary where a bright region changes to a dark region and a boundary where a dark region changes to a bright region on an image captured by the image pickup unit. Detecting means, a rectangular area address generating section for generating an address of a rectangular area for limiting an image area, and an edge in an area designated by the rectangular area address generating section with respect to the edge image detected by the edge detecting section. A storage unit for storing an image and image data in each state of the driver's eyes are stored, and the image data sequentially selected from the image data is compared with an edge image stored in the storage unit. When the collating unit that measures the degree of coincidence and the degree of coincidence measured by the collating unit are determined ,
In both cases, the rectangular address generation unit
A control unit for transmitting an instruction to narrow the rectangular area, and sending an instruction to issue a warning to the driver when the degree of coincidence exceeds a predetermined reference. Condition monitoring device.
と、運転者の目の様々な状態における画像データが格納
されている格納メモリと、この格納メモリ内から順次選
択するアドレスセレクト部と、このアドレスセレクト部
によって選択された画像データ及び前記画像記憶手段に
蓄積されている画像との一致度を測定するパターン照合
部と、このパターン照合部が測定した一致度を判断し、
この判断結果が予め設定した閾値を下回る値の場合は出
力し、この判断結果が閾値を上回る場合には前記格納メ
モリ内の数種類の画像データ内からひとつを選択する指
示を前記アドレスセレクト部へ送るパターン照合制御部
とを備えることを特徴とする請求項1記載の車載用運転
者状態監視装置。2. A collating unit comprising: an image storage unit for storing an image; a storage memory for storing image data in various states of a driver's eyes; and an address selection unit for sequentially selecting from the storage memory. A pattern matching unit that measures the degree of coincidence between the image data selected by the address selection unit and the image stored in the image storage unit, and determines the degree of coincidence measured by the pattern matching unit.
If this determination result is a value that is less than a preset threshold value, it is output. If this determination result is greater than the threshold value, an instruction to select one of several types of image data in the storage memory is sent to the address selection unit. The in-vehicle driver status monitoring device according to claim 1, further comprising a pattern matching control unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5236183A JP3036319B2 (en) | 1993-09-22 | 1993-09-22 | Driver status monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5236183A JP3036319B2 (en) | 1993-09-22 | 1993-09-22 | Driver status monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0793700A JPH0793700A (en) | 1995-04-07 |
JP3036319B2 true JP3036319B2 (en) | 2000-04-24 |
Family
ID=16997009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5236183A Expired - Fee Related JP3036319B2 (en) | 1993-09-22 | 1993-09-22 | Driver status monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3036319B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19734307C2 (en) * | 1997-08-08 | 1999-06-10 | Bosch Gmbh Robert | Method and device for monitoring and / or influencing the vehicle behavior of a driver-controlled motor vehicle |
JP2007164617A (en) * | 2005-12-15 | 2007-06-28 | Yamaguchi Univ | Template forming method using gaussian function, and vision input communication method using eye motion |
JP2009528600A (en) * | 2006-03-01 | 2009-08-06 | オプタラート・プロプライアタリー・リミテッド | Incapacity monitor |
JP4977856B2 (en) * | 2006-04-25 | 2012-07-18 | 国立大学法人豊橋技術科学大学 | Awakening state detection method and awakening state detection device |
JP6535223B2 (en) * | 2015-05-28 | 2019-06-26 | 浜松ホトニクス株式会社 | Blink measurement method, blink measurement apparatus, and blink measurement program |
CN108437999B (en) * | 2018-03-20 | 2020-07-28 | 中国计量大学 | Attention auxiliary system |
CN111476185B (en) * | 2020-04-13 | 2023-10-10 | 罗跃宸 | Driver attention monitoring method, device and system |
CN113570747B (en) * | 2021-06-29 | 2023-05-23 | 东风汽车集团股份有限公司 | Driving safety monitoring system and method based on big data analysis |
CN114005250A (en) * | 2021-10-12 | 2022-02-01 | 上海电机学院 | Intelligent system combining fatigue driving monitoring with automatic driving |
-
1993
- 1993-09-22 JP JP5236183A patent/JP3036319B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0793700A (en) | 1995-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110532976B (en) | Fatigue driving detection method and system based on machine learning and multi-feature fusion | |
CN105769120B (en) | Method for detecting fatigue driving and device | |
US5867587A (en) | Impaired operator detection and warning system employing eyeblink analysis | |
US8233670B2 (en) | System and method for traffic sign recognition | |
US7620216B2 (en) | Method of tracking a human eye in a video image | |
US9662977B2 (en) | Driver state monitoring system | |
JP3143819B2 (en) | Eyelid opening detector | |
CN102310771A (en) | Motor vehicle safety control method and system based on driver face identification | |
US20150169980A1 (en) | Object recognition device | |
KR19990023570A (en) | Eye position detection device and method | |
JP3063504B2 (en) | Image data feature detection device | |
JP3036319B2 (en) | Driver status monitoring device | |
JP2008065776A (en) | Doze detection device and doze detection method | |
JP3395344B2 (en) | Image processing device and doze alarm device using the same | |
JP4989249B2 (en) | Eye detection device, dozing detection device, and method of eye detection device | |
US20220309808A1 (en) | Driver monitoring device, driver monitoring method, and driver monitoring-use computer program | |
JP4198542B2 (en) | Face presence / absence determination device and face presence / absence determination program | |
CN117334047A (en) | Dangerous driving behavior detection method and device | |
JP3627468B2 (en) | Motion detection device | |
JP3779229B2 (en) | Identification method, identification device, and traffic control system | |
JP3057996B2 (en) | Eye position detection device for vehicle driver | |
JP7212251B2 (en) | Eye opening/closing detection device, occupant monitoring device | |
JPH08249454A (en) | Device for detecting looking aside of driver | |
CN112668548B (en) | Method and system for detecting driver's blurriness | |
CN111476185B (en) | Driver attention monitoring method, device and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |