JPH0793700A - 運転者状態監視装置 - Google Patents
運転者状態監視装置Info
- Publication number
- JPH0793700A JPH0793700A JP23618393A JP23618393A JPH0793700A JP H0793700 A JPH0793700 A JP H0793700A JP 23618393 A JP23618393 A JP 23618393A JP 23618393 A JP23618393 A JP 23618393A JP H0793700 A JPH0793700 A JP H0793700A
- Authority
- JP
- Japan
- Prior art keywords
- image
- driver
- unit
- edge
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【目的】 自動車の運転者の顔画像をカメラで撮像し、
まばたき動作等を自動認識することによって、運転者の
状態を監視して運転者の居眠り等による交通事故を警報
を発することで防止する。 【構成】 撮像部１が撮像した運転者の顔画像は、撮像
画像メモリ５に蓄積される。この顔画像はエッジ検出回
路６によってエッジが検出され、この検出された顔画像
（以下、エッジ画像と呼ぶ）はエッジ画像メモリ７に蓄
積され、テンプレートマッチング部７はこのエッジ画像
からまぶた及び瞳の位置を検出する。次に制御・演算部
１０はこのまぶた及び瞳の位置から検出したまばたき動
作と眼球動作及び信号入力部１５から受けた自動車の走
行状態から運転者に対して運転者に向けて警告を発する
べきと判断した場合にはスピーカ１２より警告を発す
る。
まばたき動作等を自動認識することによって、運転者の
状態を監視して運転者の居眠り等による交通事故を警報
を発することで防止する。 【構成】 撮像部１が撮像した運転者の顔画像は、撮像
画像メモリ５に蓄積される。この顔画像はエッジ検出回
路６によってエッジが検出され、この検出された顔画像
（以下、エッジ画像と呼ぶ）はエッジ画像メモリ７に蓄
積され、テンプレートマッチング部７はこのエッジ画像
からまぶた及び瞳の位置を検出する。次に制御・演算部
１０はこのまぶた及び瞳の位置から検出したまばたき動
作と眼球動作及び信号入力部１５から受けた自動車の走
行状態から運転者に対して運転者に向けて警告を発する
べきと判断した場合にはスピーカ１２より警告を発す
る。
Description
【０００１】
【産業上の利用分野】本発明は、自動車に搭載され運転
者の目の状態を自動認識し、運転者の居眠り等に対して
警報を発して事故を防止すること車載用運転車状態監視
装置に関するものである。
者の目の状態を自動認識し、運転者の居眠り等に対して
警報を発して事故を防止すること車載用運転車状態監視
装置に関するものである。
【０００２】
【従来の技術】図３は従来の車載用運転車状態監視装置
の構成を説明する。図３において、撮像部１は撮像手段
であり、運転車の顔部分を撮像する。認識装置２は撮像
部１が取り込んだアナログ撮像データをディジタル撮像
データに変換し、予め設定した閾値で２値化する。デジ
タル撮像データは、ある輝度値を持った画素の集合体で
あり、２値化処理が施されることにより、この画素の輝
度値が前記閾値を越える白い部分は”１”、越えない黒
い部分（以下、黒画素領域と呼ぶ）は”０”とされ、”
１”と”０”の集合体となる。ディジタル撮像データ内
の目の位置及び状態はこの黒画素領域の位置及び大きさ
から検出される。認識装置２はこの検出結果から運転者
の居眠りや脇見等の認識がされると、スピーカより運転
者に向けて警告が発せられる。
の構成を説明する。図３において、撮像部１は撮像手段
であり、運転車の顔部分を撮像する。認識装置２は撮像
部１が取り込んだアナログ撮像データをディジタル撮像
データに変換し、予め設定した閾値で２値化する。デジ
タル撮像データは、ある輝度値を持った画素の集合体で
あり、２値化処理が施されることにより、この画素の輝
度値が前記閾値を越える白い部分は”１”、越えない黒
い部分（以下、黒画素領域と呼ぶ）は”０”とされ、”
１”と”０”の集合体となる。ディジタル撮像データ内
の目の位置及び状態はこの黒画素領域の位置及び大きさ
から検出される。認識装置２はこの検出結果から運転者
の居眠りや脇見等の認識がされると、スピーカより運転
者に向けて警告が発せられる。
【０００３】このように、従来の車載用運転者監視装置
では、運転者が居眠りや脇見等を行うと、スピーカから
警告が発せられる。
では、運転者が居眠りや脇見等を行うと、スピーカから
警告が発せられる。
【０００４】
【発明が解決しようとする課題】しかしながら上記の従
来の車載用運転者監視装置では、目の位置及び状態の検
出に運転者のディジタル画像データに対して２値化処理
すると、閾値の設定の仕方で目の周辺がすべて黒画素領
域となってしまったり、閾値の設定が適したものであっ
たとしても、車内の明るさ及び運転者の形状の個人差に
よる顔部分の明暗の違い等によって目の位置及び状態を
正しく判定できないという問題を有していた。
来の車載用運転者監視装置では、目の位置及び状態の検
出に運転者のディジタル画像データに対して２値化処理
すると、閾値の設定の仕方で目の周辺がすべて黒画素領
域となってしまったり、閾値の設定が適したものであっ
たとしても、車内の明るさ及び運転者の形状の個人差に
よる顔部分の明暗の違い等によって目の位置及び状態を
正しく判定できないという問題を有していた。
【０００５】本発明は上記従来の問題を解決するもの
で、運転者の目の状態を正しく判定し運転者が居眠りや
脇見等を行っている場合には素早く警告する優れた車載
用運転者監視装置を提供することを目的とする。
で、運転者の目の状態を正しく判定し運転者が居眠りや
脇見等を行っている場合には素早く警告する優れた車載
用運転者監視装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】本発明は上記目的を達成
するために、車載用運転者監視装置に、運転者の顔部分
を撮像する撮像部と、この撮像部が取り込んだ画像上に
対して明るい領域から暗い領域に変わる境目、また暗い
領域から明るい領域に変わる境目を検出するエッジ検出
手段と、画像領域を制限する矩形領域のアドレスを発生
する矩形領域アドレス発生部と、前記エッジ検出部によ
って検出されたエッジ画像に対して前記矩形領域アドレ
ス発生部が指定した領域内のこのエッジ画像を記憶する
記憶手段と、運転者の目の様々な状態における画像デー
タを格納し、この画像データ内から順次選択した画像デ
ータに対して、前記記憶手段に蓄積されているエッジ画
像とを照合し一致度を測定する照合部と、この照合部が
測定した一致度を判断し、所定基準を上まった場合には
運転者へ警告を発する指示を送出する制御部とを設けた
ものである。
するために、車載用運転者監視装置に、運転者の顔部分
を撮像する撮像部と、この撮像部が取り込んだ画像上に
対して明るい領域から暗い領域に変わる境目、また暗い
領域から明るい領域に変わる境目を検出するエッジ検出
手段と、画像領域を制限する矩形領域のアドレスを発生
する矩形領域アドレス発生部と、前記エッジ検出部によ
って検出されたエッジ画像に対して前記矩形領域アドレ
ス発生部が指定した領域内のこのエッジ画像を記憶する
記憶手段と、運転者の目の様々な状態における画像デー
タを格納し、この画像データ内から順次選択した画像デ
ータに対して、前記記憶手段に蓄積されているエッジ画
像とを照合し一致度を測定する照合部と、この照合部が
測定した一致度を判断し、所定基準を上まった場合には
運転者へ警告を発する指示を送出する制御部とを設けた
ものである。
【０００７】
【作用】本発明は上記手段により、運転者の顔部分の画
像に対してエッジ検出を行い、運転者の顔部分の輪郭を
明確にするともに、このエッジ画像を運転者の目部分を
含む矩形領域に抜き出し、この抜き出されたエッジ画像
に対して予め作成された目の様々な状態の数種類の画像
データを一致させてこの一致度を測定し、この一致度が
予め設定した閾値を越えない場合には他の画像データに
変えるとともに、エッジ画像を抜き出す領域を狭めるこ
とをおこなうことにより、運転者の目の状態を正確に把
握する。
像に対してエッジ検出を行い、運転者の顔部分の輪郭を
明確にするともに、このエッジ画像を運転者の目部分を
含む矩形領域に抜き出し、この抜き出されたエッジ画像
に対して予め作成された目の様々な状態の数種類の画像
データを一致させてこの一致度を測定し、この一致度が
予め設定した閾値を越えない場合には他の画像データに
変えるとともに、エッジ画像を抜き出す領域を狭めるこ
とをおこなうことにより、運転者の目の状態を正確に把
握する。
【０００８】
【実施例】以下、本発明の一実施例について、図面を用
いて説明する。
いて説明する。
【０００９】図１において、Ａ／Ｄ変換部４は、入力し
たアナログデータをデジタルデータへ変換する手段であ
り、撮像部１が入力したアナログ画像をディジタル画像
に変換する。撮像画像メモリ５は、画像データの記憶手
段であり、前記ディジタル画像を蓄える。エッジ検出回
路６は、ディジタル画像上で明るい領域から暗い領域に
変わる境目、また暗い領域から明るい領域に変わる境目
（以下、エッジとする）を検出する手段であり、前記撮
像画像メモリ５が蓄積したディジタル画像からこのエッ
ジを検出する。
たアナログデータをデジタルデータへ変換する手段であ
り、撮像部１が入力したアナログ画像をディジタル画像
に変換する。撮像画像メモリ５は、画像データの記憶手
段であり、前記ディジタル画像を蓄える。エッジ検出回
路６は、ディジタル画像上で明るい領域から暗い領域に
変わる境目、また暗い領域から明るい領域に変わる境目
（以下、エッジとする）を検出する手段であり、前記撮
像画像メモリ５が蓄積したディジタル画像からこのエッ
ジを検出する。
【００１０】エッジ画像メモリ７は、画像データの記憶
手段であり、前記ディジタル画像に対して前記エッジ検
出回路６がエッジを検出したエッジ画像を蓄える。矩形
領域アドレス発生部８は、画像領域を制限する矩形領域
のアドレスを発生する手段であり、前記エッジ画像メモ
リ７に蓄えられていたエッジ画像に対して矩形領域のア
ドレスを発生する。この矩形領域のアドレスは、前記エ
ッジ画像に対して予め目の位置を含んだ領域のアドレス
が設定されている。
手段であり、前記ディジタル画像に対して前記エッジ検
出回路６がエッジを検出したエッジ画像を蓄える。矩形
領域アドレス発生部８は、画像領域を制限する矩形領域
のアドレスを発生する手段であり、前記エッジ画像メモ
リ７に蓄えられていたエッジ画像に対して矩形領域のア
ドレスを発生する。この矩形領域のアドレスは、前記エ
ッジ画像に対して予め目の位置を含んだ領域のアドレス
が設定されている。
【００１１】テンプレートマッチング部９は、狭い矩形
領域であり予め設定された画像（以下、テンプレートデ
ータと呼ぶ）の画像データに対する比較手段（以下、テ
ンプレートマッチングと呼ぶ）であり、前記矩形領域ア
ドレス発生部８で発生した矩形領域アドレス内の前記エ
ッジ画像に対して、予め格納した数種類のテンプレート
によってテンプレートマッチングを行う。
領域であり予め設定された画像（以下、テンプレートデ
ータと呼ぶ）の画像データに対する比較手段（以下、テ
ンプレートマッチングと呼ぶ）であり、前記矩形領域ア
ドレス発生部８で発生した矩形領域アドレス内の前記エ
ッジ画像に対して、予め格納した数種類のテンプレート
によってテンプレートマッチングを行う。
【００１２】制御・演算部１０は、一定時間分の画像デ
ータを内部のメモリに蓄え、この画像データの時間的変
化を測定する画像データの解析手段であり、前記エッジ
画像と一致するテンプレートデータに対して一定時間分
蓄え、このテンプレートの時間的変化から運転者の状態
を解析するとともに、前記矩形領域アドレス発生部８へ
矩形領域を狭める指示を送出する。
ータを内部のメモリに蓄え、この画像データの時間的変
化を測定する画像データの解析手段であり、前記エッジ
画像と一致するテンプレートデータに対して一定時間分
蓄え、このテンプレートの時間的変化から運転者の状態
を解析するとともに、前記矩形領域アドレス発生部８へ
矩形領域を狭める指示を送出する。
【００１３】まばたき動作解析部１１は、この制御・演
算部１０内に設置され内部に記憶手段を有し、一定時間
分を蓄積したテンプレートの瞳の位置変化の解析手段で
ある。眼球運動解析部１２は、この制御・演算部１０内
に設置され内部に記憶手段を有した一定時間分を蓄積し
たテンプレートの目の状態変化の解析手段である。
算部１０内に設置され内部に記憶手段を有し、一定時間
分を蓄積したテンプレートの瞳の位置変化の解析手段で
ある。眼球運動解析部１２は、この制御・演算部１０内
に設置され内部に記憶手段を有した一定時間分を蓄積し
たテンプレートの目の状態変化の解析手段である。
【００１４】総合判断部１３は、入力されたデータから
運転者状態の判断手段であり、前記まばたき動作解析部
１１及び前記眼球運動解析部１２からの解析データに基
づき運転者の状態を判断する。信号入力部１４は、自動
車本体から自動車の走行状態に関するデータの入力手段
であり、このデータを前記総合判断部１３に出力する。
運転者状態の判断手段であり、前記まばたき動作解析部
１１及び前記眼球運動解析部１２からの解析データに基
づき運転者の状態を判断する。信号入力部１４は、自動
車本体から自動車の走行状態に関するデータの入力手段
であり、このデータを前記総合判断部１３に出力する。
【００１５】図２において、エッジパターンバッファ１
５は、画像の蓄積手段であり、エッジ画像メモリ７のエ
ッジ画像に対し、矩形領域アドレス発生部８によって指
定された領域のこのエッジ画像を蓄積する。テンプレー
トデータ格納用メモリ１６は、まぶたの開閉状態が異な
る又は視線の方向が異なる数種類のテンプレートデータ
が予め格納されている。テンプレートアドレスセレクト
部１７は、数種類のこのテンプレートからの選択手段で
あり、前記テンプレートデータ格納用メモリ１６から一
つのテンプレートデータを選択する。
５は、画像の蓄積手段であり、エッジ画像メモリ７のエ
ッジ画像に対し、矩形領域アドレス発生部８によって指
定された領域のこのエッジ画像を蓄積する。テンプレー
トデータ格納用メモリ１６は、まぶたの開閉状態が異な
る又は視線の方向が異なる数種類のテンプレートデータ
が予め格納されている。テンプレートアドレスセレクト
部１７は、数種類のこのテンプレートからの選択手段で
あり、前記テンプレートデータ格納用メモリ１６から一
つのテンプレートデータを選択する。
【００１６】テンプレートパターンバッファ１８は、テ
ンプレートデータの記憶手段であり、前記テンプレート
アドレスセレクト部１７がテンプレートデータ格納用メ
モリ１６から選択したテンプレートを格納する。
ンプレートデータの記憶手段であり、前記テンプレート
アドレスセレクト部１７がテンプレートデータ格納用メ
モリ１６から選択したテンプレートを格納する。
【００１７】パターン照合部１９は、一つのデータに対
するデータの一致度を求める手段であり、エッジパター
ンバッファ１５内のエッジ画像を１画素単位ごとにずら
しながら前記テンプレートパターンバッファ１８に蓄え
られたテンプレートデータに対する一致度を求め、この
エッジ画像に対して最も一致度が高いテンプレートの位
置と一致度をパターン照合結果として出力する。
するデータの一致度を求める手段であり、エッジパター
ンバッファ１５内のエッジ画像を１画素単位ごとにずら
しながら前記テンプレートパターンバッファ１８に蓄え
られたテンプレートデータに対する一致度を求め、この
エッジ画像に対して最も一致度が高いテンプレートの位
置と一致度をパターン照合結果として出力する。
【００１８】パターン照合制御部２０は、前記パターン
照合部１９が出力したパターン照合結果からのまぶた開
閉状態及び瞳の位置の算出手段であり、テンプレートマ
ッチングの一致度が予め設定した基準に達していない場
合には、他のテンプレートを用いてのテンプレートマッ
チングを再度行うためにテンプレートアドレスセレクト
部１７へ他のテンプレートを選択する指示を送出し、こ
の一致度が予め設定した基準に達した場合には、このパ
ターン照合結果から算出したまぶた開閉状態及び瞳の位
置のデータを制御・演算部１０へ送出する。
照合部１９が出力したパターン照合結果からのまぶた開
閉状態及び瞳の位置の算出手段であり、テンプレートマ
ッチングの一致度が予め設定した基準に達していない場
合には、他のテンプレートを用いてのテンプレートマッ
チングを再度行うためにテンプレートアドレスセレクト
部１７へ他のテンプレートを選択する指示を送出し、こ
の一致度が予め設定した基準に達した場合には、このパ
ターン照合結果から算出したまぶた開閉状態及び瞳の位
置のデータを制御・演算部１０へ送出する。
【００１９】次に、上記実施例の動作について説明す
る。図２において、撮像部１が撮像した運転者の顔のア
ンログ画像データがＡ／Ｄ変換部４へ送出される。Ａ／
Ｄ変換部４は、この送出されたアンログ画像データをデ
ィジタル画像データに変換する。このディジタル画像デ
ータは、撮像画像メモリ５に蓄積され、エッジ検出回路
６によってエッジが検出される。このディジタル画像デ
ータがエッジ検出されることで、運転手の顔、目、鼻、
口等の輪郭が明確となる。
る。図２において、撮像部１が撮像した運転者の顔のア
ンログ画像データがＡ／Ｄ変換部４へ送出される。Ａ／
Ｄ変換部４は、この送出されたアンログ画像データをデ
ィジタル画像データに変換する。このディジタル画像デ
ータは、撮像画像メモリ５に蓄積され、エッジ検出回路
６によってエッジが検出される。このディジタル画像デ
ータがエッジ検出されることで、運転手の顔、目、鼻、
口等の輪郭が明確となる。
【００２０】このエッジ検出されたエッジ画像は、エッ
ジ画像メモリ７によって蓄積される。テンプレートマッ
チング部９に、エッジ画像メモリ７に蓄積されたこのエ
ッジ画像に対して矩形領域アドレス発生部８によって指
定された矩形領域内のエッジ画像が出力される。
ジ画像メモリ７によって蓄積される。テンプレートマッ
チング部９に、エッジ画像メモリ７に蓄積されたこのエ
ッジ画像に対して矩形領域アドレス発生部８によって指
定された矩形領域内のエッジ画像が出力される。
【００２１】この矩形領域内のエッジ画像は、テンプレ
ートマッチング部９内のエッジパターンバッファ１５に
格納され、パターン照合部１９は、このエッジ画像と、
テンプレートパターンバッファ１８に格納されているテ
ンプレートデータとを照合する。すなわち、このエッジ
画像に対して、このテンプレートデータを１画素ずつず
らしながら重ね合わせ、このエッジ画像とこのテンプレ
ートデータとの一致度を求める。このエッジ画像に対す
るこのテンプレートデータの位置とこの一致度が最も高
い場合には、パターン照合結果としてパターン照合制御
部２０に出力される。
ートマッチング部９内のエッジパターンバッファ１５に
格納され、パターン照合部１９は、このエッジ画像と、
テンプレートパターンバッファ１８に格納されているテ
ンプレートデータとを照合する。すなわち、このエッジ
画像に対して、このテンプレートデータを１画素ずつず
らしながら重ね合わせ、このエッジ画像とこのテンプレ
ートデータとの一致度を求める。このエッジ画像に対す
るこのテンプレートデータの位置とこの一致度が最も高
い場合には、パターン照合結果としてパターン照合制御
部２０に出力される。
【００２２】パターン照合制御部２０において、このパ
ターン照合結果が予め設定した基準に達していない場合
には、他のテンプレートデータを用いて行う。その際に
は、パターン照合制御部２０は、テンプレートアドレス
セレクト部１７へ他のテンプレートを選択する指示を送
出する。テンプレートデータ格納用メモリ１６には数種
類のテンプレートデータが格納されており、テンプレー
トアドレスセレクト部１７はこの選択する指示を受信す
ると、このテンプレートデータ格納用メモリ１６から先
に使用したテンプレートデータとは異なるテンプレート
を選択し、テンプレートパターンバッファ１８へ出力す
る。パターン照合部１９は、この新たなテンプレートデ
ータを用いて、エッジ画像との一致度を求め、パターン
照合制御部２０へ出力する。
ターン照合結果が予め設定した基準に達していない場合
には、他のテンプレートデータを用いて行う。その際に
は、パターン照合制御部２０は、テンプレートアドレス
セレクト部１７へ他のテンプレートを選択する指示を送
出する。テンプレートデータ格納用メモリ１６には数種
類のテンプレートデータが格納されており、テンプレー
トアドレスセレクト部１７はこの選択する指示を受信す
ると、このテンプレートデータ格納用メモリ１６から先
に使用したテンプレートデータとは異なるテンプレート
を選択し、テンプレートパターンバッファ１８へ出力す
る。パターン照合部１９は、この新たなテンプレートデ
ータを用いて、エッジ画像との一致度を求め、パターン
照合制御部２０へ出力する。
【００２３】次に、パターン照合制御部２０において、
このパターン照合結果が予め設定した基準に達している
場合には、このパターン照合結果は制御・演算部１０に
出力される。図１において、このパターン照合結果は、
制御・演算部１０内のまばたき動作解析部１１と眼球運
動解析部１２に分けて解析される。
このパターン照合結果が予め設定した基準に達している
場合には、このパターン照合結果は制御・演算部１０に
出力される。図１において、このパターン照合結果は、
制御・演算部１０内のまばたき動作解析部１１と眼球運
動解析部１２に分けて解析される。
【００２４】まばたき動作解析部１１は、一定時間分の
このパターン照合結果を蓄積し、この蓄積されたパター
ン照合結果よりテンプレートの瞳の位置変化を解析す
る。眼球運動解析１２は、一定時間分のこのパターン照
合結果を蓄積し、この蓄積されたパターン照合結果より
テンプレートの目の状態変化を解析する。このまばたき
動作解析部１１と眼球運動解析１２の解析結果は、互い
に総合判断部１３に送出される。総合判断部１３は、信
号入力部１４による自動車本体からの自動車走行状態に
関するデータと前記解析結果とを含めて運転者に警告を
発すべきであると判断場合には、スピーカ３より警告を
発する信号を送出する。
このパターン照合結果を蓄積し、この蓄積されたパター
ン照合結果よりテンプレートの瞳の位置変化を解析す
る。眼球運動解析１２は、一定時間分のこのパターン照
合結果を蓄積し、この蓄積されたパターン照合結果より
テンプレートの目の状態変化を解析する。このまばたき
動作解析部１１と眼球運動解析１２の解析結果は、互い
に総合判断部１３に送出される。総合判断部１３は、信
号入力部１４による自動車本体からの自動車走行状態に
関するデータと前記解析結果とを含めて運転者に警告を
発すべきであると判断場合には、スピーカ３より警告を
発する信号を送出する。
【００２５】このように、上記実施例によれば、撮像部
１の画像に対してエッジ出力して運転者の顔の輪郭を明
確にでき、目の動きの抽出に対して矩形領域を設定して
矩形領域内のエッジ画像で行いかつ、処理を行っていく
上でこの矩形領域が狭まっていくことで精度と処理速度
をあげることができるという利点を有する。
１の画像に対してエッジ出力して運転者の顔の輪郭を明
確にでき、目の動きの抽出に対して矩形領域を設定して
矩形領域内のエッジ画像で行いかつ、処理を行っていく
上でこの矩形領域が狭まっていくことで精度と処理速度
をあげることができるという利点を有する。
【００２６】
【発明の効果】本発明は上記実施例より明らかなよう
に、車載用運転者監視装置に、運転者の顔部分を撮像す
る撮像部と、この撮像部が取り込んだ画像上に対して明
るい領域から暗い領域に変わる境目、また暗い領域から
明るい領域に変わる境目を検出するエッジ検出手段と、
画像領域を制限する矩形領域のアドレスを発生する矩形
領域アドレス発生部と、前記エッジ検出部によって検出
されたエッジ画像に対して前記矩形領域アドレス発生部
が指定した領域内のこのエッジ画像を記憶する記憶手段
と、運転者の目の様々な状態における画像データを格納
し、この画像データ内から順次選択した画像データに対
して、前記記憶手段に蓄積されているエッジ画像とを照
合し一致度を測定する照合部と、この照合部が測定した
一致度を判断し、所定基準を上まった場合には運転者へ
警告を発する指示を送出する制御部とを設け、運転者の
顔部分の画像に対してエッジ検出を行い、運転者の顔部
分の輪郭を明確にするともに、このエッジ画像を運転者
の目部分を含む矩形領域に抜き出し、この抜き出された
エッジ画像に対して予め作成された目の様々な状態の数
種類の画像データを一致させてこの一致度を測定し、こ
の一致度が予め設定した閾値を越えない場合には他の画
像データに変えるとともに、エッジ画像を抜き出す領域
を狭めることをおこなうことにより、運転者の目の状態
を正確に把握するものであり、運転者の目の状態の精度
と処理速度をあがるため、より確かな運転者に対する居
眠り及び脇見等における交通事故を防止することができ
るという効果を有する。
に、車載用運転者監視装置に、運転者の顔部分を撮像す
る撮像部と、この撮像部が取り込んだ画像上に対して明
るい領域から暗い領域に変わる境目、また暗い領域から
明るい領域に変わる境目を検出するエッジ検出手段と、
画像領域を制限する矩形領域のアドレスを発生する矩形
領域アドレス発生部と、前記エッジ検出部によって検出
されたエッジ画像に対して前記矩形領域アドレス発生部
が指定した領域内のこのエッジ画像を記憶する記憶手段
と、運転者の目の様々な状態における画像データを格納
し、この画像データ内から順次選択した画像データに対
して、前記記憶手段に蓄積されているエッジ画像とを照
合し一致度を測定する照合部と、この照合部が測定した
一致度を判断し、所定基準を上まった場合には運転者へ
警告を発する指示を送出する制御部とを設け、運転者の
顔部分の画像に対してエッジ検出を行い、運転者の顔部
分の輪郭を明確にするともに、このエッジ画像を運転者
の目部分を含む矩形領域に抜き出し、この抜き出された
エッジ画像に対して予め作成された目の様々な状態の数
種類の画像データを一致させてこの一致度を測定し、こ
の一致度が予め設定した閾値を越えない場合には他の画
像データに変えるとともに、エッジ画像を抜き出す領域
を狭めることをおこなうことにより、運転者の目の状態
を正確に把握するものであり、運転者の目の状態の精度
と処理速度をあがるため、より確かな運転者に対する居
眠り及び脇見等における交通事故を防止することができ
るという効果を有する。
【図１】本発明の実施例における車載用運転者状態監視
装置の構成ブロック図
装置の構成ブロック図
【図２】本発明の実施例における車載用運転者状態監視
装置の構成要素ブロック図
装置の構成要素ブロック図
【図３】従来の車載用運転者状態監視装置の構成ブロッ
ク図
ク図
１ 撮像部 ５ 撮像画像メモリ ６ エッジ検出回路 ８ 矩形領域アドレス発生部 １０ 制御・演算部 １５ エッジパターンバッファ １６ テンプレートデータ格納用メモリ １７ テンプレートアドレスセレクト部 １９ パターン照合部 ２０ パターン照合制御部
Claims (2)
- 【請求項１】 運転者の顔部分を撮像する撮像部と、こ
の撮像部が取り込んだ画像上に対して明るい領域から暗
い領域に変わる境目、また暗い領域から明るい領域に変
わる境目を検出するエッジ検出手段と、画像領域を制限
する矩形領域のアドレスを発生する矩形領域アドレス発
生部と、前記エッジ検出部によって検出されたエッジ画
像に対して前記矩形領域アドレス発生部が指定した領域
内のこのエッジ画像を記憶する記憶手段と、運転者の目
の各状態における画像データを格納し、この画像データ
内から順次選択した画像データに対して、前記記憶手段
に蓄積されているエッジ画像とを照合し一致度を測定す
る照合部と、この照合部が測定した一致度を判断し、所
定基準を上わまった場合には運転者へ警告を発する指示
を送出する制御部とを備えた車載用運転者状態監視装
置。 - 【請求項２】 照合部は、画像を記憶する画像記憶手段
と、運転者の目の様々な状態における画像データが格納
されている格納メモリと、この格納メモリ内から順次選
択するアドレスセレクト部と、このアドレスセレクト部
によって選択された画像データ及び前記画像記憶手段に
蓄積されている画像との一致度を測定するパターン照合
部と、このパターン照合部が測定した一致度を判断し、
この判断結果が予め設定した閾値を下回る値の場合は出
力し、この判断結果が閾値を上回る場合には前記格納メ
モリ内の数種類の画像データ内からひとつを選択する指
示を前記アドレスセレクト部へ送るパターン照合制御部
とを備えることを特徴とする請求項１記載の車載用運転
者状態監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5236183A JP3036319B2 (ja) | 1993-09-22 | 1993-09-22 | 運転者状態監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5236183A JP3036319B2 (ja) | 1993-09-22 | 1993-09-22 | 運転者状態監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0793700A true JPH0793700A (ja) | 1995-04-07 |
| JP3036319B2 JP3036319B2 (ja) | 2000-04-24 |
Family
ID=16997009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5236183A Expired - Fee Related JP3036319B2 (ja) | 1993-09-22 | 1993-09-22 | 運転者状態監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3036319B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19734307A1 (de) * | 1997-08-08 | 1999-02-11 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Überwachung und/oder Beeinflussung des Fahrzeugverhaltens eines fahrergesteuerten Kraftfahrzeugs |
| JP2007164617A (ja) * | 2005-12-15 | 2007-06-28 | Yamaguchi Univ | ガウス関数を用いたテンプレート作成方法および眼球運動を用いた視力入力コミュニケーション方法 |
| JP2007293587A (ja) * | 2006-04-25 | 2007-11-08 | Toyohashi Univ Of Technology | 覚醒状態の変化を早期発見する方法および検知装置 |
| JP2009528600A (ja) * | 2006-03-01 | 2009-08-06 | オプタラート・プロプライアタリー・リミテッド | 無能力モニタ |
| JP2016224597A (ja) * | 2015-05-28 | 2016-12-28 | 浜松ホトニクス株式会社 | 瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム |
| CN108437999A (zh) * | 2018-03-20 | 2018-08-24 | 中国计量大学 | 一种注意力辅助系统 |
| CN111476185A (zh) * | 2020-04-13 | 2020-07-31 | 罗翌源 | 一种驾驶者注意力监测方法、装置以及系统 |
| CN113570747A (zh) * | 2021-06-29 | 2021-10-29 | 东风汽车集团股份有限公司 | 一种基于大数据分析的行驶安全监测系统和方法 |
| CN114005250A (zh) * | 2021-10-12 | 2022-02-01 | 上海电机学院 | 一种疲劳驾驶监测结合自动驾驶的智能系统 |
-
1993
- 1993-09-22 JP JP5236183A patent/JP3036319B2/ja not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19734307A1 (de) * | 1997-08-08 | 1999-02-11 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Überwachung und/oder Beeinflussung des Fahrzeugverhaltens eines fahrergesteuerten Kraftfahrzeugs |
| DE19734307C2 (de) * | 1997-08-08 | 1999-06-10 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Überwachung und/oder Beeinflussung des Fahrzeugverhaltens eines fahrergesteuerten Kraftfahrzeugs |
| JP2007164617A (ja) * | 2005-12-15 | 2007-06-28 | Yamaguchi Univ | ガウス関数を用いたテンプレート作成方法および眼球運動を用いた視力入力コミュニケーション方法 |
| JP2009528600A (ja) * | 2006-03-01 | 2009-08-06 | オプタラート・プロプライアタリー・リミテッド | 無能力モニタ |
| JP2007293587A (ja) * | 2006-04-25 | 2007-11-08 | Toyohashi Univ Of Technology | 覚醒状態の変化を早期発見する方法および検知装置 |
| JP2016224597A (ja) * | 2015-05-28 | 2016-12-28 | 浜松ホトニクス株式会社 | 瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム |
| CN108437999A (zh) * | 2018-03-20 | 2018-08-24 | 中国计量大学 | 一种注意力辅助系统 |
| CN111476185A (zh) * | 2020-04-13 | 2020-07-31 | 罗翌源 | 一种驾驶者注意力监测方法、装置以及系统 |
| CN111476185B (zh) * | 2020-04-13 | 2023-10-10 | 罗跃宸 | 一种驾驶者注意力监测方法、装置以及系统 |
| CN113570747A (zh) * | 2021-06-29 | 2021-10-29 | 东风汽车集团股份有限公司 | 一种基于大数据分析的行驶安全监测系统和方法 |
| CN114005250A (zh) * | 2021-10-12 | 2022-02-01 | 上海电机学院 | 一种疲劳驾驶监测结合自动驾驶的智能系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3036319B2 (ja) | 2000-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019232972A1 (zh) | 驾驶管理方法和系统、车载智能系统、电子设备、介质 | |
| US7835834B2 (en) | Method of mitigating driver distraction | |
| EP1801730B1 (en) | Method of detecting vehicle-operator state | |
| US20160272217A1 (en) | Two-step sleepy driving prevention apparatus through recognizing operation, front face, eye, and mouth shape | |
| EP1732028B1 (en) | System and method for detecting an eye | |
| CN106846734B (zh) | 一种疲劳驾驶检测装置及方法 | |
| US9888875B2 (en) | Driver monitoring apparatus | |
| US9662977B2 (en) | Driver state monitoring system | |
| CN106530623A (zh) | 一种疲劳驾驶检测装置及检测方法 | |
| EP1868138A2 (en) | Method of tracking a human eye in a video image | |
| JPH07329657A (ja) | 車両用警報表示装置 | |
| Anjali et al. | Real-time nonintrusive monitoring and detection of eye blinking in view of accident prevention due to drowsiness | |
| JP2012084068A (ja) | 画像解析装置 | |
| JP2008065776A (ja) | 居眠り検知装置、居眠り検知方法 | |
| CN109190600A (zh) | 一种基于视觉传感器的驾驶员监控系统 | |
| KR20190083155A (ko) | 운전자 상태 검출 장치 및 그 방법 | |
| CN114872713A (zh) | 一种驾驶员异常驾驶状态监测装置和方法 | |
| US20220309808A1 (en) | Driver monitoring device, driver monitoring method, and driver monitoring-use computer program | |
| JPH0793700A (ja) | 運転者状態監視装置 | |
| CN105989328A (zh) | 检测人员使用手持装置的方法及装置 | |
| JP7046748B2 (ja) | 運転者状態判定装置および運転者状態判定方法 | |
| JPH1044824A (ja) | 車両運転者の開閉眼判定装置 | |
| JPH1186005A (ja) | 動作検出装置 | |
| KR20190044818A (ko) | 운전자 모니터링 장치 및 방법 | |
| JP2004287845A (ja) | 車両運転者の視線検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |