JP2982204B2 - 車両運転者監視装置 - Google Patents
車両運転者監視装置Info
- Publication number
- JP2982204B2 JP2982204B2 JP2054628A JP5462890A JP2982204B2 JP 2982204 B2 JP2982204 B2 JP 2982204B2 JP 2054628 A JP2054628 A JP 2054628A JP 5462890 A JP5462890 A JP 5462890A JP 2982204 B2 JP2982204 B2 JP 2982204B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- driver
- vehicle
- image information
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Regulating Braking Force (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
Description
【発明の詳細な説明】 ［産業上の利用分野］ 本発明は車両運転者監視装置、特にファジィ推論を用
いて車両運転者の顔の向きや目の状態を監視する装置に
関する。
いて車両運転者の顔の向きや目の状態を監視する装置に
関する。
［従来の技術］ 従来より、自動車等の車両の安全走行を確保するため
の種々の支援システムが提案されている。このような支
援システムは、主に車両運転者の居眠り状態や脇見状態
を検出して運転者に警報を与え、安全走行を可能とする
ものである。
の種々の支援システムが提案されている。このような支
援システムは、主に車両運転者の居眠り状態や脇見状態
を検出して運転者に警報を与え、安全走行を可能とする
ものである。
このような安全走行のための支援システムとしては、
例えば特開昭63−222940号公報に開示された自動車安全
走行支援方式がある。この支援方式においては、運転者
の目を監視する監視装置を設け、この監視装置からの情
報により運転者の目の方向が正しい前方を向いている
か、また目の開き程度が所定値以上かどうかが判断され
る。この判断は、目の方向が前方方向中心線から一定以
上離れているか否か、また目の視野が所定範囲内か否か
をCPUによって判断することにより行われる。そして、
脇見運転や居眠り運転が発生していると判断された時に
は、警報や自動ブレーキを緩かにかけるものである。
例えば特開昭63−222940号公報に開示された自動車安全
走行支援方式がある。この支援方式においては、運転者
の目を監視する監視装置を設け、この監視装置からの情
報により運転者の目の方向が正しい前方を向いている
か、また目の開き程度が所定値以上かどうかが判断され
る。この判断は、目の方向が前方方向中心線から一定以
上離れているか否か、また目の視野が所定範囲内か否か
をCPUによって判断することにより行われる。そして、
脇見運転や居眠り運転が発生していると判断された時に
は、警報や自動ブレーキを緩かにかけるものである。
あるいは、特に居眠り運転を検出するためのシステム
として、特開昭60−178596号公報に開示された居眠り運
転防止装置が知られている。この装置においては、車両
運転者の状態位置を検出する検出手段を設け、検出され
た状態位置の周期的な変動から居眠り運転を検知し運転
者に警報を発するものである。
として、特開昭60−178596号公報に開示された居眠り運
転防止装置が知られている。この装置においては、車両
運転者の状態位置を検出する検出手段を設け、検出され
た状態位置の周期的な変動から居眠り運転を検知し運転
者に警報を発するものである。
［発明が解決しようとする課題］ しかしながら、特開昭63−222940号公報に開示された
自動車安全走行支援方式においては、運転者の目の状態
のみを監視して脇見運転や居眠り運転を検出するもので
あり、特徴部分、すなわち眼球部分を正確に抽出しなけ
ればならず、計測が容易でないという問題があった。ま
た、運転者は車両運転中常に前方のみを注視していると
は限らず、顔の向きを適宜左右のいずれかの方向に向け
て運転することがしばしばあり、このような場合には正
確に視野を測定することが困難であるという問題もあっ
た。
自動車安全走行支援方式においては、運転者の目の状態
のみを監視して脇見運転や居眠り運転を検出するもので
あり、特徴部分、すなわち眼球部分を正確に抽出しなけ
ればならず、計測が容易でないという問題があった。ま
た、運転者は車両運転中常に前方のみを注視していると
は限らず、顔の向きを適宜左右のいずれかの方向に向け
て運転することがしばしばあり、このような場合には正
確に視野を測定することが困難であるという問題もあっ
た。
勿論、このような問題を解決すべく計測すべき特徴部
分に予め光学的マーカを貼付することも提案されている
が（テレビジョン学会技報、Vol.12、No.24、pp13−1
8）、実際の車両運転時にこのような光学的マーカを貼
付することは実用的でない。あるいは、顔の向きを検出
するために目頭と唇の端点を基準点とし、顔の構造の面
対称性に着目して顔の向きを検出する方法も考えられて
いるが（情報処理学会、5C−２、pp−162−163）、車両
運転者は不特定多数であり、全ての運転者に適用できな
い問題がある。
分に予め光学的マーカを貼付することも提案されている
が（テレビジョン学会技報、Vol.12、No.24、pp13−1
8）、実際の車両運転時にこのような光学的マーカを貼
付することは実用的でない。あるいは、顔の向きを検出
するために目頭と唇の端点を基準点とし、顔の構造の面
対称性に着目して顔の向きを検出する方法も考えられて
いるが（情報処理学会、5C−２、pp−162−163）、車両
運転者は不特定多数であり、全ての運転者に適用できな
い問題がある。
また、特開昭60−178596号公報に開示された居眠り運
転防止装置においては、居眠り運転発生時に生じる運転
者の特有のパターンは、すなわち位置の周期的な変動を
検出して居眠り運転と判断するものであり、必ずしも居
眠り運転発生時にこのような特有のパターンが出現する
とは限らず、正確に検出することができないという問題
があった。
転防止装置においては、居眠り運転発生時に生じる運転
者の特有のパターンは、すなわち位置の周期的な変動を
検出して居眠り運転と判断するものであり、必ずしも居
眠り運転発生時にこのような特有のパターンが出現する
とは限らず、正確に検出することができないという問題
があった。
本発明は上記従来技術の有する課題に鑑みなされたも
のであり、その目的は不特定多数の車両運転者の顔の向
きや目の状態を高速かつ確実に検出する車両運転者監視
装置を提供することにある。
のであり、その目的は不特定多数の車両運転者の顔の向
きや目の状態を高速かつ確実に検出する車両運転者監視
装置を提供することにある。
［課題を解決するための手段］ 上記目的を達成するために、本発明の車両運転者監視
装置は、車両運転者の顔部を撮影する撮像手段と、この
撮像手段からの顔部画像情報の内、顔部の所定部位の画
像情報の分布から少なくとも顔部の左右対称性に関する
特徴量を算出する演算手段と、この特徴量からファジィ
推論を用いて前記車両運転者の顔の方向を検出する検出
手段とを具備することを特徴としている。
装置は、車両運転者の顔部を撮影する撮像手段と、この
撮像手段からの顔部画像情報の内、顔部の所定部位の画
像情報の分布から少なくとも顔部の左右対称性に関する
特徴量を算出する演算手段と、この特徴量からファジィ
推論を用いて前記車両運転者の顔の方向を検出する検出
手段とを具備することを特徴としている。
［作用］ 本発明の車両運転者監視装置はこのような構成を有し
ており、撮像手段にて撮影された運転者の顔部画像情報
は演算手段に出力される。
ており、撮像手段にて撮影された運転者の顔部画像情報
は演算手段に出力される。
演算手段では顔部画像情報の内、所定部位すなわち運
転者の目の近傍の領域の画像情報の分布から特徴量を算
出する。
転者の目の近傍の領域の画像情報の分布から特徴量を算
出する。
一般に、運転者の顔の向きが正面を向いている場合と
そうでない場合とでは得られる画像情報の分布に差が生
じることとなり、従ってこの分布の差を定量化すること
により運転者の顔の向きに関するパラメータたる特徴量
を得ることができる。
そうでない場合とでは得られる画像情報の分布に差が生
じることとなり、従ってこの分布の差を定量化すること
により運転者の顔の向きに関するパラメータたる特徴量
を得ることができる。
この特徴量は不特定多数の車両運転者の場合には同一
の顔でもある程度のバラツキが生じてしまうが、この特
徴量を曖昧な量でも判断可能なファジィ推論を用いるこ
とにより少ない容量で確実に顔の向きを検出することが
できる。
の顔でもある程度のバラツキが生じてしまうが、この特
徴量を曖昧な量でも判断可能なファジィ推論を用いるこ
とにより少ない容量で確実に顔の向きを検出することが
できる。
［実施例］ 以下、図面を用いながら本発明に係る車両運転者監視
装置の好適な実施例を説明する。
装置の好適な実施例を説明する。
第１図は本実施例の構成ブロック図であり、第２図は
同実施例の動作フローチャートである。撮像手段として
のTVカメラ10は車両のフロントパネル近傍に設置され、
車両運転者の顔部を撮影する（ステップ100）。このTV
カメラ10は例えばCCD（Charge Coupled Device）固体撮
像素子等で構成される。なお、このTVカメラ10にて車両
運転者の顔部の明瞭な画像を得るために、車両の所定位
置、例えば運転席上部に照明装置を設けて運転者の顔に
照明を当てても良い。この時、照明光としては運転お妨
げとならないよう近赤外光（波長700〜1000μｍ）を用
いるのが良く、また通常の白色光を可視光カットフィル
タにてカットして照明光に用いることもできる。そし
て、TVカメラ10にはこの照明装置からの照射光のみが入
射すべくフィルタをかけても良く、また必ずしも運転者
の正面像を撮影する必要はなく、例えば斜め方向の像で
も良い。そして、TVカメラ10によって撮影された運転者
の顔部画像情報は二値化回路12に送られ、所定のしきい
値を用いて白あるいは黒レベルに二値化処理される（ス
テップ102）。なお、顔部画像情報はアナログデータと
して用いることも可能であるが、本実施例においては、
二値化して処理する場合を例にとり説明する。
同実施例の動作フローチャートである。撮像手段として
のTVカメラ10は車両のフロントパネル近傍に設置され、
車両運転者の顔部を撮影する（ステップ100）。このTV
カメラ10は例えばCCD（Charge Coupled Device）固体撮
像素子等で構成される。なお、このTVカメラ10にて車両
運転者の顔部の明瞭な画像を得るために、車両の所定位
置、例えば運転席上部に照明装置を設けて運転者の顔に
照明を当てても良い。この時、照明光としては運転お妨
げとならないよう近赤外光（波長700〜1000μｍ）を用
いるのが良く、また通常の白色光を可視光カットフィル
タにてカットして照明光に用いることもできる。そし
て、TVカメラ10にはこの照明装置からの照射光のみが入
射すべくフィルタをかけても良く、また必ずしも運転者
の正面像を撮影する必要はなく、例えば斜め方向の像で
も良い。そして、TVカメラ10によって撮影された運転者
の顔部画像情報は二値化回路12に送られ、所定のしきい
値を用いて白あるいは黒レベルに二値化処理される（ス
テップ102）。なお、顔部画像情報はアナログデータと
して用いることも可能であるが、本実施例においては、
二値化して処理する場合を例にとり説明する。
白あるいは黒レベルに二値化処理された顔部画像情報
は更に切り出し回路14に送られ、処理すべき所定の領
域、例えば目の近傍の領域のみにウィンドウを設定し顔
部画像情報からこの領域を切り出す（ステップ104）。
第３図にウィンドウ設定の一例を示す。第３図（Ａ）は
TVカメラ10にて撮影された車両運転者の顔部であり、こ
の顔部画像から目の近傍の所定範囲にウィンドウ設定
し、第３図（Ｂ）に示すようにこの部分の画像情報を切
り出す。なお、前述したようにCCD固体撮像素子等を用
いている場合、顔部画像情報は第３図（Ｂ）に示される
ように水平及び垂直方向に二次元配列した複数の画素情
報から構成されており、各画素情報は白あるいは黒レベ
ルに二値化されて出力される。今、このように二次元配
列した複数の画素に番号を付し、第ｉ行第ｊ列に位置す
る画素をaijと記し、その画素情報をIijと記すこととす
る。そして、このように切り出された所定部位の顔部画
像情報Iijは演算装置16に入力される。
は更に切り出し回路14に送られ、処理すべき所定の領
域、例えば目の近傍の領域のみにウィンドウを設定し顔
部画像情報からこの領域を切り出す（ステップ104）。
第３図にウィンドウ設定の一例を示す。第３図（Ａ）は
TVカメラ10にて撮影された車両運転者の顔部であり、こ
の顔部画像から目の近傍の所定範囲にウィンドウ設定
し、第３図（Ｂ）に示すようにこの部分の画像情報を切
り出す。なお、前述したようにCCD固体撮像素子等を用
いている場合、顔部画像情報は第３図（Ｂ）に示される
ように水平及び垂直方向に二次元配列した複数の画素情
報から構成されており、各画素情報は白あるいは黒レベ
ルに二値化されて出力される。今、このように二次元配
列した複数の画素に番号を付し、第ｉ行第ｊ列に位置す
る画素をaijと記し、その画素情報をIijと記すこととす
る。そして、このように切り出された所定部位の顔部画
像情報Iijは演算装置16に入力される。
この演算装置16では入力された顔部画像情報Iijから
以下の処理を行い顔の向き及び目の状態に関する特徴量
を算出する（ステップ106）。すなわち、まず入力され
た二次元配列の画素情報Iijの垂直成分を水平位置に対
して積分し、水平方向の画像情報の明るさの分布を算出
する。第４図（Ａ）にこのようにして算出された顔部画
像情報の分布が示されており、この第４図（Ａ）におい
て横軸は水平位置を、そして縦軸はこの水平位置におけ
る積分値、すなわち画像情報の明るさの程度を示してお
り、上に行くほど画像情報が白レベルに近くなることを
示している。
以下の処理を行い顔の向き及び目の状態に関する特徴量
を算出する（ステップ106）。すなわち、まず入力され
た二次元配列の画素情報Iijの垂直成分を水平位置に対
して積分し、水平方向の画像情報の明るさの分布を算出
する。第４図（Ａ）にこのようにして算出された顔部画
像情報の分布が示されており、この第４図（Ａ）におい
て横軸は水平位置を、そして縦軸はこの水平位置におけ
る積分値、すなわち画像情報の明るさの程度を示してお
り、上に行くほど画像情報が白レベルに近くなることを
示している。
一方、第４図（Ｂ）及び（Ｃ）には、顔部画像情報の
うち、特に運転者の右目及び左目の部位に相当する顔部
画像情報の分布が示されており、これらの分布プロファ
イルは第４図（Ａ）に示されるように二次元配列の画像
情報Iijの垂直成分を水平位置に対して積分し、この積
分値を水平位置に対してプロットすることにより得るこ
とができる。そして、演算装置16はこれら算出された顔
部分の分布プロファイル、及び両目の分布プロファイル
から顔の向き及び目の状態に関する特徴量を算出する。
本実施例においては、この特徴量として以下の８個の特
徴量を採用することとした。
うち、特に運転者の右目及び左目の部位に相当する顔部
画像情報の分布が示されており、これらの分布プロファ
イルは第４図（Ａ）に示されるように二次元配列の画像
情報Iijの垂直成分を水平位置に対して積分し、この積
分値を水平位置に対してプロットすることにより得るこ
とができる。そして、演算装置16はこれら算出された顔
部分の分布プロファイル、及び両目の分布プロファイル
から顔の向き及び目の状態に関する特徴量を算出する。
本実施例においては、この特徴量として以下の８個の特
徴量を採用することとした。
A :顔の重心と予め設定された基準位置との差 B :顔の左右対称性 C1:左目の重心と予め設定された基準位置との差 C2:右目の重心と予め設定された基準位置との差 D1:左目の左右対称性 D2:右目の左右対称性 E1:左目の暗い部分、すなわち眼球に相当する画素数 E2:右目の暗い部分、すなわち眼球部分に相当する画
素数 そして、これらの特徴量は、前述のように算出された
分布プロファイルから次のようにして算出することがで
きる。例えば、特徴量Ａを算出する際には、まず顔部分
の分布プロファイルからその重心位置xwを算出する。そ
して、この重心位置XWと基準位置X0との差 |X0−XW| を求めれば良い。また、特徴量Ｂに関しては、二次元配
列した画素aijの内、算出された重心XWに関し対称の位
置にある画素の画素情報の排他的論理和をとることによ
り求めることができる。例えば、重心位置に相当する画
素がakjである場合、この重心位置に関し対称位置にあ
る画素は ak+l j、ak-l j となり、これら２つの画素の画素情報 Ik+l j、Ik+l j が共に等しい場合にはその排他的論理和は０となり、一
方これら２つの画素情報が異なる場合にはその排他的論
理和は１となる。従って、重心位置に関し対称位置にあ
る全ての画素の排他的論理和XORをとり、その否定の和 を算出することにより、この値は重心位置XWに関し画像
情報が左右同一、すなわち対称であればあるほど大きな
値となり、特徴量Ｂとして用いることができる。
素数 そして、これらの特徴量は、前述のように算出された
分布プロファイルから次のようにして算出することがで
きる。例えば、特徴量Ａを算出する際には、まず顔部分
の分布プロファイルからその重心位置xwを算出する。そ
して、この重心位置XWと基準位置X0との差 |X0−XW| を求めれば良い。また、特徴量Ｂに関しては、二次元配
列した画素aijの内、算出された重心XWに関し対称の位
置にある画素の画素情報の排他的論理和をとることによ
り求めることができる。例えば、重心位置に相当する画
素がakjである場合、この重心位置に関し対称位置にあ
る画素は ak+l j、ak-l j となり、これら２つの画素の画素情報 Ik+l j、Ik+l j が共に等しい場合にはその排他的論理和は０となり、一
方これら２つの画素情報が異なる場合にはその排他的論
理和は１となる。従って、重心位置に関し対称位置にあ
る全ての画素の排他的論理和XORをとり、その否定の和 を算出することにより、この値は重心位置XWに関し画像
情報が左右同一、すなわち対称であればあるほど大きな
値となり、特徴量Ｂとして用いることができる。
また、特徴量C1、C2に関しても、特徴量Ａと同様に第
４図（Ｂ）（Ｃ）に示された分布プロファイルからその
重心位置YW、ZWを算出し、予め定められた基準位置Y0、
ZWからの差 |Y0−YW|、|Z0−ZW| を算出することにより求めることができる。なお、この
ように左右両目の分布及び特徴量を算出する際に行われ
るウィンドウ設定は、顔の重心から左右の所定距離にあ
る位置を中心とした所定範囲内の画素情報を切り出すこ
とにより行うことが可能である。
４図（Ｂ）（Ｃ）に示された分布プロファイルからその
重心位置YW、ZWを算出し、予め定められた基準位置Y0、
ZWからの差 |Y0−YW|、|Z0−ZW| を算出することにより求めることができる。なお、この
ように左右両目の分布及び特徴量を算出する際に行われ
るウィンドウ設定は、顔の重心から左右の所定距離にあ
る位置を中心とした所定範囲内の画素情報を切り出すこ
とにより行うことが可能である。
そして、特徴量D1、D2に関しても、特徴量Ｂと同様に
算出された重心YW、ZWに関し対称の位置にある画素の画
素情報の排他的論理和をとることにより求めることがで
きる。
算出された重心YW、ZWに関し対称の位置にある画素の画
素情報の排他的論理和をとることにより求めることがで
きる。
一方、特徴量E1、E2に関しては、左右の目の画素のう
ち黒レベルの画素情報を有する画素数をカウントするこ
とにより算出することができる。すなわち、運転者の左
右の目の画像情報のうち、黒レベルに相当する画素は運
転者の眼球部分に相当し、この眼球部分の画素数が少な
いということは、運転者の目の開度が小さくなっている
ことを意味している。
ち黒レベルの画素情報を有する画素数をカウントするこ
とにより算出することができる。すなわち、運転者の左
右の目の画像情報のうち、黒レベルに相当する画素は運
転者の眼球部分に相当し、この眼球部分の画素数が少な
いということは、運転者の目の開度が小さくなっている
ことを意味している。
このように、演算装置16は運転者の顔の向き及び目の
状態に関する特徴量Ａ〜E2を算出し、これらの特徴量を
ファジィ制御部18に出力する。
状態に関する特徴量Ａ〜E2を算出し、これらの特徴量を
ファジィ制御部18に出力する。
このファジィ制御部18は、入力された特徴量Ａ〜E2を
基に、ファジィ推論を行って運転者の顔の向き及び目の
状態を検出する（ステップ108）。周知の如く、ファジ
ィ推論は計測された物理量を人間の感覚に合致する度合
を示すメンバーシップ関数にて評価し、予め決められた
ルールにどの程度合致するかをこのメンバーシップ関数
を用いて算出するものであり、メンバーシップ関数が必
ずしも定量的でない曖昧な人間の感覚を表現しているた
め、計測された物理量が曖昧な量であっても適当な精度
でほぼ同一の結果を得る利点を有しており、本実施例に
おいてはこのファジィ推論を用いて運転者の顔の向き及
び目の状態を検出するのである。
基に、ファジィ推論を行って運転者の顔の向き及び目の
状態を検出する（ステップ108）。周知の如く、ファジ
ィ推論は計測された物理量を人間の感覚に合致する度合
を示すメンバーシップ関数にて評価し、予め決められた
ルールにどの程度合致するかをこのメンバーシップ関数
を用いて算出するものであり、メンバーシップ関数が必
ずしも定量的でない曖昧な人間の感覚を表現しているた
め、計測された物理量が曖昧な量であっても適当な精度
でほぼ同一の結果を得る利点を有しており、本実施例に
おいてはこのファジィ推論を用いて運転者の顔の向き及
び目の状態を検出するのである。
以下、第５図乃至第６図を用いてこのファジィ制御部
18にて行われるファジィ推論を詳細に説明する。第５図
は前述した各特徴量Ａ〜E2のメンバーシップ関数を示し
たものであり、特徴量Ａは第５図（ａ）、特徴量Ｂは同
図（ｂ）、特徴量C1、C2は同図（ｃ）、特徴量D1、D2は
同図（ｄ）、そして特徴量E1、E2は同図（ｅ）にそれぞ
れ示されている。例えば、同図（ａ）に示される特徴量
Ａのメンバーシップ関数においては、特徴量Ａが小さい
というメンバーシップ関数は度合１から直線的に度合０
に減少する特性を示す。また、同図（ｂ）に示される特
徴量Ｂのメンバーシップ関数は、特徴量Ｂが小さい、あ
る程度以上大きく中位である及び大きいの三種のメンバ
ーシップ関数からなる。そして、演算装置16にて算出さ
れた各特徴量Ａ〜E2の値はこれらのメンバーシップ関数
を用いて０〜１の度合のいずれかに評価される。
18にて行われるファジィ推論を詳細に説明する。第５図
は前述した各特徴量Ａ〜E2のメンバーシップ関数を示し
たものであり、特徴量Ａは第５図（ａ）、特徴量Ｂは同
図（ｂ）、特徴量C1、C2は同図（ｃ）、特徴量D1、D2は
同図（ｄ）、そして特徴量E1、E2は同図（ｅ）にそれぞ
れ示されている。例えば、同図（ａ）に示される特徴量
Ａのメンバーシップ関数においては、特徴量Ａが小さい
というメンバーシップ関数は度合１から直線的に度合０
に減少する特性を示す。また、同図（ｂ）に示される特
徴量Ｂのメンバーシップ関数は、特徴量Ｂが小さい、あ
る程度以上大きく中位である及び大きいの三種のメンバ
ーシップ関数からなる。そして、演算装置16にて算出さ
れた各特徴量Ａ〜E2の値はこれらのメンバーシップ関数
を用いて０〜１の度合のいずれかに評価される。
次に、このようにして０〜１の度合に評価された各特
徴量Ａ〜E2が、予め定められたルールにどの程度合致す
るかが算出される。ルールとしては種々考えられるが、
本実施例においては、例えば ルール1: もし｛（Ａが大きく）かつ（Ｂが大きく）かつ（（（C1
が小さく）かつ（D1が大きく）かつ（E1が大きく）また
（（C2が小さく）かつ（D2が大きく）かつ（E2が大き
い）））｝ ならば｛正面である｝ ルール2: もし｛（Ｂが小さい）｝ ならば｛正面ではない｝ ルール3: もし｛（Ｂがある程度以上大きく中位）かつ（D1が小さ
く）かつ（D2が小さい）｝ ならば｛あまり正面ではない｝ のようなルールを設定することができる。
徴量Ａ〜E2が、予め定められたルールにどの程度合致す
るかが算出される。ルールとしては種々考えられるが、
本実施例においては、例えば ルール1: もし｛（Ａが大きく）かつ（Ｂが大きく）かつ（（（C1
が小さく）かつ（D1が大きく）かつ（E1が大きく）また
（（C2が小さく）かつ（D2が大きく）かつ（E2が大き
い）））｝ ならば｛正面である｝ ルール2: もし｛（Ｂが小さい）｝ ならば｛正面ではない｝ ルール3: もし｛（Ｂがある程度以上大きく中位）かつ（D1が小さ
く）かつ（D2が小さい）｝ ならば｛あまり正面ではない｝ のようなルールを設定することができる。
上記のルール１〜３において、前件部の「かつ」は最
小値や算術積で計算し、「または」は最大値をとること
により計算を行うことを意味している。そして、各ルー
ルの前件部の計算結果に基づき、後件部の満足度を評価
する。第５図（ｆ）にはこの後件部のメンバーシップ関
数が示されており、正面でないは小、あまり正面でない
は中、そして正面であるは大なるメンバーシップ関数で
表現されている。
小値や算術積で計算し、「または」は最大値をとること
により計算を行うことを意味している。そして、各ルー
ルの前件部の計算結果に基づき、後件部の満足度を評価
する。第５図（ｆ）にはこの後件部のメンバーシップ関
数が示されており、正面でないは小、あまり正面でない
は中、そして正面であるは大なるメンバーシップ関数で
表現されている。
演算装置16にて算出された特徴量Ａ〜E2による各ルー
ルR1〜R3の評価結果の１例を第６図に示す。第６図
（ａ）において、各ルールR1〜R3の後件部の評価結果を
重み付け係数として後件部のメンバーシップ関数を重み
付けした結果を示したものであり、R1〜R3はそれぞれ各
ルールR1〜R3の後件部すなわち正面、あまり正面でな
い、正面でないという条件を示すメンバーシップ関数を
表している。そして、この計算結果に基づき、運転者の
顔の向きを総合的に判断するには以下のような処理を行
えば良い。すなわち、第６図（ａ）において得られた評
価結果から、各ルールのメンバーシップ関数の最大値MA
X（R1,R2,R3）をとり（第６図ｂ）、この最大値の重心
（図中Ｐ）を計算することにより運転者の顔の向きすな
わち正面度を定量的に評価することができる（ステップ
110）。
ルR1〜R3の評価結果の１例を第６図に示す。第６図
（ａ）において、各ルールR1〜R3の後件部の評価結果を
重み付け係数として後件部のメンバーシップ関数を重み
付けした結果を示したものであり、R1〜R3はそれぞれ各
ルールR1〜R3の後件部すなわち正面、あまり正面でな
い、正面でないという条件を示すメンバーシップ関数を
表している。そして、この計算結果に基づき、運転者の
顔の向きを総合的に判断するには以下のような処理を行
えば良い。すなわち、第６図（ａ）において得られた評
価結果から、各ルールのメンバーシップ関数の最大値MA
X（R1,R2,R3）をとり（第６図ｂ）、この最大値の重心
（図中Ｐ）を計算することにより運転者の顔の向きすな
わち正面度を定量的に評価することができる（ステップ
110）。
そして、このようにして定量的に検出された運転者の
顔の向きや目の状態が車両の電子制御を行うECU（Elect
ronic Control Unit）20に入力される。
顔の向きや目の状態が車両の電子制御を行うECU（Elect
ronic Control Unit）20に入力される。
このECU20では入力した情報及びレーザーレーダー等
の障害物センサ22やカメラ等の車両が走行する道路環境
を認識する環境認識センサ24からの情報に基づき車両安
全に走行させるべく警報装置やアクセルアクチュエータ
あるいはブレーキアクチュエータを制御する（ステップ
112）。例えば、 （イ）運転者の顔及び目が横を向いている場合には、前
方車両との車間距離を大きくするようにブレーキ操作を
行う。
の障害物センサ22やカメラ等の車両が走行する道路環境
を認識する環境認識センサ24からの情報に基づき車両安
全に走行させるべく警報装置やアクセルアクチュエータ
あるいはブレーキアクチュエータを制御する（ステップ
112）。例えば、 （イ）運転者の顔及び目が横を向いている場合には、前
方車両との車間距離を大きくするようにブレーキ操作を
行う。
（ロ）運転者の目が長時間閉じており居眠り運転と検出
された場合には、警報手段を介して運転者に警報を与え
覚醒させる。
された場合には、警報手段を介して運転者に警報を与え
覚醒させる。
（ハ）運転者の顔及び目が横を向いて場合であって、か
つ車両がカーブを走行中の場合には警報手段を介して警
報を与えると共にブレーキ操作を行う。
つ車両がカーブを走行中の場合には警報手段を介して警
報を与えると共にブレーキ操作を行う。
（ニ）運転者の目がルールミラーまたは右サイドミラー
方向に向いておらず、かつ車両が右折または右隣車線へ
の車線変更を行う場合には、警報手段を介して警報を与
える。
方向に向いておらず、かつ車両が右折または右隣車線へ
の車線変更を行う場合には、警報手段を介して警報を与
える。
などの制御を行い、車両を安全に走行させることができ
る。
る。
なお、本実施例におけるファジィ推論において、前件
部の「かつ」、「または」の計算を最小値や算術積、最
大値で計算したが、ファジィ推論で提案されている他の
周知の方法を用いて計算を行っても良い。
部の「かつ」、「または」の計算を最小値や算術積、最
大値で計算したが、ファジィ推論で提案されている他の
周知の方法を用いて計算を行っても良い。
また、同様に各ルールの評価結果から総合的な判断を
行う際においても、本実施例のように各ルールのメンバ
ーシップ関数の最大値を採用してその重心を求める方法
ではなく、ファジィ推論の他の周知の方法を用いても良
い。
行う際においても、本実施例のように各ルールのメンバ
ーシップ関数の最大値を採用してその重心を求める方法
ではなく、ファジィ推論の他の周知の方法を用いても良
い。
［発明の効果］ 以上説明したように、本発明に係る車両運転者監視装
置によれば、不特定多数の車両運転者の顔の向きや目の
状態を高速かつ確実に検出し、安全走行を可能とする効
果がある。
置によれば、不特定多数の車両運転者の顔の向きや目の
状態を高速かつ確実に検出し、安全走行を可能とする効
果がある。
第１図は本発明に係る車両運転者監視装置の一実施例の
構成ブロック図、 第２図は同実施例の動作フローチャート図、 第３図は同実施例のウィンドウ設定説明図、 第４図は同実施例における分布プロファイルを示す説明
図、 第５図乃至第６図は同実施例におけるメンバーシップ関
数の説明図である。 10……TVカメラ 12……二値化回路 14……切出し回路 16……演算装置 18……ファジィ制御部 20……ECU
構成ブロック図、 第２図は同実施例の動作フローチャート図、 第３図は同実施例のウィンドウ設定説明図、 第４図は同実施例における分布プロファイルを示す説明
図、 第５図乃至第６図は同実施例におけるメンバーシップ関
数の説明図である。 10……TVカメラ 12……二値化回路 14……切出し回路 16……演算装置 18……ファジィ制御部 20……ECU
Claims (1)
- 【請求項１】車両運転者の顔部を撮影する撮像手段と、 この撮像手段からの顔部画像情報の内、顔部の所定部位
の画像情報の分布から少なくとも顔部の左右対称性に関
する特徴量を算出する演算手段と、 この特徴量からファジィ推論を用いて前記車両運転者の
顔の方向を検出する検出手段と、 を具備することを特徴とする車両運転者監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2054628A JP2982204B2 (ja) | 1990-03-05 | 1990-03-05 | 車両運転者監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2054628A JP2982204B2 (ja) | 1990-03-05 | 1990-03-05 | 車両運転者監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03255793A JPH03255793A (ja) | 1991-11-14 |
| JP2982204B2 true JP2982204B2 (ja) | 1999-11-22 |
Family
ID=12976023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2054628A Expired - Fee Related JP2982204B2 (ja) | 1990-03-05 | 1990-03-05 | 車両運転者監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2982204B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3249195B2 (ja) * | 1992-08-07 | 2002-01-21 | 株式会社リコー | 電子装置 |
| JP3205081B2 (ja) * | 1992-08-11 | 2001-09-04 | 株式会社リコー | 電子装置 |
| US6707484B1 (en) | 1994-07-28 | 2004-03-16 | Semiconductor Energy Laboratory Co., Ltd. | Information processing system |
| JP3167865B2 (ja) | 1994-07-28 | 2001-05-21 | 株式会社半導体エネルギー研究所 | 情報処理装置 |
| JP4997306B2 (ja) * | 2010-03-12 | 2012-08-08 | オリンパス株式会社 | 被写体人物の顔の向き判定方法 |
-
1990
- 1990-03-05 JP JP2054628A patent/JP2982204B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03255793A (ja) | 1991-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2546415B2 (ja) | 車両運転者監視装置 | |
| JP4987573B2 (ja) | 車外監視装置 | |
| US9424462B2 (en) | Object detection device and object detection method | |
| JP5506745B2 (ja) | イメージ獲得ユニット、方法及び連関付けられた制御ユニット｛ｉｍａｇｅａｃｑｕｉｓｉｔｉｏｎｕｎｉｔ、ａｃｑｕｉｓｉｔｉｏｎｍｅｔｈｏｄａｎｄａｓｓｏｃｉａｔｅｄｃｏｎｔｒｏｌｕｎｉｔ｝ | |
| JP2018195301A (ja) | 制御装置及び制御方法 | |
| GB2489087A (en) | Driver assistance system for recognizing a turn-off maneuver of a preceding vehicle | |
| JP3747599B2 (ja) | 車両用障害物検出装置 | |
| JPH03254291A (ja) | 車両運転者監視装置 | |
| JP2009219555A (ja) | 眠気検知装置、運転支援装置、眠気検知方法 | |
| Chang et al. | Driver fatigue surveillance via eye detection | |
| CN113276821A (zh) | 驾驶员状态推断装置 | |
| JP2982204B2 (ja) | 車両運転者監視装置 | |
| JP7073949B2 (ja) | 避難誘導装置、避難誘導システム、および制御プログラム | |
| US20050231725A1 (en) | Method and device for visual range measurements with image sensor systems | |
| JPH1114346A (ja) | 車両用障害物検出装置 | |
| DE102019109491A1 (de) | Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm | |
| JP2017126151A (ja) | 視線検出装置および視線検出方法 | |
| JPH11142168A (ja) | 環境認識装置 | |
| CN112149560A (zh) | 一种车道偏离检测方法 | |
| CN113879321B (zh) | 驾驶员监视装置及驾驶员监视方法 | |
| WO2018212090A1 (ja) | 制御装置及び制御方法 | |
| JP3739113B2 (ja) | 覚醒度低下検出装置 | |
| WO2021024905A1 (ja) | 画像処理装置、モニタリング装置、制御システム、画像処理方法、コンピュータプログラム、及び記憶媒体 | |
| CN114065844A (zh) | 一种基于视频检测移动中火灾的检测系统 | |
| JP4692447B2 (ja) | 居眠り検知装置、居眠り検知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070924 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |