JPH0939601A

JPH0939601A - 居眠り運転警報装置

Info

Publication number: JPH0939601A
Application number: JP7199374A
Authority: JP
Inventors: Keiichi Yamamoto; 恵一山本
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 1995-08-04
Filing date: 1995-08-04
Publication date: 1997-02-10

Abstract

(57)【要約】【課題】居眠り運転警報装置において、気象条件など
によるシステムの運転停止を運転者に的確に知らせるこ
とができない。【解決手段】画像処理部Ａ２がカメラ２からの路面画
像を検査画像として取り込んで白線のデータを求め、フ
ァジィ推論部Ｄがこの走行帯区分線のデータから車両の
蛇行率を算出して運転者の覚醒度を推定し、報知部Ｆは
この覚醒度に応じて警報器７を駆動して運転者の覚醒度
の向上を促す一方、気象条件などによってカメラ２が取
り込んだ路面画像から走行帯区分線のデータが認識でき
ないときは、認識不良判定部Ｇが覚醒度の推定を停止
し、表示器６が車両の運転状態検出停止を運転者に知ら
せる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、走行中の車両の運
転状態を検出してこの車両走行状態から運転者の覚醒度
を検出し、この覚醒度が低下しているときには警報を発
して注意を促す居眠り運転警報装置に関する。

【０００２】

【従来の技術】近年、道路網の発達や余暇の増加などに
よって自動車を運転する機会が増えてきており、この自
動車の運転走行に際して運転者は常に安定した心身の健
康が望まれるが、一般に、自己の体調不良を自覚しなが
らもこれを軽視してハンドルを握る傾向がある。自動車
の運転に際し、長時間休みなく連続して運転すると、運
転者に疲労が蓄積して集中力が低下することで、走行が
不安定になる。

【０００３】一方、自動車には、ステアリングハンドル
やアクセルペダル、ブレーキペダル、シフトレバー、ウ
インカーレバー、ワイパースイッチ、照明スイッチな
ど、運転者が操作し得る各種操作機器がある。そして、
これらの操作機器の操作が少なくなると、運転が単調と
なり、運転者が居眠りを始める可能性が高まる。

【０００４】そこで、従来、例えば、特開昭５８−１０
５８４４号公報に示されるように、運転中の時間経過を
カウントし、各種操作手段の操作がないまま一定時間が
経過したとき、そこで居眠りを防ぐための警報を発する
ものがある。また、特開昭５８−１７５０９４号公報に
示されるように、各種操作機器の操作の回数が所定値に
満たないまま所定時間が経過した場合に、数値データ
“１”を加算し、その加算値がある値に達したところで
居眠りを防ぐための警報を発するものがある。

【０００５】更に、車両の蛇行量と覚醒度（ここでは覚
醒を必要とする眠気度を指すものとする）とに関連があ
ることが知られている。この車両の蛇行量に関しては、
例えば、特開平３−２７３４９８号公報に関連技術が開
示されている。この公報にあっては、ビデオカメラによ
って前方路面を撮像し、前方道路の車線表示ラインの交
点に基づき走行レーンにおける基準点を算出し、基準点
と現在の車両の進行方向における車線表示ラインの交点
とのずれ（蛇行方向）に応じて旋回指示が正しく出され
ているか否か判断し、旋回指示が正しく無い場合に、警
報を発するようにしたものである。

【０００６】

【発明が解決しようとする課題】しかしながら、上述の
先行技術のうち、各種操作機器の操作の頻度より運転者
の単調さを検出する２つのものでは、運転者の単調さが
一定時間毎にサンプリング的に判断されるため、運転者
の継続的な状態変化を捕らえることが難しい。また、基
準点と現在の車線表示ラインの交点とのずれに応じて旋
回指示が正しく出されていない場合に警報を発するもの
では、蛇行量の変化が常に居眠り運転に正しく対応する
とは限らず居眠り判定に限界があり、精度の向上が望ま
れているのが現状である。

【０００７】更に、ビデオカメラによって前方道路の車
線表示ラインを撮影する際、雪や霧、豪雨、あるいは、
夜間の照明の反射などによって車線表示ラインを確実に
撮影することが困難となる場合がある。この場合、居眠
り警報装置が車線表示ラインを撮影できずにシステムが
停止しているにもかかわらず、運転者はこのことを知ら
ずに車両を運転していることとなり、運転者にこのシス
テムの停止を知らせる必要がある。

【０００８】本発明はこのような問題を解決するもので
あり、運転開始から現在までの運転者の継続的な状態変
化を検出してこの運転者の状態変化から運転者の居眠り
を的確に検出して警報を発すると共に、気象条件によっ
てシステムの運転あるいは停止を的確に知らせることの
できる居眠り運転警報装置を提供することを目的とす
る。

【０００９】

【課題を解決するための手段】上述の目的を達成するた
めの本発明の居眠り運転警報装置は、走行中の車両の運
転状態を検出して運転者の覚醒度が低下しているときに
は警報を発する居眠り運転警報装置において、車両に搭
載されたカメラからの前方あるいは後方路面画像を選択
的に検査画像として取り込んで該検査画像に基づいて走
行帯区分線のデータを求める画像処理手段と、該画像処
理手段によって求められた走行帯区分線のデータから車
両のふらつき度合を算出して運転者の覚醒度を推定する
覚醒度推定手段と、運転者の覚醒度の向上を促す警報手
段と、前記覚醒度推定手段によって推定された運転者の
覚醒度に応じて前記警報手段を駆動する報知手段と、前
記画像処理手段によって求められた走行帯区分線のデー
タが認識不良のときには前記車両のふらつき度合の算出
を停止する認識不良判定手段と、該認識不良判定手段に
よって車両のふらつき度合の算出が停止されたときには
車両の運転状態検出停止を運転者に知らせる表示手段
と、を具えたことを特徴とするものである。

【００１０】従って、画像処理手段はカメラから車両の
前方あるいは後方路面画像を検査画像として取り込んで
この検査画像に基づいて走行帯区分線のデータを求め、
覚醒度推定手段はこの走行帯区分線のデータから車両の
ふらつき度合を算出して運転者の覚醒度を推定し、報知
手段は推定された運転者の覚醒度に応じて警報手段を駆
動して運転者の覚醒度の向上を促す。このとき、雪や
霧、豪雨、あるいは、夜間の照明の反射などによってカ
メラが取り込んだ路面画像から走行帯区分線のデータが
認識できないときは、認識不良判定手段が車両のふらつ
き度合の算出を停止し、表示手段が車両の運転状態検出
停止を運転者に知らせる。

【００１１】また、本発明の居眠り運転警報装置は、前
記認識不良判定手段は、前記画像処理手段によって求め
られた走行帯区分線の候補点の数が所定値より少ないと
きに不良信号を出力し、該不良信号の数が単位時間当た
りのしきい値より多いときに走行帯区分線のデータの認
識不良を判定することを特徴とするものである。

【００１２】従って、画像処理手段によって求められた
走行帯区分線の候補点の数が所定値より少ないときには
走行帯区分線の位置を正確に認識できないので不良信号
を出力し、この不良信号の数が単位時間当たりのしきい
値より多いときには走行帯区分線のデータから車両のふ
らつき度合を正確に算出できないので、走行帯区分線の
データが認識不良と判定される。

【００１３】また、本発明の居眠り運転警報装置は、前
記画像処理手段によって求められた走行帯区分線のデー
タが認識不良で、前記認識不良判定手段が車両のふらつ
き度合の算出を停止したときには、前記カメラの前方に
装着されたワイパを作動させることを特徴とするもので
ある。

【００１４】従って、認識不良判定手段が車両のふらつ
き度合の算出を停止した場合、雪や霧、豪雨などによっ
てカメラのレンズやフロントガラスに水滴等が付着する
ことで、カメラが路面画像を取り込んで走行帯区分線の
データを認識することができない虞があり、この場合、
カメラの前方に装着されたワイパを作動させることによ
り、この水滴等を除去し、カメラによる路面画像を取り
込みを可能とする。

【００１５】

【発明の実施の形態】以下、図面に基づいて本発明の実
施例を詳細に説明する。

【００１６】図１に本発明の一実施例に係る居眠り運転
警報装置の概略構成、図２に走行位置検出部が処理する
検査画像の概略、図３に走行位置検出部が処理する白線
候補点の説明、図４に走行位置検出部が処理する白線候
補点の微分フィルタ処理後の特性線図、図５に車両に取
付けられたカメラに対する道路勾配の影響を表す説明、
図６に操舵角に及ぼす車速の影響を表すグラフ、図７に
蛇行率に及ぼす操舵角の影響を表すグラフ、図８に蛇行
率に対する補正係数を表すグラフ、図９に運転者の眠気
時と覚醒時との各蛇行量を表す特性線図、図１０に車両
の車線変更の説明、図１１に車両の車線変更時における
白線中心位置の経時変化を表す特性線図、図１２乃至図
１５に本実施例の居眠り運転警報装置による制御処理の
フローチャート、図１６に画像処理装置による制御処理
のフローチャート、図１７に本実施例の居眠り運転警報
装置による覚醒器の動作を実行するための制御処理のフ
ローチャート、図１８に居眠り運転警報装置付きの車両
における一例としての単調度変化を表す特性線図を示
す。

【００１７】本実施例の居眠り運転警報装置は、図１に
示すように、車両の前部に取付けられて前方の路面１
（図２参照）を撮影するカメラ２と、このカメラ２に接
続される画像処理装置３と、車両走行状態を検出して居
眠り運転を警報するためのコントロールユニット４と、
警報及び表示手段としての表示器６及び覚醒部７とを具
備している。なお、居眠り運転警報用コントロールユニ
ット４は画像処理装置３に通信回線で接続され、両者間
での信号の授受を行なえるように構成されている。

【００１８】カメラ２は、図２に示すように、車両の走
行方向前方の路面１の画像を画面Ａ ₀内に写すように取
付けられ、このカメラ２からの路面画像は画像処理装置
３に入力される。この画像処理装置３は周知の画像処理
機能を有し、特に、走行位置検出部Ａの一部である画像
データ記憶部Ａ１と画像処理部Ａ２の機能を備えてい
る。そして、画像データ記憶部Ａ１はカメラ２からの路
面画像データを所定時間毎に静止した検査画像Ｐ１とし
て選択的に取り込み、順次、この検査画像Ｐ１の画像デ
ータを所定の画像記憶装置内の最新検査画像データ収容
エリアにファイルすることができる。

【００１９】一方、画像処理部Ａ２は検査画像Ｐ１の画
像データに基づいて走行帯区分線としての白線画像を抽
出してその座標を求めるような画像処理工程を順次実行
するものである。即ち、図２に示すように、適時に最新
検査画像データの収容エリアより最新検査画像Ｐ１のデ
ータを取り込み、各検査画像のうちでＹ軸方向（垂直方
向）における予め設定された６つの水平位置ｎ₁，
ｎ₂，ｎ₃，ｎ₄，ｎ₅，ｎ₆にそれぞれ位置すると共
にＸ軸方向（水平方向）に並ぶ各ライン（ｎ₁，ｎ ₂，
ｎ₃・・・ｎ₅₁₁）上の全画素（本実施例では５１１画
素）で光電変換された検出信号がＡ／Ｄ変換され、図３
に示すように、濃淡値に変換される。次いで、このＸ軸
方向における各ラインｎ₁，ｎ₂，ｎ₃・・・上の全画
素の濃淡値は各検査画像の照度の変化（ずれ）に対応す
べく、各ライン上の各画素は、順次、下記（１）式を用
いて微分フィルタ処理される。

【００２０】 f(i,j)＝-1×f(i-3,j)-1×f(i-2,j)-1×f(i-1,j)+0×f(i,j) +1×f(i+1,j)+1×f(i+2,j)+1×f(i+3,j) ・・・（１）

【００２１】この微分フィルタ処理によって各ラインｎ
₁，ｎ₂，ｎ₃・・・上の全画素の濃淡値は平滑化さ
れ、図４に示すように、濃淡値差に変換される。その
後、画像処理部Ａ２は白線候補点の検出を行なうべく、
ここでは、確定した各ラインｎ₁，ｎ₂，ｎ₃上・・・
の全画素の濃淡値差を予め設定されたスライスレベルＳ
１と比較し、白線候補点ｐａを検索する。

【００２２】そして、Ｙ軸方向における６つの水平位置
ｎ₁，ｎ₂，ｎ₃，ｎ₄，ｎ₅，ｎ ₆に対応するＸ軸方
向での各ラインｎ₁，ｎ₂，ｎ₃・・・ｎ₁₂上の各白線
候補点ｐａのデータに基づいて左右の白線Ｌ_R，Ｌ_Lを
推定する演算を実行する。ここでは、最小二乗法によっ
て各ラインｎ₁，ｎ₂，ｎ₃・・・上の各白線候補点ｐ
ａのデータを演算処理し、この白線Ｌ_R'，Ｌ_LのＸ，Ｙ
軸座標上の位置（Ｙ_Rｎ＝ａＸ_Rｎ＋ｂ）、（Ｙ_Lｎ＝
ｃＸ_Lｎ＋ｄ）を決定し、居眠り運転警報用コントロー
ルユニット４に出力する。

【００２３】この居眠り運転警報用コントロールユニッ
ト４は、図１に示すように、その制御部８に自動車の各
種操作機器の操作を検知するための、車速センサ１０、
ブレーキ操作検知手段１１、エキブレ検知手段１２、シ
フト操作検知手段１３、ウインカー操作検知手段１４、
ワイパー操作検知手段１５、照明操作検知手段１６及び
操舵角センサ１７が接続されている。

【００２４】車速センサ１０は自動車の車速Ｖを検知す
るものであり、ブレーキ操作検知手段１１はブレーキペ
ダルの操作を検知し、エキブレ検知手段１２はエキゾー
ストブレーキスイッチの操作を検知する。また、シフト
操作検知手段１３はトランスミッションのシフトレバー
の操作を検知し、ウインカー操作検知手段１４はウイン
カーレバーの操作を検知し、ワイパー操作検知手段１５
はワイパースイッチの操作を検知する。更に、照明操作
検知手段１６は照明スイッチの操作を検知し、操舵角セ
ンサ１７はステアリングの操舵角Ｑを検知する。

【００２５】更に、居眠り運転警報用コントロールユニ
ット４の制御部８には、タイマ１８、カウンタ１９，２
０、メモリ２１、及び表示器６、覚醒部７が接続されて
いる。表示器６は求められた運転者の覚醒度の必要量を
表示すると共に、雪や霧、豪雨、あるいは、夜間の照明
の反射などによってカメラ２が取り込んだ路面画像から
走行帯区分線のデータが認識できないときに車両の運転
状態検出停止を表示するものである。また、覚醒部７は
運転者に対する覚醒作用の強弱が異なる４つの覚醒器７
ａ，７ｂ，７ｃ，７ｄを有している。この覚醒器７ａは
動作時に臭い又は弱風を発するもので、覚醒作用が最も
弱い。そして、覚醒器７ｂは動作時に光又は強風を発す
るもので、覚醒作用が覚醒器７ａより強い。また、覚醒
器７ｃは動作時に音又は振動を発するもので、覚醒作用
が覚醒器７ｂより強い。更に、覚醒器７ｄは動作時に臭
い、光、風、音、振動のうち複数を合わせて発したり、
あるいは電気的な衝撃を発するもので、覚醒作用が最も
強い。

【００２６】タイマ１８は運転中の各種時間カウント及
び制御サイクルタイムのカウントなどに用いられる。メ
モリ２１は各操作機器の操作に対する重み付け値ｎｉ
（ｉ＝１，２，３・・・・）を記憶するための記憶手段
であり、その重み付け値ｎｉが各操作機器に対応付けて
予め記憶されている。また、このメモリ２１には他にも
各種設定値データが記憶されるようになっている。そし
て、この重み付け値ｎｉは、操作の実行によって解消さ
れる単調感が操作の種類に応じて異なることを考慮して
定められている。例えば、車線変更のためのウインカー
レバー操作は、重み付け値ｎｉとして“１”が設定され
る。停止または減速のためのブレーキ操作は、単調度の
解消量が大きいことから重み付け値ｎｉとして“２．
５”が設定される。つまり、ウインカーレバーの一回の
操作はそのまま操作回数“１”として検出されるが、ブ
レーキの１回の操作は操作回数“２．５”として検出さ
れるようになっている。なお、他の操作についても同様
に、単調度の解消量を考慮した重み付け値ｎｉがそれぞ
れ設定される。

【００２７】ところで、居眠り運転警報用コントロール
ユニット４は要部がマイクロコンピュータによって構成
され、走行位置検出部Ａとして蛇行量演算部Ａ３の機能
を備え、且つ、運転操作検出部Ｂ及びステアリング操作
検出部Ｃ、運転者の覚醒度を推定するファジィ推論部
Ｄ、基準値設定部Ｅ、報知部Ｆ、認識不良判定部Ｇとし
ての各機能を備えている。

【００２８】走行位置検出部Ａの一部をなす蛇行率演算
部Ａ３は、画像処理部Ａ２からの白線画像の座標データ
を所定回数取り込むことによってその水平座標軸上のず
れの標準偏差ＳＤを検出する蛇行量演算部Ａ３ａと、こ
の標準偏差ＳＤをカメラ２における車線幅相当の画素値
で除算して蛇行率ＭＲ’を設定する蛇行率設定部Ａ３ｂ
と、操舵角センサ１７によって検出されたステアリング
操舵角の絶対値Ｓａ’を車速センサ１０によって検出さ
れた車速Ｖに応じて補正する操舵角絶対値補正部Ａ３ｃ
と、蛇行率ＭＲ’を補正操舵角絶対値Ｓａに応じて補正
して補正蛇行率ＭＲを求める蛇行率補正部Ａ３ｄとを有
している。

【００２９】即ち、画像処理装置３より白線Ｌ_R，Ｌ_L
のＸ，Ｙ座標上の位置（Ｙ_Rｎ＝ａＸ_Rｎ＋ｂ）、（Ｙ
_Lｎ＝ｃＸ_Lｎ＋ｄ）データを所定回数取り込み、これ
ら各白線画像のＸ座標（Ｘ_Rn1，Ｘ_Ln1）、（Ｘ_Rn2，
Ｘ_Ln2）、（Ｘ_Rn3，Ｘ_Ln3）を順次演算し、その各白
線画像のＸ座標でのずれ、即ち、標準偏差ＳＤを演算す
る。そして、下記（２）式を用いて蛇行率ＭＲ’を演算
する。このとき、標準偏差はＳＤ、車線幅相当のカメラ
２の画素値の平均値はＷで表すものとする。この場合、
図５に示すように、自動車の前部に取付けられたカメラ
２に対して路面１が、上り傾斜面１ａ、あるいは下り傾
斜１ｂと勾配があるとき、標準偏差ＳＤには誤差が発生
する。そのため、この標準偏差はＳＤをカメラ２の画素
値で除算して求めた蛇行率ＭＲ’を用いる。

【００３０】ＭＲ’＝（ＳＤ／Ｗ）×１００・・・（２）

【００３１】一方、操舵角センサ１７によって検出され
たステアリング操舵角絶対値（平均値）Ｓａ’から車速
センサ１０によって検出された車速Ｖに応じて補正した
補正操舵角絶対値Ｓａを下記（３）式を用いて演算す
る。Ｓａ＝Ｓａ’＋Ｋ_S×（Ｖ_S−Ｖ）・・・（３）ここで、車速係数Ｋ_Sは、予め、走行試験に基づいて設
定されたものであり、図６に示すように、車速に対する
操舵角の割合から算出され、本実施例では、０．４３を
使用する。また、車速基準値Ｖ_Sは操舵角絶対値Ｓａ’
の補正対象速度であり、本実施例では、９０を使用す
る。なお、図６に示す４つの線は、車種や走行路の走行
条件が異なるデータを表している。

【００３２】そして、求められた蛇行率ＭＲ’をこの補
正操舵角絶対値Ｓａに応じて補正することで、下記
（４）式を用いて補正蛇行率ＭＲを算出する。ＭＲ＝ＭＲ’−Ｋ_V×（Ｓａ−Ｓａ_S）・・・（４）なお、操舵角係数Ｋ_Vは、予め、走行試験に基づいて設
定されたものであり、図７に示すように、操舵角絶対値
に対する蛇行率の割合から算出され、本実施例では、
０．１を使用する。また、Ｓａ_Sは屈曲路の最小限度値
であり、本実施例では、５を使用する。

【００３３】このように、蛇行率演算部Ａ３は道路形状
に対するトレース性において車速による影響を排除して
いる。即ち、同じ道路形状にあっても、車速の増加に伴
って操舵角は大きくなるものであり、求められた蛇行率
ＭＲ’を車速基準値Ｖ_Sにおける補正蛇行率ＭＲに換算
している。なお、前述の各実施例では、各式（２），
（３），（４）によって補正操舵率ＭＲを求めたが、図
８に示すような補正係数Ｋ_MRを用いて求めてもよいもの
である。

【００３４】この場合、図９に示すように、覚醒時の蛇
行率ＭＲに対して眠気時の蛇行率ＭＲはその量が大幅に
大きくなっていることが明らかである。

【００３５】更に、運転操作検出部Ｂは次の（１）〜
（８）区分の各機能を有している。（１）タイマ１８で運転時間ｔ₂及び覚醒度判定時間ｔ
₃のカウントをそれぞれ開始する。（２）単調度設定部Ｂ１として、制御サイクルタイムで
あるところの１／１０秒ごとに一定値Ｔｏをカウンタ１
９で積算し、単調度Ｔを設定する。（３）各種操作機器のうちステアリングを除く少なくと
も１つが操作されたとき、この操作機器に対応する重み
付け値ｎｉをメモリ２１から読みだす。（４）読出される重み付け値ｎｉをカウンタ１９で加算
（ｎ＝Σｎｉ）し、加算値ｎを初期運転後の全操作回数
Ｎとして保持する。（５）運転時間ｔ₂を全操作回数Ｎで除算することによ
り、運転中の各操作間の時間経過の平均値（＝ｔ₂／
Ｎ）を求める。（６）時間経過の平均値に一定値Ｔｏを乗算することに
より、運転中の各操作間の単調度増加量〔＝（ｔ₂／
Ｎ）・Ｔｏ〕を算出する。（７）単調度増加量に重み付け値ｎ（＝ｎ１の加算値）
を乗算することにより、現時点の操作に基づく単調度解
消量〔＝（ｔ₂／Ｎ）・Ｔｏ・ｎ〕を求める。（８）単調度補正部Ｂ２として、単調度解消量だけカウ
ンタ１９の積算値を減じて補正単調度Ｔを補正する。

【００３６】また、ステアリング操作検出部Ｃは次の
（１）〜（２）区分の各機能を有している。

【００３７】（１）操舵角センサ１７の検知結果に基づ
く操舵角データをメモリ２１に蓄積する。（２）最新の単位時間（現在は１分間を単位としてい
る）の操舵角Ｑデータに基づき、その所定時間における
操舵量ＳＱを（５）式より求める。この場合、制御サイクルタイムであるところの１／１０
秒（ｄｔ）ごとに操舵角データの前回値ｄ_i+1と今回値
ｄ_iの差分を求めて順次加算し、単位時間の加算値を操
舵量ＳＱとして算出する。

【００３８】また、基準値設定部Ｅは、運転開始から一
定時間の初期運転に関して働くもので、次の（１）、
（２）区分の機能を有している。（１）運転開始から一定時間ｔ_s1を初期運転として設定
する。（２）初期運転の終了時、操舵量ＳＱの平均値（標準偏
差）、蛇行率ＭＲをそれぞれ基準値としてメモリ２１に
記憶する。

【００３９】ファジィ推論部Ｄは初期運転の経過後働く
もので、次の機能を有している。即ち、運転操作検出部
Ｂからの補正単調度Ｔ、ステアリング操作検出部Ｃから
操舵量ＳＱ、走行位置検出部Ａからの蛇行率ＭＲに対応
するメンバーシップ関数に基づいて運転者の覚醒度を推
定する。なお、このファジィ推論部Ｄは１分間毎に判定
サイクルを実行して覚醒度を更新するが、各判定サイク
ルで使用するデータは各判定サイクル直前の一定の時間
範囲（例えば、５分間）で取り込まれ、そのデータ範囲
は１分ずつずらせて順次取り込まれることとなる。

【００４０】報知部Ｆは初期運転の経過後に働くもの
で、次の機能手段を有している。即ち、覚醒度に応じて
各覚醒器７ａ，７ｂ，７ｃ，７ｄを選択的に作動せしめ
る。

【００４１】また、認識不良判定部Ｇは雪や霧、豪雨、
あるいは、夜間の照明の反射などによってカメラ２が取
り込んだ路面画像から走行帯区分線のデータが認識でき
ないとき、即ち、カメラ２による最新検査画像Ｐ１のデ
ータから算出し得る白線候補点ｐａの数が所定数位置で
あるときに、蛇行率演算部Ａ３によって算出した蛇行率
ＭＲの出力を停止するようにしている。

【００４２】ここで、上述の本実施例の居眠り運転警報
装置の作用について、図１２乃至図１７のフローチャー
トに基づいて説明する。

【００４３】図１２乃至図１７に示すように、イグニッ
ションスイッチがオンされてエンジンが始動されると、
カメラ２と画像処理装置３及び居眠り運転警報用のコン
トロールユニット４とがシステム起動し、制御部８によ
って車速センサ１０によって検出された車速Ｖが監視さ
れる（ステップ１０１）。そして、この車速Ｖが一定値
Ｖ₁を越えると（ステップ１０１のＹｅｓ）、タイマ１
８で初期運転時間ｔ₁（秒）のカウントが開始され（ス
テップ１０２）、路面撮影指令をカメラ２及び画像処理
装置３に発する（ステップ１０３）。これによって、画
像処理装置３が後述の処理に入る。ここで、車速の一定
値Ｖ₁としては、運転者が単調感を覚えやすい高速道路
を想定しており、例えば、６０Ｋｍ乃至７０Ｋｍの値に
設定される。

【００４４】そして、ステアリングが操作されると、操
舵角Ｑが操舵角センサ１７によって検出される。このス
テアリング操舵があると（ステップ１０４のＹｅｓ）、
その検出された操舵角Ｑに基づき前述した（５）式より
操舵量ＳＱが求められ、メモリ２１に順次記憶される
（ステップ１０５）。

【００４５】ステップ１０６では、画像処理装置３から
の白線Ｌ_R，Ｌ_LのＸ，Ｙ座標上の位置（Ｙ_Rｎ＝ａＸ
_Rｎ＋ｂ）、（Ｙ_Lｎ＝ｃＸ_Lｎ＋ｄ）が初期運転時間
ｔ₁中順次取り込まれ、メモリ２１に順次記憶される。
そして、初期運転時間ｔ₁が一定時間ｔ_s1（例えば、２
０分）を越えると（ステップ１０７）、そこで、初期運
転の終了となる。

【００４６】一方、画像処理装置３は路面撮影指令を受
けた時点から一定時間の初期運転において、図１６のフ
ローチャートで示すように白線推定処理に入る。ここで
は、路面撮影指令の入力を待ち（ステップ３００）、指
令が入力されるとカメラ２からの路面画像データを所定
時間毎に静止した検査画像Ｐ１（図４参照）として撮影
して取り込み、この検査画像Ｐ１データを所定の画像記
憶装置３内の最新検査画像データ収容エリアにファイル
する。

【００４７】ステップ３０２では、最新検査画像データ
の収容エリアより最新検査画像Ｐ１のデータを取り込
み、検査画像の内で、ｎ₁，ｎ₂，ｎ₃・・・にそれぞ
れ位置する全画素の濃淡値データを求める（ステップ３
０３）。ステップ３０４，３０５では、全画素の濃淡値
を前述の（１）式によって微分フィルタ処理し、全画素
の濃淡値差を予め設定されたスライスレベルＳ１と比較
し、ステップ３０６では、白線候補点ｐａを検索する。
そして、ステップ３０７では、Ｙ軸上の全ての水平ライ
ン、即ち、本実施例ではｎ₁，ｎ₂，ｎ₃，ｎ₄，
ｎ₅，ｎ₆（図２参照）で検索が終了したかどうかを判
定し、検索が終了していなければ、ステップ３０１に戻
って前述の処理を繰り返す。一方、検索が終了していれ
ば、ステップ３０８にて、白線の認識不良判定を行う。

【００４８】即ち、本実施例では、画像データ記憶部Ａ
１はカメラ２からの路面画像データを１秒間に１０回の
検査データＰ１として取り込み、画像処理部Ａ２は各検
査データＰ１におけるＹ軸上の６つの水平ラインｎ₁，
ｎ₂，ｎ₃，ｎ₄，ｎ₅，ｎ ₆に対する白線候補点ｐａ
を１２個検索している。従って、０．１秒間には１２個
の、１０秒間には１２０個の白線候補点ｐａを検索する
こととなる。ところが、図２に示すように、６つの水平
ラインｎ₁，ｎ₂，ｎ₃，ｎ₄，ｎ₅，ｎ₆上に白線が
存在しない場合や雪や霧、豪雨、あるいは、夜間の照明
の反射などによってカメラ２が取り込んだ路面画像から
白線のデータを認識できないときがある。そのため、こ
のステップ３０８では白線の検索不良率が５０％以下だ
ったら、即ち、０．１秒間には６個の白線候補点ｐａを
検索できたらステップ３０９に移行し、一方、６個の白
線候補点ｐａを検索できなかったらステップ３０１に戻
って前述の処理を繰り返す。そして、ステップ３０９で
は、最小二乗法に沿って各ラインｎ₁，ｎ₂，ｎ₃・・
・上の各白線候補点ｐａのデータを演算処理し、白線Ｌ
_R，Ｌ_LのＸ，Ｙ座標上の位置（Ｙ_Rｎ＝ａＸ_Rｎ＋
ｂ）、（Ｙ_Lｎ＝ｃＸ _Lｎ＋ｄ）を決定（ステップ３０
７）し、ステップ３１０にて同値を制御部８に出力す
る。

【００４９】一方、メインルーチンでのステップ１０７
では、初期運転が終了したと判断してステップ１０８に
移行する。ここでは、所定回数分の白線Ｌ_R，Ｌ_Lの位
置（Ｙ_Rｎ＝ａＸ_Rｎ＋ｂ）、（Ｙ_Lｎ＝ｃＸ_Lｎ＋
ｄ）データより、各白線のＸ座標（Ｘ_Rn1，Ｘ_Ln1）、
（Ｘ_Rn2，Ｘ_Ln2）、（Ｘ_Rn3，Ｘ_Ln3）を順次演算
し、その各白線画像のＸ座標でのずれ、即ち、初期運転
時の運転者固有の標準偏差ＳＤを演算する。そして、前
述した（２）式を用いて蛇行率ＭＲ’を演算すると共
に、操舵角センサ１７によって検出されたステアリング
操舵角絶対値（平均値）Ｓａ’から車速センサ１０によ
って検出された車速Ｖに応じて補正した補正操舵角絶対
値Ｓａを前述した（３）式から演算する。そして、蛇行
率ＭＲ’をこの補正操舵角絶対値Ｓａに応じて補正する
ことで、前述の（４）式を用いて補正蛇行率ＭＲ_Sを算
出する。

【００５０】ステップ１０９では、メモリ２１に記憶さ
れている各操舵量ＳＱが読出され、その初期運転時の操
舵量の加算値ＳＱｍが算出される。そして、初期運転時
の操舵量（標準値）ＳＱｍ、初期運転時の蛇行率ＭＲ_S
をそれぞれ基準値としてメモリ２１に保持される（ステ
ップ１１０）。このようにして、一定時間ｔ_s1にわたる
初期運転の間に、運転者毎の個人レベルの運転操作デー
タが取り込まれる。

【００５１】初期運転の終了後、ステップ１１１では、
タイマ１８で運転時間ｔ₂、覚醒度判定用時間ｔ₃のカ
ウントが開始される。そして、車速Ｖが一定値Ｖ₁を越
えると（ステップ１１２のＹｅｓ）ステップ１１３に進
み、ウインカを操作中か否か判断し、操作中であるとき
はウインカ操作が終了するまで路面画像取込指令を中止
する。即ち、このステップ１１４において、ウインカ操
作期間中には、例えば、図１０に示すように、左側車線
走行中の車両が右側車線に車線変更し、再度、左側車線
に変更がなされた場合、図１２に示すように、白線画像
（Ｙ_Rｎ＝ａＸ _Rｎ＋ｂ）、（Ｙ_Lｎ＝ｃＸ_Lｎ＋ｄ）
の中心位置の軌跡が変化し、この場合、中心位置はａ線
よりｂ線（右側車線の右白線画像）に大きく変更し、再
度、ａ線に戻るという変位が生じるので、このウインカ
作動期間中は路面画像データの取込みを行わないように
している。

【００５２】また、前述のステップ１１３にて、ウイン
カを操作中でないとの判断を行なうとステップ１１９に
移行し、画像処理装置３より白線画像の位置（Ｙ_Rｎ＝
ａＸ _Rｎ＋ｂ）、（Ｙ_Lｎ＝ｃＸ_Lｎ＋ｄ）を取り込
み、ステップ１１６にて、所定時間（例えば、１分間）
の白線のＸ座標（Ｘ_Rn1，Ｘ_Ln1）、（Ｘ_Rn2，
Ｘ_Ln2）、（Ｘ_Rn3，Ｘ_Ln3）を順次演算し、その各白
線のＸ座標のずれである標準偏差ＳＤを演算する。そし
て、この標準偏差ＳＤから蛇行率ＭＲ’を演算すると共
に、ステアリング操舵角絶対値（平均値）Ｓａ’から車
速Ｖに応じて補正した補正操舵角絶対値Ｓａを演算し、
蛇行率ＭＲ’及び補正操舵角絶対値Ｓａから補正蛇行率
ＭＲを算出する。そして、この蛇行率ＭＲをメモリ２１
に蓄積する。なお、ウインカ操作があった場合でも、そ
のとき（例えば、１０秒間）のデータを演算の対象から
除外するだけであり、残りのデータによって前記標準偏
差ＳＤの演算を行い、補正蛇行率ＭＲの算出は行われ
る。そして、ステップ１１７では、操舵角センサ１７の
検出した操舵角Ｑデータに基づき前述の（５）式より操
舵量ＳＱが求められ、操舵量データがメモリ２１に蓄積
される。

【００５３】更に、ステップ１１８では、カウンタ１９
で一定値Ｔｏが積算され、単調度Ｔが求められる。Ｔ＝Ｔ＋Ｔｏこの一定値Ｔｏの積算は、制御サイクルタイムであると
ころの１／１０秒ごとに繰返し実行される。車両の運転
中、ステアリング操作を除く少なくとも１つの操作が実
行されると（ステップ１１９のＹｅｓ）、その操作機器
に対して予め定められている重み付け値ｎｉがメモリ２
１から読出され、その重み付け値ｎｉが加算される（ス
テップ１２０）。そして、加算値ｎが運転中の全操作回
数Ｎとしてカウンタ１９で積算される（ステップ１２
１）。ｎ＝ΣｎｉＮ＝Ｎ＋ｎ運転時間ｔ₂がこの全操作回数Ｎで除算され、初期運転
経過後の各操作間の時間経過の平均値〔＝ｔ₂／Ｎ〕が
求められる。更に、この時間経過の平均値に１秒当たり
の単調度増加量（＝１０・Ｔｏ）が乗算され、現時点の
操作に基づく単調度解消量〔＝（ｔ₂／Ｎ）・１０・Ｔ
ｏ・ｎ〕が求められる。この単調度解消量だけカウンタ
１９の積算値が減じられ、単調度Ｔが補正される（ステ
ップ１２２）。Ｔ＝Ｔ−〔（ｔ₂／Ｎ）・１０・Ｔｏ・ｎ〕従って、この単調度Ｔは、図１８の実験データから判る
ように、操作がなければ増大を続け、操作がなされるご
とにその操作に応じた分だけ解消される。

【００５４】この単調度Ｔが負の値に成った場合（ステ
ップ１２３のＹｅｓ）、単調度Ｔは零に修正される（ス
テップ１２４）。こうして覚醒度判定時間ｔ₃が所定時
間に達するまで（ステップ１２５）、単調度Ｔの係数、
操舵量ＳＱ及び蛇行率ＭＲの蓄積が繰り返される。

【００５５】ところで、前述したステップ１１２におい
て、車速Ｖが一定値Ｖ₁を下回った場合はステップ１２
６に移行し、それまで蓄積されたメモリ２１内の操舵量
ＳＱがクリアされる。同時に、覚醒度判定時間ｔ₃がク
リアされて零に戻される（ステップ１２７）。また、車
速Ｖが零まで下がると（ステップ１２８のＹｅｓ）、即
ち、車両が停止すると、後述する覚醒度の表示がオフさ
れる（ステップ１２９）。ただし、この場合、単調度Ｔ
及び前回白線のＸ座標は保持される。

【００５６】一方、ステップ１２５において、覚醒度判
定時間ｔ₃が所定時間を超える（ステップ１２５のＹｅ
ｓ）と、ステップ１３０にて白線の認識不良判定を行
う。即ち、本実施例では、前述したように、Ｙ軸上の６
つの水平ラインｎ₁，ｎ₂，ｎ ₃，ｎ₄，ｎ₅，ｎ₆に
対する白線候補点ｐａを１２個検索しており、あらかじ
め設定された白線候補点ｐａの所定数に対する、所定時
間内に検索できなかった白線候補点ｐａの数の割合を不
良率として算出し、この白線の検索不良率が５０％以下
だったらステップ１３２に移行し、一方、検索不良率が
５０％以上だったらステップ１３１以降でワイパを作動
させる処理を行う。

【００５７】白線候補点ｐａが所定数検索できない原因
がフロントガラスに付着した水滴や汚れ等による視界不
良である場合、ワイパによってこれを除去する。即ち、
ステップ１３１にてワイパが作動したかどうかを検出
し、作動していなければステップ１３２にてワイパを作
動し、ステップ１３３でワイパ作動フラグをセットし、
ステップ１１２に戻って前述の処理を繰り返す。一方、
ステップ１３１にてワイパを作動していれば、視界不良
の原因がフロントガラスの水滴や汚れでないものであ
り、ステップ１３４でワイパ作動フラグをリセットし、
ステップ１３５にて、後述する平均蛇行率ＭＲ１の算出
を停止して運転状態検出停止を表示器６に表示する。こ
の表示を見ることにより、運転者はシステムの停止状態
を把握することができる。

【００５８】ステップ１３６では、前述した所定時間に
記憶された各白線画像（Ｙ_Rｎ＝ａＸ_Rｎ＋ｂ）、（Ｙ
_Lｎ＝ｃＸ_Lｎ＋ｄ）のＸ座標のずれである蛇行率ＭＲ
の平均値ＭＲ１が求められる。同じく、所定時間に蓄え
られた操舵角Ｑｎデータに基づき、最新の所定時間にお
ける操舵量が加算されＳＱｎ（＝ΣＱｎ）がメモリ２１
に蓄積される（ステップ１３７）。そして、ステップ１
３８に達すると、蛇行率ＭＲ、単調度Ｔ、操舵量ＳＱｍ
（ＳＱｎ）についての３つのメンバーシップ関数がメモ
リ２１に記憶されている。

【００５９】これらメンバーシップ関数は予め設定され
ており、基本的には、初期運転で得られた各基準値（平
均蛇行率ＭＲｓ、操舵量ＳＱｍ）により形状が決定され
る。そして、初期運転の経過後に得られた蛇行率ＭＲ、
単調度Ｔ、操舵量ＳＱｍに応じてファジィ推論される。
なお、メンバーシップ関数やファジィ制御については一
般的なものであり、ここでの説明は省略する。

【００６０】従って、ファジィ制御によって覚醒度Ｘの
必要量が求まると、それが表示器６で表示される（ステ
ップ１３９）。この表示を見ることにより、運転者は自
身の運転状態を把握することができる。また、同乗者は
運転者が居眠りしないように、運転者に話しかけたり、
注意を与えたり、適切な処置をとることができる。その
後、運転停止で無い限り、覚醒度判定時間ｔ₃が強制的
に６０秒にセットされ（ステップ１４１）、ステップ１
１２に戻って運転停止でシステムが停止となる。

【００６１】一方、図１７のフローチャートに示すよう
に、ファジィ推論によって求められる覚醒度Ｘの必要量
と、予めメモリ２１に記憶されている設定値“４”
“３”“２”“１”とが逐次に比較される（ステップ２
０１〜２０４）。ここで、設定値“４”は殆ど居眠り状
態に相当するレベルである。設定値“３”は居眠り、蛇
行運転が時々見られるレベルである。“２”はあくびが
頻発するなど、かなり眠気を催しているレベルである。
設定値“１”はやや眠気を催しているレベルである。覚
醒度Ｘの必要量が設定値“４”より大きければ（ステッ
プ２１０のＹｅｓ）、覚醒器７ｄが所定時間だけ動作し
（ステップ２０５）、光、風、音、振動が合わせて発せ
られたり、または電気的な衝撃が運転者の体に加えられ
る。覚醒度Ｘの必要量が設定値“３”より大きければ
（ステップ２０２のＹｅｓ）、覚醒器７ｃが所定時間だ
け動作し（ステップ２０６）、音が発せられたり、また
は、振動が運転者の体に加えられる。

【００６２】この覚醒度Ｘの必要量が設定値“２”より
大きければ（ステップ２０３のＹｅｓ）、覚醒器７ｂが
所定時間だけ動作し（ステップ２０７）、光が発せられ
たり、強風が運転者の体に吹き付けられる。覚醒度Ｘの
必要量が設定値“１”より大きければ（ステップ２０４
のＹｅｓ）、覚醒器７ａが所定時間だけ動作し（ステッ
プ２０８）、臭いが発せられたり、弱風が運転者の体に
吹き付けられる。覚醒度Ｘの必要量が設定値“１”より
小さい場合（ステップ２０４のＮｏ）、覚醒器は作動し
ない。

【００６３】このように、覚醒度Ｘの必要量に応じたレ
ベルの覚醒作用を運転者に与えることにより、運転者の
居眠りを未然に防ぐことが出来、安全性が向上する。特
に、運転者の継続的な状態変化を単調度として捕らえ、
しかも、居眠り運転につながるステアリング操作の特徴
を加え、カメラによって捕らえた前方路面の白線位置の
ずれ量に応じた蛇行率を捕らえ、これらをファジィ推論
の入力とすると共に、まだ居眠り運転の心配の無い初期
運転時に、運転者毎に個人レベルの運転操作データを取
り込み、それをファジィ推論の基準値として盛り込むよ
うにしたので、運転者の居眠りを的確にしかも、常に把
握出来、信頼性にすぐれたものとなる。更に、段階的に
覚醒度に応じた覚醒手段を起動することができ、最適な
覚醒処理が可能となる。

【００６４】なお、前述した覚醒器７ａ，７ｂ，７ｃ，
７ｄとしては上述の実施例のものに限らず、シートに振
動を与える等、種々のものが使用可能である。その他、
この発明は上述の実施例に限定されるものではなく、要
旨を変えない範囲で種々変形実施可能である。

【００６５】

【発明の効果】以上、実施例を挙げて詳細に説明したよ
うに本発明の居眠り運転警報装置によれば、画像処理手
段がカメラからの路面画像を検査画像として取り込んで
走行帯区分線のデータを求め、覚醒度推定手段がこの走
行帯区分線のデータから車両のふらつき度合を算出して
運転者の覚醒度を推定し、報知手段は推定された運転者
の覚醒度に応じて警報手段を駆動して運転者の覚醒度の
向上を促す一方、気象条件などによってカメラが取り込
んだ路面画像から走行帯区分線のデータが認識できない
ときは、認識不良判定手段が車両のふらつき度合の算出
を停止し、表示手段が車両の運転状態検出停止を運転者
に知らせるようにしたので、走行中の車両の運転状態か
ら運転者の覚醒度を検出して居眠りを的確に検出して警
報を発することができると共に、気象条件などに対応し
てシステムの運転あるいは停止を運転者に的確に知らせ
ることができ、その結果、車両走行時の安全性の向上を
図ることができる。

【００６６】また、本発明の居眠り運転警報装置によれ
ば、認識不良判定手段が、画像処理手段によって求めら
れた走行帯区分線の候補点の数が所定値より少ないとき
に不良信号を出力し、この不良信号の数が単位時間当た
りのしきい値より多いときに走行帯区分線のデータの認
識不良を判定するようにしたので、走行帯区分線のデー
タの認識不良判定を簡単、且つ、迅速に行うことができ
る。

【００６７】また、本発明の居眠り運転警報装置によれ
ば、画像処理手段によって求められた走行帯区分線のデ
ータが認識不良で、認識不良判定手段が車両のふらつき
度合の算出を停止したときに、カメラの前方に装着され
たワイパを作動させるようにしたので、雪や霧、豪雨な
どによってカメラのレンズやフロントガラスに水滴等が
付着することによる走行帯区分線のデータの認識不良の
発生を防止し、高精度な運転者の覚醒度検出をを可能と
することができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る居眠り運転警報装置の
概略構成図である。

【図２】走行位置検出部が処理する検査画像の概略図で
ある。

【図３】走行位置検出部が処理する白線候補点の説明図
である。

【図４】走行位置検出部が処理する白線候補点の微分フ
ィルタ処理後の特性線図である。

【図５】車両に取付けられたカメラに対する道路勾配の
影響を表す説明図である。

【図６】操舵角に及ぼす車速の影響を表すグラフを示
す。

【図７】蛇行率に及ぼす操舵角の影響を表すグラフを示
す。

【図８】蛇行率に対する補正係数を表すグラフを示す。

【図９】運転者の眠気時と覚醒時との各蛇行量を表す特
性線図である。

【図１０】車両の車線変更の説明図である。

【図１１】車両の車線変更時における白線中心位置の経
時変化を表す特性線図である。

【図１２】本実施例の居眠り運転警報装置による制御処
理のフローチャートである。

【図１３】本実施例の居眠り運転警報装置による制御処
理のフローチャートである。

【図１４】本実施例の居眠り運転警報装置による制御処
理のフローチャートである。

【図１５】本実施例の居眠り運転警報装置による制御処
理のフローチャートである。

【図１６】画像処理装置による制御処理のフローチャー
トである。

【図１７】本実施例の居眠り運転警報装置による覚醒器
の動作を実行するための制御処理のフローチャートであ
る。

【図１８】居眠り運転警報装置付きの車両における一例
としての単調度変化を表す特性線図である。

【符号の説明】

２カメラ３画像処理装置４居眠り運転警報用コントロールユニット６表示部７警報部Ａ走行位置検出部Ａ１画像データ記憶部Ａ２画像処理部Ａ３蛇行率演算部Ａ３ａ蛇行量演算部Ａ３ｂ蛇行率設定部Ａ３ｃ操舵角絶対値補正部Ａ３ｄ蛇行率補正部Ｂ運転操作検出部Ｃステアリング操作検出部Ｄファジィ推論部Ｆ報知部Ｇ認識不良判定部

Claims

【特許請求の範囲】

【請求項１】走行中の車両の運転状態を検出して運転
者の覚醒度が低下しているときには警報を発する居眠り
運転警報装置において、車両に搭載されたカメラからの前方あるいは後方路面画
像を選択的に検査画像として取り込んで該検査画像に基
づいて走行帯区分線のデータを求める画像処理手段と、該画像処理手段によって求められた走行帯区分線のデー
タから車両のふらつき度合を算出して運転者の覚醒度を
推定する覚醒度推定手段と、運転者の覚醒度の向上を促す警報手段と、前記覚醒度推定手段によって推定された運転者の覚醒度
に応じて前記警報手段を駆動する報知手段と、前記画像処理手段によって求められた走行帯区分線のデ
ータが認識不良のときには前記車両のふらつき度合の算
出を停止する認識不良判定手段と、該認識不良判定手段によって車両のふらつき度合の算出
が停止されたときには車両の運転状態検出停止を運転者
に知らせる表示手段と、を具えたことを特徴とする居眠
り運転警報装置。
【請求項２】請求項１記載の居眠り運転警報装置にお
いて、前記認識不良判定手段は、前記画像処理手段によ
って求められた走行帯区分線の候補点の数が所定値より
少ないときに不良信号を出力し、該不良信号の数が単位
時間当たりのしきい値より多いときに走行帯区分線のデ
ータの認識不良を判定することを特徴とする居眠り運転
警報装置。
【請求項３】請求項１記載の居眠り運転警報装置にお
いて、前記画像処理手段によって求められた走行帯区分
線のデータが認識不良で、前記認識不良判定手段が車両
のふらつき度合の算出を停止したときには、前記カメラ
の前方に装着されたワイパを作動させることを特徴とす
る居眠り運転警報装置。