JP4196458B2

JP4196458B2 - 車両用警報装置

Info

Publication number: JP4196458B2
Application number: JP35236798A
Authority: JP
Inventors: 欣也岩本; 雅之金田; 正次大和田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1998-12-11
Filing date: 1998-12-11
Publication date: 2008-12-17
Anticipated expiration: 2018-12-11
Also published as: JP2000172965A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両運転者の、例えば脇見を検出して警報を発する車両用警報装置に関するものである。
【０００２】
【従来の技術】
従来、運転者の顔を撮像し、画像内の所定領域内に眼が検知できなかった場合警報を発する技術としては、特開平６−３４４８０１号公報に記載のものが公知である。この技術は、眼の位置を追跡し、その位置が画像内の所定領域からはずれていた場合は運転者に対して警報を発するというものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような技術では運転者の運転姿勢が変化するたびに警報が発せられてしまう。特にトラック、キャブ・オーバー・タイプの車両を運転する場合は、走行環境によって運転者の姿勢が大きく変化するため、誤警報が発せられる頻度が高くなってしまう。また、このような車両を運転する運転者が大きく運転姿勢を変化させる走行環境として、一般道路から高速道路に移る場合、また、その逆の場合がある。一般道路から高速道路に移る場合は運転者は前傾姿勢から後傾姿勢に姿勢を変化させ、その逆の場合は後傾姿勢から前傾姿勢へと運転姿勢を変化させる傾向がある。
本発明は以上のことを鑑み、眼の検知範囲から眼が検知できなくなったときに運転手の運転姿勢の変化や運転姿勢を変化させる要因を検知し、眼の検知範囲を画像内で移動させることによって、誤警報の発生率を低減することを目的としている。
【０００４】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の車両用警報装置は、運転者の顔画像を撮像する画像入力手段と、車両の走行環境の変化を検出する走行環境検出手段と、前記画像入力手段から入力された顔画像に基づいて画像処理を行い、運転者の眼の位置が検出されると、画像処理を行う範囲を、眼の位置を含みかつ前記顔画像よりも小さな所定領域に限定して眼の位置を検出するとともに、前記所定領域に眼が検出されず、かつ前記走行環境検出手段により走行環境の変化が検出されたときには、この走行環境の変化に基づいて前記所定領域を前記顔画像内において移動させる眼位置検出手段と、この眼位置検出手段により検出された運転者の眼の位置に基づいて運転者が車両の運転に適した状態かどうかを判断し、運転に適した状態ではないと判断した場合には警報を発する警報発生手段と、を備え、前記眼位置検出手段は、前記所定領域に眼が検出されず、かつ前記走行環境検出手段により高速道路を走行している状態から一般道路を走行している状態への変化が検出されたときには前記所定領域を前記顔画像内において上方向へ移動させ、前記所定領域に眼が検出されず、かつ前記走行環境検出手段により一般道路を走行している状態から高速道路を走行している状態への変化が検出されたときには前記所定領域を前記顔画像内において下方向へ移動させることを特徴とする。
請求項２記載の発明は、請求項１記載の車両用警報装置において、前記走行環境検出手段は、車両が外部からの現在位置情報を受信する受信手段と、少なくとも道路種別情報を持つ地図データと、この地図データと前記現在位置情報とから現在走行している道路種別を検出する道路種別検出手段と、を有することを特徴とする。
請求項３記載の発明は、請求項１記載の車両用警報装置において、前記走行環境検出手段は、第１の所定時間の平均車速を検出する平均車速検出手段、あるいは第２の所定時間の平均舵角変化量を検出する平均舵角変化量検出手段の少なくとも一方を有し、平均車速が第１の閾値以上かまたは平均舵角変化量が第２の閾値未満の場合高速道路を走行していると判断し、平均車速が第１の閾値未満かまたは平均舵角変化量が第２の閾値以上の場合一般道路を走行していると判断することを特徴とする。
請求項４記載の発明は、運転者の顔画像を撮像する画像入力手段と、運転者の運転姿勢の変化を検出する運転姿勢検出手段と、前記画像入力手段から入力された顔画像に基づいて画像処理を行い、運転者の眼の位置が検出されると、画像処理を行う範囲を眼の位置を含み、かつ前記顔画像よりも小さな所定領域に限定して眼の位置を検出するとともに、前記所定領域に眼が検出されず、かつ前記運転姿勢検出手段により運転姿勢の変化が検出されたときには、この運転姿勢の変化に基づいて前記所定領域を前記顔画像内において移動させる眼位置検出手段と、この眼位置検出手段により検出された運転者の眼の位置に基づいて運転者が車両の運転に適した状態かどうかを判断し、運転に適した状態ではないと判断した場合には警報を発する警報発生手段と、を備え、前記眼位置検出手段は、前記所定領域に眼が検出されず、かつ前記運転姿勢検出手段により運転者の後傾姿勢から前傾姿勢への変化が検出されたときには前記所定領域を前記顔画像内において上方向へ移動させ、前記所定領域に眼が検出されず、かつ前記運転姿勢検出手段により運転者の前傾姿勢から後傾姿勢への変化が検出されたときには前記所定領域を前記顔画像内において下方向へ移動させることを特徴とする。
請求項５記載の発明は、請求項４記載の車両用警報装置において、前記運転姿勢検出手段は、シートバックまたはシート座面前部および後部の少なくとも一方に設けられ圧力を検出する圧力検出手段を有し、シートバックの圧力が所定の閾値以上の場合またはシート座面前部の圧力が減少し、かつシート座面後部の圧力が増加した場合運転者は後傾姿勢であると判断し、シートバックの圧力が所定の閾値未満の場合またはシート座面前部の圧力が増加し、かつシート座面後部の圧力が減少した場合運転者は前傾姿勢であると判断することを特徴とする。
【０００５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
本発明および本実施の形態では、道路の区分に関して高速道路と一般道路という分け方をしているが、これは法令その他の道路区分とは必ずしも一致しない。高速道路とは車両を一定した速度で長時間走行させることが可能な道路環境のことを指し、一般道路とはそれ以外の道路環境のことを指している。
【０００６】
図１は本発明の実施の形態１を示すブロック図である。画像入力部１で得られた運転者の顔画像を眼位置検出部２に送り、このとき眼位置検出部２によって眼が検出されなければ、警報発生部３によって運転者に警報を発する。このとき処理速度を向上させるために眼位置検出部２は画像入力部１より入力された顔画像全体に対して眼の検出処理をかけるのではなく、あらかじめ検出された眼の位置を含む所定の大きさの処理範囲を決め、その範囲内において検出処理を行っている。眼位置検出部２が眼を検出できなかったときは走行環境検出部４によって得られている走行環境状態の変化に応じて、眼位置検出部２は眼の位置を検出する処理範囲を画像内において所定量移動させて再度眼の位置検出処理を行う。
【０００７】
処理全体の流れを図２を用いて説明する。
まず、処理が開始されると初期設定ステップ１（以下ステップをＳと略記する）が行われ、つぎに眼の位置検出Ｓ２、走行環境変化の判断Ｓ３、眼の再検出ロジックの選択Ｓ４、警報発生の判断Ｓ５と流れ、眼の位置検出Ｓ２へと処理は戻る。
初期設定Ｓ１について図３のフローチャートを用いて説明する。処理が開始されると顔画像全体に対して眼の位置検出Ｓ１１を行い、つぎに走行環境検出Ｓ１２を行い記憶媒体へ検出結果を記録し、つぎの処理Ｓ２へと処理が進む。
【０００８】
画像全体に対する眼の位置検出Ｓ１１について図４から図１２を用いて説明する。
本画像処理は、図４のフローチャートに従って実行される。
Ｓ１１０では、図５に示すような部分に設置された運転者の顔の部分を正面から撮像するビデオカメラ１１によって運転者の顔を含む車室内の画像が撮像されＡ−Ｄ変換器２１によって画素の濃度がデジタル値に変換される。
Ｓ１１１では、画像メモリ２２に１フレームの画像に対応する画像データが蓄積される。
Ｓ１１２では、画像メモリ２２に蓄積された画像データの中から顔の縦方向の画素列が図６に示すように選択される。画面の中央部分に等間隔で数十列、Ｘ方向の１０画素ごとに１列の画素列が設定される。１列の画素列はＹ方向に４８０個の画素を有し、画素列ごとに全画素の濃度値を画像データ演算回路２３に送出可能である。
【０００９】
Ｓ１１３では、それぞれの画素列の濃度値を演算処理して抽出点となる画素（Ｙ座標値）を特定する。画素列上の濃度値の大きな変化を求め、その局所的なピークを抽出点とする。処理手順を図７に示す。
Ｓ１１３１では、図６の左側から順番に、画素列ごとの全画素の濃度値を呼び出す。
Ｓ１１３２では、画素列上の濃度値を相加平均して、画素列上の濃度値の変化曲線から高い周波数成分を除去した相加平均濃度値を求める。たとえば、図６に示す画素列Ｘａからは図８の（ａ）に示すような相加平均濃度値が抽出される。
Ｓ１１３３では、相加平均濃度値を微分する。図８の（ａ）に示す相加平均濃度値では図８の（ｂ）に示す微分値となる。
Ｓ１１３４では、微分値から、相加平均濃度値の暗さのピークに対応するＹ座標値を求める。微分値が負から正に反転するＹ座標値は、暗さのピークに対応して、眼、眉、口等をそれぞれ代表する１個ずつのＹ座標値となる。微分値が正から負に反転するＹ座標値は、眼、眉等の中間位置に対応する明るさのピーク位置であるから本実施の形態では使用しない。
【００１０】
図８の（ａ）に示す相加平均濃度値では図８の（ｂ）に示す微分値となり、微分値が負から正に反転するＹ座標値ｐ１，ｐ２，ｐ３，ｐ４，ｐ５が抽出される。これらの中で手前の微分値のピークが閾値（破線）以下となるＹ座標値ｑ１，ｑ２，ｑ５が抽出点とされる。手前の微分値のピークを判別することで、顔面のしわや凹凸が抽出点となることを回避している。
Ｓ１１３５では、最後の画素列、図６の右端の画素列であるか否かを判定する。最後の画素列であれば、全部の画素列で抽出点を特定済みであるから、Ｓ１１４へ進む。最後の画素列でなければＳ１１３１へ進み、つぎの画素列濃度値データによる抽出点の特定を開始させる。
このようにして、図９に示すように、画素列ごとに０から４個程度の抽出点Ａ１，Ａ２，Ａ３，Ａ４が特定される。画素列Ｘｃでは、抽出点Ａ１，Ａ２、画素列ＸｄではＡ１，Ａ２，Ａ３，Ａ４が特定される。
【００１１】
Ｓ１１４では、画素列ごとに求めた抽出点をＸ方向に連結してグループ化する。処理手順を図１０に示す。
Ｓ１１４１では、画素列の抽出点データを順番に呼び出す。
Ｓ１１４２，Ｓ１１４３では、隣接する画素列の抽出点についてＹ座標値が比較される。隣接する画素列の抽出点Ｙ座標値の差が１０画素以下であれば、Ｓ１１４４へ進んで連結データが形成される。差が所定範囲を超える（グループ化できない）と判断された場合はＳ１１４５へ進んで連結データは形成されない。
【００１２】
連結データは、発生したグループごとに順番に付与されるグループ番号、グループの左端の抽出点の属する画素列の番号（Ｘ座標値に対応）で分類して、連結された抽出点の個数（画素列数）とＹ座標値をメモリに記憶し、画素列を処理するごとに記憶内容を書き替えて形成される。
Ｓ１１４５では、最後の画素列であるか否かを判定する。最後の画素列であれば、全部の画素列でグループ化を判定済みであるから、Ｓ１１５へ進む。最後の画素列でなければ、Ｓ１１４１へ進み、つぎの画素列の抽出点によるグループ化の判定を開始させる。
【００１３】
Ｓ１１５では、図５に示す画像データ演算回路２３が、図１１に示す手順に従って不必要な連結データを除去し、最終的に必要な連結データについてだけ候補点データを形成する。処理手順を図１１に示す。
Ｓ１１５１では、メモリから連結データをグループ番号の順に１個ずつ呼び出す。
Ｓ１１５２，Ｓ１１５３では、連結データの連結データ数を評価する。連結データ数が５個以上であれば、つぎのＳ１１５４へ進んで候補点データを形成する。連結データ数が５個未満であれば（鼻の穴等）、Ｓ１１５５へ進んで候補点データを形成しない。
【００１４】
たとえば、図９に示す抽出点群からは、図１２の（ａ）に示すように、両方の眼および眉、鼻の影、口にそれぞれ相当する６個の抽出点のグループＧ１〜Ｇ６が残される。ここでは、残された６個のグループについて左から右、上から下方向に順番に番号を付け直している。候補点データは、残された抽出点のグループをそれぞれ画面上の１個ずつの候補点で代表される１組の座標値、すなわち、そのグループに属する抽出点のＹ座標値の平均値（高さ）と、グループ左右両端の画素列中央のＸ座標値で構成される。
たとえば、図１２の（ａ）に示す抽出点のグループＧ１〜Ｇ６は、図１２の（ｂ）に示す画面上の６個の候補点Ｋ１〜Ｋ６で代表される。
【００１５】
Ｓ１１５５では、最後の連結データであるか否かを判定する。最後の連結データであれば、全部の連結データを評価済みであるから、Ｓ１１６へ進む。最後の連結データでなければＳ１１５１へ進み、つぎの連結データの評価を開始させる。
【００１６】
Ｓ１１６では、図５に示す顔の特徴量認識回路２４が、候補点データを評価して複数の候補点の中から片方の眼の候補点を特定する。
たとえば、図１２の（ｂ）に示す６個の候補点Ｋ１〜Ｋ６の場合、Ｙ座標値の大きい（低い）、候補点Ｋ５，Ｋ６を中心にして中央の検出ゾーンＺＣを形成する。検出ゾーンＺＣの外側には、Ｙ座標値の小さい（高い）候補点Ｋ１，Ｋ３と候補点Ｋ２，Ｋ４をそれぞれ中心にして左右の検出ゾーンＺＬ，ＺＲを設定する。
そして、左側の検出ゾーンＺＬに含まれる２つの候補点Ｋ１，Ｋ３と中央の検出ゾーンＺＣに含まれる候補点Ｋ６の高さや、候補点Ｋ１，Ｋ３の位置関係に基づいて片方の眼に対応する候補点Ｋ３が特定される。
【００１７】
走行環境検出Ｓ１２は図１３に示すように車両に設置されたＧＰＳからの信号を受信Ｓ１２１し、受信されたＧＰＳ信号を元に受信位置の緯度経度を検出Ｓ１２２し、車両に搭載されている地図データから車両の現在位置の道路種別情報を抽出Ｓ１２３する。
また、車両が高速道路を走行しているときは平均車速が高くなり、一般道路を走行しているときは平均車速が低くなることから、走行環境検出Ｓ１２は図１４に示すような処理にすることもできる。たとえば、１秒毎に車速を検出して３０秒間隔の平均車速を検出Ｓ１２４し、検出された平均車速が設定された閾値、たとえば５０ｋｍ／ｈよりも大きいかどうかの判断Ｓ１２５を行い、閾値以上と判断された場合は車両は高速道路を走行中と判断Ｓ１２６され、閾値未満と判断された場合は車両は一般道路を走行中と判断Ｓ１２７する。
また、車両が高速道路を走行しているときは舵角の変化量は小さくなり、一般道路を走行しているときは舵角の変化量は大きくなることから、走行環境検出Ｓ１２は図１５に示すような処理にすることもできる。たとえば１秒毎に舵角変化量を検出して３０秒間隔の平均舵角変化量を検出Ｓ１２８し、検出された平均舵角変化量が設定された閾値、たとえば１５°よりも小さいかどうかの判断Ｓ１２９を行い、設定された閾値未満と判断された場合は車両は高速道路を走行中と判断Ｓ１２１０され、設定された閾値以上と判断された場合は車両は一般道路を走行中と判断Ｓ１２１１する。
【００１８】
また、高速道路脇に設置されつつある交通情報提供のビ−コンやその他の情報提供手段からの情報を受信することによって高速道路を走行中であると判断することもできる。
【００１９】
眼の位置検出Ｓ２について図１６のフローチャートを用いて説明する。処理が開始されると画像全体に対する眼の位置検出Ｓ１１で検出された眼の位置情報から眼の検出基準位置の設定Ｓ２１を行い、設定された眼の検出基準位置内での眼の位置検出Ｓ２２を行う。Ｓ２３では、眼の位置が検出されれば眼の検出基準位置内での眼の位置検出Ｓ２２に戻り、検出できなければつぎの処理Ｓ３へと進む。
眼の検出基準位置内での眼の位置検出Ｓ２２については検出処理範囲が限定される他は顔画像全体での眼の位置検出と同じになるので説明を省略する。
【００２０】
走行環境変化の判断Ｓ３について図１７のフローチャートを用いて説明する。
処理が開始されると現在車両が走行している走行環境の検出Ｓ１２を行い、前処理であらかじめ記録媒体に記憶されている走行環境と検出された走行環境との比較Ｓ３１を行い、新たに検出された走行環境を記憶媒体へ記録する。走行環境が変化していれば▲３▼を通じてつぎの処理Ｓ４へ、走行環境が変化していなければ▲４▼を通じてつぎの処理Ｓ４へと処理が進む。
【００２１】
眼の再検出ロジックの選択Ｓ４について図１８のフローチャートを用いて説明する。▲３▼から処理が移行されてきた場合は、処理が開始されると走行環境が一般道路から高速道路へ変化したかどうかを判断Ｓ４１し、一般道路から高速道路へ変化した場合は眼の検出基準位置を所定量下方へ移動して眼の位置を再検出Ｓ４３し、つぎの処理Ｓ５へと進む。検出基準を移動させる所定量は、車種、用途、シート形状等により異なるので、適宜設定されるものであるが、たとえば１５０画素から２００画素程度である。一般道路から高速道路へ変化したのでなければ、走行環境が高速道路から一般道路へ変化したかどうかを判断Ｓ４２し、高速道路から一般道路へ変化した場合は眼の検出基準位置を所定量上方へ移動して眼の位置を再検出Ｓ４４し、つぎの処理Ｓ５へと進む。▲４▼から眼の再検出ロジックの選択Ｓ４に処理が移行してきた場合は画像全体に対して眼の位置検出Ｓ１１を行い、つぎの処理Ｓ５へと進む。
【００２２】
警報発生の判断Ｓ５について図１９のフローチャートを用いて説明する。
処理が開始されると眼の再検出ロジックの選択Ｓ４の再検出の結果から眼が検出されたかどうかを判断Ｓ５１し、眼が検出された場合は警報を発生せずに、図１６の▲６▼に示す位置に処理を戻す。眼が検出されなかった場合は運転者は脇見をしていると判断し警報を発生Ｓ５２し、図１６の▲６▼に示す位置に処理を戻す。警報はブザーを鳴らしたり、シートやハンドルに備え付けられたバイブレータを振動させるなどの種々の方法が公知なので説明を省略する。
【００２３】
図２０は本発明実施の形態２を示すブロック図である。画像入力部１で得られた運転者の顔画像を眼位置検出部２に送り、このとき眼位置検出部２によって眼が検出されなければ、警報発生部３によって運転者に警報を発する。このとき処理速度を向上させるために眼位置検出部２は画像入力部１より入力された顔画像全体に対して眼の検出処理をかけるのではなく、あらかじめ検出された眼の位置を元に所定の大きさで処理範囲を決め、その範囲内において検出処理を行っている。眼位置検出部２が眼を検出できなかったときは運転姿勢検出部５によって得られている運転者の運転姿勢の変化に応じて、眼位置検出部２は眼の位置を検出する処理範囲を画像内において所定量移動させて再度眼の位置の検出処理を行う。
【００２４】
処理全体の流れを図２１を使って説明する。
まず、処理が開始されると初期設定Ｓ１が行われ、つぎに眼の位置検出Ｓ２、着座姿勢変化の判断Ｓ６、眼の再検出ロジックＳ４、警報発生の判断Ｓ５と流れ、眼の位置検出Ｓ２へと処理は戻る。
初期設定Ｓ１について図２２のフローチャートを用いて説明する。処理が開始されると画像全体に対して眼の位置検出Ｓ１１を行い、つぎに運転者の着座姿勢検出Ｓ１３を行い記憶媒体へ検出結果を記録し、つぎの処理Ｓ２へと処理が進む。
【００２５】
着座姿勢検出Ｓ１３は感圧センサがシートの背もたれ部に備え付けられ、感圧センサが所定の閾値以上の圧力を検出したときは運転者が背もたれに寄りかかって、運転者は後傾姿勢になっていると判断し、感圧センサにより検出された圧力が所定の閾値未満ならば運転者は前傾姿勢をとっていると判断する。
また、着座姿勢検出Ｓ１３は感圧センサがシート座面部の前部と後部とに備え付けられ、後部の感圧センサが圧力の増加を検知し、前部の感圧センサが圧力の減少を検知した時は運転者は後傾姿勢になっていると判断し、前部の感圧センサが圧力の増加を検知し、後部の感圧センサが圧力の減少を検知した時は運転者は前傾姿勢をとっていると判断するようにすることもできる。
【００２６】
着座姿勢変化の判断Ｓ６について図２３のフローチャートを用いて説明する。処理が開始されると現在の運転者の着座姿勢検出Ｓ１３を行い、前処理であらかじめ記録媒体に記憶されている着座姿勢と検出された着座姿勢の比較Ｓ３３を行い、新たに検出された着座姿勢を記憶媒体へ記録する。着座姿勢が変化していれば▲３▼を通じてつぎの処理Ｓ４へ、着座姿勢が変化していなければ▲４▼を通じてつぎの処理Ｓ４へと進む。
【００２７】
眼の再検出ロジックの選定Ｓ４について図２４のフローチャートを用いて説明する。▲３▼から処理が移行されてきた場合は、処理が開始されると着座姿勢が前傾姿勢から後傾姿勢へ変化したかどうかを判断Ｓ４５し、前傾姿勢から後傾姿勢へ変化した場合は眼の検出基準位置を所定量下方へ移動して眼の位置を再検出Ｓ４３し、つぎの処理Ｓ５へと進む。前傾姿勢から後傾姿勢へ変化したのでなければ、着座姿勢が後傾姿勢から前傾姿勢へ変化したかどうかを判断Ｓ４６し、後傾姿勢から前傾姿勢へ変化した場合は眼の検出基準位置を所定量上方へ移動して眼の位置を再検出Ｓ４４し、つぎの処理Ｓ５へと進む。▲４▼から眼の再検出ロジックの選定Ｓ４に処理が移行してきた場合は画像全体に対して眼の位置検出Ｓ１１を行い、つぎの処理Ｓ５へと進む。
なお、眼の位置検出Ｓ２、警報発生の判断Ｓ５については実施の形態１と同じであるため説明を省略する。
【００２８】
【発明の効果】
以上説明してきたように、請求項１記載の発明は、所定領域に眼が検出されず、かつ走行環境検出手段により走行環境の変化が検出されたときには、走行環境の変化に基づいて所定領域を顔画像内において移動させるので、眼の再検出が速やかに行われ、誤警報の発生率を低減することができる。
また、請求項１記載の発明は、運転者の運転姿勢が変化する高速道路から一般道路、あるいは一般道路から高速道路への走行環境の変化が検出されたときは、所定領域を顔画像内において上方向あるいは下方向へそれぞれ移動させるので、眼の再検出が速やかに行われ、誤警報の発生率を低減することができる。
また、請求項２記載の発明は、外部から受信した現在位置情報と地図データとに基づいて現在走行している道路種別を検出するので、請求項１記載の発明の効果に加えて、運転者の運転姿勢が変化する状況を正確に判断することができる。
また、請求項３記載の発明は、平均車速が第１の閾値以上かまたは平均舵角変化量が第２の閾値未満の場合高速道路を走行していると判断し、平均車速が第１の閾値未満かまたは平均舵角変化量が第２の閾値以上の場合一般道路を走行していると判断するので、請求項１記載の発明の効果に加えて、簡単な構成で運転者の運転姿勢が変化する状況を判断することができる。
また、請求項４記載の発明は、所定領域に眼が検出されず、かつ運転状態検出手段により運転者の運転状態の変化が検出されたときには、運転環境の変化に基づいて所定領域を顔画像内において移動させるので、眼の再検出が速やかに行われ、誤警報の発生率を低減することができる。
また、請求項４記載の発明は、所定領域に眼が検出されず、かつ運転姿勢検出手段により運転者の後傾姿勢から前傾姿勢への変化が検出されたときには所定領域を顔画像内において上方向へ移動させ、所定領域に眼が検出されず、かつ運転姿勢検出手段により運転者の前傾姿勢から後傾姿勢への変化が検出されたときには所定領域を顔画像内において下方向へ移動させるので、眼の再検出が速やかに行われ、誤警報の発生率を低減することができる。
また、請求項５記載の発明は、シートバックの圧力が所定の閾値以上の場合、またはシート座面前部の圧力が減少し、かつシート座面後部の圧力が増加した場合、運転者は後傾姿勢であると判断し、シートバックの圧力が所定の閾値未満の場合、またはシート座面前部の圧力が増加し、かつシート座面後部の圧力が減少した場合、運転者は前傾姿勢であると判断するので、請求項４記載の発明の効果に加えて、運転者の運転姿勢が変化する状況を正確に判断することができる。
【図面の簡単な説明】
【図１】本発明実施の形態１を示すブロック図である。
【図２】実施の形態１の処理全体の流れを示すフローチャートである。
【図３】実施の形態１の初期設定処理を示すフローチャートである。
【図４】実施の形態１の顔画像全体に対する眼の位置検出処理を示すフローチャートである。
【図５】実施の形態１の眼位置検出部の構成を示すブロック図である。
【図６】画素列設定の説明図である。
【図７】実施の形態１の顔画像全体に対する眼の位置検出処理を示すフローチャートである。
【図８】画素列に沿った濃度値の説明図である。
【図９】抽出点の分布の説明図である。
【図１０】実施の形態１の顔画像全体に対する眼の位置検出処理を示すフローチャートである。
【図１１】実施の形態１の顔画像全体に対する眼の位置検出処理を示すフローチャートである。
【図１２】実施の形態１の顔画像全体に対する眼の位置検出を説明する図である。
【図１３】実施の形態１の走行環境検出処理を示すフローチャートである。
【図１４】実施の形態１の走行環境検出処理を示すフローチャートである。
【図１５】実施の形態１の走行環境検出処理を示すフローチャートである。
【図１６】実施の形態１の眼の位置検出処理を示すフローチャートである。
【図１７】実施の形態１の走行環境変化の判断処理を示すフローチャートである。
【図１８】実施の形態１の眼の再検出ロジックの選定処理を示すフローチャートである。
【図１９】実施の形態１の警報発生の判断処理を示すフローチャートである。
【図２０】本発明実施の形態２を示すブロック図である。
【図２１】実施の形態２の処理全体の流れを示すフローチャートである。
【図２２】実施の形態２の初期設定処理を示すフローチャートである。
【図２３】実施の形態２の着座姿勢検出処理を示すフローチャートである。
【図２４】実施の形態２の眼の再検出ロジックの選定処理を示すフローチャートである。
【符号の説明】
１画像入力部
２眼位置検出部
３警報発生部
４走行環境検出部
５運転姿勢検出部
１１ビデオカメラ
２１Ａ−Ｄ変換器
２２画像メモリ
２３画像データ演算回路
２４顔の特徴量認識回路

Claims

運転者の顔画像を撮像する画像入力手段と、
車両の走行環境の変化を検出する走行環境検出手段と、
前記画像入力手段から入力された顔画像に基づいて画像処理を行い、運転者の眼の位置が検出されると、画像処理を行う範囲を、眼の位置を含みかつ前記顔画像よりも小さな所定領域に限定して眼の位置を検出するとともに、前記所定領域に眼が検出されず、かつ前記走行環境検出手段により走行環境の変化が検出されたときには、この走行環境の変化に基づいて前記所定領域を前記顔画像内において移動させる眼位置検出手段と、
この眼位置検出手段により検出された運転者の眼の位置に基づいて運転者が車両の運転に適した状態かどうかを判断し、運転に適した状態ではないと判断した場合には警報を発する警報発生手段と、を備え、
前記眼位置検出手段は、前記所定領域に眼が検出されず、かつ前記走行環境検出手段により高速道路を走行している状態から一般道路を走行している状態への変化が検出されたときには前記所定領域を前記顔画像内において上方向へ移動させ、前記所定領域に眼が検出されず、かつ前記走行環境検出手段により一般道路を走行している状態から高速道路を走行している状態への変化が検出されたときには前記所定領域を前記顔画像内において下方向へ移動させることを特徴とする車両用警報装置。
前記走行環境検出手段は、
車両が外部からの現在位置情報を受信する受信手段と、
少なくとも道路種別情報を持つ地図データと、
この地図データと前記現在位置情報とから現在走行している道路種別を検出する道路種別検出手段と、を有することを特徴とする請求項１記載の車両用警報装置。
前記走行環境検出手段は、第１の所定時間の平均車速を検出する平均車速検出手段、あるいは第２の所定時間の平均舵角変化量を検出する平均舵角変化量検出手段の少なくとも一方を有し、
平均車速が第１の閾値以上かまたは平均舵角変化量が第２の閾値未満の場合高速道路を走行していると判断し、平均車速が第１の閾値未満かまたは平均舵角変化量が第２の閾値以上の場合一般道路を走行していると判断することを特徴とする請求項１記載の車両用警報装置。
運転者の顔画像を撮像する画像入力手段と、
運転者の運転姿勢の変化を検出する運転姿勢検出手段と、
前記画像入力手段から入力された顔画像に基づいて画像処理を行い、運転者の眼の位置が検出されると、画像処理を行う範囲を眼の位置を含み、かつ前記顔画像よりも小さな所定領域に限定して眼の位置を検出するとともに、前記所定領域に眼が検出されず、かつ前記運転姿勢検出手段により運転姿勢の変化が検出されたときには、この運転姿勢の変化に基づいて前記所定領域を前記顔画像内において移動させる眼位置検出手段と、
この眼位置検出手段により検出された運転者の眼の位置に基づいて運転者が車両の運転に適した状態かどうかを判断し、運転に適した状態ではないと判断した場合には警報を発する警報発生手段と、を備え、
前記眼位置検出手段は、前記所定領域に眼が検出されず、かつ前記運転姿勢検出手段により運転者の後傾姿勢から前傾姿勢への変化が検出されたときには前記所定領域を前記顔画像内において上方向へ移動させ、前記所定領域に眼が検出されず、かつ前記運転姿勢検出手段により運転者の前傾姿勢から後傾姿勢への変化が検出されたときには前記所定領域を前記顔画像内において下方向へ移動させることを特徴とする車両用警報装置。
前記運転姿勢検出手段は、シートバックまたはシート座面前部および後部の少なくとも一方に設けられ圧力を検出する圧力検出手段を有し、
シートバックの圧力が所定の閾値以上の場合またはシート座面前部の圧力が減少し、かつシート座面後部の圧力が増加した場合運転者は後傾姿勢であると判断し、シートバックの圧力が所定の閾値未満の場合またはシート座面前部の圧力が増加し、かつシート座面後部の圧力が減少した場合運転者は前傾姿勢であると判断することを特徴とする請求項４記載の車両用警報装置。