JP3858570B2 - 脇見状態検出装置 - Google Patents
脇見状態検出装置 Download PDFInfo
- Publication number
- JP3858570B2 JP3858570B2 JP2000196788A JP2000196788A JP3858570B2 JP 3858570 B2 JP3858570 B2 JP 3858570B2 JP 2000196788 A JP2000196788 A JP 2000196788A JP 2000196788 A JP2000196788 A JP 2000196788A JP 3858570 B2 JP3858570 B2 JP 3858570B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- image data
- eye
- state detection
- look
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、車両の運転者、船舶の操船者、プラント等のオペレータ等の脇見状態を検出し警報することなどに供する脇見状態検出装置に関する。
【0002】
【従来の技術】
従来の画像処理によるこの種の装置には、特開平8−300978号公報に記載されたものがある。この装置ではカメラにより撮影した運転者の顔画像を画像入力手段に入力し、入力された顔画像から眼の上下幅に対応する所定長以下の長さの黒レベル領域、すなわち眼、眉、鼻孔、口裂等の特徴量をフィルタリングし、この特徴領域抽出画像を浮動二値化手段により二値化し、二値化画像内で眼存在領域設定手段により眼の存在領域を設定し、眼存在領域内で後方領域設定手段により眼後方領域を設定し、眼後方領域内から眼領域判定手段により眼を抽出するようにしている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来の装置においては、眼の領域を判定するために顔全体の濃淡レベル変化手段や浮動二値化手段、眼の存在領域設定手段や後方領域設定手段などの構成により処理時間が長くなり、例えば眼を失った場合、眼を再検出するまでの間は居眠り運転や脇見運転の検出ができなくなるという問題があった。
【0004】
本発明は、迅速な脇見状態検出のできる脇見状態検出装置の提供を課題とする。
【0005】
【課題を解決するための手段】
請求項1の発明は、運転者の顔を撮像する画像装置と、該画像装置で得られた画像データを処理して運転者の脇見状態を判定する脇見判定手段とを備えた脇見状態検出装置において、前記画像データから眼の位置を検出する眼の位置検出手段と、前記画像データを記憶する画像データ記憶手段と、前記眼の位置検出手段が少なくとも一方の眼の位置を検出できなくなったときに、前記記憶された画像データ上の両眼の下方に設定した左右のラインの濃度情報に基づいて光環境の異常を検出することにより、前記画像データが曖昧状態であると判定する曖昧状態検出手段と、前記眼の位置検出手段が両眼の位置を検出しているとき、または前記曖昧状態検出手段が光環境の異常を検出していないときに、前記眼の位置および両眼の画像データの有無に基づいて脇見を判定する脇見判定手段と、前記曖昧状態検出手段が曖昧状態であると判定したとき、前記画像データのうち少なくとも眼に関する画像データ以外の画像データを用いて脇見を推定する脇見推定手段と、を備えたことを特徴とする。
【0007】
請求項2の発明は、請求項1記載の脇見状態検出装置であって、前記曖昧状態検出手段は前記濃度情報に基づいて、前記画像データから少なくとも一方の眼が消失し且つ所定以上の光が入射しているとき光環境が異常と判定することを特徴とする。
【0009】
請求項3の発明は、請求項1記載の脇見状態検出装置であって、前記脇見推定手段は、前記画像データ上の鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定することを特徴とする。
【0010】
請求項4の発明は、請求項1記載の脇見状態検出装置であって、前記脇見推定手段は、前記画像データの前記所定以上の光が入射している部分と陰の部分との明暗の境界位置の変化に基づいて前記脇見を推定することを特徴とする。
【0011】
請求項5の発明は、請求項2記載の脇見状態検出装置であって、前記脇見推定手段は、前記画像データ上の鼻と消失せずに残っている他方の眼とで脇見の推定を行うことを特徴とする。
【0012】
請求項6の発明は、請求項1記載の脇見状態検出装置であって、前記曖昧状態検出手段は、顔に入射する光の方向を検出し、前記脇見推定手段は、前記検出された光の入射方向が前方の場合、鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定することを特徴とする。
請求項7の発明は、請求項1記載の脇見状態検出装置であって、前記曖昧状態検出手段は、顔に入射する光の方向を検出し、前記脇見推定手段は、前記検出された光の入射方向が横方向の場合、前記画像データの明暗の境界位置の変化に基づいて前記脇見を推定することを特徴とする。
【0013】
請求項8の発明は、請求項6又は7記載の脇見状態検出装置であって、前記曖昧状態検出手段は、前記入射している光の方向の検出を、暦と時刻とから太陽の方角を算出し、ナビゲーションシステムからの位置情報から操作対象に対する太陽の位置を推定することにより行うことを特徴とする。
【0014】
請求項9の発明は、請求項6又は7記載の脇見状態検出装置であって、前記曖昧状態検出手段は、前記入射している光の方向の検出を、サンバイザの操作情報により行うことを特徴とする。
【0015】
請求項10の発明は、請求項1記載の脇見状態検出装置であって、前記脇見の判定又は推定により警報を行う警報発生手段を備えたことを特徴とする。
【0016】
【発明の効果】
請求項1の発明では、画像装置によって運転者の顔を撮像し、脇見判定手段によって画像装置で得られた画像データを処理して運転者の脇見状態を判定することができる。又、曖昧状態検出手段によって前記画像データが不完全な曖昧状態にあることを検出し、該曖昧状態検出手段が曖昧状態であることを検出したとき、脇見推定手段により曖昧状態検出手段の画像情報から脇見を推定することができる。従って、運転者の顔に強い光が当たり、眼が画像から消えるなど画像装置の情報が曖昧状態でも、運転者が前を見ているか見ていないかの推定を行うことができ、迅速な処理を可能とする。
【0018】
請求項2の発明では、請求項1の発明の効果に加え、曖昧状態検出手段は画像データから少なくとも一方の眼が消失し、かつ所定以上の光が入射しているとき曖昧状態であると検出することができる。
【0019】
従って、脇見をして眼のデータが消えたのか、所定以上の光で眼のデータが消えたのかを区別することができ、迅速な処理を行うことができる。
【0022】
請求項3の発明では、請求項1の発明の効果に加え、脇見推定手段は鼻の位置を検出し、検出した鼻の位置情報に基づき脇見を推定することができる。
従って、片目又は両目が消失しても脇見推定を行うことができる。
【0023】
請求項4の発明では、請求項1の発明の効果に加え、脇見推定手段は画像データの所定以上の光が入射している部分と陰の部分との明暗の境界位置の変化により脇見を推定することができる。
【0024】
従って、画像から眼や鼻の情報が消えても脇見推定を行うことができる。
【0025】
請求項5の発明では、請求項2の発明の効果に加え、脇見推定手段は脇見の推定を残っている一方の眼と鼻で推定することができる。
【0026】
従って、両眼のうち一方の眼が消えた場合に、残っている他方の眼と鼻の組み合わせで脇見を推定することができ、脇見推定精度の向上を図ることができる。
【0027】
請求項6の発明では、請求項1の発明の効果に加え、脇見推定手段は所定以上の光が前方から入射しているときは鼻の位置を検出し、該検出した鼻の位置情報に基づき脇見を推定することができる。
請求項7の発明では、請求項1の発明の効果に加え、脇見推定手段は光が横方向から入射しているときは所定以上の光が入射している部分と陰の部分との明暗の境界位置の変化により脇見を推定することができる。従って、光の入射方向に合った最適な脇見推定を行うことができる。
【0028】
請求項8の発明では、請求項6又は7の発明の効果に加え、曖昧状態検出手段は入射している光の方向の検出を暦と時刻とから太陽の方向を検出し、ナビゲーションシステムからの位置情報から操作対象に対する太陽の位置を推定することにより行うことができる。従って、光の方向の検出精度をより向上することができる。
【0029】
請求項9の発明では、請求項6又は7の発明の効果に加え、曖昧状態検出手段は入射している光の方向の検出をサンバイザの操作情報により行うことができる。従って、手軽な手段によって光の方向の検出精度を向上することができる。
【0030】
請求項10の発明では、請求項1の発明の効果に加え、警報発生手段により脇見の判定又は推定により警報を行うことができる。従って、運転者に脇見状態を的確に伝えることができる。
【0031】
【発明の実施の形態】
本装置は、自動車の他に鉄道車両、船舶、プラントのオペレータ等の居眠り運転警報として用いることができるが、本実施例では自動車に適用した場合で説明する。
【0032】
図1は、本発明を適用した眼の状態検出装置の構成ブロック図にかかり、該装置は、画像装置CL1と、脇見判定手段CL2と、曖昧状態検出手段CL3と、脇見推定手段CL4と、警報発生手段CL5とを備えている。
【0033】
前記画像装置CL1は、運転者の状態を検出するもので、例えば、顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して顔の特徴量を検出する特徴量検出手段と、前記検出された顔の特徴量から予め記憶された眼の特徴情報に合致する特徴量を抽出して眼の位置を検出する眼の位置検出手段とを備えている。
【0034】
前記脇見判定手段CL2は、前記画像装置CL1で得られた画像データを処理して脇見状態を判定するもので、例えば、前記検出された眼の位置を基準に眼を含む追跡領域を設定すると共に、該追跡領域内で顔の特徴量を検出して眼の詳細位置を検出し、該眼の詳細位置の変化から脇見を判定するものである。
【0035】
前記曖昧状態検出手段CL3は、画像データが不完全な曖昧状態にあることを検出するものであり、画像データから少なくとも一方の眼が消失し且つ所定以上の光が入射しているとき曖昧状態であると検出する。または、前記曖昧状態検出手段CL3は、前記入射している光の方向を検出し、該検出した光の入射方向を考慮する。または、前記曖昧状態検出手段CL3は、前記入射している光の方向の検出を、暦と時刻とから太陽の方角を算出し、ナビゲーションシステムからの位置情報から操作対象に対する太陽の位置を推定することにより行うか、サンバイザの操作情報により行う。
【0036】
前記脇見推定手段CL4は、曖昧状態検出手段CL3が曖昧状態であることを検出したとき、曖昧状態検出手段CL3の画像情報から脇見を推定する。または、脇見推定手段CL4は、鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定する。または、脇見推定手段CL4は、前記画像情報の前記所定以上の光が入射している部分と陰の部分との状態変化により前記脇見を推定する。または、前記脇見推定手段CL4は、所定以上の光が前方から入射しているときは鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定し、前記検出した光が横方向から入射しているときは所定以上の光が入射している部分と陰の部分との状態変化により前記脇見を推定する。
【0037】
前記警報発生手段CL5は、前記脇見の判定又は推定により警報を行うものである。
【0038】
(第1実施形態)
図2は、本発明の第1実施形態にかかる構成ブロック図である。
【0039】
同図のように、前記画像装置CL1を構成するTVカメラ21が自動車のインストルメントに設置され、運転者の顔部分を正面から撮影する。TVカメラ21の入力画像は、本実施形態では、例えば横方向(X)512画素、縦方向(Y)480画素からなる。前記TVカメラ1で撮像された入力画像は、画像装置CL1のA−D変換器22を介して画素毎のアナログ電圧が256階調のデジタル値に変換され、入力画像データとして画像装置CL1の画像メモリ203に格納される。画像メモリ23の出力は、画像装置CL1の画像データ演算回路24に入力される。
【0040】
前記画像データ演算回路24は、前記入力された顔画像データから顔の縦方向の画素列に沿って画素の濃度値を読み出し、該濃度値の局所的な高まり毎に1個づつの画素を定めて抽出点とし、隣接した抽出点を連続させて顔の横方向に延びる連続データを抽出して顔の特徴量とし、その出力は画像装置CL1の顔の特徴量検出回路25に入力される。
【0041】
前記顔の特徴量検出回路25は、前記検出された顔の特徴量の画像上の位置、長さ、形状情報を用いて眼の位置を検出し、その出力は脇見判定手段CL2の両眼追跡回路26に入力される。
【0042】
前記両眼追跡回路26は、前記顔の特徴量検出回路25において検出された眼の位置を基準に眼を含む追跡領域を設定すると共に、該追跡領域内で顔の特徴量を検出して眼の詳細位置を検出し、その出力は曖昧状態検出手段CL3としての曖昧状態検出回路27に入力される。
【0043】
曖昧状態検出回路27では、両眼追跡中に少なくとも一方の眼のデータが消失したと同時に画像の状態が不安定で曖昧な状態であることを検出し、該曖昧な状態が検出されなければ前記両眼追跡回路26の出力が曖昧状態検出回路27の出力として脇見検出回路28へ入力され、曖昧状態が検出された場合には曖昧状態検出回路27の画像情報が脇見推定回路30へ入力されることになる。
【0044】
脇見検出回路28では、前記両眼追跡回路26からの画像データによって両眼の位置情報及び両眼データの有り無しの情報から脇見を判定し、警報装置29へ出力する。前記脇見推定回路30では、前記曖昧状態検出回路27からの画像情報によって脇見を推定し、警報装置29へ出力する。警報装置29では、脇見の判定又は推定によりブザーや警報ランプなどで警報することになる。
【0045】
図3は、本発明の第1実施形態に係る曖昧状態を検出する手段27を説明するフローチャートである。ステップS11では、左右それぞれの眼を独立に追跡しているときに少なくとも一方の眼が消失した場合はステップS12へ進み、消えていない場合はステップS14へ進む。ステップS12では眼下部の左右ラインの濃度値を読み込み、ステップS13では読み込んだ濃度値から光環境が正常かそうでないかを判断する。光環境が正常ならばステップS14へ進み、正常でなければステップS17へ進む。ステップS14では、両眼の座標変化と両眼の相対位置の変化および眼のデータの有無の情報から脇見を判定する。ステップS15では、脇見判定回路ステップS14の判定結果を受けて脇見の判断を行い、脇見状態であればステップS16へ移行して、警報装置の警報をON・OFFする。
【0046】
前記ステップS12における眼の下部に相当する位置から画素の濃度を読み込む方法は、図4,図5に示すように行う。図4は図2の顔特徴量検出回路25から検出された眼の位置に、追跡領域を設定して両眼を追跡している状態を示す。1は画像処理をする範囲を示す。2は運転者の顔を示す。3は初期に検出した眼の座標を基準の眼の追跡領域(追跡ウインドウ)10を設定し、その範囲で捉えた左眼の連続データを示す。4は同様に右眼の連続データを示す。5は鼻、6は口を示す。7,8は眉毛を示す。顔の濃度情報から曖昧状態を判断するには、顔全体の濃度を読み込んで判断するのが理想だが情報量が増加するため処理速度が遅くなる。よって図5のように眼付近に濃度を読み込む範囲を設定した。光環境を判断する濃度読み込みライン12,13は、左右方向および上下方向の濃度変化の情報が得られるよう左右2カ所に設定した。濃度読み込みライン12,13の横方向の位置は眼の位置直下に、また上下方向は眼の位置からya離れた位置を基点にy1の長さで設定する。眼の位置は、眼のデータが消失した場合は、眼の位置データを格納するメモリ(例えば10フレーム分)に入っている最近の座標データを基準に設定する。
【0047】
次に、前記ステップS13において、読み込んだ濃度から光環境が正常か異常かを判定する方法は、図6〜9に示すように行う。図6は前方から陽が当たっている画像状態を示し、眼の下まぶたから上は黒く、まぶたから下は白くなる。このときの濃度読み込みライン12および13の濃度を図7のパターンAに示す。
濃度読み込みライン12,13共に所定以上の光として太陽光が顔全般にわたり当たっているため白っぽくなり、強い日射しが当たったときの濃度値に対してあらかじめ低めに設定した閾値を濃度読み込みライン12,13共に超えた場合は光環境が悪化していると判断する。パターンBは、影の下限ラインが濃度読み込みライン12,13の中程まで下がっているときのデータ状態を示す。このような場合には、白い領域の平均濃度値が閾値C2より明るく、黒い領域の平均濃度値が閾値C1を下回った場合に光環境が悪化していると判断する。
【0048】
また、パターンCは、影の下限ラインが濃度読み込みライン12,13の下に移動したときの濃度値を示す。すべて影に入っているため濃度値が全体にわたり黒っぽくなる。濃度読み込みライン12,13の平均値が閾値C1より黒い場合は、曖昧状態を判定する条件とする。
【0049】
図8は、横方向から太陽光が当たった場合の顔画像であり、顔の右側が白く左側が影になって黒っぽくなる。このときの濃度読み込みライン12および13の濃度を図9に示す。濃度読み込みライン12は影に入っているため黒く、濃度読み込みライン13は白くなり、左右で濃度差が発生する。この濃度差が閾値を超えた場合は光環境が悪化していると判断する。この実施形態では右側から光が入射している例を示したが、左から入射している場合も同様である。
【0050】
次に、前記ステップS17において、画像の状態が不安定で曖昧な状態のときの運転者の脇見の推定を行う方法を、鼻の位置を検出して追跡する図10〜図15により説明する。図10は、前記ステップS17の詳細フローであり、ステップS21では、画像状態が曖昧状態と判定された場合、眼が消失したときに眼の位置データを格納するメモリ(例えば、10フレーム分)に入っている最新の眼の座標データ(図11のxl1,yl1)を基準に鼻の位置に追跡領域を設定する。
【0051】
ステップS22では、眼と鼻の位置関係は、初期の顔の特徴量認識回路の中で眼と鼻が認識され、その時に記憶していた眼と鼻の中心相対座標値(図11の xn,yn)を用いて眼の位置から鼻の位置に追跡エリア31を設定し鼻を追跡する。追跡エリア31(図11)の大きさ(図11のwn1,hn1)は、眼と鼻の相対位置の誤差や運転姿勢の変化を考慮して若干大きいエリアで検索し、鼻の幅や高さが認識できたらその寸法に余裕分を見込み、例えば1.3を乗じた寸法を追跡エリアとし、高速で処理できるよう追跡する面積が最小となるよう設定される。図12は、両眼のデータが消失し、前方を注視した状態で鼻を追跡している状態を示す。このときの鼻の追跡エリア31を拡大したものを図13に示す。鼻孔に相当する連続データ41,42の幅Xnfは頭部の回転角に応じて変化するが、前を見ているときはこの幅Xnfが最大となり、この最大値を例えば処理回数 1000フレームの範囲(1フレーム0.1secとして100sec)で学習し、同時に最大値のときの絶対座標の頻度データを蓄える。
【0052】
ステップS23では、鼻孔の間隔が所定値以下か否かの判断が行われる。運転者が脇見をしたときは頭部の回転角に応じて鼻孔幅Xnfが狭くなる。鼻孔幅 Xnfが所定値以下であればステップS24へ移行し、そうでなければS21へ戻る。一例として、鼻孔幅Xnfが狭くなる閾値はXnfの70%以下に設定される。
【0053】
さらに、ステップS24では、鼻孔が常時存在する位置からずれているか否かが判断される。脇見の場合は、鼻孔中心の絶対座標が脇見した方向にXn移動するため(図14)、この変化をトリガに脇見を判定する。一例として、鼻孔が常時存在する位置からずれているか否かの判断閾値は、鼻孔中心の移動量が40画素以上として設定される。さらに頭部の回転角が増加すると脇見をした側のデータが消えることに着目し、鼻孔が片側消失した場合は無条件に脇見検出と判断する。
【0054】
ステップS25では、前記判断結果から脇見と推定し、前記ステップS16へ移行する。
【0055】
このように本実施形態では、画像データが不完全な曖昧状態にあることを検出したとき、脇見推定回路30によって曖昧状態検出回路27の画像情報から脇見を推定することができる。従って、運転者の顔に強い光が当たり、眼が画像から消えるなど顔画像データが曖昧状態でも脇見推定回路30により運転者が前を見ているか見ていないかの推定を行うことができ、迅速な処理を行うことができる。
【0056】
また、曖昧状態検出回路27は、画像データから少なくとも一方の眼が消失し、かつ所定以上の光が入射しているとき曖昧状態であると検出することができ、脇見をして眼のデータが消えたのか、所定以上の光で眼のデータが消えたのかを区別することができ、迅速な処理を行うことができる。
【0057】
さらに、脇見推定回路30は、鼻の位置を検出し、検出した鼻の位置情報に基づき脇見を推定することができ、片目又は両目が消失しても脇見推定を行うことができる。
【0058】
(第2実施形態)
図16〜図22は、本発明の第2実施形態を示している。図16は、前記第1実施形態の図10に対応する本実施形態のフローチャートであり、他の基本的な構成は、第1実施形態と同様であり、図2等を適宜参照する。
【0059】
本実施形態では、曖昧状態のとき運転者の脇見の推定を、画像の光が当たっている部分と影の部分の状態変化により行っている。まず、ステップS31では、画像状態が曖昧状態と判定された場合、眼が消失したときに眼の位置データを格納するメモリ(例えば10フレーム分)に入っている最新の眼の座標データ(図11のx11,y11)を基準にyn1(図17)の距離を隔てて濃度の読み込みライン51(図17)を設定する。さらに、鼻の位置からyn1(図17)の距離を隔てて濃度の読み込みライン52を設定する。ステップS32ではステップS31で設定した濃度読み込みライン51,52上で濃度データを読み込む。光が横方向から当たっている図17の状態で読み込んだ濃度データを図18(a)に示す。濃度読み込みライン51,52共に右側は白く、中央付近から影の濃度変化は同じ傾向になる。
【0060】
ステップS33では、読み込んだ濃度データの変化をみるため微分する。図18(b)にその微分値を示す。濃度がプラスからマイナスに変化する位置は、濃度読み込みライン51,52ライン上共に略同位置(df)である。
【0061】
ステップS34では、運転中は前を見ている時間の方が安全確認や脇見の時間と比べて長いため、微分値が安定している濃度パターンを学習する。
【0062】
ステップS35では、微分値が安定状態の濃度パターンに対して一定量変化したかどうかを判定し、変化した場合は横を向いている可能性が高いと判定し、前記ステップS16(図3)へ移行し、例えば2secの時間をおいて警報を出力する。
【0063】
図19は左方向を向いている顔画像状態を示す。前方を見ている状態の濃度読み込みライン51,52ライン上のプラスからマイナスに変化する位置が、濃度読み込みライン51,52双方左側に移動し、変化する位置の差(di)も広がる。この変化量を捉えて変化量が所定量に達したときに脇見と推定する。
【0064】
図20は、光が横方向から入射している状態から右をみた画像状態を示す。影の境界ラインが右側に移動し左頬に光が当たる例であるが、前を向いているときと比較して微分値のパターンが異なり、このパターンの違いから脇見を推定する。
【0065】
従って、本実施形態において、脇見推定回路30は、画像情報の所定以上の光が入射している部分と影の部分との状態変化により脇見を推定することができ、画像から眼や鼻の情報が消えても脇見推定を行うことができる。その他、第1実施形態と略同様な作用効果を奏することができる。
【0066】
(第3実施形態)
図23〜図25は、本発明の第3実施形態を示している。図23は、前記第1実施形態の図10に対応する本実施形態のフローチャートであり、他の基本的な構成は、第1実施形態と同様であり、図2等を適宜参照する。
【0067】
本実施形態では、曖昧状態のとき運転者の脇見の推定を、残っている一方の眼と鼻で検出し、追跡することにより行っている。まず、ステップS41では、残っている一方の眼の座標を基準に第1実施形態と同様に鼻の位置に追跡領域を設定する。図24は、左側が比較的明るいときに左眼が追跡可能な状態を示す。このときは眼や鼻だけで脇見を推定するよりも眼と鼻を同時に追跡して相対位置関係から脇見を推定するほうが脇見推定の精度が向上する。
【0068】
前記のように鼻位置に追跡領域を設定したあとに、ステップS42で一方の眼と鼻を同時に追跡を開始する。ステップS43では片眼と鼻の相対位置Xne(図24)が所定以上変化したかどうかを判定し、所定以上変化した場合はステップS44へ進む。ステップS44の結果から脇見と推定し、タイマを作動させて所定時間経過したらステップS16(図3)で警報する。
【0069】
図25は左方向を向いたときの画像状態を示す。眼と鼻の相対位置は頭部の前後・左右の回転角により変わるが、脇見と推定する条件としては真横を向いたときXneが例えば30%以上減少してXne1となった場合とする。
【0070】
従って、本実施形態において、脇見推定回路30は脇見の推定を残っている一方の眼と鼻で推定することができ、両眼のうち一方の眼が消えた場合に、残っている他方の眼と鼻の組み合わせで脇見を推定することができ、脇見推定精度の向上を図ることができる。その他、第1実施形態と同様な作用効果を奏することができる。
【0071】
(第4実施形態)
次に、本発明の第4実施形態として、脇見の推定を光の入射方向により、鼻の位置を検出かつ追跡して脇見を推定するか、光が当たっている部分と影の部分の状態変化により脇見を推定するかのどちらを選択するかその方法について説明する。なお、基本的な構成は、第1実施形態と同様であり、図2等を適宜参照する。
【0072】
ここで、光の入射方向を検出する方法について説明する。光環境が正常かそうでないかの判定方法は、既に図6〜図9で説明した通りであるが、同時に光の入射方向もこの方法で判定することができる。前記図6,図7で説明したような光環境の場合は、左右の平均濃度値およびに濃度パターンが同様な傾向になると推定されるため、このような場合は車両前方から光が入射していると判定することができる。また前記図8,図9で説明したような光環境の場合は、左右それぞれの濃度値に開きが見られるため、このような場合は横方向から光が入射していると判定する。
【0073】
そして、車両前方から光が入射しているときは、入射角度にもよるが、顔の上方が黒く下方が白くなるパターンが多い。少なくとも一方の眼が消えて前方または斜め前方から光が入射していると判定した場合は鼻の位置を検出・追跡する。光の方向が車両横方向から入射しているときには鼻の位置が影に隠れてしまうため鼻の位置検出ができなくなることがある。この場合は、光が当っている部分と影の部分の状態変化による脇見の推定を選択する。
【0074】
従って、本実施形態の脇見推定回路30では、所定以上の光が前方から入射しているときは鼻の位置を検出し、該検出した鼻の位置情報に基づき脇見を推定し、検出した光が横方向から入射しているときは所定以上の光が入射している部分と影の部分との状態変化により脇見を推定することができ、光の入射方向に合った最適な脇見推定を行うことができる。
【0075】
なお、光の入射方向の検出は、以下のようにして行うこともできる。すなわち、図26のように、太陽の高度方向のデータベース61とナビゲーション情報62とから、車両と太陽の位置関係63を検出する。前記太陽の高度方向のデータベース61は、太陽の高度と方角の情報が入ったデータベースであり、暦と時刻を入力することにより太陽の高度と方角が推定できる。時計と連動しておけば常に太陽の高度が判る。前記ナビゲーション情報62では、ナビゲーションの情報から車両の向きがわかる。この太陽の高度方向のデータベース61とナビゲーション情報62との情報から車両と太陽の位置関係63がわかる。
【0076】
よって前記第1実施形態の画像の濃度情報から判定する方法と合わせることにより光環境が正常であるか悪化しているかが精度良く判定できる。また、前記第4実施形態で用いることにより、光の入射方向に合った最適な脇見推定を行うことができる。
【0077】
また、光の入射方向を、サンバイザを使って推定することもできる。すなわち、運転席の頭上にあるサンバイザは通常は上げているが、車両前方から光が入射している状態で光線が眼に近くなるとサンバイザを降ろす。また横方向から光が入射している場合はドライバの側方に移動させ直射日光を防いでいる。よってサンバイザの使用状況により光の入射方向を推定できる。サンバイザの格納状態と、前に降ろしている状態と、側法に移動させているかが判別できるSWを取付、該SWの信号により使用状況を判定する。
【0078】
よって前記第1実施形態の画像の濃度情報から判定する方法と合わせることにより光環境が正常であるか悪化しているかが手軽な手段によって精度良く判定できる。また、前記第4実施形態で用いることにより、光の入射方向に合った最適な脇見推定を行うことができる。
【図面の簡単な説明】
【図1】第1実施形態に係り、曖昧状態での脇見推定を説明する詳細フローチャートである。
【図2】本発明の第1実施形態のブロック図である。
【図3】第1実施形態のフローチャートである。
【図4】第1実施形態に係り、眼を追跡している通常の処理状態を示す説明図である。
【図5】第1実施形態に係り、光環境判断用濃度読み込みライン位置設定方法の説明図である。
【図6】第1実施形態に係り、前方から陽が当たっている画像状態を示す説明図である。
【図7】第1実施形態に係り、影の位置による濃度データの変化を示す説明図である。
【図8】第1実施形態に係り、横方向から陽が当たった場合の顔画像を示す説明図である。
【図9】第1実施形態に係り、横方向から陽が当たった場合の濃度データを示す説明図である。
【図10】第1実施形態に係り、第3実施形態のフローチャートである。
【図11】第1実施形態に係り、鼻の追跡エリア設定方法の説明図である。
【図12】第1実施形態に係り、前方を見ている状態で鼻を追跡している状態の説明図である。
【図13】第1実施形態に係り、正面を向いているときの鼻追跡エリアの拡大図である。
【図14】第1実施形態に係り、鼻を追跡している状態で横を見た説明図である。
【図15】第1実施形態に係り、鼻を追跡中、横を見たときの鼻追跡エリアの拡大図である。
【図16】本発明の第2実施形態のフローチャートである。
【図17】第2実施形態に係り、横から光が当たっているときに濃度を読み込む場合の説明図である。
【図18】第2実施形態に係り、図17の濃度データを示すグラフである。
【図19】第2実施形態に係り、横から光が当たりかつ横(左側)を見ている状態を示す説明図である。
【図20】第2実施形態に係り、図19の濃度データを示すグラフである。
【図21】第2実施形態に係り、横から光が当たりかつ横(右側)を見ている状態を示す説明図である。
【図22】第2実施形態に係り、図21の濃度データを示すグラフである。
【図23】本発明の第3実施形態のフローチャートである。
【図24】第3実施形態に係り、片眼が追跡可能な状態、鼻の検索領域を設定するための説明図である。
【図25】第3実施形態に係り、眼と鼻を追跡中横を見た状態を示す説明図である。
【図26】光の入射方向の検出の他の方法を説明するブロック図である。
【符号の説明】
CL1 画像装置
CL2 脇見判定手段
CL3 曖昧状態検出手段
CL4 脇見推定手段
CL5 警報発生手段
Claims (10)
- 運転者の顔を撮像する画像装置と、
該画像装置で得られた画像データを処理して運転者の脇見状態を判定する脇見判定手段とを備えた脇見状態検出装置において、
前記画像データから眼の位置を検出する眼の位置検出手段と、
前記画像データを記憶する画像データ記憶手段と、
前記眼の位置検出手段が少なくとも一方の眼の位置を検出できなくなったときに、前記記憶された画像データ上の両眼の下方に設定した左右のラインの濃度情報に基づいて光環境の異常を検出することにより、前記画像データが曖昧状態であると判定する曖昧状態検出手段と、
前記眼の位置検出手段が両眼の位置を検出しているとき、または前記曖昧状態検出手段が光環境の異常を検出していないときに、前記眼の位置および両眼の画像データの有無に基づいて脇見を判定する脇見判定手段と、
前記曖昧状態検出手段が曖昧状態であると判定したとき、前記画像データのうち少なくとも眼に関する画像データ以外の画像データを用いて脇見を推定する脇見推定手段と、
を備えたことを特徴とする脇見状態検出装置。 - 請求項1記載の脇見状態検出装置であって、
前記曖昧状態検出手段は前記濃度情報に基づいて、前記画像データから少なくとも一方の眼が消失し且つ所定以上の光が入射しているとき光環境が異常と判定することを特徴とする脇見状態検出装置。 - 請求項1記載の脇見状態検出装置であって、
前記脇見推定手段は、前記画像データ上の鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定することを特徴とする脇見状態検出装置。 - 請求項1記載の脇見状態検出装置であって、
前記脇見推定手段は、前記画像データの前記所定以上の光が入射している部分と陰の部分との明暗の境界位置の変化に基づいて前記脇見を推定することを特徴とする脇見状態検出装置。 - 請求項2記載の脇見状態検出装置であって、
前記脇見推定手段は、前記画像データ上の鼻と消失せずに残っている他方の眼とで脇見の推定を行うことを特徴とする脇見状態検出装置。 - 請求項1記載の脇見状態検出装置であって、
前記曖昧状態検出手段は、顔に入射する光の方向を検出し、
前記脇見推定手段は、前記検出された光の入射方向が前方の場合、鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定することを特徴とする脇見状態検出装置。 - 請求項1記載の脇見状態検出装置であって、
前記曖昧状態検出手段は、顔に入射する光の方向を検出し、
前記脇見推定手段は、前記検出された光の入射方向が横方向の場合、前記画像データの明暗の境界位置の変化に基づいて前記脇見を推定することを特徴とする脇見状態検出装置。 - 請求項6又は7記載の脇見状態検出装置であって、
前記入射している光の方向の検出は、暦と時刻とから太陽の方角を算出し、ナビゲーションシステムからの位置情報から操作対象に対する太陽の位置を推定することにより行うことを特徴とする脇見状態検出装置。 - 請求項6又は7記載の脇見状態検出装置であって、
前記入射している光の方向の検出は、サンバイザの操作情報により行うことを特徴とする脇見状態検出装置。 - 請求項1記載の脇見状態検出装置であって、
前記脇見の判定又は推定により警報を行う警報発生手段を備えたことを特徴とする脇見 状態検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000196788A JP3858570B2 (ja) | 2000-06-29 | 2000-06-29 | 脇見状態検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000196788A JP3858570B2 (ja) | 2000-06-29 | 2000-06-29 | 脇見状態検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002015322A JP2002015322A (ja) | 2002-01-18 |
JP3858570B2 true JP3858570B2 (ja) | 2006-12-13 |
Family
ID=18695227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000196788A Expired - Fee Related JP3858570B2 (ja) | 2000-06-29 | 2000-06-29 | 脇見状態検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3858570B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4471607B2 (ja) * | 2003-08-29 | 2010-06-02 | 富士通株式会社 | 眼の追跡装置、眼の状態判定装置及びコンピュータプログラム |
JP4498040B2 (ja) * | 2004-07-09 | 2010-07-07 | キヤノン株式会社 | 画像処理方法及び装置 |
JP2006072742A (ja) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | キャッチライト合成方法及び装置 |
JP2006072743A (ja) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | キャッチライト合成方法及び装置 |
JP4692447B2 (ja) * | 2006-09-08 | 2011-06-01 | トヨタ自動車株式会社 | 居眠り検知装置、居眠り検知方法 |
JP4670803B2 (ja) | 2006-12-04 | 2011-04-13 | 株式会社デンソー | 操作推定装置およびプログラム |
JP4781292B2 (ja) * | 2007-02-01 | 2011-09-28 | トヨタ自動車株式会社 | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム |
JP5167027B2 (ja) * | 2008-08-19 | 2013-03-21 | トヨタ自動車株式会社 | 瞬き状態検出装置 |
DE112017007774B4 (de) * | 2017-09-13 | 2023-04-06 | Mitsubishi Electric Corporation | Fahrerzustands-Bestimmungsvorrichtung und Fahrerzustands-Bestimmungsverfahren |
JP7100575B2 (ja) | 2018-12-28 | 2022-07-13 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2937030B2 (ja) * | 1994-09-14 | 1999-08-23 | 三菱電機株式会社 | 画像処理装置及び人物状態判定装置 |
JPH1044824A (ja) * | 1996-07-30 | 1998-02-17 | Nissan Motor Co Ltd | 車両運転者の開閉眼判定装置 |
-
2000
- 2000-06-29 JP JP2000196788A patent/JP3858570B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002015322A (ja) | 2002-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7362885B2 (en) | Object tracking and eye state identification method | |
US8208021B2 (en) | Vehicle and lane mark detection device | |
US8983123B2 (en) | Target-object distance measuring device and vehicle mounted with the device | |
JP3858570B2 (ja) | 脇見状態検出装置 | |
KR100630088B1 (ko) | 옵티컬 플로우를 이용한 차량 감시 장치 및 방법 | |
EP2928178B1 (en) | On-board control device | |
JP5790762B2 (ja) | 瞼検出装置 | |
JP2003134508A (ja) | 車両用情報提供装置 | |
EP2827318A1 (en) | Vehicle periphery monitor device | |
JP4756316B2 (ja) | 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法 | |
JP4770218B2 (ja) | 視認行動判定装置 | |
WO2013008304A1 (ja) | 瞼検出装置 | |
JP2000198369A (ja) | 眼の状態検出装置、居眠り運転警報装置 | |
JP4795281B2 (ja) | 車両の安全装置 | |
JP2010061375A (ja) | 物体認識装置及びプログラム | |
JP2001307076A (ja) | 眼の状態検出装置、居眠り検出装置 | |
KR101146417B1 (ko) | 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법 | |
JP4151341B2 (ja) | 顔状態検出装置 | |
CN112241647A (zh) | 一种基于深度相机的危险驾驶行为预警装置和方法 | |
JP3312562B2 (ja) | 居眠り状態検出装置 | |
JP5004923B2 (ja) | 車両の運転支援装置 | |
JP3531503B2 (ja) | 眼の状態検出装置及び居眠り運転警報装置 | |
JP4696571B2 (ja) | 眼位置検出装置 | |
JP3844750B2 (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
JP2000301962A (ja) | 眼の状態検出装置、居眠り運転警報装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060911 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |