JP3858570B2 - 脇見状態検出装置 - Google Patents
脇見状態検出装置 Download PDFInfo
- Publication number
- JP3858570B2 JP3858570B2 JP2000196788A JP2000196788A JP3858570B2 JP 3858570 B2 JP3858570 B2 JP 3858570B2 JP 2000196788 A JP2000196788 A JP 2000196788A JP 2000196788 A JP2000196788 A JP 2000196788A JP 3858570 B2 JP3858570 B2 JP 3858570B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- image data
- eye
- state detection
- look
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の運転者、船舶の操船者、プラント等のオペレータ等の脇見状態を検出し警報することなどに供する脇見状態検出装置に関する。
【０００２】
【従来の技術】
従来の画像処理によるこの種の装置には、特開平８−３００９７８号公報に記載されたものがある。この装置ではカメラにより撮影した運転者の顔画像を画像入力手段に入力し、入力された顔画像から眼の上下幅に対応する所定長以下の長さの黒レベル領域、すなわち眼、眉、鼻孔、口裂等の特徴量をフィルタリングし、この特徴領域抽出画像を浮動二値化手段により二値化し、二値化画像内で眼存在領域設定手段により眼の存在領域を設定し、眼存在領域内で後方領域設定手段により眼後方領域を設定し、眼後方領域内から眼領域判定手段により眼を抽出するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置においては、眼の領域を判定するために顔全体の濃淡レベル変化手段や浮動二値化手段、眼の存在領域設定手段や後方領域設定手段などの構成により処理時間が長くなり、例えば眼を失った場合、眼を再検出するまでの間は居眠り運転や脇見運転の検出ができなくなるという問題があった。
【０００４】
本発明は、迅速な脇見状態検出のできる脇見状態検出装置の提供を課題とする。
【０００５】
【課題を解決するための手段】
請求項１の発明は、運転者の顔を撮像する画像装置と、該画像装置で得られた画像データを処理して運転者の脇見状態を判定する脇見判定手段とを備えた脇見状態検出装置において、前記画像データから眼の位置を検出する眼の位置検出手段と、前記画像データを記憶する画像データ記憶手段と、前記眼の位置検出手段が少なくとも一方の眼の位置を検出できなくなったときに、前記記憶された画像データ上の両眼の下方に設定した左右のラインの濃度情報に基づいて光環境の異常を検出することにより、前記画像データが曖昧状態であると判定する曖昧状態検出手段と、前記眼の位置検出手段が両眼の位置を検出しているとき、または前記曖昧状態検出手段が光環境の異常を検出していないときに、前記眼の位置および両眼の画像データの有無に基づいて脇見を判定する脇見判定手段と、前記曖昧状態検出手段が曖昧状態であると判定したとき、前記画像データのうち少なくとも眼に関する画像データ以外の画像データを用いて脇見を推定する脇見推定手段と、を備えたことを特徴とする。
【０００７】
請求項２の発明は、請求項１記載の脇見状態検出装置であって、前記曖昧状態検出手段は前記濃度情報に基づいて、前記画像データから少なくとも一方の眼が消失し且つ所定以上の光が入射しているとき光環境が異常と判定することを特徴とする。
【０００９】
請求項３の発明は、請求項１記載の脇見状態検出装置であって、前記脇見推定手段は、前記画像データ上の鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定することを特徴とする。
【００１０】
請求項４の発明は、請求項１記載の脇見状態検出装置であって、前記脇見推定手段は、前記画像データの前記所定以上の光が入射している部分と陰の部分との明暗の境界位置の変化に基づいて前記脇見を推定することを特徴とする。
【００１１】
請求項５の発明は、請求項２記載の脇見状態検出装置であって、前記脇見推定手段は、前記画像データ上の鼻と消失せずに残っている他方の眼とで脇見の推定を行うことを特徴とする。
【００１２】
請求項６の発明は、請求項１記載の脇見状態検出装置であって、前記曖昧状態検出手段は、顔に入射する光の方向を検出し、前記脇見推定手段は、前記検出された光の入射方向が前方の場合、鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定することを特徴とする。
請求項７の発明は、請求項１記載の脇見状態検出装置であって、前記曖昧状態検出手段は、顔に入射する光の方向を検出し、前記脇見推定手段は、前記検出された光の入射方向が横方向の場合、前記画像データの明暗の境界位置の変化に基づいて前記脇見を推定することを特徴とする。
【００１３】
請求項８の発明は、請求項６又は７記載の脇見状態検出装置であって、前記曖昧状態検出手段は、前記入射している光の方向の検出を、暦と時刻とから太陽の方角を算出し、ナビゲーションシステムからの位置情報から操作対象に対する太陽の位置を推定することにより行うことを特徴とする。
【００１４】
請求項９の発明は、請求項６又は７記載の脇見状態検出装置であって、前記曖昧状態検出手段は、前記入射している光の方向の検出を、サンバイザの操作情報により行うことを特徴とする。
【００１５】
請求項１０の発明は、請求項１記載の脇見状態検出装置であって、前記脇見の判定又は推定により警報を行う警報発生手段を備えたことを特徴とする。
【００１６】
【発明の効果】
請求項１の発明では、画像装置によって運転者の顔を撮像し、脇見判定手段によって画像装置で得られた画像データを処理して運転者の脇見状態を判定することができる。又、曖昧状態検出手段によって前記画像データが不完全な曖昧状態にあることを検出し、該曖昧状態検出手段が曖昧状態であることを検出したとき、脇見推定手段により曖昧状態検出手段の画像情報から脇見を推定することができる。従って、運転者の顔に強い光が当たり、眼が画像から消えるなど画像装置の情報が曖昧状態でも、運転者が前を見ているか見ていないかの推定を行うことができ、迅速な処理を可能とする。
【００１８】
請求項２の発明では、請求項１の発明の効果に加え、曖昧状態検出手段は画像データから少なくとも一方の眼が消失し、かつ所定以上の光が入射しているとき曖昧状態であると検出することができる。
【００１９】
従って、脇見をして眼のデータが消えたのか、所定以上の光で眼のデータが消えたのかを区別することができ、迅速な処理を行うことができる。
【００２２】
請求項３の発明では、請求項１の発明の効果に加え、脇見推定手段は鼻の位置を検出し、検出した鼻の位置情報に基づき脇見を推定することができる。
従って、片目又は両目が消失しても脇見推定を行うことができる。
【００２３】
請求項４の発明では、請求項１の発明の効果に加え、脇見推定手段は画像データの所定以上の光が入射している部分と陰の部分との明暗の境界位置の変化により脇見を推定することができる。
【００２４】
従って、画像から眼や鼻の情報が消えても脇見推定を行うことができる。
【００２５】
請求項５の発明では、請求項２の発明の効果に加え、脇見推定手段は脇見の推定を残っている一方の眼と鼻で推定することができる。
【００２６】
従って、両眼のうち一方の眼が消えた場合に、残っている他方の眼と鼻の組み合わせで脇見を推定することができ、脇見推定精度の向上を図ることができる。
【００２７】
請求項６の発明では、請求項１の発明の効果に加え、脇見推定手段は所定以上の光が前方から入射しているときは鼻の位置を検出し、該検出した鼻の位置情報に基づき脇見を推定することができる。
請求項７の発明では、請求項１の発明の効果に加え、脇見推定手段は光が横方向から入射しているときは所定以上の光が入射している部分と陰の部分との明暗の境界位置の変化により脇見を推定することができる。従って、光の入射方向に合った最適な脇見推定を行うことができる。
【００２８】
請求項８の発明では、請求項６又は７の発明の効果に加え、曖昧状態検出手段は入射している光の方向の検出を暦と時刻とから太陽の方向を検出し、ナビゲーションシステムからの位置情報から操作対象に対する太陽の位置を推定することにより行うことができる。従って、光の方向の検出精度をより向上することができる。
【００２９】
請求項９の発明では、請求項６又は７の発明の効果に加え、曖昧状態検出手段は入射している光の方向の検出をサンバイザの操作情報により行うことができる。従って、手軽な手段によって光の方向の検出精度を向上することができる。
【００３０】
請求項１０の発明では、請求項１の発明の効果に加え、警報発生手段により脇見の判定又は推定により警報を行うことができる。従って、運転者に脇見状態を的確に伝えることができる。
【００３１】
【発明の実施の形態】
本装置は、自動車の他に鉄道車両、船舶、プラントのオペレータ等の居眠り運転警報として用いることができるが、本実施例では自動車に適用した場合で説明する。
【００３２】
図１は、本発明を適用した眼の状態検出装置の構成ブロック図にかかり、該装置は、画像装置ＣＬ１と、脇見判定手段ＣＬ２と、曖昧状態検出手段ＣＬ３と、脇見推定手段ＣＬ４と、警報発生手段ＣＬ５とを備えている。
【００３３】
前記画像装置ＣＬ１は、運転者の状態を検出するもので、例えば、顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して顔の特徴量を検出する特徴量検出手段と、前記検出された顔の特徴量から予め記憶された眼の特徴情報に合致する特徴量を抽出して眼の位置を検出する眼の位置検出手段とを備えている。
【００３４】
前記脇見判定手段ＣＬ２は、前記画像装置ＣＬ１で得られた画像データを処理して脇見状態を判定するもので、例えば、前記検出された眼の位置を基準に眼を含む追跡領域を設定すると共に、該追跡領域内で顔の特徴量を検出して眼の詳細位置を検出し、該眼の詳細位置の変化から脇見を判定するものである。
【００３５】
前記曖昧状態検出手段ＣＬ３は、画像データが不完全な曖昧状態にあることを検出するものであり、画像データから少なくとも一方の眼が消失し且つ所定以上の光が入射しているとき曖昧状態であると検出する。または、前記曖昧状態検出手段ＣＬ３は、前記入射している光の方向を検出し、該検出した光の入射方向を考慮する。または、前記曖昧状態検出手段ＣＬ３は、前記入射している光の方向の検出を、暦と時刻とから太陽の方角を算出し、ナビゲーションシステムからの位置情報から操作対象に対する太陽の位置を推定することにより行うか、サンバイザの操作情報により行う。
【００３６】
前記脇見推定手段ＣＬ４は、曖昧状態検出手段ＣＬ３が曖昧状態であることを検出したとき、曖昧状態検出手段ＣＬ３の画像情報から脇見を推定する。または、脇見推定手段ＣＬ４は、鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定する。または、脇見推定手段ＣＬ４は、前記画像情報の前記所定以上の光が入射している部分と陰の部分との状態変化により前記脇見を推定する。または、前記脇見推定手段ＣＬ４は、所定以上の光が前方から入射しているときは鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定し、前記検出した光が横方向から入射しているときは所定以上の光が入射している部分と陰の部分との状態変化により前記脇見を推定する。
【００３７】
前記警報発生手段ＣＬ５は、前記脇見の判定又は推定により警報を行うものである。
【００３８】
（第１実施形態）
図２は、本発明の第１実施形態にかかる構成ブロック図である。
【００３９】
同図のように、前記画像装置ＣＬ１を構成するＴＶカメラ２１が自動車のインストルメントに設置され、運転者の顔部分を正面から撮影する。ＴＶカメラ２１の入力画像は、本実施形態では、例えば横方向（Ｘ）５１２画素、縦方向（Ｙ）４８０画素からなる。前記ＴＶカメラ１で撮像された入力画像は、画像装置ＣＬ１のＡ−Ｄ変換器２２を介して画素毎のアナログ電圧が２５６階調のデジタル値に変換され、入力画像データとして画像装置ＣＬ１の画像メモリ２０３に格納される。画像メモリ２３の出力は、画像装置ＣＬ１の画像データ演算回路２４に入力される。
【００４０】
前記画像データ演算回路２４は、前記入力された顔画像データから顔の縦方向の画素列に沿って画素の濃度値を読み出し、該濃度値の局所的な高まり毎に１個づつの画素を定めて抽出点とし、隣接した抽出点を連続させて顔の横方向に延びる連続データを抽出して顔の特徴量とし、その出力は画像装置ＣＬ１の顔の特徴量検出回路２５に入力される。
【００４１】
前記顔の特徴量検出回路２５は、前記検出された顔の特徴量の画像上の位置、長さ、形状情報を用いて眼の位置を検出し、その出力は脇見判定手段ＣＬ２の両眼追跡回路２６に入力される。
【００４２】
前記両眼追跡回路２６は、前記顔の特徴量検出回路２５において検出された眼の位置を基準に眼を含む追跡領域を設定すると共に、該追跡領域内で顔の特徴量を検出して眼の詳細位置を検出し、その出力は曖昧状態検出手段ＣＬ３としての曖昧状態検出回路２７に入力される。
【００４３】
曖昧状態検出回路２７では、両眼追跡中に少なくとも一方の眼のデータが消失したと同時に画像の状態が不安定で曖昧な状態であることを検出し、該曖昧な状態が検出されなければ前記両眼追跡回路２６の出力が曖昧状態検出回路２７の出力として脇見検出回路２８へ入力され、曖昧状態が検出された場合には曖昧状態検出回路２７の画像情報が脇見推定回路３０へ入力されることになる。
【００４４】
脇見検出回路２８では、前記両眼追跡回路２６からの画像データによって両眼の位置情報及び両眼データの有り無しの情報から脇見を判定し、警報装置２９へ出力する。前記脇見推定回路３０では、前記曖昧状態検出回路２７からの画像情報によって脇見を推定し、警報装置２９へ出力する。警報装置２９では、脇見の判定又は推定によりブザーや警報ランプなどで警報することになる。
【００４５】
図３は、本発明の第１実施形態に係る曖昧状態を検出する手段２７を説明するフローチャートである。ステップＳ１１では、左右それぞれの眼を独立に追跡しているときに少なくとも一方の眼が消失した場合はステップＳ１２へ進み、消えていない場合はステップＳ１４へ進む。ステップＳ１２では眼下部の左右ラインの濃度値を読み込み、ステップＳ１３では読み込んだ濃度値から光環境が正常かそうでないかを判断する。光環境が正常ならばステップＳ１４へ進み、正常でなければステップＳ１７へ進む。ステップＳ１４では、両眼の座標変化と両眼の相対位置の変化および眼のデータの有無の情報から脇見を判定する。ステップＳ１５では、脇見判定回路ステップＳ１４の判定結果を受けて脇見の判断を行い、脇見状態であればステップＳ１６へ移行して、警報装置の警報をＯＮ・ＯＦＦする。
【００４６】
前記ステップＳ１２における眼の下部に相当する位置から画素の濃度を読み込む方法は、図４，図５に示すように行う。図４は図２の顔特徴量検出回路２５から検出された眼の位置に、追跡領域を設定して両眼を追跡している状態を示す。１は画像処理をする範囲を示す。２は運転者の顔を示す。３は初期に検出した眼の座標を基準の眼の追跡領域（追跡ウインドウ）１０を設定し、その範囲で捉えた左眼の連続データを示す。４は同様に右眼の連続データを示す。５は鼻、６は口を示す。７，８は眉毛を示す。顔の濃度情報から曖昧状態を判断するには、顔全体の濃度を読み込んで判断するのが理想だが情報量が増加するため処理速度が遅くなる。よって図５のように眼付近に濃度を読み込む範囲を設定した。光環境を判断する濃度読み込みライン１２，１３は、左右方向および上下方向の濃度変化の情報が得られるよう左右２カ所に設定した。濃度読み込みライン１２，１３の横方向の位置は眼の位置直下に、また上下方向は眼の位置からｙａ離れた位置を基点にｙ１の長さで設定する。眼の位置は、眼のデータが消失した場合は、眼の位置データを格納するメモリ（例えば１０フレーム分）に入っている最近の座標データを基準に設定する。
【００４７】
次に、前記ステップＳ１３において、読み込んだ濃度から光環境が正常か異常かを判定する方法は、図６〜９に示すように行う。図６は前方から陽が当たっている画像状態を示し、眼の下まぶたから上は黒く、まぶたから下は白くなる。このときの濃度読み込みライン１２および１３の濃度を図７のパターンＡに示す。
濃度読み込みライン１２，１３共に所定以上の光として太陽光が顔全般にわたり当たっているため白っぽくなり、強い日射しが当たったときの濃度値に対してあらかじめ低めに設定した閾値を濃度読み込みライン１２，１３共に超えた場合は光環境が悪化していると判断する。パターンＢは、影の下限ラインが濃度読み込みライン１２，１３の中程まで下がっているときのデータ状態を示す。このような場合には、白い領域の平均濃度値が閾値Ｃ２より明るく、黒い領域の平均濃度値が閾値Ｃ１を下回った場合に光環境が悪化していると判断する。
【００４８】
また、パターンＣは、影の下限ラインが濃度読み込みライン１２，１３の下に移動したときの濃度値を示す。すべて影に入っているため濃度値が全体にわたり黒っぽくなる。濃度読み込みライン１２，１３の平均値が閾値Ｃ１より黒い場合は、曖昧状態を判定する条件とする。
【００４９】
図８は、横方向から太陽光が当たった場合の顔画像であり、顔の右側が白く左側が影になって黒っぽくなる。このときの濃度読み込みライン１２および１３の濃度を図９に示す。濃度読み込みライン１２は影に入っているため黒く、濃度読み込みライン１３は白くなり、左右で濃度差が発生する。この濃度差が閾値を超えた場合は光環境が悪化していると判断する。この実施形態では右側から光が入射している例を示したが、左から入射している場合も同様である。
【００５０】
次に、前記ステップＳ１７において、画像の状態が不安定で曖昧な状態のときの運転者の脇見の推定を行う方法を、鼻の位置を検出して追跡する図１０〜図１５により説明する。図１０は、前記ステップＳ１７の詳細フローであり、ステップＳ２１では、画像状態が曖昧状態と判定された場合、眼が消失したときに眼の位置データを格納するメモリ（例えば、１０フレーム分）に入っている最新の眼の座標データ（図１１のｘｌ１，ｙｌ１）を基準に鼻の位置に追跡領域を設定する。
【００５１】
ステップＳ２２では、眼と鼻の位置関係は、初期の顔の特徴量認識回路の中で眼と鼻が認識され、その時に記憶していた眼と鼻の中心相対座標値（図１１の ｘｎ，ｙｎ）を用いて眼の位置から鼻の位置に追跡エリア３１を設定し鼻を追跡する。追跡エリア３１（図１１）の大きさ（図１１のｗｎ１，ｈｎ１）は、眼と鼻の相対位置の誤差や運転姿勢の変化を考慮して若干大きいエリアで検索し、鼻の幅や高さが認識できたらその寸法に余裕分を見込み、例えば１．３を乗じた寸法を追跡エリアとし、高速で処理できるよう追跡する面積が最小となるよう設定される。図１２は、両眼のデータが消失し、前方を注視した状態で鼻を追跡している状態を示す。このときの鼻の追跡エリア３１を拡大したものを図１３に示す。鼻孔に相当する連続データ４１，４２の幅Ｘｎｆは頭部の回転角に応じて変化するが、前を見ているときはこの幅Ｘｎｆが最大となり、この最大値を例えば処理回数 １０００フレームの範囲（１フレーム０．１ｓｅｃとして１００ｓｅｃ）で学習し、同時に最大値のときの絶対座標の頻度データを蓄える。
【００５２】
ステップＳ２３では、鼻孔の間隔が所定値以下か否かの判断が行われる。運転者が脇見をしたときは頭部の回転角に応じて鼻孔幅Ｘｎｆが狭くなる。鼻孔幅 Ｘｎｆが所定値以下であればステップＳ２４へ移行し、そうでなければＳ２１へ戻る。一例として、鼻孔幅Ｘｎｆが狭くなる閾値はＸｎｆの７０％以下に設定される。
【００５３】
さらに、ステップＳ２４では、鼻孔が常時存在する位置からずれているか否かが判断される。脇見の場合は、鼻孔中心の絶対座標が脇見した方向にＸｎ移動するため（図１４）、この変化をトリガに脇見を判定する。一例として、鼻孔が常時存在する位置からずれているか否かの判断閾値は、鼻孔中心の移動量が４０画素以上として設定される。さらに頭部の回転角が増加すると脇見をした側のデータが消えることに着目し、鼻孔が片側消失した場合は無条件に脇見検出と判断する。
【００５４】
ステップＳ２５では、前記判断結果から脇見と推定し、前記ステップＳ１６へ移行する。
【００５５】
このように本実施形態では、画像データが不完全な曖昧状態にあることを検出したとき、脇見推定回路３０によって曖昧状態検出回路２７の画像情報から脇見を推定することができる。従って、運転者の顔に強い光が当たり、眼が画像から消えるなど顔画像データが曖昧状態でも脇見推定回路３０により運転者が前を見ているか見ていないかの推定を行うことができ、迅速な処理を行うことができる。
【００５６】
また、曖昧状態検出回路２７は、画像データから少なくとも一方の眼が消失し、かつ所定以上の光が入射しているとき曖昧状態であると検出することができ、脇見をして眼のデータが消えたのか、所定以上の光で眼のデータが消えたのかを区別することができ、迅速な処理を行うことができる。
【００５７】
さらに、脇見推定回路３０は、鼻の位置を検出し、検出した鼻の位置情報に基づき脇見を推定することができ、片目又は両目が消失しても脇見推定を行うことができる。
【００５８】
（第２実施形態）
図１６〜図２２は、本発明の第２実施形態を示している。図１６は、前記第１実施形態の図１０に対応する本実施形態のフローチャートであり、他の基本的な構成は、第１実施形態と同様であり、図２等を適宜参照する。
【００５９】
本実施形態では、曖昧状態のとき運転者の脇見の推定を、画像の光が当たっている部分と影の部分の状態変化により行っている。まず、ステップＳ３１では、画像状態が曖昧状態と判定された場合、眼が消失したときに眼の位置データを格納するメモリ（例えば１０フレーム分）に入っている最新の眼の座標データ（図１１のｘ１１，ｙ１１）を基準にｙｎ１（図１７）の距離を隔てて濃度の読み込みライン５１（図１７）を設定する。さらに、鼻の位置からｙｎ１（図１７）の距離を隔てて濃度の読み込みライン５２を設定する。ステップＳ３２ではステップＳ３１で設定した濃度読み込みライン５１，５２上で濃度データを読み込む。光が横方向から当たっている図１７の状態で読み込んだ濃度データを図１８（ａ）に示す。濃度読み込みライン５１，５２共に右側は白く、中央付近から影の濃度変化は同じ傾向になる。
【００６０】
ステップＳ３３では、読み込んだ濃度データの変化をみるため微分する。図１８（ｂ）にその微分値を示す。濃度がプラスからマイナスに変化する位置は、濃度読み込みライン５１，５２ライン上共に略同位置（ｄｆ）である。
【００６１】
ステップＳ３４では、運転中は前を見ている時間の方が安全確認や脇見の時間と比べて長いため、微分値が安定している濃度パターンを学習する。
【００６２】
ステップＳ３５では、微分値が安定状態の濃度パターンに対して一定量変化したかどうかを判定し、変化した場合は横を向いている可能性が高いと判定し、前記ステップＳ１６（図３）へ移行し、例えば２ｓｅｃの時間をおいて警報を出力する。
【００６３】
図１９は左方向を向いている顔画像状態を示す。前方を見ている状態の濃度読み込みライン５１，５２ライン上のプラスからマイナスに変化する位置が、濃度読み込みライン５１，５２双方左側に移動し、変化する位置の差（ｄｉ）も広がる。この変化量を捉えて変化量が所定量に達したときに脇見と推定する。
【００６４】
図２０は、光が横方向から入射している状態から右をみた画像状態を示す。影の境界ラインが右側に移動し左頬に光が当たる例であるが、前を向いているときと比較して微分値のパターンが異なり、このパターンの違いから脇見を推定する。
【００６５】
従って、本実施形態において、脇見推定回路３０は、画像情報の所定以上の光が入射している部分と影の部分との状態変化により脇見を推定することができ、画像から眼や鼻の情報が消えても脇見推定を行うことができる。その他、第１実施形態と略同様な作用効果を奏することができる。
【００６６】
（第３実施形態）
図２３〜図２５は、本発明の第３実施形態を示している。図２３は、前記第１実施形態の図１０に対応する本実施形態のフローチャートであり、他の基本的な構成は、第１実施形態と同様であり、図２等を適宜参照する。
【００６７】
本実施形態では、曖昧状態のとき運転者の脇見の推定を、残っている一方の眼と鼻で検出し、追跡することにより行っている。まず、ステップＳ４１では、残っている一方の眼の座標を基準に第１実施形態と同様に鼻の位置に追跡領域を設定する。図２４は、左側が比較的明るいときに左眼が追跡可能な状態を示す。このときは眼や鼻だけで脇見を推定するよりも眼と鼻を同時に追跡して相対位置関係から脇見を推定するほうが脇見推定の精度が向上する。
【００６８】
前記のように鼻位置に追跡領域を設定したあとに、ステップＳ４２で一方の眼と鼻を同時に追跡を開始する。ステップＳ４３では片眼と鼻の相対位置Ｘｎｅ（図２４）が所定以上変化したかどうかを判定し、所定以上変化した場合はステップＳ４４へ進む。ステップＳ４４の結果から脇見と推定し、タイマを作動させて所定時間経過したらステップＳ１６（図３）で警報する。
【００６９】
図２５は左方向を向いたときの画像状態を示す。眼と鼻の相対位置は頭部の前後・左右の回転角により変わるが、脇見と推定する条件としては真横を向いたときＸｎｅが例えば３０％以上減少してＸｎｅ１となった場合とする。
【００７０】
従って、本実施形態において、脇見推定回路３０は脇見の推定を残っている一方の眼と鼻で推定することができ、両眼のうち一方の眼が消えた場合に、残っている他方の眼と鼻の組み合わせで脇見を推定することができ、脇見推定精度の向上を図ることができる。その他、第１実施形態と同様な作用効果を奏することができる。
【００７１】
（第４実施形態）
次に、本発明の第４実施形態として、脇見の推定を光の入射方向により、鼻の位置を検出かつ追跡して脇見を推定するか、光が当たっている部分と影の部分の状態変化により脇見を推定するかのどちらを選択するかその方法について説明する。なお、基本的な構成は、第１実施形態と同様であり、図２等を適宜参照する。
【００７２】
ここで、光の入射方向を検出する方法について説明する。光環境が正常かそうでないかの判定方法は、既に図６〜図９で説明した通りであるが、同時に光の入射方向もこの方法で判定することができる。前記図６，図７で説明したような光環境の場合は、左右の平均濃度値およびに濃度パターンが同様な傾向になると推定されるため、このような場合は車両前方から光が入射していると判定することができる。また前記図８，図９で説明したような光環境の場合は、左右それぞれの濃度値に開きが見られるため、このような場合は横方向から光が入射していると判定する。
【００７３】
そして、車両前方から光が入射しているときは、入射角度にもよるが、顔の上方が黒く下方が白くなるパターンが多い。少なくとも一方の眼が消えて前方または斜め前方から光が入射していると判定した場合は鼻の位置を検出・追跡する。光の方向が車両横方向から入射しているときには鼻の位置が影に隠れてしまうため鼻の位置検出ができなくなることがある。この場合は、光が当っている部分と影の部分の状態変化による脇見の推定を選択する。
【００７４】
従って、本実施形態の脇見推定回路３０では、所定以上の光が前方から入射しているときは鼻の位置を検出し、該検出した鼻の位置情報に基づき脇見を推定し、検出した光が横方向から入射しているときは所定以上の光が入射している部分と影の部分との状態変化により脇見を推定することができ、光の入射方向に合った最適な脇見推定を行うことができる。
【００７５】
なお、光の入射方向の検出は、以下のようにして行うこともできる。すなわち、図２６のように、太陽の高度方向のデータベース６１とナビゲーション情報６２とから、車両と太陽の位置関係６３を検出する。前記太陽の高度方向のデータベース６１は、太陽の高度と方角の情報が入ったデータベースであり、暦と時刻を入力することにより太陽の高度と方角が推定できる。時計と連動しておけば常に太陽の高度が判る。前記ナビゲーション情報６２では、ナビゲーションの情報から車両の向きがわかる。この太陽の高度方向のデータベース６１とナビゲーション情報６２との情報から車両と太陽の位置関係６３がわかる。
【００７６】
よって前記第１実施形態の画像の濃度情報から判定する方法と合わせることにより光環境が正常であるか悪化しているかが精度良く判定できる。また、前記第４実施形態で用いることにより、光の入射方向に合った最適な脇見推定を行うことができる。
【００７７】
また、光の入射方向を、サンバイザを使って推定することもできる。すなわち、運転席の頭上にあるサンバイザは通常は上げているが、車両前方から光が入射している状態で光線が眼に近くなるとサンバイザを降ろす。また横方向から光が入射している場合はドライバの側方に移動させ直射日光を防いでいる。よってサンバイザの使用状況により光の入射方向を推定できる。サンバイザの格納状態と、前に降ろしている状態と、側法に移動させているかが判別できるＳＷを取付、該ＳＷの信号により使用状況を判定する。
【００７８】
よって前記第１実施形態の画像の濃度情報から判定する方法と合わせることにより光環境が正常であるか悪化しているかが手軽な手段によって精度良く判定できる。また、前記第４実施形態で用いることにより、光の入射方向に合った最適な脇見推定を行うことができる。
【図面の簡単な説明】
【図１】第１実施形態に係り、曖昧状態での脇見推定を説明する詳細フローチャートである。
【図２】本発明の第１実施形態のブロック図である。
【図３】第１実施形態のフローチャートである。
【図４】第１実施形態に係り、眼を追跡している通常の処理状態を示す説明図である。
【図５】第１実施形態に係り、光環境判断用濃度読み込みライン位置設定方法の説明図である。
【図６】第１実施形態に係り、前方から陽が当たっている画像状態を示す説明図である。
【図７】第１実施形態に係り、影の位置による濃度データの変化を示す説明図である。
【図８】第１実施形態に係り、横方向から陽が当たった場合の顔画像を示す説明図である。
【図９】第１実施形態に係り、横方向から陽が当たった場合の濃度データを示す説明図である。
【図１０】第１実施形態に係り、第３実施形態のフローチャートである。
【図１１】第１実施形態に係り、鼻の追跡エリア設定方法の説明図である。
【図１２】第１実施形態に係り、前方を見ている状態で鼻を追跡している状態の説明図である。
【図１３】第１実施形態に係り、正面を向いているときの鼻追跡エリアの拡大図である。
【図１４】第１実施形態に係り、鼻を追跡している状態で横を見た説明図である。
【図１５】第１実施形態に係り、鼻を追跡中、横を見たときの鼻追跡エリアの拡大図である。
【図１６】本発明の第２実施形態のフローチャートである。
【図１７】第２実施形態に係り、横から光が当たっているときに濃度を読み込む場合の説明図である。
【図１８】第２実施形態に係り、図１７の濃度データを示すグラフである。
【図１９】第２実施形態に係り、横から光が当たりかつ横（左側）を見ている状態を示す説明図である。
【図２０】第２実施形態に係り、図１９の濃度データを示すグラフである。
【図２１】第２実施形態に係り、横から光が当たりかつ横（右側）を見ている状態を示す説明図である。
【図２２】第２実施形態に係り、図２１の濃度データを示すグラフである。
【図２３】本発明の第３実施形態のフローチャートである。
【図２４】第３実施形態に係り、片眼が追跡可能な状態、鼻の検索領域を設定するための説明図である。
【図２５】第３実施形態に係り、眼と鼻を追跡中横を見た状態を示す説明図である。
【図２６】光の入射方向の検出の他の方法を説明するブロック図である。
【符号の説明】
ＣＬ１ 画像装置
ＣＬ２ 脇見判定手段
ＣＬ３ 曖昧状態検出手段
ＣＬ４ 脇見推定手段
ＣＬ５ 警報発生手段
【発明の属する技術分野】
本発明は、車両の運転者、船舶の操船者、プラント等のオペレータ等の脇見状態を検出し警報することなどに供する脇見状態検出装置に関する。
【０００２】
【従来の技術】
従来の画像処理によるこの種の装置には、特開平８−３００９７８号公報に記載されたものがある。この装置ではカメラにより撮影した運転者の顔画像を画像入力手段に入力し、入力された顔画像から眼の上下幅に対応する所定長以下の長さの黒レベル領域、すなわち眼、眉、鼻孔、口裂等の特徴量をフィルタリングし、この特徴領域抽出画像を浮動二値化手段により二値化し、二値化画像内で眼存在領域設定手段により眼の存在領域を設定し、眼存在領域内で後方領域設定手段により眼後方領域を設定し、眼後方領域内から眼領域判定手段により眼を抽出するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置においては、眼の領域を判定するために顔全体の濃淡レベル変化手段や浮動二値化手段、眼の存在領域設定手段や後方領域設定手段などの構成により処理時間が長くなり、例えば眼を失った場合、眼を再検出するまでの間は居眠り運転や脇見運転の検出ができなくなるという問題があった。
【０００４】
本発明は、迅速な脇見状態検出のできる脇見状態検出装置の提供を課題とする。
【０００５】
【課題を解決するための手段】
請求項１の発明は、運転者の顔を撮像する画像装置と、該画像装置で得られた画像データを処理して運転者の脇見状態を判定する脇見判定手段とを備えた脇見状態検出装置において、前記画像データから眼の位置を検出する眼の位置検出手段と、前記画像データを記憶する画像データ記憶手段と、前記眼の位置検出手段が少なくとも一方の眼の位置を検出できなくなったときに、前記記憶された画像データ上の両眼の下方に設定した左右のラインの濃度情報に基づいて光環境の異常を検出することにより、前記画像データが曖昧状態であると判定する曖昧状態検出手段と、前記眼の位置検出手段が両眼の位置を検出しているとき、または前記曖昧状態検出手段が光環境の異常を検出していないときに、前記眼の位置および両眼の画像データの有無に基づいて脇見を判定する脇見判定手段と、前記曖昧状態検出手段が曖昧状態であると判定したとき、前記画像データのうち少なくとも眼に関する画像データ以外の画像データを用いて脇見を推定する脇見推定手段と、を備えたことを特徴とする。
【０００７】
請求項２の発明は、請求項１記載の脇見状態検出装置であって、前記曖昧状態検出手段は前記濃度情報に基づいて、前記画像データから少なくとも一方の眼が消失し且つ所定以上の光が入射しているとき光環境が異常と判定することを特徴とする。
【０００９】
請求項３の発明は、請求項１記載の脇見状態検出装置であって、前記脇見推定手段は、前記画像データ上の鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定することを特徴とする。
【００１０】
請求項４の発明は、請求項１記載の脇見状態検出装置であって、前記脇見推定手段は、前記画像データの前記所定以上の光が入射している部分と陰の部分との明暗の境界位置の変化に基づいて前記脇見を推定することを特徴とする。
【００１１】
請求項５の発明は、請求項２記載の脇見状態検出装置であって、前記脇見推定手段は、前記画像データ上の鼻と消失せずに残っている他方の眼とで脇見の推定を行うことを特徴とする。
【００１２】
請求項６の発明は、請求項１記載の脇見状態検出装置であって、前記曖昧状態検出手段は、顔に入射する光の方向を検出し、前記脇見推定手段は、前記検出された光の入射方向が前方の場合、鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定することを特徴とする。
請求項７の発明は、請求項１記載の脇見状態検出装置であって、前記曖昧状態検出手段は、顔に入射する光の方向を検出し、前記脇見推定手段は、前記検出された光の入射方向が横方向の場合、前記画像データの明暗の境界位置の変化に基づいて前記脇見を推定することを特徴とする。
【００１３】
請求項８の発明は、請求項６又は７記載の脇見状態検出装置であって、前記曖昧状態検出手段は、前記入射している光の方向の検出を、暦と時刻とから太陽の方角を算出し、ナビゲーションシステムからの位置情報から操作対象に対する太陽の位置を推定することにより行うことを特徴とする。
【００１４】
請求項９の発明は、請求項６又は７記載の脇見状態検出装置であって、前記曖昧状態検出手段は、前記入射している光の方向の検出を、サンバイザの操作情報により行うことを特徴とする。
【００１５】
請求項１０の発明は、請求項１記載の脇見状態検出装置であって、前記脇見の判定又は推定により警報を行う警報発生手段を備えたことを特徴とする。
【００１６】
【発明の効果】
請求項１の発明では、画像装置によって運転者の顔を撮像し、脇見判定手段によって画像装置で得られた画像データを処理して運転者の脇見状態を判定することができる。又、曖昧状態検出手段によって前記画像データが不完全な曖昧状態にあることを検出し、該曖昧状態検出手段が曖昧状態であることを検出したとき、脇見推定手段により曖昧状態検出手段の画像情報から脇見を推定することができる。従って、運転者の顔に強い光が当たり、眼が画像から消えるなど画像装置の情報が曖昧状態でも、運転者が前を見ているか見ていないかの推定を行うことができ、迅速な処理を可能とする。
【００１８】
請求項２の発明では、請求項１の発明の効果に加え、曖昧状態検出手段は画像データから少なくとも一方の眼が消失し、かつ所定以上の光が入射しているとき曖昧状態であると検出することができる。
【００１９】
従って、脇見をして眼のデータが消えたのか、所定以上の光で眼のデータが消えたのかを区別することができ、迅速な処理を行うことができる。
【００２２】
請求項３の発明では、請求項１の発明の効果に加え、脇見推定手段は鼻の位置を検出し、検出した鼻の位置情報に基づき脇見を推定することができる。
従って、片目又は両目が消失しても脇見推定を行うことができる。
【００２３】
請求項４の発明では、請求項１の発明の効果に加え、脇見推定手段は画像データの所定以上の光が入射している部分と陰の部分との明暗の境界位置の変化により脇見を推定することができる。
【００２４】
従って、画像から眼や鼻の情報が消えても脇見推定を行うことができる。
【００２５】
請求項５の発明では、請求項２の発明の効果に加え、脇見推定手段は脇見の推定を残っている一方の眼と鼻で推定することができる。
【００２６】
従って、両眼のうち一方の眼が消えた場合に、残っている他方の眼と鼻の組み合わせで脇見を推定することができ、脇見推定精度の向上を図ることができる。
【００２７】
請求項６の発明では、請求項１の発明の効果に加え、脇見推定手段は所定以上の光が前方から入射しているときは鼻の位置を検出し、該検出した鼻の位置情報に基づき脇見を推定することができる。
請求項７の発明では、請求項１の発明の効果に加え、脇見推定手段は光が横方向から入射しているときは所定以上の光が入射している部分と陰の部分との明暗の境界位置の変化により脇見を推定することができる。従って、光の入射方向に合った最適な脇見推定を行うことができる。
【００２８】
請求項８の発明では、請求項６又は７の発明の効果に加え、曖昧状態検出手段は入射している光の方向の検出を暦と時刻とから太陽の方向を検出し、ナビゲーションシステムからの位置情報から操作対象に対する太陽の位置を推定することにより行うことができる。従って、光の方向の検出精度をより向上することができる。
【００２９】
請求項９の発明では、請求項６又は７の発明の効果に加え、曖昧状態検出手段は入射している光の方向の検出をサンバイザの操作情報により行うことができる。従って、手軽な手段によって光の方向の検出精度を向上することができる。
【００３０】
請求項１０の発明では、請求項１の発明の効果に加え、警報発生手段により脇見の判定又は推定により警報を行うことができる。従って、運転者に脇見状態を的確に伝えることができる。
【００３１】
【発明の実施の形態】
本装置は、自動車の他に鉄道車両、船舶、プラントのオペレータ等の居眠り運転警報として用いることができるが、本実施例では自動車に適用した場合で説明する。
【００３２】
図１は、本発明を適用した眼の状態検出装置の構成ブロック図にかかり、該装置は、画像装置ＣＬ１と、脇見判定手段ＣＬ２と、曖昧状態検出手段ＣＬ３と、脇見推定手段ＣＬ４と、警報発生手段ＣＬ５とを備えている。
【００３３】
前記画像装置ＣＬ１は、運転者の状態を検出するもので、例えば、顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して顔の特徴量を検出する特徴量検出手段と、前記検出された顔の特徴量から予め記憶された眼の特徴情報に合致する特徴量を抽出して眼の位置を検出する眼の位置検出手段とを備えている。
【００３４】
前記脇見判定手段ＣＬ２は、前記画像装置ＣＬ１で得られた画像データを処理して脇見状態を判定するもので、例えば、前記検出された眼の位置を基準に眼を含む追跡領域を設定すると共に、該追跡領域内で顔の特徴量を検出して眼の詳細位置を検出し、該眼の詳細位置の変化から脇見を判定するものである。
【００３５】
前記曖昧状態検出手段ＣＬ３は、画像データが不完全な曖昧状態にあることを検出するものであり、画像データから少なくとも一方の眼が消失し且つ所定以上の光が入射しているとき曖昧状態であると検出する。または、前記曖昧状態検出手段ＣＬ３は、前記入射している光の方向を検出し、該検出した光の入射方向を考慮する。または、前記曖昧状態検出手段ＣＬ３は、前記入射している光の方向の検出を、暦と時刻とから太陽の方角を算出し、ナビゲーションシステムからの位置情報から操作対象に対する太陽の位置を推定することにより行うか、サンバイザの操作情報により行う。
【００３６】
前記脇見推定手段ＣＬ４は、曖昧状態検出手段ＣＬ３が曖昧状態であることを検出したとき、曖昧状態検出手段ＣＬ３の画像情報から脇見を推定する。または、脇見推定手段ＣＬ４は、鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定する。または、脇見推定手段ＣＬ４は、前記画像情報の前記所定以上の光が入射している部分と陰の部分との状態変化により前記脇見を推定する。または、前記脇見推定手段ＣＬ４は、所定以上の光が前方から入射しているときは鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定し、前記検出した光が横方向から入射しているときは所定以上の光が入射している部分と陰の部分との状態変化により前記脇見を推定する。
【００３７】
前記警報発生手段ＣＬ５は、前記脇見の判定又は推定により警報を行うものである。
【００３８】
（第１実施形態）
図２は、本発明の第１実施形態にかかる構成ブロック図である。
【００３９】
同図のように、前記画像装置ＣＬ１を構成するＴＶカメラ２１が自動車のインストルメントに設置され、運転者の顔部分を正面から撮影する。ＴＶカメラ２１の入力画像は、本実施形態では、例えば横方向（Ｘ）５１２画素、縦方向（Ｙ）４８０画素からなる。前記ＴＶカメラ１で撮像された入力画像は、画像装置ＣＬ１のＡ−Ｄ変換器２２を介して画素毎のアナログ電圧が２５６階調のデジタル値に変換され、入力画像データとして画像装置ＣＬ１の画像メモリ２０３に格納される。画像メモリ２３の出力は、画像装置ＣＬ１の画像データ演算回路２４に入力される。
【００４０】
前記画像データ演算回路２４は、前記入力された顔画像データから顔の縦方向の画素列に沿って画素の濃度値を読み出し、該濃度値の局所的な高まり毎に１個づつの画素を定めて抽出点とし、隣接した抽出点を連続させて顔の横方向に延びる連続データを抽出して顔の特徴量とし、その出力は画像装置ＣＬ１の顔の特徴量検出回路２５に入力される。
【００４１】
前記顔の特徴量検出回路２５は、前記検出された顔の特徴量の画像上の位置、長さ、形状情報を用いて眼の位置を検出し、その出力は脇見判定手段ＣＬ２の両眼追跡回路２６に入力される。
【００４２】
前記両眼追跡回路２６は、前記顔の特徴量検出回路２５において検出された眼の位置を基準に眼を含む追跡領域を設定すると共に、該追跡領域内で顔の特徴量を検出して眼の詳細位置を検出し、その出力は曖昧状態検出手段ＣＬ３としての曖昧状態検出回路２７に入力される。
【００４３】
曖昧状態検出回路２７では、両眼追跡中に少なくとも一方の眼のデータが消失したと同時に画像の状態が不安定で曖昧な状態であることを検出し、該曖昧な状態が検出されなければ前記両眼追跡回路２６の出力が曖昧状態検出回路２７の出力として脇見検出回路２８へ入力され、曖昧状態が検出された場合には曖昧状態検出回路２７の画像情報が脇見推定回路３０へ入力されることになる。
【００４４】
脇見検出回路２８では、前記両眼追跡回路２６からの画像データによって両眼の位置情報及び両眼データの有り無しの情報から脇見を判定し、警報装置２９へ出力する。前記脇見推定回路３０では、前記曖昧状態検出回路２７からの画像情報によって脇見を推定し、警報装置２９へ出力する。警報装置２９では、脇見の判定又は推定によりブザーや警報ランプなどで警報することになる。
【００４５】
図３は、本発明の第１実施形態に係る曖昧状態を検出する手段２７を説明するフローチャートである。ステップＳ１１では、左右それぞれの眼を独立に追跡しているときに少なくとも一方の眼が消失した場合はステップＳ１２へ進み、消えていない場合はステップＳ１４へ進む。ステップＳ１２では眼下部の左右ラインの濃度値を読み込み、ステップＳ１３では読み込んだ濃度値から光環境が正常かそうでないかを判断する。光環境が正常ならばステップＳ１４へ進み、正常でなければステップＳ１７へ進む。ステップＳ１４では、両眼の座標変化と両眼の相対位置の変化および眼のデータの有無の情報から脇見を判定する。ステップＳ１５では、脇見判定回路ステップＳ１４の判定結果を受けて脇見の判断を行い、脇見状態であればステップＳ１６へ移行して、警報装置の警報をＯＮ・ＯＦＦする。
【００４６】
前記ステップＳ１２における眼の下部に相当する位置から画素の濃度を読み込む方法は、図４，図５に示すように行う。図４は図２の顔特徴量検出回路２５から検出された眼の位置に、追跡領域を設定して両眼を追跡している状態を示す。１は画像処理をする範囲を示す。２は運転者の顔を示す。３は初期に検出した眼の座標を基準の眼の追跡領域（追跡ウインドウ）１０を設定し、その範囲で捉えた左眼の連続データを示す。４は同様に右眼の連続データを示す。５は鼻、６は口を示す。７，８は眉毛を示す。顔の濃度情報から曖昧状態を判断するには、顔全体の濃度を読み込んで判断するのが理想だが情報量が増加するため処理速度が遅くなる。よって図５のように眼付近に濃度を読み込む範囲を設定した。光環境を判断する濃度読み込みライン１２，１３は、左右方向および上下方向の濃度変化の情報が得られるよう左右２カ所に設定した。濃度読み込みライン１２，１３の横方向の位置は眼の位置直下に、また上下方向は眼の位置からｙａ離れた位置を基点にｙ１の長さで設定する。眼の位置は、眼のデータが消失した場合は、眼の位置データを格納するメモリ（例えば１０フレーム分）に入っている最近の座標データを基準に設定する。
【００４７】
次に、前記ステップＳ１３において、読み込んだ濃度から光環境が正常か異常かを判定する方法は、図６〜９に示すように行う。図６は前方から陽が当たっている画像状態を示し、眼の下まぶたから上は黒く、まぶたから下は白くなる。このときの濃度読み込みライン１２および１３の濃度を図７のパターンＡに示す。
濃度読み込みライン１２，１３共に所定以上の光として太陽光が顔全般にわたり当たっているため白っぽくなり、強い日射しが当たったときの濃度値に対してあらかじめ低めに設定した閾値を濃度読み込みライン１２，１３共に超えた場合は光環境が悪化していると判断する。パターンＢは、影の下限ラインが濃度読み込みライン１２，１３の中程まで下がっているときのデータ状態を示す。このような場合には、白い領域の平均濃度値が閾値Ｃ２より明るく、黒い領域の平均濃度値が閾値Ｃ１を下回った場合に光環境が悪化していると判断する。
【００４８】
また、パターンＣは、影の下限ラインが濃度読み込みライン１２，１３の下に移動したときの濃度値を示す。すべて影に入っているため濃度値が全体にわたり黒っぽくなる。濃度読み込みライン１２，１３の平均値が閾値Ｃ１より黒い場合は、曖昧状態を判定する条件とする。
【００４９】
図８は、横方向から太陽光が当たった場合の顔画像であり、顔の右側が白く左側が影になって黒っぽくなる。このときの濃度読み込みライン１２および１３の濃度を図９に示す。濃度読み込みライン１２は影に入っているため黒く、濃度読み込みライン１３は白くなり、左右で濃度差が発生する。この濃度差が閾値を超えた場合は光環境が悪化していると判断する。この実施形態では右側から光が入射している例を示したが、左から入射している場合も同様である。
【００５０】
次に、前記ステップＳ１７において、画像の状態が不安定で曖昧な状態のときの運転者の脇見の推定を行う方法を、鼻の位置を検出して追跡する図１０〜図１５により説明する。図１０は、前記ステップＳ１７の詳細フローであり、ステップＳ２１では、画像状態が曖昧状態と判定された場合、眼が消失したときに眼の位置データを格納するメモリ（例えば、１０フレーム分）に入っている最新の眼の座標データ（図１１のｘｌ１，ｙｌ１）を基準に鼻の位置に追跡領域を設定する。
【００５１】
ステップＳ２２では、眼と鼻の位置関係は、初期の顔の特徴量認識回路の中で眼と鼻が認識され、その時に記憶していた眼と鼻の中心相対座標値（図１１の ｘｎ，ｙｎ）を用いて眼の位置から鼻の位置に追跡エリア３１を設定し鼻を追跡する。追跡エリア３１（図１１）の大きさ（図１１のｗｎ１，ｈｎ１）は、眼と鼻の相対位置の誤差や運転姿勢の変化を考慮して若干大きいエリアで検索し、鼻の幅や高さが認識できたらその寸法に余裕分を見込み、例えば１．３を乗じた寸法を追跡エリアとし、高速で処理できるよう追跡する面積が最小となるよう設定される。図１２は、両眼のデータが消失し、前方を注視した状態で鼻を追跡している状態を示す。このときの鼻の追跡エリア３１を拡大したものを図１３に示す。鼻孔に相当する連続データ４１，４２の幅Ｘｎｆは頭部の回転角に応じて変化するが、前を見ているときはこの幅Ｘｎｆが最大となり、この最大値を例えば処理回数 １０００フレームの範囲（１フレーム０．１ｓｅｃとして１００ｓｅｃ）で学習し、同時に最大値のときの絶対座標の頻度データを蓄える。
【００５２】
ステップＳ２３では、鼻孔の間隔が所定値以下か否かの判断が行われる。運転者が脇見をしたときは頭部の回転角に応じて鼻孔幅Ｘｎｆが狭くなる。鼻孔幅 Ｘｎｆが所定値以下であればステップＳ２４へ移行し、そうでなければＳ２１へ戻る。一例として、鼻孔幅Ｘｎｆが狭くなる閾値はＸｎｆの７０％以下に設定される。
【００５３】
さらに、ステップＳ２４では、鼻孔が常時存在する位置からずれているか否かが判断される。脇見の場合は、鼻孔中心の絶対座標が脇見した方向にＸｎ移動するため（図１４）、この変化をトリガに脇見を判定する。一例として、鼻孔が常時存在する位置からずれているか否かの判断閾値は、鼻孔中心の移動量が４０画素以上として設定される。さらに頭部の回転角が増加すると脇見をした側のデータが消えることに着目し、鼻孔が片側消失した場合は無条件に脇見検出と判断する。
【００５４】
ステップＳ２５では、前記判断結果から脇見と推定し、前記ステップＳ１６へ移行する。
【００５５】
このように本実施形態では、画像データが不完全な曖昧状態にあることを検出したとき、脇見推定回路３０によって曖昧状態検出回路２７の画像情報から脇見を推定することができる。従って、運転者の顔に強い光が当たり、眼が画像から消えるなど顔画像データが曖昧状態でも脇見推定回路３０により運転者が前を見ているか見ていないかの推定を行うことができ、迅速な処理を行うことができる。
【００５６】
また、曖昧状態検出回路２７は、画像データから少なくとも一方の眼が消失し、かつ所定以上の光が入射しているとき曖昧状態であると検出することができ、脇見をして眼のデータが消えたのか、所定以上の光で眼のデータが消えたのかを区別することができ、迅速な処理を行うことができる。
【００５７】
さらに、脇見推定回路３０は、鼻の位置を検出し、検出した鼻の位置情報に基づき脇見を推定することができ、片目又は両目が消失しても脇見推定を行うことができる。
【００５８】
（第２実施形態）
図１６〜図２２は、本発明の第２実施形態を示している。図１６は、前記第１実施形態の図１０に対応する本実施形態のフローチャートであり、他の基本的な構成は、第１実施形態と同様であり、図２等を適宜参照する。
【００５９】
本実施形態では、曖昧状態のとき運転者の脇見の推定を、画像の光が当たっている部分と影の部分の状態変化により行っている。まず、ステップＳ３１では、画像状態が曖昧状態と判定された場合、眼が消失したときに眼の位置データを格納するメモリ（例えば１０フレーム分）に入っている最新の眼の座標データ（図１１のｘ１１，ｙ１１）を基準にｙｎ１（図１７）の距離を隔てて濃度の読み込みライン５１（図１７）を設定する。さらに、鼻の位置からｙｎ１（図１７）の距離を隔てて濃度の読み込みライン５２を設定する。ステップＳ３２ではステップＳ３１で設定した濃度読み込みライン５１，５２上で濃度データを読み込む。光が横方向から当たっている図１７の状態で読み込んだ濃度データを図１８（ａ）に示す。濃度読み込みライン５１，５２共に右側は白く、中央付近から影の濃度変化は同じ傾向になる。
【００６０】
ステップＳ３３では、読み込んだ濃度データの変化をみるため微分する。図１８（ｂ）にその微分値を示す。濃度がプラスからマイナスに変化する位置は、濃度読み込みライン５１，５２ライン上共に略同位置（ｄｆ）である。
【００６１】
ステップＳ３４では、運転中は前を見ている時間の方が安全確認や脇見の時間と比べて長いため、微分値が安定している濃度パターンを学習する。
【００６２】
ステップＳ３５では、微分値が安定状態の濃度パターンに対して一定量変化したかどうかを判定し、変化した場合は横を向いている可能性が高いと判定し、前記ステップＳ１６（図３）へ移行し、例えば２ｓｅｃの時間をおいて警報を出力する。
【００６３】
図１９は左方向を向いている顔画像状態を示す。前方を見ている状態の濃度読み込みライン５１，５２ライン上のプラスからマイナスに変化する位置が、濃度読み込みライン５１，５２双方左側に移動し、変化する位置の差（ｄｉ）も広がる。この変化量を捉えて変化量が所定量に達したときに脇見と推定する。
【００６４】
図２０は、光が横方向から入射している状態から右をみた画像状態を示す。影の境界ラインが右側に移動し左頬に光が当たる例であるが、前を向いているときと比較して微分値のパターンが異なり、このパターンの違いから脇見を推定する。
【００６５】
従って、本実施形態において、脇見推定回路３０は、画像情報の所定以上の光が入射している部分と影の部分との状態変化により脇見を推定することができ、画像から眼や鼻の情報が消えても脇見推定を行うことができる。その他、第１実施形態と略同様な作用効果を奏することができる。
【００６６】
（第３実施形態）
図２３〜図２５は、本発明の第３実施形態を示している。図２３は、前記第１実施形態の図１０に対応する本実施形態のフローチャートであり、他の基本的な構成は、第１実施形態と同様であり、図２等を適宜参照する。
【００６７】
本実施形態では、曖昧状態のとき運転者の脇見の推定を、残っている一方の眼と鼻で検出し、追跡することにより行っている。まず、ステップＳ４１では、残っている一方の眼の座標を基準に第１実施形態と同様に鼻の位置に追跡領域を設定する。図２４は、左側が比較的明るいときに左眼が追跡可能な状態を示す。このときは眼や鼻だけで脇見を推定するよりも眼と鼻を同時に追跡して相対位置関係から脇見を推定するほうが脇見推定の精度が向上する。
【００６８】
前記のように鼻位置に追跡領域を設定したあとに、ステップＳ４２で一方の眼と鼻を同時に追跡を開始する。ステップＳ４３では片眼と鼻の相対位置Ｘｎｅ（図２４）が所定以上変化したかどうかを判定し、所定以上変化した場合はステップＳ４４へ進む。ステップＳ４４の結果から脇見と推定し、タイマを作動させて所定時間経過したらステップＳ１６（図３）で警報する。
【００６９】
図２５は左方向を向いたときの画像状態を示す。眼と鼻の相対位置は頭部の前後・左右の回転角により変わるが、脇見と推定する条件としては真横を向いたときＸｎｅが例えば３０％以上減少してＸｎｅ１となった場合とする。
【００７０】
従って、本実施形態において、脇見推定回路３０は脇見の推定を残っている一方の眼と鼻で推定することができ、両眼のうち一方の眼が消えた場合に、残っている他方の眼と鼻の組み合わせで脇見を推定することができ、脇見推定精度の向上を図ることができる。その他、第１実施形態と同様な作用効果を奏することができる。
【００７１】
（第４実施形態）
次に、本発明の第４実施形態として、脇見の推定を光の入射方向により、鼻の位置を検出かつ追跡して脇見を推定するか、光が当たっている部分と影の部分の状態変化により脇見を推定するかのどちらを選択するかその方法について説明する。なお、基本的な構成は、第１実施形態と同様であり、図２等を適宜参照する。
【００７２】
ここで、光の入射方向を検出する方法について説明する。光環境が正常かそうでないかの判定方法は、既に図６〜図９で説明した通りであるが、同時に光の入射方向もこの方法で判定することができる。前記図６，図７で説明したような光環境の場合は、左右の平均濃度値およびに濃度パターンが同様な傾向になると推定されるため、このような場合は車両前方から光が入射していると判定することができる。また前記図８，図９で説明したような光環境の場合は、左右それぞれの濃度値に開きが見られるため、このような場合は横方向から光が入射していると判定する。
【００７３】
そして、車両前方から光が入射しているときは、入射角度にもよるが、顔の上方が黒く下方が白くなるパターンが多い。少なくとも一方の眼が消えて前方または斜め前方から光が入射していると判定した場合は鼻の位置を検出・追跡する。光の方向が車両横方向から入射しているときには鼻の位置が影に隠れてしまうため鼻の位置検出ができなくなることがある。この場合は、光が当っている部分と影の部分の状態変化による脇見の推定を選択する。
【００７４】
従って、本実施形態の脇見推定回路３０では、所定以上の光が前方から入射しているときは鼻の位置を検出し、該検出した鼻の位置情報に基づき脇見を推定し、検出した光が横方向から入射しているときは所定以上の光が入射している部分と影の部分との状態変化により脇見を推定することができ、光の入射方向に合った最適な脇見推定を行うことができる。
【００７５】
なお、光の入射方向の検出は、以下のようにして行うこともできる。すなわち、図２６のように、太陽の高度方向のデータベース６１とナビゲーション情報６２とから、車両と太陽の位置関係６３を検出する。前記太陽の高度方向のデータベース６１は、太陽の高度と方角の情報が入ったデータベースであり、暦と時刻を入力することにより太陽の高度と方角が推定できる。時計と連動しておけば常に太陽の高度が判る。前記ナビゲーション情報６２では、ナビゲーションの情報から車両の向きがわかる。この太陽の高度方向のデータベース６１とナビゲーション情報６２との情報から車両と太陽の位置関係６３がわかる。
【００７６】
よって前記第１実施形態の画像の濃度情報から判定する方法と合わせることにより光環境が正常であるか悪化しているかが精度良く判定できる。また、前記第４実施形態で用いることにより、光の入射方向に合った最適な脇見推定を行うことができる。
【００７７】
また、光の入射方向を、サンバイザを使って推定することもできる。すなわち、運転席の頭上にあるサンバイザは通常は上げているが、車両前方から光が入射している状態で光線が眼に近くなるとサンバイザを降ろす。また横方向から光が入射している場合はドライバの側方に移動させ直射日光を防いでいる。よってサンバイザの使用状況により光の入射方向を推定できる。サンバイザの格納状態と、前に降ろしている状態と、側法に移動させているかが判別できるＳＷを取付、該ＳＷの信号により使用状況を判定する。
【００７８】
よって前記第１実施形態の画像の濃度情報から判定する方法と合わせることにより光環境が正常であるか悪化しているかが手軽な手段によって精度良く判定できる。また、前記第４実施形態で用いることにより、光の入射方向に合った最適な脇見推定を行うことができる。
【図面の簡単な説明】
【図１】第１実施形態に係り、曖昧状態での脇見推定を説明する詳細フローチャートである。
【図２】本発明の第１実施形態のブロック図である。
【図３】第１実施形態のフローチャートである。
【図４】第１実施形態に係り、眼を追跡している通常の処理状態を示す説明図である。
【図５】第１実施形態に係り、光環境判断用濃度読み込みライン位置設定方法の説明図である。
【図６】第１実施形態に係り、前方から陽が当たっている画像状態を示す説明図である。
【図７】第１実施形態に係り、影の位置による濃度データの変化を示す説明図である。
【図８】第１実施形態に係り、横方向から陽が当たった場合の顔画像を示す説明図である。
【図９】第１実施形態に係り、横方向から陽が当たった場合の濃度データを示す説明図である。
【図１０】第１実施形態に係り、第３実施形態のフローチャートである。
【図１１】第１実施形態に係り、鼻の追跡エリア設定方法の説明図である。
【図１２】第１実施形態に係り、前方を見ている状態で鼻を追跡している状態の説明図である。
【図１３】第１実施形態に係り、正面を向いているときの鼻追跡エリアの拡大図である。
【図１４】第１実施形態に係り、鼻を追跡している状態で横を見た説明図である。
【図１５】第１実施形態に係り、鼻を追跡中、横を見たときの鼻追跡エリアの拡大図である。
【図１６】本発明の第２実施形態のフローチャートである。
【図１７】第２実施形態に係り、横から光が当たっているときに濃度を読み込む場合の説明図である。
【図１８】第２実施形態に係り、図１７の濃度データを示すグラフである。
【図１９】第２実施形態に係り、横から光が当たりかつ横（左側）を見ている状態を示す説明図である。
【図２０】第２実施形態に係り、図１９の濃度データを示すグラフである。
【図２１】第２実施形態に係り、横から光が当たりかつ横（右側）を見ている状態を示す説明図である。
【図２２】第２実施形態に係り、図２１の濃度データを示すグラフである。
【図２３】本発明の第３実施形態のフローチャートである。
【図２４】第３実施形態に係り、片眼が追跡可能な状態、鼻の検索領域を設定するための説明図である。
【図２５】第３実施形態に係り、眼と鼻を追跡中横を見た状態を示す説明図である。
【図２６】光の入射方向の検出の他の方法を説明するブロック図である。
【符号の説明】
ＣＬ１ 画像装置
ＣＬ２ 脇見判定手段
ＣＬ３ 曖昧状態検出手段
ＣＬ４ 脇見推定手段
ＣＬ５ 警報発生手段
Claims (10)
- 運転者の顔を撮像する画像装置と、
該画像装置で得られた画像データを処理して運転者の脇見状態を判定する脇見判定手段とを備えた脇見状態検出装置において、
前記画像データから眼の位置を検出する眼の位置検出手段と、
前記画像データを記憶する画像データ記憶手段と、
前記眼の位置検出手段が少なくとも一方の眼の位置を検出できなくなったときに、前記記憶された画像データ上の両眼の下方に設定した左右のラインの濃度情報に基づいて光環境の異常を検出することにより、前記画像データが曖昧状態であると判定する曖昧状態検出手段と、
前記眼の位置検出手段が両眼の位置を検出しているとき、または前記曖昧状態検出手段が光環境の異常を検出していないときに、前記眼の位置および両眼の画像データの有無に基づいて脇見を判定する脇見判定手段と、
前記曖昧状態検出手段が曖昧状態であると判定したとき、前記画像データのうち少なくとも眼に関する画像データ以外の画像データを用いて脇見を推定する脇見推定手段と、
を備えたことを特徴とする脇見状態検出装置。 - 請求項１記載の脇見状態検出装置であって、
前記曖昧状態検出手段は前記濃度情報に基づいて、前記画像データから少なくとも一方の眼が消失し且つ所定以上の光が入射しているとき光環境が異常と判定することを特徴とする脇見状態検出装置。 - 請求項１記載の脇見状態検出装置であって、
前記脇見推定手段は、前記画像データ上の鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定することを特徴とする脇見状態検出装置。 - 請求項１記載の脇見状態検出装置であって、
前記脇見推定手段は、前記画像データの前記所定以上の光が入射している部分と陰の部分との明暗の境界位置の変化に基づいて前記脇見を推定することを特徴とする脇見状態検出装置。 - 請求項２記載の脇見状態検出装置であって、
前記脇見推定手段は、前記画像データ上の鼻と消失せずに残っている他方の眼とで脇見の推定を行うことを特徴とする脇見状態検出装置。 - 請求項１記載の脇見状態検出装置であって、
前記曖昧状態検出手段は、顔に入射する光の方向を検出し、
前記脇見推定手段は、前記検出された光の入射方向が前方の場合、鼻の位置を検出し、該検出した鼻の位置情報に基づき前記脇見を推定することを特徴とする脇見状態検出装置。 - 請求項１記載の脇見状態検出装置であって、
前記曖昧状態検出手段は、顔に入射する光の方向を検出し、
前記脇見推定手段は、前記検出された光の入射方向が横方向の場合、前記画像データの明暗の境界位置の変化に基づいて前記脇見を推定することを特徴とする脇見状態検出装置。 - 請求項６又は７記載の脇見状態検出装置であって、
前記入射している光の方向の検出は、暦と時刻とから太陽の方角を算出し、ナビゲーションシステムからの位置情報から操作対象に対する太陽の位置を推定することにより行うことを特徴とする脇見状態検出装置。 - 請求項６又は７記載の脇見状態検出装置であって、
前記入射している光の方向の検出は、サンバイザの操作情報により行うことを特徴とする脇見状態検出装置。 - 請求項１記載の脇見状態検出装置であって、
前記脇見の判定又は推定により警報を行う警報発生手段を備えたことを特徴とする脇見 状態検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000196788A JP3858570B2 (ja) | 2000-06-29 | 2000-06-29 | 脇見状態検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000196788A JP3858570B2 (ja) | 2000-06-29 | 2000-06-29 | 脇見状態検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002015322A JP2002015322A (ja) | 2002-01-18 |
| JP3858570B2 true JP3858570B2 (ja) | 2006-12-13 |
Family
ID=18695227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000196788A Expired - Fee Related JP3858570B2 (ja) | 2000-06-29 | 2000-06-29 | 脇見状態検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3858570B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4471607B2 (ja) * | 2003-08-29 | 2010-06-02 | 富士通株式会社 | 眼の追跡装置、眼の状態判定装置及びコンピュータプログラム |
| JP4498040B2 (ja) * | 2004-07-09 | 2010-07-07 | キヤノン株式会社 | 画像処理方法及び装置 |
| JP2006072742A (ja) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | キャッチライト合成方法及び装置 |
| JP2006072743A (ja) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | キャッチライト合成方法及び装置 |
| JP4692447B2 (ja) * | 2006-09-08 | 2011-06-01 | トヨタ自動車株式会社 | 居眠り検知装置、居眠り検知方法 |
| JP4670803B2 (ja) | 2006-12-04 | 2011-04-13 | 株式会社デンソー | 操作推定装置およびプログラム |
| JP4781292B2 (ja) * | 2007-02-01 | 2011-09-28 | トヨタ自動車株式会社 | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム |
| JP5167027B2 (ja) * | 2008-08-19 | 2013-03-21 | トヨタ自動車株式会社 | 瞬き状態検出装置 |
| DE112017007774B4 (de) * | 2017-09-13 | 2023-04-06 | Mitsubishi Electric Corporation | Fahrerzustands-Bestimmungsvorrichtung und Fahrerzustands-Bestimmungsverfahren |
| JP7100575B2 (ja) | 2018-12-28 | 2022-07-13 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2937030B2 (ja) * | 1994-09-14 | 1999-08-23 | 三菱電機株式会社 | 画像処理装置及び人物状態判定装置 |
| JPH1044824A (ja) * | 1996-07-30 | 1998-02-17 | Nissan Motor Co Ltd | 車両運転者の開閉眼判定装置 |
-
2000
- 2000-06-29 JP JP2000196788A patent/JP3858570B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002015322A (ja) | 2002-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7362885B2 (en) | Object tracking and eye state identification method | |
| US8208021B2 (en) | Vehicle and lane mark detection device | |
| US8983123B2 (en) | Target-object distance measuring device and vehicle mounted with the device | |
| JP3858570B2 (ja) | 脇見状態検出装置 | |
| KR100630088B1 (ko) | 옵티컬 플로우를 이용한 차량 감시 장치 및 방법 | |
| EP2928178B1 (en) | On-board control device | |
| JP5790762B2 (ja) | 瞼検出装置 | |
| JP2003134508A (ja) | 車両用情報提供装置 | |
| EP2827318A1 (en) | Vehicle periphery monitor device | |
| JP4756316B2 (ja) | 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法 | |
| JP4770218B2 (ja) | 視認行動判定装置 | |
| WO2013008304A1 (ja) | 瞼検出装置 | |
| JP2000198369A (ja) | 眼の状態検出装置、居眠り運転警報装置 | |
| JP4795281B2 (ja) | 車両の安全装置 | |
| JP2010061375A (ja) | 物体認識装置及びプログラム | |
| JP2001307076A (ja) | 眼の状態検出装置、居眠り検出装置 | |
| KR101146417B1 (ko) | 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법 | |
| JP4151341B2 (ja) | 顔状態検出装置 | |
| CN112241647A (zh) | 一种基于深度相机的危险驾驶行为预警装置和方法 | |
| JP3312562B2 (ja) | 居眠り状態検出装置 | |
| JP5004923B2 (ja) | 車両の運転支援装置 | |
| JP3531503B2 (ja) | 眼の状態検出装置及び居眠り運転警報装置 | |
| JP4696571B2 (ja) | 眼位置検出装置 | |
| JP3844750B2 (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
| JP2000301962A (ja) | 眼の状態検出装置、居眠り運転警報装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060911 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |