JP3769442B2 - 眼の状態検出装置 - Google Patents
眼の状態検出装置 Download PDFInfo
- Publication number
- JP3769442B2 JP3769442B2 JP2000041420A JP2000041420A JP3769442B2 JP 3769442 B2 JP3769442 B2 JP 3769442B2 JP 2000041420 A JP2000041420 A JP 2000041420A JP 2000041420 A JP2000041420 A JP 2000041420A JP 3769442 B2 JP3769442 B2 JP 3769442B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- value
- opening
- reference value
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の運転者、船舶の操船者、プラント等のオペレータ等の居眠り状態を検出し警報することなどに供する眼の状態検出装置に関する。
【０００２】
【従来の技術】
従来の画像処理によるこの種の装置には、例えば特開平１０−４０３６１号に記載された図１３、図１４に示すようなものがある。即ち、図１３の眼の開度検出制御により、自動車の運転者等の顔をカメラにより撮像して得た顔画像データから眼の位置を検出する。この眼の位置の濃度情報によりステップＳ１３０１で眼の開眼開度値と閉眼開度値とを検出し、ステップＳ１３０２では開閉眼判定基準値が決定されたか否かの判断が行われる。開閉眼判定基準値が決定されていないと判断されたときステップＳ１３０３で開閉眼判定基準値が学習される。この開閉眼判定基準値は、前記検出した眼の開眼開度値と閉眼開度値との中央値を用いている。この開閉眼判定基準値を用いてステップＳ１３０４において開閉眼判定を行っている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、例えば図１４（ａ）のように運転者が途中の時間ｔ２で交代したときは、それ以後の開閉眼開度値の検出値が同図のように変わってしまうことがあり、時間ｔ１で初期学習した開閉眼判定基準値が合わなくなる恐れがある。このような状態になると、時間ｔ３以後のように開眼開度値が開閉眼判定基準値を常に下回り、常時閉眼検出状態となって警報が出し続けられるなど、無駄な作動を招き、運転者は大きな煩わしさを感ずるという問題がある。
【０００４】
また、運転者の交替などを考慮して、図１４（ｂ）のように、時間ｔ１において開閉眼判定基準値を初期学習してから所定時間ｔａ毎に再学習することが考えられる。しかし、単に所定時間ｔａ毎に再学習すると次のような問題が残る。即ち、時間ｔ２の再学習時に開眼開度値が小さくなっていると学習される開閉眼判定基準値も小さくなり、時間ｔ３〜ｔ４のように開眼開度値が低くなっているにもかかわらず常時閉眼未検出状態となり、時間ｔ４以降は常時閉眼検出状態となって警報が出し続けられるなど、正確な検出に限界を招く恐れがある。
【０００５】
この発明は、開閉眼判定基準値の正確な再学習により、より正確な開閉眼判定を行わせることを可能とする眼の状態検出装置の提供を課題とする。
【０００６】
【課題を解決するための手段】
請求項１の発明は、操作対象物を操作する操作者の顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、前記検出された眼の位置の濃度情報による眼の開度値を基に学習した開閉眼判定基準値を用いて眼の開度を検出する眼の開度検出手段と、前記操作対象物が運転開始時か否かを検出する運転開始検出手段と、前記検出された眼の開度値から前記運転開始時以前の眼の開度値に対し現在の眼の開度値が変化しているか否かを判断する開度値変化判断手段と、前記運転開始時であることが検出され且つ前記眼の開度値が変化していると判断されたとき前記開閉眼判定基準値を再学習する基準値補正手段とを備えたことを特徴とする。
【０００７】
請求項２の発明は、操作対象物を操作する操作者の顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、前記検出された眼の位置の濃度情報による眼の開度値を基に学習した開閉眼判定基準値を用いて眼の開度を検出する眼の開度検出手段と、前記操作対象物の操作装置が操作開始時であることを検出する操作検出手段と、前記検出された眼の開度値から前記操作装置の操作開始時以前の眼の開度値に対し現在の眼の開度値が変化しているか否かを判断する開度値変化判断手段と、前記操作装置が操作開始時であると検出され且つ前記眼の開度値が変化していると判断されたとき前記開閉眼判定基準値を再学習する基準値補正手段とを備えたことを特徴とする。
【０００８】
請求項３の発明は、操作対象物を操作する操作者の顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、前記検出された眼の位置の濃度情報による眼の開度値を基に学習した開閉眼判定基準値を用いて眼の開度を検出する眼の開度検出手段と、前記検出した眼の開度に基づき警報を発する警報手段と、前記検出された眼の開度値から前記警報以前の眼の開度値に対し現在の眼の開度値が変化しているか否かを判断する開度値変化判断手段と、前記警報がなされ且つ前記眼の開度値が変化していると判断されたとき前記開閉眼判定基準値を再学習する基準値補正手段とを備えたことを特徴とする。
【０００９】
請求項４の発明は、請求項１〜３の何れかに記載の眼の状態検出装置であって、前記操作対象物の運転継続信号を検出する継続信号検出手段を設け、前記基準値補正手段は、前記運転継続信号が検出されているときは前記再学習を行わないことを特徴とする。
【００１０】
請求項５の発明は、請求項４記載の眼の状態検出装置であって、前記検出した眼の開度に基づき眩しさを判定する眩しさ判定手段を設け、前記基準値補正手段は、前記眩しさ判定がなされているときは前記再学習を行わないことを特徴とする。
【００１１】
【発明の効果】
請求項１の発明によれば、操作対象物が運転開始時か否かを検出する運転開始検出手段の信号を用いることによって、操作対象物が運転開始時であれば操作者は覚醒していると判断できる。この状態において開度値変化判断手段によって運転開始時以前の眼の開度値に対し現在の眼の開度値が変化していると判断されたとき、基準値補正手段によって開閉眼判定基準値を再学習し、この再学習した開閉眼判定基準値を用いて眼の開度検出手段において眼の開度を検出することができる。従って、操作者が交替した場合であっても、開閉眼判定基準値を正確に再学習することによって正確な眼の開度検出を行うことができる。
【００１２】
請求項２の発明では、操作者が操作対象物の操作装置を操作開始時であれば操作者は覚醒していると判断できる。この状態において操作装置の操作開始以前の眼の開度値に対し現在の眼の開度値が変化している場合に、開閉眼判定基準値を再学習することができる。従って、開閉眼判定基準値を正確に再学習することにより、眼の開度検出を正確に行うことができる。
【００１３】
請求項３の発明では、検出した眼の開度に基づき警報を発することによって操作者を覚醒させた場合には、操作者は覚醒していると判断することができる。この状態において警報以前の眼の開度値に対し現在の眼の開度値が変化している場合に、開閉眼判定基準値を再学習することができる。従って、かかる開閉眼判定基準値の正確な再学習によって、眼の開度検出を正確に行うことができる。
【００１４】
請求項４の発明では、請求項１〜３の何れかの発明の効果に加え、操作対象物の運転継続信号が検出されているときは、操作者の交替がなく、同一の操作者であると判断できるため、開閉眼判定基準値の再学習を行わないようにして眼の開度値の変化に対応した正しい開度検出を行うことができる。
【００１５】
請求項５の発明では、請求項４の発明の効果に加え、光環境の変化により眩しいと判断されている場合に、開閉眼判定基準値を再学習すると、眼の開度値が小さくなり、開閉眼判定基準値も小さくなる。従って、眩しくない状態では常時開眼と判定されてしまい正確な判定に限界を招くため、眩しいと判断された場合は開閉眼判定基準値の再学習を行わないようにし、眼の開度検出を正確に行うことができる。
【００１６】
【発明の実施の形態】
本装置は、自動車の他に鉄道車両、船舶、プラントのオペレータ等の居眠り運転警報として用いることができるが、本実施形態では、操作対象物として自動車に適用した場合で説明する。
（第１実施形態）
図１は、本発明を適用した眼の状態検出装置の構成ブロック図にかかり、該装置は、画像出力手段ＣＬ１と、眼の位置検出手段ＣＬ２と、眼の開度検出手段ＣＬ３と、運転開始検出手段ＣＬ４と、操作検出手段ＣＬ５と、警報手段ＣＬ６と、開度値変化判断手段ＣＬ７と、基準値補正手段ＣＬ８とを備えている。
【００１７】
前記画像出力手段ＣＬ１は、操作対象物を操作する操作者の顔を撮像して画像データを出力する。前記眼の位置検出手段ＣＬ２は、前記画像出力手段ＣＬ１から出力された顔画像データを処理して眼の位置を検出する。前記眼の開度検出手段ＣＬ３は、前記検出された眼の位置の濃度情報による眼の開度値を基に学習した開閉眼判定基準値を用いて眼の開度を検出する。前記運転開始検出手段ＣＬ４は、操作対象物が運転開始時か否かを検出する。前記操作検出手段ＣＬ５は、前記操作対象物の操作装置が操作開始時であることを検出する。前記警報手段ＣＬ６は、前記検出した眼の開度に基づき警報を発する。
【００１８】
前記開度値変化判断手段ＣＬ７は、前記検出された眼の開度から前記運転開始時以前の眼の開度値に対し現在の眼の開度値が変化しているか否か、前記操作装置の操作開始以前の眼の開度値に対し現在の眼の開度値が変化しているか否か、前記警報以前の眼の開度値に対し現在の眼の開度値が変化しているか否かをそれぞれ判断する。
【００１９】
前記基準値補正手段ＣＬ８は、前記操作対象物が運転開始時であることが検出され且つ前記眼の開度値が変化していると判断されたとき、前記操作装置が操作開始時であると検出され且つ前記眼の開度値が変化していると判断されたとき、前記警報がなされ且つ前記眼の開度値が変化していると判断されたとき、それぞれ前記開閉眼判定基準値を再学習する。
【００２０】
図２は、本発明の第１実施形態にかかる構成ブロック図である。同図のように、ＴＶカメラ１が操作対象物としての自動車のインストルメントに設置され、操作者である運転者の顔部分を正面から撮影する。ＴＶカメラ１の入力画像は、本実施形態では、例えば横方向（Ｘ）５１２画素、縦方向（Ｙ）４８０画素からなる。前記ＴＶカメラ１で撮像された入力画像は、Ａ−Ｄ変換器２を介して、デジタル量の入力画像データとして画像メモリ３に格納される。画像メモリ３の出力は、画像データ演算回路４に入力される。
【００２１】
画像データ演算回路４は、前記入力された画像データに基づいて顔の縦方向の画素列の濃度を検出し、画素列における濃度の高まりとその変化状態によりポイントを抽出し（抽出点）、隣接する画素列の近接したポイントを連続して顔の横方向への連続データを抽出し、顔画像データとして出力する。
【００２２】
従って、ＴＶカメラ１、Ａ−Ｄ変換器２、画像メモリ３、画像データ演算回路４は、本実施形態において前記画像出力手段ＣＬ１を構成している。
【００２３】
前記画像データ演算回路４の出力は、眼の位置検出回路５に入力される。この眼の位置検出回路５は、前記眼の位置検出手段ＣＬ２を構成し、抽出された顔画像データから顔の複数の特徴量を抽出し、該特徴量から眼のテンプレートなどによって眼を特定すると共にその座標を求める。また、該眼の位置から眼の位置を含む所定領域を左右の眼に対してそれぞれ１個づつ決定すると共に、該所定領域に前記眼の移動に応じて該眼を追跡させ、この眼を追跡する各所定領域内において縦方向への濃度の高まりとその変化状態からポイントを抽出し、隣接する画素列の近接したポイントを連続して顔の横方向への連続データを抽出し、左右の眼の詳細位置を検出する。
【００２４】
前記眼の位置検出回路５の出力は、眼の開度検出回路６に入力される。この眼の開度検出回路６は、眼の開度検出手段ＣＬ３を構成し、前記眼の詳細位置を含む追跡領域を設定し、該追跡領域内の濃度情報から眼の開度値として開眼開度値と閉眼開度値とを検出し、該開眼開度値と閉眼開度値とに基づいて開閉眼判定基準値を学習し、該開閉眼判定基準値を用いて眼の開度を検出する。
【００２５】
そして、眼の開度検出回路６によって検出された眼の開度のデータを用いて運転者の居眠り運転など判断し、居眠り運転などが行われているときには警報手段ＣＬ６としての警報装置７によって警報を行う。
【００２６】
一方、前記眼の開度検出回路６で学習した開閉眼判定基準値は、前記基準値補正手段ＣＬ８を構成する基準値補正回路８によって再学習され、再学習された開閉眼判定基準値は前記眼の開度検出回路６に入力されて再学習前の開閉眼判定基準値と書き換えられる。なお、基準値補正回路８を省いて眼の開度検出回路６に基準値補正回路としての機能を持たせることもできる。
【００２７】
前記基準値補正回路８は、操作対象物の運転開始、例えば自動車の走行開始時（発進時）であることが検出され且つ前記眼の開度検出回路６で検出された眼の開度値が変化しているとき、又は操作対象物の操作装置、例えば自動車のアクセル、ブレーキなどの操作開始時であることが検出され且つ前記眼の開度検出回路６で検出された眼の開度値が変化しているとき、更には警報手段の警報、例えば警報装置７の警報がなされ且つ前記眼の開度検出回路６で検出された眼の開度値が変化しているとき前記開閉眼判定基準値を再学習する。
【００２８】
前記眼の開度値が変化しているか否かは開度値変化判断手段ＣＬ４としての開度値変化判断回路９が行い、前記基準値補正回路８へ入力する。開度値変化判断回路９は、前記自動車の走行開始時（発進時）以前の眼の開度値に対し現在の眼の開度値が変化しているか否か、前記アクセル、ブレーキなどの操作開始以前の眼の開度値に対し現在の眼の開度値が変化しているか否か、前記警報装置７の警報以前の眼の開度値に対し現在の眼の開度値が変化しているか否かをそれぞれ判断する。
【００２９】
このため、前記開度値変化判断回路９には、前記眼の開度検出回路６から検出した眼の開度値が入力され、且つ前記運転開始検出手段ＣＬ４として車速を検出する車速センサ１０、前記操作検出手段ＣＬ５としてアクセル操作、ブレーキ操作を検出するアクセルセンサ１１、ブレーキセンサ１２、警報手段ＣＬ６としての警報装置７の検出信号、図示はしないがその他ＳＷ類を操作する操作信号がそれぞれ入力されるようになっている。
【００３０】
ところで、長時間の走行において運転者は疲労等により眠気を誘発し眼の開度値が次第に低下する傾向がある。このとき、等間隔のタイミングで開閉眼判定基準値を算出すると、開眼開度値の低下に伴い開閉眼判定基準値も低下してくる。これにより、完全に眼を閉じた状態にならなければ閉眼と判断できなくなるので、正確な検出に限界を招く。また、長時間の連続走行において途中で運転者が交替することは容易に考えられる。初期の開閉眼判定基準値は初期の運転者にしか対応しない。このため、車両が停車し、走行を開始した直後に眼の開度値を学習することが必要となる。
【００３１】
図３は自動車が運転開始時（発進時）であることを検出して開閉眼判定基準値の再学習を行なうことと、車両の車速と運転者（ドライバ）の眼の開度値の変化とを示したタイムチャートである。
【００３２】
運転者の眼の開閉眼を判定するためには、開眼開度値と閉眼開度値を学習し、これら２つの値から開閉眼判定基準値を算出する方法がある（特開平１０−４０３６１号）。運転を開始し車速が０ｋｍ／ｈから上昇していくことを検出した時点（ｔ＝０）から初期の開閉眼判定基準値の学習を開始する。開眼開度値と閉眼開度値が検出できた時点（ｔ＝ｔ１）で開閉眼判定基準値を算出する。運転者の目の開眼開度値は時間経過と共に小さくなってくる。パーキングエリア等で休憩すると車速は０ｋｍ／ｈとなり開眼開度値は初期状態に近づく。休憩後車両を発進させた時点（ｔ＝ｔ２）から再学習を始め、新たに開眼開度値と閉眼開度値に変化が現れた時点（ｔ＝ｔ３）で開閉眼判定基準値を更新する。更に運転を続け、疲労が増した場合には、運転者の交替が考えられる。停車状態（車速０ｋｍ／ｈ）で運転者が交替し、発進した時点（ｔ＝ｔ４）で再度開閉眼判定基準値の学習を開始する。運転者によって眼の開眼開度値も閉眼開度値も当然異なると考えられるため、両値が変化していた場合（ｔ＝ｔ５）、開閉眼判定基準値を更新する。
【００３３】
次に、自動車が運転開始時（発進時）であることを検出して、開閉眼判定基準値の再学習を行なう動作を図４のフローチャートを用いて説明する。
【００３４】
図４のステップＳ４０１は、前記眼の開度検出手段ＣＬ３として機能し、眼の詳細位置を含む追跡領域を設定し、該追跡領域内の濃度情報から眼の開度値の変化を検出し、ステップＳ４０２へ移行する。なお、このフローチャートでは画像出力手段ＣＬ１、眼の位置検出手段ＣＬ２としての機能は省略している。
【００３５】
ステップＳ４０２は、運転開始検出手段ＣＬ４として機能し、車速センサ１０により車速信号を取り込み、停車中（車速０ｋｍ／ｈ）の場合はステップＳ４０３に移行し、発進中フラグをクリアし、眼の開度検出制御ルーチンを終了する。
【００３６】
ステップＳ４０２において、発進（車速が０ｋｍ／ｈを越える）していると判定されたときステップＳ４０４に移行し、開閉眼判定基準値が決定していない初期段階ではステップＳ４０５に移行する。ステップＳ４０５は、前記眼の開度検出手段ＣＬ３として機能し、検出した眼の開度値の変化を用いて開眼開度値と閉眼開度値を算出し、これらの値から例えばその中央値として開閉眼判定基準値を決定する。ステップＳ４０６では自動車が運転開始時であるときＯＮとなる発進中フラグをセットし、眼の開度検出制御ルーチンを抜ける。
【００３７】
次にこのルーチンに入ってきたときには、開閉眼判定基準値は決定しているためステップＳ４０４の判定からステップＳ４０７に移行する。ステップＳ４０７で発進中フラグがセットされていると判定されているときは、運転開始時（発進時）ではなく運転開始後の走行中であると判断できるため、開閉眼判定基準値の再学習を行わずにステップＳ４１２の開閉眼判定に移行する。
【００３８】
ステップＳ４０７で発進中フラグがクリアされていると判定された場合は、ステップＳ４０２で車速０ｋｍ／ｈと判定された直後に再びこのルーチンに戻ってステップＳ４０２の判定が行われ、このとき車速は０ｋｍ／ｈではないと判定されたものであるから、運転開始時であると判断できる。このとき運転者は覚醒状態にあると推定できるため開閉眼判定基準値の再学習をすることが可能となり、ステップＳ４０８へ移行する。
【００３９】
ステップＳ４０８は、ステップＳ４０９と共に基準値補正手段ＣＬ８として機能している。ステップＳ４０８では、前記ステップＳ４０５において開閉眼判定基準値を算出した時点の眼の開度値と、運転を継続してステップＳ４０８へ移行した場合の眼の開度値との変化を連続的に計測することによって眼の開度値の変化を検出し、ステップＳ４０９へ移行する。
【００４０】
ステップＳ４０９は、眼の開度値に変化があるか否かを判定する。ステップＳ４０９において眼の開度値に変化が見られたと判定されたときは、ステップＳ４１０へ移行する。
【００４１】
ステップＳ４１０は、開眼判定基準値の再学習が行われる。即ち、前記変化した開眼開度値と前記閉眼開度値とを用いて開閉眼判定基準値を再学習し、更新する。ステップＳ４１１で発進中フラグをセットする。その後、ステップＳ４１２の開閉眼判定を行う。このとき途中で運転者が交替するなどしても開閉眼判定基準値を正確に学習し正確な開閉眼判定を行うことができる。ステップＳ４０９において眼の開度値の変化が見られなかった場合も、ステップＳ４１２の開閉眼判定を行ってこのルーチンの処理を終了する。
【００４２】
このように、操作対象物である自動車が運転開始時か否かを検出する車速センサ１０の信号を用いることによって、自動車が運転開始時であれば運転者は覚醒していると判断できる。この状態において開度値変化判断回路９によって運転開始時以前の眼の開度値に対し現在の眼の開度値が変化していると判断されたとき、基準値補正回路８によって開閉眼判定基準値を再学習し、この再学習した開閉眼判定基準値を用いて眼の開度検出回路６において眼の開度を検出することができる。従って、運転者が交替した場合であっても、開閉眼判定基準値を正確に再学習することによって正確な眼の開度検出を行うことができる。
【００４３】
次に図５は、操作対象物の操作装置である自動車のアクセル、ブレーキ等の操作を検出して、開閉眼判定基準値の再学習を行なうことと、運転者（ドライバ）の眼の開度値の変化とを示したタイムチャートである。
【００４４】
図５において運転を開始した時点（ｔ＝０）から初期の開閉眼判定基準値の学習を開始する。開眼開度値と閉眼開度値が検出できた時点（ｔ＝ｔ１）で開閉眼判定基準値を算出する。発進時のアクセルＯＮ操作（ｔ＝ｔ２）を再学習のトリガとし、眼の開度値に所定の変化がない場合は開閉眼判定基準値の更新を行わない。ブレーキＯＮ操作（ｔ＝ｔ３）による再学習のトリガが入力された場合、アクセルＯＮ操作と同様、眼の開度値の変化を検出する。ｔ＝ｔ４の場合のように眼の開度値の変化が所定値を越えた場合には、新たに開眼開度値、閉眼開度値を学習し開閉眼判定基準値を更新する。
【００４５】
次に、自動車のアクセル、ブレーキ等の操作を検出して、開閉眼判定基準値の再学習を行なう動作を図６のフローチャートを用いて説明する。
【００４６】
図６のステップＳ６０１は、図４のステップＳ４０１と同様に、前記眼の開度検出手段ＣＬ３として機能し、眼の詳細位置を含む追跡領域を設定し、該追跡領域内の濃度情報から眼の開度値の変化を検出し、ステップＳ６０２へ移行する。なお、図４と同様にこのフローチャートでは画像出力手段ＣＬ１、眼の位置検出手段ＣＬ２としての機能は省略している。
【００４７】
ステップＳ６０２、Ｓ６０３、Ｓ６０４は、前記操作検出手段ＣＬ５として機能するもので、ステップＳ６０２においてアクセル操作、ステップＳ６０３においてブレーキ操作、ステップＳ６０４においてその他ＳＷ類の操作がされたか否かが検出、判定される。ステップＳ６０２、Ｓ６０３、Ｓ６０４の何れにおいても操作されていないと判定されたときはステップＳ６０５へ移行して操作フラグをクリアし、眼の開度検出制御ルーチンを終了する。
【００４８】
ステップＳ６０２、Ｓ６０３、Ｓ６０４の何れかで操作されたと判定されたときはテップＳ６０６に移行し、開閉眼判定基準値が決定していない初期段階ではステップＳ６０７に移行する。
【００４９】
ステップＳ６０７は、前記眼の開度検出手段ＣＬ３として機能し、検出した眼の開度値の変化を用いて開眼開度値と閉眼開度値を算出し、これらの値から例えばその中央値として開閉眼判定基準値を決定する。ステップＳ６０８では、アクセル、ブレーキなどの何れかが操作されたときにＯＮとなる操作フラグをセットし、眼の開度検出制御ルーチンを抜ける。次にこのルーチンに入ってきたときには、開閉眼判定基準値は決定しているためステップＳ６０６の判定からステップＳ６０９に移行する。
【００５０】
ステップＳ６０９で操作フラグがセットされていると判定されているときは、アクセル、ブレーキ等の操作開始時ではなく操作を開始してから時間が経った後であるから、開閉眼判定基準値の再学習を行わずにステップＳ６１４の開閉眼判定に移行する。
【００５１】
ステップＳ６０９で操作フラグがクリアされていると判定された場合は、ステップＳ６０２、Ｓ６０３、Ｓ６０４で操作なしと判定された直後に再びこのステップＳ６０９に戻って判定が行われたものであるから、ブレーキ、アクセル等の操作開始時であると判断できる。このとき運転者は覚醒状態にあると推定できるため開閉眼判定基準値の再学習をすることが可能となり、ステップＳ６１０へ移行する。
【００５２】
ステップＳ６１０は、前記ステップＳ６０７において開閉眼判定基準値を算出した時点の眼の開度値と、運転を継続してステップＳ６１０へ移行した場合の眼の開度値との変化を連続的に計測することによって眼の開度値の変化を検出し、ステップＳ６１１へ移行する。
【００５３】
ステップＳ６１１は、前記開度値変化判断手段ＣＬ７として機能し、眼の開度値に変化があるか否かを判定する。ステップＳ６１１において眼の開度値に変化が見られたと判定されたときは、ステップＳ６１２へ移行する。
【００５４】
ステップＳ６１２は、基準値補正手段ＣＬ８として機能し、開眼判定基準値の再学習が行われる。即ち、前記変化した開眼開度値と前記閉眼開度値とを用いて開閉眼判定基準値を再学習し、更新する。ステップＳ６１３で操作フラグをセットする。その後、ステップＳ６１４の開閉眼判定を行う。このとき途中で運転者が交替するなどしても開閉眼判定基準値を正確に学習し正確な開閉眼判定を行うことができる。ステップＳ６１１において眼の開度値の変化が見られなかった場合も、ステップＳ６１４の開閉眼判定を行ってこのルーチンの処理を終了する。
【００５５】
このように運転者がアクセル、ブレーキ等を操作開始するときであれば運転者は覚醒していると判断できる。従って、アクセル、ブレーキの操作をトリガとして操作以前の眼の開度値に対し現在の眼の開度値が変化している場合に、開閉眼判定基準値を再学習することができる。従って、開閉眼判定基準値を正確に再学習することにより、眼の開度検出を正確に行うことができる。
【００５６】
次に図７は、警報手段である警報装置により居眠り警報がなされたとき、開閉眼判定基準値の再学習を行なうことと、運転者（ドライバ）の眼の開度値の変化とを示したタイムチャートである。
【００５７】
図７において、運転を開始した時点（ｔ＝０）から初期の開閉眼判定基準値の学習を開始する。開眼開度値と閉眼開度値が検出できた時点（ｔ＝ｔ１）で開閉眼判定基準値を算出する。運転を継続していくにつれ運転者は眠気を感じてくるため開眼開度値が小さくなってくる。所定時間以上の長い閉眼を検出する等により、運転者の居眠り状態を検出した場合に警報を発する（ｔ＝ｔ２）。警報により運転者が覚醒したところで、再度開閉眼判定基準値の学習を開始する。学習終了（ｔ＝ｔ３）により開閉眼判定基準値を更新する。
【００５８】
次に、居眠り警報がなされたとき、開閉眼判定基準値の再学習を行なう動作を図８のフローチャートを用いて説明する。
【００５９】
図８のステップＳ８０１、Ｓ８０２、Ｓ８０３は、図４のステップＳ４０１、Ｓ４０４、Ｓ４０５に対応する。即ちステップＳ８０１で眼の開度値を検出し、開閉眼判定基準値が決定していない初期段階ではステップＳ８０２からステップＳ８０３に移行する。ステップＳ８０３では、開閉眼判定基準値を決定し、眼の開度検出制御ルーチンを抜ける。次にこのルーチンに入ってきたときには、ステップＳ８０２において開閉眼判定基準値は決定しているため、ステップＳ８０４に移行する。
【００６０】
ステップＳ８０４、Ｓ８０５，Ｓ８０６は、前記眼の開度検出手段ＣＬ３として機能する。ステップＳ８０４においては、開閉眼判定基準値によって眼の開度値が大きいか否かで眼の開閉を判定し、ステップＳ８０５へ移行する。ステップＳ８０５では、開閉眼の出現パターン等から運転者の居眠り状態を検出する。ステップＳ８０６で、居眠り状態と判断された場合は、ステップＳ８０７に移行する。ステップＳ８０７は、前記警報手段ＣＬ６として機能し、ブザーなどの警報を発する。かかる警報により運転者は覚醒状態になると判断でき、その後、基準値補正手段ＣＬ８として機能するステップＳ８０８において開閉眼判断基準値を再学習して更新する。
【００６１】
こうして開閉眼判定基準値の正確な再学習を行い、眼の開度検出、居眠り検出を正確に行うことができる。
（第２実施形態）
図９、図１０は、本発明の第２実施形態を示している。
【００６２】
図９は、図３と同様に自動車が運転開始時（発進時）であることを検出して開閉眼判定基準値の再学習を行なうことと、運転継続信号が検出されているときは前記再学習を禁止することと、車両の車速と運転者（ドライバ）の眼の開度値の変化とを示したタイムチャートである。
【００６３】
図９において、運転を開始し車速が０ｋｍ／ｈから上昇していくことを検出した時点（ｔ＝０）から初期の開閉眼判定基準値の学習を開始する。眼の開度値と閉眼開度値とが検出できた時点（ｔ＝ｔ１）で開閉眼判定基準値を算出する。この時点（ｔ＝ｔ１）から開閉眼判定基準値の再学習を禁止する。これは、走行中は運転者の交替は考えられないため、開閉眼判定基準値を一定に保持することで時間経過による運転者の閉眼を捕らえやすくするためである。パーキングエリア等で休憩すると車速は０ｋｍ／ｈとなり眼の開度値は初期状態に近づく。休憩後車両を発進させた時点（ｔ＝ｔ２）から再学習を始め、新たに開眼開度値と閉眼開度値とに変化が現れた時点（ｔ＝ｔ３）で開閉眼判定基準値を更新する。更新後は再学習を禁止する。更に運転を続け、疲労が増した場合には、運転者の交替が考えられる。停車状態（車速０ｋｍ／ｈ）で運転者が交替し、発進した時点（ｔ＝ｔ４）で再学習を許可し、再度学習を開始する。運転者によって眼の開眼開度値も閉眼開度値も当然異なると考えられるため、両値が変化していた場合（ｔ＝ｔ５）、開閉眼判定基準値を再学習して更新する。以後、再度発進状態を検出するまで再学習を禁止する。
【００６４】
次に、運転継続信号が検出されているときは開閉眼判定基準値の再学習を禁止する動作を図１０のフローチャートを用いて説明する。
【００６５】
図１０のステップ１００１は、図４のステップＳ４０１に対応する。従って、ステップＳ１００１で眼の開度値を検出する。ステップＳ１００２は、操作対象物としての自動車の運転継続信号を検出する継続信号検出手段として機能し、車速センサ１０により運転継続信号である車速信号を取り込み、停車中（車速０ｋｍ／ｈ）の場合はステップＳ１００３に移行する。ステップＳ１００３では、自動車が走行中であり運転継続信号が検出されているときＯＮとなる学習マスクフラグをクリアし、眼の開度検出制御ルーチンを終了する。
【００６６】
ステップＳ１００２において自動車が発進（車速が０ｋｍ／ｈを越える）していると判定されているときは、ステップＳ１００４に移行し、開閉眼判定基準値が決定していない初期段階ではステップＳ１００５に移行する。ステップＳ１００５は、前記眼の開度検出手段ＣＬ３として機能し、検出した眼の開度値の変化を用いて開眼開度値と閉眼開度値とを算出し、これらの値から開閉眼判定基準値を決定し、ステップＳ１００６へ移行する。 ステップＳ１００６では、運転継続中であるとして学習マスクフラグをセットし、眼の開度検出制御ルーチンを抜ける。次にこのルーチンに入ってきたときには、ステップＳ１００４において開閉眼判定基準値は決定しているため、ステップＳ１００７に移行する。
【００６７】
ステップＳ１００７では、学習マスクフラグがセットされていると判定されたときは、自動車が運転継続中であり、開閉眼判定基準値の再学習が禁止されるので開閉眼判定基準値の再学習を行わずにステップＳ１０１２の開閉眼判定に移行する。ステップＳ１００７で学習マスクフラグがクリアされていると判定されたときは、ステップＳ１００２で車速０ｋｍ／ｈと判定された直後に再びこのルーチンに戻ってステップＳ１００２の判定が行われ、このとき車速は０ｋｍ／ｈではないと判定されたものであるから、運転開始時であると判断できる。このとき運転者は覚醒状態にあると推定できるため開閉眼判定基準値の再学習をすることが可能となり、ステップＳ１００８へ移行する。
【００６８】
ステップＳ１００８は、ステップＳ１００９と共に開度値変化判断手段ＣＬ７として機能し、開閉眼判定基準値を算出した時点の眼の開度値と、運転を継続していった場合の眼の開度値の変化を連続的に計測することによって眼の開度値の変化を検出し、ステップＳ１００９へ移行する。
【００６９】
ステップＳ１００９において、眼の開度値に変化が見られた場合は、基準値補正手段ＣＬ８として機能するステップＳ１０１０で眼の開度値と閉眼開度値を用いて開閉眼判定基準値を再学習し、更新する。ステップＳ１０１１では学習マスクフラグをセットする。その後、ステップＳ１０１２の開閉眼判定を行う。ステップＳ１００９において眼の開度値の変化が見られなかった場合も、再学習を行わずにステップＳ１０１２の開閉眼判定を行ってこのルーチンの処理を終了する。
【００７０】
このように、自動車が走行中であり運転継続信号が検出されているときは、運転者の交替がなく、同一の運転者であると判断できるため、開閉眼判定基準値の再学習を行わないようにして眼の開度値の変化を連続的に計測し、眼の開度値の変化に対応した正しい開度検出を行うことができる。
（第３実施形態）
図１１、図１２は、本発明の第３実施形態を示している。
【００７１】
図１１は運転者に直射日光が当たって眩しい状況であるとき前記再学習を禁止することと、運転者（ドライバ）の眼の開度値の変化とを示したタイムチャートである。
【００７２】
図１１のように、運転を開始した時点（ｔ＝０）から初期の開閉眼判定基準値の学習を開始する。開眼開度値と閉眼開度値とが検出できた時点（ｔ＝ｔ１）で開閉眼判定基準値を算出する。運転者が運転中太陽光を正面から受けて眩しいと感じ、眼を細めるような状態が連続して発生する場合がある。このとき、開閉眼判定基準値を下回る開眼開度値を検出することになり、閉眼と判定され続ける状態が発生する。ここで、図３，図５，図７のように開閉眼判定基準値の再学習（ｔ＝ｔ２）が行われた場合、問題が出てくる。眩しい状態が元に戻り、運転を継続していき開眼開度値が小さくなっていくことで、常時閉眼を検出する領域（ｔ＝ｔ３以降）だったはずが、眩しいときに再学習をしたため、開閉眼判定基準値が低くなり閉眼を検出できなくなってしまう。このため、眩しい状態を検出した場合には、開閉眼判定基準値を再学習しないようマスクすることで、この問題を回避することが出来る。
【００７３】
次に、運転者に直射日光が当たって眩しい状況であるとき前記再学習を禁止する動作を図１２のフローチャートを用いて説明する。
【００７４】
図１２のステップＳ１２０１は、図４のステップＳ４０１に対応する。従って、ステップＳ１２０１で眼の開度値を検出し、ステップＳ１２０２へ移行する。
【００７５】
ステップＳ１２０２は、ステップＳ１２０３と共に検出した眼の開度に基づき眩しさを判定する眩しさ判定手段として機能し、眩しさを検出する。ステップＳ１２０３では、眩しい状態か否かを判定する。
【００７６】
ステップＳ１２０３において、眩しさを検出しなかったと判定したときは、ステップＳ１２０４に移行し、開閉眼判定基準値が決定していない初期段階ではステップＳ１２０５に移行する。ステップＳ１２０５は眼の開度検出手段ＣＬ３として機能し、検出した眼の開度値の変化を用いて開眼開度値と閉眼開度値を算出し、これらの値から開閉眼判定基準値を決定し、眼の開度検出制御ルーチンを抜ける。次のこのルーチンに入ってきたときには、ステップＳ１２０４において開閉眼判定基準値は決定しているため、ステップＳ１２０６に移行する。
【００７７】
ステップＳ１２０６は、ステップＳ１２０７と共に開度値変化判断手段ＣＬ７として機能し、開閉眼判定基準値を算出した時点の眼の開度値と、運転を継続していった場合の眼の開度値の変化とを連続的に計測することによって眼の開度値の変化を検出し、ステップＳ１２０７へ移行する。ステップＳ１２０７において、眼の開度値に変化が見られたと判定されたときは、基準値補正手段ＣＬ８として機能するステップＳ１２０８で開眼開度値と閉眼開度値とを用いて開閉眼判定基準値を再学習し、更新する。その後、眼の開度検出手段ＣＬ３として機能するステップＳ１２０９において開閉眼判定を行う。
【００７８】
ステップＳ１２０７において眼の開度値の変化が見られなかったと判定されたときも、再学習を行わずにステップＳ１２０９の開閉眼判定を行う。ステップＳ１２０３において眩しさを検出した場合は、ステップＳ１２１０に移行し眩しさ判定のために開閉眼判定基準値を補正し、ステップＳ１２０９で開閉眼判定を行ってこのルーチンの処理を終了する。
【００７９】
このように、光環境の変化により眩しいと判断されている場合に、開閉眼判定基準値を再学習すると、開眼開度値が小さくなり、開閉眼判定基準値も小さくなる。従って、眩しくない状態では常時開眼と判定されてしまい正確な判定に限界を招くため、眩しいと判断された場合は開閉眼判定基準値の再学習を行わないようにし、眼の開度検出を正確に行うことができる。
【図面の簡単な説明】
【図１】本発明の構成ブロック図である。
【図２】本発明の第１実施形態に係るブロック図である。
【図３】第１実施形態に係り、自動車が発進時であることを検出して再学習を行うタイムチャートである。
【図４】第１実施形態に係り、自動車が発進時であることを検出して再学習を行うフローチャートである。
【図５】第１実施形態に係り、アクセル、ブレーキの操作を検出して再学習を行うタイムチャートである。
【図６】第１実施形態に係り、アクセル、ブレーキを検出して再学習を行うフローチャートである。
【図７】第１実施形態に係り、警報時に再学習を行うタイムチャートである。
【図８】第１実施形態に係り、警報時に再学習を行うフローチャートである。
【図９】第２実施形態に係り、自動車の走行中は再学習を禁止するタイムチャートである。
【図１０】第２実施形態に係り、自動車の走行中は再学習を禁止するフローチャートである。
【図１１】第３実施形態に係り、眩しさ判定によって再学習を禁止するタイムチャートである。
【図１２】第３実施形態に係り、眩しさ判定によって再学習を禁止するフローチャートである。
【図１３】従来例に係るフローチャートである。
【図１４】従来例に係り、（ａ）は運転者を交替した場合の眼の開度値と開閉眼判定基準値との関係を示すタイムチャート、（ｂ）は所定時間毎に再学習を行うタイムチャートである。
【符号の説明】
１ ＴＶカメラ（画像出力手段ＣＬ１）
２ Ａ−Ｄ変換回路（画像出力手段ＣＬ１）
３ 画像メモリ（画像出力手段ＣＬ１）
４ 画像データ演算回路（画像出力手段ＣＬ１）
５ 眼の位置検出回路（眼の位置検出手段ＣＬ２）
６ 眼の開度検出回路（眼の開度検出手段ＣＬ３）
７ 警報装置（警報手段ＣＬ６）
８ 基準値補正回路（基準値補正手段ＣＬ８）
９ 基準値変化判断回路（基準値変化判断手段ＣＬ７）
１０ 車速センサ（運転開始検出手段ＣＬ４）
１１ アクセルセンサ（操作検出手段ＣＬ５）
１２ ブレーキセンサ（操作検出手段ＣＬ５）
【発明の属する技術分野】
本発明は、車両の運転者、船舶の操船者、プラント等のオペレータ等の居眠り状態を検出し警報することなどに供する眼の状態検出装置に関する。
【０００２】
【従来の技術】
従来の画像処理によるこの種の装置には、例えば特開平１０−４０３６１号に記載された図１３、図１４に示すようなものがある。即ち、図１３の眼の開度検出制御により、自動車の運転者等の顔をカメラにより撮像して得た顔画像データから眼の位置を検出する。この眼の位置の濃度情報によりステップＳ１３０１で眼の開眼開度値と閉眼開度値とを検出し、ステップＳ１３０２では開閉眼判定基準値が決定されたか否かの判断が行われる。開閉眼判定基準値が決定されていないと判断されたときステップＳ１３０３で開閉眼判定基準値が学習される。この開閉眼判定基準値は、前記検出した眼の開眼開度値と閉眼開度値との中央値を用いている。この開閉眼判定基準値を用いてステップＳ１３０４において開閉眼判定を行っている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、例えば図１４（ａ）のように運転者が途中の時間ｔ２で交代したときは、それ以後の開閉眼開度値の検出値が同図のように変わってしまうことがあり、時間ｔ１で初期学習した開閉眼判定基準値が合わなくなる恐れがある。このような状態になると、時間ｔ３以後のように開眼開度値が開閉眼判定基準値を常に下回り、常時閉眼検出状態となって警報が出し続けられるなど、無駄な作動を招き、運転者は大きな煩わしさを感ずるという問題がある。
【０００４】
また、運転者の交替などを考慮して、図１４（ｂ）のように、時間ｔ１において開閉眼判定基準値を初期学習してから所定時間ｔａ毎に再学習することが考えられる。しかし、単に所定時間ｔａ毎に再学習すると次のような問題が残る。即ち、時間ｔ２の再学習時に開眼開度値が小さくなっていると学習される開閉眼判定基準値も小さくなり、時間ｔ３〜ｔ４のように開眼開度値が低くなっているにもかかわらず常時閉眼未検出状態となり、時間ｔ４以降は常時閉眼検出状態となって警報が出し続けられるなど、正確な検出に限界を招く恐れがある。
【０００５】
この発明は、開閉眼判定基準値の正確な再学習により、より正確な開閉眼判定を行わせることを可能とする眼の状態検出装置の提供を課題とする。
【０００６】
【課題を解決するための手段】
請求項１の発明は、操作対象物を操作する操作者の顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、前記検出された眼の位置の濃度情報による眼の開度値を基に学習した開閉眼判定基準値を用いて眼の開度を検出する眼の開度検出手段と、前記操作対象物が運転開始時か否かを検出する運転開始検出手段と、前記検出された眼の開度値から前記運転開始時以前の眼の開度値に対し現在の眼の開度値が変化しているか否かを判断する開度値変化判断手段と、前記運転開始時であることが検出され且つ前記眼の開度値が変化していると判断されたとき前記開閉眼判定基準値を再学習する基準値補正手段とを備えたことを特徴とする。
【０００７】
請求項２の発明は、操作対象物を操作する操作者の顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、前記検出された眼の位置の濃度情報による眼の開度値を基に学習した開閉眼判定基準値を用いて眼の開度を検出する眼の開度検出手段と、前記操作対象物の操作装置が操作開始時であることを検出する操作検出手段と、前記検出された眼の開度値から前記操作装置の操作開始時以前の眼の開度値に対し現在の眼の開度値が変化しているか否かを判断する開度値変化判断手段と、前記操作装置が操作開始時であると検出され且つ前記眼の開度値が変化していると判断されたとき前記開閉眼判定基準値を再学習する基準値補正手段とを備えたことを特徴とする。
【０００８】
請求項３の発明は、操作対象物を操作する操作者の顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、前記検出された眼の位置の濃度情報による眼の開度値を基に学習した開閉眼判定基準値を用いて眼の開度を検出する眼の開度検出手段と、前記検出した眼の開度に基づき警報を発する警報手段と、前記検出された眼の開度値から前記警報以前の眼の開度値に対し現在の眼の開度値が変化しているか否かを判断する開度値変化判断手段と、前記警報がなされ且つ前記眼の開度値が変化していると判断されたとき前記開閉眼判定基準値を再学習する基準値補正手段とを備えたことを特徴とする。
【０００９】
請求項４の発明は、請求項１〜３の何れかに記載の眼の状態検出装置であって、前記操作対象物の運転継続信号を検出する継続信号検出手段を設け、前記基準値補正手段は、前記運転継続信号が検出されているときは前記再学習を行わないことを特徴とする。
【００１０】
請求項５の発明は、請求項４記載の眼の状態検出装置であって、前記検出した眼の開度に基づき眩しさを判定する眩しさ判定手段を設け、前記基準値補正手段は、前記眩しさ判定がなされているときは前記再学習を行わないことを特徴とする。
【００１１】
【発明の効果】
請求項１の発明によれば、操作対象物が運転開始時か否かを検出する運転開始検出手段の信号を用いることによって、操作対象物が運転開始時であれば操作者は覚醒していると判断できる。この状態において開度値変化判断手段によって運転開始時以前の眼の開度値に対し現在の眼の開度値が変化していると判断されたとき、基準値補正手段によって開閉眼判定基準値を再学習し、この再学習した開閉眼判定基準値を用いて眼の開度検出手段において眼の開度を検出することができる。従って、操作者が交替した場合であっても、開閉眼判定基準値を正確に再学習することによって正確な眼の開度検出を行うことができる。
【００１２】
請求項２の発明では、操作者が操作対象物の操作装置を操作開始時であれば操作者は覚醒していると判断できる。この状態において操作装置の操作開始以前の眼の開度値に対し現在の眼の開度値が変化している場合に、開閉眼判定基準値を再学習することができる。従って、開閉眼判定基準値を正確に再学習することにより、眼の開度検出を正確に行うことができる。
【００１３】
請求項３の発明では、検出した眼の開度に基づき警報を発することによって操作者を覚醒させた場合には、操作者は覚醒していると判断することができる。この状態において警報以前の眼の開度値に対し現在の眼の開度値が変化している場合に、開閉眼判定基準値を再学習することができる。従って、かかる開閉眼判定基準値の正確な再学習によって、眼の開度検出を正確に行うことができる。
【００１４】
請求項４の発明では、請求項１〜３の何れかの発明の効果に加え、操作対象物の運転継続信号が検出されているときは、操作者の交替がなく、同一の操作者であると判断できるため、開閉眼判定基準値の再学習を行わないようにして眼の開度値の変化に対応した正しい開度検出を行うことができる。
【００１５】
請求項５の発明では、請求項４の発明の効果に加え、光環境の変化により眩しいと判断されている場合に、開閉眼判定基準値を再学習すると、眼の開度値が小さくなり、開閉眼判定基準値も小さくなる。従って、眩しくない状態では常時開眼と判定されてしまい正確な判定に限界を招くため、眩しいと判断された場合は開閉眼判定基準値の再学習を行わないようにし、眼の開度検出を正確に行うことができる。
【００１６】
【発明の実施の形態】
本装置は、自動車の他に鉄道車両、船舶、プラントのオペレータ等の居眠り運転警報として用いることができるが、本実施形態では、操作対象物として自動車に適用した場合で説明する。
（第１実施形態）
図１は、本発明を適用した眼の状態検出装置の構成ブロック図にかかり、該装置は、画像出力手段ＣＬ１と、眼の位置検出手段ＣＬ２と、眼の開度検出手段ＣＬ３と、運転開始検出手段ＣＬ４と、操作検出手段ＣＬ５と、警報手段ＣＬ６と、開度値変化判断手段ＣＬ７と、基準値補正手段ＣＬ８とを備えている。
【００１７】
前記画像出力手段ＣＬ１は、操作対象物を操作する操作者の顔を撮像して画像データを出力する。前記眼の位置検出手段ＣＬ２は、前記画像出力手段ＣＬ１から出力された顔画像データを処理して眼の位置を検出する。前記眼の開度検出手段ＣＬ３は、前記検出された眼の位置の濃度情報による眼の開度値を基に学習した開閉眼判定基準値を用いて眼の開度を検出する。前記運転開始検出手段ＣＬ４は、操作対象物が運転開始時か否かを検出する。前記操作検出手段ＣＬ５は、前記操作対象物の操作装置が操作開始時であることを検出する。前記警報手段ＣＬ６は、前記検出した眼の開度に基づき警報を発する。
【００１８】
前記開度値変化判断手段ＣＬ７は、前記検出された眼の開度から前記運転開始時以前の眼の開度値に対し現在の眼の開度値が変化しているか否か、前記操作装置の操作開始以前の眼の開度値に対し現在の眼の開度値が変化しているか否か、前記警報以前の眼の開度値に対し現在の眼の開度値が変化しているか否かをそれぞれ判断する。
【００１９】
前記基準値補正手段ＣＬ８は、前記操作対象物が運転開始時であることが検出され且つ前記眼の開度値が変化していると判断されたとき、前記操作装置が操作開始時であると検出され且つ前記眼の開度値が変化していると判断されたとき、前記警報がなされ且つ前記眼の開度値が変化していると判断されたとき、それぞれ前記開閉眼判定基準値を再学習する。
【００２０】
図２は、本発明の第１実施形態にかかる構成ブロック図である。同図のように、ＴＶカメラ１が操作対象物としての自動車のインストルメントに設置され、操作者である運転者の顔部分を正面から撮影する。ＴＶカメラ１の入力画像は、本実施形態では、例えば横方向（Ｘ）５１２画素、縦方向（Ｙ）４８０画素からなる。前記ＴＶカメラ１で撮像された入力画像は、Ａ−Ｄ変換器２を介して、デジタル量の入力画像データとして画像メモリ３に格納される。画像メモリ３の出力は、画像データ演算回路４に入力される。
【００２１】
画像データ演算回路４は、前記入力された画像データに基づいて顔の縦方向の画素列の濃度を検出し、画素列における濃度の高まりとその変化状態によりポイントを抽出し（抽出点）、隣接する画素列の近接したポイントを連続して顔の横方向への連続データを抽出し、顔画像データとして出力する。
【００２２】
従って、ＴＶカメラ１、Ａ−Ｄ変換器２、画像メモリ３、画像データ演算回路４は、本実施形態において前記画像出力手段ＣＬ１を構成している。
【００２３】
前記画像データ演算回路４の出力は、眼の位置検出回路５に入力される。この眼の位置検出回路５は、前記眼の位置検出手段ＣＬ２を構成し、抽出された顔画像データから顔の複数の特徴量を抽出し、該特徴量から眼のテンプレートなどによって眼を特定すると共にその座標を求める。また、該眼の位置から眼の位置を含む所定領域を左右の眼に対してそれぞれ１個づつ決定すると共に、該所定領域に前記眼の移動に応じて該眼を追跡させ、この眼を追跡する各所定領域内において縦方向への濃度の高まりとその変化状態からポイントを抽出し、隣接する画素列の近接したポイントを連続して顔の横方向への連続データを抽出し、左右の眼の詳細位置を検出する。
【００２４】
前記眼の位置検出回路５の出力は、眼の開度検出回路６に入力される。この眼の開度検出回路６は、眼の開度検出手段ＣＬ３を構成し、前記眼の詳細位置を含む追跡領域を設定し、該追跡領域内の濃度情報から眼の開度値として開眼開度値と閉眼開度値とを検出し、該開眼開度値と閉眼開度値とに基づいて開閉眼判定基準値を学習し、該開閉眼判定基準値を用いて眼の開度を検出する。
【００２５】
そして、眼の開度検出回路６によって検出された眼の開度のデータを用いて運転者の居眠り運転など判断し、居眠り運転などが行われているときには警報手段ＣＬ６としての警報装置７によって警報を行う。
【００２６】
一方、前記眼の開度検出回路６で学習した開閉眼判定基準値は、前記基準値補正手段ＣＬ８を構成する基準値補正回路８によって再学習され、再学習された開閉眼判定基準値は前記眼の開度検出回路６に入力されて再学習前の開閉眼判定基準値と書き換えられる。なお、基準値補正回路８を省いて眼の開度検出回路６に基準値補正回路としての機能を持たせることもできる。
【００２７】
前記基準値補正回路８は、操作対象物の運転開始、例えば自動車の走行開始時（発進時）であることが検出され且つ前記眼の開度検出回路６で検出された眼の開度値が変化しているとき、又は操作対象物の操作装置、例えば自動車のアクセル、ブレーキなどの操作開始時であることが検出され且つ前記眼の開度検出回路６で検出された眼の開度値が変化しているとき、更には警報手段の警報、例えば警報装置７の警報がなされ且つ前記眼の開度検出回路６で検出された眼の開度値が変化しているとき前記開閉眼判定基準値を再学習する。
【００２８】
前記眼の開度値が変化しているか否かは開度値変化判断手段ＣＬ４としての開度値変化判断回路９が行い、前記基準値補正回路８へ入力する。開度値変化判断回路９は、前記自動車の走行開始時（発進時）以前の眼の開度値に対し現在の眼の開度値が変化しているか否か、前記アクセル、ブレーキなどの操作開始以前の眼の開度値に対し現在の眼の開度値が変化しているか否か、前記警報装置７の警報以前の眼の開度値に対し現在の眼の開度値が変化しているか否かをそれぞれ判断する。
【００２９】
このため、前記開度値変化判断回路９には、前記眼の開度検出回路６から検出した眼の開度値が入力され、且つ前記運転開始検出手段ＣＬ４として車速を検出する車速センサ１０、前記操作検出手段ＣＬ５としてアクセル操作、ブレーキ操作を検出するアクセルセンサ１１、ブレーキセンサ１２、警報手段ＣＬ６としての警報装置７の検出信号、図示はしないがその他ＳＷ類を操作する操作信号がそれぞれ入力されるようになっている。
【００３０】
ところで、長時間の走行において運転者は疲労等により眠気を誘発し眼の開度値が次第に低下する傾向がある。このとき、等間隔のタイミングで開閉眼判定基準値を算出すると、開眼開度値の低下に伴い開閉眼判定基準値も低下してくる。これにより、完全に眼を閉じた状態にならなければ閉眼と判断できなくなるので、正確な検出に限界を招く。また、長時間の連続走行において途中で運転者が交替することは容易に考えられる。初期の開閉眼判定基準値は初期の運転者にしか対応しない。このため、車両が停車し、走行を開始した直後に眼の開度値を学習することが必要となる。
【００３１】
図３は自動車が運転開始時（発進時）であることを検出して開閉眼判定基準値の再学習を行なうことと、車両の車速と運転者（ドライバ）の眼の開度値の変化とを示したタイムチャートである。
【００３２】
運転者の眼の開閉眼を判定するためには、開眼開度値と閉眼開度値を学習し、これら２つの値から開閉眼判定基準値を算出する方法がある（特開平１０−４０３６１号）。運転を開始し車速が０ｋｍ／ｈから上昇していくことを検出した時点（ｔ＝０）から初期の開閉眼判定基準値の学習を開始する。開眼開度値と閉眼開度値が検出できた時点（ｔ＝ｔ１）で開閉眼判定基準値を算出する。運転者の目の開眼開度値は時間経過と共に小さくなってくる。パーキングエリア等で休憩すると車速は０ｋｍ／ｈとなり開眼開度値は初期状態に近づく。休憩後車両を発進させた時点（ｔ＝ｔ２）から再学習を始め、新たに開眼開度値と閉眼開度値に変化が現れた時点（ｔ＝ｔ３）で開閉眼判定基準値を更新する。更に運転を続け、疲労が増した場合には、運転者の交替が考えられる。停車状態（車速０ｋｍ／ｈ）で運転者が交替し、発進した時点（ｔ＝ｔ４）で再度開閉眼判定基準値の学習を開始する。運転者によって眼の開眼開度値も閉眼開度値も当然異なると考えられるため、両値が変化していた場合（ｔ＝ｔ５）、開閉眼判定基準値を更新する。
【００３３】
次に、自動車が運転開始時（発進時）であることを検出して、開閉眼判定基準値の再学習を行なう動作を図４のフローチャートを用いて説明する。
【００３４】
図４のステップＳ４０１は、前記眼の開度検出手段ＣＬ３として機能し、眼の詳細位置を含む追跡領域を設定し、該追跡領域内の濃度情報から眼の開度値の変化を検出し、ステップＳ４０２へ移行する。なお、このフローチャートでは画像出力手段ＣＬ１、眼の位置検出手段ＣＬ２としての機能は省略している。
【００３５】
ステップＳ４０２は、運転開始検出手段ＣＬ４として機能し、車速センサ１０により車速信号を取り込み、停車中（車速０ｋｍ／ｈ）の場合はステップＳ４０３に移行し、発進中フラグをクリアし、眼の開度検出制御ルーチンを終了する。
【００３６】
ステップＳ４０２において、発進（車速が０ｋｍ／ｈを越える）していると判定されたときステップＳ４０４に移行し、開閉眼判定基準値が決定していない初期段階ではステップＳ４０５に移行する。ステップＳ４０５は、前記眼の開度検出手段ＣＬ３として機能し、検出した眼の開度値の変化を用いて開眼開度値と閉眼開度値を算出し、これらの値から例えばその中央値として開閉眼判定基準値を決定する。ステップＳ４０６では自動車が運転開始時であるときＯＮとなる発進中フラグをセットし、眼の開度検出制御ルーチンを抜ける。
【００３７】
次にこのルーチンに入ってきたときには、開閉眼判定基準値は決定しているためステップＳ４０４の判定からステップＳ４０７に移行する。ステップＳ４０７で発進中フラグがセットされていると判定されているときは、運転開始時（発進時）ではなく運転開始後の走行中であると判断できるため、開閉眼判定基準値の再学習を行わずにステップＳ４１２の開閉眼判定に移行する。
【００３８】
ステップＳ４０７で発進中フラグがクリアされていると判定された場合は、ステップＳ４０２で車速０ｋｍ／ｈと判定された直後に再びこのルーチンに戻ってステップＳ４０２の判定が行われ、このとき車速は０ｋｍ／ｈではないと判定されたものであるから、運転開始時であると判断できる。このとき運転者は覚醒状態にあると推定できるため開閉眼判定基準値の再学習をすることが可能となり、ステップＳ４０８へ移行する。
【００３９】
ステップＳ４０８は、ステップＳ４０９と共に基準値補正手段ＣＬ８として機能している。ステップＳ４０８では、前記ステップＳ４０５において開閉眼判定基準値を算出した時点の眼の開度値と、運転を継続してステップＳ４０８へ移行した場合の眼の開度値との変化を連続的に計測することによって眼の開度値の変化を検出し、ステップＳ４０９へ移行する。
【００４０】
ステップＳ４０９は、眼の開度値に変化があるか否かを判定する。ステップＳ４０９において眼の開度値に変化が見られたと判定されたときは、ステップＳ４１０へ移行する。
【００４１】
ステップＳ４１０は、開眼判定基準値の再学習が行われる。即ち、前記変化した開眼開度値と前記閉眼開度値とを用いて開閉眼判定基準値を再学習し、更新する。ステップＳ４１１で発進中フラグをセットする。その後、ステップＳ４１２の開閉眼判定を行う。このとき途中で運転者が交替するなどしても開閉眼判定基準値を正確に学習し正確な開閉眼判定を行うことができる。ステップＳ４０９において眼の開度値の変化が見られなかった場合も、ステップＳ４１２の開閉眼判定を行ってこのルーチンの処理を終了する。
【００４２】
このように、操作対象物である自動車が運転開始時か否かを検出する車速センサ１０の信号を用いることによって、自動車が運転開始時であれば運転者は覚醒していると判断できる。この状態において開度値変化判断回路９によって運転開始時以前の眼の開度値に対し現在の眼の開度値が変化していると判断されたとき、基準値補正回路８によって開閉眼判定基準値を再学習し、この再学習した開閉眼判定基準値を用いて眼の開度検出回路６において眼の開度を検出することができる。従って、運転者が交替した場合であっても、開閉眼判定基準値を正確に再学習することによって正確な眼の開度検出を行うことができる。
【００４３】
次に図５は、操作対象物の操作装置である自動車のアクセル、ブレーキ等の操作を検出して、開閉眼判定基準値の再学習を行なうことと、運転者（ドライバ）の眼の開度値の変化とを示したタイムチャートである。
【００４４】
図５において運転を開始した時点（ｔ＝０）から初期の開閉眼判定基準値の学習を開始する。開眼開度値と閉眼開度値が検出できた時点（ｔ＝ｔ１）で開閉眼判定基準値を算出する。発進時のアクセルＯＮ操作（ｔ＝ｔ２）を再学習のトリガとし、眼の開度値に所定の変化がない場合は開閉眼判定基準値の更新を行わない。ブレーキＯＮ操作（ｔ＝ｔ３）による再学習のトリガが入力された場合、アクセルＯＮ操作と同様、眼の開度値の変化を検出する。ｔ＝ｔ４の場合のように眼の開度値の変化が所定値を越えた場合には、新たに開眼開度値、閉眼開度値を学習し開閉眼判定基準値を更新する。
【００４５】
次に、自動車のアクセル、ブレーキ等の操作を検出して、開閉眼判定基準値の再学習を行なう動作を図６のフローチャートを用いて説明する。
【００４６】
図６のステップＳ６０１は、図４のステップＳ４０１と同様に、前記眼の開度検出手段ＣＬ３として機能し、眼の詳細位置を含む追跡領域を設定し、該追跡領域内の濃度情報から眼の開度値の変化を検出し、ステップＳ６０２へ移行する。なお、図４と同様にこのフローチャートでは画像出力手段ＣＬ１、眼の位置検出手段ＣＬ２としての機能は省略している。
【００４７】
ステップＳ６０２、Ｓ６０３、Ｓ６０４は、前記操作検出手段ＣＬ５として機能するもので、ステップＳ６０２においてアクセル操作、ステップＳ６０３においてブレーキ操作、ステップＳ６０４においてその他ＳＷ類の操作がされたか否かが検出、判定される。ステップＳ６０２、Ｓ６０３、Ｓ６０４の何れにおいても操作されていないと判定されたときはステップＳ６０５へ移行して操作フラグをクリアし、眼の開度検出制御ルーチンを終了する。
【００４８】
ステップＳ６０２、Ｓ６０３、Ｓ６０４の何れかで操作されたと判定されたときはテップＳ６０６に移行し、開閉眼判定基準値が決定していない初期段階ではステップＳ６０７に移行する。
【００４９】
ステップＳ６０７は、前記眼の開度検出手段ＣＬ３として機能し、検出した眼の開度値の変化を用いて開眼開度値と閉眼開度値を算出し、これらの値から例えばその中央値として開閉眼判定基準値を決定する。ステップＳ６０８では、アクセル、ブレーキなどの何れかが操作されたときにＯＮとなる操作フラグをセットし、眼の開度検出制御ルーチンを抜ける。次にこのルーチンに入ってきたときには、開閉眼判定基準値は決定しているためステップＳ６０６の判定からステップＳ６０９に移行する。
【００５０】
ステップＳ６０９で操作フラグがセットされていると判定されているときは、アクセル、ブレーキ等の操作開始時ではなく操作を開始してから時間が経った後であるから、開閉眼判定基準値の再学習を行わずにステップＳ６１４の開閉眼判定に移行する。
【００５１】
ステップＳ６０９で操作フラグがクリアされていると判定された場合は、ステップＳ６０２、Ｓ６０３、Ｓ６０４で操作なしと判定された直後に再びこのステップＳ６０９に戻って判定が行われたものであるから、ブレーキ、アクセル等の操作開始時であると判断できる。このとき運転者は覚醒状態にあると推定できるため開閉眼判定基準値の再学習をすることが可能となり、ステップＳ６１０へ移行する。
【００５２】
ステップＳ６１０は、前記ステップＳ６０７において開閉眼判定基準値を算出した時点の眼の開度値と、運転を継続してステップＳ６１０へ移行した場合の眼の開度値との変化を連続的に計測することによって眼の開度値の変化を検出し、ステップＳ６１１へ移行する。
【００５３】
ステップＳ６１１は、前記開度値変化判断手段ＣＬ７として機能し、眼の開度値に変化があるか否かを判定する。ステップＳ６１１において眼の開度値に変化が見られたと判定されたときは、ステップＳ６１２へ移行する。
【００５４】
ステップＳ６１２は、基準値補正手段ＣＬ８として機能し、開眼判定基準値の再学習が行われる。即ち、前記変化した開眼開度値と前記閉眼開度値とを用いて開閉眼判定基準値を再学習し、更新する。ステップＳ６１３で操作フラグをセットする。その後、ステップＳ６１４の開閉眼判定を行う。このとき途中で運転者が交替するなどしても開閉眼判定基準値を正確に学習し正確な開閉眼判定を行うことができる。ステップＳ６１１において眼の開度値の変化が見られなかった場合も、ステップＳ６１４の開閉眼判定を行ってこのルーチンの処理を終了する。
【００５５】
このように運転者がアクセル、ブレーキ等を操作開始するときであれば運転者は覚醒していると判断できる。従って、アクセル、ブレーキの操作をトリガとして操作以前の眼の開度値に対し現在の眼の開度値が変化している場合に、開閉眼判定基準値を再学習することができる。従って、開閉眼判定基準値を正確に再学習することにより、眼の開度検出を正確に行うことができる。
【００５６】
次に図７は、警報手段である警報装置により居眠り警報がなされたとき、開閉眼判定基準値の再学習を行なうことと、運転者（ドライバ）の眼の開度値の変化とを示したタイムチャートである。
【００５７】
図７において、運転を開始した時点（ｔ＝０）から初期の開閉眼判定基準値の学習を開始する。開眼開度値と閉眼開度値が検出できた時点（ｔ＝ｔ１）で開閉眼判定基準値を算出する。運転を継続していくにつれ運転者は眠気を感じてくるため開眼開度値が小さくなってくる。所定時間以上の長い閉眼を検出する等により、運転者の居眠り状態を検出した場合に警報を発する（ｔ＝ｔ２）。警報により運転者が覚醒したところで、再度開閉眼判定基準値の学習を開始する。学習終了（ｔ＝ｔ３）により開閉眼判定基準値を更新する。
【００５８】
次に、居眠り警報がなされたとき、開閉眼判定基準値の再学習を行なう動作を図８のフローチャートを用いて説明する。
【００５９】
図８のステップＳ８０１、Ｓ８０２、Ｓ８０３は、図４のステップＳ４０１、Ｓ４０４、Ｓ４０５に対応する。即ちステップＳ８０１で眼の開度値を検出し、開閉眼判定基準値が決定していない初期段階ではステップＳ８０２からステップＳ８０３に移行する。ステップＳ８０３では、開閉眼判定基準値を決定し、眼の開度検出制御ルーチンを抜ける。次にこのルーチンに入ってきたときには、ステップＳ８０２において開閉眼判定基準値は決定しているため、ステップＳ８０４に移行する。
【００６０】
ステップＳ８０４、Ｓ８０５，Ｓ８０６は、前記眼の開度検出手段ＣＬ３として機能する。ステップＳ８０４においては、開閉眼判定基準値によって眼の開度値が大きいか否かで眼の開閉を判定し、ステップＳ８０５へ移行する。ステップＳ８０５では、開閉眼の出現パターン等から運転者の居眠り状態を検出する。ステップＳ８０６で、居眠り状態と判断された場合は、ステップＳ８０７に移行する。ステップＳ８０７は、前記警報手段ＣＬ６として機能し、ブザーなどの警報を発する。かかる警報により運転者は覚醒状態になると判断でき、その後、基準値補正手段ＣＬ８として機能するステップＳ８０８において開閉眼判断基準値を再学習して更新する。
【００６１】
こうして開閉眼判定基準値の正確な再学習を行い、眼の開度検出、居眠り検出を正確に行うことができる。
（第２実施形態）
図９、図１０は、本発明の第２実施形態を示している。
【００６２】
図９は、図３と同様に自動車が運転開始時（発進時）であることを検出して開閉眼判定基準値の再学習を行なうことと、運転継続信号が検出されているときは前記再学習を禁止することと、車両の車速と運転者（ドライバ）の眼の開度値の変化とを示したタイムチャートである。
【００６３】
図９において、運転を開始し車速が０ｋｍ／ｈから上昇していくことを検出した時点（ｔ＝０）から初期の開閉眼判定基準値の学習を開始する。眼の開度値と閉眼開度値とが検出できた時点（ｔ＝ｔ１）で開閉眼判定基準値を算出する。この時点（ｔ＝ｔ１）から開閉眼判定基準値の再学習を禁止する。これは、走行中は運転者の交替は考えられないため、開閉眼判定基準値を一定に保持することで時間経過による運転者の閉眼を捕らえやすくするためである。パーキングエリア等で休憩すると車速は０ｋｍ／ｈとなり眼の開度値は初期状態に近づく。休憩後車両を発進させた時点（ｔ＝ｔ２）から再学習を始め、新たに開眼開度値と閉眼開度値とに変化が現れた時点（ｔ＝ｔ３）で開閉眼判定基準値を更新する。更新後は再学習を禁止する。更に運転を続け、疲労が増した場合には、運転者の交替が考えられる。停車状態（車速０ｋｍ／ｈ）で運転者が交替し、発進した時点（ｔ＝ｔ４）で再学習を許可し、再度学習を開始する。運転者によって眼の開眼開度値も閉眼開度値も当然異なると考えられるため、両値が変化していた場合（ｔ＝ｔ５）、開閉眼判定基準値を再学習して更新する。以後、再度発進状態を検出するまで再学習を禁止する。
【００６４】
次に、運転継続信号が検出されているときは開閉眼判定基準値の再学習を禁止する動作を図１０のフローチャートを用いて説明する。
【００６５】
図１０のステップ１００１は、図４のステップＳ４０１に対応する。従って、ステップＳ１００１で眼の開度値を検出する。ステップＳ１００２は、操作対象物としての自動車の運転継続信号を検出する継続信号検出手段として機能し、車速センサ１０により運転継続信号である車速信号を取り込み、停車中（車速０ｋｍ／ｈ）の場合はステップＳ１００３に移行する。ステップＳ１００３では、自動車が走行中であり運転継続信号が検出されているときＯＮとなる学習マスクフラグをクリアし、眼の開度検出制御ルーチンを終了する。
【００６６】
ステップＳ１００２において自動車が発進（車速が０ｋｍ／ｈを越える）していると判定されているときは、ステップＳ１００４に移行し、開閉眼判定基準値が決定していない初期段階ではステップＳ１００５に移行する。ステップＳ１００５は、前記眼の開度検出手段ＣＬ３として機能し、検出した眼の開度値の変化を用いて開眼開度値と閉眼開度値とを算出し、これらの値から開閉眼判定基準値を決定し、ステップＳ１００６へ移行する。 ステップＳ１００６では、運転継続中であるとして学習マスクフラグをセットし、眼の開度検出制御ルーチンを抜ける。次にこのルーチンに入ってきたときには、ステップＳ１００４において開閉眼判定基準値は決定しているため、ステップＳ１００７に移行する。
【００６７】
ステップＳ１００７では、学習マスクフラグがセットされていると判定されたときは、自動車が運転継続中であり、開閉眼判定基準値の再学習が禁止されるので開閉眼判定基準値の再学習を行わずにステップＳ１０１２の開閉眼判定に移行する。ステップＳ１００７で学習マスクフラグがクリアされていると判定されたときは、ステップＳ１００２で車速０ｋｍ／ｈと判定された直後に再びこのルーチンに戻ってステップＳ１００２の判定が行われ、このとき車速は０ｋｍ／ｈではないと判定されたものであるから、運転開始時であると判断できる。このとき運転者は覚醒状態にあると推定できるため開閉眼判定基準値の再学習をすることが可能となり、ステップＳ１００８へ移行する。
【００６８】
ステップＳ１００８は、ステップＳ１００９と共に開度値変化判断手段ＣＬ７として機能し、開閉眼判定基準値を算出した時点の眼の開度値と、運転を継続していった場合の眼の開度値の変化を連続的に計測することによって眼の開度値の変化を検出し、ステップＳ１００９へ移行する。
【００６９】
ステップＳ１００９において、眼の開度値に変化が見られた場合は、基準値補正手段ＣＬ８として機能するステップＳ１０１０で眼の開度値と閉眼開度値を用いて開閉眼判定基準値を再学習し、更新する。ステップＳ１０１１では学習マスクフラグをセットする。その後、ステップＳ１０１２の開閉眼判定を行う。ステップＳ１００９において眼の開度値の変化が見られなかった場合も、再学習を行わずにステップＳ１０１２の開閉眼判定を行ってこのルーチンの処理を終了する。
【００７０】
このように、自動車が走行中であり運転継続信号が検出されているときは、運転者の交替がなく、同一の運転者であると判断できるため、開閉眼判定基準値の再学習を行わないようにして眼の開度値の変化を連続的に計測し、眼の開度値の変化に対応した正しい開度検出を行うことができる。
（第３実施形態）
図１１、図１２は、本発明の第３実施形態を示している。
【００７１】
図１１は運転者に直射日光が当たって眩しい状況であるとき前記再学習を禁止することと、運転者（ドライバ）の眼の開度値の変化とを示したタイムチャートである。
【００７２】
図１１のように、運転を開始した時点（ｔ＝０）から初期の開閉眼判定基準値の学習を開始する。開眼開度値と閉眼開度値とが検出できた時点（ｔ＝ｔ１）で開閉眼判定基準値を算出する。運転者が運転中太陽光を正面から受けて眩しいと感じ、眼を細めるような状態が連続して発生する場合がある。このとき、開閉眼判定基準値を下回る開眼開度値を検出することになり、閉眼と判定され続ける状態が発生する。ここで、図３，図５，図７のように開閉眼判定基準値の再学習（ｔ＝ｔ２）が行われた場合、問題が出てくる。眩しい状態が元に戻り、運転を継続していき開眼開度値が小さくなっていくことで、常時閉眼を検出する領域（ｔ＝ｔ３以降）だったはずが、眩しいときに再学習をしたため、開閉眼判定基準値が低くなり閉眼を検出できなくなってしまう。このため、眩しい状態を検出した場合には、開閉眼判定基準値を再学習しないようマスクすることで、この問題を回避することが出来る。
【００７３】
次に、運転者に直射日光が当たって眩しい状況であるとき前記再学習を禁止する動作を図１２のフローチャートを用いて説明する。
【００７４】
図１２のステップＳ１２０１は、図４のステップＳ４０１に対応する。従って、ステップＳ１２０１で眼の開度値を検出し、ステップＳ１２０２へ移行する。
【００７５】
ステップＳ１２０２は、ステップＳ１２０３と共に検出した眼の開度に基づき眩しさを判定する眩しさ判定手段として機能し、眩しさを検出する。ステップＳ１２０３では、眩しい状態か否かを判定する。
【００７６】
ステップＳ１２０３において、眩しさを検出しなかったと判定したときは、ステップＳ１２０４に移行し、開閉眼判定基準値が決定していない初期段階ではステップＳ１２０５に移行する。ステップＳ１２０５は眼の開度検出手段ＣＬ３として機能し、検出した眼の開度値の変化を用いて開眼開度値と閉眼開度値を算出し、これらの値から開閉眼判定基準値を決定し、眼の開度検出制御ルーチンを抜ける。次のこのルーチンに入ってきたときには、ステップＳ１２０４において開閉眼判定基準値は決定しているため、ステップＳ１２０６に移行する。
【００７７】
ステップＳ１２０６は、ステップＳ１２０７と共に開度値変化判断手段ＣＬ７として機能し、開閉眼判定基準値を算出した時点の眼の開度値と、運転を継続していった場合の眼の開度値の変化とを連続的に計測することによって眼の開度値の変化を検出し、ステップＳ１２０７へ移行する。ステップＳ１２０７において、眼の開度値に変化が見られたと判定されたときは、基準値補正手段ＣＬ８として機能するステップＳ１２０８で開眼開度値と閉眼開度値とを用いて開閉眼判定基準値を再学習し、更新する。その後、眼の開度検出手段ＣＬ３として機能するステップＳ１２０９において開閉眼判定を行う。
【００７８】
ステップＳ１２０７において眼の開度値の変化が見られなかったと判定されたときも、再学習を行わずにステップＳ１２０９の開閉眼判定を行う。ステップＳ１２０３において眩しさを検出した場合は、ステップＳ１２１０に移行し眩しさ判定のために開閉眼判定基準値を補正し、ステップＳ１２０９で開閉眼判定を行ってこのルーチンの処理を終了する。
【００７９】
このように、光環境の変化により眩しいと判断されている場合に、開閉眼判定基準値を再学習すると、開眼開度値が小さくなり、開閉眼判定基準値も小さくなる。従って、眩しくない状態では常時開眼と判定されてしまい正確な判定に限界を招くため、眩しいと判断された場合は開閉眼判定基準値の再学習を行わないようにし、眼の開度検出を正確に行うことができる。
【図面の簡単な説明】
【図１】本発明の構成ブロック図である。
【図２】本発明の第１実施形態に係るブロック図である。
【図３】第１実施形態に係り、自動車が発進時であることを検出して再学習を行うタイムチャートである。
【図４】第１実施形態に係り、自動車が発進時であることを検出して再学習を行うフローチャートである。
【図５】第１実施形態に係り、アクセル、ブレーキの操作を検出して再学習を行うタイムチャートである。
【図６】第１実施形態に係り、アクセル、ブレーキを検出して再学習を行うフローチャートである。
【図７】第１実施形態に係り、警報時に再学習を行うタイムチャートである。
【図８】第１実施形態に係り、警報時に再学習を行うフローチャートである。
【図９】第２実施形態に係り、自動車の走行中は再学習を禁止するタイムチャートである。
【図１０】第２実施形態に係り、自動車の走行中は再学習を禁止するフローチャートである。
【図１１】第３実施形態に係り、眩しさ判定によって再学習を禁止するタイムチャートである。
【図１２】第３実施形態に係り、眩しさ判定によって再学習を禁止するフローチャートである。
【図１３】従来例に係るフローチャートである。
【図１４】従来例に係り、（ａ）は運転者を交替した場合の眼の開度値と開閉眼判定基準値との関係を示すタイムチャート、（ｂ）は所定時間毎に再学習を行うタイムチャートである。
【符号の説明】
１ ＴＶカメラ（画像出力手段ＣＬ１）
２ Ａ−Ｄ変換回路（画像出力手段ＣＬ１）
３ 画像メモリ（画像出力手段ＣＬ１）
４ 画像データ演算回路（画像出力手段ＣＬ１）
５ 眼の位置検出回路（眼の位置検出手段ＣＬ２）
６ 眼の開度検出回路（眼の開度検出手段ＣＬ３）
７ 警報装置（警報手段ＣＬ６）
８ 基準値補正回路（基準値補正手段ＣＬ８）
９ 基準値変化判断回路（基準値変化判断手段ＣＬ７）
１０ 車速センサ（運転開始検出手段ＣＬ４）
１１ アクセルセンサ（操作検出手段ＣＬ５）
１２ ブレーキセンサ（操作検出手段ＣＬ５）
Claims (5)
- 操作対象物を操作する操作者の顔を撮像して顔画像データを出力する画像出力手段と、
該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、
前記検出された眼の位置の濃度情報による眼の開度値を基に学習した開閉眼判定基準値を用いて眼の開度を検出する眼の開度検出手段と、
前記操作対象物が運転開始時か否かを検出する運転開始検出手段と、
前記検出された眼の開度値から前記運転開始時以前の眼の開度値に対し現在の眼の開度値が変化しているか否かを判断する開度値変化判断手段と、
前記運転開始時であることが検出され且つ前記眼の開度値が変化していると判断されたとき前記開閉眼判定基準値を再学習する基準値補正手段とを備えたことを特徴とする眼の状態検出装置。 - 操作対象物を操作する操作者の顔を撮像して顔画像データを出力する画像出力手段と、
該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、
前記検出された眼の位置の濃度情報による眼の開度値を基に学習した開閉眼判定基準値を用いて眼の開度を検出する眼の開度検出手段と、
前記操作対象物の操作装置の操作開始時であることを検出する操作検出手段と、
前記検出された眼の開度値から前記操作装置の操作開始時以前の眼の開度値に対し現在の眼の開度値が変化しているか否かを判断する開度値変化判断手段と、
前記操作装置が操作開始時であると検出され且つ前記眼の開度値が変化していると判断されたとき前記開閉眼判定基準値を再学習する基準値補正手段とを備えたことを特徴とする眼の状態検出装置。 - 操作対象物を操作する操作者の顔を撮像して顔画像データを出力する画像出力手段と、
該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、
前記検出された眼の位置の濃度情報による眼の開度値を基に学習した開閉眼判定基準値を用いて眼の開度を検出する眼の開度検出手段と、
前記検出した眼の開度に基づき警報を発する警報手段と、
前記検出された眼の開度値から前記警報以前の眼の開度値に対し現在の眼の開度値が変化しているか否かを判断する開度値変化判断手段と、
前記警報がなされ且つ前記眼の開度値が変化していると判断されたとき前記開閉眼判定基準値を再学習する基準値補正手段とを備えたことを特徴とする眼の状態検出装置。 - 請求項１〜３の何れかに記載の眼の状態検出装置であって、
前記操作対象物の運転継続信号を検出する継続信号検出手段を設け、
前記基準値補正手段は、前記運転継続信号が検出されているときは前記再学習を行わないことを特徴とする眼の状態検出装置。 - 請求項４記載の眼の状態検出装置であって、
前記検出した眼の開度に基づき眩しさを判定する眩しさ判定手段を設け、
前記基準値補正手段は、前記眩しさ判定がなされているときは前記再学習を行わないことを特徴とする眼の状態検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000041420A JP3769442B2 (ja) | 2000-02-15 | 2000-02-15 | 眼の状態検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000041420A JP3769442B2 (ja) | 2000-02-15 | 2000-02-15 | 眼の状態検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001225666A JP2001225666A (ja) | 2001-08-21 |
| JP3769442B2 true JP3769442B2 (ja) | 2006-04-26 |
Family
ID=18564666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000041420A Expired - Fee Related JP3769442B2 (ja) | 2000-02-15 | 2000-02-15 | 眼の状態検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3769442B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010071021A1 (ja) | 2008-12-17 | 2010-06-24 | アイシン精機株式会社 | 眼開閉判別装置及びプログラム |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3982750B2 (ja) * | 2002-04-26 | 2007-09-26 | 株式会社吉田製作所 | 歯科診療装置 |
| JP3960168B2 (ja) * | 2002-08-29 | 2007-08-15 | 株式会社デンソー | 生体状態推定方法及び装置、プログラム |
| JP4687150B2 (ja) * | 2005-03-08 | 2011-05-25 | 日産自動車株式会社 | 直射光検出装置 |
| JP2007245911A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 監視装置および方法、記録媒体、並びに、プログラム |
| CN100373400C (zh) * | 2006-03-23 | 2008-03-05 | 上海交通大学 | 基于识别模型的多神经网络结合的睁眼检测方法 |
| JP4967559B2 (ja) * | 2006-09-19 | 2012-07-04 | 株式会社豊田中央研究所 | 居眠り運転防止装置及びプログラム |
| JP4882766B2 (ja) * | 2007-01-30 | 2012-02-22 | 株式会社デンソー | 覚醒度算出装置 |
| JP4820835B2 (ja) * | 2008-03-19 | 2011-11-24 | アイシン・エィ・ダブリュ株式会社 | 運転状態警告システム、運転状態警告方法及びプログラム |
| JP5418579B2 (ja) | 2011-12-06 | 2014-02-19 | 株式会社デンソー | 開閉眼検出装置 |
| KR101283304B1 (ko) | 2011-12-12 | 2013-07-12 | 기아자동차주식회사 | 운전자의 눈부심 검출 장치 및 그 방법과 이를 이용한 눈부심 차단 시스템 및 그 방법 |
| JP6387892B2 (ja) * | 2015-04-18 | 2018-09-12 | トヨタ自動車株式会社 | 眠気検知装置 |
| ES2922136T3 (es) * | 2017-02-27 | 2022-09-08 | Tobii Ab | Determinación de la apertura ocular con un dispositivo de seguimiento ocular |
| JP6996253B2 (ja) * | 2017-11-24 | 2022-01-17 | トヨタ自動車株式会社 | 車両の制御装置 |
| JP7247499B2 (ja) | 2018-09-20 | 2023-03-29 | いすゞ自動車株式会社 | 車両用監視装置 |
| JP2021111006A (ja) * | 2020-01-07 | 2021-08-02 | トヨタ自動車株式会社 | 車両用監視装置 |
-
2000
- 2000-02-15 JP JP2000041420A patent/JP3769442B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010071021A1 (ja) | 2008-12-17 | 2010-06-24 | アイシン精機株式会社 | 眼開閉判別装置及びプログラム |
| US8139819B2 (en) | 2008-12-17 | 2012-03-20 | Aisin Seiki Kabushiki Kaisha | Eye open/close recognizing apparatus and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001225666A (ja) | 2001-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3769442B2 (ja) | 眼の状態検出装置 | |
| US7983475B2 (en) | Vehicular actuation system | |
| JP3603768B2 (ja) | 車線逸脱判定装置 | |
| CN101055176B (zh) | 车辆周边监控系统及车辆周边监控方法 | |
| JP4604703B2 (ja) | 駐車補助装置 | |
| US7969326B2 (en) | Parking assist method and parking assist apparatus | |
| JP4687270B2 (ja) | Ｇｐｓロストの予測装置及び車両用走行制御装置 | |
| JP5045374B2 (ja) | 運転状態判定装置 | |
| US20080130953A1 (en) | Operation estimating apparatus and program | |
| JP2002331850A (ja) | 運転行動意図検出装置 | |
| CN108583572A (zh) | 驾驶辅助装置 | |
| CN112334378B (zh) | 转向控制装置、转向控制方法以及转向控制系统 | |
| CN110371018A (zh) | 使用其他车辆车灯的信息改善车辆行为 | |
| JP7426174B2 (ja) | 車両周囲画像表示システム及び車両周囲画像表示方法 | |
| JP2007034989A (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
| JP4225352B2 (ja) | 追従制御装置 | |
| JP4325271B2 (ja) | 状態検出装置及び状態検出システム | |
| JPH0816998A (ja) | 自動車の走行状態判定装置 | |
| JP2004310522A (ja) | 車両用画像処理装置 | |
| JP4173083B2 (ja) | 覚醒状態判定装置及び覚醒状態判定方法 | |
| US20220063404A1 (en) | Vehicle display control device, vehicle display system, vehicle display control method, and non-transitory storage medium | |
| CN104742911B (zh) | 驾驶辅助装置 | |
| JP2009040414A (ja) | 追従制御装置 | |
| JP4200943B2 (ja) | 運転支援装置 | |
| JP2001229499A (ja) | 眼の状態検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060206 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |