JP3577882B2 - 居眠り状態検出装置 - Google Patents
居眠り状態検出装置 Download PDFInfo
- Publication number
- JP3577882B2 JP3577882B2 JP07872197A JP7872197A JP3577882B2 JP 3577882 B2 JP3577882 B2 JP 3577882B2 JP 07872197 A JP07872197 A JP 07872197A JP 7872197 A JP7872197 A JP 7872197A JP 3577882 B2 JP3577882 B2 JP 3577882B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- point
- value
- density
- point extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は居眠り状態検出装置、より具体的には、車両の運転者、船舶の操船者、プラント等のオペレータ等の居眠り状態を検出する居眠り状態検出装置に関する。
【０００２】
【従来の技術】
従来の運転者等の居眠り状態検出装置としては、特願平５−３４６０９４号公報に記載されているようなものがある。
この居眠り状態検出装置は、運転者の前方に設置したカメラで撮影した濃淡画像データの二値化処理を行い、二値化画像において濃度投影、ラベリング処理等を行うことで眼の位置を検出し、開閉眼の状態変化より居眠り状態が検出できる構成となっているものである。
【０００３】
また、濃淡画像を対象とした居眠り状態検出装置としては、特願平８−２０７７８２号公報に記載されたようなものが、本願出願人より提案されている。
この居眠り状態検出装置は、顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列における濃度の局所的な高まりごとに１個づつの画素を定めて抽出点とし、隣接する画素列の画素列方向に近接した抽出点を連結して顔の横方向に伸びる曲線群から眼の位置を検出し、その後、眼を含む所定領域内で眼の位置検出と同様の処理を行うことにより、眼の開閉状態を判定し、その開閉状態の変化より居眠り状態が検出できる構成となっているものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の居眠り状態検出装置にあっては、図２０に示すように、光の当り方がアンバランスな場合、濃淡画像上でのコントラストが弱くなるため、正確に二値化閾値を設定することが困難になり、眼の位置、開閉眼検出精度が低下するという問題点があった。
【０００５】
また、濃淡画像を対象とした居眠り状態検出装置でも、極端にコントラストが弱くなった画像では、固定したポイント抽出条件により、眼を確実に抽出ポイントの連続データとして認識することができないため、やはり眼の位置、開閉眼検出精度が低下するという問題点があった。
【０００６】
本発明は、このような従来の問題点に着目してなされたもので、あらゆる光環境状態に対応することができ、居眠り状態検出が常に安定して行えるようにした居眠り状態検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、図１に示すように、顔画像を入力する画像入力手段ＣＬ１と、該画像入力手段ＣＬ１から入力された顔画像の縦方向の画素列の濃度を検出する画素列の濃度検出手段ＣＬ２と、前記画素列における濃度値による以下の第１ポイント抽出手段ＣＬ４の抽出条件を変更する第１ポイント抽出条件変更手段ＣＬ３と、前記画素列における濃度の高まりとその変化状態によりポイントを抽出する第１ポイント抽出手段ＣＬ４と、隣接する画素列の画素列方向に近接したポイントを連続して顔の横方向への曲線群を抽出する曲線群の抽出手段ＣＬ５と、曲線群の中から眼を選択する眼の位置検出手段ＣＬ６と、眼を含む所定領域内で縦方向への濃度値による以下の第２ポイント抽出手段ＣＬ８の抽出条件を変更する第２ポイント抽出条件変更手段ＣＬ７と、眼を含む所定領域内で縦方向への濃度の高まりとその変化状態よりポイントを抽出する第２ポイント抽出手段ＣＬ８と、前記ポイントの顔の横方向へのポイントの連続性を判定するポイントの連続性判定手段ＣＬ９と、前記連続データ内から眼の開度値を求める眼の開度検出手段ＣＬ１０と、眼の開閉状態の変化から覚醒度を判定する覚醒度判定手段ＣＬ１１と、覚醒度が低下していると判定された場合に警報を与える警報手段ＣＬ１２とを備えるものとする。
【０００８】
本発明によれば、眼の位置検出、開閉眼検出の両手段において、顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列上の濃度値により、第１及び第２ポイント抽出手段の抽出条件を変更し、各画素列ごとにポイント抽出条件を設定する構成とすることによって、眼を抽出ポイントの連続データとして常に安定して捕らえることができるため、あらゆる光環境状態に対応することができ、居眠り状態の検出精度を向上させることができる。
【０００９】
【発明の実施の形態】
以下、本発明による居眠り状態検出装置の実施の形態を添付図面を参照して詳細に説明する。
なお、ここでは、車両運転者の場合が、太陽の高さや車両の向きにより、その光環境状態の変化が大きいと考えられることから、本実施の形態では車両に適用した場合で説明する。
【００１０】
図１は、本発明による居眠り状態検出装置 の構成を示すブロック図であり、図２は、一実施の形態を示すブロック図である。まず、図１および図２を用いて、構成を説明する。インストに設置され、運転者の顔部分を正面から撮影する画像入力手段ＣＬ１としてのＴＶカメラ２１があり、ＴＶカメラ２１の入力画像は、本実施の形態では、横（Ｘ）方向５１２画素、縦（Ｙ）方向４８０画素からなる。ＴＶカメラ２１で撮影された入力画像は、Ａ−Ｄ変換器２２を介して、デジタル量の入力画像データとして画像メモリ２３に格納される。画像メモリ２３には、これに格納された入力画像データに基づいて顔の縦方向の画素列の濃度を検出する画素列の濃度検出手段ＣＬ２と、前記画素列の濃度値による第１ポイント抽出条件変更手段ＣＬ３と、前記画素列における濃度の高まりとその変化状態によりポイントを抽出する第１ポイント抽出手段ＣＬ４と、隣接する画素列方向に近接したポイントを連結して顔の横方向への曲線群を抽出する曲線群の抽出手段ＣＬ５からなる画像データ演算回路２４と、曲線群から眼の選択を行うことで眼の位置を検出する眼の位置検出手段ＣＬ６の眼の位置検出回路２５と、眼を含む所定領域内で縦方向への濃度値による第２ポイント抽出条件変更手段ＣＬ７と、眼を含む所定領域内で縦方向への濃度の高まりとその変化状態からポイントを抽出する第２ポイント抽出手段ＣＬ８と、顔の横方向へのポイントの連続性を判定する連続性判定手段ＣＬ９と、連続データ内から眼の開度値を検出する眼の開度検出手段ＣＬ１０からなる開閉眼検出回路２６が接続されている。この開閉眼検出回路より送出される開閉眼の検出結果から覚醒度を判定する覚醒度判定手段ＣＬ１１の覚醒度判定回路２７があり、覚醒度が低下したと判定された場合に居眠り状態を解消させる警報を警報手段ＣＬ１２の警報装置２８より発生する。
【００１１】
次に、上記構成における動作の流れを、図３のフローチャートに基づいて説明する。
まず、ステップＳ３０１において、ＴＶカメラ２１によって顔部分が撮影され、ステップＳ３０２で、１フレーム分の入力画像がＡ−Ｄ変換器２２でデジタル信号に変換されたうえ、画像メモリ２３に格納される。
【００１２】
次に、ステップＳ３０３において、眼の存在領域が設定されているかどうかがチェックされる。眼の存在領域とは、眼を含む所定領域を示し、眼の開度検出の処理を行う領域である。また、この所定領域は、眼の追跡領域としても用いられる。眼の存在領域が設定されていない場合は、ステップＳ３０４およびＳ３０５において、眼が存在する領域の横方向（Ｘ方向）の幅と縦方向（Ｙ方向）の幅を設定する。眼の位置検出の詳細は、図４のフローチャートと、図５〜図１３に示す説明図により後述する。ステップＳ３０３で、眼の存在領域が設定されていると判断された場合、ステップＳ３０６で眼の開度の検出が行われる。この処理の詳細は、図１４のフローチャートと、図１５〜図１７に示す説明図により後述する。
【００１３】
この後、ステップＳ３０７において、前ステップＳ３０６で検出された眼の開度値より眼が正しく追跡されているか否かを確認する。眼が正しく追跡されていると判定された場合は、ステップＳ３０８に移り、眼の開度値により開眼か閉眼かの判定を行う。その後、ステップＳ３０９に移行し、眼の追跡、つまり眼の存在領域の変更を行う。
【００１４】
この後、ステップＳ３１０において、前ステップＳ３０９で検出された開閉眼パターンから運転者の覚醒度の判定が行われる。覚醒度の判定の詳細は、図１９に示す説明図により後述する。
【００１５】
また、ステップＳ３０７で眼が正しく追跡されていないと判定された場合は、ステップＳ３１１に移り、眼の開度値と眼の存在領域をクリアし、ステップＳ３０１に戻り、次のフレームの処理に移る。
この眼の追跡の詳細は、図１８に示す説明図により後述する。
【００１６】
次に、眼の位置検出の詳細を説明する。
眼の位置検出処理の流れを、図４のフローチャートに基づいて説明する。
まず、ステップＳ４０１では、図５に示すように、Ｙ軸方向に４８０のライン上のデータに対してポイント抽出の処理を行い、１ライン終了後に、一つ隣のラインの処理に移して行き、所定方向の全ラインでのポイント抽出が終了したか否かを判断する。
【００１７】
ステップＳ４０１で全ラインにおいてポイント抽出が行われていないと判断された場合は、ステップＳ４０２に移行する。このステップＳ４０２では、所定方向の１ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮影時の濃度値の変化の小さなばらつきを無くすことを目的としており、濃度値の大局的な変化を捉えるためである。図６（ａ）に、図５のＸａのラインデータの相加平均演算の処理結果を示す。
【００１８】
図４のステップＳ４０３では、ステップＳ４０２の演算結果である相加平均値における微分演算を行う。この処理結果を図６（ｂ）に示す。
【００１９】
図４のステップＳ４０４では、図６（ａ）のＮｍａｘで示す所定方向の１ラインの最も明るい濃度値をメモリし、その値により各ラインのポイント抽出条件である微分値の判定基準値を変更し、設定する。
【００２０】
図４のステップＳ４０５では、ステップＳ４０３の演算結果である微分値によりポイント抽出を行う。そのポイントの抽出方法は、図６（ｂ）に示す微分値が負から正に変化するポイント（ｐ１〜ｐ１０）、図６（ａ）でいうと、グラフが下向きに凸になるポイントを抽出する。次に、そのポイントに達するまでの濃度値の変化の最大箇所である最小微分値が、図６（ｂ）に示す判定基準値以下であるか否かを判定し、判定基準値以下の濃度変化を持つポイント（ｑ３，ｑ４）を対象として、Ｙ座標値（ａ３，ａ４）を抽出する。
【００２１】
次に、図７、図８を用いて、車両右側からの直射光により光の当り方がアンバランスになる場合について説明する。
図７に示すように、車両右側からの直射光により顔の左半分が影になり、コントラストが弱くなった場合、顔の影の部分にある図７のＸｂのラインでは、図８（ｂ）のｐ３で示す眼にあたる部分のポイントは、図６（ｂ）と同じ微分値の判定基準値にすると抽出できず、眼を抽出ポイントの連続データとして認識することもできない。このような場合、図４のステップＳ４０４の処理における図８（ａ）のＮｍａｘで示す該当するラインの最も明るい濃度値により、そのライン上のコントラストが強いか、弱いかを判定することができるため、Ｎｍａｘが小さい場合、コントラストが弱いと判定し、図８（ｂ）に示すように微分判定基準値を変更することができる。よって、影にある眼や眉のポイントを、図８（ａ）のａ２，ａ３として抽出できる。
【００２２】
次に、図９、図１０を用いて、車両前側からの直接光により光の当たり方がアンバランスになる場合について説明する。
図９に示すように、車両前側からの直射光により顔の上半分が影になり、コントラストが弱くなった場合、図９のＸｃのラインでは、図１０（ｂ）のｐ３で示す眼にあたる部分のポイントは、図６（ｂ）と同じ微分値の判定基準値にすると抽出できず、眼を抽出ポイントの連続データとして認識することもできない。また、このように上下方向に濃度値のアンバランスがある場合は、図４のステップＳ４０４の処理における図１０（ａ）のＮｍａｘで示す該当するラインの最も明るい濃度値により、そのライン上の眼のある部分のコントラストが強いか、弱いかを判定することができない。このように前側からの直接光により光の当り方のアンバランスがある場合は、眼に相当する抽出ポイントの連続データが検出されないことをフィードバック情報として用いて、図１０（ｂ）に示すように、微分値の判定基準値を変更することができる。よって、影にある眼や眉のポイントを、図１０（ａ）のａ２，ａ３として抽出できる。
【００２３】
また、図９のように、顔の上半分が影になり、その壁の部分に眼がある場合は、運転者がサンバイザを用いていることが多く、よってサンバイザの使用信号により、微分値の判定基準値を変更することもできる。
【００２４】
その他、眼のコントラストが弱くなる場合として、運転者が眼鏡を着用している場合がある。よって、眼鏡の着用の有無の入力信号により、微分値の判定基準値を変更することもできる。
【００２５】
１ライン終了後、図４のステップＳ４０６で、次のラインの処理に切り換えていく。
【００２６】
図４のステップＳ４０１で、全ラインのポイント抽出が終了したと判断されると、図１１に示すようなポイントが抽出される。つまり、図１１のＸ１ライン上では、Ａ１，Ａ２の二つのポイントが抽出されており、Ｘ２ライン上では、Ａ１，Ａ２，Ａ３，Ａ４の四つのポイントが抽出されていることになる。
【００２７】
その後、ステップＳ４０７へ移行し、隣合う各ラインの抽出ポイント（Ａ１，Ａ２，Ａ３，…）のＹ座標値を比較し、Ｙ座標値が所定値以内の場合、連続データとして、▲１▼連続データのグループ番号、▲２▼連続開始ライン番号、▲３▼連続データ数をメモリする。この具体的な処理内容を、図１２を用いて説明する。
【００２８】
ライン１には、Ｙ座標値が１９２と２２９の二つの抽出ポイントがある。ライン１のＹ座標値が１９２のポイントは、左隣りのラインが存在しないので、この段階での連続データはないため、▲１▼連続データのグループ番号は“１”となる。また、Ｙ座標値が２２９のポイントも、同様の理由で、この段階での連続データは存在しないため、▲１▼連続データのグループ番号は、その次の“２”とする。
【００２９】
次に、右隣りのライン２には、Ｙ座標値が１９１と２２４の二つの抽出ポイントがある。ライン２のＹ座標値１９１のポイントは、左隣のライン１のＹ座標値１９２と１０以内のポイントであるため、▲１▼連続データのグループ番号を“１”とする。この時、▲３▼連続データ数は２となる。ライン２のＹ座標値２２４のポイントにおいても、同様の判定を行うと、▲１▼連続データのグループ番号は“２”、▲３▼連続データ数は２となる。
【００３０】
次のライン３のＹ座標値３６０のポイントでは、左隣のライン２に３６０と１０以内になるポイントが存在しないので、▲１▼連続データのグループ番号は“３”となり、▲３▼連続データ数は１となる。
【００３１】
また、ステップＳ４０７での▲２▼連続開始ライン番号は、▲３▼連続データ数が１と判断されるポイントを有するライン番号のことをいう。
【００３２】
ステップＳ４０７では、このようにして各ラインのポイントの連続性の判断を全ラインにおいて終了するまで行い、ステップＳ４０８へ移行する。
【００３３】
ステップＳ４０８では、同じ連続データのグループ番号を持つポイントのＹ座標値の平均値を、▲４▼連続ポイントの平均値にメモリする。この値は、そのグループの代表Ｙ座標値として用いることができる。また、連続開始ラインとその連続データ数から連続終了ラインを求め、連続開始ラインと連続終了ラインの平均値をメモリする。この値は、そのグループの代表Ｘ座標値として用いることができる。
【００３４】
このようにして得られた各連続グループデータを、ステップＳ４０９で、各連続グループの長さ、（Ｘ，Ｙ）座標値により判定することにより、眼の位置が特定できる。
【００３５】
ここで、図１３を用いて、具体的な眼の位置検出方法について説明する。
まず初めに眼の特徴量を考えると、横に長く、上に凸型の弓形形状であると定義付けることができ、この定義付けに基づいて連続データの絞り込みを行うと、眼は横に長いという条件から、ポイント連続数が５ポイント以上続き、また、弓形形状であるという条件から、連続開始ポイントと連続終了ポイントのＹ座標値の差は、小さい連続データに絞り込むことができる。この判定に基づき、連続データの絞り込みを行うと、図１３（ａ）に示すようなグループＧ１〜Ｇ６が抽出される。
【００３６】
次に、前述した各グループのＸ，Ｙの代表座標値の位置を考えると、図１３（ｂ）に示すように、Ｘ座標方向での接近度合いより、ＺＯＮＥ：Ｌ，ＺＯＮＥ：Ｃ，ＺＯＮＥ：Ｒに分類できる。これは、左眼と左眉でＸ座標方向に大きく離れることはなく、また右眼と右眉でＸ座標方向に大きく離れることはないからである。また、鼻下の影により連続データとなったものや、口の連続データは中央部付近に位置する。
【００３７】
このように、Ｘ座標方向の接近度合いで更にデータを分類し、データを絞り込んでいくことで、眼の位置検出を容易に行うことができる。ＺＯＮＥ：Ｌに含まれるデータとしては、左眼と左眉であり、ＺＯＮＥ：Ｒに含まれる連続データは右眼と右眉であると判定すると、眼の位置はＧ３，Ｇ４であり、その座標値も特定できる。
【００３８】
次に、眼の開度検出の詳細を説明する。
眼の開度検出処理の流れを、図１４のフローチャートに基づいて説明する。
まず、ステップＳ５０１では、図１５（ａ）に示すように、Ｙ軸方向にライン上のデータに対してポイント抽出の処理を行い、１ライン終了後に、一つ隣のラインの処理に移していき、所定方向の全ラインでのポイント抽出が終了したか否かを判断する。
【００３９】
ステップＳ５０１で、全ラインにおいてポイント抽出が行われていないと判断された場合は、ステップＳ５０２に移行する。このステップＳ５０２では、所定方向の１ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮影時の濃度値の変化の小さなばらつきを無くすことを目的としており、濃度値の大局的な変化を捉えるためである。図１５（ｂ）に、図１５（ａ）のＸのラインデータの相加平均演算の処理結果を示す。
【００４０】
図１４のステップＳ５０３では、ステップＳ５０２の演算結果である相加平均値における微分演算を行う。この処理結果を、図１５（ｃ）に示す。
【００４１】
図１４のステップＳ５０４では、眼の位置検出の場合と同様に、縦方向１ラインの最も明るい濃度値により、ステップＳ５０５のポイント抽出条件を変更する。
【００４２】
図１４のステップＳ５０５では、ステップＳ５０３の演算結果である微分値によるポイント抽出を行う。そのポイントの抽出方法は、微分値が負から正に変化するポイントｐ、図１５（ｂ）でいうと、グラフが左向きに凸になるポイントを抽出する。次に、図１４（ｃ）に示すように、そのポイントの前後の濃度値の変化が判定基準値以下、以上であるか否かを判定し、上記条件を満足する濃度値の変化を持つポイントｐを抽出する。
【００４３】
次に、図１６を用いて、眼が影にあり、コントラストが弱い場合について説明する。
開閉眼の検出においても、眼の位置検出と同様に、眼が影にある場合は、図１４のステップＳ５０４で、縦方向１ラインの最も明るい濃度値、図１６（ｂ）のＮｍａｘを求めることにより、眼のコントラストが弱い状態にあることが判定でき、微分値の判定基準値を、図１６（ｃ）に示すように変更することができる。よって、コントラストが弱い悪い光環境下にあっても、確実に眼を連続データとて認識することができる。また、開閉眼検出の場合、対象とする領域が小さいため、眼の存在領域全体の平均濃度などによっても、眼のおかれている光環境状態を判定することができる。
【００４４】
開閉眼検出においても、眼の位置検出と同様に、サンバイザの使用の有無、眼鏡の着用の有無により、微分値の判定基準値を切り換えることは、当然、有効である。
【００４５】
図１４のステップＳ５０６で、抽出ポイントｐが存在すると判定された場合は、ステップＳ５０７へ移行し、ｐ点の前後の微分値の正負の最大値であるｑ点とｒ点のＹ座標方向の間隔Ｈを求める。ステップＳ５０７では、また縦方向のラインにおいて、抽出ポイントが連続して存在する場合に、その間隔を比較し、最大値Ｈを更新する。
【００４６】
ステップＳ５０８では、抽出ポイントの連続数のカウントアップを行う。ステップＳ５０９では、抽出ポイントの連続数が所定値を越えたか否かを判定し、所定値を越えるまで次のラインの処理を続ける。このとき、抽出ポイントの連続性が途切れて、ステップＳ５０６で、抽出ポイントが無いと判定された場合は、ステップＳ５１２へ移行し、ステップＳ５１２で、更新中のｑ，ｒ間隔の最大値とカウンターをクリアし、次のラインの処理を行う。
【００４７】
ステップＳ５０９で、抽出ポイントの連続数が所定値を越えた場合は、ステップＳ５１０へ移行し、ｑ，ｒの間隔の最大値をメモリする。ステップＳ５１０では、連続データ内での最大値のメモリの更新と、所定値を越える他の連続データ間での更新も行う。
【００４８】
図１７のＤ区間は、ステップＳ５０５の条件を満たす抽出ポイントがなく、Ｌ区間は、抽出ポイントがある箇所を示す。
【００４９】
このようにして、全てのラインの処理が終了したとき、ステップＳ５１３へ移行し、ｑ，ｒ間隔の最大値を眼の開度値として出力する。
【００５０】
次に、図３のフローチャートのステップＳ３０７，Ｓ３０９，Ｓ３１１における眼の追跡、追跡ミスしたときの復帰方法の詳細を示す。
ステップＳ３０６で得られた眼の開度値は、図１７に示すように、Ｈｍａｘが開眼と判断される大きな値の場合は、そのポイントのＸ座標、Ｈｍａｘの中央値をＹ座標とし、またＨｍａｘが閉眼と判断される小さな値の場合は、データ連続数の中央値をＸ座標、Ｈｍａｘの中央値をＹ座標として基準とし、眼の存在領域を設定する。このフローチャートに基づくシステムをスタートさせた直後、つまり第１フレームでは、当然、眼の存在領域は設定されていないため、ステップＳ３０４，Ｓ３０５で、眼の存在領域が設定される。このとき、眼の中心座標と眼の存在領域の中心座標は、図１８（ａ）に示すように一致している。
【００５１】
一連の処理の終了後、第２フレームの処理に移り、ステップＳ３０３へ進むと、ここでは既に眼の存在領域が設定されているため、ステップＳ３０６に移り、眼の開度検出を行い、ステップＳ３０７に移る。このとき、眼が正しく捉えられている場合は、図１８（ｂ）に示すようになる。図１８（ｂ）の眼の存在領域は、第１フレームで設定された位置にあるのに対し、眼の位置は、２フレーム目に取り込まれた画像データの眼の位置であるため、顔の動き等により、眼の中心点は眼の存在領域に対しズレてくる。しかし、眼の存在領域に眼が接しない限り、これまで説明してきた眼の開度検出を行うことができる。
【００５２】
このようにして捉えられた図１８（ｂ）の眼の中心座標に、ステップＳ３０９で眼の存在領域の基準点を変更することにより、運転者の顔の動きにも対応させることができる。
【００５３】
図１８（ｃ），（ｄ）は、第３フレーム、第４フレームで取り込まれる顔画像データでの眼の位置と眼のウィンドウの位置関係を示したものである。
【００５４】
ステップＳ３０７，Ｓ３０９，Ｓ３１１による眼の追跡ロジックを有することで、ステップＳ３０４，Ｓ３０５での顔全体からの眼の位置検出を省略できるため、眼の開度検出の高速化が図ることができる。
【００５５】
また、ステップＳ３０７で眼の追跡が正しくできているか否かの判定は、眼の開度値によって行う。要するに、撮影者が特定されてしまえば、眼の開度値は開眼時〜閉眼時の範囲で変化するだけであることから、この範囲外の値が出力されたときは、眼の追跡ミスがあったと判定し、ステップＳ３１１で眼の開度の出力値と眼の存在領域をクリアすることにより、ステップＳ３０３で、再び顔全体からの処理に入るようにする。
【００５６】
次に、ステップＳ３０８における開閉眼を判定する方法の詳細を示す。前にも説明したが、撮影者が特定された場合、眼の開度の出力値は開眼状態から閉眼状態の間で変化する。よって、開眼・閉眼の判定を行う基準値、つまり開閉眼を判定するスレッシュホールドは、その範囲内にあることになる。ここで、そのスレッシュホールドをどう設定するのが妥当なのかを検討した結果、居眠り状態の人は、熟睡状態ではないため、完全に眼の閉じない運転者も見られることより、開眼・閉眼の中央値をスレッシュホールドとすることが望ましいと思われる。
【００５７】
最後に、図１９を用いて、ステップＳ３１０における覚醒度の判定方法の詳細を示す。図３のステップＳ３０８で出力される開閉眼パターンにおいて、図１９に示すように、覚醒度判定区間（例えば１分程度）に出力される閉眼積算値により、覚醒度を判定することができる。
【００５８】
このようにして得られた覚醒度により、居眠り状態を検出することが可能となり、的確に警報装置を作動させ、居眠り状態を解消させ、未然に居眠り事故等を防ぐことができる。
【００５９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、眼の位置検出、開閉眼検出の両手段において、顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列上の濃度値により、
第１及び第２ポイント抽出手段の抽出条件を変更し、各画素列ごとにポイント抽出条件を設定する構成とすることによって、眼を抽出ポイントの連続データとして常に安定して捕えることができるため、前記連続した抽出点のデータより、眼の位置、眼の開度検出を正確に行え、あらゆる光環境状態に対応することができ、居眠り状態の検出精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明による居眠り状態検出装置の構成を示すブロック図である。
【図２】実施の形態の構成を示すブロック図である。
【図３】実施の形態の全体動作を示すフローチャートである。
【図４】眼の位置検出の動作を示すフローチャートである。
【図５】眼の位置検出に関する説明図である。
【図６】眼の位置検出に関する説明図である。
【図７】眼の位置検出に関する説明図である。
【図８】眼の位置検出に関する説明図である。
【図９】眼の位置検出に関する説明図である。
【図１０】眼の位置検出に関する説明図である。
【図１１】眼の位置検出に関する説明図である。
【図１２】眼の位置検出に関する説明図である。
【図１３】眼の位置検出に関する説明図である。
【図１４】眼の開度検出の動作を示すフローチャートである。
【図１５】眼の開度値の出力方法に関する説明図である。
【図１６】眼の開度値の出力方法に関する説明図である。
【図１７】眼の開度値の出力方法に関する説明図である。
【図１８】眼の追跡方法に関する説明図である。
【図１９】覚醒度の判定方法に関する説明図である。
【図２０】従来技術に関する説明図である。
【符号の説明】
２１ ＴＶカメラ
２２ Ａ−Ｄ変換器
２３ 画像メモリ
２４ 画像データ演算開路
２５ 眼の位置検出回路
２６ 開閉眼検出回路
２７ 覚醒度判定回路
２８ 警報装置
【発明の属する技術分野】
本発明は居眠り状態検出装置、より具体的には、車両の運転者、船舶の操船者、プラント等のオペレータ等の居眠り状態を検出する居眠り状態検出装置に関する。
【０００２】
【従来の技術】
従来の運転者等の居眠り状態検出装置としては、特願平５−３４６０９４号公報に記載されているようなものがある。
この居眠り状態検出装置は、運転者の前方に設置したカメラで撮影した濃淡画像データの二値化処理を行い、二値化画像において濃度投影、ラベリング処理等を行うことで眼の位置を検出し、開閉眼の状態変化より居眠り状態が検出できる構成となっているものである。
【０００３】
また、濃淡画像を対象とした居眠り状態検出装置としては、特願平８−２０７７８２号公報に記載されたようなものが、本願出願人より提案されている。
この居眠り状態検出装置は、顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列における濃度の局所的な高まりごとに１個づつの画素を定めて抽出点とし、隣接する画素列の画素列方向に近接した抽出点を連結して顔の横方向に伸びる曲線群から眼の位置を検出し、その後、眼を含む所定領域内で眼の位置検出と同様の処理を行うことにより、眼の開閉状態を判定し、その開閉状態の変化より居眠り状態が検出できる構成となっているものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の居眠り状態検出装置にあっては、図２０に示すように、光の当り方がアンバランスな場合、濃淡画像上でのコントラストが弱くなるため、正確に二値化閾値を設定することが困難になり、眼の位置、開閉眼検出精度が低下するという問題点があった。
【０００５】
また、濃淡画像を対象とした居眠り状態検出装置でも、極端にコントラストが弱くなった画像では、固定したポイント抽出条件により、眼を確実に抽出ポイントの連続データとして認識することができないため、やはり眼の位置、開閉眼検出精度が低下するという問題点があった。
【０００６】
本発明は、このような従来の問題点に着目してなされたもので、あらゆる光環境状態に対応することができ、居眠り状態検出が常に安定して行えるようにした居眠り状態検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、図１に示すように、顔画像を入力する画像入力手段ＣＬ１と、該画像入力手段ＣＬ１から入力された顔画像の縦方向の画素列の濃度を検出する画素列の濃度検出手段ＣＬ２と、前記画素列における濃度値による以下の第１ポイント抽出手段ＣＬ４の抽出条件を変更する第１ポイント抽出条件変更手段ＣＬ３と、前記画素列における濃度の高まりとその変化状態によりポイントを抽出する第１ポイント抽出手段ＣＬ４と、隣接する画素列の画素列方向に近接したポイントを連続して顔の横方向への曲線群を抽出する曲線群の抽出手段ＣＬ５と、曲線群の中から眼を選択する眼の位置検出手段ＣＬ６と、眼を含む所定領域内で縦方向への濃度値による以下の第２ポイント抽出手段ＣＬ８の抽出条件を変更する第２ポイント抽出条件変更手段ＣＬ７と、眼を含む所定領域内で縦方向への濃度の高まりとその変化状態よりポイントを抽出する第２ポイント抽出手段ＣＬ８と、前記ポイントの顔の横方向へのポイントの連続性を判定するポイントの連続性判定手段ＣＬ９と、前記連続データ内から眼の開度値を求める眼の開度検出手段ＣＬ１０と、眼の開閉状態の変化から覚醒度を判定する覚醒度判定手段ＣＬ１１と、覚醒度が低下していると判定された場合に警報を与える警報手段ＣＬ１２とを備えるものとする。
【０００８】
本発明によれば、眼の位置検出、開閉眼検出の両手段において、顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列上の濃度値により、第１及び第２ポイント抽出手段の抽出条件を変更し、各画素列ごとにポイント抽出条件を設定する構成とすることによって、眼を抽出ポイントの連続データとして常に安定して捕らえることができるため、あらゆる光環境状態に対応することができ、居眠り状態の検出精度を向上させることができる。
【０００９】
【発明の実施の形態】
以下、本発明による居眠り状態検出装置の実施の形態を添付図面を参照して詳細に説明する。
なお、ここでは、車両運転者の場合が、太陽の高さや車両の向きにより、その光環境状態の変化が大きいと考えられることから、本実施の形態では車両に適用した場合で説明する。
【００１０】
図１は、本発明による居眠り状態検出装置 の構成を示すブロック図であり、図２は、一実施の形態を示すブロック図である。まず、図１および図２を用いて、構成を説明する。インストに設置され、運転者の顔部分を正面から撮影する画像入力手段ＣＬ１としてのＴＶカメラ２１があり、ＴＶカメラ２１の入力画像は、本実施の形態では、横（Ｘ）方向５１２画素、縦（Ｙ）方向４８０画素からなる。ＴＶカメラ２１で撮影された入力画像は、Ａ−Ｄ変換器２２を介して、デジタル量の入力画像データとして画像メモリ２３に格納される。画像メモリ２３には、これに格納された入力画像データに基づいて顔の縦方向の画素列の濃度を検出する画素列の濃度検出手段ＣＬ２と、前記画素列の濃度値による第１ポイント抽出条件変更手段ＣＬ３と、前記画素列における濃度の高まりとその変化状態によりポイントを抽出する第１ポイント抽出手段ＣＬ４と、隣接する画素列方向に近接したポイントを連結して顔の横方向への曲線群を抽出する曲線群の抽出手段ＣＬ５からなる画像データ演算回路２４と、曲線群から眼の選択を行うことで眼の位置を検出する眼の位置検出手段ＣＬ６の眼の位置検出回路２５と、眼を含む所定領域内で縦方向への濃度値による第２ポイント抽出条件変更手段ＣＬ７と、眼を含む所定領域内で縦方向への濃度の高まりとその変化状態からポイントを抽出する第２ポイント抽出手段ＣＬ８と、顔の横方向へのポイントの連続性を判定する連続性判定手段ＣＬ９と、連続データ内から眼の開度値を検出する眼の開度検出手段ＣＬ１０からなる開閉眼検出回路２６が接続されている。この開閉眼検出回路より送出される開閉眼の検出結果から覚醒度を判定する覚醒度判定手段ＣＬ１１の覚醒度判定回路２７があり、覚醒度が低下したと判定された場合に居眠り状態を解消させる警報を警報手段ＣＬ１２の警報装置２８より発生する。
【００１１】
次に、上記構成における動作の流れを、図３のフローチャートに基づいて説明する。
まず、ステップＳ３０１において、ＴＶカメラ２１によって顔部分が撮影され、ステップＳ３０２で、１フレーム分の入力画像がＡ−Ｄ変換器２２でデジタル信号に変換されたうえ、画像メモリ２３に格納される。
【００１２】
次に、ステップＳ３０３において、眼の存在領域が設定されているかどうかがチェックされる。眼の存在領域とは、眼を含む所定領域を示し、眼の開度検出の処理を行う領域である。また、この所定領域は、眼の追跡領域としても用いられる。眼の存在領域が設定されていない場合は、ステップＳ３０４およびＳ３０５において、眼が存在する領域の横方向（Ｘ方向）の幅と縦方向（Ｙ方向）の幅を設定する。眼の位置検出の詳細は、図４のフローチャートと、図５〜図１３に示す説明図により後述する。ステップＳ３０３で、眼の存在領域が設定されていると判断された場合、ステップＳ３０６で眼の開度の検出が行われる。この処理の詳細は、図１４のフローチャートと、図１５〜図１７に示す説明図により後述する。
【００１３】
この後、ステップＳ３０７において、前ステップＳ３０６で検出された眼の開度値より眼が正しく追跡されているか否かを確認する。眼が正しく追跡されていると判定された場合は、ステップＳ３０８に移り、眼の開度値により開眼か閉眼かの判定を行う。その後、ステップＳ３０９に移行し、眼の追跡、つまり眼の存在領域の変更を行う。
【００１４】
この後、ステップＳ３１０において、前ステップＳ３０９で検出された開閉眼パターンから運転者の覚醒度の判定が行われる。覚醒度の判定の詳細は、図１９に示す説明図により後述する。
【００１５】
また、ステップＳ３０７で眼が正しく追跡されていないと判定された場合は、ステップＳ３１１に移り、眼の開度値と眼の存在領域をクリアし、ステップＳ３０１に戻り、次のフレームの処理に移る。
この眼の追跡の詳細は、図１８に示す説明図により後述する。
【００１６】
次に、眼の位置検出の詳細を説明する。
眼の位置検出処理の流れを、図４のフローチャートに基づいて説明する。
まず、ステップＳ４０１では、図５に示すように、Ｙ軸方向に４８０のライン上のデータに対してポイント抽出の処理を行い、１ライン終了後に、一つ隣のラインの処理に移して行き、所定方向の全ラインでのポイント抽出が終了したか否かを判断する。
【００１７】
ステップＳ４０１で全ラインにおいてポイント抽出が行われていないと判断された場合は、ステップＳ４０２に移行する。このステップＳ４０２では、所定方向の１ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮影時の濃度値の変化の小さなばらつきを無くすことを目的としており、濃度値の大局的な変化を捉えるためである。図６（ａ）に、図５のＸａのラインデータの相加平均演算の処理結果を示す。
【００１８】
図４のステップＳ４０３では、ステップＳ４０２の演算結果である相加平均値における微分演算を行う。この処理結果を図６（ｂ）に示す。
【００１９】
図４のステップＳ４０４では、図６（ａ）のＮｍａｘで示す所定方向の１ラインの最も明るい濃度値をメモリし、その値により各ラインのポイント抽出条件である微分値の判定基準値を変更し、設定する。
【００２０】
図４のステップＳ４０５では、ステップＳ４０３の演算結果である微分値によりポイント抽出を行う。そのポイントの抽出方法は、図６（ｂ）に示す微分値が負から正に変化するポイント（ｐ１〜ｐ１０）、図６（ａ）でいうと、グラフが下向きに凸になるポイントを抽出する。次に、そのポイントに達するまでの濃度値の変化の最大箇所である最小微分値が、図６（ｂ）に示す判定基準値以下であるか否かを判定し、判定基準値以下の濃度変化を持つポイント（ｑ３，ｑ４）を対象として、Ｙ座標値（ａ３，ａ４）を抽出する。
【００２１】
次に、図７、図８を用いて、車両右側からの直射光により光の当り方がアンバランスになる場合について説明する。
図７に示すように、車両右側からの直射光により顔の左半分が影になり、コントラストが弱くなった場合、顔の影の部分にある図７のＸｂのラインでは、図８（ｂ）のｐ３で示す眼にあたる部分のポイントは、図６（ｂ）と同じ微分値の判定基準値にすると抽出できず、眼を抽出ポイントの連続データとして認識することもできない。このような場合、図４のステップＳ４０４の処理における図８（ａ）のＮｍａｘで示す該当するラインの最も明るい濃度値により、そのライン上のコントラストが強いか、弱いかを判定することができるため、Ｎｍａｘが小さい場合、コントラストが弱いと判定し、図８（ｂ）に示すように微分判定基準値を変更することができる。よって、影にある眼や眉のポイントを、図８（ａ）のａ２，ａ３として抽出できる。
【００２２】
次に、図９、図１０を用いて、車両前側からの直接光により光の当たり方がアンバランスになる場合について説明する。
図９に示すように、車両前側からの直射光により顔の上半分が影になり、コントラストが弱くなった場合、図９のＸｃのラインでは、図１０（ｂ）のｐ３で示す眼にあたる部分のポイントは、図６（ｂ）と同じ微分値の判定基準値にすると抽出できず、眼を抽出ポイントの連続データとして認識することもできない。また、このように上下方向に濃度値のアンバランスがある場合は、図４のステップＳ４０４の処理における図１０（ａ）のＮｍａｘで示す該当するラインの最も明るい濃度値により、そのライン上の眼のある部分のコントラストが強いか、弱いかを判定することができない。このように前側からの直接光により光の当り方のアンバランスがある場合は、眼に相当する抽出ポイントの連続データが検出されないことをフィードバック情報として用いて、図１０（ｂ）に示すように、微分値の判定基準値を変更することができる。よって、影にある眼や眉のポイントを、図１０（ａ）のａ２，ａ３として抽出できる。
【００２３】
また、図９のように、顔の上半分が影になり、その壁の部分に眼がある場合は、運転者がサンバイザを用いていることが多く、よってサンバイザの使用信号により、微分値の判定基準値を変更することもできる。
【００２４】
その他、眼のコントラストが弱くなる場合として、運転者が眼鏡を着用している場合がある。よって、眼鏡の着用の有無の入力信号により、微分値の判定基準値を変更することもできる。
【００２５】
１ライン終了後、図４のステップＳ４０６で、次のラインの処理に切り換えていく。
【００２６】
図４のステップＳ４０１で、全ラインのポイント抽出が終了したと判断されると、図１１に示すようなポイントが抽出される。つまり、図１１のＸ１ライン上では、Ａ１，Ａ２の二つのポイントが抽出されており、Ｘ２ライン上では、Ａ１，Ａ２，Ａ３，Ａ４の四つのポイントが抽出されていることになる。
【００２７】
その後、ステップＳ４０７へ移行し、隣合う各ラインの抽出ポイント（Ａ１，Ａ２，Ａ３，…）のＹ座標値を比較し、Ｙ座標値が所定値以内の場合、連続データとして、▲１▼連続データのグループ番号、▲２▼連続開始ライン番号、▲３▼連続データ数をメモリする。この具体的な処理内容を、図１２を用いて説明する。
【００２８】
ライン１には、Ｙ座標値が１９２と２２９の二つの抽出ポイントがある。ライン１のＹ座標値が１９２のポイントは、左隣りのラインが存在しないので、この段階での連続データはないため、▲１▼連続データのグループ番号は“１”となる。また、Ｙ座標値が２２９のポイントも、同様の理由で、この段階での連続データは存在しないため、▲１▼連続データのグループ番号は、その次の“２”とする。
【００２９】
次に、右隣りのライン２には、Ｙ座標値が１９１と２２４の二つの抽出ポイントがある。ライン２のＹ座標値１９１のポイントは、左隣のライン１のＹ座標値１９２と１０以内のポイントであるため、▲１▼連続データのグループ番号を“１”とする。この時、▲３▼連続データ数は２となる。ライン２のＹ座標値２２４のポイントにおいても、同様の判定を行うと、▲１▼連続データのグループ番号は“２”、▲３▼連続データ数は２となる。
【００３０】
次のライン３のＹ座標値３６０のポイントでは、左隣のライン２に３６０と１０以内になるポイントが存在しないので、▲１▼連続データのグループ番号は“３”となり、▲３▼連続データ数は１となる。
【００３１】
また、ステップＳ４０７での▲２▼連続開始ライン番号は、▲３▼連続データ数が１と判断されるポイントを有するライン番号のことをいう。
【００３２】
ステップＳ４０７では、このようにして各ラインのポイントの連続性の判断を全ラインにおいて終了するまで行い、ステップＳ４０８へ移行する。
【００３３】
ステップＳ４０８では、同じ連続データのグループ番号を持つポイントのＹ座標値の平均値を、▲４▼連続ポイントの平均値にメモリする。この値は、そのグループの代表Ｙ座標値として用いることができる。また、連続開始ラインとその連続データ数から連続終了ラインを求め、連続開始ラインと連続終了ラインの平均値をメモリする。この値は、そのグループの代表Ｘ座標値として用いることができる。
【００３４】
このようにして得られた各連続グループデータを、ステップＳ４０９で、各連続グループの長さ、（Ｘ，Ｙ）座標値により判定することにより、眼の位置が特定できる。
【００３５】
ここで、図１３を用いて、具体的な眼の位置検出方法について説明する。
まず初めに眼の特徴量を考えると、横に長く、上に凸型の弓形形状であると定義付けることができ、この定義付けに基づいて連続データの絞り込みを行うと、眼は横に長いという条件から、ポイント連続数が５ポイント以上続き、また、弓形形状であるという条件から、連続開始ポイントと連続終了ポイントのＹ座標値の差は、小さい連続データに絞り込むことができる。この判定に基づき、連続データの絞り込みを行うと、図１３（ａ）に示すようなグループＧ１〜Ｇ６が抽出される。
【００３６】
次に、前述した各グループのＸ，Ｙの代表座標値の位置を考えると、図１３（ｂ）に示すように、Ｘ座標方向での接近度合いより、ＺＯＮＥ：Ｌ，ＺＯＮＥ：Ｃ，ＺＯＮＥ：Ｒに分類できる。これは、左眼と左眉でＸ座標方向に大きく離れることはなく、また右眼と右眉でＸ座標方向に大きく離れることはないからである。また、鼻下の影により連続データとなったものや、口の連続データは中央部付近に位置する。
【００３７】
このように、Ｘ座標方向の接近度合いで更にデータを分類し、データを絞り込んでいくことで、眼の位置検出を容易に行うことができる。ＺＯＮＥ：Ｌに含まれるデータとしては、左眼と左眉であり、ＺＯＮＥ：Ｒに含まれる連続データは右眼と右眉であると判定すると、眼の位置はＧ３，Ｇ４であり、その座標値も特定できる。
【００３８】
次に、眼の開度検出の詳細を説明する。
眼の開度検出処理の流れを、図１４のフローチャートに基づいて説明する。
まず、ステップＳ５０１では、図１５（ａ）に示すように、Ｙ軸方向にライン上のデータに対してポイント抽出の処理を行い、１ライン終了後に、一つ隣のラインの処理に移していき、所定方向の全ラインでのポイント抽出が終了したか否かを判断する。
【００３９】
ステップＳ５０１で、全ラインにおいてポイント抽出が行われていないと判断された場合は、ステップＳ５０２に移行する。このステップＳ５０２では、所定方向の１ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮影時の濃度値の変化の小さなばらつきを無くすことを目的としており、濃度値の大局的な変化を捉えるためである。図１５（ｂ）に、図１５（ａ）のＸのラインデータの相加平均演算の処理結果を示す。
【００４０】
図１４のステップＳ５０３では、ステップＳ５０２の演算結果である相加平均値における微分演算を行う。この処理結果を、図１５（ｃ）に示す。
【００４１】
図１４のステップＳ５０４では、眼の位置検出の場合と同様に、縦方向１ラインの最も明るい濃度値により、ステップＳ５０５のポイント抽出条件を変更する。
【００４２】
図１４のステップＳ５０５では、ステップＳ５０３の演算結果である微分値によるポイント抽出を行う。そのポイントの抽出方法は、微分値が負から正に変化するポイントｐ、図１５（ｂ）でいうと、グラフが左向きに凸になるポイントを抽出する。次に、図１４（ｃ）に示すように、そのポイントの前後の濃度値の変化が判定基準値以下、以上であるか否かを判定し、上記条件を満足する濃度値の変化を持つポイントｐを抽出する。
【００４３】
次に、図１６を用いて、眼が影にあり、コントラストが弱い場合について説明する。
開閉眼の検出においても、眼の位置検出と同様に、眼が影にある場合は、図１４のステップＳ５０４で、縦方向１ラインの最も明るい濃度値、図１６（ｂ）のＮｍａｘを求めることにより、眼のコントラストが弱い状態にあることが判定でき、微分値の判定基準値を、図１６（ｃ）に示すように変更することができる。よって、コントラストが弱い悪い光環境下にあっても、確実に眼を連続データとて認識することができる。また、開閉眼検出の場合、対象とする領域が小さいため、眼の存在領域全体の平均濃度などによっても、眼のおかれている光環境状態を判定することができる。
【００４４】
開閉眼検出においても、眼の位置検出と同様に、サンバイザの使用の有無、眼鏡の着用の有無により、微分値の判定基準値を切り換えることは、当然、有効である。
【００４５】
図１４のステップＳ５０６で、抽出ポイントｐが存在すると判定された場合は、ステップＳ５０７へ移行し、ｐ点の前後の微分値の正負の最大値であるｑ点とｒ点のＹ座標方向の間隔Ｈを求める。ステップＳ５０７では、また縦方向のラインにおいて、抽出ポイントが連続して存在する場合に、その間隔を比較し、最大値Ｈを更新する。
【００４６】
ステップＳ５０８では、抽出ポイントの連続数のカウントアップを行う。ステップＳ５０９では、抽出ポイントの連続数が所定値を越えたか否かを判定し、所定値を越えるまで次のラインの処理を続ける。このとき、抽出ポイントの連続性が途切れて、ステップＳ５０６で、抽出ポイントが無いと判定された場合は、ステップＳ５１２へ移行し、ステップＳ５１２で、更新中のｑ，ｒ間隔の最大値とカウンターをクリアし、次のラインの処理を行う。
【００４７】
ステップＳ５０９で、抽出ポイントの連続数が所定値を越えた場合は、ステップＳ５１０へ移行し、ｑ，ｒの間隔の最大値をメモリする。ステップＳ５１０では、連続データ内での最大値のメモリの更新と、所定値を越える他の連続データ間での更新も行う。
【００４８】
図１７のＤ区間は、ステップＳ５０５の条件を満たす抽出ポイントがなく、Ｌ区間は、抽出ポイントがある箇所を示す。
【００４９】
このようにして、全てのラインの処理が終了したとき、ステップＳ５１３へ移行し、ｑ，ｒ間隔の最大値を眼の開度値として出力する。
【００５０】
次に、図３のフローチャートのステップＳ３０７，Ｓ３０９，Ｓ３１１における眼の追跡、追跡ミスしたときの復帰方法の詳細を示す。
ステップＳ３０６で得られた眼の開度値は、図１７に示すように、Ｈｍａｘが開眼と判断される大きな値の場合は、そのポイントのＸ座標、Ｈｍａｘの中央値をＹ座標とし、またＨｍａｘが閉眼と判断される小さな値の場合は、データ連続数の中央値をＸ座標、Ｈｍａｘの中央値をＹ座標として基準とし、眼の存在領域を設定する。このフローチャートに基づくシステムをスタートさせた直後、つまり第１フレームでは、当然、眼の存在領域は設定されていないため、ステップＳ３０４，Ｓ３０５で、眼の存在領域が設定される。このとき、眼の中心座標と眼の存在領域の中心座標は、図１８（ａ）に示すように一致している。
【００５１】
一連の処理の終了後、第２フレームの処理に移り、ステップＳ３０３へ進むと、ここでは既に眼の存在領域が設定されているため、ステップＳ３０６に移り、眼の開度検出を行い、ステップＳ３０７に移る。このとき、眼が正しく捉えられている場合は、図１８（ｂ）に示すようになる。図１８（ｂ）の眼の存在領域は、第１フレームで設定された位置にあるのに対し、眼の位置は、２フレーム目に取り込まれた画像データの眼の位置であるため、顔の動き等により、眼の中心点は眼の存在領域に対しズレてくる。しかし、眼の存在領域に眼が接しない限り、これまで説明してきた眼の開度検出を行うことができる。
【００５２】
このようにして捉えられた図１８（ｂ）の眼の中心座標に、ステップＳ３０９で眼の存在領域の基準点を変更することにより、運転者の顔の動きにも対応させることができる。
【００５３】
図１８（ｃ），（ｄ）は、第３フレーム、第４フレームで取り込まれる顔画像データでの眼の位置と眼のウィンドウの位置関係を示したものである。
【００５４】
ステップＳ３０７，Ｓ３０９，Ｓ３１１による眼の追跡ロジックを有することで、ステップＳ３０４，Ｓ３０５での顔全体からの眼の位置検出を省略できるため、眼の開度検出の高速化が図ることができる。
【００５５】
また、ステップＳ３０７で眼の追跡が正しくできているか否かの判定は、眼の開度値によって行う。要するに、撮影者が特定されてしまえば、眼の開度値は開眼時〜閉眼時の範囲で変化するだけであることから、この範囲外の値が出力されたときは、眼の追跡ミスがあったと判定し、ステップＳ３１１で眼の開度の出力値と眼の存在領域をクリアすることにより、ステップＳ３０３で、再び顔全体からの処理に入るようにする。
【００５６】
次に、ステップＳ３０８における開閉眼を判定する方法の詳細を示す。前にも説明したが、撮影者が特定された場合、眼の開度の出力値は開眼状態から閉眼状態の間で変化する。よって、開眼・閉眼の判定を行う基準値、つまり開閉眼を判定するスレッシュホールドは、その範囲内にあることになる。ここで、そのスレッシュホールドをどう設定するのが妥当なのかを検討した結果、居眠り状態の人は、熟睡状態ではないため、完全に眼の閉じない運転者も見られることより、開眼・閉眼の中央値をスレッシュホールドとすることが望ましいと思われる。
【００５７】
最後に、図１９を用いて、ステップＳ３１０における覚醒度の判定方法の詳細を示す。図３のステップＳ３０８で出力される開閉眼パターンにおいて、図１９に示すように、覚醒度判定区間（例えば１分程度）に出力される閉眼積算値により、覚醒度を判定することができる。
【００５８】
このようにして得られた覚醒度により、居眠り状態を検出することが可能となり、的確に警報装置を作動させ、居眠り状態を解消させ、未然に居眠り事故等を防ぐことができる。
【００５９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、眼の位置検出、開閉眼検出の両手段において、顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列上の濃度値により、
第１及び第２ポイント抽出手段の抽出条件を変更し、各画素列ごとにポイント抽出条件を設定する構成とすることによって、眼を抽出ポイントの連続データとして常に安定して捕えることができるため、前記連続した抽出点のデータより、眼の位置、眼の開度検出を正確に行え、あらゆる光環境状態に対応することができ、居眠り状態の検出精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明による居眠り状態検出装置の構成を示すブロック図である。
【図２】実施の形態の構成を示すブロック図である。
【図３】実施の形態の全体動作を示すフローチャートである。
【図４】眼の位置検出の動作を示すフローチャートである。
【図５】眼の位置検出に関する説明図である。
【図６】眼の位置検出に関する説明図である。
【図７】眼の位置検出に関する説明図である。
【図８】眼の位置検出に関する説明図である。
【図９】眼の位置検出に関する説明図である。
【図１０】眼の位置検出に関する説明図である。
【図１１】眼の位置検出に関する説明図である。
【図１２】眼の位置検出に関する説明図である。
【図１３】眼の位置検出に関する説明図である。
【図１４】眼の開度検出の動作を示すフローチャートである。
【図１５】眼の開度値の出力方法に関する説明図である。
【図１６】眼の開度値の出力方法に関する説明図である。
【図１７】眼の開度値の出力方法に関する説明図である。
【図１８】眼の追跡方法に関する説明図である。
【図１９】覚醒度の判定方法に関する説明図である。
【図２０】従来技術に関する説明図である。
【符号の説明】
２１ ＴＶカメラ
２２ Ａ−Ｄ変換器
２３ 画像メモリ
２４ 画像データ演算開路
２５ 眼の位置検出回路
２６ 開閉眼検出回路
２７ 覚醒度判定回路
２８ 警報装置
Claims (5)
- 顔の画像データを処理して居眠り状態を検出する居眠り状態検出装置において、
顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列上の濃度値の片方向のピークの前の濃度変化の最小微分値が判定基準値以下であることを条件に、濃度値の片方向のピークの画素を特定して第１抽出点とする第１ポイント抽出手段と、
前記画素列上の濃度情報より、前記第１ポイント抽出手段のポイント抽出条件である判定基準値のレベルを変える第１ポイント抽出条件変更手段と、
隣接する画素列の画素列方向に近接した前記第１抽出点を連続して顔の横方向に伸びる曲線群を抽出することにより、眼の位置を検出する眼の位置検出手段と、
眼を含む所定領域内で縦方向の画素列に沿って画素の濃度を検出し、前記画素列上の濃度値の片方向のピークの前後の濃度変化の最小及び最大微分値が所定値を越えることを条件に、濃度値の片方向のピークの画素を特定して第２抽出点とする第２ポイント抽出手段と、
前記画素列上の濃度情報より、前記第２ポイント抽出手段のポイント抽出条件である所定値のレベルを変える第２ポイント抽出条件変更手段と、
各列ごとの前記第２抽出点の有無による顔の横方向への連続性を判定し、前記連続した第２抽出点のデータより眼の開度を検出する眼の開度検出手段と、
前記眼の開度値より眼の開閉状態を判定し、その開閉状態の変化から覚醒度を判定する
ことを特徴とする居眠り状態検出装置。 - 請求項１に記載の居眠り状態検出装置において、
前記第１ポイント抽出条件変更手段は、前記画素列上の最も明るい濃度値により、前記第１ポイント抽出手段のポイント抽出条件である判定基準値のレベルを変えることを特徴とする居眠り状態検出装置。 - 請求項１に記載の居眠り状態検出装置において、
前記第２ポイント抽出条件変更手段は、前記画素列上の最も明るい濃度値により、前記第２ポイント抽出手段のポイント抽出条件である所定値のレベルを変えることを特徴とする居眠り状態検出装置。 - 請求項１に記載の居眠り状態検出装置において、
前記第２ポイント抽出条件変更手段は、所定領域の平均濃度値により、前記第２ポイント抽出手段のポイント抽出条件である所定値のレベルを変えることを特徴とする居眠り状態検出装置。 - 顔の画像データを処理して居眠り状態を検出する居眠り状態検出装置において、
顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列上の濃度値の片方向のピークの前の濃度変化の最小微分値が判定基準値以下であることを条件に、濃度値の片方向のピークの画素を特定して第１抽出点とする第１ポイント抽出手段と、
隣接する画素列の画素列方向に近接した前記第１抽出点を連続して顔の横方向に伸びる曲線群を抽出することにより、眼の位置を検出する眼の位置検出手段と、
前記眼の位置検出手段により、眼に相当する曲線群データがないと判定された場合に、前記第１ポイント抽出手段のポイント抽出条件である判定基準値のレベルを変える第１ポイント抽出条件変更手段と、
眼を含む所定領域内で縦方向の画素列に沿って画素の濃度を検出し、前記画素列上の濃度値の片方向のピークの前後の濃度変化の最小及び最大微分値が所定値を越えることを条件に、濃度値の片方向のピークの画素を特定して第２抽出点とする第２ポイント抽出手段と、
各列ごとの前記第２抽出点の有無による顔の横方向への連続性を判定し、前記連続した第２抽出点のデータより眼の開度を検出する眼の開度検出手段と、
前記眼の開度検出手段により、眼に相当する連続データがないと判定された場合に、前記第２ポイント抽出手段のポイント抽出条件である所定値のレベルを変える第２ポイント 抽出条件変更手段と、
前記眼の開度値より眼の開閉状態を判定し、その開閉状態の変化から覚醒度を判定する
ことを特徴とする居眠り状態検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07872197A JP3577882B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り状態検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07872197A JP3577882B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り状態検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10275212A JPH10275212A (ja) | 1998-10-13 |
| JP3577882B2 true JP3577882B2 (ja) | 2004-10-20 |
Family
ID=13669755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07872197A Expired - Fee Related JP3577882B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り状態検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3577882B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4286860B2 (ja) | 2004-05-21 | 2009-07-01 | 旭化成株式会社 | 動作内容判定装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3057996B2 (ja) * | 1994-01-18 | 2000-07-04 | 日産自動車株式会社 | 車両運転者の眼球位置検出装置 |
| JP3395344B2 (ja) * | 1994-04-20 | 2003-04-14 | 日産自動車株式会社 | 画像処理装置およびそれを用いた居眠り警報装置 |
| JP2937030B2 (ja) * | 1994-09-14 | 1999-08-23 | 三菱電機株式会社 | 画像処理装置及び人物状態判定装置 |
| JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
| JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
| JP3312562B2 (ja) * | 1996-07-18 | 2002-08-12 | 日産自動車株式会社 | 居眠り状態検出装置 |
-
1997
- 1997-03-31 JP JP07872197A patent/JP3577882B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10275212A (ja) | 1998-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101732055B (zh) | 驾驶员疲劳检测方法及系统 | |
| JP3350296B2 (ja) | 顔画像処理装置 | |
| CN102324166A (zh) | 一种疲劳驾驶检测方法及装置 | |
| JP3424808B2 (ja) | 車両用後側方監視装置 | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
| JP2822799B2 (ja) | 運転者の状態検出装置 | |
| JP2000198369A (ja) | 眼の状態検出装置、居眠り運転警報装置 | |
| JP3312562B2 (ja) | 居眠り状態検出装置 | |
| JP2000123188A (ja) | 眼開閉判定装置 | |
| JP2001307076A (ja) | 眼の状態検出装置、居眠り検出装置 | |
| JP3444115B2 (ja) | 居眠り状態検出装置 | |
| JP3858570B2 (ja) | 脇見状態検出装置 | |
| JP3577882B2 (ja) | 居眠り状態検出装置 | |
| JP3531503B2 (ja) | 眼の状態検出装置及び居眠り運転警報装置 | |
| JPH1044824A (ja) | 車両運転者の開閉眼判定装置 | |
| JP2000067225A (ja) | 眼位置検出装置 | |
| JP4696571B2 (ja) | 眼位置検出装置 | |
| JP2000301962A (ja) | 眼の状態検出装置、居眠り運転警報装置 | |
| JP4781292B2 (ja) | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム | |
| JP2004192345A (ja) | 運転者状態検出装置 | |
| JP2000172966A (ja) | 警報装置 | |
| JP2000199703A (ja) | 眼の状態検出装置、居眠り運転警報装置 | |
| JP3465566B2 (ja) | 眼位置検出装置 | |
| JP4710679B2 (ja) | 開閉眼判定方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040316 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040511 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040705 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |