JP4776581B2 - 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム - Google Patents

Description

本発明は、時系列的に得られる顔の画像データから眼の開度を算出して入眠状態を検知する入眠状態検知方法、該入眠状態検知方法を実施する入眠状態検知装置、該入眠状態検知装置を備えた入眠状態検知システム、及びコンピュータを前記入眠状態検知装置として機能させるためのコンピュータプログラムに関する。

自動車等の車両の運転状態を監視する運転状態監視システムが提案されている。運転状態監視システムは、運転者の顔を撮像できる適宜箇所に設置された撮像装置及び入眠状態検知装置等から構成されている。撮像装置は運転者の顔を撮像し、入眠状態検知装置は撮像して得られた画像データから運転者の眼の開き具合（以下、開度という）を算出して入眠状態を検知する（例えば、特許文献１）。運転状態監視システムを用いることにより、運転者の居眠り運転を検知することができ、居眠り運転を行っている運転者にアラームで注意勧告するシステムを構成することも可能である。なお、入眠状態とは、覚醒状態から睡眠状態への過渡するまでの状態である。
特開平１０−２７５２１２号公報

しかしながら、特許文献１に係る入眠状態検知装置においては、開度によって入眠状態を検知する構成であるため、覚醒状態であるにも関わらず笑う等の表情変化によって眼が細くなった場合、入眠状態と誤検出される場合があった。

本発明は斯かる事情に鑑みてなされたものであり、眼の開度によって入眠状態及び第１覚醒状態を判別すると共に、眼の開度によって判別できない入眠状態及び第２覚醒状態を下瞼の湾曲度によって判別することにより、第２覚醒状態を入眠状態と誤検出することを防止し、入眠状態の検出精度を向上させることができ、更に入眠状態及び第２覚醒状態の判別基準となる下瞼の湾曲度として第１覚醒状態の湾曲度を特定し、第１覚醒状態の湾曲度と検出された湾曲度とを比較して第１覚醒状態及び入眠状態を判別するように構成することにより、個人差によって眼の形状が異なる場合であっても入眠状態を正確に検知することができる入眠状態検知方法、該入眠状態検知方法を実施する入眠状態検知装置、入眠状態検知装置を備えた入眠状態検知システム、コンピュータを前記入眠状態検知装置として機能させるコンピュータプログラムを提供することを目的とする。

本発明の他の目的は、第２覚醒状態であると判定した場合、第２覚醒状態における眼の開度を第１覚醒状態における眼の開度に補正するように構成することにより、開度に基づく入眠状態の検知精度を向上させることができる入眠状態検知装置及び入眠状態検知システムを提供することにある。

本発明の他の目的は、眼の開度によって判別できない第２覚醒状態及び入眠状態を上瞼及び下瞼の湾曲度によって判別することにより、下瞼の湾曲度のみで判別する場合に比べてより正確に眼の形状を認識して入眠状態を検知することができる入眠状態検知装置及び入眠状態検知システムを提供することにある。

本発明の他の目的は、第２覚醒状態として笑った状態と入眠状態とを判別することにより、笑った状態を入眠状態と誤検知することを防止し、入眠状態の検出精度を向上させることができる入眠状態検知装置及び入眠状態検知システムを提供することにある。

第１発明に係る入眠状態検知方法は、時系列的に得られる顔の画像データから眼の開度を算出し、入眠状態及び該入眠状態と眼の開度が異なる第１覚醒状態を判別することにより入眠状態を検知する入眠状態検知方法において、時系列的に得られる画像データから下瞼を検出するステップと、検出された下瞼の湾曲度を算出するステップと、第１覚醒状態における下瞼の湾曲度を特定するステップと、特定した下瞼の湾曲度及び検出した湾曲度を比較するステップと、比較結果に基づいて、眼の開度が第１覚醒状態より小さく、第１覚醒状態及び入眠状態に比べて下瞼が上方に上がった第２覚醒状態及び入眠状態を判別するステップとを備えることを特徴とする。

第２発明に係る入眠状態検知装置は、時系列的に得られる顔の画像データから眼の開度を算出し、入眠状態及び該入眠状態と眼の開度が異なる第１覚醒状態を判別することにより入眠状態を検知する入眠状態検知装置において、時系列的に得られる画像データから下瞼を検出する下瞼検出手段と、該下瞼検出手段にて検出された下瞼の湾曲度を算出する湾曲度算出手段と、第１覚醒状態における下瞼の湾曲度を特定する特定手段と、該特定手段が特定した下瞼の湾曲度及び前記湾曲度算出手段が検出した湾曲度を比較する比較手段を有し、該比較手段の比較結果に基づいて、眼の開度が第１覚醒状態より小さく、第１覚醒状態及び入眠状態に比べて下瞼が上方に上がった第２覚醒状態及び入眠状態を判別する判別手段とを備えることを特徴とする。

第３発明に係る入眠状態検知装置は、前記判別手段が第２覚醒状態であると判別した場合、第２覚醒状態における眼の開度を、第１覚醒状態における眼の開度に補正する補正手段を備えることを特徴とする。

第４発明に係る入眠状態検知装置は、画像データから上瞼を検出する上瞼検出手段と、該上瞼検出手段にて検出された上瞼の湾曲度を算出する手段とを備え、前記判別手段は、算出された上瞼及び下瞼の湾曲度に基づいて、第１覚醒状態に比べて下瞼が上がり、且つ第１覚醒状態に比べて上瞼が下がった状態を第２覚醒状態と判別するように構成してあることを特徴とする。

第５発明に係る入眠状態検知装置は、第２覚醒状態は笑った状態であることを特徴とする。

第６発明に係る入眠状態検知システムは、第２発明乃至第５発明のいずれか一つに記載の入眠状態検知装置と、車両の運転者を撮像する撮像装置とを備え、前記入眠状態検知装置は、前記撮像装置が撮像した運転者の顔の画像データに基づいて該運転者の入眠状態を検知するように構成してあることを特徴とする。

第７発明に係るコンピュータプログラムは、コンピュータに、時系列的に得られる顔の画像データから眼の開度を算出し、入眠状態及び該入眠状態と眼の開度が異なる第１覚醒状態を判別することにより入眠状態を検知する処理を実行させるコンピュータプログラムにおいて、コンピュータに、時系列的に得られる画像データから下瞼を検出するステップと、検出された下瞼の湾曲度を算出するステップと、第１覚醒状態における下瞼の湾曲度を特定するステップと、特定した下瞼の湾曲度及び検出した湾曲度を比較するステップと、比較結果に基づいて、眼の開度が第１覚醒状態より小さく、第１覚醒状態及び入眠状態に比べて下瞼が上方に上がった第２覚醒状態及び入眠状態を判別するステップとを実行させることを特徴とする。

第１、第２、第６及び第７発明にあっては、眼の開度及び下瞼の湾曲度に基づいて入眠状態を検知する。入眠状態を検知するための眼の開度は、通常、覚醒状態で大きく、入眠状態で小さくなる。以下、入眠状態と眼の開度が異なる覚醒状態を特に第１覚醒状態という。ところが、覚醒状態であっても眼の開度が第１覚醒状態より入眠状態に近い第２覚醒状態、例えば、顔の表情が変化したような状態がある。本発明は、眼の開度によって判別することができない入眠状態及び第２覚醒状態を、下瞼の湾曲度によって判別し、入眠状態の検知精度を向上させるものである。
具体的には、下瞼検出手段が下瞼を検出し、湾曲度算出手段が下瞼の湾曲度を算出する。そして、判別手段は、算出された下瞼の湾曲度に基づいて入眠状態と第２覚醒状態とを判別する。従って、第２覚醒状態を入眠状態と誤検知することを防止することができる。なお、入眠状態とは、覚醒状態から睡眠状態へ移行する状態をいう。

また、特定手段が第１覚醒状態における下瞼の湾曲度を特定し、比較手段は特定手段にて特定された湾曲度と下瞼湾曲度算出手段が算出した湾曲度とを比較する。眼の開度によって特定可能な第１覚醒状態における下瞼の湾曲度は、入眠状態における下瞼の湾曲度と略同一であるため、該湾曲度を用いることで入眠状態及び第２覚醒状態を判別することができる。
比較基準となる湾曲度は画像データに基づいて算出されるため、個人差によって下瞼の形状が異なる場合であっても、個人差に応じた比較基準にて正確に入眠状態及び所定覚醒状態を判別することができる。

第３発明及び第６発明にあっては、判別手段が第２覚醒状態にあると判別した場合、第２覚醒状態における眼の開度を、第１覚醒状態における眼の開度に補正する。つまり、第１覚醒状態に相当する眼の開度を算出する。第１覚醒状態及び入眠状態は眼の開度によって判別できるため、補正後の開度を用いることにより覚醒状態を入眠状態と誤検知することを防止することができる。

第４発明及び第６発明にあっては、上瞼及び下瞼の湾曲度に基づいて、入眠状態及び第２覚醒状態を判別するため、下瞼の湾曲度のみを用いて判別する場合に比べて、より正確に入眠状態及び第２覚醒状態を判別し、入眠状態を検知することができる。

第５発明及び第６発明にあっては、第２覚醒状態として笑った状態と入眠状態とを判別することができる。従って、眼が細くなる笑った状態を入眠状態と誤検知することを防止し、入眠状態を正確に検知することができる。

第１、第２、第６、及び第７発明によれば、眼の開度によって判別できない入眠状態及び第２覚醒状態、例えば表情が変化した状態を下瞼の湾曲度によって判別することにより、第２覚醒状態を入眠状態と誤検出することを防止し、入眠状態の検出精度を向上させることができる。
なお、検出された下瞼の湾曲度を２次関数にて近似して湾曲度を算出するように構成した場合、比較的簡単な処理で入眠状態及び第２覚醒状態を判別する情報を得ることができる。

また、入眠状態及び第２覚醒状態の判別基準となる下瞼の湾曲度として第１覚醒状態の湾曲度を用いることにより、個人差によって眼の形状が異なる場合であっても入眠状態を正確に検知することができる。

第３発明及び第６発明によれば、第２覚醒状態における眼の開度を第１覚醒状態における眼の開度に補正するように構成することにより、開度に基づく入眠状態の検知精度を向上させることができる。

第４発明及び第６発明によれば、第２覚醒状態及び入眠状態を上瞼及び下瞼の湾曲度によって判別することにより、下瞼の湾曲度のみで判別する場合に比べてより正確に眼の形状を認識して入眠状態を検知することができる。

第５発明及び第６発明によれば、第２覚醒状態としての笑った状態と入眠状態とを判別することにより、笑った状態を入眠状態と誤検知することを防止し、入眠状態の検出精度を向上させることができる。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、本発明の実施の形態１における入眠状態検知システムの構成例を示すブロック図である。図中１は、車両に搭載された撮像装置であり、撮像装置１は、画像処理を行う入眠状態検知装置２に通信網を介して接続されている。通信網は、例えば専用ケーブル等の通信線、又は有線若しくは無線の車内ＬＡＮ（Local Area Network）によって構成されている。

撮像装置１は、車両内のハンドル、ダッシュボード等の運転者の前方に配設され、運転者の顔の横方向及び縦方向が画像の水平方向及び垂直方向になるように撮像することが可能な状態に調整されている。
撮像装置１は、装置全体を制御するＭＰＵ（Micro Processor Unit）１１と、ＭＰＵ１１の制御に基づき実行される各種コンピュータプログラム及びデータを記録するＲＯＭ（Read Only Memory）１２と、ＲＯＭ１２に記録されたコンピュータプログラムの実行時に一時的に発生する各種データを記録するＲＡＭ（Random Access Memory）１３と、ＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成される撮像部１４と、撮像部１４の撮像により得られたアナログの画像データをデジタルデータに変換するＡ／Ｄ変換器１５と、Ａ／Ｄ変換器１５によりデジタルに変換された画像データを一時的に記録するフレームメモリ１６と、入眠状態検知装置２との通信に用いられる通信インタフェース１７とを備えている。

撮像装置１では、撮像部１４が連続的又は断続的に撮像処理を行い、撮像処理に基づいて例えば１秒当たり３０枚の画像データ（画像フレーム）を生成してＡ／Ｄ変換器１５へ出力する。Ａ／Ｄ変換器１５は、画像を構成する各画素を２５６階調（１Ｂｙｔｅ）等の階調にて示されるデジタル画像データに変換し、フレームメモリ１６に記録させる。フレームメモリ１６に記録された画像データは、所定のタイミングで通信インタフェース１７から入眠状態検知装置２へ出力される。
画像を構成する各画素は、二次元に配列されており、画像データは、平面直角座標系、所謂ＸＹ座標系にて示される各画素の位置、及び階調値として示される各画素の輝度を示すデータ（輝度値）を含んでいる。画像の水平方向は、画像データのＸ軸方向に対応し、画像の垂直方向は、画像データのＹ軸方向に対応する。なお、各画素に対し夫々ＸＹ座標系による座標を示すのではなく、データ内に配列される順序により座標を示す様にしても良い。また、本実施の形態１ではグレイスケイルの画像データに基づく画像処理を説明する。カラーの画像データを用いる場合、該画像データを構成する各画素が有する輝度データについて同様の画像処理を実行すれば良い。

入眠状態検知装置２はコンピュータを実装しており、装置全体を制御するＣＰＵ（Central Processing Unit）２１と、本発明の実施の形態１に係るコンピュータプログラム３１及びデータ等の各種情報を記録した記録媒体４１、例えばＣＤ−ＲＯＭ等から情報を読み取る補助記録部２２と、補助記録部２２により読み取った各種情報を記録するハードディスク（以下ＨＤという）２３と、ＨＤ２３に記録されたコンピュータプログラム３１の実行時に一時的に発生する各種データを記録するＲＡＭ２４と、揮発性メモリにて構成されるフレームメモリ２５と、撮像装置１との通信に用いられる通信インタフェース２６とを備えている。

本発明のコンピュータプログラム３１は、少なくともコンピュータに、時系列的に得られる画像データから下瞼を検出する処理と、検出された下瞼の湾曲度を算出する処理と、眼の開度及び下瞼の湾曲度に基づいて表情を認識し、入眠状態を検知する処理とを実行させるためのプログラムである。また、記録媒体４１には、コンピュータプログラム３１がコンピュータ読み取り可能に記録されている。
なお、コンピュータプログラム３１は、言うまでもなく外部のコンピュータから有線又は無線の通信ネットワークを介して流通するものも含み、入眠状態検知装置２２が該通信ネットワークを介してコンピュータプログラム３１を取得し、ＨＤ２３に記録するようにしても良い。

そしてＣＰＵ２１が、ＨＤ２３から本発明のコンピュータプログラム３１及びデータ等の各種情報を読み取ってＲＡＭ２４に記録し、コンピュータプログラム３１に含まれる各種処理手順を実行することで、コンピュータは、本実施の形態１に係る入眠状態検知装置２として動作する。

入眠状態検知装置２では、撮像装置１から出力された画像データを通信インタフェース２６にて受け付け、受け付けた画像データをフレームメモリ２５に記録し、フレームメモリ２５に記録した画像データを読み出して、様々な画像処理を行う。

次に本発明の実施の形態１における入眠状態検知システムにて用いられる各種装置の処理内容について説明する。

図２は、入眠状態の検知方法を概念的に示す説明図、図３は、表情認識及び開度補正に係るＣＰＵ２１の処理手順を示すフローチャートである。図２に示したグラフの横軸は下瞼の湾曲度、縦軸は眼の開き具合に相当する開度を示している。グラフ中の黒丸は、運転者の各種状態における眼の開度及び下瞼の湾曲度を示している。湾曲度は後述するように上側が凸で大きく湾曲する程大きく、下側が凸で大きく湾曲する程小さくなるような数値である。また、各黒丸を矢印で指し示している矩形枠には、各状態における眼の形状が模式的に表されている。

本実施の形態１に係る入眠状態検知システムは、眼の開度及び下瞼の湾曲度によって入眠状態と覚醒状態とを判別して、入眠状態の検知精度を向上させるものである。
運転者が無表情の場合、図２中左側に示すように眼の開度によって第１覚醒状態、入眠状態、及び閉眼状態を判別することができる。第１覚醒状態は、運転者が覚醒しており且つ無表情な状態である。
ところが、運転者が覚醒しているにもかかわらず、眼の開度が入眠状態に近くなる第２覚醒状態、例えば笑ったような状態がある。この第２覚醒状態及び入眠状態は、眼の開度によって判別することができない。
そこで、本実施の形態１に係る入眠状態検知装置２は、下瞼の湾曲度によって入眠状態及び第２覚醒状態を判別し、第２覚醒状態における開度を、第１覚醒状態における開度に補正する処理を実行する。該処理によって、入眠状態と覚醒状態との検出精度を向上させることができる。以下、ＣＰＵ２１の具体的な処理内容を説明する。

図３に示すように、入眠状態検知装置２のＣＰＵは、フレームメモリ２５に記録された画像データを取得し（ステップＳ１１）、顔の画像データから射影演算、閾値処理等によって顔領域を検出する（ステップＳ１２）。そして、ＣＰＵ２１は、検出された顔領域からテンプレート等を用いて眼を検出する（ステップＳ１３）。

次いで、ＣＰＵ２１は、眼の形状認識処理を実行し（ステップＳ１４）、眼の開度を算出する（ステップＳ１５）。具体的には、ＣＰＵ２１は、フィルタ処理、閾値処理等によって下瞼及び上瞼を検出し、下瞼及び上瞼の湾曲度を算出する。そして、ＣＰＵ２１は、上瞼の形状、垂直方向における上瞼の頂点と下瞼の頂点との長さ等に基づいて眼の開度を算出する。

次いで、ＣＰＵ２１は、下瞼の湾曲度に基づいて表情認識処理を実行し（ステップＳ１６）、表情変化があるか否かを判定する（ステップＳ１７）。表情変化ありと判定した場合（ステップＳ１７：ＹＥＳ）、ＣＰＵ２１は、第２覚醒状態における眼の開度を第１覚醒状態における眼の開度に補正する（ステップＳ１８）。つまり、表情が変化した状態の眼の開度を、無表情状態における眼の開度に換算する。ステップＳ１８の処理を終えた場合、又は表情変化無しと判定した場合（ステップＳ１７：ＮＯ）、ＣＰＵ２１は表情認識及び開度補正に係る処理を終える。

以下、図３のフローチャートを用いて説明した処理内容を更に具体的に説明する。
図４は、顔領域及び眼の検出方法を概念的に示す説明図である。図４（ａ）は、フレームメモリ２５から取得した画像データ、顔領域等を示している。実線で示した矩形枠は、ステップＳ１１で取得した画像データの画像全体である。Ｘは画像データにおける水平方向を、Ｙは画像データにおける垂直方向を夫々示している。前記画像には、運転者の顔画像及び背景画像が含まれており、運転者の顔面部分を囲む破線の矩形枠はステップＳ１２で検出された顔領域Ｒ０を示しており、眼の部分を囲む破線の矩形枠はステップＳ１３で検出された眼領域Ｒ１を示している。

ＣＰＵ２１は、ステップＳ１２の処理によって、画像の各Ｙ座標について、水平方向に並ぶ各画素の輝度値を積算し、積算して得た輝度積算値と、所定の閾値とを比較することで垂直方向における顔領域Ｒ０の範囲を検出する。顔領域は髪の領域及び背景領域と比較して明るく撮像されたため、輝度積算値と閾値とを比較することによって顔領域Ｒ０を検出することができる。

同様に、ＣＰＵ２１は、画像の各Ｘ座標について、垂直方向に並ぶ各画素の輝度値を積算し、積算して得た輝度積算値と、所定の閾値とを比較することで水平方向における顔領域Ｒ０の範囲を検出する。

図４（ｂ）は、眼領域を検出するためのテンプレートである。該テンプレートは、眉毛部分を含む領域Ｒについて、Ｘ軸方向に略並行な棒状領域であるＸテンプレートと、Ｙ軸方向に略並行な２本の棒状領域であるＹテンプレート１及びＹテンプレート２を含んでおり、これらのテンプレートにより眼領域Ｒ１が特定される。なお、テンプレートは、図に示すような３つの棒状領域に限定されるものではないが、眉毛の領域及び瞳の領域を含むようにテンプレートを設定することにより、少ない数のテンプレートでより正確に眼を特定することができる。

図５は、眼の形状認識に係るＣＰＵ２１の処理手順を示すフローチャートである。ＣＰＵ２１は、ステップＳ１３で検出された眼領域Ｒ１においてフィルタ処理を実行することにより下瞼を検出し（ステップＳ３１）、検出された下瞼の湾曲度を算出及び記憶する（ステップＳ３２）。同様に、ＣＰＵ２１は、フィルタ処理を実行することにより上瞼を検出し（ステップＳ３３）、検出された上瞼の湾曲度を算出及び記憶し（ステップＳ３４）、眼の形状認識に係る処理を終える。

図６は、下瞼の形状認識方法を概念的に示す説明図、図７は上瞼の形状認識方法を概念的に示す説明図である。

図６（ａ）は、ステップＳ１３で検出された眼領域Ｒ１を示している。ＣＰＵ２１は、破線で示すように眼領域Ｒ１の左上部から垂直方向下方に並ぶ各画素に対してフィルタ処理を順次実行して下瞼のエッジを抽出する。ＣＰＵ２１は、同様のエッジ抽出処理を水平方向に並ぶ他の垂直ラインにおいても順次実行する。

図６（ｂ）は、下瞼を検出するフィルタの係数の一例を示す説明図である。下瞼を検出するフィルタは、垂直方向上方から下方へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出する３×３マトリクスの１次微分フィルタである。図６（ｂ）に示した係数は、垂直方向及び水平方向に並ぶ３×３＝９の画素の輝度値に対して乗ずる数値であり、中心の一の画素（注目画素）と、その外側に隣接する８近傍の画素の輝度値に対し、夫々対応する一の係数を乗じて、その結果を加算した値を注目画素のフィルタ値として算出する。

図６（ｃ）は、上瞼の検出されたエッジ抽出点を概念的に示す説明図である。ＣＰＵ２１は、一のＸ座標位置において垂直方向に並ぶ各画素のフィルタ値を参照することにより、最大フィルタ値を有し且つ該フィルタ値が所定閾値以上の画素をエッジ抽出点として検出する。なお、所定閾値は、ＨＤ２３が予め記憶している値である。同様にＣＰＵ２１は他のＸ座標位置におけるエッジ抽出点を検出する。

次いで、ＣＰＵ２１は、このように抽出されたエッジ抽出点の数を計数し、計数された数が、予めＨＤ２３に記憶してある所定数以上であるか否かを判定する。

抽出したエッジ抽出点が所定数以上ある場合、該エッジ抽出点は下瞼を示している傾向が高いため、ＣＰＵ２１は、各エッジ抽出点の座標位置に基づいて、下瞼の形状を示す関数を算出し、下瞼の湾曲度を算出及び記憶する。

図６（ｄ）は、下瞼の湾曲度の算出方法を概念的に示す説明図である。ＣＰＵ２１は、図６（ｄ）に示すように下瞼を２次関数にて近似する。より具体的には、抽出点のＸ座標をｘ、Ｙ座標をｙ、２次放物線を規定する係数をα、β、γとした場合、下瞼をｙ＝αｘ² ＋βｘ＋γにて近似することができる。そして、最尤推定法等を用いて、各係数を推定する。特にαは、下瞼の湾曲具合を示すことができるため、αを下瞼の湾曲度として記憶する。なお、湾曲度は、必ずしも２次関数を規定する係数αである必要は無く、下瞼の形状を評価できる数値であれば、曲率、曲率半径、その他の係数であっても良い。また、他の近似曲線にて下瞼の形状を評価するように構成しても良い。

上瞼の形状も同様にして検出することができる。図７（ａ）は、ステップＳ１３で検出された眼領域Ｒ１を示しており、図７（ｂ）は、上瞼を検出するフィルタの係数の一例を示す説明図、図７（ｃ）は、上瞼の検出されたエッジ抽出点を概念的に示す説明図、図７（ｄ）は、上瞼の湾曲度の算出方法を概念的に示す説明図である。
図７（ｂ）に示すフィルタは、垂直方向上方から下方へ輝度が低い画像領域から輝度が高い画像領域へ変化するエッジを抽出する３×３マトリクスの１次微分フィルタである。ＣＰＵ２１は、図７（ｂ）に示すフィルタにて上述同様のフィルタ処理、閾値処理等を行うことにより、図７（ｃ）に示すように上瞼のエッジ抽出点を検出する。そして、ＣＰＵ２１は、図７（ｄ）に示すように、上瞼を２次関数にて近似し、上瞼の湾曲度を算出する。

図８は、表情認識に係るＣＰＵ２１の処理手順を示すフローチャート、図９は表情変化と眼の形状との関係を示す模式図である。まずＣＰＵ２１は、第１覚醒状態、即ち覚醒状態であって無表情な状態における下瞼の湾曲度を特定する（ステップＳ５１）。

第１覚醒状態における下瞼の湾曲度は、図２に示すように入眠状態における下瞼の湾曲度に類似し、且つ第２覚醒状態における下瞼の湾曲度と異なる。従って、第１覚醒状態における下瞼の湾曲度を用いることによって、入眠状態及び第２覚醒状態を判別することが可能になる。

第１覚醒状態は、開度のみによって特定することができる。ＣＰＵ２１は、時系列的に得られる各画像データから眼の開度及び下瞼の湾曲度を算出してＨＤ２３に記憶させている。車両の運転者は通常覚醒しているため、第１覚醒状態の出現頻度が高いと考えられる。そこで、ＣＰＵ２１はＨＤ２３が記憶した開度の分布から最頻の開度を第１覚醒状態における開度として選択し、該開度を有する眼の下瞼の湾曲度を第１覚醒状態における下瞼の湾曲度として特定する。

次いで、ＣＰＵ２１は、ステップＳ１４で算出した下瞼の湾曲度が第１覚醒状態における下瞼の湾曲度に閾値を加算して得た値より大きいか否かを判定する（ステップＳ５２）。つまり、下瞼が、第１覚醒状態、即ち無表情・覚醒状態における下瞼の開度よりも上方に上がっている状態であるか否かを判定する。なお、ノイズ等の影響により湾曲度は微動するため、判定に閾値を使用する。

図９（ａ）に示すように、運転者が居眠りして眼の開度が小さくなるような場合、下瞼の形状が変化せずに上瞼が下側に下がってくる傾向がある。一方、図９（ｂ）に示すように、運転者の表情変化によって眼の開度が小さくなるような場合、上瞼の形状が変化せずに下瞼が上側に上がり湾曲度が大きくなる傾向がある。つまり、運転者が笑う等して表情が変化した第２覚醒状態における下瞼の湾曲度は、第１覚醒状態と比べて大きいという傾向がある。従って、ステップＳ５２の処理で下瞼の湾曲度と、第１覚醒状態における下瞼の湾曲度と比較することによって、無表情状態、特に入眠状態と、第２覚醒状態とを判別することができる。

第１覚醒状態における下瞼の湾曲度に閾値を加算して得た値より大きいと判定した場合（ステップＳ５２：ＹＥＳ）、ＣＰＵ２１は、第２覚醒状態であることを示す表情認識結果を記憶し（ステップＳ５３）、表情認識に係る処理を終える。第１覚醒状態における下瞼の湾曲度に閾値を加算して得た値以下であると判定した場合（ステップＳ５２：ＮＯ）、ＣＰＵ２１は、無表情状態であることを示す表情認識結果を記憶し（ステップＳ５４）、表情認識に係る処理を終える。

図１０は、開度補正処理に係るＣＰＵ２１の処理手順を示すフローチャート、図１１は、開度補正の方法を説明するための説明図である。図１１中、横軸は時間であり、縦軸は眼の開度を示している。図１１における開度は第１覚醒状態で過去の平均値が０になるように正規化された数値である。例えば、正規化前の開度をｔ、該開度の平均をｔａ、該輝度の標準偏差をｓとした場合、正規化された標準測度としての開度は（ｔ−ｔａ）／ｓにて表される。図１１のグラフ中、左側の時間帯は、開度が０付近を中心に変動しており、第１覚醒状態を示している。途中、開度が−１５０以下に落ち込んでいる部分は、覚醒した状態で瞬きをしたときの開度を示している。またグラフ中、右側の時間帯であって、開度が−５０付近を中心に変動している状態がある。この開度が低下した状態としては、運転者の入眠状態と、表情が変化した第２覚醒状態とが考えられる。以下では、当該時間帯で表情変化ありと判定された場合を説明する。つまり、運転者が笑う等して開度が低下している場合の処理を説明する。

ＣＰＵ２１は、過去に取得した画像データから算出した眼の開度を記憶しており、該開度に基づいて、第１覚醒状態で開いた眼の開度平均ａを算出する（ステップＳ７１）。そして、ＣＰＵ２１は、閉じた眼の開度平均ｂを算出する（ステップＳ７２）。同様に、ＣＰＵ２１は、第２覚醒状態における眼の開度平均ｃを算出する（ステップＳ７３）。なお、第２覚醒状態における眼の開度は、一つ前の画像データに基づいて算出された開度であっても良い。第２覚醒状態における眼の開度として前回値又は過去の開度を用いた平均値を使用することにより、開度の補正処理を直ちに開始することができる。

次いで、ＣＰＵ２１は、現時点の開度が特定範囲内にあるか否かを判定する（ステップＳ７４）。特定範囲は、第２覚醒状態における眼の開度として推定される範囲を示している。特定範囲内にあると判定された場合（ステップＳ７４：ＹＥＳ）、ＣＰＵ２１は、開度平均ａ，ｂ，ｃと、現時点の第２覚醒状態における開度とに基づいて、該開度を第１覚醒状態、即ち無表情・覚醒状態における開度に補正する（ステップＳ７５）。

例えば、現時点の表情変化状態における開度をｘとした場合、補正後の開度は下記式にて表される。
補正後の開度＝ｍ（ｘ−ｂ）／ｎ＋ｂ…式１
但し、ｍは｜ａ−ｂ｜、ｎは｜ｂ−ｃ｜である。

上記式１によって、第２覚醒状態における眼の開度は、図２及び図１１に示すように第１覚醒状態における眼の開度に補正される。ＣＰＵ２１は、上述の処理にて補正された眼の開度を用いることによって、運転者が覚醒状態にあるか入眠状態にあるかを誤り無く判別し、入眠状態を高精度で検出することができる。

図１２は、表情認識処理結果を利用した学習に係る処理手順を示すフローチャートである。
ＣＰＵ２１は、ステップＳ５３又はステップＳ５４で記憶した表情認識結果に基づいて、第２覚醒状態であるか否か、つまり表情変化があるか否かを判定する（ステップＳ９１）。第２覚醒状態に無いと判定した場合（ステップＳ９１：ＮＯ）、ＣＰＵ２１は、無表情状態における眼の形状、開度等を学習する（ステップＳ９２）。第２覚醒状態にあると判定した場合（ステップＳ９１：ＹＥＳ）、ＣＰＵ２１は、第２覚醒状態における眼の形状、開度等を学習する（ステップＳ９３）。なお、上述の処理は、図３に示す処理を終えた後等、適宜実行すれば良い。

このように、表情変化があるような第２覚醒状態における眼の形状、開度等の情報と、無表情状態における眼の形状、開度等の情報とが混在することを防止することができ、各状態におけるより正確な眼の形状に関する情報を蓄積することができる。従って、表情変化がある第２覚醒状態における眼の開閉分布を作成し、該開度分布を用いて第２覚醒状態における正確な開度情報を算出することもできる。同様に、無表情状態における正確な眼の開度分布を作成することができ、無表情状態における眼の開度を正確に算出することができる。
また、このように眼の正確な開度分布を作成することにより、眼の開度を正確に補正することができる。

なお、第２覚醒状態における眼の情報を学習するように構成してあるが、第２覚醒状態の場合、学習処理を実行せず、無表情状態においてのみ学習処理を実行するように構成しても良い。

実施の形態１に係る入眠状態検知方法、入眠状態検知装置２、入眠状態検知システム及びコンピュータプログラムにあっては、入眠状態と、眼の開度が入眠状態に近い第２覚醒状態、例えば笑った状態とを判別することができ、第２覚醒状態における眼の開度を第１覚醒状態における眼の開度に補正することができる。
従って、第２覚醒状態を入眠状態と誤検出することを防止することができ、入眠状態の検出精度を向上させることができる。

また、画像データから算出された第１覚醒状態における下瞼の湾曲度を用いて、入眠状態及び第２覚醒状態を判別することにより、個人差によって眼の形状が異なる場合であっても入眠状態を正確に検知することができる。

なお、上述の実施の形態１では、ＨＤ２３に各種の動作を行うためのコンピュータプログラムを記憶しており、これらのコンピュータプログラムをＣＰＵ２１が実行することにより各動作を実現しているが、各動作をハードウェアにより構成することも可能である。

また、実施の形態１にあっては、第２覚醒状態と第１覚醒状態及び入眠状態とを判別して、第２覚醒状態における眼の開度を補正することにより、入眠状態の検出精度を向上させる構成であるが、眼の開度及び下瞼の湾曲度を用いて入眠状態及び覚醒状態を判別できるのであれば、その処理内容は問わない。
例えば、眼の開度を補正すること無く、眼の開度及び下瞼の湾曲度を用いて直接的に入眠状態と、覚醒状態とを判別して入眠状態を検出するように構成しても良い。また、第１覚醒状態と、入眠状態及び第２覚醒状態とを先に判別し、次いで入眠状態及び第２覚醒状態を判別するように構成しても良い。

更に、実施の形態１にあっては、第２覚醒状態の一例として笑った状態を説明したが、覚醒状態にあって眼の開度が入眠状態に近い状態であれば他の覚醒状態であっても良い。例えば、運転者がまぶしくて眼を細めたような状態と入眠状態とを判別するように構成しても良い。まぶしくて眼を細めた場合も、下瞼の形状が入眠状態と異なるため、下瞼の湾曲度によって入眠状態と、まぶしくて眼を細めた状態とを判別することができる。

図１３は、変形例に係る入眠状態検出に係るＣＰＵ２１の処理手順を示すフローチャートである。ＣＰＵ２１は、図３に示すステップＳ１１〜１６と同様のステップＳ１１１〜１１６の処理を実行する。そして、ＣＰＵ２１は、上述の処理で検出された眼の開度が閾値未満であるか否かを判定する（ステップＳ１１７）。該閾値は固定値であっても、眼の形状を学習して算出するようにしても良い。

開度が閾値未満であると判定した場合（ステップＳ１１７：ＹＥＳ）、図２に示すように入眠状態又は第２覚醒状態にあるため、ＣＰＵ２１は、表情変化があるか否かを判定する（ステップＳ１１８）。つまり、入眠状態であるか第２覚醒状態であるかを判別する。

表情変化が無いと判定した場合（ステップＳ１１８：ＮＯ）、ＣＰＵ２１は、入眠状態であることを記憶し（ステップＳ１１９）、入眠状態検出に係る処理を終える。開度が閾値未満でないと判定した場合（ステップＳ１１７：ＮＯ）、表情変化があると判定した場合（ステップＳ１１８：ＹＥＳ）、ＣＰＵ２１は、覚醒状態でることを記憶し（ステップＳ１２０）、入眠状態検出に係る処理を終える。

変形例にあっても、眼の開度及び下瞼の湾曲度を用いて入眠状態及び覚醒状態を誤りなく判別して入眠状態を検出することができる。

（実施の形態２）
図１４は、実施の形態２における表情認識に係るＣＰＵ２１の処理手順を示すフローチャート、図１５は表情変化と眼の形状との関係を示す模式図である。実施の形態２に係る入眠状態検知システムは、実施の形態１に係る入眠状態検知システムと同様の構成であり、ＣＰＵ２１の処理手順のみが異なるため、以下では主に上記相違点を説明する。
まずＣＰＵ２１は、第１覚醒状態における上瞼及び下瞼の湾曲度を特定する（ステップＳ２１１）。処理内容は、図８のステップＳ５１の処理と同様である。

次いで、ＣＰＵ２１は、上瞼の湾曲度が第１覚醒状態における上瞼の湾曲度から閾値Ａを減算して得た値未満であるか否かを判定する（ステップＳ２１２）。つまり図９に示すように、上瞼が下側に落ちてきているか否かを判定する。

上瞼の湾曲度が第１覚醒状態における上瞼の湾曲度から閾値Ａを減算して得た値未満であると判定した場合（ステップＳ２１２：ＹＥＳ）、ＣＰＵ２１は、下瞼の湾曲度が第１覚醒状態における下瞼の湾曲度に閾値Ｂを加算して得た値よりも大きいか否かを判定する（ステップＳ２１３）。つまり図１５に示すように、下瞼が上側に上がっているか否かを判定する。

下瞼の湾曲度が第１覚醒状態における下瞼の湾曲度に閾値Ｂを加算して得た値よりも大きいと判定した場合（ステップＳ２１３：ＹＥＳ）、ＣＰＵ２１は、第２覚醒状態であることを示す表情認識結果を記憶し（ステップＳ２１４）、表情認識に係る処理を終える。

一方、上瞼の湾曲度が第１覚醒状態における上瞼の湾曲度から閾値Ａを減算して得た値以上であると判定した場合（ステップＳ２１２：ＮＯ）、又は下瞼の湾曲度が第１覚醒状態における下瞼の湾曲度に閾値Ｂを加算して得た値以下であると判定した場合（ステップＳ２１３：ＮＯ）、ＣＰＵ２１は、無表情状態であることを示す表情認識結果を記憶し（ステップＳ２１５）、表情認識に係る処理を終える。

実施の形態２に係る入眠状態検知システムにあっては、上瞼及び下瞼の湾曲度に基づいて表情の変化を検出する構成であるため、より正確に第２覚醒状態及び入眠状態を判別して入眠状態を検出することができる。

実施の形態２に係る入眠状態検知システムの他の構成、作用及び効果は実施の形態１に係る入眠状態検知システムの構成、作用及び効果と同様であるため、同様の箇所には対応する符号を付してその詳細な説明を省略する。

（付記１）
時系列的に得られる顔の画像データから眼の開度を算出し、入眠状態及び該入眠状態と眼の開度が異なる第１覚醒状態を判別することにより入眠状態を検知する入眠状態検知方法において、
時系列的に得られる画像データから下瞼を検出するステップと、
検出された下瞼の湾曲度を算出するステップと、
眼の開度が第１覚醒状態より入眠状態に近い第２覚醒状態及び入眠状態を、算出された下瞼の湾曲度に基づいて判別するステップと
を備えることを特徴とする入眠状態検知方法。

（付記２）
時系列的に得られる顔の画像データから眼の開度を算出し、入眠状態及び該入眠状態と眼の開度が異なる第１覚醒状態を判別することにより入眠状態を検知する入眠状態検知装置において、
時系列的に得られる画像データから下瞼を検出する下瞼検出手段と、
該下瞼検出手段にて検出された下瞼の湾曲度を算出する湾曲度算出手段と、
眼の開度が第１覚醒状態より入眠状態に近い第２覚醒状態及び入眠状態を、算出された下瞼の湾曲度に基づいて判別する判別手段と
を備えることを特徴とする入眠状態検知装置。

（付記３）
パターンマッチングにて眼領域を検出する手段を備え、
前記下瞼検出手段は、
前記眼領域から下瞼を検出するように構成してあることを特徴とする付記２に記載の入眠状態検知装置。

（付記４）
輝度が垂直方向上方から下方へ輝度が低い画像領域から輝度が低い画像領域へ変化するエッジを抽出する微分フィルタを備え、
前記下瞼検出手段は、
前記微分フィルタにて下瞼を検出するように構成してある
ことを特徴とする付記２又は付記３に記載の入眠状態検知装置。

（付記５）
前記湾曲度算出手段は、
前記下瞼検出手段にて検出された下瞼の形状を２次関数にて近似して、湾曲度を算出するように構成してある
ことを特徴とする付記２乃至付記４のいずれか一つに記載の入眠状態検知装置。

（付記６）
第１覚醒状態における下瞼の湾曲度を特定する特定手段を備え、
前記判別手段は、
前記特定手段が特定した下瞼の湾曲度及び前記湾曲度算出手段が検出した湾曲度を比較する比較手段を備え、該比較手段の比較結果に基づいて入眠状態及び第２覚醒状態を判別するように構成してある
ことを特徴とする付記２乃至付記５のいずれか一つに記載の入眠状態検知装置。

（付記７）
時系列的に得られる画像データから算出された眼の開度及び下瞼の湾曲度を記憶する記憶手段を備え、
前記特定手段は、
前記記憶手段が記憶した眼の開度の開度分布から最頻の眼の開度を選択する選択手段を備え、該選択手段が選択した開度を有する眼の湾曲度を第１覚醒状態における下瞼の湾曲度として特定するように構成してある
ことを特徴とする付記６に記載の入眠状態検知装置。

（付記８）
前記判別手段が第２覚醒状態であると判別した場合、第２覚醒状態における眼の開度を、第１覚醒状態における眼の開度に補正する補正手段を備える
ことを特徴とする付記２乃至付記７のいずれか一つに記載の入眠状態検知装置。

（付記９）
画像データから上瞼を検出する上瞼検出手段と、
該上瞼検出手段にて検出された上瞼の湾曲度を算出する手段と
を備え、
前記判別手段は、
入眠状態及び第２覚醒状態を、算出された上瞼及び下瞼の湾曲度に基づいて判別するように構成してある
ことを特徴とする付記２乃至付記８のいずれか一つに記載の入眠状態検知装置。

（付記１０）
第２覚醒状態は笑った状態であることを特徴とする付記２乃至付記９のいずれか一つに記載の入眠状態検知装置。

（付記１１）
付記２乃至付記１０のいずれか一つに記載の入眠状態検知装置と、
車両の運転者を撮像する撮像装置と
を備え、
前記入眠状態検知装置は、
前記撮像装置が撮像した運転者の顔の画像データに基づいて該運転者の入眠状態を検知するように構成してあることを特徴とする入眠状態検知システム。

（付記１２）
コンピュータに、時系列的に得られる顔の画像データから眼の開度を算出し、入眠状態及び該入眠状態と眼の開度が異なる第１覚醒状態を判別することにより入眠状態を検知する処理を実行させるコンピュータプログラムにおいて、
コンピュータに、
時系列的に得られる画像データから下瞼を検出するステップと、
検出された下瞼の湾曲度を算出するステップと、
眼の開度が第１覚醒状態より入眠状態に近い第２覚醒状態及び入眠状態を、算出された下瞼の湾曲度に基づいて判別するステップと
を実行させるコンピュータプログラム。

（付記１３）
コンピュータに、時系列的に得られる顔の画像データから眼の開度を算出し、入眠状態及び該入眠状態と眼の開度が異なる第１覚醒状態を判別することにより入眠状態を検知する処理を実行させるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体において、
コンピュータに、
時系列的に得られる画像データから下瞼を検出するステップと、
検出された下瞼の湾曲度を算出するステップと、
眼の開度が第１覚醒状態より入眠状態に近い第２覚醒状態及び入眠状態を、算出された下瞼の湾曲度に基づいて判別するステップと
を実行させるコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

本発明の実施の形態１における入眠状態検知システムの構成例を示すブロック図である。 入眠状態の検知方法を概念的に示す説明図である。 表情認識及び開度補正に係るＣＰＵの処理手順を示すフローチャートである。 顔領域及び眼の検出方法を概念的に示す説明図である。 眼の形状認識に係るＣＰＵの処理手順を示すフローチャートである。 下瞼の形状認識方法を概念的に示す説明図である。 上瞼の形状認識方法を概念的に示す説明図である。 表情認識に係るＣＰＵの処理手順を示すフローチャートである。 表情変化と眼の形状との関係を示す模式図である。 開度補正処理に係るＣＰＵの処理手順を示すフローチャートである。 開度補正の方法を説明するための説明図である。 表情認識処理結果を利用した学習に係る処理手順を示すフローチャートである。 変形例に係る入眠状態検出に係るＣＰＵの処理手順を示すフローチャートである。 実施の形態２における表情認識に係るＣＰＵの処理手順を示すフローチャートである。 表情変化と眼の形状との関係を示す模式図である。

符号の説明

１ 撮像装置
２ 入眠状態検知装置
１１ ＭＰＵ
２１ ＣＰＵ
２３ ＨＤ
３１ コンピュータプログラム
４１ 記録媒体

Claims (7)

1. 時系列的に得られる顔の画像データから眼の開度を算出し、入眠状態及び該入眠状態と眼の開度が異なる第１覚醒状態を判別することにより入眠状態を検知する入眠状態検知方法において、
   時系列的に得られる画像データから下瞼を検出するステップと、
   検出された下瞼の湾曲度を算出するステップと、
   第１覚醒状態における下瞼の湾曲度を特定するステップと、
   特定した下瞼の湾曲度及び検出した湾曲度を比較するステップと、
   比較結果に基づいて、眼の開度が第１覚醒状態より小さく、第１覚醒状態及び入眠状態に比べて下瞼が上方に上がった第２覚醒状態及び入眠状態を判別するステップと
   を備えることを特徴とする入眠状態検知方法。
2. 時系列的に得られる顔の画像データから眼の開度を算出し、入眠状態及び該入眠状態と眼の開度が異なる第１覚醒状態を判別することにより入眠状態を検知する入眠状態検知装置において、
   時系列的に得られる画像データから下瞼を検出する下瞼検出手段と、
   該下瞼検出手段にて検出された下瞼の湾曲度を算出する湾曲度算出手段と、
   第１覚醒状態における下瞼の湾曲度を特定する特定手段と、
   該特定手段が特定した下瞼の湾曲度及び前記湾曲度算出手段が検出した湾曲度を比較する比較手段を有し、該比較手段の比較結果に基づいて、眼の開度が第１覚醒状態より小さく、第１覚醒状態及び入眠状態に比べて下瞼が上方に上がった第２覚醒状態及び入眠状態を判別する判別手段と
   を備えることを特徴とする入眠状態検知装置。
3. 前記判別手段が第２覚醒状態であると判別した場合、第２覚醒状態における眼の開度を、第１覚醒状態における眼の開度に補正する補正手段を備える
   ことを特徴とする請求項２に記載の入眠状態検知装置。
4. 画像データから上瞼を検出する上瞼検出手段と、
   該上瞼検出手段にて検出された上瞼の湾曲度を算出する手段と
   を備え、
   前記判別手段は、
   算出された上瞼及び下瞼の湾曲度に基づいて、第１覚醒状態に比べて下瞼が上がり、且つ第１覚醒状態に比べて上瞼が下がった状態を第２覚醒状態と判別するように構成してある
   ことを特徴とする請求項２又は請求項３に記載の入眠状態検知装置。
5. 第２覚醒状態は笑った状態であることを特徴とする請求項２乃至請求項４のいずれか一つに記載の入眠状態検知装置。
6. 請求項２乃至請求項５のいずれか一つに記載の入眠状態検知装置と、
   車両の運転者を撮像する撮像装置と
   を備え、
   前記入眠状態検知装置は、
   前記撮像装置が撮像した運転者の顔の画像データに基づいて該運転者の入眠状態を検知するように構成してあることを特徴とする入眠状態検知システム。
7. コンピュータに、時系列的に得られる顔の画像データから眼の開度を算出し、入眠状態及び該入眠状態と眼の開度が異なる第１覚醒状態を判別することにより入眠状態を検知する処理を実行させるコンピュータプログラムにおいて、
   コンピュータに、
   時系列的に得られる画像データから下瞼を検出するステップと、
   検出された下瞼の湾曲度を算出するステップと、
   第１覚醒状態における下瞼の湾曲度を特定するステップと、
   特定した下瞼の湾曲度及び検出した湾曲度を比較するステップと、
   比較結果に基づいて、眼の開度が第１覚醒状態より小さく、第１覚醒状態及び入眠状態に比べて下瞼が上方に上がった第２覚醒状態及び入眠状態を判別するステップと
   を実行させることを特徴とするコンピュータプログラム。

Images