JP4882766B2 - 覚醒度算出装置 - Google Patents

Description

本発明は、車両の運転者の覚醒度を算出する覚醒度算出装置に関する。

従来より、運転者の顔面を含む撮影画像を撮影する撮影手段と、撮影手段で撮影された撮影画像に基づき、運転者のまぶたの動き（即ち、瞬きの状態）を検出し、その瞬きの状態に基づいて運転者の覚醒度を推定する画像処理プロセッサと、画像処理プロセッサで推定された覚醒度が予め規定された閾値以下であれば、警告を発する警告手段とを備えた覚醒度算出装置が知られている（例えば、特許文献１参照）。

そして、この種の覚醒度算出装置では、運転開始から予め規定された時間内に導出された運転者の目の開度を表す開度情報（瞬きの状態の一例、即ち、上まぶたと下まぶたとの距離）を順次算出し、その距離が大きな順に予め規定された数だけ抽出する。そして、それらの抽出された開度情報に従って基準値（即ち、運転者が覚醒状態であることを示すもの）を設定し、順次算出される開度情報が、基準値から予め規定された比率以下であることを示している時間に応じて、覚醒度を推定している。
特開平７−１５６６８２号公報

ところで、車両を運転する場合、その運転初期の段階（即ち、エンジンを始動させて数分以内）では、運転者は、車両の状態を確認するためにメータを見たり、エアコンを操作するためにコントロールパネルを見たりする等、運転に集中している時に向けられる方向（以下、この方向を注視方向とする）以外へと、視線を向けている（以下、これらの方向へと視線を向けることを下方視等とする）可能性が高い。

そして、運転者が下方視等をしている場合、撮影画像に撮影される運転者の目は、運転者が覚醒状態であるにも関わらず、注視方向へと視線を向けている場合に比べて細いものとなり、その撮影画像から導出される眼の開度も小さなものとなる。

このため、運転初期の段階では、基準値の設定のために抽出される開度情報の中に、運転者が下方視等をしている時に検出されたものが多く含まれている可能性が高く、その結果、運転者が覚醒状態であることを示す基準値が正しく設定されていない可能性が高い。この基準値の信頼性を向上させるためには、より長い時間の間に検出された多くの開度情報の中から基準値の設定に用いられる開度情報を抽出する必要があり、正しい（より正確には、確からしい）基準値が設定されるまでに時間を要していた。

したがって、従来の覚醒度算出装置では、その正しい基準値が設定されるまでの期間には、運転者が覚醒状態にあるにも関わらず、運転者に眠気が発生した（即ち、覚醒度が低下しているもの）と誤認識する可能性が高かった。

また、従来の覚醒度算出装置では、時間を長くとったとしても、運転初期の段階における覚醒度の算出結果にバラつきが生じ、眠気の検知精度が低下するという問題があった。
そこで、本発明は、眠気の検知精度を向上させることが可能な覚醒度算出装置を提供することを目的とする。

上記目的を達成するためになされた本発明の覚醒度算出装置は、撮影手段が車両の運転者の顔面を含む撮影画像を撮影し、その撮影手段で撮影画像が撮影される毎に、指標算出手段が、該撮影画像に基づき、前記運転者の目の開度を表す推定指標を算出する。そして、基準値設定手段が、前記指標算出手段で順次算出される推定指標のうち、前記運転者が覚醒状態であることを表しているものとして規定された条件に合致する度合いが高いものから順に複数個の推定指標を平均したものを、前記推定指標の基準値として設定することを、前記車両の運転開始から予め規定された規定時間となるまで繰り返し実行する。
さらに、覚醒度推定手段が、前記指標算出手段で順次算出される推定指標と、前記基準値設定手段で設定された基準値とを比較した結果に基づいて、前記運転者が覚醒している度合いを表す覚醒度を推定すると共に、覚醒度補正手段が、前記規定時間となるまでに前記覚醒度推定手段で順次更新されながら用いられる基準値の信頼性が前記規定時間以降に用いられる基準値の信頼性よりも低いことにより、前記覚醒度推定手段で推定される覚醒度に前記基準値が与える影響が低減されるように、前記車両の運転開始からの時間軸に沿って、前記覚醒度推定手段で推定される覚醒度を補正する補正量を対応付けた補正関数に従って、前記覚醒度を補正した補正覚醒度を算出する。

つまり、規定時間の間に指標算出手段で順次算出され、かつ運転者が覚醒状態であることを表しているものとして予め規定された条件を満たす推定指標に基づき、推定指標の基準値を設定する（即ち、基準値を設定するまでの時間を長くし、より多くの覚醒指標の中から条件を満たすものを抽出して基準値を設定することにより、基準値を設定するために用いられる推定指標の中から、下方視等の影響を受けた推定指標を除去して、基準値の信頼性を向上させる）本発明の覚醒度算出装置では、信頼性の高い基準値が設定されていない運転開始から規定時間までの期間に推定される覚醒度への影響が抑制されるように補正覚醒度を算出している。

したがって、本発明の覚醒度算出装置によれば、基準値の信頼性が低い運転開始直後の期間（例えば、撮影画像を撮影する期間が短いために、覚醒指標の数が少なく、基準値が不確かな可能性が高い場合）に、運転者が覚醒状態にあるにも関わらず、運転者に眠気が発生したと誤認識する可能性を低減することができる。つまり、本発明の覚醒度算出装置によれば、眠気の検知精度を向上させることができる。

そして、本発明の覚醒度算出装置における覚醒度補正手段には、請求項２に記載のように、規定時間よりも長い時間として予め決定された決定時間が経過した以降では、補正量が一定となり、決定時間が経過するまでは、単調増加となる補正関数を算出する補正関数算出手段が備えられていることが望ましい。

つまり、このような覚醒度算出装置で算出される補正覚醒度は、決定時間が経過した以降では、補正関数から受ける影響が常に一定となり、運転開始から決定時間が経過するまでの期間では、運転開始からの時間が短い程（即ち、基準値の信頼性が低い程）、補正関数から受ける影響が大きなものとなる。

したがって、このような覚醒度算出装置によれば、運転開始からの時間が短い程、運転者が覚醒状態であることを表す可能性の高い補正覚醒度を算出するため、運転開始直後には、多くの運転者が覚醒状態であると感じているという運転者の感覚に則した眠気の検知を実施することができる。

ところで、通常、運転者が車両を高速（即ち、規定車速以上）で走行させている場合、運転者の顔面が特定の領域内に固定され、なおかつ運転者の視線の方向が一定である可能性が高い。

このため、請求項３に記載のように、本発明の覚醒度算出装置には、車両が予め規定された規定車速以上で走行していることを示す高速走行情報を取得する走行状態取得手段が備えられ、本発明の覚醒度算出装置における補正関数算出手段は、走行状態取得手段にて高速走行情報が取得された場合には、高速走行情報が非取得である時に比べて、運転開始から決定時間までの時間を短くした補正関数を算出するように構成しても良い。

つまり、高速走行時には、車両が低速で走行され、運転者の顔面の位置、及び視線の方向が変化する場合に比べて、信頼性の高い基準値を算出するまでに要する時間が短縮されるため、運転開始から決定時間までの時間を短くしても良い。

特に、本発明の覚醒度算出装置における補正関数算出手段は、請求項４に記載のように、運転者毎に予め設定され、一日の睡眠周期を示す概日リズム情報に基づき、補正関数の決定時間を設定するように構成されていることが望ましい。

このような本発明の覚醒度算出装置によれば、運転者の一日の睡眠周期を示す概日リズム情報（サーカディアンリズム、即ち、運転者の生体リズム）に従って、決定時間を設定することにより、過度に長い時間に渡って、補正覚醒度が補正関数の影響を受けることを防止できる。例えば、概日リズム情報が、覚醒度の低い低調期（即ち、運転者が眠気を感じる時間帯）であることを示している時には、運転者が覚醒状態であることを示している時（即ち、覚醒度が高いことを示している時間帯）に比べて、決定時間を短くすることにより、運転者が眠気を感じているにも関わらず、運転者が眠気を感じていないと、覚醒度算出装置が判定することを防止できる。

さらに、本発明の覚醒度算出装置によれば、運転者毎に設定された概日リズム情報に従って、補正関数を算出しているため、運転者毎の個人差により、眠気の検知精度にバラつきが生じることを防止できる。

また、本発明の覚醒度算出装置における補正関数算出手段には、請求項５に記載のように、運転者の心拍数を少なくとも含む生体情報を取得し、その生体情報に基づいて、概日リズム情報を生成する概日リズム情報生成手段が備えられていても良い。

このような本発明の覚醒度算出装置によれば、取得した生体情報に基づいて、概日リズム情報を生成するため、実際に運転する時刻における運転者の概日リズム情報に合わせて補正関数を算出し、覚醒度を補正することができる。この結果、本発明の覚醒度算出装置によれば、眠気の検知精度をより向上させることができる。

そして、請求項６に記載のように、本発明の覚醒度算出装置における概日リズム情報生成手段は、運転者の心拍数に比例して変動し、運転者の覚醒度の高低を表す覚醒指標と、時間との対応関係を概日リズム情報として生成するように構成されていることが望ましい。

なお、生体情報が、心拍変動、体動、睡眠時間のうち、少なくとも一つを含むものである場合、請求項７に記載のように、本発明の覚醒度算出装置における概日リズム情報生成手段は、心拍変動、体動、睡眠時間のうち、少なくとも一つに基づいて推定される運転者の睡眠の質に従って、時間と覚醒指標との対応関係を補正した補正概日リズム情報を概日リズム情報として生成するように構成されていても良い。

ただし、ここで言う対応関係の補正とは、就寝時間に応じて睡眠周期の時間をシフトさせることや、睡眠の深さに応じて覚醒指標の大きさをシフトさせること等である。そして、就寝時間や、睡眠の深さは、周知の技術により、心拍変動、体動、及び睡眠時間から推定される。

ところで、本発明の覚醒度算出装置には、請求項８に記載のように、覚醒度補正手段にて算出された補正覚醒度が予め規定された規定閾値以下である場合、警告を発する警告手段が備えられていることが望ましい。

このように構成された本発明の覚醒度算出装置によれば、警告手段が警告を発することにより、覚醒度が低下していること（即ち、眠気が生じていること）を運転者に認識させることができ、さらに、覚醒度が上昇するために必要な行動を運転者に採らせることができる。

さらに、本発明の覚醒度算出装置における警告手段は、請求項９に記載のように、補正関数から導出され、車両の運転開始からの時間として予め設定された特定時間での補正量が、予め設定された第一閾値以上であれば、規定閾値の値を増加させるように構成されていても良い。

つまり、請求項９に記載の覚醒度算出装置では、特定時間に導出された補正量が第一閾値以上である場合（即ち、運転開始直後のように覚醒度が比較的高いと考えられる状況下では）、警告を発するか否かの判断基準である規定閾値の値を増加させた上で、補正覚醒度が規定閾値以下であれば、警告を発する。

したがって、このように構成された本発明の覚醒度算出装置によれば、運転者の感覚に適していない状況下（例えば、運転開始直後のように、覚醒度が比較的高い状況下）で、眠気の誤認識により警告が発せられることを防止することができ、不要な警告が発せられ、運転者が不快に感じることを防止することができる。

また、本発明の覚醒度算出装置における警告手段は、請求項１０に記載のように、補正関数から導出され、車両の運転開始からの時間として予め設定された特定時間での補正量が、予め設定された第二閾値以上である場合には、第二閾値未満である場合に比べて、より強い警告を発することを許可するように構成されていても良い。

つまり、このように構成された本発明の覚醒度算出装置では、特定時間に導出された補正量が第二閾値以上である場合には、ある程度信頼性の高い基準値が設定され、算出される覚醒度の信頼性も高いものとして、より強い警告を発する。

ただし、ここで言う、より強い警告とは、より大きな音声をスピーカから発することや、より冷たい冷気を運転者に吹きかけること等であり、低覚醒状態にある運転者の覚醒度を上昇させるための処置である。

一方、概日リズム情報が、時間と、運転者の覚醒度の高低を表す覚醒指標との対応関係を示すものである場合、本発明の覚醒度算出装置における警告手段は、請求項１１に記載のように、概日リズム情報に示され、運転開始からの時間として予め設定された特定時間での覚醒指標が、運転者が覚醒状態であることを表していれば、規定閾値の値を増加させるように構成されていても良い。

このように構成された本発明の覚醒度算出装置によれば、概日リズム情報に示された覚醒指標の高低（即ち、一日の睡眠周期）によって、規定閾値の値が増加するため、運転者が眠気を感じていないにも関わらず、眠気の誤認識により警告が発せられることを防止できる。したがって、本発明の覚醒度算出装置によれば、不要な警告が発せられ、運転者が不快に感じることを防止できる。

さらに、概日リズム情報が、時間と、運転者の覚醒度の高低を表す覚醒指標との対応関係を示すものである場合、本発明の覚醒度算出装置における警告手段は、請求項１２に記載のように、概日リズム情報から導出され、運転開始からの時間として予め設定された特定時間での覚醒指標が、運転者が眠気を感じる低覚醒状態にあることを表している場合、運転者が覚醒状態であることを表している場合に比べて、より強い警告を発することを許可するように構成されていても良い。

このように構成された本発明の覚醒度算出装置によれば、特定時間での覚醒指標が、運転者が低覚醒状態にあることを表している場合には、運転者が覚醒状態であることを表している時に比べて、より強い警告を発することができる。この結果、本発明の覚醒度算出装置によれば、低覚醒状態にある運転者の覚醒度をより確実に上昇させることができる。

ただし、ここで言う、より強い警告とは、より大きな音声をスピーカから発することや、より冷たい冷気を運転者に吹きかけること等であり、低覚醒状態にある運転者の覚醒度を上昇させるための処置である。

また、本発明の覚醒度算出装置は、請求項１３に記載のように、加速度取得手段が車両の加速度を取得し、加速度取得手段で取得された加速度が、アクセルの操作、もしくはブレーキの操作を表している場合、禁止手段が、警告手段が警告を発することを禁止するように構成されていても良い。

なお、本発明の覚醒度算出装置において、警告手段が警告を発することを禁止手段が禁止するための条件としては、請求項１４に記載のように、ブレーキペダルの操作量が予め規定された規定値以上である場合であっても良いし、請求項１５に記載のように、アクセルペダルの操作量が予め規定された規定値以上である場合であっても良い。ただし、前者の場合、車両に備えられたブレーキペダルの操作量を取得するブレーキ操作量取得手段が、後者の場合、車両に備えられたアクセルペダルの操作量を取得するアクセル操作量取得手段が、本発明の覚醒度算出装置に備えられている必要がある。

そして、これらの本発明の覚醒度算出装置によれば、運転者がアクセルの操作、もしくはブレーキの操作をしている時に、警告が発せられることがないため、その操作時に警告が発せられ、運転者が煩わしさを感じることを防止できる。

以下に本発明の実施形態を図面と共に説明する。
まず、図１は、車両に搭載され、本発明が適用された覚醒度算出装置の概略構成を示すブロック図である。なお、以下では、覚醒度算出装置が搭載された車両を搭載車両とする。
〈覚醒度算出装置〉
覚醒度算出装置１は、搭載車両の運転者の顔面を含む照射領域に照射光を照射する光源１１と、光源１１からの照射光が照射された運転者の顔面を含む画像を撮影するカメラ１２と、運転者の心拍数を含む生体情報や、搭載車両の加速度等の情報を取得する情報取得装置群１５と、運転者の一日の睡眠周期を表すサーカディアンリズム（即ち、概日リズム、以下、日内変動とする）を導出するために必要な生体情報等を格納するデータベース２０と、カメラ１２で撮影された画像、及び情報取得装置群１５にて取得された情報に基づき、運転者の覚醒度を算出する覚醒度算出ＥＣＵ１０と、覚醒度算出ＥＣＵ１０からの音声信号により音声を出力するスピーカ１３と、覚醒度算出ＥＣＵ１０からの映像信号により映像を出力するモニタ１４とを備えている。

光源１１は、覚醒度算出ＥＣＵ１０からの発光信号に従って発光する発光ダイオードを中心に構成され、予め規定された広がり角で照射光を照射するものである。そして、光源１１は、搭載車両の運転者の顔面に照射光を照射するように、ステアリングホイールにおけるステアリングコラムの延長線上に配置されている。

また、カメラ１２は、ＣＣＤ素子からなる受光部を有し、覚醒度算出ＥＣＵ１０からの撮像信号に従って、レンズを介して受光部が受光して、デジタル画像を撮像（以下、撮像されたデジタル画像を撮影画像とする）するものである。そして、カメラ１２は、運転者の顔面を含む撮影領域を撮影するように、搭載車両のインストルメントパネル上に配置されている。

さらに、情報取得装置群１５は、運転者の心拍数を含む生体情報を検知する心拍検知センサー１６と、時刻を計時する計時部１７と、搭載車両の現在位置や、搭載車両の進行方向を検知するナビゲーション装置１８と、搭載車両の加速度を検知する加速度センサー１９とからなる。

心拍検知センサー１６は、血管の容積変化（即ち、脈拍や脈波）を光学的に検出する周知の光学式容積脈波計であり、予め規定された時間間隔で設定された時刻に運転者の脈拍（脈波）を検出する検出部と、検出部で検出された脈拍（脈波）から運転者の心拍数、及び心拍変動を算出する算出部と、算出部で算出された心拍数、及び心拍変動を、それらが検出された時刻と対応付けた上で、予め規定された検出回数分だけ順次更新しながら記憶する記憶部と、覚醒度算出ＥＣＵ１０との間でデータの通信を行う通信部とを備えている。ただし、本実施形態における心拍検知センサー１６は、運転者の手首に常時装着される腕時計タイプのものである。

なお、心拍検知センサー１６は、覚醒度算出ＥＣＵ１０から心拍数を検知するための検知信号を受信すると、その時点での運転者の脈拍（脈波）を検出し、その検出された脈拍（脈波）から運転者の心拍数、及び心拍変動を算出すると共に、それらの心拍数、及び心拍変動を覚醒度算出ＥＣＵ１０に出力するように構成されている。以下、運転者の心拍数、及び心拍変動と、時刻との対応関係を心拍情報とする。

また、ナビゲーション装置１８は、図示しない位置検出器、地図データ入力器、操作スイッチ群、ディスプレイ、スピーカ等によって構成された周知のものであり、現在位置付近の地図を表示してその地図中に車両の現在位置マークを重畳する現在地表示処理、経路案内を行う経路案内処理等の様々な処理を実行可能に構成されている。そして、ナビゲーション装置１８は、搭載車両が現在走行している位置が高速道路であるか否かを示す現在位置情報を覚醒度算出ＥＣＵ１０に出力するように構成されている。

そして、データベース２０は、運転者毎に設定される日内変動を導出するために必要な各種データを格納するための記憶装置であり、心拍検知センサー１６で検知された運転者の日々の心拍情報と、運転者の日々の心拍情報に基づき、運転者の睡眠周期の基準として予め設定された日内変動（以下、この日内変動を基準日内変動とする）とが格納されている。なお、日内変動とは、運転者の心拍数に比例して変動し、覚醒度の高低を表す覚醒指標と、時刻との対応関係を示すものである。

次に、覚醒度算出ＥＣＵ１０は、各種処理を実行するためのプログラムや、データを記憶するＲＯＭ１０ａと、データを一時的に記憶するＲＡＭ１０ｂと、ＲＯＭ１０ａに記憶されたプログラム等に従って処理を実行するＣＰＵ１０ｃとを備えている。

なお、ＲＯＭ１０ａには、撮影画像に対して各種処理を実行する際に必要なテンプレートとして、人の目、鼻、口等を模擬し、撮影画像から運転者の顔面を抽出するための顔面抽出用テンプレートや、人の目を模擬し、撮影画像から運転者の目を抽出するための目抽出用テンプレート等が格納されている。

つまり、覚醒度算出ＥＣＵ１０は、カメラ１２で撮影した撮影画像に基づいて推定される運転者の覚醒度を、日内変動に基づいて導出される重み関数に従って補正し、その補正された覚醒度（以下、補正覚醒度とする）に基づき、運転者に対して警告を発する眠気警告処理を実行可能に構成されている。
〈眠気警告処理〉
次に、覚醒度算出ＥＣＵ１０のＣＰＵ１０ｃが実行する眠気警告処理について説明する。

ここで、図２は、眠気警告処理の処理手順を示すフローチャートである。
この眠気警告処理は、搭載車両の運転が開始された時（本実施形態では、エンジンが始動された時）に起動されるものである。

そして、この眠気警告処理が起動されると、まず、Ｓ１１０では、運転者毎の日内変動を設定すると共に、撮影画像に基づいて推定される覚醒度を補正するための重み関数を算出する重み関数算出処理を実行する。ただし、重み関数は、搭載車両が運転を開始されてからの時間と、補正係数（即ち、覚醒度を補正する時の補正量）との対応関係を示すものである。

続くＳ１２０では、光源１１に対して発光信号を出力すると共に、カメラ１２に対して撮像信号を出力し、カメラ１２に撮影画像を撮影させ、その撮影された撮影画像を取得する。

さらに、Ｓ１３０では、カメラ１２から取得された撮影画像に基づき、運転者の顔面が撮影されている顔面領域を抽出する。具体的に、本実施形態では、取得された撮影画像の全領域を探査領域として、顔面抽出用テンプレートを用いたパターンマッチングを実行し、顔面抽出用テンプレートとの一致率が最も高い領域を顔面領域として抽出する。

続くＳ１４０では、Ｓ１３０で抽出された顔面領域から、運転者の上まぶた、及び下まぶたを含む目の周辺領域を抽出する。具体的に、本実施形態では、顔面領域を探査領域として、目抽出用テンプレートを用いたパターンマッチングを実行し、目抽出用テンプレートとの一致率が最も高い領域を運転者の目と認識する。そして、その運転者の目と認識された領域を含むように予め規定された大きさの領域を目の周辺領域として抽出する。

そして、Ｓ１５０では、Ｓ１４０で抽出された目の周辺領域に基づき、運転者の覚醒度を推定するための指標である推定指標を少なくとも一種類導出する。さらに、計時部１７から取得された時間が、運転開始からの時間として予め規定された第一規定時間内であれば、導出された推定指標毎に、運転者が覚醒状態であることを表している可能性が最も高い推定指標を基準値として設定する。

具体的に、本実施形態では、推定指標の一つとして、Ｓ１４０で目の周辺領域が抽出される毎に、図５（Ａ）に示すように、目の周辺領域中（即ち、撮影画像中）の眼球とまぶたとの輝度差に基づき、上まぶた（即ち、上まぶたの最高点（頭頂部に最も近い位置））と下まぶた（即ち、下まぶたの最下点（路面に最も近い位置））との距離（即ち、運転者の目の開度、以下、開度情報とする）を算出する。

そして、算出された開度情報を、運転開始からの経過時間と共にＲＡＭ１０ｂに記憶する。なお、開度情報と運転開始からの経過時間との関係（以下、瞬き検出関係とする）は、図５（Ｂ）に示すようなグラフとして表される。

ただし、運転開始からの時間が第一規定時間内（本実施形態では、１０分とする）であれば、その第一規定時間内に算出された開度情報のうち距離が大きな順に予め規定された規定数で平均したものを、運転者が覚醒状態にあるときの開度情報（つまり、開度情報の最大値）、即ち、基準値としてＲＡＭ１０ｂに記憶する。つまり、運転開始から規定時間内であれば、順次算出される開度情報のうち、その距離が大きなものを規定数だけ抽出し、覚醒度を推定するための基準値を算出する。

したがって、本実施形態の眠気警告処理では、運転開始からの時間が経過すればするほど、覚醒状態であることを表す多くの開度情報が算出され、それら多くの開度情報の中から条件を満たす開度情報を抽出して基準値を求めるため、信頼性の高い基準値が設定されることになる。即ち、本実施形態の眠気警告処理では、第一規定時間が経過した以降には、信頼性の高い基準値が設定されている。

さらに、Ｓ１６０では、Ｓ１５０で導出された推定指標に基づき、運転者の覚醒度を算出する。
具体的に、本実施形態では、瞬き検出関係に基づいて導出され、基準値と比べた開度情報（即ち、推定指標）が予め規定された比率（本実施形態では、例えば２０％とする）以下となっている時間（即ち、目が閉じられている時間、以下、瞬き時間とする）等に応じて、覚醒度を算出する。なお、本実施形態では、瞬き時間が短い場合には、運転者が覚醒しているものとして、値が大きくなるように覚醒度を算出し、瞬き時間が長い場合には、運転者が眠気を感じているものとして、値が低くなるように覚醒度を算出する。

続くＳ１７０では、先のＳ１６０で算出された覚醒度を、Ｓ１１０で算出された重み関数に従って補正した補正覚醒度を算出する。
具体的に、本実施形態では、（１）式に示すように、重み関数から導出され、現在の時刻での補正係数を、Ｓ１６０で算出された覚醒度に乗じることで、補正覚醒度を算出する。

補正覚醒度＝覚醒度×補正量・・・（１）
そして、Ｓ１８０では、Ｓ１７０で算出された補正覚醒度に従って、スピーカ１３から警告音を発し、運転者に対する警告をモニタ１４に表示する警告処理を実行する。

その後、Ｓ１２０へと戻る。
〈重み関数算出処理〉
次に、先の眠気警告処理にて実行される重み関数算出処理について説明する。

ここで、図３は、重み関数算出処理の処理手順を示すフローチャートである。
この重み関数算出処理が、起動されると、まず、Ｓ２１０にて、心拍検知センサー１６に検出信号を送信し、現在の時刻での運転者の心拍数（以下、現在心拍数とする）を心拍検知センサー１６に検出させ、心拍検知センサー１６から現在心拍数を取得する。さらに、心拍検知センサー１６に記憶されている心拍情報を取得した上で、その心拍情報をデータベース２０に格納する。

続くＳ２２０では、Ｓ２１０で取得された現在心拍数、及びデータベース２０に格納された基準日内変動に基づいて、本重み関数算出処理が実行された日（即ち、運転がなされた日）の日内変動（以下、使用日内変動とする）を設定する。

具体的に、本実施形態では、図６に示すように、Ｓ２１０で取得され、心拍情報として表された各検出時間での心拍数と、運転者の覚醒度とが比例関係であることを利用して求められた覚醒指標（即ち、運転者の覚醒度を示す指標）の時間変化を使用日内変動として設定する。つまり、Ｓ２２０で設定された使用日内変動は、覚醒指標の高低の周期が、データベース２０に格納されている基準日内変動に示された覚醒指標の高低の周期と同一となるように参照した上で、Ｓ２１０で取得された現在心拍数が基準日内変動に示された覚醒指標（以下、基準覚醒指標とする）の高低を求める時に使用された心拍数（以下、基準心拍数とする）よりも低ければ、基準覚醒指標よりも運転者の覚醒度が低いことを示し、現在心拍数が基準心拍数よりも高ければ、基準覚醒指標よりも運転者の覚醒度が高いことを示すようにして求められる（より正確には、基準日内変動を修正する）。

そして、Ｓ２３０では、Ｓ２２０で求められた使用日内変動、及びＳ２１０で取得された現在心拍数に基づいて、運転開始からの時間が第一規定時間以上であり、その時間以降、補正係数の大きさを一定とする第二規定時間を設定する。

ここで、図７、図８は、重み関数の算出方法を説明するための説明図である。
なお、本実施形態では、Ｓ２２０で図７（Ａ）に示すような使用日内変動を得た場合、運転開始の時刻（図中、ｔｓ）での覚醒指標（図中、α）が、運転者の覚醒度が低いことを表していれば、運転者の覚醒度が高いことを表している時に比べて、補正係数が一定となるまでの時間が短くなるように、第二規定時間を設定している。つまり、図８に示すように、第二規定時間は、覚醒度の低い時間帯（即ち、低調期）に搭載車両が運転されている場合には、覚醒度の高い時間帯に搭載車両が運転されているときに比べて短くなるように、運転開始からの時間として設定される。

続くＳ２４０では、Ｓ２３０で設定された第二規定時間に従って、重み関数を確定する。
具体的に、本実施形態では、図７（Ｂ）に示すように、運転開始から第二規定時間（図中、ｔ１）が経過するまでは、先のＳ１５０で設定され、Ｓ１６０で用いられる基準値が、第一規定時間以降にＳ１６０で用いられる基準値よりも信頼性が低いことによる覚醒度への影響が低減されるように、重み係数を単調増加とし、第二規定時間が経過した以降は、重み係数が最大値（本図中、β、実施形態では、その大きさを１とする）で一定とするように重み関数を設定する。

そして、その後、眠気警告処理のＳ１２０へと進む。
つまり、重み関数算出処理にて設定された重み関数を用いて算出された補正覚醒度は、運転開始から第二規定時間が経過するまでの期間（以下、運転初期とする）では、基準値の信頼性が低いことによる覚醒度への影響が低減されたものとなる。そして、第二規定時間が経過し、信頼性の高い基準値が設定された後は、補正覚醒度が重み関数（より正確には、重み係数）から受ける影響が常に一定となる。
〈警告処理〉
次に、眠気警告処理にて実行される警告処理について説明する。

ここで、図４は、警告処理の処理手順を示すフローチャートである。
眠気警告処理で警告処理が実行されると、まず、Ｓ３１０では、先のＳ１７０にて算出された補正覚醒度が、実験などにより、人間が眠気を感じる覚醒度として予め規定された規定閾値よりも小さいか否かを判定する。そして、判定の結果、補正覚醒度が規定閾値よりも小さいものと判断された場合、Ｓ３２０へと進む。

そのＳ３２０では、アクセルペダルもしくはブレーキペダルが操作されているか否かを判定する。具体的に、本実施形態では、加速度センサー１９によって検知された搭載車両の加速度が、負の方向に予め規定された閾値以上である場合には、ブレーキペダルが操作されているものと判断し、正の方向に予め規定された閾値以上である場合には、アクセルペダルが操作されているものと判断する。

そして、判定の結果、アクセルペダル、もしくはブレーキペダルが操作されていないものと判断された場合には、Ｓ３３０へと進む。
さらに、Ｓ３３０では、図９に示すように、重み関数算出処理にて算出された重み関数から導出され、かつ現時点での補正係数が、予め設定された設定閾値以上であるか否かを判定する。そして、判定の結果、補正係数が設定閾値以上である場合、スピーカ１３から出力される音声が予め規定された大きさとなるように、予め規定された音声信号の出力を維持したままＳ３５０へと進む。

一方、Ｓ３３０での判定の結果、補正係数が設定閾値未満である場合、スピーカ１３から出力される音量が予め規定された大きさよりも大きな音量となるように、音声信号を設定した上で、Ｓ３５０へと進む。

そのＳ３５０では、現時点で設定されている音声信号をスピーカ１３に出力し、スピーカ１３から警告音を発生させると共に、モニタ１４に映像信号を送信し、警告情報をモニタ１４に表示させる。

その後、眠気警告処理へと戻る。
なお、Ｓ３１０での判定の結果、補正覚醒度が規定閾値以上であるものと判断された場合や、Ｓ３２０での判定の結果、アクセルペダルもしくはブレーキペダルが操作されているものと判断された場合には、運転者に対して警告を発することなく眠気警告処理へと戻る。

なお、本実施形態において、カメラ１２が撮影手段、Ｓ１５０が指標算出手段、及び基準値設定手段、Ｓ１６０が覚醒度推定手段、Ｓ１７０が覚醒度補正手段、重み関数算出処理が重み関数算出手段、警告処理が警告手段に相当する。
［実施形態の効果］
以上説明したように、上記実施形態の覚醒度算出装置１では、信頼性の高い基準値が設定されていない運転初期の段階では、覚醒度に対して基準値が与える影響が抑制されるように補正関数を算出し、その補正関数に従って補正覚醒度を算出している。

したがって、上記実施形態の覚醒度算出装置１によれば、基準値の信頼性が低い運転開始直後の期間において、運転者が覚醒状態にあるにも関わらず、運転者に眠気が発生したと誤認識する可能性を低減することができる。つまり、本発明の覚醒度算出装置によれば、運転初期における眠気の検知精度を向上させることができる。

さらに、覚醒度算出装置１では、運転開始から第二規定時間が経過するまでの期間では、運転開始からの時間が短い程（即ち、基準値の信頼性が低い程）、補正関数から受ける影響が大きなものとなるように重み関数を算出する。

したがって、覚醒度算出装置１によれば、運転開始からの時間が短い程、運転者が覚醒状態であることを表す可能性の高い補正覚醒度が算出され、運転開始直後には、多くの運転者が覚醒状態であると感じているという運転者の感覚に則した眠気の検知を実施することができる。

また、覚醒度算出装置１によれば、使用日内変動が低調期であることを示している時には、第二規定時間を短くするため、運転者が眠気を感じているにも関わらず、運転者が眠気を感じていないと判定されることを防止できる。

さらに、覚醒度算出装置１によれば、使用日内変動を運転者毎に設定しているため、運転者毎の個人差により、眠気の検知精度にバラつきが生じることを防止できる。さらに、運転者が運転を開始する時の心拍数に応じて、使用日内変動を設定している（即ち、運転者の個人内差による使用日内変動のズレを修正している）ため、運転者の体調等により、眠気の検知精度にバラつきが生じることを防止できる。

また、覚醒度算出装置１によれば、警告を発することにより、覚醒度が低下していること（即ち、眠気が生じていること）を運転者に認識させることができ、さらに、覚醒度が上昇するために必要な行動を運転者に採らせることができる。

そして、覚醒度算出装置１によれば、運転者がアクセルの操作、もしくはブレーキの操作をしている時に、警告が発せられることがないため、その操作時に警告が発せられ、運転者が煩わしさを感じることを防止できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。

例えば、上記実施形態の覚醒度算出装置１における覚醒度の補正では、眠気警告処理のＳ１７０で推定された覚醒度に補正量（即ち、補正係数）を乗じることにより補正覚醒度を算出していたが、Ｓ１７０で推定された覚醒度に補正量を加えることにより補正覚醒度を算出しても良い。

また、上記実施形態の覚醒度算出装置１における重み関数算出処理では、使用日内変動が低調期（即ち、低覚醒状態）であることを示している時間帯であれば、覚醒状態であることを示している時間帯に比べて、運転開始からの時間が短くなるように第二規定時間を設定していたが、これに替えて、もしくはこれに加えて、搭載車両が高速道路を走行している時には、通常の道路を走行している時に比べて、運転開始からの時間が短くなるように第二規定時間を設定しても良い。

つまり、図１０（Ａ）に示すように、覚醒度算出ＥＣＵ１０は、ナビゲーション装置１８から取得される現在位置情報や、図示しない車速センサーから取得される搭載車両の車速に関する速度情報等から得られる情報が、搭載車両が高速道路を連続的に走行していることを表している場合には、一般道路を断続的に走行していることを表している場合に比べて、運転開始からの時間が短くなるように第二規定時間を設定しても良い。

また、上記実施形態の覚醒度算出装置１における重み関数算出処理では、心拍検知センサー１６で検知された運転者の現在心拍数に従って、使用日内変動を求めていたが、これに加えて、運転者の心拍変動から推定される睡眠の質によって、使用日内変動を補正した上で重み関数の算出に用いても良い。

つまり、図１０（Ｂ）に示すように、覚醒度算出ＥＣＵ１０は、心拍検知センサー１６から取得された心拍情報に含まれる心拍変動の時間変化が、運転者の睡眠が浅いこと（睡眠の質が悪いこと）を表している場合、重み関数算出処理のＳ２２０で設定された使用日内変動に示された覚醒指標を覚醒度が低くなるように補正しても良い。

また、睡眠の質により使用日内変動を補正する方法としては、図１１（Ａ）に示すように、心拍検知センサー１６から取得された心拍情報に含まれる心拍変動の時間変化から推定される運転者の就寝時間に応じて、覚醒指標の高低の周期を変動（即ち、その周期を維持したまま時間のみをシフト）させても良い。そして、睡眠の質を推定する方法としては、心拍変動から推定する方法の他に、睡眠中の運転者の体動や、運転者の睡眠時間等から推定する方法を用いても良い。なお、これらの推定方法は、周知の技術を用いるものである。

さらに、上記実施形態の警告処理では、重み関数から導出された現時点での重み係数に従って、警告の強度を変動させていたが、図１１（Ｂ）に示すように、重み関数算出処理にて求められた使用日内変動に示され、現時点での覚醒指標が、運転者が眠気を感じる低覚醒状態であることを表している（即ち、設定閾値以上である）場合には、運転者が覚醒状態であることを表している場合に比べて、より大きな音をスピーカ１３から出力するようにしても良い。なお、上記実施形態の警告処理では、スピーカ１３から出力される音を大きくすることで警告の強度を強くしていたが、出力される音の音色や、音を出力する間隔、モニタ１４に表示する内容を変更することで、警告の強度を強くしても良い。

また、上記実施形態における警告処理では、重み関数から導出された現時点での重み係数や、日内変動に示された現時点での覚醒指標に従って、警告を発するか否かの判断基準である規定閾値の値を大きくする（即ち、警告が発せられる基準を引き上げる）ようにしても良い。

このように、運転者が覚醒状態である時に規定閾値の値を大きくする覚醒度算出装置によれば、運転者が眠気を感じていないにも関わらず、警告が発せられることを防止することができ、さらに、眠気の誤認識に起因する不要な警告が発せられることにより、運転者が不快に感じることを防止することができる。

ところで、上記実施形態の覚醒度算出装置１における警告処理では、加速度センサーで検知された加速度が、搭載車両に備えられたアクセルペダル、もしくはブレーキペダルが操作されていることを表している場合、警告を発すること（以下、警告実行とする）を禁止していたが、警告実行を禁止する条件は、これに限るものではない。例えば、アクセルペダルの操作量が予め規定された操作量以上であることを、搭載車両に備えられたアクセル開度センサーが検知した場合や、ブレーキペダルの操作量が予め規定された操作量以上であることを、搭載車両に備えられたブレーキ検知センサーが検知した場合であっても良い。

また、上記実施形態の警告処理では、スピーカ１３から音声を出力し、モニタ１４に警告情報を表示することで警告を実行していたが、運転者に冷気を吹きかけることや、座席、もしくはステアリングホイールを振動させることにより警告を実行しても良い。

なお、上記実施形態の重み関数算出処理では、データベース２０に格納された基準日内変動の覚醒指標の高低の周期と一致するようにした上で、心拍検知センサー１６で検知された心拍数から変換される覚醒指標の高低をシフトさせて、使用日内変動を求めたが、搭載車両が運転される日の運転者の日内変動が求められれば、どのような方法で使用日内変動を求めても良い。

また、上記実施形態の眠気警告処理では、開度情報の時間変化に応じて覚醒度を推定していたが、覚醒度を推定する方法は、これに限るものではない。例えば、単位時間当たりのまばたきの回数や、順次算出される開度情報と基準値との比率（即ち、覚醒状態に比べて、目がどの程度閉じられているのか）等から推定しても良いし、それらを組み合わせて総合的に推定しても良い。

さらに、上記実施形態の覚醒度算出装置１では、検出された脈拍から心拍数を算出する心拍検知センサー１６を用いていたが、人間の身体に装着され、心拍数を直接検出する周知の心拍検出装置を用いても良い。

なお、上記実施形態の覚醒度算出装置１には、光源１１や、ナビゲーション装置１８が備えられているが、これらは省略されていても良い。

覚醒度算出装置の概略構成を示すブロック図である。 眠気警告処理の処理手順を示すフローチャートである。 重み関数算出処理の処理手順を示すフローチャートである。 警告処理の処理手順を示すフローチャートである。 眠気警告処理における瞬き検出を説明するための説明図である。 重み関数算出処理における日内変動の算出方法を説明するための説明図である。 重み関数算出処理における重み関数の算出方法を説明するための説明図である。 重み関数算出処理における重み関数の算出方法を説明するための説明図である。 眠気警告処理の警告処理における設定閾値について説明するための説明図である。 覚醒度算出装置における変形例について説明するための説明図である。 覚醒度算出装置における変形例について説明するための説明図である。

符号の説明

１…覚醒度算出装置 １０…覚醒度算出ＥＣＵ １０ａ…ＲＯＭ １０ｂ…ＲＡＭ １０ｃ…ＣＰＵ １１…光源 １２…カメラ １３…スピーカ １４…モニタ １５…情報取得装置群 １６…心拍検知センサー １７…計時部 １８…ナビゲーション装置 １９…加速度センサー ２０…データベース

Claims (15)

1. 車両の運転者の顔面を含む撮影画像を撮影する撮影手段と、
   前記撮影手段で撮影画像が撮影される毎に、該撮影画像に基づき、前記運転者の目の開度を表す推定指標を算出する指標算出手段と、
   前記指標算出手段で順次算出される推定指標のうち、前記運転者が覚醒状態であることを表しているものとして規定された条件に合致する度合いが高いものから順に複数個の推定指標を平均したものを、前記推定指標の基準値として設定することを、前記車両の運転開始から予め規定された規定時間となるまで繰り返し実行する基準値設定手段と、
   前記指標算出手段で順次算出される推定指標と、前記基準値設定手段で設定された基準値とを比較した結果に基づいて、前記運転者が覚醒している度合いを表す覚醒度を推定する覚醒度推定手段と、
   前記規定時間となるまでに前記覚醒度推定手段で順次更新されながら用いられる基準値の信頼性が前記規定時間以降に用いられる基準値の信頼性よりも低いことにより、前記覚醒度推定手段で推定される覚醒度に前記基準値が与える影響が低減されるように、前記車両の運転開始からの時間軸に沿って、前記覚醒度推定手段で推定される覚醒度を補正する補正量を対応付けた補正関数に従って、前記覚醒度を補正した補正覚醒度を算出する覚醒度補正手段と
   を備えることを特徴とする覚醒度算出装置。
2. 前記覚醒度補正手段は、
   前記規定時間よりも長い時間として予め決定された決定時間を経過した以降では、前記補正量が一定となり、前記決定時間までは、単調増加となる関数を、前記補正関数として算出する補正関数算出手段を備えることを特徴とする請求項１に記載の覚醒度算出装置。
3. 前記車両が予め規定された規定車速以上で走行していることを示す高速走行情報を取得する走行状態取得手段を備え、
   前記補正関数算出手段は、
   前記走行状態取得手段にて高速走行情報が取得された場合には、前記高速走行情報が非取得である時に比べて、前記決定時間を短くした前記補正関数を算出することを特徴とする請求項２に記載の覚醒度算出装置。
4. 前記補正関数算出手段は、
   前記運転者毎に予め設定され、一日の睡眠周期を示す概日リズム情報に基づき、前記決定時間を設定することを特徴とする請求項２または請求項３に記載の覚醒度算出装置。
5. 前記補正関数算出手段は、
   前記運転者の心拍数を少なくとも含む生体情報を取得し、その生体情報に基づいて、前記概日リズム情報を生成する概日リズム情報生成手段を備えることを特徴とする請求項４に記載の覚醒度算出装置。
6. 前記概日リズム情報生成手段は、
   前記運転者の心拍数に比例して変動し、前記運転者の覚醒度の高低を表す覚醒指標と、時間との対応関係を前記概日リズム情報とすることを特徴とする請求項５に記載の覚醒度算出装置。
7. 前記生体情報は、心拍変動、体動、睡眠時間のうち、少なくとも一つを含むものであり、
   前記概日リズム情報生成手段は、
   前記心拍変動、体動、睡眠時間のうち、少なくとも一つに基づいて推定される前記運転者の睡眠の質に従って、時間と前記覚醒指標との対応関係を補正した補正概日リズム情報を前記概日リズム情報とすることを特徴とする請求項６に記載の覚醒度算出装置。
8. 前記覚醒度補正手段にて算出された補正覚醒度が予め規定された規定閾値以下である場合、警告を発する警告手段を備えることを特徴とする請求項１ないし請求項７のいずれかに記載の覚醒度算出装置。
9. 前記警告手段は、
   前記補正関数から導出され、前記車両の運転開始からの時間として予め設定された特定時間での前記補正量が、予め設定された第一閾値以上である場合、前記規定閾値の値を増加させることを特徴とする請求項８に記載の覚醒度算出装置。
10. 前記警告手段は、
    前記補正関数から導出され、前記車両の運転開始からの時間として予め設定された特定時間での前記補正量が、予め設定された第二閾値以上である場合には、前記第二閾値未満である場合に比べて、より強い警告を発することを許可することを特徴とする請求項８または請求項９に記載の覚醒度算出装置。
11. 前記概日リズム情報は、時間と、前記運転者の覚醒度の高低を表す覚醒指標との対応関係を示すものであり、
    前記覚醒度補正手段にて算出された補正覚醒度が予め規定された規定閾値以下である場合、警告を発する警告手段を備え、
    前記警告手段は、
    前記概日リズム情報に示され、前記運転開始からの時間として予め設定された特定時間での覚醒指標が、運転者が覚醒状態であることを表している場合、前記規定閾値の値を増加させることを特徴とする請求項４ないし請求項７のいずれかに記載の覚醒度算出装置。
12. 前記概日リズム情報は、時間と、前記運転者の覚醒度の高低を表す覚醒指標との対応関係を示すものであり、
    前記覚醒度補正手段にて算出された補正覚醒度が予め規定された規定閾値以下であり、かつ前記概日リズム情報から導出され、前記運転開始からの時間として予め設定された特定時間での覚醒指標が、運転者が眠気を感じる低覚醒状態にあることを表している場合、運転者が覚醒状態であることを表している場合に比べて、より強い警告を発する警告手段を備えることを特徴とする請求項４ないし請求項７のいずれかに記載の覚醒度算出装置。
13. 前記車両の加速度を取得する加速度取得手段と、
    前記加速度取得手段で取得された加速度が、アクセルの操作、もしくはブレーキの操作を表している場合、前記警告手段が警告を発することを禁止する禁止手段と
    を備えることを特徴とする請求項８ないし請求項１２のいずれかに記載の覚醒度算出装置。
14. 前記車両に備えられたブレーキペダルの操作量を取得するブレーキ操作量取得手段と、
    前記ブレーキ操作量取得手段で取得されたブレーキペダルの操作量が予め規定された規定値以上である場合、前記警告手段が警告を発することを禁止する禁止手段と
    を備えることを特徴とする請求項８ないし請求項１２のいずれかに記載の覚醒度算出装置。
15. 前記車両に備えられたアクセルペダルの操作量を取得するアクセル操作量取得手段と、
    前記アクセル操作量取得手段で取得されたアクセルペダルの操作量が予め規定された規定値以上である場合、前記警告手段が警告を発することを禁止する禁止手段と
    を備えることを特徴とする請求項８ないし請求項１２のいずれかに記載の覚醒度算出装置。

Images