JP4992891B2

JP4992891B2 - 覚醒度判定装置

Info

Publication number: JP4992891B2
Application number: JP2008322476A
Authority: JP
Inventors: 幸佐甲斐田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-12-18
Filing date: 2008-12-18
Publication date: 2012-08-08
Anticipated expiration: 2028-12-18
Also published as: JP2010142410A

Description

本発明は、車両を運転する運転者の覚醒度を判定する覚醒度判定装置に関する。

従来から、ヘッドマウントディスプレイ（ＨＭＤ）の利用者の覚醒度を判定する覚醒度判定装置として、利用者の眼球運動を検出し、利用者の眼の移動量を測定し、移動量の標準偏差の時間依存性から覚醒度を判定するものが知られている（例えば、特許文献１参照）。この装置は、移動量の標準偏差が時間の経過と共に増大している場合に、眼が目標に対して集中しておらず覚醒度が低下していると判定し、利用者に対してＨＭＤの利用を一旦中止するメッセージを表示する。
特開平８−１９５２０号公報

しかしながら、上記特許文献１記載の覚醒度判定装置は、移動量の標準偏差が時間の経過と共に増大している場合に、覚醒度が低下していると判定するので、車両を運転する運転者の覚醒度を適切に判定することができない。

そこで、車両を運転する運転者の覚醒度を適切に判定すべく、移動量の標準偏差が時間の経過と共に減少している場合に、眼の動きが鈍く覚醒度が低下していると判定することが考えられる。しかし、眼の動きが活発な場合であっても、眼の動きが単調な場合には、覚醒度が低下していると考えられるので、判定精度が十分ではない。

本発明は、上記に鑑みてなされたものであって、車両を運転する運転者の眼球運動の検出結果に基づいて運転者の覚醒度を適切に判定することができる覚醒度判定装置の提供を目的とする。

前記目的を達成するため、本発明は、車両を運転する運転者の覚醒度を判定する覚醒度判定装置において、
前記運転者の眼球運動を検出する眼球運動検出手段と、
前記眼球運動検出手段の検出結果に基づいて前記運転者の眼の移動量を所定時間毎に測定し前回の前記移動量との差分を順次記憶する差分記憶手段と、
前記差分の標準偏差が時間の経過と共に低下したとき、前記運転者の覚醒度が低下していると判定する覚醒度判定手段とを備える。

本発明によれば、車両を運転する運転者の眼球運動の検出結果に基づいて運転者の覚醒度を適切に判定することができる覚醒度判定装置が得られる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の覚醒度判定装置の一実施例を示す機能ブロック図である。覚醒度判定装置は、車両を運転する運転者の覚醒度を判定する電子制御ユニット（以下、「覚醒度判定ＥＣＵ」という）１０を中心に構成されている。

覚醒度判定ＥＣＵ１０は、マイクロコンピュータによって構成され、例えば、ＣＰＵ、制御プログラムを格納するＲＯＭ、演算結果等を格納する読書き可能なＲＡＭ、時間を計測するタイマ、演算等の処理の回数を計測するカウンタ、入力インターフェイス、及び出力インターフェイス等を有する。覚醒度判定ＥＣＵ１０には、眼球運動検出手段２０、報知手段３０、及び情報入力装置４０が接続されている。

眼球運動検出手段２０は、運転者の眼球運動を検出する手段である。眼球運動検出手段２０は、周知の構成であってよく、例えば、運転者の眼球を照明する赤外光源、運転者の眼球を撮像するＣＣＤカメラやＣＭＯＳカメラ等の撮像素子、及び撮像素子によって撮像された画像（以下、「顔画像」という）を画像処理するマイクロコンピュータを含み構成される。

眼球運動検出手段２０は、顔画像を画像処理して角膜（黒目）及び強膜（白目）の領域を抽出し、各領域の形状変化に基づき運転者の眼球運動を検出する。例えば、先ず、顔画像を撮像素子を基準とする座標系から運転者の眼を基準とする座標系に座標変換する。次いで、画像の中心点を移動させ、或いは画像を拡大縮小させて歪みのない修正画像を作成する。最後に、修正画像から角膜（黒目）及び強膜（白目）の領域を抽出し、各領域の形状変化に基づき運転者の眼球運動を検出する。

尚、本実施例の眼球運動検出手段２０は、顔画像を画像処理して眼球運動を検出するとしたが、眼球運動検出手段２０の方式ないし種類に制限はない。例えば、角膜（黒目）と強膜（白目）との反射率の違いを利用して検出を行う強膜反射法や角膜（黒目）上の赤外光の虚像の移動を利用して検出を行う角膜反射法であってもよいし、角膜と網膜との電位差を利用して検出を行うＥＯＧ法であってもよい。

眼球運動検出手段２０は、運転者の眼球運動の検出結果を覚醒度判定ＥＣＵ１０へ出力する。

報知手段３０は、運転者に対して覚醒度の低下を報知する手段である。報知手段３０は、例えば、専用インジケータ３２ａや液晶ディスプレイ３２ｂ等の画像表示装置３２、スピーカ３４を含み構成される。報知手段３０は、覚醒度判定ＥＣＵ１０によって制御され、専用インジケータ３２ａによる点灯又は点滅表示、液晶ディスプレイ３２ｂによる文字又は画像表示、スピーカ３４による音声案内等によって運転者に対して報知を行う。

情報入力装置４０は、渋滞等の車両周辺の状態を示す情報、運転者に関する情報、車速情報を入力する装置である。情報入力装置４０は、例えば、図１に示すように、ナビゲーション装置４２、車外カメラ４４、無線通信機４６、及び車速センサ４８を含み構成される。

ナビゲーション装置４２は、ＧＰＳ受信機によるＧＰＳ衛星からの受信情報及び地図データベース内の地図情報に基づいて自車両の地図上での位置を認識し、自車両の地図上での位置を示す地図画像を画像表示する装置である。

地図データベースは、緯度経度に対応づけて格納されたＨＤＤやＣＤやＤＶＤ−ＲＯＭ等の記録媒体である。地図データベース内の地図情報には、車両が走行する一般道や高速道路に関する情報や、店舗やビル等の建物に関する情報が含まれており、特に信号機や道路標識の設置位置に関する情報が含まれている。

車外カメラ４４は、車両周辺を撮像するカメラである。車外カメラ４４は、車両周辺を撮像した周辺画像を画像処理して、信号機や道路標識、歩行者の有無を検出する。例えば、ＲＯＭ等のメモリに登録済みの標準画像データとのマッチング処理によって、信号機や道路標識、歩行者の有無を検出する。また、車外カメラ４４は、車両前方を撮像した前方画像を画像処理してサリエンシーマップ（ＳａｌｉｅｎｃｙＭａｐ）を作成する。サリエンシーマップとは、対象物の視覚的特徴に起因して運転者が自然と見てしまう位置の確率分布である。

無線通信機４６は、無線交信を行う装置である。例えば、無線通信機４６は、ＶＩＣＳセンターから送信された渋滞情報等の交通情報を受信する。また、無線通信機４６は、運転者が携帯する携帯機（例えば、スマートキー）から送信されたＩＤコードを受信する。

車速センサ４８は、車速Ｖを検出するセンサである。車速センサ４８には、例えば、各車輪の回転速度に応じたパルス信号を出力するホール素子が用いられる。

情報入力装置４０は、各種情報を覚醒度判定ＥＣＵ１０へ所定時間毎に出力する。各種情報には、走行道路における渋滞の有無、走行道路が市街地か郊外かの別、車両周辺の信号機や道路標識の有無、車両周辺の歩行者の有無、サリエンシーマップ、携帯機のＩＤコード、車速Ｖが含まれている。

図２は、覚醒度判定ＥＣＵ１０の主要機能を示すブロック図である。図２に示すように、覚醒度判定ＥＣＵ１０は、差分記憶部（差分記憶手段）１２、標準偏差算出部（標準偏差算出手段）１４、覚醒度判定部（覚醒度判定手段）１６、及び報知制御部（報知制御手段）１８を備える。

覚醒度判定ＥＣＵ１０は、各部１２−１８に対応するプログラムをＲＯＭ等のメモリに格納し、これらのプログラムをＣＰＵに処理させることで各部１２−１８が有する機能を実現する。各部１２−１８の詳細については後述する。

差分記憶部１２は、眼球運動検出手段２０の検出結果に基づいて運転者の眼の移動量を所定時間Ｔａ毎に測定し、前回の移動量Ｘ_ｉとの差分ΔＸ_ｉ（ΔＸ_ｉ＝Ｘ_ｉ＋１−Ｘ_ｉ（ｉは１以上の自然数））を順次記憶する記憶部である。差分記憶部１２は、記憶した差分ΔＸ_ｉのデータを設定時間経過後に消去してもよい。

ここで、運転者の眼の移動量は、所定時間Ｔａ毎に撮像した複数の顔画像を順次画像処理して測定される。例えば、画像処理によって角膜（黒目）の中心位置を順次検出し、中心位置の変化に基づいて水平方向及び垂直方向の２次元的な移動量を測定する。尚、画像処理によって角膜（黒目）の輪郭形状を順次検出し、輪郭形状の変化に基づいて３次元的な移動量を測定してもよい。

標準偏差算出部１４は、差分記憶部１２によって記憶された差分ΔＸ_ｉ（ｉ＝１、２・・・ｎ）の所定時間Ｔｂの間の標準偏差ＳＤを繰り返し算出する。標準偏差ＳＤは、周知の式１に従って算出される。

図３は、横軸を時間軸として標準偏差ＳＤの推移を示す図である。より詳しくは、図３は、横軸に時間軸に相当する繰り返し回数ｊ（ｊは１以上の自然数）を配し、縦軸に各回の標準偏差ＳＤ_ｊと初回の標準偏差ＳＤ_１との差分（ＳＤ_ｊ−ＳＤ_１）を配し、標準偏差ＳＤの推移を示す図である。

図３は、右利きの運転者の右眼の移動量を０．０１秒毎に測定して前回の移動量との差分ΔＸ_ｉを順次記憶し、差分ΔＸ_ｉの２０分間の標準偏差ＳＤを４回繰り返し算出した結果である。尚、図３は、同じ走行経路、同じ車種の車両を運転した９人の運転者のデータを示している。

図３から明らかなように、全ての運転者について、標準偏差ＳＤが時間の経過と共に低下する傾向が見られた。これは、時間の結果と共に、運転者が疲労して、運転者の眼の動きが鈍くなったり、運転者の眼の動きが単調になったりしたためと推定される。

覚醒度判定部１６は、標準偏差算出部１４によって算出された標準偏差ＳＤが時間の経過と共に低下したとき、運転者の覚醒度が低下していると判定する。

例えば、覚醒度判定部１６は、標準偏差ＳＤが時間の経過と共に所定幅以上低下したとき、運転者の覚醒度が低下していると判定する。言い換えると、標準偏差ＳＤが時間の経過と共に所定時間の間に低下しており、最初と最後との差分の絶対値が閾値以上となったとき、運転者の覚醒度が低下していると判定する。

例えば、標準偏差ＳＤが判定開始時から所定時間Ｔｃ経過後に所定幅ＳＤａ以上低下したとき（例えば、（ＳＤ_１−ＳＤ_ｊ）≧ＳＤａ）、運転者の覚醒度が低下していると判定する。また、標準偏差ＳＤが所定時間Ｔｄの間に所定幅ＳＤｂ以上低下したとき（例えば、（ＳＤ_ｊ−ＳＤ_ｊ＋１）≧ＳＤｂ）、運転者の覚醒度が低下していると判定してもよい。尚、所定幅ＳＤａ、ＳＤｂは、ＲＯＭ等のメモリに予め格納されている。

ここで、所定幅ＳＤａ、ＳＤｂは、情報入力装置４０からの車両周辺の状態を示す情報に応じて可変とされてよい。車両周辺の状態を示す情報としては、走行道路における渋滞の有無、走行道路が市街地か郊外かの別、車両周辺の信号機や道路標識の有無、車両周辺の歩行者の有無、サリエンシーマップが用いられる。これにより、車両周辺の状態を考慮して覚醒度の判定を行うことができ、覚醒度を精度良く判定することができる。

また、所定幅ＳＤａ、ＳＤｂは、運転者に関する情報に応じて可変とされてもよい。運転者に関する情報としては、運転者の識別情報（ＩＤコード）、運転者の年齢が用いられる。これらの運転者に関する情報は、互いに関連付けてＲＯＭ等のメモリに予め格納されており、情報入力装置４０から出力される携帯機のＩＤコードとの照合結果に基づいて読み出される。これにより、各運転者間の個人差を考慮して覚醒度の判定を行うことができ、覚醒度を精度良く判定することができる。

また、覚醒度判定部１６は、標準偏差ＳＤが時間の経過と共に所定パーセント以上低下したとき、運転者の覚醒度が低下していると判定してもよい。所定パーセントを用いる場合、所定幅ＳＤａ、ＳＤｂを用いる場合に比較して、各運転者間の個人差を考慮して覚醒度の判定を行うことができ、覚醒度を精度良く判定することができる。尚、所定パーセントは、所定幅ＳＤａ、ＳＤｂと同様に、車両周辺の状態を示す情報や、運転者に関する情報に応じて可変とされてもよい。

報知制御部１８は、覚醒度判定部１６によって運転者の覚醒度が低下していると判定されると、報知手段３０を制御して、運転者に対する報知制御を行う。これにより、運転者の注意を喚起したり、運転者に休息を促すことができる。

図４は、覚醒度判定ＥＣＵ１０によって実行される処理の一例を示す図である。覚醒度判定ＥＣＵ１０は、エンジンや電気モータ等の走行駆動源が始動されてから、走行駆動源が停止されるまで、図４のＳ１００以降の処理を、所定時間Ｔｂ毎に行う。

尚、覚醒度判定ＥＣＵ１０は、特定の状況下で図４のＳ１００以降の処理を行うことで、誤判定を防止してもよい。例えば、車速Ｖが閾値Ｖａ（例えば、６０ｋｍ／ｈ）未満のとき各処理（特にＳ１００）を一旦中止し、車速Ｖが閾値Ｖａ以上になると各処理を再開してもよい。これにより、交差点やカーブ走行による誤判定を防止することができる。尚、車速Ｖは車速センサ４８からのパルス信号に基づいて算出され、車速Ｖの閾値ＶａはＲＯＭ等のメモリに予め格納されている。

図４のＳ１００では、先ず、差分記憶部１２が、眼球運動の検出結果に基づいて運転者の眼の移動量を所定時間Ｔａ毎に測定し、前回の移動量Ｘ_ｉとの差分ΔＸ_ｉ（ΔＸ_ｉ＝Ｘ_ｉ＋１−Ｘ_ｉ（ｉは１以上の自然数））を順次記憶する。

次いで、標準偏差算出部１４が、差分ΔＸ_ｉ（ｉ＝１、２・・・ｎ）の所定時間Ｔｂの間の標準偏差ＳＤを算出する（Ｓ１０２）。

次いで、覚醒度判定部１６が、標準偏差ＳＤが判定処理開始時（例えば、エンジン始動時）から所定時間Ｔｃ経過後に所定幅ＳＤａ以上低下したか否か判定する（Ｓ１０４）。所定幅ＳＤａ以上低下していない場合（Ｓ１０４、ＮＯ）、運転者の覚醒度が十分であると判定し（Ｓ１０６）、今回の処理を終了する。

一方、所定幅ＳＤａ以上低下した場合（Ｓ１０４、ＹＥＳ）、運転者の覚醒度が低下していると判定し（Ｓ１０８）、続いて、報知制御部１８が、報知手段３０を制御して、運転者に対して報知制御を行い（Ｓ１１０）、今回の処理を終了する。

このように、本実施例の覚醒度判定装置は、運転者の眼の移動量Ｘ_ｉ＋１を所定時間Ｔａ毎に測定し前回の移動量Ｘ_ｉとの差分ΔＸ_ｉを順次記憶し、差分ΔＸ_ｉの所定時間Ｔｂの間の標準偏差ＳＤの時間依存性から覚醒度を判定するので、運転者の覚醒度を適切に判定することができる。

仮に、運転者の眼の移動量Ｘ_ｉの標準偏差の時間依存性から覚醒度を判定する場合、眼の動きが単調な場合を識別することができない。従って、覚醒度の判定精度が十分ではない。

一方で、本実施例では、移動量Ｘ_ｉの差分ΔＸ_ｉの標準偏差ＳＤの時間依存性から覚醒度を判定するので、眼の動きが単調な場合を識別することができる。従って、覚醒度を精度良く判定することができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述した実施例において、覚醒度判定部１６は、標準偏差算出部１４によって算出された標準偏差ＳＤが時間の経過と共に低下したとき、運転者の覚醒度が低下していると判定するとしたが、時間の経過と関係なく、標準偏差ＳＤが閾値以下となったとき、運転者の覚醒度が低下していると判定してもよい。これにより、乗車時から運転者の覚醒度が十分ではない場合であっても、運転者の覚醒度を適切に判定することができる。

また、上述した実施例において、標準偏差算出部１４は、差分ΔＸ_ｉの所定時間Ｔｂの間の標準偏差ＳＤを繰り返し算出するとしたが、本発明はこれに限定されない。例えば、標準偏差算出部１４は、差分ΔＸ_ｉの所定時間Ｔｂの間の標準偏差ＳＤを所定時間Ｔｅ（Ｔｅ＞Ｔｂ或いはＴｅ＜Ｔｂ）毎に算出してもよい。ここで、所定時間Ｔｂや所定時間Ｔｅは可変とされてもよく、例えば、標準偏差算出部１４は、差分ΔＸ_ｉの１０分間の標準偏差ＳＤを算出した後、差分ΔＸ_ｉの２０分間の標準偏差ＳＤを算出してもよい。

また、上述した図３において、運転者の右眼の移動量を所定時間Ｔａ毎に測定するとしたが、運転者の左眼の移動量を所定時間Ｔａ毎に測定してもよい。

また、上述した図４において、覚醒度判定ＥＣＵ１０は、走行駆動源が始動されてからＳ１００以降の処理を開始するとしたが、本発明はこれに限定されない。例えば、覚醒度判定ＥＣＵ１０は、走行駆動源が始動され、且つ車速Ｖが閾値Ｖｂ以上になってからＳ１００以降の処理を開始してもよい。

本発明の覚醒度判定装置の一実施例を示す機能ブロック図である。覚醒度判定ＥＣＵ１０の主要機能を示すブロック図である。横軸を時間軸として標準偏差ＳＤの推移を示す図である。覚醒度判定ＥＣＵ１０が実行する処理の一例を示すフローチャートである。

符号の説明

１０覚醒度判定ＥＣＵ
１２差分記憶部（差分記憶手段）
１４標準偏差算出部（標準偏差算出手段）
１６覚醒度判定部（覚醒度判定手段）
１８報知制御部（報知制御手段）
２０眼球運動検出手段
３０報知手段
４０情報入力装置
４２ナビゲーション装置
４４車外カメラ
４６無線通信機
４８車速センサ

Claims

車両を運転する運転者の覚醒度を判定する覚醒度判定装置において、
前記運転者の眼球運動を検出する眼球運動検出手段と、
前記眼球運動検出手段の検出結果に基づいて前記運転者の眼の移動量を所定時間毎に測定し前回の前記移動量との差分を順次記憶する差分記憶手段と、
前記差分の標準偏差が時間の経過と共に低下したとき、前記運転者の覚醒度が低下していると判定する覚醒度判定手段とを備える覚醒度判定装置。