JPH06255388A - 運転状態検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 撮影された運転者の顔画像を処理することに
より種々の走行環境により輝度変化が生じても、確実に
運転者の運転状態を検出する。 【構成】 車両運転者を撮影するカメラ１０からの画像
は画像処理装置１２に供給され、濃淡正規化を行う。ま
た、正規化された画像に対して予め顔及び目領域を特定
した標準テンプレートを用いて相関演算を行い、運転者
用の対象顔テンプレート及び対象目テンプレートを作成
する。そして、正規化された画像に対して前記対象テン
プレートを用いて相関演算を行い、ＥＣＵ１６に供給す
る。ＥＣＵ１６は相関値の変化に基づき運転者の運転状
態を検出する。正規化を行うことにより周囲の輝度によ
らず、また相関演算を行うことにより確実に運転者の異
常状態を検出できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は運転状態検出装置、特に
撮影して得られた運転者の顔画像を処理して運転者の運
転状態を検出する装置に関する。

【０００２】

【従来の技術】従来より、走行の安全性向上を図るべく
種々の装置が開発、搭載されており、運転者の運転状態
を車載カメラ等で監視し、居眠りやわき見運転等を検出
して警報などを与える運転状態検出装置もその一つであ
る。

【０００３】例えば、特開昭６３−１７４４９０号公報
では、映像信号をＡ／Ｄ変換し、一定期間毎に映像メモ
リに格納し、その映像メモリ内容と基準映像とを比較し
て差異があれば動きがあるとする技術を開示している。
すなわち、デジタル基準映像信号とデジタル映像信号が
ともに比較器に入力され、比較器は両デジタル信号を比
較（減算）して一定値以上の差異がある場合には動き検
知信号を出力する。ここで、基準映像は基準映像メモリ
に格納されるが、基準メモリ内容は用途に応じて適宜所
定のタイミングで更新され、太陽のかげりなどの輝度変
化を誤検出することを防止している。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな動き検知装置を車両に搭載する場合、走行環境に応
じて撮影時の輝度は種々変化するので、基準映像を頻繁
に更新しなければならず、基準画像の意義が失われてし
まう問題がある。運転者の運転状態が正常か否かを検出
するには、予め正常な運転状態にある運転者画像を基準
画像として記憶しておく必要があるが、このように頻繁
に基準画像を更新しなければならないとすると、どれが
正常な運転状態の画像なのか判別できないからである。

【０００５】もちろん、このような走行状況に応じて変
化する周囲輝度変化の影響を除去すべく、輝度の正規化
を行うことも考えられるが、例えば運転者の瞼の開度に
より運転者の目の領域の輝度が変化することを利用して
いねむり運転を検出しようとする場合、正規化を行うと
実画像では輝度の変化が生じているにもかかわらず、正
規化画像では輝度変化が見られない場合が生じ、正規化
画像同士を単に差分演算して動きを検出する構成では、
運転状態を正確に検出できない問題がある。

【０００６】本発明は上記従来技術の有する課題に鑑み
なされたものであり、その目的は種々の走行環境により
輝度変化が生じても、確実に運転者の運転状態を検出す
ることができる運転状態検出装置を提供することにあ
る。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の運転状態検出装置は、車両運転者を
撮影する撮像手段と、得られた画像の濃淡正規化を行う
正規化手段と、正規化された画像に対して予め顔及び目
領域を特定した標準テンプレートを用いて相関演算を行
い、運転者用の対象顔テンプレート及び対象目テンプレ
ートを作成する対象テンプレート作成手段と、正規化さ
れた画像に対して前記対象テンプレートを用いて相関演
算を行い、相関値の変化に基づき運転者の運転状態を検
出する検出手段とを有することを特徴とする。

【０００８】また、上記目的を達成するために、請求項
２記載の運転状態検出装置は、請求項１記載の運転状態
検出装置において、前記検出手段は、正規化された画像
に対して前記対象テンプレートを用いて相関演算を行
い、最も相関の高い位置までの前記対象テンプレートの
移動量に基づき運転者の運転状態を検出することを特徴
とする。

【０００９】

【作用】このように、本発明の運転状態検出装置は、正
規化画像と運転者固有の対象テンプレートとの相関演算
を行うことにより、運転者の運転状態を検出するもので
ある。すなわち、予め定められた標準テンプレートと正
規化撮影画像との相関演算により、運転状態を検出する
対象となる運転者固有の対象テンプレートを作成する。
そして、この対象テンプレートと正規化画像の対応する
範囲の画像との相関演算を行い、相関値の変化から運転
者の目の状態及び顔の方向を検出するのである。ここ
で、正規化画像を用いることにより走行環境によって変
化する背景輝度の変化の影響を除去し、また相関演算を
行うことにより確実に運転者の変化の状態を検出でき
る。

【００１０】以下、図１０ないし図１３を用いて本発明
による相関演算による検出を従来の差分演算による検出
と比較しながら説明する。

【００１１】図１０には標準テンプレートを用いて対象
となる運転者の目領域の対象テンプレートが模式的に示
されている。対象テンプレートの画面最小輝度は０、画
面最大輝度は２００であり、原画像の対象テンプレート
の目の近傍領域の輝度は５０、目本体の輝度は１００と
する。この原画像を１−２５６で正規化、すなわち最小
輝度を１、最大輝度を２５６としたときの対象テンプレ
ートの輝度は同図（ｂ）に示されており、目の近傍領域
の輝度は６４、目本体の輝度は１２８となる。

【００１２】一方、図１１には時刻ｔ、ｔ＋１、ｔ＋２
における原画像（ｃ）−（ｅ）及びその正規化画像
（ｆ）−（ｈ）が示されている。なお、図１１には同時
にこのときの運転者の目の状態が示されており、時刻ｔ
では正常な状態、ｔ＋１では運転者の覚醒度が低く瞼を
閉じている状態、ｔ＋２ではその中間の状態である。

【００１３】図１０に示された対象テンプレートと図１
１に示された各時刻における撮影画像との差分を演算し
た結果が図１２に示されている。図１２（ｉ）−（ｋ）
が原画像の差分結果を示しており、図１２（ｌ）−
（ｎ）が正規化画像の差分結果を示している。原画像の
目本体の差分結果は５０、１００、５０と変化している
が、この変化が周囲の輝度変化によるものなのか、ある
いは目の状態の変化によるものなのかは判別できない。
一方、正規化した画像では周囲の輝度変化による影響を
除去しているが、その差分結果は０、６４、６４と目の
状態変化に応じた値となっていない。これは、言うまで
もなく、各時刻における正規化時の比率が異なるため、
異なる時刻での差分を演算しても、その差分値自体には
なんら物理的意味はないことによるものである。

【００１４】そこで、図１０の対象テンプレートと図１
１の各時刻における正規化画像の相関演算を行った結果
が図１３（ｏ）、（ｐ）、（ｑ）に示されている。相関
値は０，１２８，６４と各時刻における目の状態に対応
した値が得られている（相関値が小さい程対象テンプレ
ートと似ており、従って目が正常に開いていることを示
す）。これは、相関演算が、画像個々の部分の値ではな
く、画像全体のパターンの類似性を反映することに基づ
くものであり、背景輝度によらず、かつ確実に運転者の
運転状態を検出できることが理解される。

【００１５】

【実施例】以下、図面を用いながら本発明の運転状態検
出装置の好適な実施例について説明する。

【００１６】第１実施例 図１には本実施例の構成ブロック図が示されている。運
転者を撮影するカメラ１０が車両の所定位置に設けら
れ、得られた運転者の顔画像を画像処理装置１２に供給
する。画像処理装置１２はＡ／Ｄ変換器、正規化回路及
び相関演算回路を備え、入力された画像信号をデジタル
信号に変化し、さらに濃淡正規化処理を行う。正規化処
理は、画像中の最小輝度を１、最大輝度を２５６とする
濃淡正規化により行われる。一方、画像処理装置１２に
は予めメモリ１４に格納された標準テンプレート（顔テ
ンプレート及び目テンプレート）が入力され、画像信号
と標準テンプレートとの相関演算が行われる。図４には
標準テンプレートが模式的に示されており、図４（ａ）
は顔領域テンプレートであり、図４（ｂ）は目領域テン
プレートが示されている。そして、画像処理装置１２は
画像信号と標準テンプレートとの相関演算の結果に基づ
き運転状態を検出する対象となっている運転者の対象顔
領域テンプレートさらにはこの対象顔領域テンプレート
を用いて目領域テンプレートを作成し、メモリ１４に格
納する。一般に、運転者によって顔の位置及び目の位置
が異なっているため、的確に運転状態を検出するために
は対象となっている運転者固有のテンプレートを用意す
る必要があるからである。

【００１７】対象テンプレートが作成された後、任意の
時刻で撮影された画像がカメラ１０から供給されると、
画像処理装置は入力され正規化された画像とメモリ１４
から読み出した対象テンプレートとの相関演算を行い、
その演算結果を電子制御装置ＥＣＵ１６に供給する。Ｅ
ＣＵ１６は入力された演算結果から運転者の瞼の開度や
顔の向きを判定し、居眠り運転やわき見運転と判定され
た場合に図示しない警報装置を作動させて運転者に注意
を促す構成である。

【００１８】以下、図２の処理フローチャートを用いて
画処理装置１２ないしＥＣＵ１６の動作をより詳細に説
明する。

【００１９】図２において、まず、カメラ１０にて運転
者の顔画像を撮影し（Ｓ１０１）、画像処理装置１２に
供給する。画像処理装置は入力された顔画像の濃淡正規
化処理を行い（Ｓ１０２）、車両の走行環境に応じて種
々変化する背景画像の輝度によらない顔画像を作成す
る。そして、予めメモリ１４に格納された標準顔テンプ
レートを読み出し、前記正規化顔画との相関演算を行
う。相関演算は、正規化顔画像をＴ（ｘ，ｙ）、標準テ
ンプレートをＳ（ｘ，ｙ）とした場合、 Ｍ＝ΣΣ｜Ｔ（ｘ，ｙ）−Ｓ（ｘ，ｙ）｜ により算出される。相関値Ｍが最小になる位置が正規化
画像上における顔領域となるので、これを対象顔領域テ
ンプレートとしてメモリ１４に格納する。そして、この
対象顔領域テンプレート内画像と標準目領域テンプレー
トとの相関を上記と同様に演算し、最も相関の高い、す
なわち相関値が最小になる領域を検出して対象目領域テ
ンプレートとし、メモリ１４に格納する（Ｓ１０３）。
なお、この時、対象テンプレートの画像上の位置も同時
にメモリに格納する。図５（ａ）には標準テンプレート
が模式的に示され、図５（ｂ）にはこの標準テンプレー
トを用いて作成された対象となる運転者の対象顔領域テ
ンプレート及び対象目領域テンプレートが模式的に示さ
れている。運転者が異なると、当然ながら標準テンプレ
ートと対象テンプレートとは異なることになる。

【００２０】このようにして運転状態を検出しようとす
る運転者の固有の目領域のテンプレート（対象目領域テ
ンプレート）が作成された後、任意の時刻ｔにおける運
転者の顔画像がカメラ１０により撮影され、画像処理装
置１２に入力される。画像処理装置１２はこの顔画像を
デジタル化し、さらに１−２５６に正規化する（Ｓ１０
４）。そして、得られた正規化顔画像とメモリ１４に格
納された対象目領域テンプレートとの相関演算を行う
（Ｓ１０８）。すなわち、メモリに格納された対象目領
域テンプレートの位置にある正規化画像と対象目領域テ
ンプレートとの相関演算を行う。そして、相関演算の結
果得られる相関値は順次ＥＣＵ１６に供給される。ＥＣ
Ｕ１６は供給された相関値に変化があるか否か、そして
その変化の周期がどの程度かを判定する（Ｓ１０６）。

【００２１】ここで、運転者が正面を向いて周囲の状態
を確認しながら運転する正常状態では、相関値変動は短
い周期となる。一方、運転者の覚醒度が低く、瞼を閉じ
ている状態やわき見で正面を向いていない場合には相関
値変動周期は増大する。図６には運転者が正常な状態と
異常な（居眠り）状態とが表され、図７にはこのときの
相関値変動の一例が示されている。図において横軸は時
間ｔ、縦軸は相関値を示しており、図中ア及びイにおい
て相関値変動の周期が長く（例えば２秒以上）なってい
る。従って、相関値に変化があり、かつその変化の周期
が一定値以上である場合には、運転者の覚醒度が低く、
瞼が閉じられている時間が長く、運転者に異常が発生し
ていると判断して警報により注意を促す（Ｓ１０７）。

【００２２】なお、相関値変動幅が一定値以上であって
も、運転者の異常状態と判定できることはいうまでもな
い。

【００２３】このように、本実施例では対象目領域テン
プレートと正規化撮影画像の相関値の変化から運転者が
居眠りをしているか否か、わき見をしているか否かを判
定でき、走行環境によらず運転者の異常を確実に検出し
て注意を促すことができる。

【００２４】第２実施例 図３には本発明の第２実施例のフローチャートが示され
ている。本実施例の構成は図１と同様であり、カメラ１
０にて運転者の顔画像を撮影し（Ｓ２０１）、画像処理
装置１２に供給する。画像処理装置１２は入力された顔
画像の濃淡正規化処理を行い（Ｓ２０２）、車両の走行
環境に応じて種々変化する背景画像の輝度によらない顔
画像を作成する。そして、予めメモリ１４に格納された
標準顔テンプレートを読み出し、前記正規化顔画との相
関演算を行う。相関演算は、正規化顔画像をＴ（ｘ，
ｙ）、標準テンプレートをＳ（ｘ，ｙ）とした場合、 Ｍ＝ΣΣ｜Ｔ（ｘ，ｙ）−Ｓ（ｘ，ｙ）｜ により算出される。相関値Ｍが最小になる位置が正規化
画像上における顔領域となるので、これを対象顔領域テ
ンプレートとしてメモリ１４に格納する。このとき、対
象顔領域テンプレートの画像上の位置も同時に格納す
る。そして、この対象顔領域テンプレート内画像と標準
目領域テンプレートとの相関を上記と同様に演算し、最
も相関の高い、すなわち相関値が最小になる領域を検出
して対象目領域テンプレートとし、メモリ１４に格納す
る（Ｓ２０３）。なお、この時、対象目領域テンプレー
トの画像上の位置も同時にメモリに格納する。

【００２５】そして、この第２実施例において特徴的な
ことは、対象顔領域テンプレートと対象目領域テンプレ
ートそれぞれの相関演算を行い、相関値が最小となる位
置までのテンプレート移動量から運転者の運転状態を検
出する点である。

【００２６】すなわち、図３において、Ｓ２０１−Ｓ２
０４まではＳ１０１−Ｓ１０４と同様であり、次に撮影
画面に対しメモリ１４に格納されている対象顔領域テン
プレートと対象目領域テンプレートとの相関演算を行う
（Ｓ２０５）。この演算は、対象テンプレートの位置に
ある撮影画像内の画像と対象テンプレートとの相関を演
算することにより行われる。相関結果はＥＣＵ１６に供
給される。

【００２７】ＥＣＵ１６は供給された相関結果から、相
関値が最小となる位置を検出し、この位置までに対象テ
ンプレートが移動した量を算出する（Ｓ２０６）。この
算出は、相関値が最小となる位置とメモリ１４に格納さ
れた対象テンプレートの位置の差分を算出することによ
り行われる。そして、算出された顔領域の移動量、目領
域の移動量が所定時間以上、所定量以上であるか否かが
判定される（Ｓ２０７）。

【００２８】図８には運転者が正常な状態（ａ）及びわ
き見状態（ｂ）が示されており、図９にはそのときの目
領域の移動量が示されている。図９において図中ア及び
イにおいて移動量が所定時間所定値以上となっており、
わき見をしていると判断できる。このように、運転者が
わき見をしている場合には顔領域の移動量が所定時間以
上、所定量以上となり、また、運転者が正面を向いてい
ない場合には目領域の移動量が所定時間以上、所定量以
上となるので、それぞれ異常状態と判定され、警報が発
せられる（Ｓ２０８）。

【００２９】このように、本第２実施例では対象顔領域
テンプレートと正規化撮影画像との相関が最もよい位置
までの移動量により運転者の顔の移動量を評価し、また
対象目領域テンプレートと正規化撮影画像との相関が最
もよい位置までの移動量により運転者の目の移動量を評
価してわき見運転や注視点などを検出し、異常状態を検
出して注意を促すことができる。

【００３０】なお、前述した第１実施例における相関値
変動と本実施例における移動量とを組み合わせて警報を
発生させる構成としてもよい。

【００３１】

【発明の効果】以上説明したように、本発明の運転状態
検出装置によれば、種々の走行環境により輝度変化が生
じても、確実に運転者の運転状態を検出することがで
き、警報等により注意を喚起することができる。

【図面の簡単な説明】

【図１】本発明の実施例の構成ブロック図である。

【図２】本発明の実施例の処理フローチャートである。

【図３】本発明の他の実施例の処理フローチャートであ
る。

【図４】本発明の実施例の標準テンプレートの説明図で
ある。

【図５】本発明の実施例の対象テンプレートの説明図で
ある。

【図６】本発明の実施例の運転状態説明図である。

【図７】本発明の実施例の相関値変化説明図である。

【図８】本発明の他の実施例の運転状態説明図である。

【図９】本発明の他の実施例の移動量の説明図である。

【図１０】本発明の作用説明図である。

【図１１】本発明の作用説明図である。

【図１２】本発明の作用説明図である。

【図１３】本発明の作用説明図である。

【符号の説明】

１０ カメラ １２ 画像処理装置 １４ メモリ １６ ＥＣＵ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 車両運転者の顔画像を処理することによ
   り運転者の運転状態を検出する運転状態検出装置であっ
   て、 車両運転者を撮影する撮像手段と、 得られた画像の濃淡正規化を行う正規化手段と、 正規化された画像に対して予め顔及び目領域を特定した
   標準テンプレートを用いて相関演算を行い、運転者用の
   対象顔テンプレート及び対象目テンプレートを作成する
   対象テンプレート作成手段と、 正規化された画像に対して前記対象テンプレートを用い
   て相関演算を行い、相関値の変化に基づき運転者の運転
   状態を検出する検出手段と、 を有することを特徴とする運転状態検出装置。
2. 【請求項２】 請求項１記載の運転状態検出装置におい
   て、 前記検出手段は、正規化された画像に対して前記対象テ
   ンプレートを用いて相関演算を行い、最も相関の高い位
   置までの前記対象テンプレートの移動量に基づき運転者
   の運転状態を検出することを特徴とする運転状態検出装
   置。