JPH08175218A - 運転状態検出装置 - Google Patents
運転状態検出装置Info
- Publication number
- JPH08175218A JPH08175218A JP32269494A JP32269494A JPH08175218A JP H08175218 A JPH08175218 A JP H08175218A JP 32269494 A JP32269494 A JP 32269494A JP 32269494 A JP32269494 A JP 32269494A JP H08175218 A JPH08175218 A JP H08175218A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- area
- target
- driver
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Emergency Alarm Devices (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Abstract
(57)【要約】
【目的】 本発明は運転状態検出装置に関し、目領域を
確実に設定して顔画像内の目の位置を誤りなく検出でき
ることを目的とする。 【構成】 目領域検出手段Ｍ３は、撮像された画像に対
して、対象テンプレートを用いて相関演算を行い、運転
者の目領域を検出する。判定手段Ｍ４は、検出された目
領域の画像から運転者の運転状態を判定する。また、テ
ンプレート作成手段Ｍ２の対象顔領域設定手段Ｍ５は、
撮像された画像内で運転者の対象顔領域を設定する。目
近傍領域設定手段Ｍ６は、対象顔領域内で１つの目及び
１つの眉を含む顔の縦方向に長い対象目近傍領域を設定
する。対象目領域設定手段Ｍ７は、対象目近傍領域内で
目を含む目領域を設定する。対象顔領域及び対象目近傍
領域及び対象目領域夫々を対象テンプレートとする。
確実に設定して顔画像内の目の位置を誤りなく検出でき
ることを目的とする。 【構成】 目領域検出手段Ｍ３は、撮像された画像に対
して、対象テンプレートを用いて相関演算を行い、運転
者の目領域を検出する。判定手段Ｍ４は、検出された目
領域の画像から運転者の運転状態を判定する。また、テ
ンプレート作成手段Ｍ２の対象顔領域設定手段Ｍ５は、
撮像された画像内で運転者の対象顔領域を設定する。目
近傍領域設定手段Ｍ６は、対象顔領域内で１つの目及び
１つの眉を含む顔の縦方向に長い対象目近傍領域を設定
する。対象目領域設定手段Ｍ７は、対象目近傍領域内で
目を含む目領域を設定する。対象顔領域及び対象目近傍
領域及び対象目領域夫々を対象テンプレートとする。
Description
【０００１】
【産業上の利用分野】本発明は運転状態検出装置、特に
撮像して得られた運転者の顔画像を処理して運転者の運
転状態を検出する装置に関する。
撮像して得られた運転者の顔画像を処理して運転者の運
転状態を検出する装置に関する。
【０００２】
【従来の技術】従来より、車両走行の安全性向上を計る
べく種々の装置が開発、搭載されており、運転者の運転
状態を車載カメラなどで監視し、居眠りや脇見運転など
を検出して警報などを与える運転状態検出装置もその１
つである。例えば、特開平６−３２１５４号公報には、
顔の中心線を基準として眼球存在領域を決定し、図１１
（Ａ）に示す如き横長の眼球存在領域を縦方向に走査し
て眼球の連続黒色画素の画素数の最大値を目開閉状態と
して算出し、このようにして検出した目の開閉状態から
運転者の状態検出を行う装置が記載されている。
べく種々の装置が開発、搭載されており、運転者の運転
状態を車載カメラなどで監視し、居眠りや脇見運転など
を検出して警報などを与える運転状態検出装置もその１
つである。例えば、特開平６−３２１５４号公報には、
顔の中心線を基準として眼球存在領域を決定し、図１１
（Ａ）に示す如き横長の眼球存在領域を縦方向に走査し
て眼球の連続黒色画素の画素数の最大値を目開閉状態と
して算出し、このようにして検出した目の開閉状態から
運転者の状態検出を行う装置が記載されている。
【０００３】
【発明が解決しようとする課題】従来装置では顔の中心
線を基準に横方向に並ぶ二つの眼球を眼球存在領域を決
定しているため、運転者の顔が例えば上下左右に動いた
とき、顔の横方向に並ぶ二つの眉毛の部分を眼球存在領
域として誤って決定するおそれがあり、眼球存在領域を
正確に決定できないという問題があった。
線を基準に横方向に並ぶ二つの眼球を眼球存在領域を決
定しているため、運転者の顔が例えば上下左右に動いた
とき、顔の横方向に並ぶ二つの眉毛の部分を眼球存在領
域として誤って決定するおそれがあり、眼球存在領域を
正確に決定できないという問題があった。
【０００４】また、図１１（Ｂ）に示す如く、眼球に輝
点が映ったような場合、縦方向走査による眼球の連続黒
色画素の画素数はＬ’となり、目開閉距離を誤検出する
おそれがあるという問題があった。本発明は上記の点に
鑑みなされたもので、顔領域内で１つの目と１つの眉を
含む顔縦方向に長い対象目近傍領域を設定することによ
り、目領域を確実に設定して顔画像内の目の位置を誤り
なく検出できる運転状態検出装置を提供することを目的
とする。
点が映ったような場合、縦方向走査による眼球の連続黒
色画素の画素数はＬ’となり、目開閉距離を誤検出する
おそれがあるという問題があった。本発明は上記の点に
鑑みなされたもので、顔領域内で１つの目と１つの眉を
含む顔縦方向に長い対象目近傍領域を設定することによ
り、目領域を確実に設定して顔画像内の目の位置を誤り
なく検出できる運転状態検出装置を提供することを目的
とする。
【０００５】また、目領域を顔横方向に分割した複数の
小領域毎に目のエッジ量を検出して目の開閉状態を検出
することより、眼球に輝点が映った状態であっても誤り
なく目の開閉状態を検出できる運転状態検出装置を提供
することを目的とする。
小領域毎に目のエッジ量を検出して目の開閉状態を検出
することより、眼球に輝点が映った状態であっても誤り
なく目の開閉状態を検出できる運転状態検出装置を提供
することを目的とする。
【０００６】
【課題を解決するための手段】請求項１に記載の発明
は、図１（Ａ）に示す如く、運転者の顔画像を処理して
運転者の運転状態を検出する運転状態検出装置であっ
て、運転者を撮像する撮像手段Ｍ１と、撮像された画像
に対して、予め設定されている標準テンプレートを用い
て相関演算を行い、運転者用の対象テンプレートを作成
するテンプレート作成手段Ｍ２と、撮像された画像に対
して、上記対象テンプレートを用いて相関演算を行い、
運転者の目領域を検出する目領域検出手段Ｍ３と、検出
された目領域の画像から運転者の運転状態を判定する判
定手段Ｍ４とを有し、上記テンプレート作成手段Ｍ２
は、撮像された画像内で運転者の対象顔領域を設定する
対象顔領域設定手段Ｍ５と、上記対象顔領域内で１つの
目及び１つの眉を含む顔の縦方向に長い対象目近傍領域
を設定する対象目近傍領域設定手段Ｍ６と、上記対象目
近傍領域内で目を含む対象目領域を設定する対象目領域
設定手段Ｍ７とを備え、上記対象顔領域及び対象目近傍
領域及び対象目領域夫々を対象テンプレートとする。
は、図１（Ａ）に示す如く、運転者の顔画像を処理して
運転者の運転状態を検出する運転状態検出装置であっ
て、運転者を撮像する撮像手段Ｍ１と、撮像された画像
に対して、予め設定されている標準テンプレートを用い
て相関演算を行い、運転者用の対象テンプレートを作成
するテンプレート作成手段Ｍ２と、撮像された画像に対
して、上記対象テンプレートを用いて相関演算を行い、
運転者の目領域を検出する目領域検出手段Ｍ３と、検出
された目領域の画像から運転者の運転状態を判定する判
定手段Ｍ４とを有し、上記テンプレート作成手段Ｍ２
は、撮像された画像内で運転者の対象顔領域を設定する
対象顔領域設定手段Ｍ５と、上記対象顔領域内で１つの
目及び１つの眉を含む顔の縦方向に長い対象目近傍領域
を設定する対象目近傍領域設定手段Ｍ６と、上記対象目
近傍領域内で目を含む対象目領域を設定する対象目領域
設定手段Ｍ７とを備え、上記対象顔領域及び対象目近傍
領域及び対象目領域夫々を対象テンプレートとする。
【０００７】請求項２に記載の発明は、図１（Ｂ）に示
す如く、運転者の顔画像を処理して運転者の運転状態を
検出する運転状態検出装置であって、運転者を撮像する
撮像手段Ｍ１と撮像された画像から運転者の目領域を検
出する目領域検出手段Ｍ８と、検出された目領域で目の
エッジを検出するエッジ検出手段Ｍ９と、上記目領域を
顔横方向に複数の小領域に分割して、各小領域における
エッジ量を検出するエッジ量検出手段Ｍ１０と、上記エ
ッジ量に基づき目の開閉状態を検出する開閉状態検出手
段Ｍ１１とを有する。
す如く、運転者の顔画像を処理して運転者の運転状態を
検出する運転状態検出装置であって、運転者を撮像する
撮像手段Ｍ１と撮像された画像から運転者の目領域を検
出する目領域検出手段Ｍ８と、検出された目領域で目の
エッジを検出するエッジ検出手段Ｍ９と、上記目領域を
顔横方向に複数の小領域に分割して、各小領域における
エッジ量を検出するエッジ量検出手段Ｍ１０と、上記エ
ッジ量に基づき目の開閉状態を検出する開閉状態検出手
段Ｍ１１とを有する。
【０００８】
【作用】請求項１に記載の発明においては、顔領域内で
１つの目と１つの眉を含む顔縦方向に長い対象目近傍領
域を設定するため、顔が上下左右に動いても目と眉の上
下方向の位置関係は不変であるので、対象目近傍領域を
用いて目近傍領域が検出されると、その内の上方の黒色
部分は眉、下方の黒色部分は目であり、目領域を確実に
特定できる。
１つの目と１つの眉を含む顔縦方向に長い対象目近傍領
域を設定するため、顔が上下左右に動いても目と眉の上
下方向の位置関係は不変であるので、対象目近傍領域を
用いて目近傍領域が検出されると、その内の上方の黒色
部分は眉、下方の黒色部分は目であり、目領域を確実に
特定できる。
【０００９】請求項２に記載の発明においては、検出し
た目領域を顔横方向に複数の小領域に分割し、各小領域
における目のエッジ量から目の開閉状態を検出するた
め、眼球に輝点が映っていてもエッジ量に影響がなく、
誤りなく確実に目の開閉状態を検出できる。
た目領域を顔横方向に複数の小領域に分割し、各小領域
における目のエッジ量から目の開閉状態を検出するた
め、眼球に輝点が映っていてもエッジ量に影響がなく、
誤りなく確実に目の開閉状態を検出できる。
【００１０】
【実施例】図２は本発明のブロック図を示す。同図中、
運転者を撮像するカメラ１０（撮像手段Ｍ１）が車両の
所定位置に設けられ、運転者の顔画像を撮像する。カメ
ラ１０には画像処理装置１２が接続されており、得られ
た運転者の顔画像を画像処理装置１２に供給する。画像
処理装置１２にはＡ／Ｄ変換器、正規化回路及び相関演
算回路を備えており、入力された画像信号をデジタル信
号に変換し、更に濃淡正規化処理を行う。画像処理装置
１２はメモリ１４が接続されている。メモリ１４には標
準テンプレート（基準顔テンプレート、標準目近傍テン
プレート、標準目テンプレート）及び眉毛や目などの顔
要素の配置データが予め格納されている。配置データの
内容は、「眉毛、目は横方向（ｘ方向）に平行して存在
する」、「目は眉毛の下方にある」等である。画像処理
装置１２は更に電子制御装置ＥＣＵ１６に接続されてお
り、処理結果をＥＣＵ１６に供給する。ＥＣＵ１６では
処理結果から運転者の運転状態を判別し、警報装置１８
に制御信号を出力して警報を発する構成である。
運転者を撮像するカメラ１０（撮像手段Ｍ１）が車両の
所定位置に設けられ、運転者の顔画像を撮像する。カメ
ラ１０には画像処理装置１２が接続されており、得られ
た運転者の顔画像を画像処理装置１２に供給する。画像
処理装置１２にはＡ／Ｄ変換器、正規化回路及び相関演
算回路を備えており、入力された画像信号をデジタル信
号に変換し、更に濃淡正規化処理を行う。画像処理装置
１２はメモリ１４が接続されている。メモリ１４には標
準テンプレート（基準顔テンプレート、標準目近傍テン
プレート、標準目テンプレート）及び眉毛や目などの顔
要素の配置データが予め格納されている。配置データの
内容は、「眉毛、目は横方向（ｘ方向）に平行して存在
する」、「目は眉毛の下方にある」等である。画像処理
装置１２は更に電子制御装置ＥＣＵ１６に接続されてお
り、処理結果をＥＣＵ１６に供給する。ＥＣＵ１６では
処理結果から運転者の運転状態を判別し、警報装置１８
に制御信号を出力して警報を発する構成である。
【００１１】図３は本発明の処理ブロック図を示す。カ
メラ１０で撮像された運転者の顔画像２０が画像処理装
置１２に供給される。画像処理装置１２ではメモリ１４
に格納された標準テンプレート２１を用いて対象運転者
の対象テンプレート（対象顔テンプレート、対象目近傍
テンプレート、対象目テンプレート）２２を相関演算に
より検出する（対象テンプレート検出処理２４）。対象
テンプレート２２を作成するに際し、メモリ１４に格納
された顔配置データ２３が用いられる。作成された対象
テンプレート２２はメモリ１４に格納され、この対象テ
ンプレート２２を用いて運転者の顔画像から運転者の目
の状態の変化を相関演算により監視する（監視処理２
５）。相関演算の結果はＥＣＵ１６に出力され、運転者
の異常状態の有無が判定され、（判定処理２６）異常時
には警報が出される（警報処理２７）。
メラ１０で撮像された運転者の顔画像２０が画像処理装
置１２に供給される。画像処理装置１２ではメモリ１４
に格納された標準テンプレート２１を用いて対象運転者
の対象テンプレート（対象顔テンプレート、対象目近傍
テンプレート、対象目テンプレート）２２を相関演算に
より検出する（対象テンプレート検出処理２４）。対象
テンプレート２２を作成するに際し、メモリ１４に格納
された顔配置データ２３が用いられる。作成された対象
テンプレート２２はメモリ１４に格納され、この対象テ
ンプレート２２を用いて運転者の顔画像から運転者の目
の状態の変化を相関演算により監視する（監視処理２
５）。相関演算の結果はＥＣＵ１６に出力され、運転者
の異常状態の有無が判定され、（判定処理２６）異常時
には警報が出される（警報処理２７）。
【００１２】図４は運転者の居眠りや脇見などの異常状
態を検出する処理のフローチャートを示す。まず、カメ
ラ１０により運転者の顔画像が撮像される（ステップＳ
１０１）。次に、得られた顔画像は画像処理装置１２に
て濃淡正規化が行われる（ステップＳ１０２）。正規化
処理は、画像中の最小輝度を１、最大輝度を２５６とす
る濃淡正規化により行われる。正規化処理が行われた
後、標準テンプレートを用いて対象テンプレートが検出
される（ステップＳ１０３）。
態を検出する処理のフローチャートを示す。まず、カメ
ラ１０により運転者の顔画像が撮像される（ステップＳ
１０１）。次に、得られた顔画像は画像処理装置１２に
て濃淡正規化が行われる（ステップＳ１０２）。正規化
処理は、画像中の最小輝度を１、最大輝度を２５６とす
る濃淡正規化により行われる。正規化処理が行われた
後、標準テンプレートを用いて対象テンプレートが検出
される（ステップＳ１０３）。
【００１３】対象テンプレートが検出された後、再びカ
メラ１０により運転者の顔画像が撮像され、濃淡正規化
が行われる。（ステップＳ１０４）。そして、この正規
化顔画像に対し、目領域の検出が行われる（ステップＳ
１０５）。目領域の画像データは順次ＥＣＵ１６に供給
される。ＥＣＵ１６は順次入力される目領域の画像に基
づき、運転者の目の状態を判定する（ステップＳ１０
６）。運転者の目の状態に異常があると判定された場合
には（ステップＳ１０７）、運転者が居眠りしていると
判定して警報装置を作動させ、運転者の注意を促す（ス
テップＳ１０８）。上記ステップＳ１０７が判定手段Ｍ
４に対応する。
メラ１０により運転者の顔画像が撮像され、濃淡正規化
が行われる。（ステップＳ１０４）。そして、この正規
化顔画像に対し、目領域の検出が行われる（ステップＳ
１０５）。目領域の画像データは順次ＥＣＵ１６に供給
される。ＥＣＵ１６は順次入力される目領域の画像に基
づき、運転者の目の状態を判定する（ステップＳ１０
６）。運転者の目の状態に異常があると判定された場合
には（ステップＳ１０７）、運転者が居眠りしていると
判定して警報装置を作動させ、運転者の注意を促す（ス
テップＳ１０８）。上記ステップＳ１０７が判定手段Ｍ
４に対応する。
【００１４】図５はステップＳ１０３で実行されるテン
プレート作成手段Ｍ２に対応する対象テンプレート検出
処理のフローチャートを示す。まず運転者の正規化され
た顔画像から対象顔領域を探索する（ステップＳ３０
１）。この探索は図６（Ａ）に示す如き正規化された顔
画像１００に対して、予めメモリ１４に格納されている
標準顔テンプレートをＸ方向及びＹ方向に順次移動させ
て相関演算を行い、相関値が最小つまり相関度が最も高
い領域を選択することにより行われる。
プレート作成手段Ｍ２に対応する対象テンプレート検出
処理のフローチャートを示す。まず運転者の正規化され
た顔画像から対象顔領域を探索する（ステップＳ３０
１）。この探索は図６（Ａ）に示す如き正規化された顔
画像１００に対して、予めメモリ１４に格納されている
標準顔テンプレートをＸ方向及びＹ方向に順次移動させ
て相関演算を行い、相関値が最小つまり相関度が最も高
い領域を選択することにより行われる。
【００１５】これによって図６（Ａ）に示す対象顔領域
１１０が抽出された後、この対象顔領域１１０から対象
目近傍領域の探索が行われる（ステップＳ３０２）。こ
の探索は対象顔領域１１０に対して、予めメモリ１４に
格納されている標準目近傍テンプレートをＸ方向例えば
左から右に向けて順次移動させて相関演算を行い、相関
値が最小の領域を選択することにより行われる。標準目
近傍テンプレートは図６（Ａ）に示す対象顔領域１１０
と縦幅が等しく、かつ、片側の目及び眉を含むだけの横
幅を持つ縦長の図６（Ｂ）に示す如き矩形領域であり、
上記探索では「目近傍領域は顔領域の例えば右側に位置
する」という顔位置データが用いられ、これによって図
６（Ａ）に示す例えば左目及び左眉を含む対象目近傍領
域１２０が抽出される。
１１０が抽出された後、この対象顔領域１１０から対象
目近傍領域の探索が行われる（ステップＳ３０２）。こ
の探索は対象顔領域１１０に対して、予めメモリ１４に
格納されている標準目近傍テンプレートをＸ方向例えば
左から右に向けて順次移動させて相関演算を行い、相関
値が最小の領域を選択することにより行われる。標準目
近傍テンプレートは図６（Ａ）に示す対象顔領域１１０
と縦幅が等しく、かつ、片側の目及び眉を含むだけの横
幅を持つ縦長の図６（Ｂ）に示す如き矩形領域であり、
上記探索では「目近傍領域は顔領域の例えば右側に位置
する」という顔位置データが用いられ、これによって図
６（Ａ）に示す例えば左目及び左眉を含む対象目近傍領
域１２０が抽出される。
【００１６】対象目近傍領域１２０が抽出された後、こ
の対象目近傍領域１２０から対象目領域の探索が行われ
る（ステップＳ３０３）。この探索は対象目近傍領域１
２０に対して、予めメモリ１４に格納されている標準目
テンプレートをＹ方向例えば上から下に向けて順次移動
させて相関演算を行い、相関値が最小の領域を選択する
ことにより行われる。標準目近傍テンプレートは図６
（Ａ）に示す対象目近傍領域１２０と横幅が等しく、か
つ、目を含むだけの縦幅を持つ横長の図６（Ｃ）に示す
如き矩形領域であり、上記探索では「目領域は目近傍領
域の上側に位置する」という顔位置データが用いられ、
これによって図６（Ａ）に示す例えば左目を含む対象目
領域１３０が抽出される。
の対象目近傍領域１２０から対象目領域の探索が行われ
る（ステップＳ３０３）。この探索は対象目近傍領域１
２０に対して、予めメモリ１４に格納されている標準目
テンプレートをＹ方向例えば上から下に向けて順次移動
させて相関演算を行い、相関値が最小の領域を選択する
ことにより行われる。標準目近傍テンプレートは図６
（Ａ）に示す対象目近傍領域１２０と横幅が等しく、か
つ、目を含むだけの縦幅を持つ横長の図６（Ｃ）に示す
如き矩形領域であり、上記探索では「目領域は目近傍領
域の上側に位置する」という顔位置データが用いられ、
これによって図６（Ａ）に示す例えば左目を含む対象目
領域１３０が抽出される。
【００１７】上記の抽出された対象顔領域１１０が対象
顔テンプレートとされ、対象目近傍領域１２０が対象目
近傍テンプレートとされ、対象目領域１３０が対象目テ
ンプレートとされてメモリ１４に格納される。更に上記
対象目領域１３０における目開閉領域が算出され、これ
は基準目開閉距離としてメモリ１４に格納される。この
目開閉距離の算出についてはステップＳ１０６において
詳しく説明する。
顔テンプレートとされ、対象目近傍領域１２０が対象目
近傍テンプレートとされ、対象目領域１３０が対象目テ
ンプレートとされてメモリ１４に格納される。更に上記
対象目領域１３０における目開閉領域が算出され、これ
は基準目開閉距離としてメモリ１４に格納される。この
目開閉距離の算出についてはステップＳ１０６において
詳しく説明する。
【００１８】上記のステップＳ３０１が対象顔領域設定
手段Ｍ５に対応し、ステップＳ３０２が対象目領域設定
手段Ｍ６に対応し、ステップＳ３０３が対象目領域設定
手段Ｍ７に対応する。図７はステップＳ１０５で実行さ
れる目領域検出手段Ｍ３又はＭ８としての目領域検出処
理のフローチャートを示す。まず運転者の正規化された
顔画像から対象顔領域を探索する（ステップＳ４０
１）。この探索は正規化された顔画像に対して、メモリ
１４に格納されている対象顔テンプレートをＸ方向及び
Ｙ方向に順次移動させて相関演算を行い、相関値が最小
つまり相関度が最も高い領域を選択することにより行わ
れる。
手段Ｍ５に対応し、ステップＳ３０２が対象目領域設定
手段Ｍ６に対応し、ステップＳ３０３が対象目領域設定
手段Ｍ７に対応する。図７はステップＳ１０５で実行さ
れる目領域検出手段Ｍ３又はＭ８としての目領域検出処
理のフローチャートを示す。まず運転者の正規化された
顔画像から対象顔領域を探索する（ステップＳ４０
１）。この探索は正規化された顔画像に対して、メモリ
１４に格納されている対象顔テンプレートをＸ方向及び
Ｙ方向に順次移動させて相関演算を行い、相関値が最小
つまり相関度が最も高い領域を選択することにより行わ
れる。
【００１９】これによって顔領域が抽出された後、この
対象顔領域から目近傍領域の探索が行われる（ステップ
Ｓ４０２）。この探索は顔領域に対して、メモリ１４に
格納されている対象目近傍テンプレートをＸ方向左から
右に向けて順次移動させて相関演算を行い、相関値が最
小の領域を選択することにより行われる。対象目近傍テ
ンプレートは顔領域と縦幅が等しく、かつ、片側の目及
び眉を含むだけの横幅を持つ縦長の矩形領域であり、上
記探索では「目近傍領域は顔領域の例えば右側に位置す
る」という顔位置データが用いられ、これによって左目
及び左眉を含む目近傍領域が抽出される。
対象顔領域から目近傍領域の探索が行われる（ステップ
Ｓ４０２）。この探索は顔領域に対して、メモリ１４に
格納されている対象目近傍テンプレートをＸ方向左から
右に向けて順次移動させて相関演算を行い、相関値が最
小の領域を選択することにより行われる。対象目近傍テ
ンプレートは顔領域と縦幅が等しく、かつ、片側の目及
び眉を含むだけの横幅を持つ縦長の矩形領域であり、上
記探索では「目近傍領域は顔領域の例えば右側に位置す
る」という顔位置データが用いられ、これによって左目
及び左眉を含む目近傍領域が抽出される。
【００２０】目近傍領域が抽出された後、この目近傍領
域から目領域の探索が行われる（ステップＳ４０３）。
この探索は目近傍領域に対して、メモリ１４に格納され
ている対象目テンプレートをＹ方向上から下に向けて順
次移動させて相関演算を行い、相関値が最小の領域を選
択することにより行われる。対象目近傍テンプレートは
目近傍領域と横幅が等しく、かつ、目を含むだけの縦幅
を持つ横長の矩形領域であり、上記提案では「目領域は
目近傍領域の上側に位置する」という顔位置データが用
いられ、これによって左目を含む対象目領域が抽出され
る。
域から目領域の探索が行われる（ステップＳ４０３）。
この探索は目近傍領域に対して、メモリ１４に格納され
ている対象目テンプレートをＹ方向上から下に向けて順
次移動させて相関演算を行い、相関値が最小の領域を選
択することにより行われる。対象目近傍テンプレートは
目近傍領域と横幅が等しく、かつ、目を含むだけの縦幅
を持つ横長の矩形領域であり、上記提案では「目領域は
目近傍領域の上側に位置する」という顔位置データが用
いられ、これによって左目を含む対象目領域が抽出され
る。
【００２１】このように、顔領域内で１つの目と１つの
眉を含む顔縦方向に長い対象目近傍領域を設定し、対象
目近傍領域を対象テンプレートとして目近傍領域を検出
するため、顔が上下左右に動いても目と眉の上下方向の
位置関係は不変であるので、目近傍領域が検出される
と、その内の上方の黒色部分は眉、下方の黒色部分は目
であり、目領域を確実に特定できる。
眉を含む顔縦方向に長い対象目近傍領域を設定し、対象
目近傍領域を対象テンプレートとして目近傍領域を検出
するため、顔が上下左右に動いても目と眉の上下方向の
位置関係は不変であるので、目近傍領域が検出される
と、その内の上方の黒色部分は眉、下方の黒色部分は目
であり、目領域を確実に特定できる。
【００２２】図８はステップＳ１０６で実行されるドラ
イバ状態判定処理のフローチャートを示す。まず、ステ
ップＳ１０５で検出された目領域において、目のエッジ
検出を行う（ステップＳ５０１）。これによって開眼時
には図９（Ａ）に示す如き目のエッジ画像が得られ、閉
眼時には図１０（Ａ）に示す如き目のエッジ画像が得ら
れる。
イバ状態判定処理のフローチャートを示す。まず、ステ
ップＳ１０５で検出された目領域において、目のエッジ
検出を行う（ステップＳ５０１）。これによって開眼時
には図９（Ａ）に示す如き目のエッジ画像が得られ、閉
眼時には図１０（Ａ）に示す如き目のエッジ画像が得ら
れる。
【００２３】次に検出されたエッジ画像について、図９
（Ａ），図１０（Ａ）夫々に破線で区分して示すように
例えば７個の小領域に分割する（ステップＳ５０２）。
そして、各小領域においてエッジを構成するエッジ画素
の画素数をエッジ量としてカウントして図９（Ｂ），図
１０（Ｂ）に示す如きエッジ画素のヒストグラムを作成
する（ステップＳ５０３）。
（Ａ），図１０（Ａ）夫々に破線で区分して示すように
例えば７個の小領域に分割する（ステップＳ５０２）。
そして、各小領域においてエッジを構成するエッジ画素
の画素数をエッジ量としてカウントして図９（Ｂ），図
１０（Ｂ）に示す如きエッジ画素のヒストグラムを作成
する（ステップＳ５０３）。
【００２４】この後、上記ヒストグラムからエッジ画素
数が最大の小領域とエッジ画素数が２番目に大きな小領
域とを特定する（ステップＳ５０４）。そしてエッジ画
素数最大の小領域と２番目の小領域との間の距離を目開
閉距離として算出する（ステップＳ５０５）。更に次式
で表わされる開眼度Ｐが例えば５０％未満であれは閉眼
と判定する（ステップＳ５０６）。
数が最大の小領域とエッジ画素数が２番目に大きな小領
域とを特定する（ステップＳ５０４）。そしてエッジ画
素数最大の小領域と２番目の小領域との間の距離を目開
閉距離として算出する（ステップＳ５０５）。更に次式
で表わされる開眼度Ｐが例えば５０％未満であれは閉眼
と判定する（ステップＳ５０６）。
【００２５】Ｐ＝（算出目開閉距離／基準目開閉距離）
×１００（％） 但し、算出目開閉距離はステップＳ５０５で算出された
距離、基準目開閉距離はステップＳ１０３で算出された
距離である。なお、ステップＳ１０７では、閉眼状態が
所定時間（例えば１秒）以上持続したときに異常状態と
判別する。
×１００（％） 但し、算出目開閉距離はステップＳ５０５で算出された
距離、基準目開閉距離はステップＳ１０３で算出された
距離である。なお、ステップＳ１０７では、閉眼状態が
所定時間（例えば１秒）以上持続したときに異常状態と
判別する。
【００２６】上記のステップＳ５０１がエッジ検出手段
Ｍ９に対応し、ステップＳ５０２，Ｓ５０３がエッジ量
検出手段Ｍ１０に対応し、ステップＳ５０４〜Ｓ５０６
が開閉状態検出手段Ｍ１１に対応する。このように、検
出した目領域を顔横方向に複数の小領域に分割し、各小
領域における目のエッジ量から目の開閉状態を検出する
ため、眼球に輝点が映っていてもエッジ量に影響がな
く、誤りなく確実に目の開閉状態を検出できる。
Ｍ９に対応し、ステップＳ５０２，Ｓ５０３がエッジ量
検出手段Ｍ１０に対応し、ステップＳ５０４〜Ｓ５０６
が開閉状態検出手段Ｍ１１に対応する。このように、検
出した目領域を顔横方向に複数の小領域に分割し、各小
領域における目のエッジ量から目の開閉状態を検出する
ため、眼球に輝点が映っていてもエッジ量に影響がな
く、誤りなく確実に目の開閉状態を検出できる。
【００２７】
【発明の効果】上述の如く、請求項１に記載の発明によ
れば、顔領域内で１つの目と１つの眉を含む顔縦方向に
長い対象目近傍領域を設定するため、顔が上下左右に動
いても目と眉の上下方向の位置関係は不変であるので、
対象目近傍領域を用いて目近傍領域が検出されると、そ
の内の上方の黒色部分は眉、下方の黒色部分は目であ
り、目領域を確実に特定できる。
れば、顔領域内で１つの目と１つの眉を含む顔縦方向に
長い対象目近傍領域を設定するため、顔が上下左右に動
いても目と眉の上下方向の位置関係は不変であるので、
対象目近傍領域を用いて目近傍領域が検出されると、そ
の内の上方の黒色部分は眉、下方の黒色部分は目であ
り、目領域を確実に特定できる。
【００２８】また、請求項２に記載の発明によれば、検
出した目領域を顔横方向に複数の小領域に分割し、各小
領域における目のエッジ量から目の開閉状態を検出する
ため、眼球に輝点が映っていてもエッジ量に影響がな
く、誤りなく確実に目の開閉状態を検出でき、実用上き
わめて有用である。
出した目領域を顔横方向に複数の小領域に分割し、各小
領域における目のエッジ量から目の開閉状態を検出する
ため、眼球に輝点が映っていてもエッジ量に影響がな
く、誤りなく確実に目の開閉状態を検出でき、実用上き
わめて有用である。
【図１】本発明の原理図である。
【図２】本発明の装置のブロック図である。
【図３】本発明の処理ブロック図である。
【図４】本発明の処理フローチャートである。
【図５】本発明の処理フローチャートである。
【図６】本発明の対象テンプレートを説明するための図
である。
である。
【図７】本発明の処理フローチャートである。
【図８】本発明の処理フローチャートである。
【図９】本発明の目開閉距離算出を説明するための図で
ある。
ある。
【図１０】本発明の目開閉距離算出を説明するための図
である。
である。
【図１１】従来の目開閉距離算出を説明するための図で
ある。
ある。
１０ カメラ １２ 画像処理装置 １４ メモリ １６ ＥＣＵ １８ 警報装置 ２０ 顔画像 ２１ 標準テンプレート ２２ 対象テンプレート ２３ 顔配置データ ２４ 対象テンプレート検出処理 ２５ ドライバ状態監視処理 ２６ ドライバ状態判定処理 ２７ 警報処理
Claims (2)
- 【請求項１】 運転者の顔画像を処理して運転者の運転
状態を検出する運転状態検出装置であって、 運転者を撮像する撮像手段と、 撮像された画像に対して、予め設定されている標準テン
プレートを用いて相関演算を行い、運転者用の対象テン
プレートを作成するテンプレート作成手段と、 撮像された画像に対して、上記対象テンプレートを用い
て相関演算を行い、運転者の目領域を検出する目領域検
出手段と、 検出された目領域の画像から運転者の運転状態を判定す
る判定手段とを有し、 上記テンプレート作成手段は、撮像された画像内で運転
者の対象顔領域を設定する対象顔領域設定手段と、 上記対象顔領域内で１つの目及び１つの眉を含む顔の縦
方向に長い対象目近傍領域を設定する対象目近傍領域設
定手段と、 上記対象目近傍領域内で目を含む対象目領域を設定する
対象目領域設定手段とを備え、 上記対象顔領域及び対象目近傍領域及び対象目領域夫々
を対象テンプレートとすることを特徴とする運転状態検
出装置。 - 【請求項２】 運転者の顔画像を処理して運転者の運転
状態を検出する運転状態検出装置であって、 運転者を撮像する撮像手段と、 撮像された画像から運転者の目領域を検出する目領域検
出手段と、 検出された目領域で目のエッジを検出するエッジ検出手
段と、 上記目領域を顔横方向に複数の小領域に分割して、各小
領域におけるエッジ量を検出するエッジ量検出手段と、 上記エッジ量に基づき目の開閉状態を検出する開閉状態
検出手段とを有することを特徴とする運転状態検出装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32269494A JPH08175218A (ja) | 1994-12-26 | 1994-12-26 | 運転状態検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32269494A JPH08175218A (ja) | 1994-12-26 | 1994-12-26 | 運転状態検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08175218A true JPH08175218A (ja) | 1996-07-09 |
Family
ID=18146576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32269494A Pending JPH08175218A (ja) | 1994-12-26 | 1994-12-26 | 運転状態検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08175218A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6094498A (en) * | 1999-07-07 | 2000-07-25 | Mitsubishi Denki Kabushiki Kaisha | Face image processing apparatus employing two-dimensional template |
| US6549644B1 (en) | 1999-05-18 | 2003-04-15 | Mitsubishi Denki Kabushiki Kaisha | Face-image processing apparatus |
| US6606397B1 (en) | 1999-05-25 | 2003-08-12 | Mitsubishi Denki Kabushiki Kaisha | Face image processing apparatus for extraction of an eye image based on the position of the naris |
| US6718050B1 (en) | 1999-05-24 | 2004-04-06 | Mitsubishi Denki Kabushiki Kaisha | Face-image processing apparatus |
| US7894637B2 (en) | 2004-05-21 | 2011-02-22 | Asahi Kasei Corporation | Device, program, and method for classifying behavior content of an object person |
| CN103942527A (zh) * | 2013-01-18 | 2014-07-23 | 通用汽车环球科技运作有限责任公司 | 利用眼镜分类器的眼睛离开道路分类 |
-
1994
- 1994-12-26 JP JP32269494A patent/JPH08175218A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6549644B1 (en) | 1999-05-18 | 2003-04-15 | Mitsubishi Denki Kabushiki Kaisha | Face-image processing apparatus |
| US6718050B1 (en) | 1999-05-24 | 2004-04-06 | Mitsubishi Denki Kabushiki Kaisha | Face-image processing apparatus |
| US6606397B1 (en) | 1999-05-25 | 2003-08-12 | Mitsubishi Denki Kabushiki Kaisha | Face image processing apparatus for extraction of an eye image based on the position of the naris |
| US6094498A (en) * | 1999-07-07 | 2000-07-25 | Mitsubishi Denki Kabushiki Kaisha | Face image processing apparatus employing two-dimensional template |
| US7894637B2 (en) | 2004-05-21 | 2011-02-22 | Asahi Kasei Corporation | Device, program, and method for classifying behavior content of an object person |
| CN103942527A (zh) * | 2013-01-18 | 2014-07-23 | 通用汽车环球科技运作有限责任公司 | 利用眼镜分类器的眼睛离开道路分类 |
| CN103942527B (zh) * | 2013-01-18 | 2018-01-05 | 通用汽车环球科技运作有限责任公司 | 利用眼镜分类器的眼睛离开道路分类 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3636927B2 (ja) | 顔画像処理装置 | |
| US6606397B1 (en) | Face image processing apparatus for extraction of an eye image based on the position of the naris | |
| US10941019B2 (en) | User detection system and image processing device | |
| US8224035B2 (en) | Device, method and program for detecting eye | |
| JP3350296B2 (ja) | 顔画像処理装置 | |
| KR100355125B1 (ko) | 안화상처리장치 | |
| EP1970839B1 (en) | Apparatus, method, and program for face feature point detection | |
| US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
| JP2009005198A (ja) | 映像監視システム | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| KR100347058B1 (ko) | 얼굴 촬영/인식방법 | |
| JP2001043382A (ja) | 目追跡装置 | |
| JP2008257575A (ja) | 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム | |
| JPH08175218A (ja) | 運転状態検出装置 | |
| CN108108656B (zh) | 一种基于车窗角点检测和多方向投影的车窗精确定位方法 | |
| JPH1040361A (ja) | 居眠り状態検出装置 | |
| JP2985558B2 (ja) | 運転状態検出装置 | |
| JP3779229B2 (ja) | 識別方法、識別装置、及び交通制御システム | |
| JPH10143669A (ja) | 居眠り状態検出装置 | |
| JP2000142164A (ja) | 眼の状態検出装置及び居眠り運転警報装置 | |
| JP2006134339A (ja) | 識別方法、識別装置、及び交通制御システム | |
| JP3062383B2 (ja) | 人物認識方法 | |
| JPH08159712A (ja) | パターン認識方法 | |
| JP2000311238A (ja) | 眼の開度検出装置 | |
| KR100533209B1 (ko) | 영상검출방법 |