JPH03254291A - 車両運転者監視装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は車両運転者監視装置、特にニューラルネットワ
ークを用いて車両運転者の顔の向きや目の状態を監視す
る装置に関する。

［従来の技術］ 従来より、自動車等の車両の安全走行を確保するための
種々の支援システムが提案されている。

このような支援システムは、主に車両運転者の居眠り状
態や脇見状態を検出して運転者に警報を与え、安全走行
を可能とするものである。

このような安全走行のための支援システムとしては、例
えば特開昭６３−２２２９４０号公報に開示された自動
車安全走行支援方式がある。この支援方式においては、
運転者の目を監視する監視装置を設け、この監視装置か
らの情報により運転者の目の方向が正しい前方を向いて
いるか、また目の開き程度が所定値以上かどうか力付Ｉ
］断される。

この判断は、目の方向が前方方向中心線から一定以上離
れているか否か、また目の視野が所定範囲内か否かをＣ
ＰＵによって判断することにより行われる。そして、脇
見運転や居眠り運転が発生していると判断された時には
、警報や自動ブレーキを緩かにかけるものである。

あるいは、特に居眠り運転を検出するためのシステムと
して、特開昭６０−１７８５９６号公報に開示された居
眠り運転防止装置が知られている。

この装置においては、車両運転者の状態位置を検出する
検出手段を設け、検出された状態位置の周期的な変動か
ら居眠り運転を検知し運転者に警報を発するものである
。

［発明が解決しようとする課題］ しかしながら、特開昭６３−２２２９４０号公報に開示
された自動車安全走行支援方式においては、運転者の目
の状態のみを監視して脇見運転や居眠り運転を検出する
ものであり、特徴部分、すなわち眼球部分を正確に抽出
しなければならず、計測が容易でないという問題があっ
た。また、運転者は車両運転中宮に前方のみを注視して
いるとは限らず、顔の向きを適宜左右いずれかの方向に
向けて運転することがしばしばあり、このような場合に
は正確に視野を測定することが困難であるという問題も
あった。

勿論、このような問題を解決すべく計測すべき特徴部分
に予め光学的マーカを貼付することも提案されているが
（テレビジョン学会技能、Ｖｏｗ、　１２、Ｎｏ、２４
、ｐｐｌ”３−１８）、実際の車両運転時にこのような
光学的マーカを貼付することは実用的でない。あるいは
、顔の向きを検出するために目萌と唇の端点を基準点と
し、顔の構造の面対称性に着目して顔の向きを検出する
方法も考えられているが（情報処理学会、５Ｃ−２、ｐ
ｐ１６２−１６３）　、車両運転者は不特定多数であり
、全ての運転者に適用できない問題がある。

また、特開昭６０−１７８５９６号公報に開示された居
眠り運転防止装置においては、居眠り運転発生時に生じ
る運転者の特有のパターン、すなわち位置の周期的な変
動を検出して居眠り運転と判断するものであり、必ずし
も居眠り運転発生時にこのような特有のパターンが出現
するとは限らず、正確に検出することができないという
問題があった。

本発明は上記従来技術の有する課題に鑑みなされたもの
であり、その目的は不特定多数の車両運転者の顔の向き
や目の状態を高速かつ確実に検出する車両運転者監視装
置を提供することにある。

［課題を解決するための手段］ 上記目的を達成するために、本発明に係る車両運転者監
視装置は車両運転者の顔部を撮影する撮像手段と、この
撮像手段からの顔部画像情報を入力し、入力の加重和に
応じて出力するニューラルユニット群からなる層を多層
接続してなるニューラルネットワークを用いて前記車両
運転者の顔の方向及び目の状態を検出する検出手段とを
具備することを特徴としている。

［作用］ 本発明の車両運転者監視装置はこのような構成を有して
おり、撮像手段にて撮影された運転者の顔部画像情報は
予め学習されたニューラルネットワークによって処理さ
れ、顔の方向及び目の状態が検出される。

ニューラルネットワークは所定のアルゴリズムを考慮す
る必要がなく、多数のパラメータを高速処理することが
できるので、本発明のように短時間に多数の画像情報を
処理する必要がある場合に特に好適であり、また学習に
より種々の画像パターンに対応できる流化能力を有する
ため、不特定多数の運転者にも対応できる。

そして、ニューラルネットワークを用いて検出された運
転者の顔の向き及び目の状態により脇見運転あるいは居
眠り運転の発生を検出することが可能となり、安全走行
を行うための有効な情報が得られることとなる。

［実施例］ 以下、図面を用いながら本発明に係る車両運転者監視装
置の好適な実施例を説明する。

第１実施例 第１図は本発明の第１実施例の構成ブロック図であり、
第２図は同実施例の動作フローチャートである。撮像手
段としてのＴＶカメラ１０は車両のフロントパネル近傍
に設置され、車両運転者の顔部を撮影する（ステップ１
００）。このＴＶカメラ１０は例えばＣＣＤ　（Ｃｈａ
ｒｇｅ　ＣｏｕｐｌｅｄＤｅｖｉｃｅ　）固体撮像索子
等で構成される。なお、このＴＶカメラ１０にて明瞭な
画像を得るために、車両の所定位置に照明装置を設けて
運転者の顔に照明を当てても良い。この時、照明光とし
ては運転の妨げとならないよう近赤外光（波長７００〜
１０００μｍ）を用いるのが良く、また通常の白色光を
可視光カットフィルタにてカットして照射光に用いるこ
ともできる。そして、ＴＶカメラ１０にはこの照明装置
からの照射光のみが入射するようにフィルタをかけても
良く、また必ずしも運転者の正面像を撮影する必要はな
く、例えば所定の斜め方向の像でも良い。

そして、ＴＶカメラ１０によって撮影された運転者の顔
部画像情報は二値化回路１２に送られ、所定の閾値を用
いて白あるいは黒レベルに二値化処理される（ステップ
１０２）。なお、顔部画像情報をアナログデータとして
用いることも可能であるが、本実施例においては二値化
した場合を例にとり説明する。

白あるいは黒レベルに二値化処理された顔部画像情報は
更に切出し回路１４に送られ、処理すべき所定の領域の
みにウィンドウを設定して顔部画像情報から切り出す（
ステップ１０４）。第３図にウィンドウ設定の一例を示
す。第３図（Ａ）はＴＶカメラ１０にて撮影された車両
運転者の顔部であり、この顔部画像から目の近傍の所定
範囲にウィンドウを設定し、第３図（Ｂ）に示すように
この部分の画像情報を切り出す。なお、前述したように
ＣＣＤ固体撮像素子等をＴＶカメラ１０として用いた場
合、顔部画像情報は第３図（Ｂ）に示されるように二次
元配列された複数の画素情報から構成されており、各画
素情報は白あるいは黒レベルに二値化されて出力される
こととなる。今、このように二次元配列した複数の画素
に番号を付し、第ｉ行第ｊ列に位置する画素をａ、ｊと
記し、その画素情報を１．と記す。そして、このように
して切り出された顔部画像情報ＩＩｊ（白レベルに相当
する論理レベル１あるいは黒レベルに相当する論理レベ
ル０のいずれかの値を有する）はニューラルネットワー
ク１６に入力され、後述の処理が行われる。なお、これ
ら二値化処理、切り出し処理及び以下に示すニューラル
ネットワーク処理はＤ　Ｓ　Ｐ　（Ｄｉｇｌｔａｌ　Ｓ
ｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を用いて行っても良
い。

以下、このニューラルネットワーク１６に行われる処理
を第４図を用いて詳細に説明する。周知の如く、ニュー
ラルネットワークは人力層、中間層及び出力層の階層構
造からなり、各層はニューラルユニット群から構成され
る。ニューラルユニットは所定の重み付け（結合係数）
ｗｊｊが付加された人力の総和に応じて一定の規則で変
換し出力するユニットである。この規則としては秤々の
関数が用いられるが、本実施例においては入力の総和”
ｎｅｔ’を ｎｅｔ−ΣＷｌｊ１１ とした時、 ｆ＝１／　（１＋ｅｘｐ　［−（ｎｅ　ｔ＋α）］　ｌ
但し、αは定数 なるｓｉｇｍｏｉｄ関数を用いることとした。この関数
の値域は０〜１で、人力値が大きくなるにっれ１に、そ
して小さくなるにっれＯに近づく特性を示す。

さて、切出し回路１４からの二値化された顔部画像情報
、すなわち切り出された画像を構成する画素ａ１．の画
像情報１．、（０または１）は第４図ＩＪ　　　　　　
　　　　　ＩＪ に示されたニューラルネットワークの入力層を構成する
各ニューラルユニットに入力される（ステップ１０６）
。従って、切り出された画像情報が２４０Ｘ４０個の画
素から構成されている場合には、この画素数と同数の９
６００個のニューラルユニットが存在することとなる。

なお、入力層におけるニューラルユニットの数を減らし
たい場合には、切り出された画像をいくつかの小領域に
分割し、分割された小領域内の画素情報を足し合せる平
均処理を行いニューラルユニットの個数を減らせば良い
。例えば、小領域を４Ｘ４に設定すると、ニューラルユ
ニットは６０Ｘ１０−６００個に減少する。

このように切り出された画像を構成する各画素の画素情
報Ｉｌｊが人力層の各ニューラルユニットに入力された
後、同様のニューラルユニット群からなる中間層及び出
力層で所定の変換処理が行われる。すなわち、中間層の
第ｊ番目に位置するニューラルユニットに人力される入
力層の第ｉ番目ノ二二一うルユニットの出力値を１１、
′この時の重み付けすなわち結合係数をＷｉｊとすると
、この第ｊ番目のニューラルユニットに入力される入力
値の総和ｎｅｔ、は、 コ ｎｅｔ、−ΣＶ’／　Ｉｊ”　Ｉ　ｒ コ であり、その出力は前述したようにｓ１ｇｍｏｉｄ関数
を用いて、 ’１．−ｆ　　（ｎｅｔ、） コＪ となる。そして、中間層に存在する全てのニューラルユ
ニットにて前述の処理が行われ、その出力値が出力層の
各ニューラルユニットに入力される。

出力層のニューラルユニットにおいても、中間層と同様
の変換処理・が行われる。すなわち、出力層に位置する
第ｊ番目の二二一うルユニットに入力される中間層の第
１番目の二二一うルユニットからの出力をｙ　１この時
の重み付けをＷｔ　ｊ−とすると、この第ｊ番目のニュ
ーラルユニットに入力される入力値の総和ｎｅｔ、−は ｎｅｔ、　　−ΣＷＭｊ　−ｙＩ となり、この時の出力値Ｏ３は、 Ｏ，−ｆ　（ｎｅｔ、１ コＪ となる。なお、人力層から中間層への重み付けｗ、、及
び中間層から出力層への重み付けｗｌｊ−のＪ 値は、出力層からの実際の出力値と望ましい出力値との
差が減少するように予め学習により調整しておく。また
、各ニューラルユニットにて入力値の総和から出力値を
変換する際に、その都度変換関数ｆを用いて演算するの
ではなく、ＲＯＭ等に予め人力される総和値とその時の
出力値とをマツプとして記憶させ、演算処理を行うこと
なくこのＲＯＭから読み出すことにより変換処理を行っ
ても良い。

このようにニューラルネットワークを用いることにより
、−却の人力画像情報からこれに対応した一組の出力値
が得られることとなるが、出力層を構成する各ニューラ
ルユニット１，２．・・・・・・１には所定の状態が対
応し、ており、この出力層からの出力値により車両運転
者の顔の方向及び目の状態を判定することができる。

すなわち、第４図に示されるように出力層の第１番目の
二二一うルユニットからの出力は運転者の顔が正面方向
を向いていることを意味し、第２番目のニューラルユニ
ットからの出力値は運転者の目が閉じている状態に対応
し、そして第１番目のニューラルユニットからの出力値
は運転者がインストルメントパネル方向に向いているこ
とに対応している。従って、出力層を構成する１個のニ
ューラルユニットからの出力価がそれぞれ（１゜０．０
．・・・・・・、０）である場合には、車両運転者の顔
は正面を向き、かつ開眼状態にあると検出される。そし
て、このようにして検出された車両運転者の顔の方向や
目の状態に関する情報は車両の電子制御を行うＥ　ＣＵ
　（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌυｎｌｔ　
）に入力される。

このＥＣＵ１８では人力した運転者の顔の向きや目の状
態に関する情報及びレーザレーダ等の障害物センサ２０
やカメラ等の車両が走行する道路環境全認識する環境認
識センサ２２からの情報に基づき車両を安全に走行させ
るべく、警報装置やアクセルアクチュエータ、ブレーキ
アクチュエータをｍ制御する。例えば、 （イ）車両運転者の顔及び目が横を向いている場合には
、前方車両との車間距離を大きくすべくブレーキ操作を
行う。

（ロ）車両運転者の目が長時開閉じており居眠り運転と
検出された場合には、警報手段を介して運転者に警報を
与える。

（ハ）車両運転者の顔及び目が横を向いている場合であ
って、かつ車両がカーブを走行中の場合には警報手段を
介して警報を与えると共にブレーキ操作を行う。

（ニ）車両運転者の目がルームミラーまたは右サイドミ
ラ一方向に向いておらず、かつ車両が右折または右隣接
斜線への斜線変更を行う場合には、警報手段を介して警
報を与える。

などの制御を行い、車両を安全に走行させる。

なお、本第１実施例においては入力層から中間層、さら
には出力層へと順次出力される、いわゆる順方向結合タ
イプのニューラルネットワークを用いたが、出力層から
入力層への結線も存在するいわゆる相互結合タイプのニ
ューラルネットワークを用いても良い。

また、本第１実施例においては中間層は一層のみである
が、この中間層を複数層設けても同様の処理を行うこと
が可能である。

第２実施例 第５図は本発明に係る車両運転者監視装置の第２実施例
の構成ブロック図、そして第６図に同実施例における動
作フローチャートを示す。第１実施例と同様にＴＶカメ
ラ１０にて車両運転者の顔部が撮影され、得られた顔部
画像情報は二鎖化回路１２に送られて白または黒レベル
に二値化処理される。そして、二値化処理された顔部画
像情報は切り出し回路１４にて運転者の目の近傍の所定
範囲に位置する画素情報のみが取り出され出力される（
ステップ１００〜１０４）。なお、この二値化処理、切
り出し処理及び以下の処理は第１実施例と同様に高速、
高精度の演算処理か可能なり　Ｓ　Ｐ　（Ｄｉｇｌｔａ
ｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｅｒ）を用いて行っ
ても良い。

そして、切り出された画像情報は本第２実施例において
は演算装置２４に人力される。

このｆｒｉ算装置２４では以下の演算が行われる。

すなわち、車両運転者は運転中宮にその顔部をほぼ一定
に保って運転しているわけではなく、適宜左右いずれか
の方向に傾けて運転する場合がしばしばある。この時、
ＴＶカメラ１０にて得られる運転者の顔部画像情報は左
右いずれかにシフトすることとなる。そこで、この演算
装置２４においては、左右いずれかにシフトした顔部画
像情報を電気的に処理して切り出し回路１４にて設定さ
れたウィンドウのほぼ中心位置に顔部の中心が位置する
ように補正するのである。第１実施例において詳述した
ように、切出し回路１４から送られてくる顔部画像情報
は第３図（Ｂ）に示されるように水平方向及び垂直方向
に二次元配列した複数の画素情報から構成されており、
各画素は白あるいは黒いずれかの二値レベルを有してい
る。演算装置２４においては、このような二次元配列し
た画素情報を水平位置に対して積分し、水平方向の画像
情報の明るさの分布を算出する（ステップ２００）。第
７図（Ａ）にこのようにして算出された顔部画像情報の
周辺分布が示されており、この第７図（Ａ）において横
軸は水平位置を、そして縦軸はこの水平位置における積
分値、すなわち画像情報の明るさの程度を示しており、
上にいくほど画像情報が白レベルに近くなることを示し
ている。切り出し回路１４にて切り出された顔部画像情
報は運転者の目の近傍の所定範囲であるので、このよう
な周辺分布を算出すると、運転名の黒い眼球部分に極小
値を持つプロファイルを示すこととなる。そして、この
ような周辺分布が算出された後、演算装置２４ではこの
周辺分布プロファイルからその重心位置を算出する（ス
テップ２０２）。この重心位置は、運転者の顔の中心に
ほぼ一致し、従って運転者の顔が左右いずれかに傾いて
いる場合にはこの重心位置もそれに伴ってシフトするこ
ととなる。そこで、算出されたこの重心位置を周辺分布
プロファイルの中心に再設定し、周辺分布の中心を補正
する（ステップ２０４）。

そして、このように演算装置２４にて周辺分布の中心補
正が行われた画像情報は、所定の処理を行うニューラル
ネットワーク２６に入力される。

第８図は本第２実施例におけるニューラルネットワーク
の構成図である。このニューラルネットワーク２６はニ
ューラルユニット群から構成される入力層、中間層及び
出力層の多層構造からなるニューラルネットワーク２６
ａ及び２６ｂから構成されており、両ニューラルネット
ワーク２６ａ１２６ｂはニューラルネットワーク２６ａ
の出力をニューラルネットワーク２６ｂの入力層の１つ
に人力することにより接続されている。

そして、ニューラルネットワーク２６ａの入力層を構成
するｎ個のニューラルユニットには演算装置２４によっ
て周辺分布の中心が補正された複数の画素情報がそれぞ
れ人力される（ステップ２０６）。さらに、中間層及び
出力層にて第１実施例と同様の入力の加重和に応じてｓ
１ｇａ＋ｏ１ｄ関数で変換し、入力画像情報を処理して
出力層から出力する。このニューラルネットワーク２６
ａの出力層は１個のニューラルユニットから構成されて
おり、このニューラルユニットの出力値は車両運転者の
顔の向きに対応させておく。すなわち、中間層及び出力
層にて行われた処理（ステップ２０８）の結果、出力層
のニューラルユニットから出力値１が出力された場合に
は、運転者の顔が正面を向いていると判断される（ステ
ップ２１０．２１２）。そして、出力値がＯである場合
には運転者の顔が正面を向いていない、すなわち脇見運
転が発生していると判断され、ＥＣＵ１８を介してブレ
ーキやアクセル等の制御を行う（ステップ２１４）。

一方、ニューラルネットワーク２６　ａの出力値によっ
て運転者の顔が正面を向いていると判断された場合には
、ニューラルネットワーク２６ｂにて引き続き処理が行
われる。このニューラルネットワーク２６ｂも入力層、
中間層及び出力層の多層構造であり、各層はニューラル
ユニット群から構成されている。そして、人力層の第１
番目のニューラルユニットには前述のニューラルネット
ワーク２６ａの出力の一部が入力され、他のニューラル
ユニットには車両運転者の左右の目に関する画像情報が
入力される。すなわち、切り出し回路１４にて目の近傍
の所定範囲が切り出された画像情報から更に運転者の左
右の目の近傍に位置する画素のみを切り出しくステップ
２１６）、前述したステップ２００〜２０４と同様に演
算装置２４にて左右の目の周辺分布を算出してその中心
位置を補正する（ステップ２１８〜ステツプ２２２）。

第７図（Ｂ）、（Ｃ）には演算装置２４にて算出される
運転者の右目及び左目の周辺分布のプロファイルが示さ
れている。第７図（Ａ）と同様に横軸は水平位置、そし
て縦軸はこの水平位置に対応した垂直方向の画素情報を
積分した値、すなわち画素情報の明るさの程度を示して
おり、両図においてピークに相当する水平位置はそれぞ
れ運転者の眼球部分に相当している。そして、周辺分布
の中心補正が行われた右目及び左目に関する画像情報は
ニューラルネットワーク２６ｂの入力層を構成する各ニ
ューラルユニットに入力され（ステップ２２４）、中間
層及び出力層にて前述と同様の処理が行われる（ステッ
プ２２６）。そして、このニューラルネットワーク２６
ｂの出力層を構成する各ニューラルユニット群の出力は
それぞれ運転者の目の状態に対応している。すなわち、
例えば第１番目のニューラルユニットの出力値は目が閉
じている閉眼状態にあることを意味しており、また第２
番目のニューラルユニットの出力値はペタル方向に、そ
して第１番目のニューラルユニットの出力値は運転者の
目がインストルメントパネル方向に向いていることを意
味している。従って、ニューラルネットワーク２６ｂの
出力層からの出力値が（１，Ｏ，・・・・・・、０）で
ある場合には、運転者は閉眼状態、つまり居眠り状態に
あると判断しくステップ２２８）、この情報は車両の電
子制御を行うＥＣＵ１８に入力され、ブレーキ制御が行
われる（ステップ２１４）。

このように、本第２実施例においては入力層、中間層及
び出力層を有する２つのニューラルネットワークを接続
し、この２つのニューラルネットワークにより運転者の
顔の向き及び目の状態を検出するものであり、ＴＶカメ
ラ１０によって得られた画像が左右いずれかにシフトし
ている場合にも正確に車両運転者を監視することが可能
となる。

なお、第１及び第２実施例において車両運転者の顔の方
向や目の状態を正面か否か、あるいは特定の方向かを認
識しているが、これらを所定方向からの偏位、すなわち
所定方向からの角度を出力結果としても良い。

また、第１及び第２実施例においては、ニュラルネット
ワークの変換規則としてのｓｉｇｍｏｌｄ関数として、
例えば ｆ−２／　（１＋ｅｘｐ　　［−（ｎｅ　ｔ−ｚｚ）　
］　）　−１を用いても良い。また、ｓ１ｇｍｏｉｄ関
数以外の他の関数でも良い。

また、第２実施例で、通常の２次元カメラから得た画像
データを処理して水平方向の明るさの分布を求めるかわ
りに、リニアＣＣＤ等を利用して、直接水平方向の明る
さを検出しても良い。

さらに、第１実施例と第２実施例を組み合わせても良く
、第１実施例、第２実施例共に例えば、顔部画像全体の
明るさの平均値で割る等して人力データを正規化しても
良い。

また、走行前にドライバーが、正面インストルメントパ
ネル方向等を見て、正しい方向を入力し、事前に学習さ
せるようにしても良い。

以上説明したように、本発明に係る車両運転者監視装置
によれば、流化能力を有するニューラルネットワークを
利用することにより、不特定多数の車両運転者の顔の向
きや目の状態を少ないメモリ容量で高速かつ高精度に検
出することが可能となり、車両の安全走行を可能とする
効果がある。

【図面の簡単な説明】

第１図は本発明に係る車両運転者監視装置の第１実施例
の構成ブロック図、 第２図は同第１実施例におけるフローチャート図、 第３図は同第１実施例におけるウィンドウ設定説明図、 第４図は同第１実施例におけるニューラルネットワーク
の＋１４成図、 第５図は本発明に係る車両運転者監視装置の第２実施例
の構成ブロック図、 第６図は同第２実施例におけるフローチャート図、 第７図は同第２実施例における周辺分布の説明図、 第８図は同第２実施例におけるニューラルネットワーク
の構成図である。 １０　・・・　ＴＶカメラ １２　・・・　二値化回路 １４　・・・　切出し回路 １６　・・・　ニューラルネットワーク１８　・・・　
ＥＣＵ ２４　・・・　演算装置

Claims (1)

1. 【特許請求の範囲】 車両運転者の顔部を撮影する撮像手段と、 この撮像手段からの顔部画像情報を入力し、入力の加重
   和に応じて出力するニューラルユニット群からなる層を
   多層接続してなるニューラルネットワークを用いて前記
   車両運転者の顔の方向及び目の状態を検出する検出手段
   と、 を具備することを特徴とする車両運転者監視装置。