JP2546415B2 - 車両運転者監視装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は車両運転者監視装置、特にニューラルネット
ワークを用いて車両運転者の顔の向きや目の状態を監視
する装置に関する。

［従来の技術］ 従来より、自動車等の車両の安全走行を確保するため
の種々の支援システムが提案されている。このような支
援システムは、主に車両運転者の居眠り状態や脇見状態
を検出して運転者に警報を与え、安全走行を可能とする
ものである。

このような安全走行のための支援システムとしては、
例えば特開昭63−222940号公報に開示された自動車安全
走行支援方式がある。この支援方式においては、運転者
の目を監視する監視装置を設け、この監視装置からの情
報により運転者の目の方向が正しい前方を向いている
か、また目の開き程度が所定値以上かどうかが判断され
る。この判断は、目の方向が前方方向中心線から一定以
上離れているか否か、また目の視野が所定範囲内か否か
をCPUによって判断することにより行われる。そして、
脇見運転や居眠り運転が発生していると判断された時に
は、警報や自動ブレーキを緩かにかけるものである。

あるいは、特に居眠り運転を検出するためのシステム
として、特開昭60−178596号公報に開示された居眠り運
転防止装置が知られている。この装置においては、車両
運転者の状態位置を検出する検出手段を設け、検出され
た状態位置の周期的な変動から居眠り運転を検知し運転
者に警報を発するものである。

［発明が解決しようとする課題］ しかしながら、特開昭63−222940号公報に開示された
自動車安全走行支援方式においては、運転者の目の状態
のみを監視して脇見運転や居眠り運転を検出するもので
あり、特徴部分、すなわち眼球部分を正確に抽出しなけ
ればならず、計測が容易でないという問題があった。ま
た、運転者は車両運転中常に前方のみを注視していると
は限らず、顔の向きを適宜左右いずれかの方向に向けて
運転することがしばしばあり、このような場合には正確
に視野を測定することが困難であるという問題もあっ
た。

勿論、このような問題を解決すべく計測すべき特徴部
分に予め光学的マーカを貼付することを提案されている
が（テレビジョン学会技報、Vol.12、No.24、pp13−1
8）、実際の車両運転時にこのような光学的マーカを貼
付することは実用的でない。あるいは、顔の向きを検出
するために目頭と唇の端点を基準点とし、顔の構造の面
対称性に着目して顔の向きを検出する方法も考えられて
いるが（情報処理学会、5C−２、pp162−163）、車両運
転者は不特定多数であり、全ての運転者に適用できない
問題がある。

また、特開昭60−178596号公報に開示された居眠り運
転防止装置においては、居眠り運転発生時に生じる運転
者の特有のパターン、すなわち位置の周期的な変動を検
出して居眠り運転と判断するものであり、必ずしも居眠
り運転発生時にこのような特有のパターンが出現すると
は限らず、正確に検出することができないという問題が
あった。

そこで、本願出願人は先に特願平２−51332号にて以
下のような車両運転者監視装置を提案した。この車両運
転者監視装置においては、車両運転者の顔部を撮影する
撮像手段と、この撮像手段からの顔部画像情報をニュー
ラルネットワークを用いて処理することにより車両運転
者の顔の方向及び目を状態を検出するものである。

しかしながら、撮像手段にて得られた画像からニュー
ラルネットワークに入力すべき画像情報を抽出するため
に行われるべき画像切り出しが困難でその処理に長時間
を要してしまうという課題があった。

本発明は上記従来技術の有する課題を鑑みなされたも
のであり、その目的は不特定多数の車両運転者の顔の向
きや目の状態を高速かつ確実に検出することが可能な改
良された車両運転者監視装置を提供することにある。

［課題を解決するための手段］ 上記目的を達成するために、本発明に係る車両運転者
監視装置は、車両内の所定位置に設けられた撮像手段
と、車両運転者の有無を検出する検出手段と、この検出
手段にて車両運転者が無と検出された場合に前記撮像手
段を駆動して背景画像を得、車両運転者が有と検出され
た場合に前記撮像手段を駆動して背景を含む車両運転者
画像を得る撮像制御手段と、得られた背景画像と、背景
を含む車両運転者画像との相違から車両運転者の顔部位
置を算出する位置算出手段と、この位置算出手段にて算
出された顔部位置の車両運転者画像を入力し、入力の加
重和に応じて出力するニューラルユニット群からなる層
を多層接続してなるニューラルネットワークを用いて車
両運転者の顔の方向及び目の状態を検出する状態検出手
段とを具備することを特徴としている。

［作用］ 本発明の車両運転者監視装置はこのような構成を有し
ており、検出手段にて車両運転者の有無が検出される。

そして、車両運転者が無と検出された時に撮像制御手
段が車両内の所定位置に設けられた撮像手段を駆動して
撮影し、車両運転者の存在しない背景画像を得る。

また、検出手段にて車両運転者が有りと検出された時
に撮像制御手段が撮像手段を駆動して撮影し、車両運転
者画像を得る。

このようにして得られた背景画像と車両運転者画像と
の相違を求めることにより、車両運転者のみの画像が得
られることとなり、この車両運転者のみの画像からその
顔部位置を算出することが容易となる。

そして、車両運転者の顔部画像は予め学習されたニュ
ーラルネットワークによって処理され、顔の方向及び目
の状態が検出される。

ニューラルネットワークは所定のアルゴリズムを考慮
する必要がなく、多数のパラメータを高速処理すること
ができるので、本発明のように短時間に多数の画像情報
を処理する必要がある場合に特に好適であり、また学習
により種々の画像パターンに対応できる汎化能力を有す
るため、不特定多数の運転者にも対応できる。

そして、ニューラルネットワークを用いて検出された
運転者の顔の向き及び目の状態により脇見運転あるいは
居眠り運転の発生を検出することが可能となり、安全走
行を行うための有効な情報が得られることとなる。

［実施例］ 以下、図面を用いながら本発明に係る車両運転者監視
装置の好適な実施例を説明する。

第１実施例 第１図は本発明の第１実施例の構成ブロック図であ
る。撮像手段としてのTVカメラ10は車両内の所定位置、
例えばフロントパネル近傍に位置される。このTVカメラ
10は例えばCCD（Charge Coupled Device）固体撮像素子
で構成される。なお、TVカメラ10にて明瞭な画像を得る
ために、車両の所定位置に照明装置を設けて運転者の顔
の照明を当ててもよい。また、このTVカメラ10には、こ
の照明装置からの照明光のみが入射するようにフィルタ
をかけてもよい。

そして、このTVカメラ10を駆動するための撮像制御手
段としてCPU4が設けられている。このCPU4には第１図に
示されるように運転シート圧力を検出する圧力センサ
１、運転席側のドアの開閉を検知するドアセンサ２及び
イグニッションスイッチのON,OFFを検出するイグニッシ
ョンセンサ３からの各検出信号が入力され、これら各セ
ンサからの検出信号に基づき適宜タイマーを作動させ、
車両運転者の有無を検出する構成となっている。

以下、第２図を用いてこのCPU4の動作を詳細に説明す
る。

第２図は本実施例におけるCPU4の動作フロチャートを
示したものである。まず、ステップ100にてドアセンサ
２からの検出信号により運転席側のドアが開いているか
否かが判定される（SW1?）。そして、このステップ100
にてYES、すなわち運転席側のドアが開いていると判定
された場合には次のステップ102に移行する。

このステップ102では圧力センサ１からの検出信号に
よりタイマーを作動させ、車両運転者が降車してから所
定時間、例えば１時間経過しているか否かが判断される
（SW2?）。このステップ102にてYES、すなわち車両運転
者が降車してから所定時間経過していると判断された時
には、次のステップ104に移行し、TVカメラ10に駆動信
号を送って背景画像P₀を撮影する。

なお、前述のステップ100、ステップ102でいずれもYE
Sと判断される状況は、以下の状況に対応するものであ
る。すなわち、車両運転者が降車してから十分な時間が
経過し、かつ運転席側のドアが開いているということ
は、車両運転者が乗車しようとして運転席側のドアを開
けている状況に対応している。そして、この時車両運転
者は未だシートに座っておらず、従ってCPU4からの駆動
信号によりTVカメラ10が運転シート近傍を撮影すると、
車両運転者が存在しない状態での背景画像P₀を撮影する
こととなる。

そして、このようにして撮影された背景画像P₀は第１
図に示されるように二値化回路12に各画素毎に０または
１に二値化されて記憶装置５に記憶される。

一方、ステップ100にてNO、すなわちドアセンサ２か
らの検出信号により運転席側のドアが開いていないと判
定されたとき、又はステップ102にてNO、すなわち車両
運転者が降車してから所定時間が経過していないと判断
されたときにはいずれもステップ106に移行する。

このステップ106では圧力センサ１からの検出信号に
基づき車両運転者がシートに座っているか否かが判断さ
れる（SW5?）。そして、このステップ16にてYES、すな
わち車両運転者がシートに座っていると判断された場合
には次のステップ108に移行し、車両運転者が実際に車
両を運転中か否かが判断される。すなわち、このステッ
プ108ではイグニッションセンサ３からの検出信号に基
づきタイマーを作動させ、イグニッションON後所定時
間、例えば30分経過しているか否かが判定され（SW3
?）、YESすなわちイグニッションON後所定時間が経過し
ていると判定された場合には車両運転者が実際に車両を
運転中であるとみなし、次のステップ110に移行する。

このステップ110では後述する車両運転者画像の撮影
の可否が判断される。すなわち、このステップ110では
前述のステップ104にて背景画像P₀が撮影されてから所
定時間内か否か判定される（SW4?）。背景画像P₀が撮影
されてからまだ十分な時間が経っていない、すなわち今
回の撮影が第１回目の撮影であると判断された場合には
次のステップ112に移行し、ステップ104と同時にCPU4か
らの駆動信号によりTVカメラ10が画像P₁を撮影する。な
お、このステップ112では撮影はステップ104で撮影され
た背景画像P₀に加え、車両運転者がシートに座った状態
での車両運転者画像が撮影されることとなる。

そして、このような車両運転者画像P₁撮影された後、
次のステップ114に移行して画像差分 ΔＰ＝P₁−P₀ が計算される。

この差分は次のような物理的意味を有している。すな
わち、第４図（Ａ）に示されるように車両運転者の存在
しない背景画像P₀と第４図（Ｂ）に示されるようにこの
背景画像P₀に加え車両運転者が存在する場合の車両運転
者画像P₁との差分をとると、第４図（Ｃ）に示されるよ
うに車両運転者のみが存在する画像ΔＰが得られること
となる。

このようにステップ114で画像差分ΔＰが算出された
後、次のステップ116に移行して車両運転者の頭の位置
が特定される。

頭の位置の特定は次のような処理により達成される。
すなわち、前述のステップ114にて得られた画像差分Δ
Ｐの絶対値を算出し、この絶対値ΔＰの二次元プロファ
イルを算出する。例えば、第４図（Ｃ）において図示の
ごとくｘ方向、ｙ方向をとった場合、絶対値ΔＰのｙ方
向のプロファイルにおいて、 ｜ΔP|＝０ となるのは車両運転者の頭頂部位に対応し、この位置を
y₀とする。

一方、ｘ方向の絶対値ΔＰのプロファイルはほぼ対称
形となり、この対称形の中心位置をx₀とする。そして、
このようにして定めた座標 （x₀,y₀）は車両運転者の中心頭頂に対応し、これを基
準座標として頭の位置が特定されることとなる。

また、このように車両運転者の頭頂部を検出するので
はなく、例えばｙ方向の絶対値ΔＰのプロファイルにお
いて極値となる部位は通常車両運転者の首の部位に相当
し、この首の部位に相当する極値と前述の絶対値ΔＰが
０となる車両運転者の頭頂部の座標との中間値をとるこ
とにより車両運転者の顔のほぼ中心を特定することがで
きる。

このように、ステップ116にて車両運転者の頭の位置
が特定された後、次のステップ118に移行して頭の位置
座標を記憶装置５に記憶する。

そして、このように記憶装置５に格納された車両運転
者の頭の位置に関する情報は、ステップ110でNOと判定
された時に移行するステップ120にて読み出され、第１
図の構成ブロック図に示される切り出し回路14に送られ
て画像処理に必要な画素のみを切り出すための処理に用
いられる。

切出し回路14では、処理すべき所定の頭部領域を送ら
れてきた位置座標に基づき切り出す。第５図にその一例
を示す。第５図（Ａ）はTVカメラ10にて撮影された車両
運転者の顔部であり、この顔部画像から記憶装置５から
送られてきた位置座標に基づき目の近傍の所定範囲のウ
インドウを設定し、第５図（Ｂ）に示すようにこの部分
の画像情報を切り出す。なお、前述したようにCCD固体
撮像素子等をTVカメラ10として用いた場合、頭部画像情
報は第５図（Ｂ）に示されるように二次元配列された複
数の画素情報から構成されており、各画素情報は白ある
いは黒レベルに二値化されて出力されることとなる。
今、このような二次元配列した複数の画素に番号を付
し、第ｉ行第ｊ列に位置する画素をa_ijと記し、その画
素情報をI_ijと記す。そして、このようにして切り出さ
れた顔部画像情報I_ij（白レベルに相当する論理レベル
１あるいは黒レベルに相当する論理レベル０のいずれか
の値を有する）はニューラルネットワーク16に入力さ
れ、後述の処理が行われる。なお、これら二値化処理、
切り出し処理及び以下に示すニューラルネットワーク処
理はDSP（Digital Signal Processor）を用いて行って
も良い。

以下、このニューラルネットワーク16に行われる処理
を第６図を用いて詳細に説明する。周知の如く、ニュー
ラルネットワークは入力層、中間層及び出力層の階層構
造からなり、各層はニューラルユニット群から構成され
る。ニューラルユニットは所定の重み付け（結合係数）
w_ijが付加された入力の総和に応じて一定の規則で変換
し出力するユニットである。この規則としては種々の関
数が用いられるが、本実施例においては入力の総和“ne
t"を net＝Σw_ijI_i とした時、 ｆ＝1/｛１＋exp［−（net＋α）］｝ 但し、αは定数 なるsigmoid関数を用いることとした。この関数の値域
は０〜１で、入力値が大きくなるにつれ１に、そして小
さくなるにつれ０に近づく特性を示す。

さて、切出し回路14からの二値化された顔部画像情
報、すなわち切り出された画像を構成する画素a_ijの画
像情報I_ij（０また１）は第６図に示されたニューラル
ネットワークの入力層を構成する各ニューラルユニット
に入力される。従って、切り出された画像情報が240×4
0個の画像から構成されている場合には、この画素数と
同数の9600個のニューラルユニットが存在することとな
る。なお、入力層におけるニューラルユニットの数を減
らしたい場合には、切り出された画像をいくつかの小領
域に分割し、分割された小領域内に画素情報を足し合せ
る平均処理を行いニューラルユニットの個数を減らせば
良い。例えば、小領域を４×４に設定すると、ニューラ
ルユニットは60×10＝600個に減少する。

このように切り出された画像を構成する各画素の画素
情報I_ijが入力層の各ニューラルユニットに入力された
後、同様のニューラルユニット群からなる中間層及び出
力層で所定の変換処理が行われる。すなわち、中間層の
第ｊ番目に位置するニューラルユニットに入力される入
力層の第ｉ番目のニューラルユニットの出力値をI_i、こ
の時の重み付けすなわち結合係数をw_ijとすると、この
第ｊ番目のニューラルユニットに入力される入力値の総
和net_jは、 net_j＝Σw_ij・I_i であり、その出力は前述したようにsigmoid関数を用い
て、 y_j＝ｆ（net_j） となる。そして、中間層に存在する全てのニューラルユ
ニットにて前述の処理が行われ、その出力値が出力層の
各ニューラルユニットに入力される。

出力層のニューラルユニットにおいても、中間層と同
様の変換処理が行われる。すなわち、出力層に位置する
第ｊ番目のニューラルユニットに入力される中間層の第
ｉ番目のニューラルユニットからの出力をy_i、この時の
重に付けをw_ij′とすると、この第ｊ番目のニューラル
ユニットに入力される入力値の総和net_j′は net_j′＝Σw_ij′・y_i となり、この時の出力値O_jは、 O_j＝ｆ（net_j′） となる。なお、入力層から中間層への重み付けw_ij及び
中間層から出力層への重み付けw_ij′の値は、出力層か
らの実際の出力値と望ましい出力値との差が減少するよ
うに予め学習により調整しておく。また、各ニューラル
ユニットにて入力値の総和から出力値を変換する際に、
その都度変換関数ｆを用いて演算するのではなく、ROM
等に予め入力される総和値とその時の出力値とをマップ
して記憶させ、演算処理を行うことなくこのROMから読
み出すことにより変換処理を行っても良い。

このようにニューラルネットワークを用いることによ
り、一組の入力画像情報からこれに対応した一組の出力
値が得られることとなるが、出力層を構成する各ニュー
ラルユニット1,2,……,lには所定の状態が対応してお
り、この出力層からの出力値により車両運転者の顔の方
向及び目の状態を判定することができる。

すなわち、第６図に示されるように出力層の第１番目
のニューラルユニットからの出力は運転者の顔が正面方
向を向いていることを意味し、第２番目のニューラルユ
ニットからの出力値は運転者の目が閉じている状態に対
応し、そして第ｌ番目のニューラルユニットからの出力
値は運転者がインストルメントパネル方向に向いている
ことに対応している。従って、出力層を構成するｌ個の
ニューラルユニットからの出力値がそれぞれ（1,0,0,…
…,0）である場合には、車両運転者の顔は正面を向き、
かつ開眼状態にあると検出される。そして、このように
して検出された車両運転者の顔の方向や目の状態に関す
る情報は車両の電子制御を行うECU（Electronic Contro
l Unit）に入力される。

このECU18では入力した運転者の顔の向きや目の状態
に関する情報及びレーザレーダ等の障害物センサ20やカ
メラ等の車両が走行する道路環境を認識する環境認識セ
ンサ22からの情報に基づき車両を安全に走行させるべ
き、警報装置やアクセルアクチュエータ、ブレーキアク
チュエータを制御する。例えば、 （イ）車両運転者の顔及び目が横を向いている場合に
は、前方車両との車間距離を大きくすべくブレーキ操作
を行う。

（ロ）車両運転者の目が長時間閉じており居眠り運転と
検出された場合には、警報手段を介して運転者に警報を
与える。

（ハ）車両運転者の顔及び目が横を向いている場合であ
って、かつ車両がカーブを走行中の場合には警報手段を
介して警報を与えると共にブレーキ操作を行う。

（ニ）車両運転者の目がルームミラーまたは右サイドミ
ラー方向に向いておらず、かつ車両が右折または右隣接
斜線への斜線変更を行う場合には、警報手段を介して警
報を与える。

などの制御を行い、車両を安全に走行させる。

なお、本第１実施例においては入力層から中間層、さ
らには出力層へと順次出力される、いわゆる順方向結合
タイプのニューラルネットワークを用いたが、出力層か
ら入力層への結線も存在するいわゆる相互結合タイプの
ニューラルネットワークを用いても良い。

また、本第１実施例においては中間層は一層のみであ
るが、この中間層を複数層設けても同様の処理を行うこ
とが可能である。

第２実施例 第３図は本発明の第２実施例におけるCPU4での処理を
表わすフロチャートである。前述の第１実施例において
は車両運転者が乗車直前の背景画像及びこの背景画像を
撮影後所定時間内の車両運転者画像を撮影し、その差分
を算出することにより車両運転者の頭の位置を特定した
が、本第２実施例においては車両運転者が降車後所定時
間内の背景画像を撮影することとしている。

このため、本第２実施例においては以下のような処理
フローを採用している。すなわち、まず、ステップ20に
てイグニッションセンサ３からの検出信号によりイグニ
ッションOFFか否かが判断される。そして、このステッ
プ200にてYES、すなわちイグニッションがOFFの時はス
テップ202に移行する。

このステップ202ではドアセンサ２からの検出信号に
よりタイマーが作動して運転席側のドアがロックしてか
ら所定時間内か否かが判断される（SW7?）。そして、こ
のステップ202でYESと判断された時にはCPU4からTVカメ
ラ10へ駆動信号が送られ、ステップ204に示されるよう
にTVカメラ10は背景画像P₀を撮影する。

ここで、これらステップ200及び202にてYESと判断さ
れた状況は、車両運転者が運転を中止してイグニッショ
ンをOFFとし、降車してドアをロックした後の車両運転
者の存在しない状況に対応しており、このように車両運
転者が降車後の背景画像がTVカメラ10によって撮影され
るのである。

一方、ステップ200でNO、すなわちイグニッションがO
Nと判断された時、及びステップ202にてNO、すなわち運
転席側のドアがロックされてから所定時間経過した時に
は共にステップ108に移行する。

このステップ108では前述の第１実施例と同様にイグ
ニッションON後所定時間経過したか否かが判断され、YE
Sすなわち所定時間経過していると判断された場合には
車両運転者が実際に車両を運転中であることを意味し次
のステップ208に移行する。

このステップ208では車両のシフトレバーがＰ（パー
キング）以外のレンジに設定されているか否かが判断さ
れ、YES、すなわちＰ以外のレンジにシフトレバーが設
定されている場合には車両が運転中であることを意味し
以下第１実施例のステップ112〜ステップ118と同様のス
テップを経ることにより車両運転者画像P₁が撮影され、
更に先に撮影された背景画像をP₀との差分が算出されて
車両運転者の頭の位置が特定される。

このように、本第２実施例においてはイグニッション
がONか否か及びシフトレバーがＰレンジ以外に設定され
ているか否かにより車両運転者の有無を判定するもので
あり、圧力センサ等の特殊なセンサを用いずに検出手段
を構成できる利点がある。

なお、前述の第１及び第２実施例においてはCPU4によ
り算出された車両運転者の頭の位置に関する情報が切出
し回路14に送られ所望の領域が切出されたが、このよう
にTVカメラ10を車両のフロントパネル近傍に設置するの
みでなく、補助的に第２のTVカメラを車両後方のデッキ
ルーム等に設置し、車両運転者の顔部が写し出されてい
るルームミラーを撮影するように構成しても良い。

この場合、第２のTVカメラには既に車両運転者の顔部
のみが写し出されているため、この第２のTVカメラにて
得られた画像と前述の第１及び第２実施例におけるTVカ
メラ10にて撮影され、切出し回路14で切出された画像と
比較し、互いに画像の相違量が所定の許容範囲以内であ
れば切り出された画像を採用するように構成することに
より、より一層の制度向上を図ることが可能である。

［発明の効果］ 以上説明したように、本発明に係る車両運転者監視装
置によれば、不特定多数の車両運転者の顔の向きや目の
状態を高速かつ確実に検出することが可能となる。

【図面の簡単な説明】

第１図は実施例の構成ブロック図、 第２図は第１実施例のCPUの処理フロチャート図、 第３図は第２実施例のCPUの処理フロチャート図、 第４図は実施例の画像差分の説明図、 第５図は実施例のウインドウ設定説明図、 第６図は実施例のニューラルネットワークの構成図であ
る。 １……圧力センサ ２……ドアセンサ ３……イグニッションセンサ ４……CPU ５……記憶装置 14……切り出し回路 16……ニューラルネットワーク 18……ECU

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 7638−2Ｊ Ａ６１Ｂ 5/10 ３１０Ａ

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】車両内の所定位置に設けられた撮像手段
   と、 車両運転者の有無を検出する検出手段と、 この検出手段にて車両運転者が無と検出された場合に前
   記撮像手段を駆動して背景画像を得、車両運転者が有と
   検出された場合に前記撮像手段を駆動して背景を含む車
   両運転者画像を得る撮像制御手段と、 得られた背景画像と、背景を含む車両運転者画像との相
   違から車両運転者の顔部位置を算出する位置算出手段
   と、 この位置算出手段にて算出された顔部位置の車両運転者
   画像を入力し、入力の加重和に応じて出力するニューラ
   ルユニット群からなる層を多層接続してなるニューラル
   ネットワークを用いて車両運転者の顔の方向及び目の状
   態を検出する状態検出手段と、 を具備することを特徴とする車両運転者監視装置。