JPH08249454A

JPH08249454A - 車両運転者のわき見検出装置

Info

Publication number: JPH08249454A
Application number: JP7074458A
Authority: JP
Inventors: Masayuki Kaneda; 雅之金田; Yasushi Ueno; 裕史上野
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1995-03-07
Filing date: 1995-03-07
Publication date: 1996-09-27

Abstract

(57)【要約】【目的】運転者のわき見を車室内の光環境に関係なく
正確に捉える。【構成】運転者の顔面を撮像するＴＶカメラ１１から
の入力画像がＡ−Ｄ変換器１２で変換され、画像メモリ
１３に入力される。顔幅検出回路１４はこの画像を２値
化、ノイズ除去を行い、Ｘ座標方向の中央より左右方向
に白画素の減少傾向を調べ、急激に減少した後減少が止
まったｘ座標を顔幅とする。基準位置学習回路１５は先
に複数回検出された顔幅を学習して顔の基準位置を設定
し、顔の向き検出回路１６が顔幅座標の顔の基準位置か
らのずれ量によって顔の向きを検出する。そしてわき見
判定回路１７は１方向への向きが所定時間継続するとわ
き見状態と判定し、報知装置１８を作動させる。光環境
の変化による影響の少ない運転者の顔幅を検出するから
光環境に関係なく顔の向きを正確に捉らえる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両運転者のわき見検
出装置に関する。

【０００２】

【従来の技術】車両運転者の挙動を把握するものとし
て、わき見検出装置がある。従来の車両運転者のわき見
検出装置としては、例えば、特開平３−４２３３７号公
報および特開平４−２５７０６号公報に開示されたもの
がある。これは、図２０に示されるような運転者の眼を
含む範囲領域Ｒを検出領域として、２値化した運転者の
顔面像中のその領域内で眼の虹彩部を検出し、虹彩部の
検出結果が１つであるか２つであるかをチェックするこ
とによって、運転者のわき見状態を判定するようになっ
ている。

【０００３】このほか、特開平２−３０３９３３号公報
には、図２１に示すように、赤外線照射装置６０を、例
えば眼鏡６１に取り付けることにより、運転者Ｄの頭部
（顔面）に装着し、赤外線照射装置６０から照射する赤
外線を、車室内前部に取り付けた赤外線受光装置６２が
受光するか否かで運転者のわき見を判定する装置が開示
されている。

【０００４】さらに、特開平３−２５４２９１号公報に
は、運転者の顔面像の眼を含む領域内においての濃度分
布変化を捉らえることによって、運転者のわき見状態を
判定する装置が提案されている。

【０００５】

【発明が解決しようとする課題】しかしながら、特開平
３−４２３３７号公報および特開平４−２５７０６号公
報に開示された従来例にあっては、虹彩部の検出が１つ
であるときに、わき見状態であると判定していたので、
常に両眼が正しく検出されていないと運転者のわき見状
態を正確に捉らえることが困難であるという問題があっ
た。すなわち、例えば図７の（ａ）および図８の（ａ）
に示すように、車両右側に太陽があり、顔の右側面に直
射光が当たっているときには、２値化画像において右眼
が潰れてしまうことがあり、運転者のわき見状態を正確
に捉らえられない恐れがある。

【０００６】特開平２−３０３９３３号公報に開示され
た従来例にあっては、運転者の頭部に赤外線照射装置を
取り付ける必要があり、運転者に眼鏡等の装着を強いる
ために不快感を与えるという問題がある。また、昼間走
行においては、赤外線照射装置の発光出力では、太陽光
の影響により正確に赤外線を受光できない恐れもある。

【０００７】また、特開平３−２５４２９１号公報に開
示された従来例にあっては、眼を含む領域内の濃度分布
の変化により、眼の状態を捉らえるため、光環境の変化
に非常に弱く、実際に顔が動いていなくても、光環境が
変化すると、濃度分布に影響を与えるので、顔が動いて
いるのか、光環境が変化しているのかの区別ができな
い。そのため、光環境が目まぐるしく変わる車室内で
は、正確に運転者のわき見を正確に捉らえることができ
ないという問題がある。本発明は、このような従来の問
題点に着目してなされたものであり、運転者のわき見を
車室内の光環境に関係なく常に正確に捉らえることので
きる車両運転者のわき見検出装置を提供することを目的
としている。

【０００８】

【課題を解決するための手段】このため、請求項１記載
の本発明は、図１に示すように、運転者の前方から撮像
して顔面の画像を得る画像入力手段１と、画像入力手段
１から送出される入力画像を２値化処理する画像処理手
段２と、画像処理手段２で得た２値化画像において、顔
の左端と右端とを検出する顔幅検出手段３と、顔幅検出
手段３により検出された顔幅の変化から顔の向きを検出
する顔の向き検出手段４と、顔の向き検出手段４で検出
した顔の向きの変化から運転者のわき見状態を判定する
わき見判定手段５とを有するものとした。

【０００９】また、請求項３記載の発明は、上記構成に
加えて、車両の走行速度を検出する車速検出手段６を有
し、わき見判定手段は、車速検出手段より送出される車
速信号によりわき見判定基準を可変させるよう構成され
ているものとした。

【００１０】上記の顔の向き検出手段は、顔幅検出手段
で検出された顔幅を学習して設定する顔の基準位置学習
回路と、顔幅検出手段により検出される顔幅と顔の基準
位置との比較に基づいて顔の向きを検出する顔の向き検
出回路とを備えるものとするのが好ましい。そして、上
記顔の基準位置は、顔幅検出手段により検出された顔幅
が前記顔の基準位置の顔幅以内であるとき、当該検出さ
れた顔幅の位置で更新することができる。さらには、上
記顔の基準位置学習回路も、車速検出手段より送出され
る車速信号により前記学習する顔幅を選択するものとす
ることができる。また、顔の向き検出手段は、顔幅検出
手段で検出された顔幅の時系列変化により顔の向きを検
出するモニタ回路により構成してもよい。

【００１１】請求項８記載の発明は、運転者の前方から
撮像して顔面の画像を得る画像入力手段と、画像入力手
段から送出される入力画像を２値化処理する画像処理手
段と、画像処理手段で得た２値化画像において、顔の左
端と右端とを検出する顔幅検出手段と、顔幅検出手段に
より検出された顔幅内において、その中心から左右方向
片側に設定した眼の検出領域での眼の検出状態から顔の
向きを検出する顔の向き検出手段と、顔の向き検出手段
で検出した顔の向きの変化から運転者のわき見状態を判
定するわき見判定手段とを有するものとした。

【００１２】

【作用】請求項１記載のものでは、画像入力手段１から
送出される運転者の顔面の入力画像が画像処理手段２で
２値化処理され、顔幅検出手段３によりこの２値化画像
において顔の左端と右端とが検出される。顔の向き検出
手段４では、顔幅検出手段３により検出された顔幅の変
化から顔の向きが検出される。わき見判定手段５がこの
検出された顔の向きの変化から運転者のわき見状態を判
定する。この判定結果を用いて、例えば報知装置により
運転者に注意を促すことができる。光環境の変化による
影響の少ない運転者の顔幅を検出するとともに、運転者
が通常の運転姿勢をとったときの顔の位置を表わす顔基
準位置に対する顔幅の変化状態から顔の向きを検出する
ので、光環境に関係なく正確に変化を捉らえることがで
きる。

【００１３】請求項３のものでは、わき見判定手段が、
車速検出手段より送出される車速信号によりわき見判定
基準を可変させる。このため、車速が大きいほど判定の
ための継続所定時間を短く設定することにより、高速走
行時に早期報知ができ、あるいは低速走行時または停止
時に報知することを防止できる。

【００１４】請求項８のものは、とくに顔の向き検出手
段において、顔幅の中心から片側に設定した眼の検出領
域で眼が正しく検出されているかどうかにより顔が横方
向を向いているかどうかが検出される。上下に長く左右
方向が狭い検出領域内で眼を探索するので、処理データ
が少なくて済み、処理速度が向上する。

【００１５】

【実施例】図２は、本発明をわき見報知装置に適用した
第１の実施例を示すブロック図である。画像入力手段と
して、運転者Ｄの顔部分を正面から撮影するＴＶカメラ
１１がインストルメントパネルに設置されている。ＴＶ
カメラ１１の入力画像は、図３の（ｅ）に示すように、
横（ｘ）方向に０〜５１１の５１２画素、縦（ｙ）方向
に０〜４３１の４３２画素からなり、縦方向に顔部分が
ほぼ一杯になるように画角が調整されている。ＴＶカメ
ラ１１は、その撮影した入力画像をＡ−Ｄ変換するＡ−
Ｄ変換器１２を介して、デジタル量の入力画像データを
格納する画像メモリ１３に接続されている。

【００１６】画像メモリ１３には、これに格納された入
力画像データに基づいて顔幅を検出する顔幅検出回路１
４、この顔幅検出回路１４より送出される顔幅データか
ら運転者が通常の運転姿勢をとったときの顔の位置を示
す顔の基準位置を学習する顔の基準位置学習回路１５、
学習により設定された顔の基準位置からの顔幅を表わす
ｘ座標のずれ量によって顔の向きを検出する顔の向き検
出回路１６が順次接続されている。

【００１７】上記顔幅検出回路１４では、眼球存在領域
の横方向の位置を決定するために顔の最大幅を検出す
る。顔の向き検出回路１６には、これから送出される顔
の向きデータの変化により、運転者Ｄのわき見を判定す
るわき見判定回路１７が接続され、わき見判定回路１７
には、該回路の判定結果に基づいて運転者Ｄに報知を発
する報知装置１８が接続されている。

【００１８】次に、上記構成における処理操作について
説明する。まず、顔幅検出回路１４における顔幅検出の
手法について、図３を用いて説明する。運転者Ｄの前方
に配置したＴＶカメラ１１で撮影され、２値化処理され
た２値化画像は、例えば図３の（ａ）のような画像デー
タとなる。次ぎに粒子除去の準備のため、この２値画像
に対して白黒反転処理を行い、図３の（ｂ）に示すよう
な画像を得る。

【００１９】そして、眉、眼、鼻、口など粒子除去を行
う対象の白画素をラベリングし、その面積を求めたあ
と、所定面積以下の除去対象とする白画素を黒画素に変
換する粒子除去を行い、図３の（ｃ）のような画像を得
る。ここで、除去対象とする眉、鼻、口などの部分は、
顔幅検出のために残すべき対象に対して面積が極めて小
さいので、容易にその面積以下の白画素を除去するしき
い値を設定することができる。ついで、白黒反転して反
転画像を元に戻すと、図３の（ｄ）の画像となる。

【００２０】ついで、髪の毛またはアゴの部分は、顔の
最大幅となる可能性がないため、図３の（ｅ）に示すよ
うに、顔の上方部（ｙ＝０〜１００）と下方部（ｙ＝３
００〜４３１）にマスク処理を行う。マスク処理は、画
像データの処理範囲を制限するために、強制的に指令領
域の画素値を変更するために用いられている。この顔幅
検出の場合には、２値化画像での運転者の髪の毛やアゴ
を同じ黒画素（０階調）にマスク処理して、処理領域の
範囲を変更している。これは、顔幅を検出するために、
あまり関係ない上方や下方の画像データを消去して、よ
り正確な顔幅検出を行うためである。また、マスクは髪
の毛などの黒い部分と同一階調となるよう設定している
ため、マスク領域に接している髪の毛などの黒い画素の
集まりは、マスク処理によって一つの大きな黒画素の集
まり（ラベル）とすることができる。

【００２１】ここでラベリング処理について説明する。
ラベリング処理とは、２値化された画像データ内の黒画
素もしくは、白画素の集まりを、個々に認識させる手法
のことをいい、認識されたラベルは、そのラベル毎に大
きさ（面積）、位置（座標）などを同時に把握するこ
ともできる。しかし、ラベリング処理が行えるラベル数
には限りがあり、ラベル数の多さは処理速度の低下を招
くデメリットもある。そのため、前述した粒子除去にお
いて除去対象が多いときには、マスクはラベル数を削減
するための重要な処理となってくる。なお、本実施例で
は粒子除去をマスク処理の前で行っているが、マスク処
理後に行うとラベリング処理の際に、前述したマスクに
より顔の輪郭部に存在する髪の毛などの黒画素の集まり
が接続されるため、ラベル数をかなり削減することがで
きる。

【００２２】つぎに、顔幅の検出方法を説明する。図３
の（ｆ）は、横軸にＸ座標、縦軸に図３の（ｅ）の画像
データの各Ｘ座標上の白画素（２５５階調）数を積算
し、縦軸に示したものである。この白画素積算値をＸ座
標方向の中央（２５５）より、左右方向に白画素の減少
傾向を調べて行う。これにより、白画素数が急減少しそ
の減少が止まるＸ座標（ｘ１，ｘ２）、あるいは、白画
素数がある所定値になるＸ座標位置を、顔幅として正確
かつ、容易に掴むことができる。

【００２３】顔の基準位置学習回路１５においては、学
習による顔基準位置（ｘｋ１，ｘｋ２）の設定が行なわ
れる。顔の基準位置とは、運転者Ｄが通常の運転姿勢を
とったときの顔の位置と定義する。顔の基準位置は通常
の運転を行っているときには、ほぼ定まった位置にあ
り、大きくずれることはない。顔の基準位置学習回路１
５は運転者Ｄによる体格、顔の大きさ、乗車姿勢などの
違いに対応させたもので、学習方法は複数回の顔幅検出
結果を平均することによって求める。普通、運転者は安
全確認、スイッチの操作などの場合を除いて前方を注視
している頻度が高く、運転開始直後に複数回顔幅を検出
し平均することで、通常の運転状態での顔位置である顔
の基準位置（ｘｋ１，ｘｋ２）を学習することができ
る。

【００２４】つぎに、顔の向き検出回路１６による顔の
向き検出手法を説明する。先の図３は、太陽が運転者Ｄ
の正面に位置し、正面を注視している場合の各段階にお
ける画像を示している。この場合には、図３の（ａ）に
示すように、背景は、２値化した際に黒画素に変換され
た画像データとなり、顔幅を表わすＸ座標（ｘ１，ｘ
２）は、図３の（ｆ）に示すように、運転開始直後に複
数回顔幅を検出して平均することで求めた顔基準位置
（ｘｋ１，ｘｋ２）とほぼ等しくなる。そして、顔幅を
表わすＸ座標（ｘ１，ｘ２）と顔基準位置（ｘｋ１，ｘ
ｋ２）との関係は後述する左向きあるいは、右向きの関
係にはならず、（ｘ２−ｘｋ２≧０）を満たしても（ｘ
１−ｘｋ１＞５）となっていない。

【００２５】つぎに図４は、太陽が運転者の正面に位置
し、運転者Ｄが、左方向のわき見をしている場合を示
す。（ａ）に示すように２値化した画像データをもと
に、反転、粒子除去、再反転およびマスク処理を行なっ
た画像は同図の（ｂ）のようになる。これは図３の
（ｅ）の画像に対応する。この場合には、白画素の減少
が止まる顔幅を表わすｘ座標（ｘ１，ｘ２）と顔の基準
座標（ｘ１ｋ，ｘ２ｋ）との関係は、図４の（ｃ）に示
すように、ｘ１＞ｘｋ１、ｘ２≧ｘｋ２となっておりｘ１−ｘｋ１＞５ｘ２−ｘｋ２＞０の両方を満足している。このように、これら両方の式を
満足するか否かで左向きか否かを判定することができ
る。左向きの判定式（ｘ１−ｘｋ１＞５）における５画
素分の変化余裕は、顔のちょっとした動きに対応させる
ためである。なお、本実施例では５としたが、これに限
定されるものではない。

【００２６】図４では、左方向のわき見の場合を説明し
たが、右方向のわき見の場合は、耳および髪の毛また
は、もみあげに当たる部分が、顔の左右逆となるので、
首の回転による顔幅のｘ座標（ｘ１，ｘ２）の変化は、
右向きは左向きの場合に対して正負が逆になるが、同様
の関係となる。そのため、ｘ１−ｘｋ１≦０、ｘ２−ｘｋ２＜５の両式を満足したときに、右向きと判定する。

【００２７】つぎに、図５および図６により、太陽が運
転者Ｄの後方または左側にある場合について説明する。
図５は、運転者Ｄが正面を注視している場合を示す。図
５の（ａ）、（ｂ）、（ｃ）は、図４の（ａ）、
（ｂ）、（ｃ）に対応している。図５の（ａ）に示すよ
うに、２値化した際に左側の背景が白画素に変換された
画像データとなる。しかし、白画素の減少の止まるポイ
ントとして求められる顔幅を表わすｘ座標（ｘ１，ｘ
２）は、（ｃ）に示すように、顔基準座標（ｘｋ１，ｘ
ｋ２）とほぼ等しくなり、左向きおよび左向きの判定式
を満足しない。

【００２８】図６は、運転者Ｄが左方向のわき見をして
いる場合を示す。図６の（ａ）、（ｂ）、（ｃ）は、図
４の（ａ）、（ｂ）、（ｃ）に対応している。図６の
（ｃ）に示すように、顔幅を表わすｘ座標（ｘ１，ｘ
２）と顔基準座標（ｘｋ１，ｘｋ２）との関係はｘ１−
ｘｋ１＞５、ｘ２−ｘｋ２≧０となり、左向きと判定さ
れる。２値化の際、背景が白画素に変換される場合は、
運転者の左側の髪の毛またはもみあげに当たる部分が画
像上見えなくなってしまうので、ｘ２＞＞ｘｋ２となる
が、左向き検出の判定条件であるｘ１−ｘｋ１＞５、ｘ
２−ｘｋ２≧０は満たされる。

【００２９】太陽が運転者Ｄの右側にある場合の例を、
図７および図８により説明する。図７は、運転者Ｄが正
面を注視している場合を示す。図７の（ａ）、（ｂ）、
（ｃ）は、図４の（ａ）、（ｂ）、（ｃ）に対応してい
る。図７の（ａ）に示すように、２値化した際に背景が
白画素に変換されるだけでなく、髪の毛や右眼、右眉ま
で白画素に変換されてしまう。しかし、この場合にも、
（ｃ）に示すように、顔幅を表わす座標（ｘ１，ｘ２）
は顔基準座標（ｘｋ１，ｘｋ２）に対してｘ１−ｘｋ１
＜０、ｘ２−ｘｋ２＝０となり、左右いずれの方向にも
向いていないと判定できる。

【００３０】図８は、運転者Ｄが左方向のわき見をして
いる場合を示す。図８の（ａ）、（ｂ）、（ｃ）は、図
４の（ａ）、（ｂ）、（ｃ）に対応している。ここで
は、顔幅を表わす座標（ｘ１，ｘ２）は、顔の回転によ
り運転者の右側の髪の毛または、もみあげに当たる部分
の影が発生しているため、図８の（ｃ）に示すように、
顔の基準座標（ｘｋ１，ｘｋ２）に対してｘ１−ｘｋ１
＞５、ｘ２−ｘｋ２≧０となっている。したがって、こ
のような光環境においても左向きおよび右向きの検出を
正確に行うことができる。

【００３１】図９は、上述の判定における制御動作の流
れを示すフローチャートである。まず、ステップ１０１
において、ＴＶカメラ１１により運転者Ｄの顔部分を撮
影して画像を入力する。ステップ１０２では、１フレー
ム分の入力画像をＡ−Ｄ変換器１２でデジタル信号に変
換したうえで、画像メモリ１３に格納する。

【００３２】つぎに画像データの前処理として、２値化
およびノイズ除去を行う。すなわち、ステップ１０３で
は、画像メモリ１３に格納された入力画像データを顔幅
検出回路１４に取り込み、所定のしきい値で２値化し
て、図３の（ａ）に例示される２値化画像を得る。この
２値化は顔部分の明暗をはっきりさせるため、しきい値
は眼球を識別して抽出できるレベルに設定される。すな
わち、ビデオ信号を２５６階調（０〜２５５）のデジタ
ルデータに変換して、白い部分を「２５５」黒い部分を
「０」とし、しきい値によるスレッシュホールドレベル
で２値化して２値化画像を得る。このステップではさら
に、顔幅の検出精度を上げるために、この２値化画像に
おいて黒画素の小さい集まり（ノイズ）を除去する。こ
のノイズ除去の手法としては、白画素を対象とした膨脹
処理やメジアンフィルター処理などがある、（前述の顔
幅検出回路１４における顔幅検出手法参照）。

【００３３】つぎにステップ１０４において、顔幅検出
回路１４で顔の左右端となるｘ座標（ｘ１，ｘ２）の抽
出を行う。（前述の顔幅検出回路１４における顔幅検出
手法参照）。ステップ１０５では、顔の基準位置（ｘｋ
１，ｘｋ２）が設定されているか否かをチェックする。
顔の基準位置とは、前述のように運転者が通常の運転
姿勢をとったときの顔の位置と定義され、顔の向きの判
定はこの顔の基準位置（ｘｋ１，ｘｋ２）と顔の座標
（ｘ１，ｘ２）との位置関係を基に行う。顔の基準位置
がまだ設定されていないときは、ステップ１０６へ進
み、設定されているときはステップ１０９へ進む。

【００３４】ステップ１０６では、顔の基準位置学習回
路１５により顔の基準位置の学習を行い、ステップ１０
７では、顔幅データ数が学習対象回数に達したか否かを
判断し、所定回数に達しない間は学習を続ける。学習が
所定回数に達すると、ステップ１０８へ進み、顔の基準
位置（ｘｋ１，ｘｋ２）の設定を行う。ステップ１０６
〜１０８については、前述の顔の基準位置学習回路１５
における顔の基準位置の設定を参照。

【００３５】顔の基準位置が設定されているときには、
まずステップ１０９で、顔の向き検出回路１６におい
て、顔幅を表わすＸ座標（ｘ１，ｘ２）と顔基準置（ｘ
ｋ１，ｘｋ２）との関係が、左向きの判定式（ｘ１−ｘ
ｋ１＞０）および（ｘ２−ｘｋ２≧０）を満足するか否
かがチェックされ、この関係にあればステップ１１０へ
進み、上記関係を満足しなければステップ１１１へ進
む。ステップ１１０では左向きと判定して、ＨＭ＝１と
し、カウントアップする。なお、ここでＨＭは、運転者
Ｄが左方を所定時間向いていたことを表わすユニット時
間を示す。

【００３６】ステップ１１１では、顔幅を表わすＸ座標
（ｘ１，ｘ２）と顔基準置（ｘｋ１，ｘｋ２）とが右向
きの判定式（ｘ１−ｘｋ１≦０）および（ｘ２−ｘｋ２
＜５）の関係にあるか否かがチェックされ、この関係に
あればステップ１１２へ進み、上記関係を満足しなけれ
ばステップ１１３へ進む。ステップ１１２では、右向き
と判定して、ＭＭ＝１とし、カウントアップする。ここ
でＭＭは、運転者Ｄが右方を所定時間向いていたことを
表わすユニット時間を示す。

【００３７】ステップ１１３では、左向きの判定式（ｘ
１−ｘｋ１＞５）および（ｘ２−ｘｋ２≧０）と、右向
きの判定式（ｘ１−ｘｋ１≦０）および（ｘ２−ｘｋ２
＜５）のいずれにも該当しないので、運転者Ｄは正面を
注視しているものとして、ＨＭおよびＭＭをクリアす
る。

【００３８】それぞれの向きの判定のあと、ステップ１
１４では、わき見判定回路１７において、左向きあるい
は右向きの連続検出回数（わき見時間）、すなわちＨＭ
あるいはＭＭのカウント数が所定数以上のときにわき見
運転状態と判定し、ステップ１１５で、報知装置１８か
ら報知信号を出力させて運転者Ｄに注意を促す。ステッ
プ１１４でＨＭあるいはＭＭのカウント数が所定数に達
していないときは、ステップ１０１へ戻る。また、ステ
ップ１１５で報知を行なったあともステップ１０１へ戻
って、上記のフローが繰り返される。上記のステップ１
０１が発明の画像入力手段を構成し、ステップ１０２、
１０３が画像処理手段を、ステップ１０４が顔幅検出手
段を、ステップ１０５〜１１３が顔の向き検出手段を、
そしてステップ１１４がわき見判定手段をそれぞれ構成
している。

【００３９】本実施例は以上のように構成され、２値化
画像において顔の左端と右端と検出して顔幅とし、その
変化すなわち顔の基準位置とのずれが所定の判定式を満
足するかどうかによって顔の向きを検出するものとし、
わき方向を向いている状態が所定時間継続したときわき
見状態と判定し、報知装置により運転者に注意を促す。
したがって光環境の変化による影響の少ない運転者の顔
幅を検出と顔の基準位置とに基づくので光環境に関係な
く顔の向きを正確に捉らえることができる。そして上記
顔の基準位置も先に検出した顔幅を学習することによっ
て設定するから、構成簡単ながら容易に信頼性の高い基
準位置が求められる。

【００４０】図１０は、本発明の第２の実施例を示す。
この実施例は、前実施例のわき見判定回路１７が顔幅の
変化すなわち左向きあるいは右向きの時間が所定時間以
上継続したときにわき見と判定するのに対して、判定の
ための所定時間を車速信号により可変とするとともに、
車速信号により顔幅データを選択できるようにしたもの
である。すなわち、第１の実施例における顔の基準位置
学習回路１５のかわりに顔の基準位置学習回路２５を備
え、わき見判定回路１７のかわりにわき見判定回路２７
が用いられている、そして、顔の基準位置学習回路２５
およびわき見判定回路２７には、車速検出手段としての
車速センサ２０が接続されている。その他の構成は図２
に示された第１の実施例と同じである。

【００４１】顔の基準位置学習回路２５では、車両の走
行速度に応じて顔の基準位置を学習する。すなわち、走
行速度領域が変わるごとに顔幅検出結果を用いて学習を
行ない、顔の基準位置を設定する。一般に高速になるほ
ど運転者の顔の動き小さくなるが、この学習により、車
速により変化する顔幅の基準位置が精度よく設定され
る。また、わき見判定回路２７は、車速が大きいほど判
定のための左向きあるいは右向きの継続時間を短く設定
するようになっている。

【００４２】この実施例は以上のように構成されている
ので、高速走行時の早期報知を可能とし、また、低速走
行時または停止時に報知することを防止できる効果があ
る。さらに、顔の基準位置の学習においても、車両走行
時の顔幅データを選択できるので、顔基準位置の精度を
向上させることができる。

【００４３】図１１には、本発明の第３の実施例を示
す。この実施例は、図２の第１の実施例における顔の基
準位置学習回路１５と顔の向き検出回路１６とを、顔の
動きのモニタ回路３５に置き換えるとともに、わき見判
定回路１７を首振りの時系列変化から判定をおこなうわ
き見判定回路３７としたものである。顔の動きのモニタ
回路３５は、顔の動きを左向き首振り、右向き首振り、
首の動きがない状態の３つを時系列変化により捉らえ
る。

【００４４】図１２、図１３は、本実施例における判定
の制御動作を示すフローチャートである。ステップ２０
１からステップ２０４までは、図９における第１の実施
例のステップ１０１〜１０４と同じである。ステップ２
０５では、顔の動きモニタ回路３５において、１つ前の
フレームによる顔幅が抽出されているか、すなわち１つ
前のフレームの値（ｘｏ１，ｘｏ２）が設定されている
か否かがチェックされ、設定されていればステップ２０
６へ進み、設定されていなければステップ２０７へ進
む。

【００４５】ステップ２０６では、顔幅の現在の値（ｘ
ｎ１，ｘｎ２）として、今回の検出結果である（ｘ１，
ｘ２）を用いて、ｘｎ１＝ｘ１、ｘｎ２＝ｘ２とする。
一方、ステップ２０７では、１つ前のフレームの値（ｘ
ｏ１，ｘｏ２）と現在の値（ｘｎ１，ｘｎ２）の双方に
（ｘ１，ｘ２）を用いて、ｘｏ１＝ｘ１、ｘｏ２＝ｘ
２、ｘｎ１＝ｘ１、ｘｎ２＝ｘ２とする。

【００４６】ステップ２０８では、１つ前のフレームの
値（ｘｏ１，ｘｏ２）と現在の値（ｘｎ１，ｘｎ２）と
が、首を左に振ったときの判定式（ｘｎ１−ｘｏ１＞
５）および（ｘｎ２−ｘｏ２≧０）を満足するか否かが
チェックされる。上記判定式が満足されているときには
ステップ２０９へ進み、満足されていなければステップ
２１０へ進む。ステップ２０９では、顔の動きモニタ回
路３５において、左向き首振りと判定し、ステップ２１
３へ進む。

【００４７】ステップ２１０では、顔の動きモニタ回路
３５において、首を右に振ったときの判定式（ｘｎ１−
ｘｏ１≦０）および（ｘｎ２−ｘｏ２＜−５）を満足す
るか否かがチェックされる。上記判定式が満足されてい
れば、ステップ２１１へ進み、右向き首振りと判定し、
ステップ２１３へ進む。満足されていなければステッ
プ２１２へ進み、左向き首振りでも右向き首振りでもな
く、首は停止状態にあると判定してステップ２１３へ進
む。各首振り方向の判定のあとステップ２１３では、現
在の値をｘｎ１、ｘｎ２を１つ前の値ｘｏ１、ｘｏ２に
それぞれ代入して、ステップ２１４に進む。

【００４８】ステップ２１４では、わき見判定回路３７
において、上述の判定結果による左右の首振り、停止状
態の時系列変化から、顔の動きを連続的にモニタして、
わき見か、安全確認のための動作か等の判定を行う。こ
こでわき見と判断されるとステップ２１５へ進み、報知
装置１８から報知信号を出力させて運転者Ｄに注意を促
す。報知の要がないときはステップ２０１へ戻る。ま
た、ステップ２１５で報知を行なったあともステップ２
０１へ戻って、上記のフローが繰り返される。上記のス
テップ２０１が発明の画像入力手段を構成し、ステップ
２０２、２０３が画像処理手段を、ステップ２０４が顔
幅検出手段を、ステップ２０５〜２１２が顔の向き検出
手段を、そしてステップ２１４がわき見判定手段をそれ
ぞれ構成している。

【００４９】本実施例は以上のように構成され、顔幅に
ついて１つ前のフレームの値（ｘｏ１，ｘｏ２）と現在
の値（ｘｎ１，ｘｎ２）を使用し、１つ前の値に対する
現在の値の変化によって首が左または右に振られたこと
を検出するようにしたので、顔の基準位置の学習を行う
時間を必要としない。これにより、運転開始直後から、
わき見、安全確認の有無等の判定を行うことができる。

【００５０】つぎに、第１の実施例の適用範囲をさらに
向上させた第４の実施例について説明する。これは、運
転開始直後の顔基準位置学習のあとの姿勢の崩れによる
顔位置の移動に対応するものである。構成は第１の実施
例と同様で、制御処理が図１４のフローチャートにした
がって行なわれる。すなわち、ステップ１０５とステッ
プ１０９の間にステップ３０６が設けられている。ステ
ップ１０５で顔基準位置の設定確認後、ステップ３０６
では、顔幅検出回路において、検出された顔幅（ｘ２−
ｘ１）が基準値内かどうかがチェックされる。ここで
は、ステップ１０６で学習した顔幅（ｘｋ２−ｘｋ１）
を基準値としている。

【００５１】運転者が左右を見たときには顔幅（ｘ２−
ｘ１）は基準値に対して変化する。したがって顔幅が基
準値内であれば、顔が平行移動したものと判断して、ス
テップ３０７へ進む。ステップ３０７では、基準値（ｘ
ｋ１，ｘｋ２）を（ｘ１，ｘ２）に入れ換えて、ステッ
プ１０１へ戻る。ステップ３０６のチェックで顔幅が基
準値内からはずれている場合は、基準値入れ換えを行な
わずにステップ１０９へ進む。その他のステップは第１
の実施例における図９のフローチャートと同じであるの
で、図示省略してある。

【００５２】本実施例では、ステップ１０５〜１１３、
３０６、３０７が顔の向き検出手段を、そしてステップ
１１４がわき見判定手段をそれぞれ構成している。この
実施例によれば、走行開始後運転者の姿勢が崩れてもあ
らたな基準位置が設定されるから、誤検出が防止され、
わき見検出の精度が向上する。また、とくに図示しない
が、本実施例においても、第２の実施例と同様に車速セ
ンサを顔の基準位置学習回路やわき見判定回路に接続し
て、走行速度によって学習や判定時間の変化を行なうよ
うにすることができる。

【００５３】図１５は第５の実施例を示す。この実施
例は、図２の第１の実施例における顔の基準位置学習回
路１５、顔の向き検出回路１６、わき見判定回路１７
を、眼の検出回路４５、顔の向き検出回路４６、わき見
判定回路４７に置き換えたものである。すなわち、眼の
検出回路４５では、顔幅検出回路１４より送出される顔
幅データ（顔の最大幅）を基に、眼の検出領域を設定
し、その領域をマスク処理してラベリングすることによ
り、眼を検出する。顔の向き検出回路４６は、この眼の
検出結果から顔の向きを検出する。顔の向き検出回路４
６で検出された顔の向きデータがわき見判定回路４７に
送られる。その他の構成は図２に示された第１の実施例
と同じである。

【００５４】図１６は、本実施例における判定の制御動
作を示すフローチャートである。ステップ４０１からス
テップ４０４までは、図９における第１の実施例のステ
ップ１０１〜１０４と同じである。ステップ４０５で
は、眼の検出回路４５において、前ステップにおける顔
幅の検出データから所定領域を設定して、以下の要領で
眼の検出が行なわれる。

【００５５】まず、図１７の（ａ）に示すように、顔幅
の左右のラインｘ１、ｘ２から顔の中心線を求め、左右
の眼に対して上記顔幅内で個別に眼の検出領域を設定す
る。なお、例えば図７の（ａ）に示すような片陽の状態
では、左右両方の顔幅を正確に捉えることはできない
が、車両内側となる運転者の左側の顔幅は、片陽のよう
な悪光環境下においても正確に捉えることができる。し
たがって、運転者の左眼が存在するおおよその領域を特
定することができ、眼の検出領域Ｓを設定することがで
きる。

【００５６】次に、上記眼の検出領域Ｓを残して、マス
ク処理を行い、ラベリング処理を行なう。所定の面積値
以下のラベルは、黒白変換により除去することができ、
図１７の（ｂ）のように、マスクと接する黒画素の集ま
りであるラベルは単独ラベルとならないので、眉、眼、
鼻の穴、口などの黒画素のラベルが抽出できる。そし
て、このなかからその面積の大きさ、座標、縦横比を用
いて、眼に相当するラベルの選択を行う。すなわち、眼
は開眼時においても閉眼時においても、形状的に横長の
ラベルとなるから、鼻の穴に相当するラベルデータをま
ず始めに除いてやることができる。また、眉の上に眼が
あることはないし、口や眼や眉より顔の外側には存在し
得ないから、これらの座標データによる位置関係で候補
を絞っていく。これにより、眼のラベルが比較的容易に
抽出される。各ラベルの縦横比についても、図１８に示
すような画像データの垂直、水平成分の最小値を求める
フィレ径の画像処理手法を用いて、眼を識別することが
できる。

【００５７】次のステップ４０６において、顔の向き検
出回路４６により、眼が正しく検出できているか否かが
チェックされる。正しく検出されていればステップ４１
０へ進み、眼が正しく捉えられていないと判断された場
合は、ステップ４０７に進む。ステップ４０６でのチェ
ックは、運転者の顔の向きを眼の検出状態から判断する
ものである。運転者が正面を注視している状態で設定さ
れた上述の眼の検出領域Ｓにおいては、図１９の（ａ）
のように運転者がわき見をすると、同図の（ｂ）のよう
に、顔の中心線に対し眼、眉等の位置が左右にズレてく
るため、眼や眉もマスクに接するようになる。その結
果、候補ラベルが抽出されないという状態になる。すな
わち、眼が抽出できないとき運転者は横を向いているわ
き見状態であるといえる。

【００５８】ステップ４０７では、わき見判定回路４７
において、わき見判定カウンタＭがクリアされ、次の画
像入力のためステップ４０１に戻る。これにより、わき
見判定カウンタは、眼が正しく捉えられている間は常に
クリアされた状態にある。一方、ステップ４０８では、
わき見判定カウンタがカウントアップされる。そして、
ステップ４０９で、眼が正しく捉えられなかった連続的
な回数である上記カウンタ値が所定数を越えるか否かに
より、わき見状態かどうかを判定する。カウンタ値が所
定数を越えたときには、わき見状態としてステップ４１
０に進み、報知装置により運転者に注意を捉す報知が発
せられる。また、カウンタ値が所定数を越えるまでの間
は、ステップ４０１に始まる上記フローが繰り返され
る。本実施例では、上記のステップ４０１が発明の画像
入力手段を構成し、ステップ４０２、４０３が画像処理
手段を、ステップ４０４が顔幅検出手段を、ステップ４
０５、４０６が顔の向き検出手段を、そしてステップ４
０７、４０８、４０９がわき見判定手段をそれぞれ構成
している。

【００５９】この実施例は以上のように構成され、運転
者の顔画像内に上下方向の狭い検出領域を設定し、その
中でラベリング処理を行なって眼を抽出するようにし、
眼が正しく検出されるかどうかで顔が横方向を向いてい
るか否かを判断するものとしたので、処理すべきラベル
数が低減され、処理速度が向上するという効果を有す
る。また、本実施例においても、第２の実施例と同様に
車速センサをわき見判定回路に接続して、走行速度によ
って判定時間の変化を行なうようにすることができる。

【００６０】なお各実施例においては、右ハンドルの車
両の場合について説明したが、左ハンドルの車両の場合
にも同様にして、左向きおよび右向きを正確に検出する
ことができる。

【００６１】

【発明の効果】以上のとおり本発明は、運転者の顔面を
撮像した画像を２値化処理し、この２値化画像において
顔幅検出手段により顔幅を検出するとともに、顔の向き
検出手段により顔幅の変化から顔の向きを検出し、わき
見判定手段がこの検出された顔の向きの変化から運転者
のわき見状態を判定するものとしたので、光環境に関係
なく正確に運転者の状態変化を捉らえることができ、運
転者に注意を促す報知装置に用いてとくに有用である。

【００６２】また、さらに車速検出手段を備え、その車
速信号によりわき見判定基準を可変させるものとした場
合には、車速が大きいほど判定のための継続所定時間を
短く設定することにより、高速走行時に早期報知がで
き、あるいは低速走行時または停止時に報知することを
防止できるという利点がある。

【００６３】上記の顔の向き検出手段として、顔幅検出
手段で検出された顔幅を学習して設定する顔の基準位置
学習回路と、顔幅検出手段により検出される顔幅と顔の
基準位置との比較に基づいて顔の向きを検出する顔の向
き検出回路とを備えることにより、簡単な構成で精度の
高い顔の向き検出が行なえる。さらに、顔の向き検出手
段において、顔幅検出手段により検出された顔幅が顔の
基準位置の顔幅以内であるとき、当該検出された顔幅の
位置で顔の基準位置を更新するものとすることにより、
運転者の姿勢が崩れてもあらたな基準位置が設定される
から、誤検出が防止され、わき見検出の精度が一層向上
する。

【００６４】また、顔の向き検出手段を顔幅検出手段で
検出された顔幅の時系列変化により顔の向きを検出する
モニタ回路により構成した場合には、顔の基準位置の学
習を行う時間を要しないので、運転開始直後から、わき
見、安全確認の有無等の判定を行うことができる利点が
ある。

【００６５】また、顔の向き検出手段を、顔幅検出手段
により検出された顔幅内において、その中心から左右方
向片側に設定した眼の検出領域での眼の検出状態から顔
の向きを検出するものとすることにより、画像処理の処
理データが少なくて済み、処理速度が向上するという効
果が得られる。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】本発明の第１の実施例の構成を示すブロック図
である。

【図３】顔幅検出回路における画像処理および顔幅検出
要領を示す説明図である。

【図４】左向きの場合の顔幅検出を示す説明図である。

【図５】太陽が運転者の左側にある状態で正面を注視し
ている場合の顔幅検出を示す説明図である。

【図６】太陽が運転者の左側にある状態で左方向のわき
見をしている場合の顔幅検出を示す説明図である。

【図７】太陽が運転者の右側にある状態で正面を注視し
ている場合の顔幅検出を示す説明図である。

【図８】太陽が運転者の右側にある状態で左方向のわき
見をしている場合の顔幅検出を示す説明図である。

【図９】判定の制御動作の流れを示すフローチャートで
ある。

【図１０】本発明の第２の実施例の構成を示すブロック
図である。

【図１１】本発明の第３の実施例の構成を示すブロック
図である。

【図１２】第３の実施例における判定の制御動作の流れ
を示すフローチャートである。

【図１３】第３の実施例における判定の制御動作の流れ
を示すフローチャートである。

【図１４】第４の実施例を示すフローチャートである。

【図１５】第５の実施例の構成を示すブロック図であ
る。

【図１６】第５の実施例における判定の制御動作の流れ
を示すフローチャートである。

【図１７】眼の検出領域の設定要領を示す図である。

【図１８】画像処理におけるフィレ径の概念を示す図で
ある。

【図１９】運転者の顔の向きの検出要領を示す説明図で
ある。

【図２０】従来例における運転者の眼を含む検出領域を
示す図である。

【図２１】従来例を示す図である。

【符号の説明】

１画像入力手段２画像処理手段３顔幅検出手段４顔の向き検出手段５わき見判定手段１１ＴＶカメラ１２Ａ−Ｄ変換器１３画像メモリ１４顔幅検出回路１５、２５顔の基準位置学習回路１６、４６顔の向き検出回路１７、２７、３７、４７わき見判定回路１８報知装置２０車速センサ３５顔の動きのモニタ回路４５眼の検出回路Ｄ運転者Ｓ眼の検出領域

Claims

【特許請求の範囲】

【請求項１】運転者の前方から撮像して顔面の画像を
得る画像入力手段と、該画像入力手段から送出される入
力画像を２値化処理する画像処理手段と、該画像処理手
段で得た２値化画像において、顔の左端と右端とを検出
する顔幅検出手段と、該顔幅検出手段により検出された
顔幅の変化から顔の向きを検出する顔の向き検出手段
と、該顔の向き検出手段で検出した顔の向きの変化から
運転者のわき見状態を判定するわき見判定手段とを有す
ることを特徴とする車両運転者のわき見検出装置。
【請求項２】前記顔の向き検出手段は、前記顔幅検出
手段で検出された顔幅を学習して設定する顔の基準位置
学習回路と、前記顔幅検出手段により検出された顔幅と
前記顔の基準位置との比較に基づいて顔の向きを検出す
る顔の向き検出回路とを備えることを特徴とする請求項
１記載の車両運転者のわき見検出装置。
【請求項３】運転者の前方から撮像して顔面の画像を
得る画像入力手段と、該画像入力手段から送出される入
力画像を２値化処理する画像処理手段と、該画像処理手
段で得た２値化画像において、顔の左端と右端とを検出
する顔幅検出手段と、該顔幅検出手段により検出された
顔幅の変化から顔の向きを検出する顔の向き検出手段
と、該顔の向き検出手段で検出した顔の向きの変化から
運転者のわき見状態を判定するわき見判定手段と、車両
の走行速度を検出する車速検出手段とを有し、前記わき
見判定手段は、前記車速検出手段より送出される車速信
号によりわき見判定基準を可変させるよう構成されてい
ることを特徴とする車両運転者のわき見検出装置。
【請求項４】前記顔の向き検出手段は、前記顔幅検出
手段で検出された顔幅を学習して設定する顔の基準位置
学習回路と、前記顔幅検出手段により検出される顔幅と
前記顔の基準位置との比較に基づいて顔の向きを検出す
る顔の向き検出回路とを備えることを特徴とする請求項
３記載の車両運転者のわき見検出装置。
【請求項５】前記顔の向き検出手段は、前記顔幅検出
手段により検出された顔幅が前記顔の基準位置の顔幅以
内であるとき、当該検出された顔幅の位置を新たな顔の
基準位置とするものであることを特徴とする請求項４記
載の車両運転者のわき見検出装置。
【請求項６】前記顔の基準位置学習回路は、前記車速
検出手段より送出される車速信号により前記学習する顔
幅を選択するよう構成されていることを特徴とする請求
項５記載の車両運転者のわき見検出装置。
【請求項７】前記顔の向き検出手段は、前記顔幅検出
手段で検出された顔幅の時系列変化により顔の向きを検
出するモニタ回路により構成されていることを特徴とす
る請求項１記載の車両運転者のわき見検出装置。
【請求項８】運転者の前方から撮像して顔面の画像を
得る画像入力手段と、該画像入力手段から送出される入
力画像を２値化処理する画像処理手段と、該画像処理手
段で得た２値化画像において、顔の左端と右端とを検出
する顔幅検出手段と、該顔幅検出手段により検出された
顔幅内において、その中心から左右方向片側に設定した
眼の検出領域での眼の検出状態から顔の向きを検出する
顔の向き検出手段と、該顔の向き検出手段で検出した顔
の向きの変化から運転者のわき見状態を判定するわき見
判定手段とを有することを特徴とする車両運転者のわき
見検出装置。