JP5145194B2 - 顔検出システム - Google Patents

Description

本発明は、顔検出システムに係り、より詳しくは、顔から前方注視怠慢を判断する演算量を減らすとともに検出性能を高めるための顔検出システムに関する。

一般に、自動車には顔検出システムが設けられている。このような顔検出システムは、居眠り運転または車線変更意志を判別するための要素として用いられている。

従来の顔検出システムは、顔を撮影する画像カメラ、および画像カメラで撮影された顔を分析して前方注視怠慢を判断する制御部から構成されている。
画像カメラから撮影された顔画像が制御部に入力されると、制御部は入力された画像を二値化して顔領域を検出し、顔の輪郭などのエッジ形状を検出する。その後、エッジ画像から顔の細部要素、すなわち目、鼻、口などを検出して顔の方向角を算出し、前方注視怠慢状態を判断する。

ところが、目、鼻、口などの検出は、より小さい領域で緻密に行われなければならないため、外部の多様な光環境の変化に極めて敏感である。これにより、要素別検出性能が落ちて前方監視怠慢状態の検出性能が低下するという問題点を引き起こす。
また、従来の顔検出システムは、顔領域の検出、エッジ画像の抽出および各要素別の検出を介して顔の方向角を算出して前方注視怠慢状態を検出するため、その過程に必要な演算量が非常に多くて組み込みシステム(embedded system)への実時間実現が難しく、これを実現するためには高周波数クロック−高価のＣＰＵを必要として顔検出のための費用が上昇するという問題点がある。

特許文献１には、ルームミラーによる後方視野内に近赤外線発光ＬＥＤを設け、ルームミラーによる反射により的確に運転者の顔の照明し、ダッシュボード上面に設置されたカメラにより運転者の顔を撮影するシステムが記載されている。
しかしながらその画像処理は、本発明のように左右２か所の照明部を備え、個別の照明により顔画像を撮影し、２値化処理した後ミラーリングによって得られる差画像により前方注視怠慢状態を検出するものとは異なる。

特開２００６−２４８３６３号公報

本発明は前記のような点に鑑みてなされたものであり、本発明の目的は、外部の光変化による前方注視怠慢状態の検出性能が低下することを防止するための顔検出システムを提供することにある。
本発明の他の目的は、前方注視怠慢の検出に必要な演算量を減らすとともに検出性能を向上させるための顔検出システムを提供することにある。

前記目的を達成するため本発明による顔検出システムは、運転者の顔の右側に向かって赤外線を照射する第１照明部と、運転者の顔の左側に向かって赤外線を照射する第２照明部と、前記第１照明部および前記第２照明部から赤外線が照射された運転者の顔をそれぞれ撮影する画像撮影部と、前記画像撮影部から顔の左右画像を獲得し、獲得された左右画像を二値化して二値化画像を獲得し、二値化された左右画像のいずれか一方をミラーリングしてミラーリング画像を獲得し、獲得されたミラーリング画像とミラーリングしなかった他方の左右画像の二値化画像との減算を行って差画像を獲得し、差画像のピクセルの平均値を計算して運転者の顔の方向を算出し、算出された運転者の顔方向に基いて運転者の前方注視怠慢状態を判断する制御部と、が備えられることを特徴とする。

前記第１照明部および前記第２照明部は順次動作できる。

前記第１照明部および前記第２照明部は、近赤外線発光素子であり、運転席の前方または運転席の上方に設置できる。

前記第１照明部および前記第２照明部は、運転者の正面から互いに対称となるように設置できる。

前記画像撮影部は、赤外線透過フィルターが取り付けられたＣＣＤカメラであってもよい。

本発明は、近赤外線画像を用いて顔の前方注視怠慢状態を検出することにより、外部の光環境を問わずに、前方注視怠慢状態の検出性能を向上させることができるという効果がある。
また、本発明は、近赤外線による顔反射光によってのみ顔の前方注視怠慢状態を検出することにより、前方注視怠慢状態の演算量を減らすことができるという効果がある。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。

図１は本発明に係る顔検出システムを示すブロック図、図２は本発明に係る顔検出システムの照明部が設置された位置を示す図、図３は本発明に係る顔検出システムの動作を示すブロック図、図４は本発明に係る顔検出システムの動作による様子を示す図、図５〜図７は本発明に係る顔検出システムのシミュレーションを示す図である。

図１および図２を参照すると、本発明に係る顔検出システムは、運転者の顔１０に向かって赤外線を照射する照明部１００と、前記照明部１００から赤外線が照射された運転者の顔１０を撮影する画像撮影部２００と、前記画像撮影部２００から獲得された画像をイメージ処理して運転者の前方注視怠慢状態を判断する制御部３００とを含んでなる。

照明部１００は、運転者の前方の構造物に設置され、運転者の顔１０に向かって赤外線、例えば近赤外線を照射する役割をする。この照明部１００は、運転者の顔１０の右側に向かって赤外線を照射する第１照明部１１０、および運転者の顔１０の左側に向かって赤外線を照射する第２照明部１２０から構成される。

第１照明部１１０および第２照明部１２０は、運転者の正面から所定の角度、例えば３０°〜６０°を持つ位置に設置できるが、運転者の顔１０の正面から４５°の位置に設置されることが好ましい。この際、第１照明部１１０および第２照明部１２０は、運転者の右側および左側の顔に均一に赤外線を照射することができるように、運転者の正面から対称となるように設置されることがさらに好ましい。

ここで、運転者の顔１０に向かって赤外線を照射する照明部１００として、赤外線発光素子（ＩＲ ＬＥＤ）が使用できる。

照明部１００は、図２ａに示すように、運転席の前方のクラスター下端の両側に設置でき、図２ｂに示すように、運転席エアコンの両側送風口の上端または下端に設置できる。
また、照明部１００は、図２ｃに示すように、クラスター上端のダッシュボードの両側に設置でき、図２ｄに示すように、運転席の上端にある日除けの両側またはＡ−ピラー(A-pillar)とルームミラーの左側に設置できる。ここで、照明部１００の個数は限定されず、３つ以上設置されても構わない。

第１照明部１１０および第２照明部１２０は、運転者の顔１０に向かって順次赤外線を照射し、これにより運転者の左顔および運転者の右顔を中心として赤外線が照射される。

画像撮影部２００は、運転者の顔１０の正面を撮影することができるように運転席の前方に設置され、第１照明部１１０および第２照明部１２０から赤外線が照射された運転者の顔をそれぞれ撮影する役割をする。
このような画像撮影部２００は、ＣＣＤカメラに近赤外線透過フィルター２１０を取り付けて構成したものであって、車両の外部から流入する太陽光およびその他の外部照明光を遮断し、近赤外線画像のみを獲得することにより、近赤外線発光素子などの照明部１００がなければ何の画像も得られない。

制御部（Electronic Control Unit、ＥＣＵ）３００は、画像撮影部２００と連結され、画像撮影部２００から獲得された画像をイメージ処理して運転者の前方注視怠慢状態を判断する役割をする。
すなわち、制御部３００は、前記画像撮影部２００から獲得されたそれぞれの赤外線画像を二値化して二値化画像を獲得し、二値化画像のいずれか一つをミラーリングしてミラーリング画像を獲得し、前記ミラーリング画像ともう一つの二値化画像との減算を行って差画像を獲得し、獲得された差画像の平均値を計算して前方注視怠慢状態を判断する役割をする。
また、制御部３００は、照明部１００と連結でき、これにより運転者の顔１０に向かって順次赤外線を照射するように制御することができる。

以下、図３〜図７を参照して本発明に係る顔検出システムの動作を説明する。

まず、制御部３００から第１照明部１１０をオンにする段階（Ｓ１０）を行う。この際、第１照明部１１０は運転者の右顔に向かって近赤外線を照射し、画像撮影部２００は近赤外線が照射された運転者の顔を撮影して、第１画像４００を獲得する段階（Ｓ２０）を行う。（画像４００〜６００は図４に示す。）

次いで、第２照明部１２０をオンにする段階（Ｓ３０）を行って運転者の左顔に向かって近赤外線を照射し、画像撮影部２００は近赤外線が照射された運転者の顔を撮影して第２画像５００を獲得する段階（Ｓ４０）を行う。この際、第２照明部１２０がオンにされる間、第１照明部１１０はオフにされる。

その後、制御部３００に第１画像４００および第２画像５００が入力されると、第１領域４００および第２画像５００を運転者の顔の明るい部分を抽出するように各ピクセルに対して二値化する段階（Ｓ５０）を行う。これにより、制御部３００は、第１画像４００および第２画像５００から二値化画像４１０、５１０を獲得する。

次いで、第１画像の二値化画像４１０と第２画像の二値化画像５１０から同じ方向の顔を検出するように、第１画像の二値化画像４１０および第２画像の二値化画像５１０のいずれか一方をミラーリング処理する段階（Ｓ６０）を行い、これにより第１画像の二値化画像４１０および第２画像の二値化画像５１０のいずれか一方がミラーリングされたミラー画像４２０を獲得する。ここでは、第１画像の二値化画像４１０がミラーリングされることを一実施例として説明している。

その後、ミラー画像４２０と二値化画像５２０に対するピクセルの値を減算処理する段階（Ｓ７０）を行い、これにより、制御部３００は２つの画像の差異を示す差画像６００を獲得する。
次いで、差画像６００のピクセルの平均値を計算し（Ｓ８０）、これにより運転者の顔方向を算出する。
その後、算出された運転者の顔方向に基づいて前方注視怠慢状態を判断し（Ｓ９０）、顔検出システムの動作を終了する。

図５に示すように、顔角度が０°の場合で実験を行った結果、本発明に係る顔検出システムによって、平均値は１５．３９と測定された。これにより、運転者の顔はほぼ正面を注視していると判断することができる。

また、図６に示すように、顔が左に２０°傾いた場合で実験を行った結果、本発明に係る顔検出システムによって、平均値は２０．１５と測定された。これにより、運転者の顔は左に約２０°傾いていると判断することができる。

また、図７に示すように、顔が左に４０°傾いた場合で実験を行った結果、本発明に係る顔検出システムによって、平均値は４７．４９と測定された。これにより、運転者の顔は左に約４０°傾いていると判断することができる。

前述したように本発明に係る顔検出システムおよび方法は、顔検出のための演算量を減らすとともに、顔の検出性能を向上させることができるという効果がある。

以上、添付図面および実施例を参照して説明したが、当該技術分野における熟練した当業者であれば、特許請求の範囲に記載された本発明の技術的思想から逸脱しない範囲内において、各種の変更例または修正例に想到し得ることは理解できるであろう。

本発明は、車両に搭載される顔検出システムに適用できる。

本発明に係る顔検出システムを示すブロック図である。 本発明に係る顔検出システムの照明部が設置された位置を示す図である。 本発明に係る顔検出システムの動作を示すブロック図である。 本発明に係る顔検出システムの動作による様子を示す図である。 本発明に係る顔検出システムのシミュレーションを示す図である。 本発明に係る顔検出システムのシミュレーションを示す図である。 本発明に係る顔検出システムのシミュレーションを示す図である。

符号の説明

１００ 照明部
１１０ 第１照明部
１２０ 第２照明部
２００ 画像撮影部
２１０ 赤外線透過フィルター
３００ 制御部

Claims (5)

1. 運転者の顔の右側に向かって赤外線を照射する第１照明部と、
   運転者の顔の左側に向かって赤外線を照射する第２照明部と、
   前記第１照明部および前記第２照明部から赤外線が照射された運転者の顔をそれぞれ撮影する画像撮影部と、
   前記画像撮影部から顔の左右画像を獲得し、獲得された左右画像を二値化して二値化画像を獲得し、二値化された左右画像のいずれか一方をミラーリングしてミラーリング画像を獲得し、獲得されたミラーリング画像とミラーリングしなかった他方の左右画像の二値化画像との減算を行って差画像を獲得し、差画像のピクセルの平均値を計算して運転者の顔の方向を算出し、算出された運転者の顔方向に基いて運転者の前方注視怠慢状態を判断する制御部と、が備えられることを特徴とする顔検出システム。
   
2. 前記第１照明部および前記第２照明部は順次動作することを特徴とする請求項１に記載の顔検出システム。
   
3. 前記第１照明部および前記第２照明部は、近赤外線発光素子であり、運転席の前方または運転席の上方に設置されることを特徴とする請求項１に記載の顔検出システム。
   
4. 前記第１照明部および前記第２照明部は、運転者の正面から互いに対称となるように設置されることを特徴とする請求項３に記載の顔検出システム。
   
5. 前記画像撮影部は、赤外線透過フィルターが取り付けられたＣＣＤカメラであることを特徴とする請求項１に記載の顔検出システム。