JP5145194B2 - 顔検出システム - Google Patents

顔検出システム Download PDF

Info

Publication number
JP5145194B2
JP5145194B2 JP2008290784A JP2008290784A JP5145194B2 JP 5145194 B2 JP5145194 B2 JP 5145194B2 JP 2008290784 A JP2008290784 A JP 2008290784A JP 2008290784 A JP2008290784 A JP 2008290784A JP 5145194 B2 JP5145194 B2 JP 5145194B2
Authority
JP
Japan
Prior art keywords
face
image
driver
illumination unit
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008290784A
Other languages
English (en)
Other versions
JP2009303192A (ja
Inventor
ビョン 俊 李
義 潤 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of JP2009303192A publication Critical patent/JP2009303192A/ja
Application granted granted Critical
Publication of JP5145194B2 publication Critical patent/JP5145194B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/60—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by optical aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、顔検出システムに係り、より詳しくは、顔から前方注視怠慢を判断する演算量を減らすとともに検出性能を高めるための顔検出システムに関する。
一般に、自動車には顔検出システムが設けられている。このような顔検出システムは、居眠り運転または車線変更意志を判別するための要素として用いられている。
従来の顔検出システムは、顔を撮影する画像カメラ、および画像カメラで撮影された顔を分析して前方注視怠慢を判断する制御部から構成されている。
画像カメラから撮影された顔画像が制御部に入力されると、制御部は入力された画像を二値化して顔領域を検出し、顔の輪郭などのエッジ形状を検出する。その後、エッジ画像から顔の細部要素、すなわち目、鼻、口などを検出して顔の方向角を算出し、前方注視怠慢状態を判断する。
ところが、目、鼻、口などの検出は、より小さい領域で緻密に行われなければならないため、外部の多様な光環境の変化に極めて敏感である。これにより、要素別検出性能が落ちて前方監視怠慢状態の検出性能が低下するという問題点を引き起こす。
また、従来の顔検出システムは、顔領域の検出、エッジ画像の抽出および各要素別の検出を介して顔の方向角を算出して前方注視怠慢状態を検出するため、その過程に必要な演算量が非常に多くて組み込みシステム(embedded system)への実時間実現が難しく、これを実現するためには高周波数クロック−高価のＣＰＵを必要として顔検出のための費用が上昇するという問題点がある。
特許文献１には、ルームミラーによる後方視野内に近赤外線発光ＬＥＤを設け、ルームミラーによる反射により的確に運転者の顔の照明し、ダッシュボード上面に設置されたカメラにより運転者の顔を撮影するシステムが記載されている。
しかしながらその画像処理は、本発明のように左右２か所の照明部を備え、個別の照明により顔画像を撮影し、２値化処理した後ミラーリングによって得られる差画像により前方注視怠慢状態を検出するものとは異なる。
特開２００６−２４８３６３号公報
本発明は前記のような点に鑑みてなされたものであり、本発明の目的は、外部の光変化による前方注視怠慢状態の検出性能が低下することを防止するための顔検出システムを提供することにある。
本発明の他の目的は、前方注視怠慢の検出に必要な演算量を減らすとともに検出性能を向上させるための顔検出システムを提供することにある。
前記目的を達成するため本発明による顔検出システムは、運転者の顔の右側に向かって赤外線を照射する第１照明部と、運転者の顔の左側に向かって赤外線を照射する第２照明部と、前記第１照明部および前記第２照明部から赤外線が照射された運転者の顔をそれぞれ撮影する画像撮影部と、前記画像撮影部から顔の左右画像を獲得し、獲得された左右画像を二値化して二値化画像を獲得し、二値化された左右画像のいずれか一方をミラーリングしてミラーリング画像を獲得し、獲得されたミラーリング画像とミラーリングしなかった他方の左右画像の二値化画像との減算を行って差画像を獲得し、差画像のピクセルの平均値を計算して運転者の顔の方向を算出し、算出された運転者の顔方向に基いて運転者の前方注視怠慢状態を判断する制御部と、が備えられることを特徴とする。
前記第１照明部および前記第２照明部は順次動作できる。
前記第１照明部および前記第２照明部は、近赤外線発光素子であり、運転席の前方または運転席の上方に設置できる。
前記第１照明部および前記第２照明部は、運転者の正面から互いに対称となるように設置できる。
前記画像撮影部は、赤外線透過フィルターが取り付けられたＣＣＤカメラであってもよい。
本発明は、近赤外線画像を用いて顔の前方注視怠慢状態を検出することにより、外部の光環境を問わずに、前方注視怠慢状態の検出性能を向上させることができるという効果がある。
また、本発明は、近赤外線による顔反射光によってのみ顔の前方注視怠慢状態を検出することにより、前方注視怠慢状態の演算量を減らすことができるという効果がある。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。
図１は本発明に係る顔検出システムを示すブロック図、図２は本発明に係る顔検出システムの照明部が設置された位置を示す図、図３は本発明に係る顔検出システムの動作を示すブロック図、図４は本発明に係る顔検出システムの動作による様子を示す図、図５〜図７は本発明に係る顔検出システムのシミュレーションを示す図である。
図１および図２を参照すると、本発明に係る顔検出システムは、運転者の顔１０に向かって赤外線を照射する照明部１００と、前記照明部１００から赤外線が照射された運転者の顔１０を撮影する画像撮影部２００と、前記画像撮影部２００から獲得された画像をイメージ処理して運転者の前方注視怠慢状態を判断する制御部３００とを含んでなる。
照明部１００は、運転者の前方の構造物に設置され、運転者の顔１０に向かって赤外線、例えば近赤外線を照射する役割をする。この照明部１００は、運転者の顔１０の右側に向かって赤外線を照射する第１照明部１１０、および運転者の顔１０の左側に向かって赤外線を照射する第２照明部１２０から構成される。
第１照明部１１０および第２照明部１２０は、運転者の正面から所定の角度、例えば３０°〜６０°を持つ位置に設置できるが、運転者の顔１０の正面から４５°の位置に設置されることが好ましい。この際、第１照明部１１０および第２照明部１２０は、運転者の右側および左側の顔に均一に赤外線を照射することができるように、運転者の正面から対称となるように設置されることがさらに好ましい。
ここで、運転者の顔１０に向かって赤外線を照射する照明部１００として、赤外線発光素子（ＩＲ ＬＥＤ）が使用できる。
照明部１００は、図２ａに示すように、運転席の前方のクラスター下端の両側に設置でき、図２ｂに示すように、運転席エアコンの両側送風口の上端または下端に設置できる。
また、照明部１００は、図２ｃに示すように、クラスター上端のダッシュボードの両側に設置でき、図２ｄに示すように、運転席の上端にある日除けの両側またはＡ−ピラー(A-pillar)とルームミラーの左側に設置できる。ここで、照明部１００の個数は限定されず、３つ以上設置されても構わない。
第１照明部１１０および第２照明部１２０は、運転者の顔１０に向かって順次赤外線を照射し、これにより運転者の左顔および運転者の右顔を中心として赤外線が照射される。
画像撮影部２００は、運転者の顔１０の正面を撮影することができるように運転席の前方に設置され、第１照明部１１０および第２照明部１２０から赤外線が照射された運転者の顔をそれぞれ撮影する役割をする。
このような画像撮影部２００は、ＣＣＤカメラに近赤外線透過フィルター２１０を取り付けて構成したものであって、車両の外部から流入する太陽光およびその他の外部照明光を遮断し、近赤外線画像のみを獲得することにより、近赤外線発光素子などの照明部１００がなければ何の画像も得られない。
制御部（Electronic Control Unit、ＥＣＵ）３００は、画像撮影部２００と連結され、画像撮影部２００から獲得された画像をイメージ処理して運転者の前方注視怠慢状態を判断する役割をする。
すなわち、制御部３００は、前記画像撮影部２００から獲得されたそれぞれの赤外線画像を二値化して二値化画像を獲得し、二値化画像のいずれか一つをミラーリングしてミラーリング画像を獲得し、前記ミラーリング画像ともう一つの二値化画像との減算を行って差画像を獲得し、獲得された差画像の平均値を計算して前方注視怠慢状態を判断する役割をする。
また、制御部３００は、照明部１００と連結でき、これにより運転者の顔１０に向かって順次赤外線を照射するように制御することができる。
以下、図３〜図７を参照して本発明に係る顔検出システムの動作を説明する。
まず、制御部３００から第１照明部１１０をオンにする段階（Ｓ１０）を行う。この際、第１照明部１１０は運転者の右顔に向かって近赤外線を照射し、画像撮影部２００は近赤外線が照射された運転者の顔を撮影して、第１画像４００を獲得する段階（Ｓ２０）を行う。（画像４００〜６００は図４に示す。）
次いで、第２照明部１２０をオンにする段階（Ｓ３０）を行って運転者の左顔に向かって近赤外線を照射し、画像撮影部２００は近赤外線が照射された運転者の顔を撮影して第２画像５００を獲得する段階（Ｓ４０）を行う。この際、第２照明部１２０がオンにされる間、第１照明部１１０はオフにされる。
その後、制御部３００に第１画像４００および第２画像５００が入力されると、第１領域４００および第２画像５００を運転者の顔の明るい部分を抽出するように各ピクセルに対して二値化する段階（Ｓ５０）を行う。これにより、制御部３００は、第１画像４００および第２画像５００から二値化画像４１０、５１０を獲得する。
次いで、第１画像の二値化画像４１０と第２画像の二値化画像５１０から同じ方向の顔を検出するように、第１画像の二値化画像４１０および第２画像の二値化画像５１０のいずれか一方をミラーリング処理する段階（Ｓ６０）を行い、これにより第１画像の二値化画像４１０および第２画像の二値化画像５１０のいずれか一方がミラーリングされたミラー画像４２０を獲得する。ここでは、第１画像の二値化画像４１０がミラーリングされることを一実施例として説明している。
その後、ミラー画像４２０と二値化画像５２０に対するピクセルの値を減算処理する段階（Ｓ７０）を行い、これにより、制御部３００は２つの画像の差異を示す差画像６００を獲得する。
次いで、差画像６００のピクセルの平均値を計算し（Ｓ８０）、これにより運転者の顔方向を算出する。
その後、算出された運転者の顔方向に基づいて前方注視怠慢状態を判断し（Ｓ９０）、顔検出システムの動作を終了する。
図５に示すように、顔角度が０°の場合で実験を行った結果、本発明に係る顔検出システムによって、平均値は１５．３９と測定された。これにより、運転者の顔はほぼ正面を注視していると判断することができる。
また、図６に示すように、顔が左に２０°傾いた場合で実験を行った結果、本発明に係る顔検出システムによって、平均値は２０．１５と測定された。これにより、運転者の顔は左に約２０°傾いていると判断することができる。
また、図７に示すように、顔が左に４０°傾いた場合で実験を行った結果、本発明に係る顔検出システムによって、平均値は４７．４９と測定された。これにより、運転者の顔は左に約４０°傾いていると判断することができる。
前述したように本発明に係る顔検出システムおよび方法は、顔検出のための演算量を減らすとともに、顔の検出性能を向上させることができるという効果がある。
以上、添付図面および実施例を参照して説明したが、当該技術分野における熟練した当業者であれば、特許請求の範囲に記載された本発明の技術的思想から逸脱しない範囲内において、各種の変更例または修正例に想到し得ることは理解できるであろう。
本発明は、車両に搭載される顔検出システムに適用できる。
本発明に係る顔検出システムを示すブロック図である。 本発明に係る顔検出システムの照明部が設置された位置を示す図である。 本発明に係る顔検出システムの動作を示すブロック図である。 本発明に係る顔検出システムの動作による様子を示す図である。 本発明に係る顔検出システムのシミュレーションを示す図である。 本発明に係る顔検出システムのシミュレーションを示す図である。 本発明に係る顔検出システムのシミュレーションを示す図である。
符号の説明
１００ 照明部
１１０ 第１照明部
１２０ 第２照明部
２００ 画像撮影部
２１０ 赤外線透過フィルター
３００ 制御部

Claims (5)

  1. 運転者の顔の右側に向かって赤外線を照射する第１照明部と、
    運転者の顔の左側に向かって赤外線を照射する第２照明部と、
    前記第１照明部および前記第２照明部から赤外線が照射された運転者の顔をそれぞれ撮影する画像撮影部と、
    前記画像撮影部から顔の左右画像を獲得し、獲得された左右画像を二値化して二値化画像を獲得し、二値化された左右画像のいずれか一方をミラーリングしてミラーリング画像を獲得し、獲得されたミラーリング画像とミラーリングしなかった他方の左右画像の二値化画像との減算を行って差画像を獲得し、差画像のピクセルの平均値を計算して運転者の顔の方向を算出し、算出された運転者の顔方向に基いて運転者の前方注視怠慢状態を判断する制御部と、が備えられることを特徴とする顔検出システム。
  2. 前記第１照明部および前記第２照明部は順次動作することを特徴とする請求項１に記載の顔検出システム。
  3. 前記第１照明部および前記第２照明部は、近赤外線発光素子であり、運転席の前方または運転席の上方に設置されることを特徴とする請求項１に記載の顔検出システム。
  4. 前記第１照明部および前記第２照明部は、運転者の正面から互いに対称となるように設置されることを特徴とする請求項３に記載の顔検出システム。
  5. 前記画像撮影部は、赤外線透過フィルターが取り付けられたＣＣＤカメラであることを特徴とする請求項１に記載の顔検出システム。
JP2008290784A 2008-06-11 2008-11-13 顔検出システム Active JP5145194B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080054836A KR100936334B1 (ko) 2008-06-11 2008-06-11 얼굴 검출 시스템
KR10-2008-0054836 2008-06-11

Publications (2)

Publication Number Publication Date
JP2009303192A JP2009303192A (ja) 2009-12-24
JP5145194B2 true JP5145194B2 (ja) 2013-02-13

Family

ID=41549564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008290784A Active JP5145194B2 (ja) 2008-06-11 2008-11-13 顔検出システム

Country Status (2)

Country Link
JP (1) JP5145194B2 (ja)
KR (1) KR100936334B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101806703B1 (ko) 2016-06-01 2018-01-10 현대자동차주식회사 운전자 상태 모니터링 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6894880B2 (ja) * 2018-11-07 2021-06-30 矢崎総業株式会社 監視システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970069679A (ko) * 1996-04-26 1997-11-07 배순훈 졸음운전 경보장치 및 그 제어방법
JP3651571B2 (ja) * 1999-03-31 2005-05-25 株式会社東芝 ドライバ状態検知システム
JP2001338296A (ja) * 2000-03-22 2001-12-07 Toshiba Corp 顔画像認識装置および通行制御装置
JP2002334335A (ja) 2001-03-09 2002-11-22 Toshiba Corp 顔画像認識装置および通行制御装置
JP2006308375A (ja) * 2005-04-27 2006-11-09 Matsushita Electric Ind Co Ltd 赤外線利用型目位置検出装置
JP4356733B2 (ja) * 2006-11-09 2009-11-04 アイシン精機株式会社 車載用画像処理装置とその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101806703B1 (ko) 2016-06-01 2018-01-10 현대자동차주식회사 운전자 상태 모니터링 장치

Also Published As

Publication number Publication date
KR20090128867A (ko) 2009-12-16
KR100936334B1 (ko) 2010-01-12
JP2009303192A (ja) 2009-12-24

Similar Documents

Publication Publication Date Title
US8340368B2 (en) Face detection system
JP5759950B2 (ja) 車載カメラ装置
JP5761074B2 (ja) 撮像制御装置及びプログラム
JP7003612B2 (ja) 異常検知装置、及び異常検知プログラム
JP6488922B2 (ja) 運転者異常検出装置
JP4263737B2 (ja) 歩行者検知装置
JP6346525B2 (ja) 視線検出装置
CN107960989B (zh) 脉搏波计测装置以及脉搏波计测方法
KR101022614B1 (ko) 오토 디포깅 장치 및 방법
JP5466610B2 (ja) 視線推定装置
US20160063334A1 (en) In-vehicle imaging device
JP6651911B2 (ja) 顔画像処理装置
JP2008167806A (ja) 眠気検知装置
JP6832506B2 (ja) 脈波計測装置、及び、脈波計測方法
JP5145194B2 (ja) 顔検出システム
JP5018652B2 (ja) 物体存在判定装置
EP1800964B1 (en) Method of depth estimation from a single camera
JP6551269B2 (ja) 距離計測装置
JP2008042759A (ja) 画像処理装置
KR101360412B1 (ko) 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
US10688929B2 (en) Driving assistance system and method of enhancing a driver's vision
JP6737213B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP5024161B2 (ja) 顔位置推定装置
JP2009096384A (ja) 運転支援装置及び運転支援方法
JP4260715B2 (ja) 視線測定方法および視線測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5145194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250