JP6234762B2 - 眼部検出装置、方法、およびプログラム - Google Patents

眼部検出装置、方法、およびプログラム Download PDF

Info

Publication number
JP6234762B2
JP6234762B2 JP2013211623A JP2013211623A JP6234762B2 JP 6234762 B2 JP6234762 B2 JP 6234762B2 JP 2013211623 A JP2013211623 A JP 2013211623A JP 2013211623 A JP2013211623 A JP 2013211623A JP 6234762 B2 JP6234762 B2 JP 6234762B2
Authority
JP
Japan
Prior art keywords
eye
area
region
time
eye search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013211623A
Other languages
English (en)
Other versions
JP2015075914A (ja
Inventor
加藤 隆志
隆志 加藤
小島 真一
真一 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Central R&D Labs Inc
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Central R&D Labs Inc, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2013211623A priority Critical patent/JP6234762B2/ja
Priority to EP14187262.2A priority patent/EP2860663B1/en
Priority to US14/509,579 priority patent/US9646215B2/en
Priority to CN201410527681.7A priority patent/CN104573704A/zh
Publication of JP2015075914A publication Critical patent/JP2015075914A/ja
Application granted granted Critical
Publication of JP6234762B2 publication Critical patent/JP6234762B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、車両等の操作者の眼部検出装置、方法およびプログラムに関する。
近年、撮像された静止画像または動画像から、顔を認識する顔認識技術の開発が進められている。車両においては、操作者の瞬目の動作を検出することによって、脇見運転や居眠り運転を検知し、操作者に警告を発する装置が案出されている。
例えば、特許文献1に記載の装置は、運転者の左目領域(ウィンドウ)を含む画像を逐次的に撮像し、最新の画像と1つ前の画像との比較から画像間の輝度の差分が所定値を超える領域を決定し、輝度が増加する領域と輝度が減少する領域の面積の差を算出する。この時系列データは所定の瞬目パターンと比較されることによって運転者の瞬目動作が抽出され、居眠り防止のための処置が実行される。すなわち、この装置は、片目の領域を基準として瞬目動作を検出するものである。したがって、顔が移動した場合には、目の位置および形状が変化し、検出の基準となる領域も同様に変化する。このため、検出の基準となる領域を正確に捉えることが困難となり、瞬目動作の誤検出が頻発する。
また、特許文献2に記載された瞼検出装置は、撮像画像間の差分が所定値を超える領域(差分領域)の面積が最大となるものを抽出し、この差分領域中から瞼を検出し、さらに瞼の変化から瞬目動作を検出している。この装置は、画像から運転者の顔に接する矩形の領域を抽出し、この領域の複数の画像間の差分領域を捉えることにより、瞬目動作を検出している。すなわち、瞬目の検出のために比較される領域は顔の輪郭を基準として定められている。
ここで、運転者がバックミラーを確認する場合には、撮像画像中における顔の角度が車両進行方向に対するヨーイング方向などに変化してしまう。このため、瞬目の検出対象となる矩形の領域の形状および大きさが変化し、目以外の領域である鼻や眉毛、顔端などにも差分領域が発生する。面積変化が最大となる差分領域が目以外である場合には、目以外の領域、たとえば顔端、眉毛等が目であると誤検出されてしまう。すなわち、特許文献2に記載の装置においては、顔の輪郭を基準として瞼検出のための領域が設定されていたため、顔の輪郭が大きく変化した場合には誤検出が生じ易かった。
このように、従来の装置においては、運転者の顔に動きを伴う場合に、誤検出が発生していた。
特開平10−209827号公報(特許第3012226号) 特開2007−28822号公報(特許第4895847号)
上述したように、特許文献1の装置においては、片目のみの領域に基づき瞬目を検出していたため、顔全体の動きに伴い、検出のための領域が変化し、瞬目の誤検出が生じ易かった。また、特許文献2の装置は、顔の輪郭を基準として、瞬目の検出のための領域を設定していたため、同様に顔全体の動きに伴い、誤検出が生じ易い。
本発明は上述の課題に鑑みてなされたものであって、本発明の目的は、顔が移動した場合であっても運転者の瞬目動作を正しく検出可能な眼部検出装置、方法、およびプログラムを提供することにある。
本発明に係る眼部検出装置は、一定の時間毎に撮像された顔の画像を入力する手段と、前記画像から鼻を含む特徴点に基づいて目探索領域を抽出する手段と、第1の時間における前記特徴点と第2の時間における前記特徴点の位置の比較に基づいて、第1の時間における前記目探索領域と第2の時間における前記目探索領域とを対応付ける手段と、前記対応付けられた第1および第2の時間における前記目探索領域に基づいて、前記第1および第2の時間における目探索領域から眼部領域を決定する手段とを有する。
目探索領域を対応付ける手段は、第1の時間における前記目探索領域と第2の時間における目探索領域との対応付けに基づいて前記第1および第2の時間における目探索領域の間の位置ズレ量を決定する。
前記目探索領域を対応付ける手段は、第1の時間における目探索領域をテンプレートとして第2の時間における目探索領域にテンプレート・マッチングを実行する。
前記目探索領域を抽出する手段は、第1および第2の時間における目探索領域内の少なくとも1つの画素の輝度の差に基づいて第1の時間または第2の時間における前記目探索領域の輝度を補正する。
眼部領域を決定する手段は、第1の時間における前記目探索領域と第2の時間における前記目探索領域の、前記対応付けられた画素ごとに輝度の差分値を算出する差分画像作成手段を備える。
前記眼部領域を決定する手段は、前記対応付けられた目探索領域において、相対位置が所定条件を満たす1対の領域を眼部領域として決定する。
前記眼部領域を決定する手段は、前記差分値を3値化する3値化処理手段をさらに備える。
前記眼部領域を決定する手段は、前記目探索領域内の差分が生じた領域の総数に基づいて眼部領域を検出する否かを決定する。
前記眼部領域を決定する手段は、前記目探索領域内の差分が生じた各領域の総面積に基づいて眼部領域を検出するか否かを決定する。
本発明によれば、目探索領域は鼻を含む特徴点に基づいて定められ、第1の時間における特徴点と第2の時間における特徴点の位置の比較に基づいて、第1の時間における目探索領域と第2の時間における目探索領域とが対応付けられる。対応付けられた第1および第2の時間における目探索領域に基づいて、第1および第2の時間における目探索領域から眼部領域を決定する。顔の向きが変化した場合であっても、鼻の形状変化は比較的に少ない。また、鼻は顔中心付近にあるため、顔が回転した場合であっても、鼻と眼部との相対位置の変化が小さい。
鼻を基準として目探索領域を定めることにより、顔部品の形状が変化した場合であっても眼部位置を正確に検出することが可能となる。
また、第1の時間における目探索領域と第2の時間における目探索領域との対応付けに基づいて第1および第2の時間における目探索領域の間の位置ズレ量を決定することにより、眼部領域を正確に抽出できる。
また、本発明によれば、第1の時間における目探索領域をテンプレートとして第2の時間における目探索領域にテンプレート・マッチングを実行するので、正確な位置ズレ補正が可能となる。
本発明によれば、目探索領域を抽出する手段は、第1および第2の時間における目探索領域内の少なくとも1つの画素の輝度の差に基づいて第1の時間または第2の時間における目探索領域の輝度を補正するので、フレーム間の輝度の差を補正する処理が高速に実行され得る。
本発明によれば、目探索領域の平均輝度を算出し、平均輝度に基づいて目探索領域の画像の輝度を補正するため、第1の時間と第2の時間において周囲の照明が変化した場合であっても、眼部領域の好適な決定が可能となる。
また、本発明によれば、対応付けられた目探索領域において、相対位置が所定条件を満たす1対の領域を眼部領域として決定する。人間の目は水平方向の距離が所定の範囲にあり、垂直方向の高さが略一致するため、水平方向および垂直方向の位置を比較することで、正確に眼部領域を決定することが可能となる。
また、本発明は、第1の時間における目探索領域と第2の時間における目探索領域の対応付けられた画素ごとに輝度の差分値を算出し、前記差分値を3値化する3値化処理手段を備える。対応付けられた画素ごとの差分値を3値化することで、目探索領域の内、輝度変化の少ない領域、明から暗へと変化した領域、暗から明へと変化した領域を正確に識別できる。したがって、瞼が閉じられた場合と瞼が開かれた場合を正確に検出できる。
本発明は、目探索領域内の差分が生じた領域の総数に基づいて眼部領域を検出するか否かを決定する。また、目探索領域内の差分が生じた各領域の総面積に基づいて目領域を検出するか否かを決定する。これにより、運転者がメガネ等を使用する場合であっても、ノイズの多い画像を除外できるので、好適に眼部領域を決定することが可能となる。
本発明の実施形態に係る眼部検出装置の車両搭載図である。 本発明の実施形態に係る眼部検出装置の概略ブロック図である。 本発明の実施形態に係る眼部検出装置の機能ブロック図である。 本発明の実施形態に係る撮像部4による撮像画像の例である。 図4から抽出された目探索領域71の例である。 本発明の実施形態に係る撮像部4による撮像画像の輝度によるばらつきの例である。図6(a)は車両2がトンネルの出口を通過した直後の目探索領域71を示し、図6(b)は車両2がトンネルの入り口からトンネルに入った直後の目探索領域71を示す。 本発明の実施形態に係る差分画像の例である。 本発明の実施形態に係る差分画像の濃度ヒストグラムの例である。 本発明の実施形態に係る3値化画像の例である。 本発明の実施形態に係る3値化画像内における差分領域を面積の大きい順でナンバリングした例である。 本発明の実施形態に係る3値化画像のノイズの例である。図11(a)は運転者がメガネをかけている場合の目探索領域71を示し、図11(b)は図11(a)の3値化画像を示す。 本発明の実施形態に係る3値化画像の2つの領域を比較する例である。 本発明の実施形態に係る眼部検出方法の概略処理を表すフローチャートである。 本発明の実施形態に係るフレーム撮像の詳細フローチャートである。 本発明の実施形態に係る位置ズレ補正処理の詳細フローチャートである。 本発明の実施形態に係る差分画像作成処理の詳細フローチャートである。 本発明の実施形態に係る差分画像を3値化する詳細フローチャートである。 本発明の実施形態に係る眼部領域決定の前処理の詳細フローチャートである。 本発明の実施形態に係るシーンの有効/無効判定処理の詳細フローチャートである。 本発明の実施形態に係る眼部検出処理の詳細フローチャートである。
以下、図面を参照しながら本発明の実施形態に係る眼部検出装置を説明する。
図1は、本発明の実施形態に係る眼部検出装置100の車両搭載図である。眼部検出装置100は、一実施例としては、車両2に搭載され、撮像部4およびデータ処理部6とを備える。撮像部4は車両2の運転席8の、特にハンドル10付近に、車両2を操作する運転者の顔を正面から撮像可能に設置される。図1の場合、運転席8は車両右側に設定されているので、撮像部4は車両の前部右側の席の前に設置されている。運転席8が左側である場合、撮像部4は車両の前部左側の席の前に設置される。撮像部4は、所定の時間ごとに顔を撮像し、撮像画像をデータ処理部6へと送信するものである。データ処理部6は、撮像画像から運転者の眼部を検出し、所定の時間ごとの眼部の比較から運転者の瞬目動作を判定するものである。
図2は、本発明の実施形態に係る眼部検出装置100の概略ブロック図である。撮像部4はカメラ42と制御部44とからなる。カメラ42は通常の可視光線用CCDカメラまたはCMOSカメラであってもよく、また、近赤外線用CCDカメラであってもよい。近赤外線用CCDカメラは可視光線用CCDカメラと比較して、人間の個別の肌の色に左右されない。また、可視光線用CCDカメラよりも近赤外線用CCDカメラの方がシャッター速度を速くすることが可能である。
制御部44は、カメラ42の制御を行う。制御部44は、所定の時間ごとに、またはデータ処理部6からの信号に応答してカメラ42のシャッターを開閉する制御を行う。撮像された画像信号はフレームとしてRAM66のフレーム・メモリ662に記録される。すなわち、ある時点において撮像された画像をフレームという。
データ処理部6は、撮像された画像に基づいて、運転席8に着座する運転者の眼部領域を検出し、複数の前記画像から、運転者の瞬目動作を判定するものである。データ処理部6は、演算部(CPU)60、信号格納部62、ROM64、RAM66、インターフェース(I/F)68、出力部61、およびバス65を備える。また、データ処理部6はA/D変換部63をさらに備える。それぞれはバス65を介して信号を送受信可能に接続される。
演算部60はCPUから構成され、プログラムにしたがって、撮像部4からのデジタル変換された画像データを処理し解析するとともに、眼部領域の検出と瞬目動作の判定等の処理を行う機能を有している。信号格納部62はRAM等から構成され、画像データを保存するとともに、画像データの処理結果、解析結果、および判定結果を格納可能である。
出力部61は、例えば、スピーカ、ディスプレイ、およびランプを含む。出力部61は、データ処理部6における瞬目動作の判定結果に基づき、スピーカから運転席8に着座する運転者に対して注意や警告のための音声を発する。または、出力部61はディスプレイまたはランプから注意や警告のためのメッセージまたは光を出力しても良い。また、出力部61は、判定結果に基づいて、例えば、自動ブレーキシステムに対して、自動ブレーキを作動させるための信号を送出することも可能である。
出力部61に含まれるスピーカとしては車両2に装備されるスピーカを利用することも可能である。また、出力部61に含まれるディスプレイとしては車両2に装備されるカーナビゲーションシステムのディスプレイを利用することも可能である。
A/D変換部63は、撮像部4で撮像された画像信号をデジタルの画像データへ変換する機能を有している。画像データは、インターフェース(I/F)68へ出力される。I/F68は制御部44とデータおよびコマンドの送受信を行うとともに、画像データを受信する。ROM64は読み取り専用メモリであって、眼部検出装置100を起動させるためのブートプログラムを格納している。また、実行される処理、解析、および判定のためのプログラムを格納するプログラム・メモリ642を備える。なお、プログラムは、ROM64ではなく信号格納部62に格納されても良く、また、CD、DVDなどの記録媒体に格納されても良い。この場合はバス65に図示しない記録媒体読取部が接続されている。RAM66は、CPU60のキャッシュメモリとして使用されるとともに、CPU60による画像データに対するプログラム実行時のワークエリアとして使用される。ワークエリアには、カメラ42によって撮像され、変換された画像データをフレーム毎に格納するフレーム・メモリ662と、テンプレートを格納するテンプレート・メモリ664とを備える。
図3は、本発明の実施形態に係る眼部検出装置100の機能ブロック図である。眼部検出装置100は、撮像部4とデータ処理部6からなり、データ処理部6は目探索領域抽出部12、位置ズレ補正部14、差分画像作成部16、3値化処理部18、前処理部20、シーン判定部22、眼部検出部24、瞬目動作判定部26、および警告音出力部28を含む。
撮像部4は所定の時間ごとに、運転者の顔を含む領域を撮像する。撮像部の撮像間隔は、一般的なNTSC方式、PAL方式等の動画のフレームレートであっても良い。なお、装置の処理能力等を考慮し、実験などにより好適に眼部を検出可能なフレーム間隔を決定することも可能である。
撮像画像はデジタル化され、目探索領域抽出部12へと入力される。目探索領域抽出部12は、目探索領域を撮像画像から抽出する。目探索領域は両目および鼻を含む特徴点に基づく領域であって、これらの特徴点に外接する矩形領域である。例えば、図4に示されるように、撮像画像70において両目の端部、鼻の頂点が特徴点として抽出され、図5に示されるようにこれらの特徴点に外接する矩形領域が目探索領域71として抽出される。撮像画像70は、左下を(0,0)、右上を(M−1,N−1)とする水平方向M画素、垂直方向N画素のM×N画像であり、目探索領域71は、左下を(0,0)、右上を(m−1,n−1)とする水平方向m画素、垂直方向n画素のm×n画像である。目探索領域71は撮像画像70の一部であるから、M>m、N>nである。本実施形態においては、上述の外接する矩形領域よりも四方に数ドット程度さらに拡大された領域を目探索領域として決定する。
上述したように、特徴点には、両目および鼻が含まれる。両目は、運転者の瞬目動作などにより形状が大きく変化し易い。一方、両目が完全に閉じられているような場合であっても、鼻の形状はほぼ変化しない。このため、鼻を特徴点として利用することにより、両目の形状の変化に係らず、正確に目探索領域を抽出することができるフレーム同士を対応付け可能となる。また、鼻以外に、両目の端部、眉毛の端部等を特徴点として利用することにより、さらに正確に目探索領域を抽出することができる。すなわち、両目の端部、眉毛の端部の位置は、目の開閉によらず略一定であり、特徴点として適している。
上述の外接矩形の算出は、予め用意された画像認識用の関数を用いて行われ得る。例えば、ある種のコンパイル型のコンピュータープログラム言語には、画像認識に関連する機能を集めたライブラリが提供されている。外接矩形の算出は、このようなライブラリ内の関数を参照することで容易に計算可能である。
目探索領域抽出部12は、画像ごとの輝度値のばらつきを平滑化するため、平均輝度値による輝度値の補正を実行する。画像ごとの輝度値のばらつきは、照明の変化によって生ずる。本実施例は車両2に搭載されているため、車両2の移動に伴い証明が変化する。例えば、車両2のトンネル通過前後などがある。輝度によるばらつきの一例を図6に示す。図6(a)は車両2がトンネルの出口を通過した直後の目探索領域71、図6(b)は車両2がトンネルの入り口からトンネルに入った直後の目探索領域71をそれぞれ表している。これらの図からも、画像の輝度値は大きく変化することが確認できる。
目探索領域抽出部12は、以下の計算式に基づいて各フレームにおける目探索領域71の平均輝度値を決定する。まず、フレーム番号をpで表し、p番目のフレームにおける目探索領域71ごとの輝度値をQ’(a,b)で表す。ただし、aおよびbは、各画像の左下を(0,0)、右上を(m−1,n−1)とする水平方向m画素、垂直方向n画素のm×n画像における画素位置(座標)を示すものである。
p番目のフレームにおける目探索領域71の平均輝度値
は以下のように算出される。
目探索領域抽出部12は、目探索領域71の各画素の輝度値Q’(a,b)を平均輝度に基づいて補正する。補正後の画像の画素ごとの輝度値Q(a,b)は以下のように示される。
他の一例として、ある特定の画素における輝度値の差に基づいて目探索領域71全体の輝度値を補正することも可能である。目探索領域71では、単なる肌部が大部分を占める。したがって、各フレームにおいて肌である画素の輝度値を比較することにより、フレームごとの輝度値のばらつきを補正可能である。例えば、目探索領域71は特徴点の外接する矩形領域よりも数ドット程度広いので、目探索領域71の縁部の画素は肌である。したがって、目探索領域71の縁部の画素における差を用いて目探索領域71の輝度値を補正することが可能である。この手法は平均輝度を算出しないため、輝度値の補正処理が高速となる。この例では、目探索領域71の縁部の画素の座標を(a,b)とすると、補正後の画像の画素ごとの輝度値Q(a,b)は以下のように示される。
目探索領域抽出部12が連続する2つのフレームにおける目探索領域71の輝度を補正すると、2つの目探索領域71は位置ズレ補正部14に入力される。
位置ズレ補正部14は、2つの画像の位置ズレを補正する。すなわち、p−1番目のフレーム(第1の時間における画像)において抽出される目探索領域71を使用してp番目のフレーム(第2の時間における画像)において抽出される目探索領域71との位置ズレを補正する。
位置ズレ補正部14は、特徴点同士の比較に基づく位置ズレ補正と、目探索領域同士の比較、すなわちテンプレート・マッチングによる位置ズレ補正とを実行可能である。どちらか一方の処理のみの実行も可能である。
上述の通り、鼻に基づく特徴点の形状は略一定である。また、鼻は人間の顔において左右方向(水平方向)のほぼ中央に位置する。このため、2つのフレーム間において鼻の特徴点が水平方向に大きくずれている場合、顔の向きが大きく変化したことが予測される。このような場合には、片目しか撮像されなかったり、若しくは両目の一方の大きさや位置が著しく異なって撮像されてしまうことがある。このような場合には、眼部を正しく検出することが困難となる。このため、位置ズレ補正部14は、特徴点同士の位置ズレ量を算出し、位置ズレ量がしきい値Th0よりも大きい場合には、位置ズレ補正を行わない。
このように特徴点の位置の移動が大きい場合には以降の眼部検出処理は行われない。位置ズレ補正部14は、眼部の誤検出を発生させ得る画像を検出対象から予め除外する。なお、位置ズレ量がしきい値Th0を超えるフレームが連続する場合、運転者が脇見運転等を行っている可能性がある。このような場合、眼部検出装置100は運転者に警告を発することも可能である。
特徴点の位置ズレ量がしきい値Th0以下である場合、位置ズレ補正部14は、テンプレートを利用して正確な位置ズレ量を決定し、位置ズレの補正を行う。位置ズレ補正部14は、p−1番目のフレームの目探索領域71をテンプレートとして利用し、p番目のフレームの目探索領域71とテンプレート・マッチングを行うことにより、正確な位置ズレ量を決定する。テンプレート・マッチングとは、p番目のフレームにおいて、p−1番目の目探索領域71との相関が高い領域を探索する方法である。まず、p−1番目の目探索領域71全体は、p番目の目探索領域71全体と比較され、次に、水平方向または垂直方向に1画素だけずらした領域と比較される。p−1番目の目探索領域71は、p番目の目探索領域71と水平方向にm画素、垂直方向にn画素だけずらすまで比較される。このようにして、位置ズレ補正部14は、p番目のフレームの目探索領域71を水平方向及び垂直方向にそれぞれ何画素ずつ平行移動するとp−1番目のフレームの目探索領域71に最も相関度が高くなるかを判定する。このようにして得られた2つの目探索領域の平行移動距離が位置ズレ量である。
テンプレート・マッチング手法の一例として、同画素位置における画素ごとの輝度値の2乗の総和を算出するSSD(Sum of Squared Difference)手法がある。SSD手法では2つの画像の類似度は以下のように算出される。
SSD手法によるテンプレート・マッチングの場合、算出値が小さければ小さいほど、その算出値は目探索領域同士の類似度が最も高いことを示している。算出値が最も小さい2つの目探索領域の位置ズレ量が算出される。
また、テンプレート・マッチングの他の一例として、画素ごとの輝度値の差分の絶対値の総和を算出するSAD(Sum of Absolute Difference)手法がある。SAD手法では2つの目探索領域の類似度は以下のように算出される。
SAD手法によるテンプレート・マッチングの場合も、算出値が小さければ小さいほど、その算出値は画像同士の類似度が最も高いことを示している。算出値が最も小さい2つの目探索領域の位置ズレ量が算出される。
同様に、他の一例として、NCC手法とも呼ばれる、正規化相互相関(Normalized Cross−Correlation)法がある。NCC手法では2つの画像の一致度は以下のように算出される。
NCC手法の算出結果であるSNCCは相関値であるため、−1以上1以下の値を取り得る。SNCC=1の値は2つの目探索領域が完全に一致することを示し、SNCC=−1の値は2つの目探索領域の輝度値が完全に反転していることを示す。SNCCが最も大きい2つの目探索領域の位置ズレ量が算出される。
また、NCC手法には、ZNCC手法と呼ばれる、輝度の補正をテンプレート・マッチングの計算の中で同時に行う方法もある。この手法の場合、プログラムのステップ数が減少するため、通常のNCC手法に対して処理が高速となる。ZNCC手法では2つの目探索領域の一致度は以下のように算出される。
ZNCC手法の場合もNCC手法と同様、SZNCC=1の算出結果は2つの目探索領域が完全に一致することを示し、SZNCC=−1の算出結果は2つの目探索領域の輝度値が完全に反転していることを示す。この手法の場合も、SZNCCが最も大きい2つの目探索領域の位置ズレ量が算出される。
また、他の一例として、POC手法とも呼ばれる、位相限定相関(Phase−Only Correlation)手法がある。POC法は、画像をフーリエ変換して得られる情報の内、位相情報のみを用いて画像の類似度を算出する。この手法は、以下の手順によってPOC関数を算出し類似度を決定する。まず、各フレームの目探索領域71のフーリエ変換係数を算出する。
ただし、Wα、Wβは以下の通りである。
ここで、jは虚数単位である。上記FQp(r,s)は複素数なので、各フレームの目探索領域71の位相成分PHQp(r,s)は、
である。POC関数は上記位相成分の差の逆フーリエ変換に相当する。これらから、位相限定相関POC(a,b)は、以下のように算出される。
位相限定相関関数によるテンプレート・マッチングの場合、p−1番目の目探索領域71とp番目の目探索領域71との間の一致度が高いと、POC関数値は非常に鋭いピークを有する。この手法によれば、位置ズレ量を別途決定する必要はなく、ピークの座標がp−1番目の目探索領域71とp番目の目探索領域71の水平方向および垂直方向の位置ずれ量を示す。
上述の通り、位相限定相関法は、フーリエ変換したデータの位相情報に基づいてテンプレート・マッチングを行うので、2つの画像の輝度の差に左右されない。したがって、この方法でテンプレート・マッチングを行う場合、ZNCC法と同様、先に輝度の補正をする必要がない。なお、上記位相限定相関の計算式は、平行移動の場合の計算式である。本実施形態においては、カメラ位置は固定されており、車両2の操作者の顔もほぼ動かないため、上記計算式の使用によって高速にテンプレート・マッチング処理を実行することが可能である。
上記テンプレート・マッチング手法はプログラム化され、このうちの少なくとも1つはROM64のプログラム・メモリ642に格納されている。位置ズレ補正部14は、最適のタイミングでプログラム・メモリ642からテンプレート・マッチングのプログラムを読み出し、演算部60にテンプレート・マッチングの処理を実行させる。
なお、上記テンプレート・マッチング手法の説明は、モノクロ画像におけるマッチング手法を例として説明しているが、カラー画像であっても同様に実現可能であることは言うまでもない。カラー画像をテンプレート・マッチングする場合、モノクロ画像に変換した後にマッチング処理を実行可能である。また、色の三原色であるR(赤(Red))、G(緑(Green))、B(青(Blue))のいずれか1つのみを利用してマッチング処理を実行することも可能である。この場合、人間の目はG(緑(Green))を最も明るく感知する。R(赤(Red))は最も人間の肌の色の影響を受けにくい。このような特性を考慮していずれの色を使用するかを決めると良い。また、R、G、Bの全てを利用してマッチング処理を実行可能である。この場合、三色の区別なく、画素ごとにRGBを同じ順序で代入して一致度の算出を実行すればよい。
p−1番目のフレームの目探索領域71およびp番目のフレームの目探索領域71の位置ズレ補正が完了すると、位置ズレ補正後の2つの目探索領域71は差分画像作成部16に入力される。
差分画像作成部16は、p−1番目のフレームの目探索領域71と次フレームの目探索領域71との間の画素ごとの差分画像D(a,b)を算出する。差分画像の例を図7に示す。
また、差分画像作成部16が、差分画像D(a,b)の算出前に目探索領域71の輝度による補正を実行することも可能である。例えば、目探索領域抽出部12が目探索領域71の縁部を用いた輝度補正を実行し差分画像作成部16が平均輝度を用いた補正を実行することで、目探索領域71の輝度値のばらつきは精度よく平滑化される。この場合、平均輝度は各画素のQ’(a,b)の値から算出されてもよく、目探索領域抽出部12によって補正されたQ(a,b)の値から算出されても良い。目探索領域抽出部12によって補正された各画素の輝度値は、Q’(a,b)から、縁部(a,b)における前のフレームとの輝度差の値を均一に減算したものなので、差分画像作成部16がどちらの平均輝度を用いて補正行った場合でも、補正後の各画素の輝度値は同じ値となる。
p−1番目のフレームの目探索領域71と次フレームの目探索領域71との間の差分画像は3値化処理部18に入力される。3値化処理部18は差分画像を3階調のデジタル画像である3値化画像に変換する。
3値化処理部18は、差分画像濃度ヒストグラムを作成する。ヒストグラムは、頻度をグラフ化したものであり、縦軸を頻出数、横軸を階調数とする、データの分布状況を認識するために使用されるグラフである。ヒストグラムの例を図8に示す。図8において、差分画像の輝度の階調を80に示し、3値化画像の輝度の階調を82に示す。そして、柱状のグラフ84は目探索領域71内の度数分布を示している。
3値化処理部18は、濃度ヒストグラムに基づいて、3値化のために第1のしきい値u1、および第2のしきい値u2を決定する。ここでは、便宜上、u1<u2とする。
しきい値の決定手法の一例として、モード法がある。モード法とは、濃度ヒストグラムにおいて、画像の対象物と対象物以外の物、および背景のそれぞれに対応する二つ以上のピークが存在する場合,ピークの間の谷の位置をしきい値として設定する方法である。この場合の濃度ヒストグラムは多峰性分布になる。両目、顔の肌部、それ以外(例えばまつ毛、眉毛等)に区分け可能である。したがって、モード法を用いたしきい値の決定が可能である。
また、他の一例として、誤り率を最小にするようなu1およびu2を決定する、所謂、最小誤差法を利用しても良い。ここで、誤り率とは、第1および第2のしきい値u1、u2で3値化した場合に、対象および対象以外の別の物を背景と誤る確率を示している。また、本実施形態においては、3値化によって分離したい眼部の領域を限定できるため、所謂、p−タイル法を利用することも可能である。
また、他の一例として、濃度ヒストグラムのピークに対し、ピークの両端に所定の幅を設定して階調を3分割する方法もある。所定の幅は、実験値などから経験的に決定することもでき、また、実験値に対しロジスティック回帰分析モデルを作成し分類することも可能である。
このようにして決定された第1および第2のしきい値u1、u2を用いて、3値化処理部18は、差分画像D(a,b)から3値化画像D (a,b)を作成する。3値化画像の例を図9に示す。この図において、D (a,b)=0の領域は黒く、D (a,b)=2の領域は白く、そしてD (a,b)=1の領域はグレーで示される。
3値化画像の黒い領域(D (a,b)=0)は、前フレームと比較して暗く変化した領域を示す。同様に、白い領域(D (a,b)=2)は明るく変化した領域を、グレーの領域(D (a,b)=1)は変化が少ない領域を、それぞれ示す。例えば、目が閉じられると、眼部の画像は明るく変化し、3値化画像においてD (a,b)=2として表される。目が開かれると、眼部の画像は暗く変化し、3値化画像においてD (a,b)=0として表される。目の開閉動作は、2値化画像においても白い領域と黒い領域として検出可能であるが、このように3値化することでより精度よく検出できる。このようにして生成された3値化画像は前処理部20に入力される。
前処理部20は、暗く変化した3値化画像のD (a,b)=0の画素であって、かつ隣接し合う画素をクラスタリングし、クラスタリングされた画素の領域を抽出する。また、前処理部20は、抽出した領域を面積(画素数)の大きな順にR1〜Rcと並び替える。なお、明るく変化した3値化画像D (a,b)=2の画素についても、同様に領域として抽出可能である。図10においては、暗く変化した3値化画像について4つの領域R1〜R4が抽出されており、面積の大きな2つの領域R1、R2が眼部を示していることが確認できる。ここで、領域R3、領域R4の画素数は所定のしきい値よりも小さいのでノイズとして除外される。
なお、ノイズの例として、運転者がメガネ等を使用する場合が挙げられる。運転者が顔の向きを変えると(例えば、顔の車両進行方向に対するヨーイングなど)、メガネ・フレームなどの輝度が著しく変化する。運転者がメガネをかけている場合における3値化画像のノイズの例を図11に示す。メガネ・フレームの3値化画像である図11(b)において、面積の小さな領域が複数表れている。これらの領域は、眼部以外の領域であるとしてノイズとして除去される。
すなわち、本実施形態によれば、前処理部20が領域の大きさに基づいてノイズを判断することにより、以降の処理の対象から除外できる。したがって、このような場合であっても、眼部領域の正確な検出が可能となる。
(a,b)=0である領域R1、R2、…、Rcの総数、面積の総和、および位置および面積の情報がフレーム毎にシーン判定部22に入力される。眼部領域は通常2か所であり、領域総数があまりにも多い場合、何らかのノイズが含まれていると考えられる。このため、シーン判定部22は、領域総数が多いフレームを以降の眼部検出処理から除外する。同様に、眼部領域の概略面積も推測可能である。したがって、シーン判定部22は、D (a,b)=0である領域の面積が予め定められた値よりも大きい場合、何らかの外乱により画像にノイズ等が混入している可能性が高いため、領域全面積が大きい3値化画像を以降の眼部検出処理から除外する。
このように、本実施形態では、ノイズ等が混入している可能性のある差分画像を除外することにより、眼部をより正確に検出することが可能となる。
シーン判定部22によって除外されなかった3値化画像は眼部検出部24に入力される。人間の目は通常2つであり、垂直方向の相対位置が略一致する。また、通常の撮像状態において、目の水平方向の距離は所定範囲にある。このため、眼部検出部24は領域面積の大きい順に2つの領域を抽出し、2つの領域の相対位置から眼部か否かを判定する。2つの領域の相対位置が予め定められた条件に合致しない場合には、次に大きな2つの領域が眼部であるか否かを判定する。2つの領域の垂直方向および水平方向の相対位置が所定範囲内にある場合、当該2つの領域は眼部であると判定される。
抽出された2つの領域の位置を算出するためには、一例として、各領域に含まれる各画素の位置について、ヒストグラムを利用することができる。眼部検出部24は、水平方向及び垂直方向に対し、各領域の最も出現頻度が高い座標値をその領域の中心と決定し、水平方向および垂直方向の位置を比較することができる。
抽出された2つの領域の垂直方向の位置の比較の別の一例として、眼部検出部24は、領域の重心を各領域の中心と決定し、水平方向および垂直方向の位置を比較する方法もある。
2つの領域の一例を図12に示す。図12において、領域R1の重心72と領域R2の重心73のそれぞれの垂直方向位置は略同じであり、また、領域R1,R2の水平方向の距離は所定範囲にある。さらに、これらの領域R1、R2の面積も略等しい。したがって、眼部検出部24は図12に示される領域R1およびR2の組み合わせを眼部として判定し得る。このようにして判定された眼部領域は顔認識に利用することも可能である。
眼部であると判定された3値化画像は瞬目動作判定部26に入力される。複数フレームの3値化画像を用いて、瞬目動作判定部26は瞬目動作を判定する。瞬目動作判定部26は、眼部であると判定された領域の輝度の時間変化を観察することにより、瞬目動作を判定することが可能である。瞬目動作とは、短い時間に、瞼が閉じられ次いで開かれる動作である。3値化画像において、瞼が閉じられると、白い眼部領域の面積が徐々に大きくなり、瞼が開かれると、黒い眼部領域の面積が徐々に大きくなる。このようにして判定された瞬目動作に基づき、例えば居眠り運転の判定を行ってもよい。一般に、人間の覚醒水準と瞬目動作には相関があると言われている。したがって、瞬目動作を検出することで居眠り運転の可能性を検出できる。居眠り運転の可能性がある場合には、瞬目動作判定部26は出力部28に向けて信号を送出する。出力部28は、瞬目動作判定部26からの信号を受信すると、出力部70へ警告を出力するように指示する。
続いて、本発明の実施形態に係る眼部検出方法を説明する。図13は、眼部検出方法の概略処理を表すフローチャートである。まず、車両のイグニッションがオンになるなど、眼部検出装置100に電力が供給されると(ステップS1でYES)、演算部60は眼部検出装置100全体にフレーム番号pとしてp=1をセットする(ステップS2)。撮像部4が画像70を撮像し、A/D変換部63がこの画像をデジタル化する。デジタル化された画像は目探索領域抽出部12へ入力される。目探索領域抽出部12は目探索領域71の抽出と輝度補正を実行する(ステップS3)。
位置ズレ補正部14は、p−1番目のフレームの目探索領域71とp番目のフレームの目探索領域71との特徴点の比較を実行し、さらに、p−1番目のフレームの目探索領域71をテンプレートに使用してp番目のフレームとテンプレート・マッチングを実行して、位置ズレ量が所定のしきい値以下である場合に位置の補正を行う(ステップS4)。位置ズレ補正部14は、位置ズレ量が所定のしきい値よりも大きい場合、当該フレームを以降の処理の対象から除外する。
位置ズレ補正部14によって除外されていないフレームは、差分画像作成部16に入力される(ステップS5でNO)。差分画像作成部16は、p−1番目のフレームの目探索領域71とp番目のフレームの目探索領域71の、画素ごとの差分を算出して差分画像を作成する(ステップS6)。3値化処理部18は、差分画像を3値化画像へと変換する(ステップS8)。
前処理部20は、フレームにおいて、3値化画像の領域を面積の大きな順にナンバリングを行い(ステップS10)、シーン判定部22は、各領域の面積、総数が所定値を超えるフレームを除外する(ステップS12)。
シーン判定部22によって除外されていないフレームは、眼部検出部24に入力される(ステップS13でNO)。眼部検出部24は眼部領域を決定する。眼部領域であると決定されたフレームは信号格納部62に格納される(ステップS14)。
瞬目動作判定部26は、連続するフレームを使用して瞬目動作を検出し、運転者の覚醒状態を判定する。瞬目動作判定部26が居眠り運転の可能性があると判定した場合、警告音出力部28は出力部70へ警告の出力を指示する。
眼部検出装置100は、電源がオフになっていない限り、ステップS3〜S22の処理を繰返し実行する。目探索領域抽出部12はp+1番目のフレームの目探索領域71の抽出と輝度補正を実行する。位置ズレ補正部14は、p番目のフレームの目探索領域71とp+1番目の目探索領域71の特徴点を比較し、p番目のフレームの目探索領域71とp+1番目のフレームの目探索領域71とのテンプレート・マッチングを実行する。また、位置ズレ補正部14がフレームを除外した場合、シーン判定部22がフレームを除外した場合、および瞬目動作判定部26が居眠り運転の可能性がないと判定した場合も、眼部検出装置100は、ステップS3〜S22の処理を繰返し実行する。
以下、ステップS3〜S14の処理を詳述する。それぞれの処理は、各機能処理部が独立に実行可能であり、それぞれ、電源が供給される間、協調して実行される。
図14に、フレーム撮像(ステップS3)の詳細なフローチャートを示す。ステップS1において、電力が供給されると、眼部検出装置100は画像の撮像タイミングになるまで待機状態となる(ステップS302でNO)。画像の撮像タイミングになると(ステップS302でYES)、撮像部4の制御部44はカメラ42に画像を撮像する信号を送出する。カメラ42は、顔の画像を撮像し(ステップS304)、A/D変換部63は、撮像された画像をデジタル化する。デジタル化された顔の画像70は、I/F68を介してRAM66のフレーム・メモリ662に一時的に記憶される。
次フレームの撮像時間が経過すると(ステップS302でYES)、制御部44はカメラ42に画像を撮像する信号を再び送出する。
目探索領域抽出部12は、フレーム・メモリ662に新しい画像が記憶されると、記憶された画像から目探索領域の特徴点を抽出し(ステップS306)、目探索領域を抽出する(ステップS308)。
次に、目探索領域抽出部12は、目探索領域抽出部12は、フレーム・メモリ662に記憶されるフレームの画素ごとの輝度値Q’(a,b)を算出する(ステップS310)。
目探索領域抽出部12は、p−1番目のフレームの目探索領域71の縁部(a,b)の輝度値Q’p−1(a,b)とp番目のフレームの目探索領域71の縁部(a,b)の輝度値Q’(a,b)の差を算出し(ステップS312)、p番目のフレームの目探索領域71の輝度値を上記の輝度値の差に基づいて補正し(ステップS314)、補正された各画素の輝度値Q(a,b)を生成する(ステップS316)。さらに、補正後の輝度値Q(a,b)を信号格納部62に格納する(ステップS318)。
また、信号格納部62に画像を格納する際、信号格納部62は、撮像時間および目探索領域71の補正後の輝度Q(a,b)をフレーム毎に格納する。続いて、目探索領域抽出部12は、図13のフローチャートに処理を戻し、位置ズレ補正処理(ステップS4)が実行される。
図15は、位置ズレ補正処理(ステップS4)の詳細を表すフローチャートである。
位置ズレ補正部14は、信号格納部62にp−1番目のフレームの目探索領域71が格納されていない場合(ステップS404でNO)、p−1番目のフレームの目探索領域71が格納されるまで待機する。p−1番目のフレームの目探索領域71が格納されると(ステップS404でYES)、位置ズレ補正部14は格納されたp−1番目のフレームの目探索領域71を読み出し(ステップS406)、テンプレートに決定する(ステップS408)。
次いで位置ズレ補正部14は、信号格納部62にp番目のフレームの目探索領域71が格納されていない場合(ステップS410でNO)、待機状態に戻る。p番目のフレームの目探索領域71が取り出されると(ステップS410でYES)、位置ズレ補正部14はp番目のフレームの画像Q(a,b)を読み出す(ステップS412)。
位置ズレ補正部14は、p−1番目のフレームの目探索領域71における特徴点の座標とp番目のフレームの目探索領域71における特徴点の座標とを比較する(ステップS414)。2つの領域の特徴点の位置ズレ量がしきい値Th0以下の場合(ステップS414でYES)、位置ズレ補正部14はp−1番目のフレームの目探索領域71をテンプレートに用いてp番目のフレームの目探索領域71に対してテンプレート・マッチングを実行する(ステップS416)。位置ズレ補正部14は、テンプレート・マッチングによって算出された位置ズレ量がしきい値Th1以下の場合(ステップS417でYES)、位置ズレを補正する(ステップS418)。位置ズレ補正部14は、p−1番目のフレームの目探索領域71およびp番目のフレームの目探索領域71を信号格納部62に格納する(ステップS420)。次いで、位置ズレ補正部14は、差分画像作成部16に処理を受け渡し、差分画像作成処理(ステップS6)が実行される。
位置ズレ補正部14は、p−1番目のフレームの目探索領域71および位置ズレ補正後のp番目のフレームの目探索領域71を信号格納部62に格納する。
2つの領域の特徴点の位置ズレ量がしきい値Th0より大きい場合(ステップS414でNO)、位置ズレ補正部14は、当該フレームを以降の処理から除外する(ステップS422)。テンプレート・マッチングによって算出された位置ズレ量がしきい値Th1より大きい場合(ステップS417でNO)も、当該フレームを以降の処理から除外する(ステップS422)。位置ズレ補正部14は、p番目のフレームの目探索領域71が格納されているので(ステップS404でYES)、p番目のフレームの目探索領域71を読み出し(ステップS406)、ステップS408〜S422の処理を実行する。
図16は差分画像作成処理(ステップS6)の詳細フローチャートである。
差分画像作成部16は、信号格納部62にp−1番目のフレームの目探索領域71およびp番目の目探索領域71の2つが格納されるまで待機する(ステップS602)。p−1番目のフレームの目探索領域71およびp番目の目探索領域71が格納されると(ステップS602でYES)、差分画像作成部16は2つの目探索領域71を読み出す。
差分画像作成部16は、輝度値Q(a,b)の値から、平均輝度を算出し(ステップS604)、画像を平均輝度に基づいて補正し、輝度値Q(a,b)を補正された各画素の輝度値へと更新する(ステップS605)。
差分画像作成部16は、p−1番目の目探索領域71とp番目の目探索領域71との間の画素ごとの差分値を算出する(ステップS606)。各画素の差分値を算出した後、差分画像作成部16は、各画素の差分値を格納する差分画像D(a,b)を作成する(ステップS608)。差分画像作成部16は、差分画像D(a,b)を信号格納部62に格納する(ステップS610)。次いで、差分画像作成部16は3値化処理部18に処理を受け渡し、3値化処理(ステップS8)が実行される。
図17に差分画像を3値化する詳細フローチャートを示す。
3値化処理部18は、信号格納部62に差分画像D(a,b)が格納されていない場合(ステップS804でNO)、待機状態にある。D(a,b)が信号格納部62に格納されると(ステップS804でYES)、3値化処理部18は差分画像D(a,b)を読み出す。
3値化処理部18は、差分画像の濃度ヒストグラムを作成し(ステップS806)、濃度ヒストグラムに基づいて、3値化のための第1のしきい値u1、および第2のしきい値u2を決定する(ステップS808)。ここでは、u1<u2とする。
次に、3値化処理部18は、3値化画像を格納する配列D (a,b)を準備し、a=0、b=0をセットする(ステップS812)。3値化処理部18は、変数aが目探索領域の水平方向総画素数mに達したか否かを判定する(ステップS814)。このとき、変数aは0であるため(ステップS814でNO)、3値化処理部18は変数bが目探索領域の垂直方向総画素数nに達したか否かを判定する(ステップS816)。また、変数bは0であるため、3値化処理部18は3値化処理のステップS820〜S834の処理を実行する。
ステップS820において、3値化処理部18は、差分画像D(a,b)の値と第1のしきい値u1とを比較する。差分画像D(a,b)<u1である場合(ステップS820でYES)、3値化処理部18は、D (a,b)=0をセットし(ステップS822)、差分画像D(a,b)<u2である場合(ステップS826でYES)D (a,b)=1をセットする(ステップS828)。さらに、差分画像D(a,b)>u2である場合(ステップS826でNO)、3値化処理部18は、D (a,b)=2をセットする(ステップS832)
ステップS814において、変数aが目探索領域の水平方向総画素数mに達するまで(ステップS814でYES)、変数bが目探索領域の垂直方向総画素数nに達するまで(ステップS816でYES)、3値化処理部18は差分画像の3値化処理(ステップS820〜S834)を繰返し実行する。このようにして、目探索領域の総画素m×nについて3値化処理が終了すると(ステップS814でYES、かつステップS816でYES)、3値化処理部18は3値化画像D (a,b)を信号格納部62に格納する(ステップS836)。次いで、3値化処理部18は図18のフローチャートに処理を受け渡し、シーンの有効/無効判定のための前処理(ステップS10)が実行される。
図18に眼部領域決定のシーンの有効/無効判定のための前処理(ステップS10)の詳細フローチャートを示す。図18では、3値化画像D (a,b)=0の領域を例として前処理を説明する。D (a,b)=2の場合も同様の処理を行うことが可能である。
前処理部20は、信号格納部62に3値化画像D (a,b)が格納されるまで待機し(ステップS1004)、3値化画像D (a,b)が格納されると(ステップS1004でYES)、3値化画像D (a,b)を読み出す。
前処理部20は、3値化画像D (a,b)から、D (a,b)=0である画素を全て抽出する(ステップS1006)。前処理部20は、D (a,b)=0であり、かつ隣接(若しくは所定距離)する画素同士をクラスタリング(グルーピング)し、D (a,b)=0の領域を抽出する(ステップS1008)。ここでは、領域R’〜R’が決定されたとする。
前処理部20は各領域R’〜R’に含まれる画素の数をカウントし(ステップS1010)、カウントした画素の数をしきい値y0と比較する(ステップS1012)。
カウントした画素の数をしきい値y0と比較し、カウントした画素の数がしきい値y0以上である場合(ステップS1012でYES)、前処理部20はこの領域を以降の処理の対象と決定する。全ての領域R’〜R’の比較が終了した後に、前処理部20は、以降の処理の対象と判定した領域に対し、面積の広い(すなわち、領域内の画素の数が多い)順に領域をナンバリングする(ステップS1014)。この場合、前処理部20は領域を面積の広い順に、R1〜Rcとナンバリングする。前処理部20は、面積が広い順に所定数の領域に関する領域情報、および領域の総数(すなわち、ナンバリングした最大数)を信号格納部62に格納する。次いで、前処理部20はシーン判定部22に処理を受け渡し、シーンの有効/無効判定処理(ステップS12)が実行される。
カウントした画素の数がしきい値y0よりも小さい場合(ステップS1012でNO)、前処理部20はこの領域をノイズであると判断し、以降の処理の対象から除外する(ステップS1018)。しきい値y0は明らかに眼部を示す画素数よりも小さい数であり、実験値などから経験的に決定することが可能である。次いで、前処理部20は図13のフローチャートに処理を戻し、シーンの有効/無効判定処理(ステップS12)が実行される。
図19にシーンの有効/無効判定処理(ステップS12)の詳細フローチャートを示す。
シーン判定部22は、信号格納部62にp番目のフレームの所定数の領域に関する領域情報、および領域の総数が格納されるまで待機する(ステップS1204)。信号格納部62からp番目のフレームの所定数の領域に関する領域情報、および領域の総数を読み出すと(ステップS1204でYES)、シーン判定部22はステップS1206以降の処理を実行する。
シーン判定部22は、領域の総数としきい値y1とを比較し(ステップS1206)、領域の総数がしきい値y1以上である場合(ステップS1206でNO)、当該フレームを処理から除外する(ステップS1208)。なお、人間の目は2つであるので、y1は2よりも大きい数である。領域の総数が多い場合には、ノイズが領域として誤検出されている可能性が高いため、このような領域を含むフレームは除外される。
さらに、シーン判定部22は領域の面積の総和としきい値y2とを比較する(ステップS1212)。
領域の面積の総和がしきい値y2よりも大きい場合(ステップS1212でNO)、シーン判定部22は、このフレームを無効であると判断する(ステップS1208)。ここで、しきい値y2は、通常の撮像状態における眼部領域の面積の総和に基づき決定可能である。このように、面積の総和が所定値以上の領域を除外することにより、メガネのレンズ等、眼部領域以外の領域を眼部領域として誤検出することを未然に回避することができる。
領域の面積の総和がしきい値y2以下である場合(ステップS1212でYES)、シーン判定部22は当該フレームを有効であると判定し(ステップS1214)、このフレームを以降の処理対象として信号処理部62に格納する(ステップS1216)。次いで、シーン判定部22は、図13に処理を戻し、眼部検出処理(ステップS14)が実行される。
図20は眼部検出処理(ステップS14)の詳細フローチャートである。
眼部検出部24は、有効であると判断されたフレームが信号格納部62に格納されると(ステップS1404でYES)、次いで、眼部検出部24はp番目のフレームの3値化画像D (a,b)を読み出す。
眼部検出部24は、領域R1〜Rcにおいて2つの領域の水平方向および垂直方向の位置をそれぞれ比較する(ステップS1406)。眼部検出部24は、水平方向および垂直方向の位置が所定範囲内にあり、かつ2つの領域の面積の差が最も小さい1組の領域を眼部領域と決定する(ステップS1408)。領域R1〜Rcは、目の領域としてふさわしい画素数を有しているため、面積の差を比較することで好適に眼部領域を決定することが可能である。また、目は、顔部を構成する部位の内、輝度が変化する最も大きな部位であるため、面積の大きい2つの領域R1、R2の水平方向および垂直方向の位置をそれぞれ比較することによって眼部領域を決定しても良い。また、左右の目は形状が類似するため、2つの領域の形状に関する相関値を算出し、最も類似する2つの領域を眼部領域と決定しても良い。眼部検出部24は、信号格納部62に2つの眼部領域の画素の座標情報を格納する(ステップS1410)。次いで、眼部検出部24は瞬目動作判定部26に処理を受け渡す。
瞬目動作判定部26は、p番目の3値化画像D (a,b)および眼部領域の画素の座標情報を信号格納部62から読み出す。瞬目動作判定部26は一回の瞬目動作におけるフレームの数を検出する。瞬目動作は眼部領域の輝度の時間変化によって検出され得る。瞬目動作判定部26は、一回の瞬目動作におけるフレームの数がしきい値THblink以上である場合、警告音を出力する。
上述したように本実施の形態に係る眼部検出装置では、鼻を基準として目探索領域を定めることにより、顔部品の形状が変化した場合であっても眼部領域を正確に検出することが可能となる。
さらに、前のフレームにおける目探索領域をテンプレートとしてテンプレート・マッチングを実行するので、正確な位置ズレ量の算出が可能となる。前のフレームにおける目探索領域の縁部の少なくとも1つの画素の輝度の差に基づいて目探索領域の輝度を補正するので、フレーム間の輝度の差を補正する処理が高速に実行できる。また、目探索領域の平均輝度を算出し、平均輝度に基づいて目探索領域の輝度を補正するため、フレーム間で周囲の照明が変化した場合であっても、眼部領域を正確に検出することが可能となる。連続する2つのフレームの目探索領域において、対応付けられた画素ごとに輝度の差分値を算出し、前記差分値を3値化するので、瞼が閉じられた場合と瞼が開かれた場合を正確に検出できる。目探索領域の差分の3値化画像において、水平方向および垂直方向の相対位置が所定条件を満たす1対の領域を眼部領域として決定する。人間の目は水平方向の距離が所定の範囲にあり、垂直方向の高さが略一致するため、水平方向および垂直方向の相対位置を比較することで、正確に眼部領域を検出することが可能となる。
目探索領域内の差分が生じた領域の総数、および総面積に基づいて目領域を検出することにより、運転者がメガネ等を使用する場合であっても、ノイズの多い画像を除外し、正確に眼部領域を決定することが可能となる。
本発明は以上の実施形態に限られず、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、顔検出装置は車両に設置することを例示しているが、運転者が操作する移動体であればどのようなものでも良い。飛行機やヘリコプター等の飛行体に設置することも可能である。船体であっても良い。また、例示したカメラ以外の撮像部も利用可能であり、データ処理部の構成も図2の構成に限られるものではない。
100 眼部検出装置
2 車両
4 撮像部
6 データ処理部
12 目探索領域部
14 位置ズレ補正部
16 差分画像作成部
18 3値化処理部
22 シーン判定部
24 眼部検出部
42 カメラ
44 制御部
60 演算部(CPU)
62 信号格納部
66 RAM
662 フレーム・メモリ
664 テンプレート・メモリ

Claims (11)

  1. 一定の時間毎に撮像された顔の画像を入力する手段と、
    前記画像から鼻を含む特徴点に基づいて目探索領域を抽出する手段と、
    第1の時間における前記特徴点と第2の時間における前記特徴点の位置の比較に基づいて、第1の時間における前記目探索領域と第2の時間における前記目探索領域とを対応付ける手段と、
    前記対応付けられた第1および第2の時間における前記目探索領域に基づいて、前記第1および第2の時間における目探索領域から眼部領域を決定する手段とを有し、
    前記眼部領域を決定する手段は、第1の時間における前記目探索領域と第2の時間における前記目探索領域の、前記対応付けられた画素ごとに輝度の差分値を算出する差分画像作成手段を備える眼部検出装置。
  2. 前記目探索領域を対応付ける手段は、第1の時間における前記目探索領域と第2の時間における前記目探索領域との対応付けに基づいて前記第1および第2の時間における目探索領域の間の位置ズレ量を決定する請求項1に記載の眼部検出装置。
  3. 前記目探索領域を対応付ける手段は、第1の時間における前記目探索領域をテンプレートとして第2の時間における前記目探索領域にテンプレート・マッチングを実行する、請求項1または2に記載の眼部検出装置。
  4. 前記目探索領域を抽出する手段は、第1および第2の時間における前記目探索領域内の少なくとも1つの画素の輝度の差に基づいて第1の時間または第2の時間における前記目探索領域の輝度を補正する請求項1〜3のいずれか1項に記載の眼部検出装置。
  5. 前記眼部領域を決定する手段は、前記対応付けられた目探索領域において、相対位置が所定条件を満たす1対の領域を眼部領域として決定する請求項1〜4のいずれか1項に記載の眼部検出装置。
  6. 前記差分画像作成手段は、前記目探索領域の平均輝度を算出し、平均輝度に基づいて前記目探索領域の輝度を補正する、請求項1〜5のいずれか1項に記載の眼部検出装置。
  7. 前記眼部領域を決定する手段は、前記差分値を3値化する3値化処理手段をさらに備える請求項1〜のいずれか1項に記載の眼部検出装置。
  8. 前記眼部領域を決定する手段は、前記目探索領域内の差分が生じた領域の総数に基づいて眼部領域を検出するか否かを決定する請求項のいずれか1項に記載の眼部検出装置。
  9. 前記眼部領域を決定する手段は、前記目探索領域内の差分が生じた各領域の総面積に基づいて眼部領域を検出するか否かを決定する請求項のいずれか1項に記載の眼部検出装置。
  10. 目探索領域抽出手段が一定の時間毎に撮像された顔の画像を入力して前記画像から鼻を含む特徴点に基づいて目探索領域を抽出するステップと、
    目探索領域対応付け手段が第1の時間における前記特徴点と第2の時間における前記特徴点の位置の比較に基づいて、第1の時間における前記目探索領域と第2の時間における前記目探索領域とを対応付けるステップと、
    眼部領域決定手段が前記対応付けられた第1および第2の時間における前記目探索領域に基づいて、前記第1および第2の時間における目探索領域から眼部領域を決定するステップとを有する眼部検出方法であって、
    前記眼部領域を決定するステップは、差分画像作成手段が、第1の時間における前記目探索領域と第2の時間における前記目探索領域の、前記対応付けられた画素ごとに輝度の差分値を算出するステップを備える眼部検出方法
  11. 目探索領域抽出手段が一定の時間毎に撮像された顔の画像を入力して前記画像から鼻を含む特徴点に基づいて目探索領域を抽出するステップと、
    目探索領域対応付け手段が第1の時間における前記特徴点と第2の時間における前記特徴点の位置の比較に基づいて、第1の時間における前記目探索領域と第2の時間における前記目探索領域とを対応付けるステップと、
    眼部領域決定手段が前記対応付けられた第1および第2の時間における前記目探索領域に基づいて、前記第1および第2の時間における目探索領域から眼部領域を決定するステップとをコンピュータに実行させるためのプログラムであって、
    前記眼部領域を決定するステップは、差分画像作成手段が、第1の時間における前記目探索領域と第2の時間における前記目探索領域の、前記対応付けられた画素ごとに輝度の差分値を算出するステップを備える、プログラム
JP2013211623A 2013-10-09 2013-10-09 眼部検出装置、方法、およびプログラム Expired - Fee Related JP6234762B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013211623A JP6234762B2 (ja) 2013-10-09 2013-10-09 眼部検出装置、方法、およびプログラム
EP14187262.2A EP2860663B1 (en) 2013-10-09 2014-10-01 Eye part detection apparatus
US14/509,579 US9646215B2 (en) 2013-10-09 2014-10-08 Eye part detection apparatus
CN201410527681.7A CN104573704A (zh) 2013-10-09 2014-10-09 眼部检测装置、方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013211623A JP6234762B2 (ja) 2013-10-09 2013-10-09 眼部検出装置、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2015075914A JP2015075914A (ja) 2015-04-20
JP6234762B2 true JP6234762B2 (ja) 2017-11-22

Family

ID=51862081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013211623A Expired - Fee Related JP6234762B2 (ja) 2013-10-09 2013-10-09 眼部検出装置、方法、およびプログラム

Country Status (4)

Country Link
US (1) US9646215B2 (ja)
EP (1) EP2860663B1 (ja)
JP (1) JP6234762B2 (ja)
CN (1) CN104573704A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263749A (zh) * 2015-07-14 2019-09-20 原相科技股份有限公司 眼睛状态侦测方法以及眼睛状态侦测系统
CN105049732B (zh) * 2015-08-27 2018-05-29 广东欧珀移动通信有限公司 一种摄像头调节方法及用户终端
DE112017005233B4 (de) * 2017-01-17 2021-08-26 Mitsubishi Electric Corporation Augenliderkennungsvorrichtung, Schläfrigkeitsbestimmungsvorrichtung und Augenliderkennungsverfahren
JP6652090B2 (ja) * 2017-03-10 2020-02-19 オムロン株式会社 運転モード切替制御装置、システム、方法、およびプログラム
JP2019046141A (ja) * 2017-09-01 2019-03-22 アルパイン株式会社 運転者監視装置、運転者監視方法、及びプログラム
CN108345844B (zh) * 2018-01-26 2020-11-20 上海歌尔泰克机器人有限公司 控制无人机拍摄的方法及装置、虚拟现实设备及系统
CN109993761B (zh) 2018-06-29 2021-04-09 长城汽车股份有限公司 一种三值图像获取方法、装置及车辆
CN109389069B (zh) * 2018-09-28 2021-01-05 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
US11024056B2 (en) * 2019-09-04 2021-06-01 GM Global Technology Operations LLC Image processing for eye location identification
JP7455545B2 (ja) 2019-09-30 2024-03-26 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
CN110751810A (zh) * 2019-10-29 2020-02-04 深圳联安通达科技有限公司 一种疲劳驾驶检测方法和装置
JP7342746B2 (ja) * 2020-03-12 2023-09-12 株式会社Jvcケンウッド 映像処理装置、映像処理方法および映像処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870138A (en) * 1995-03-31 1999-02-09 Hitachi, Ltd. Facial image processing
JP3012226B2 (ja) * 1998-07-24 2000-02-21 マルチメディアシステム事業協同組合 居眠り運転防止装置
JP2000105829A (ja) * 1998-09-29 2000-04-11 Matsushita Electric Ind Co Ltd 顔パーツ検出方法及びその装置
JP2002063563A (ja) * 2000-08-17 2002-02-28 Fuji Photo Film Co Ltd 画像処理方法および画像処理システム
JP4452832B2 (ja) * 2006-03-31 2010-04-21 国立大学法人静岡大学 瞳孔を検出する方法及び装置
JP4895847B2 (ja) 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
JP4309926B2 (ja) * 2007-03-13 2009-08-05 アイシン精機株式会社 顔特徴点検出装置、顔特徴点検出方法及びプログラム
JP4307496B2 (ja) * 2007-03-19 2009-08-05 株式会社豊田中央研究所 顔部位検出装置及びプログラム
JP2010182150A (ja) * 2009-02-06 2010-08-19 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
US8564667B2 (en) * 2009-08-21 2013-10-22 Empire Technology Development Llc Surveillance system
US8836777B2 (en) * 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device

Also Published As

Publication number Publication date
US9646215B2 (en) 2017-05-09
EP2860663B1 (en) 2019-04-03
JP2015075914A (ja) 2015-04-20
EP2860663A2 (en) 2015-04-15
EP2860663A3 (en) 2015-06-03
US20150098654A1 (en) 2015-04-09
CN104573704A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
JP6234762B2 (ja) 眼部検出装置、方法、およびプログラム
JP4275516B2 (ja) 人物検出方法および装置
JP4307496B2 (ja) 顔部位検出装置及びプログラム
KR102465532B1 (ko) 객체 인식 방법 및 장치
US8435188B2 (en) Eye opening detection system and method of detecting eye opening
JP5517858B2 (ja) 画像処理装置、撮像装置、画像処理方法
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
KR100954835B1 (ko) 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
JP2000259814A (ja) 画像処理装置及びその方法
EP1868138A2 (en) Method of tracking a human eye in a video image
KR101853006B1 (ko) 깊이영상에서 코 검출을 이용한 얼굴 인식
JPH0944685A (ja) 顔画像処理装置
JP2012053756A (ja) 画像処理装置及び画像処理方法
KR20100138202A (ko) 이종 카메라를 이용한 객체 추적 시스템 및 방법
KR101640014B1 (ko) 허위 안면 이미지 분류가 가능한 홍채 인식 장치
KR20140036803A (ko) 위장 얼굴 판별 장치 및 방법
JP2008090452A (ja) 検出装置、方法およびプログラム
Mohsin et al. Pupil detection algorithm based on feature extraction for eye gaze
JP2004192552A (ja) 開閉眼判定装置
Gürel Development of a face recognition system
KR101886416B1 (ko) 차량 도어 제어 시스템 및 방법
Mehrübeoglu et al. Real-time iris tracking with a smart camera
JP5493676B2 (ja) 眼位置認識装置
Poursaberi et al. Modified multiscale vesselness filter for facial feature detection
Mariappan et al. A labVIEW design for frontal and non-frontal human face detection system in complex background

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171025

R150 Certificate of patent or registration of utility model

Ref document number: 6234762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees