JP4082203B2 - 開閉眼判定装置 - Google Patents
開閉眼判定装置 Download PDFInfo
- Publication number
- JP4082203B2 JP4082203B2 JP2002362638A JP2002362638A JP4082203B2 JP 4082203 B2 JP4082203 B2 JP 4082203B2 JP 2002362638 A JP2002362638 A JP 2002362638A JP 2002362638 A JP2002362638 A JP 2002362638A JP 4082203 B2 JP4082203 B2 JP 4082203B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- open
- determination
- closed
- upper eyelid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
【発明の属する技術分野】
本発明は、例えば車両を運転する運転者の脇見や居眠りなどを報知するに際して行う開閉眼判定処理をする開閉眼判定装置に関する。
【0002】
【従来の技術】
従来により、下記の特許文献1や特許文献2、特許文献3に記載されているように、例えば車両の運転者の顔画像を撮像し、当該顔画像から眼の縦幅の変化量を用いたり、上瞼のピーク点と眉の間隔変化量を用いたり、上瞼の形状を用いたりして開閉眼の判定を行うものが知られている。
【0003】
【特許文献1】
特開平9−44685号公報
【0004】
【特許文献2】
特開平10−143669号公報
【0005】
【特許文献3】
特開2000−123188号公報
【0006】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術では、顔画像を撮影する光環境条件が変化した場合に開閉眼の判定精度が悪化するという問題点があった。
【0007】
また、上述の開閉眼判定装置を、居眠りの検出に使用した場合には、撮影対象者が眼を細めた状況が、眠くて眼を細めたのか、眩しくて眼を細めたのか、又は微笑んで眼を細めたのかなどの状況判定が行えない場合がある。また、従来の開閉眼判定装置は、上瞼と眉の間隔変化だけによる開閉眼の判定をすると、眼を細めていなくても眼が閉状態であるとの誤判定するという問題点もあった。
【0008】
【課題を解決するための手段】
本発明では、顔を撮像して得た画像データを処理して眼の開閉状態を判定するに際して、画像撮影手段により顔を撮影して画像データを生成し、当該画像データの全体から眼位置検出手段により眼の位置を検出し、当該眼の位置を基準として、眼追跡手段により眼の追跡領域となる眼を含む所定領域を設定し、眼を追跡する。
【0009】
そして、本発明では、時系列にて追跡している眼を対象として、開閉状態判定手段により、少なくとも二つ以上の手法を用いて眼の開閉状態を示す判定結果を複数生成すると、当該複数の判定結果の論理積を用いて、総合的な開閉判定を行い、開閉眼総合判定手段が、上瞼の形状を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果は、上瞼の形状を表す画像特徴量を演算対象として異なる手法で生成した眼の開閉状態を示す各判定結果の間で、何れかの判定結果が閉状態である場合には、上瞼の形状に基づく眼の開閉状態を示す判定結果を閉状態とし、眼の縦幅を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果と、上瞼のピーク点と眉との間隔を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果と、前記上瞼の形状に基づく眼の開閉状態を示す判定結果との間で、全ての判定結果が閉状態である場合には総合的な開閉判定として閉状態であるとする。
【0010】
【発明の効果】
本発明によれば、複数の手法の優れている所を有効に活用し、判定結果の論理積をもって総合的な開閉眼判定を行うようにすることで、多様な光環境の違いを許容した精度の高い開閉眼判定が実現できる。具体的には、運転者の顔の一部が影となっていたり、顔の一部に直射日光が当たっているような場合、運転者の表情が変化した場合であっても、各状態に応じて各手法の判定結果を用いて、総合判定処理を行うことができる。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【0012】
本発明は、例えば図1に示すように構成された開閉眼判定装置に適用される。この開閉眼判定装置は、例えば車両を運転している運転者の脇見や居眠りといった複数の状態の判定を行って報知などをする装置と接続され、当該装置に運転者の眼の開閉状態を示す情報を送るものである。
【0013】
[開閉眼判定装置の構成]
この開閉眼判定装置は、例えば図示しないROM(Read Only Memory)等に開閉眼判定プログラムを格納しておき、当該開閉眼判定プログラムを図示しないCPU(Central Processing Unit)等により必要に応じてRAM(Random Access Memory等)を使用して実行することにより、図1に示すような各部を実現する。
【0014】
この開閉眼判定装置は、運転者の顔画像をステアリング近傍のコラムモジュール等に取り付けられた撮像装置を有し、運転者の顔画像(画像データ)を生成する画像撮影部(画像撮影手段)1を備える。この画像撮影部1は、例えば所定期間毎に顔画像を生成して、眼位置検出部(眼位置検出手段)2に送る。眼位置検出部2は、画像撮影部1からの顔画像が送られると、当該顔画像を用いて、運転者の眼の画像領域を抽出して、眼座標値を検出して眼追跡部(眼追跡手段)3に送る。この眼追跡部3は、時系列にて送られる眼位置検出部2からの眼座標値を蓄積して、運転者の眼位置を追跡し、眼画像を含む画像を開閉状態判定部(開閉状態判定手段)4に送る。
【0015】
開閉状態判定部4は、眼の縦幅、上瞼のピーク点と眉の間隔、3点法や曲率半径法を使用した上瞼の形状変化による開閉眼判定処理を行う。この開閉状態判定部4は、複数種類の開閉眼判定処理を行うことで、複数の判定結果を生成して開閉眼総合判定部(開閉眼総合判定手段)5に送る。
【0016】
また、この開閉状態判定部4では、必要に応じて単独の手法による判定結果を開閉眼総合判定部5に送るようにしても良い。このとき、開閉状態判定部4は、単独の判定結果に開閉眼総合判定部5に送る場合に判定結果を生成するための基準値と比較して、複数の判定結果を開閉眼総合判定部5に送る場合に眼の開閉状態を判定する基準値を緩和しても良い。
【0017】
開閉眼総合判定部5は、開閉状態判定部4からの複数の判定結果と、予め用意しておいた開閉眼総合判定テーブルとを比較して、複数の判定結果を総合した開閉眼総合判定結果を生成する開閉眼総合判定処理を行い、報知装置などに出力する。
【0018】
[開閉眼判定装置による開閉眼判定結果生成処理]
つぎに、上述したように構成された開閉眼判定装置により運転者の眼の開閉状態を判定する開閉眼判定結果生成処理について図2のフローチャートを参照して説明する。
【0019】
開閉眼判定装置では、先ず、ステップS1においては、画像撮影部1にて画像データを入力することに応じて、顔画像を生成して、ステップS2以降に処理を進める。
【0020】
ステップS2〜ステップS5においては、眼位置検出部2により顔画像から眼座標値を検出し、眼追跡部3による眼の追跡に移行するまでの前処理を行う。すなわち、先ず、ステップS2においては、眼位置検出部2により、連続的に生成されるデータである顔画像から、濃度特徴量の抽出を行う。
【0021】
このとき、眼位置検出部2では、図3中の縦ラインにて示すような顔画像11中の縦方向(Y方向)における画素の濃度値を検出し、当該濃度値が黒の変極点となり、且つその変極点に至るまで濃度変化率が所定の閾値を越えた画素(抽出点)を抽出する。このような処理を顔画像11の全体に亘って実行することで、眼位置検出部2では、図4に示すように、右眉部分、左眉部分、右眼部分、左眼部分、鼻部分、口部分に相当する抽出点を得る。
【0022】
そして、眼位置検出部2では、X方向にて隣接する抽出点であって、Y方向において接近している抽出点をグループ化して、濃度的な特徴を示すX方向に連続した連続データを得る。すなわち、眼位置検出部2では、図5に示すように、右眉部分に相当する連続データ12A、左眉部分に相当する連続データ12B、右眼部分に相当する連続データ12C、左眼部分に相当する連続データ12D、鼻部分に相当する連続データ12E、口部分に相当する連続データ12Fを得る。
【0023】
次のステップS3においては、眼位置検出部2により、右目及び左目に相当する連続データ12を選択して、眼の位置を検出する。このとき、眼位置検出部2では、各特徴量からなる連続データ12が出現する画像領域をY方向にゾーン化し、各連続データ12の相対位置関係から眼の位置検出を行う。
【0024】
具体的には、眼位置検出部2では、図6に示すように、連続データ12A,12Cを含むようにゾーン13を設定し、連続データ12E,12Fを含むようにゾーン14を設定し、連続データ12B,12Dを含むようにゾーン15を設定する。そして、眼位置検出部2では、ゾーン13,ゾーン14,ゾーン15のうち最もX軸座標値が小さいゾーン13に含まれてY軸座標値が小さい連続データ12CのX軸方向における中央値を右目座標値16Cとし、連続データ12CよりもY軸座標値が大きい連続データ12AのX軸方向における中央値を右眉座標値16Aとする。また、眼位置検出部2では、ゾーン13よりもX軸座標値が大きいゾーン14に含まれてY軸座標値が小さい連続データ12EのX軸方向における中央値を鼻座標値16Eとし、連続データ12EよりもY軸座標値が大きい連続データ12FのX軸方向における中央値を口座標値16Fとする。更に、眼位置検出部2では、ゾーン13,ゾーン14,ゾーン15のうち最もX軸座標値が大きいゾーン15に含まれてY軸座標値が小さい連続データ12DのX軸方向における中央値を左目座標値16Dとし、連続データ12DよりもY軸座標値が大きい連続データ12BのX軸方向における中央値を左眉座標値16Bとする。
【0025】
次のステップS4においては、眼位置検出部2により、ステップS3にて得た右目座標値16C及び左目座標値16Dを、眼の基準座標値として図示しないメモリに記憶することで、眼追跡部3により使用可能とする。
【0026】
次のステップS5においては、眼追跡部3により、ステップS4にて記憶された右目座標値16Cを含む小領域及び左目座標値16Dを含む小領域を設定し、当該各小領域を眼の追跡領域として設定する。これにより、開閉眼判定装置では、眼の追跡に移行するまでの前処理を完了して、眼の開閉状態を判定するためにステップS6のループ処理に移行する。
【0027】
ステップS6では、画像撮影部1により、新たに顔画像11を入力して、ステップS7に処理を進める。
【0028】
ステップS7においては、眼追跡部3により、ステップS2にて連続データを抽出した処理と同様の処理を、ステップS6にて入力した顔画像11を使用してステップS5にて設定した各追跡領域に限定して行って連続データを抽出してステップS8に処理を進める。
【0029】
このステップS7において、眼追跡部3では、図7(a)に示すように追跡領域17の全体について、縦方向(Y方向)における画素の濃度値を検出し抽出点を抽出する処理をすることで、眼画像18Aについての連続データを作成する。ここで、眼追跡部3では、連続データの検出精度を向上させるために、ステップS2にて顔画像11から抽出点を検出する場合と比較して、X軸方向及びY軸方向における走査間隔密度を高くする。
【0030】
次のステップS8においては、眼追跡部3により、ステップS7にて抽出された連続データを使用して、眼の基準座標を求めてステップS9に処理を進める。
【0031】
このステップS8において、眼追跡部3では、顔画像11全体からの眼の位置を検出する場合と比較して追跡領域17が非常に小さいので、追跡領域17に殆ど眼画像18Aしか存在せず、連続データの代表座標点を求めることで眼の中心座標19Aを特定する。また、眼追跡部3では、例えば追跡領域17内に複数の連続データが出現した場合は、該当する連続データを構成する各抽出点の平均濃度値や、連続データの形状特徴から眼の中心座標19Aの特定をする。
【0032】
ステップS9では、眼追跡部3により、ステップS8にて特定された中心座標19Aを基準座標としてメモリに記憶して、ステップS10に処理を進める。
【0033】
ステップS10では、眼追跡部3により、ステップS9にて記憶された中心座標19Aを追跡領域17の中心位置となるように追跡領域17の位置を更新して、ステップS11に処理を進める。
【0034】
このステップS10において、眼追跡部3では、ステップS5にて図7(a)に示す追跡領域17が設定された場合、中心座標19と追跡領域17の中心位置は一致している。その後、ステップS6にて新たな顔画像11が取り込まれ、図7(b)に示すように眼画像18Aから眼画像18Bのように位置が変化した場合、図7(c)に示すように眼画像18Bの中心座標19Bを追跡領域17の中心位置に近づけ、図7(d)に示すように眼画像18Bの中心座標19Bを追跡領域17の中心位置に更に近づける。このような処理をすることにより、追跡領域17内にて検出した中心座標19Bを基に追跡領域17の位置の更新を続ける。
【0035】
ここで、眼追跡部3では、顔画像11の取り込み間隔に対する眼の移動量に応じて必要最小の画像領域となるように追跡領域17を設定することで、ステップS7及びステップS8の処理時間を短くすると共に、眼の追従性を向上させることが望ましい。
【0036】
ステップS11においては、開閉状態判定部4により、眼の縦幅による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップS12に処理を進める。なお、このステップS11における眼の縦幅による開閉眼判定処理の処理内容については後述する。
【0037】
ステップS12においては、開閉状態判定部4により、上瞼のピーク点と眉の間隔による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップS13に処理を進める。なお、このステップS13における上瞼のピーク点と眉の間隔による開閉眼判定処理の処理内容については後述する。
【0038】
ステップS13においては、開閉状態判定部4により、3点法を使用した上瞼の形状変化による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップS14に処理を進める。なお、このステップS13における3点法を使用した上瞼の形状変化による開閉眼判定処理の処理内容については後述する。
【0039】
ステップS14においては、開閉状態判定部4により、曲率半径法を使用した上瞼の形状変化による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップS15に処理を進める。なお、このステップS14における曲率半径法を使用した上瞼の形状変化による開閉眼判定処理の処理内容については後述する。
【0040】
ステップS15においては、開閉眼総合判定部5により、ステップS11、ステップS12、ステップS13、及びステップS14にて得られた各開閉眼判定処理の判定結果を用いて開閉眼総合判定処理を行い、当該開閉眼総合判定処理により得られた総合判定結果を図示しない報知装置などに出力して、ステップS6に処理を戻す。なお、このステップS15における開閉眼総合判定処理の処理内容については後述する。
【0041】
[開閉眼判定結果生成処理における開閉眼判定処理]
つぎに、上述したステップS11〜ステップS14にて行う各開閉眼判定処理の処理内容について説明する。
【0042】
「眼の縦幅による開閉眼判定処理」
眼の縦幅による開閉眼判定処理においては、開閉状態判定部4は、先ず、ステップS9にて記憶しておいた基準座標を基準として、顔画像11を撮像する撮像装置の画角と、運転者の顔面と撮像装置との距離とから相場値的に求められる眼の大きさ相当の追跡領域17を設定する。次に開閉状態判定部4は、設定した追跡領域17内で濃度値別のヒストグラムを作成することで、抽出点の生成に適している二値化閾値を算出する。次に開閉状態判定部4は、算出した二値化閾値を用いて、二値化された眼画像18の縦幅が最大となる画像部分を眼の開度値とする。
【0043】
これにより、開閉状態判定部4では、図8(a)に示すように開眼時に縦幅が大きくなった場合の開度値hを大きくする。一方、開閉状態判定部4は、図8(b)に示すように閉眼時に縦幅が小さくなった場合の開度値hを小さくする。そして、開閉状態判定部4では、開度値hと予め設定しておいた開度閾値(基準値)とを比較し、開度値hが開度閾値よりも大きい場合には開眼状態であるとの判定結果を生成し、開度値hが開度閾値よりも小さい場合には閉眼状態であるとの判定結果を生成する。
【0044】
ここで、開閉状態判定部4は、眼の開閉状態を判定するに際して、開眼時や閉眼時の眼画像18の縦幅を個人データとして記憶して開度閾値を変化させる学習処理をすることで、個人ごとに眼の大きさが異なる場合に対応可能となる。
【0045】
ところが、この眼の縦幅による開閉眼判定処理は、眼を閉じていても開眼と判定する場合や、眼を細めただけで閉眼と判定する場合があり、開閉閾値を変化させるだけでは対応できないことがある。眼を閉じていても開眼状態であると判定される原因としては、図9(a)に示すように、眼を含む追跡領域17が日影にある場合や、眼を含む追跡領域17が夜間の近赤外光照明下にある場合が挙げられる。このような状態となると、追跡領域17のコントラストが弱くなり、特に、閉眼時は眼の下の影と眼の形状を濃度に基づいて分離することが困難となる。
【0046】
すなわち、図9(b)に示す目尻下の影20に相当する画像部分を二値化した場合、図9(c)に示すように影20に相当する画像部分と眼に相当する画像部分とが分離しきれずに一体となってしまう。このような状態となると、眼を閉じている状態にも関わらず、開度値hに相当する眼の縦幅CL_hが大きくなって開眼状態であると判定してしまう。また、眼を細めただけで閉眼状態であると判定される原因は、微笑んだ時や眩しそうに眼を細めた時でである。すなわち、図10(a)に示すように前方を注視している状態の眼の縦幅OP_hから、運転者が微笑んだ場合には図10(b)に示すように眼の縦幅OP_hよりも小さい眼の縦幅SMILE_hとなってしまう。これにより、前方を注視しているにも拘わらず閉眼状態であるとの判定結果となってしまう。
【0047】
「上瞼のピーク点と眉との間隔による開閉眼判定処理」
上瞼のピーク点と眉の間隔による開閉眼判定処理においては、開閉状態判定部4は、先ず、追跡領域17に含まれる顔画像11を二値化した状態で眼の形状を切り出し、その形状から上瞼のピーク点を求める。また、開閉状態判定部4は、ステップS7にて生成された眉に相当する連続データから、上瞼のピーク点とX軸方向の座標値が同じ抽出点を代表座標点として求める。これにより、開閉状態判定部4では、上瞼のピーク点のY軸座標から眉の代表座標点のY軸座標を減算して、上瞼のピーク点と眉と上下間隔を算出する。
【0048】
このような開閉眼判定処理を行うことにより、図11に示すように、開眼時は上瞼と眉との間隔h1が小さくなり、閉眼時は上瞼と眉との間隔h2が大きくなる。そして、開閉状態判定部4では、求めた上瞼の眉との間隔と予め設定しておいた開度閾値とを比較し、上瞼の眉との間隔が開度閾値よりも小さい場合には開眼状態であるとの判定結果を生成し、上瞼の眉との間隔が開度閾値よりも大きい場合には閉眼状態であるとの判定結果を生成する。
【0049】
ところが、上瞼のピーク点と眉との間隔による開閉眼判定処理では、眼を開けていても閉眼と判定される場合がある。眼を開けていても閉眼と判定される原因としては、図12(a)に示すように、例えばある程度の緊張感を以て運転している場合に上瞼と眉との間隔がh3であった場合に、運転者の緊張感が低くなって顔面の筋肉が緩み眉の位置が上がり、図12(b)に示すように上瞼と眉の間隔が広がって上瞼と眉との間隔がh4となってしまうことが挙げられる。このような場合、上瞼と眉との間隔h3と、上瞼と眉との間隔h4との差EBup_hによって開度閾値を超えて大きくなると、運転者が前方注視状態であるにも拘わらず閉眼状態であるとの判定結果を生成してしまう。ここで、この眉の動きには、個人差があるものの動きの大きい運転者の場合は、眼の開閉のストローク量を越えることもある。
【0050】
「上瞼の形状変化による開閉眼判定処理」
上瞼の形状変化による開閉眼判定処理においては、開閉状態判定部4は、ステップS9にて記憶しておいた基準座標を基準として、顔画像11を撮像する撮像装置の画角と、運転者の顔面と撮像装置との距離とから相場値的に求められる眼の大きさ相当の追跡領域17を設定する。次に開閉状態判定部4は、設定した追跡領域17内でエッジ検出処理を行うことで上瞼ラインを示すデータを生成する。 次に開閉状態判定部4は、3点法を使用する場合、図13に示すように、上瞼ラインを示すデータの左端点を目頭ポイント21A、右端点を目尻ポイント21Cとし、両端点を結ぶ直線に対する上瞼のピーク点21Bの垂線長さを求める。これにより、開閉状態判定部4では、図13(a)に示す開眼時には垂線長さh5が長くなり、図13(b)に示す閉眼時には垂線長さh6が短くなる演算結果を得る。そして、開閉状態判定部4では、求めた垂線長さと予め設定しておいた開度閾値とを比較し、垂線長さが開度閾値よりも大きい場合には開眼状態であるとの判定結果を生成し、垂線長さが開度閾値よりも小さい場合には閉眼状態であるとの判定結果を生成する。
【0051】
一方、開閉状態判定部4は、曲率半径法を使用する場合、図14に示すように、上瞼の各エッジ抽出点22を対象として二次曲線の近似式を演算し、上瞼の曲率半径を求める。これにより、開閉状態判定部4では、図14(a)に示す開眼時には曲率半径が小さくなり、図14(b)に示す閉眼時には曲率半径が大きくなる演算結果を得る。そして、求めた曲率半径と予め設定しておいた開度閾値とを比較し、曲率半径が開度閾値よりも小さい場合には開眼状態であるとの判定結果を生成し、曲率半径が開度閾値よりも大きい場合には閉眼状態であるとの判定結果を生成する。
【0052】
ところが、3点法及び曲率半径法を使用した上瞼の形状変化による開閉眼判定処理では、眼を開けていても閉眼と判定される場合がある。眼を開けていても閉眼と判定される原因としては、眼の一部に太陽の直射光を受けた場合に、目頭や目尻の画像部分が白飛びしてしまうことによる。すなわち、図15(a)に示す平常時の眼画像23に対し、目頭部分が白飛びした場合には図15(b)に示すように眼画像23の目頭が白飛び部分24となり、目尻部分が白飛びした場合には図15(c)に示すように眼画像23の目尻が白飛び部分24となる。これにより、白飛び部分24のエッジ検出処理が困難となり、正確な目頭ポイント21A、ピーク点21B及び目尻ポイント21Cが検出できなくなったり、エッジ抽出点22が検出できなくなる。
【0053】
[開閉眼判定結果生成処理における開閉眼総合判定処理]
つぎに、上述したステップS15にて行う開閉眼判定総合処理の処理内容について説明する。この開閉眼総合判定処理では、上述した各開閉眼判定処理の問題点を考慮して作成された図16に示す開閉眼総合判定テーブルを使用する。
【0054】
すなわち、開閉眼総合判定テーブルは、以下に示すような各開閉眼判定処理の利点を考慮して作成されている。
【0055】
先ず、眼の縦幅による開閉眼判定処理の利点は、眼の一部に太陽の直射光が当たっているなどの状況においても、図17に示すように眼画像23の眼球部が白飛びしない限り、眼の縦幅OP_hを認識して正しい開閉眼判定結果を得ることが可能であることにある。
【0056】
また、上瞼のピーク点と眉との間隔による開閉眼判定処理の利点は、図18(a)に示すように微笑んだり眩しかったりして眼を細めている状態と、図18(b)に示すように眠くて眼を閉じている状態とを区別して、正しい開閉眼判定結果を得ることが可能であることにある。すなわち、微笑んだ場合や眩しくて眼を細めた場合、眼の下の筋肉が上に持ち上がっている状態なので、上瞼と眉との間隔Dは広がらないのに対し、眠くて眼を閉じた場合は、上瞼位置が下がる分、上瞼と眉の間隔は広がる。したがって、この開閉眼判定処理では、眼を細める状態が、微笑んでいるのか、眩しいのか、眠いのかの区別が可能である。
【0057】
また、上瞼の形状変化による開閉眼判定処理の利点は、3点法及び曲率半径法の共に、図19(a)に示すように眼が日影となっている場合や、夜間近赤外光下における眼でコントラストが低い状態でも、閉眼時(図19(b))や開眼時(図19(c))に示す画像を使用して3点法や曲率半径法を使用した精度が高い開閉眼判定ができることにある。ここで、眼のコントラストが低い場合、眼の縦幅を正しく求めるために二値化閾値を設定することが困難となる。特に、閉眼時において眼部分と眼の下の影部分との濃度階調が近い値であるため、濃度的に分離できなくなり眼の縦幅が小さくならない。しかし、このような状況においても上瞼のエッジラインの形状は、その影響を受け難いため、正しい開閉眼判定が可能である。
【0058】
開閉眼総合判定部5では、このような各開閉眼判定処理の利点を生かした開閉眼総合判定を行う。
【0059】
具体的には、開閉眼総合判定部5では、開眼時に眼の一部に直射光が当たっている場合、上瞼の形状変化による開閉眼判定では、目頭または目尻部分が白飛びすることによってエッジラインが短くなり閉眼と判定されることになる。これに対し、開閉眼総合判定部5では、眼の縦幅による開閉眼判定処理、及び上瞼と眉の間隔による開閉眼判定処理が開眼であるとの正しい判定結果を得ているとして、開眼との総合判定結果を生成する。
【0060】
また、開閉眼総合判定部5では、眼の一部に直射光が当たっていることより、運転者が眩しくて眼を細めたとしても、上瞼と眉との間隔による開閉眼判定処理にて正しい判定が行えるので、総合的な開閉眼判定を誤ることはない。
【0061】
更に、開閉眼総合判定部5では、閉眼時に眼の一部に直射光が当たっている場合、眼の縦幅による開閉眼判定処理、上瞼と眉の間隔による開閉眼判定処理、上瞼の形状変化による開閉眼判定処理の全てにおいて閉眼との判定結果を得るので、閉眼との総合判定結果を生成する。
【0062】
更にまた、開閉眼総合判定部5では、開眼時に眼のコントラストが弱い場合、眼の縦幅による開閉眼判定処理では、閉眼時に確実に閉眼と判定できるようにするために、閉眼と判定する基準を緩和する。これにより眼の縦幅による開閉眼判定処理により閉眼と判定されることもあるが、開閉眼総合判定部5では、上瞼と眉の間隔による開閉眼判定処理、上瞼の形状変化による開閉眼判定処理が開眼であるとの正しい判定結果を得ているとして、開眼であるとの総合判定結果を生成する。
【0063】
更にまた、開閉眼総合判定部5では、閉眼時に眼のコントラストが弱い場合、眼の縦幅による開閉眼判定処理での閉眼と判定する基準を緩和している。これにより、開閉眼総合判定部5では、眼の縦幅による開閉眼判定処理にて正しく閉眼との判定結果を生成可能として、閉眼との総合判定結果を生成する。
【0064】
更にまた、開閉眼総合判定部5では、微笑んで眼を細めた場合、眼の縦幅による開閉眼判定で閉眼判定となり、また上瞼の形状変化(3点法)でも、その判定解像度の低さから閉眼と判定されることがあるが、上瞼と眉の間隔、上瞼の形状変化(曲率半径法)による開閉眼判定が開眼であると正しい判定を行っているので総合的な開閉眼判定を誤ることはない。
【0065】
更にまた、開閉眼総合判定部5では、眩しくて眼を細めた場合、微笑んで眼を細めた場合と類似した眼の開度変化であるため、同様の判定を行うことで正しい開閉眼総合判定を行うことができる。
【0066】
更にまた、緊張度の低下により、顔の表情が緩んだ場合、上瞼と眉の間隔による開閉眼判定処理で閉眼との判定結果が生成されることがある。これに対し、開閉眼総合判定部5では、眼の縦幅による開閉眼判定処理、上瞼の形状変化による開閉眼判定処理の判定結果が共に開眼であるとの正しい判定を行っているので、総合的な開閉眼判定を誤ることはない。
【0067】
更にまた、眼の上に皺の多い人の閉眼時の場合、上瞼のエッジラインが皺によるノイズの影響で相関が高い状態で二次曲線近似ができない。また、曲率半径法を使用した上瞼の形状変化による開閉眼判定処理で求めている曲率半径の精度が落ち、開眼と判定されることがある。これに対し、3点法を使用した上瞼の形状変化による開閉眼判定処理の判定処理がシンプルであり、ノイズには強く正しい判定を行うことができる。したがって、開閉眼総合判定部5では、相互に関連する画像特徴量を演算対象としている場合は、判定結果の論理和を取ることで閉眼との総合判定結果を得る。
【0068】
開閉眼を判定する各手法は、これまで説明してきたような不利点がある反面、利点も存在し、これらの判定処理を有効に機能するように組み合わせることで、総合的な開閉眼判定精度を向上させることができる。
【0069】
すなわち、開閉眼総合判定部5では、各開閉眼判定処理に対象がそれぞれ関連しない画像の特徴量を演算対象としている場合に限定して、各開閉眼判定処理の判定結果の論理積を演算して、総合判定結果を得る。具体的には、開閉眼総合判定部5は、眼の縦幅による開閉眼判定処理での判定結果と、上瞼のピーク点と眉との間隔による開閉眼判定処理での判定結果と、上瞼の形状変化による開閉眼判定処理での判定結果との間で論理積を取って総合判定結果を得る。また、開閉眼総合判定部5では、3点法を使用した上瞼の形状変化による開閉眼判定処理での判定結果と、曲率半径法を使用した上瞼の形状変化による開閉眼判定処理での判定結果との間では、双方の判定結果の論理和を取る。
【0070】
[実施形態の効果]
以上詳細に説明したように、開閉眼判定装置によれば、複数の開閉眼判定処理の優れている所を有効に活用し、判定結果の論理積をもって総合的な開閉眼判定を行うようにすることで、多様な光環境の違いを許容した精度の高い開閉眼判定が実現できる。具体的には、運転者の顔の一部が影となっていたり、顔の一部に直射日光が当たっているような場合、運転者の表情が変化した場合であっても、各状態に応じて各開閉眼判定処理の判定結果を用いて、総合判定処理を行うことができる。
【0071】
また、この開閉眼判定装置によれば、各々が相互に関連しない画像特徴量を演算対象とした複数の判定結果について論理積をとって総合判定処理を行うので、精度の高い総合判定結果を得ることができる。
【0072】
更に、この開閉眼判定装置によれば、各々が相互に関連する画像特徴量を演算対象とした複数の判定結果について論理和をとって総合判定処理を行うので、画像条件が良い場合の総合判定結果の精度を更に向上させると共に、画像条件が悪い場合に総合判定処理を不能とせずに精度の高い開閉眼判定を行うことができる。
【0073】
更にまた、この開閉眼判定装置によれば、例えば眼の縦幅による開閉眼判定処理において、各開閉眼判定処理の基準値を単独で判定する場合に比べて緩和して設定することによって、撮影対象となる人が眠気を催して眼を閉じたのか、微笑んで眼を細めたのか、眩しくて眼を細めたのかなど、各々の判定手法において厳しい判定基準をもって判定する必要がなくなるので、精度の高い総合判定処理を行うことができる。
【0074】
更にまた、この開閉眼判定装置によれば、前記複数の眼の開閉状態判定手段の一つを、画像特徴量の演算対象を眼の縦幅としているので、眼の一部に太陽の直射光が当たるような光環境条件においても精度の高い開閉眼判定を行うことができる。
【0075】
更にまた、この開閉眼判定装置によれば、開閉状態判定部4にて行う開閉眼判定処理の一つを、画像特徴量の演算対象を上瞼のピーク点と眉の間隔としているので、撮影対象者が眠くて眼を細めている状況と、微笑んで眼を細めている状況や眩しくて眼を細めている状況を区別した開閉眼判定処理を行うことができる。
【0076】
更にまた、この開閉眼判定装置によれば、開閉状態判定部4にて行う開閉眼判定処理の一つを、画像特徴量の演算対象を上瞼の形状としているので、撮影画像が暗い場合や夜間の近赤外光環境下で、眼のコントラストが低い場合においても精度の高い開閉眼判定処理を行うことができる。
【0077】
更にまた、この開閉眼判定装置によれば、開閉状態判定部4にて行う開閉眼判定処理の一つを、画像特徴量の演算対象を上瞼の形状とし、当該形状を濃度変化で求められる目頭と目尻の両端点を結ぶ直線に対する上瞼のピーク点との垂線距離を求めるとしているので、顔画像11が暗い場合や夜間の近赤外光環境下で、眼のコントラストが低い状態で且つ、個人差に対するロバスト性を更に向上させた状態で精度が高い開閉眼判定処理を行うことができる。
【0078】
更にまた、この開閉眼判定装置によれば、開閉状態判定部4にて行う開閉眼判定処理の一つを、画像特徴量の演算対象を上瞼の形状とし、当該形状を上瞼エッジ抽出点を対象として二次曲線の近似式の曲率半径の大きさで求めるようにしているので、顔画像11が暗い場合や夜間の近赤外光環境下で、眼のコントラストが低い状態であっても精度が高い開閉眼判定処理を行うことができる。
【0079】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図1】本発明を適用した開閉眼判定装置の機能的な構成を示すブロック図である。
【図2】本発明を適用した開閉眼判定装置により運転者の眼の開閉状態を判定する開閉眼判定結果生成処理を示すフローチャートである。
【図3】顔画像の抽出点を求める処理を説明するための図である。
【図4】顔画像から求めた抽出点を示す図である。
【図5】抽出点から連続データを求める処理を説明するための図である。
【図6】各連続データから顔の各部に相当する各座標値を求める処理を説明するための図である。
【図7】眼追跡部により追跡領域を設定して眼画像及び中心座標を追跡する処理を説明するための図である。
【図8】眼の縦幅による開閉眼判定処理において、開眼時(a)と閉眼時(b)との開度値の変化を説明するための図である。
【図9】顔画像から追跡領域を切り出し(a)、追跡領域内に影が存在することで(b)、眼の縦幅が変化すること(c)を説明するための図である。
【図10】前方を注視している状態(a)と、微笑んだ状態(b)との眼の縦幅の変化について説明するための図である。
【図11】上瞼のピーク点と眉の間隔による開閉眼判定処理において、開眼時と閉眼時との変化を説明するための図である。
【図12】ある程度の緊張感を以て運転している場合に上瞼と眉との間隔(a)と、運転者の緊張感が低くなって顔面の筋肉が緩み眉の位置が上がったときの上瞼と眉との間隔(b)とについて説明するための図である。
【図13】3点法を使用した上瞼の形状変化による開閉眼判定処理において、開眼時(a)と閉眼時(b)との変化を説明するための図である。
【図14】曲率半径法を使用した上瞼の形状変化による開閉眼判定処理において、開眼時(a)と閉眼時(b)との変化を説明するための図である。
【図15】平常時の眼画像(a)、目頭部分が白飛びした場合の眼画像(b)、目尻部分が白飛びした場合の眼画像(c)を示す図である。
【図16】開閉眼総合判定部にて使用する開閉眼総合判定テーブルを示す図である。
【図17】眼画像の一部が白飛びした場合における眼の縦幅による開閉眼判定処理を説明するための図である。
【図18】上瞼のピーク点と眉との間隔による開閉眼判定処理において、微笑んだり眩しかったりして眼を細めている状態(a)と、眠くて眼を閉じている状態(b)とを区別することを説明するための図である。
【図19】上瞼の形状変化による開閉眼判定処理において、閉眼時(a)や開眼時(b)に示す画像を使用して3点法や曲率半径法を使用した開閉眼判定をすることを説明するための図である。
【符号の説明】
1 画像撮影部
2 眼位置検出部
3 眼追跡部
4 開閉状態判定部
5 開閉眼総合判定部
11 顔画像
12 連続データ
13,14,15 ゾーン
16 座標値
17 追跡領域
18,23 眼画像
19 中心座標
22 エッジ抽出点
Claims (4)
- 顔を撮像して得た画像データを処理して眼の開閉状態を判定する開閉眼判定装置において、
顔を撮影して前記画像データを生成する画像撮影手段と、
上記画像撮影手段にて生成された画像データの全体から、眼の位置を検出する眼位置検出手段と、
前記眼位置検出手段により検出された眼の位置を基準として、眼の追跡領域となる眼を含む所定領域を設定し、眼を追跡する眼追跡手段と、
前記眼追跡手段により追跡している眼を対象として、少なくとも二つ以上の手法を用いて、眼の開閉状態を示す判定結果を複数生成する開閉状態判定手段と、
前記開閉状態判定手段による複数の判定結果を用いて、総合的な開閉判定を行う開閉眼総合判定手段とを備え、
前記開閉眼総合判定手段は、
上瞼の形状を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果は、上瞼の形状を表す画像特徴量を演算対象として異なる手法で生成した眼の開閉状態を示す各判定結果の間で、何れかの判定結果が閉状態である場合には、上瞼の形状に基づく眼の開閉状態を示す判定結果を閉状態とし、
眼の縦幅を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果と、上瞼のピーク点と眉との間隔を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果と、前記上瞼の形状に基づく眼の開閉状態を示す判定結果との間で、全ての判定結果が閉状態である場合には総合的な開閉判定として閉状態であるとすること
を特徴とする開閉眼判定装置。 - 前記開閉眼総合判定手段は、前記開閉状態判定手段により判定結果を生成する各手法にて判定結果を生成するに際しての判定基準値を、前記各手法にて単独で判定結果を生成する場合の判定基準値と比較して閉眼と判定しやすくするように設定することを特徴とする請求項1に記載の開閉眼判定装置。
- 前記開閉状態判定手段は、前記上瞼の形状に基づく判定結果を生成する手法として、濃度変化に基づく目頭と目尻の両端点を結ぶ直線に対する上瞼のピーク点との垂線距離に基づいて判定結果を生成する処理をすることを特徴とする請求項1に記載の開閉眼判定装置。
- 前記開閉状態判定手段は、前記上瞼の形状に基づく判定結果を生成する手法として、上瞼のエッジを抽出して、当該抽出点を対象として二次曲線の近似式を演算し上瞼の曲率半径の大きさに基づいて判定結果を生成する処理をすることを特徴とする請求項1に記載の開閉眼判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002362638A JP4082203B2 (ja) | 2002-12-13 | 2002-12-13 | 開閉眼判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002362638A JP4082203B2 (ja) | 2002-12-13 | 2002-12-13 | 開閉眼判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004192551A JP2004192551A (ja) | 2004-07-08 |
JP4082203B2 true JP4082203B2 (ja) | 2008-04-30 |
Family
ID=32761035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002362638A Expired - Fee Related JP4082203B2 (ja) | 2002-12-13 | 2002-12-13 | 開閉眼判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4082203B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4725096B2 (ja) * | 2004-12-21 | 2011-07-13 | 日産自動車株式会社 | 覚醒度判断装置 |
JP4742921B2 (ja) * | 2006-03-13 | 2011-08-10 | 日産自動車株式会社 | 覚醒度推定装置 |
JP4710679B2 (ja) * | 2006-03-23 | 2011-06-29 | 日産自動車株式会社 | 開閉眼判定方法及びその装置 |
JP4375420B2 (ja) | 2007-03-26 | 2009-12-02 | 株式会社デンソー | 眠気警報装置、及びプログラム |
JP5169139B2 (ja) * | 2007-10-25 | 2013-03-27 | 株式会社ニコン | カメラ、および画像記録プログラム |
JP5055166B2 (ja) * | 2008-02-29 | 2012-10-24 | キヤノン株式会社 | 眼の開閉度判定装置、方法及びプログラム、撮像装置 |
JP5296458B2 (ja) * | 2008-08-27 | 2013-09-25 | 安川情報システム株式会社 | 瞼開度検出装置、瞼開度検出方法および瞼開度検出プログラム |
JP5163440B2 (ja) * | 2008-11-19 | 2013-03-13 | 株式会社デンソー | 眠気判定装置、プログラム |
JP5003705B2 (ja) * | 2009-03-23 | 2012-08-15 | 株式会社豊田中央研究所 | 開閉眼状態判定装置、前横向き状態判定装置、及びプログラム |
JP5349350B2 (ja) * | 2010-01-26 | 2013-11-20 | トヨタ自動車株式会社 | 開眼度判定装置及び開眼度判定方法 |
JP5627511B2 (ja) * | 2011-03-03 | 2014-11-19 | アイシン精機株式会社 | 状態推定装置、状態推定方法及びプログラム |
CN105701445A (zh) * | 2014-12-15 | 2016-06-22 | 爱信精机株式会社 | 判定装置及判定方法 |
TWI746066B (zh) * | 2020-07-20 | 2021-11-11 | 陳皓雲 | 以近接感測器檢測眨眼之方法及系統 |
-
2002
- 2002-12-13 JP JP2002362638A patent/JP4082203B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004192551A (ja) | 2004-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
US8435188B2 (en) | Eye opening detection system and method of detecting eye opening | |
US8102417B2 (en) | Eye closure recognition system and method | |
EP1589485B1 (en) | Object tracking and eye state identification method | |
JP4845698B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
US10311583B2 (en) | Eye motion detection method, program, program storage medium, and eye motion detection device | |
JP4082203B2 (ja) | 開閉眼判定装置 | |
JPH0944685A (ja) | 顔画像処理装置 | |
Komogortsev et al. | Multimodal ocular biometrics approach: A feasibility study | |
JP2003150942A (ja) | 目位置追跡方法 | |
JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
CN111860394A (zh) | 一种基于姿态估计和动作检测的动作活体识别方法 | |
JP4107087B2 (ja) | 開閉眼判定装置 | |
JP2004192552A (ja) | 開閉眼判定装置 | |
JP4781292B2 (ja) | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム | |
JP4996943B2 (ja) | 顔特徴点検出装置、顔特徴点検出方法及びプログラム | |
EP3920525B1 (en) | Video processing device, video processing method and video processing program | |
CN112883758B (zh) | 一种活体检测方法、装置 | |
JP2005165983A (ja) | 人物顔のあご検出方法及びあご検出システム並びにあご検出プログラム | |
Dasgupta et al. | An improved algorithm for eye corner detection | |
Iskandar et al. | Developing Shooter Game Interaction using Eye Movement Glasses | |
JP3500891B2 (ja) | 居眠り状態検出装置 | |
Horak et al. | Eyes detection and tracking for monitoring driver vigilance | |
KR101788070B1 (ko) | 코 영역 검출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080204 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140222 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |