JP4103495B2 - 顔の特徴量検出装置 - Google Patents
顔の特徴量検出装置 Download PDFInfo
- Publication number
- JP4103495B2 JP4103495B2 JP2002240624A JP2002240624A JP4103495B2 JP 4103495 B2 JP4103495 B2 JP 4103495B2 JP 2002240624 A JP2002240624 A JP 2002240624A JP 2002240624 A JP2002240624 A JP 2002240624A JP 4103495 B2 JP4103495 B2 JP 4103495B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- area
- detected
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、例えば車両の運転者が眼鏡をかけているかどうか等の、顔の状態を検出する顔の特徴量検出装置に関する。
【0002】
【従来の技術】
顔の特徴量を検出する技術の従来例として、例えば、特開2000−69139号公報(以下、従来例という)に記載された「目位置及び顔位置検出装置」が知られている。該従来例では、画像の横方向の濃度ヒストグラムに基づいて横エッジを見つけ、その位置関係から眼鏡フレームが存在するかどうかの判断を行う内容について記載されている。
【0003】
【発明が解決しようとする課題】
しかしながら、上述した従来例では、濃度ヒストグラムから横エッジを見つける方式を採用しており、眼鏡の形状は千差万別であり、最近ではフレームレスの眼鏡なども存在するので、必ずしも濃度ヒストグラムで横エッジ検出できるとは限らず、眼鏡を検出することが容易でない問題があった。
【0004】
【課題を解決するための手段】
上記目的を達成するため、本発明は、検出対象者の顔を撮像する顔画像撮像手段と、顔画像撮像手段によって撮像された顔画像中から、当該検出対象者の顔領域を検出する顔領域検出手段と、前記顔領域検出手段によって検出された顔領域内に存在する閉塞領域を検出する閉塞領域検出手段と、前記顔領域の横幅を検出すると共に、前記閉塞領域検出手段にて前記顔領域内に閉塞領域を検出した場合にこの閉塞領域の横幅を検出し、前記閉塞領域の横幅が、前記顔領域の横幅の40〜60%である場合に、前記検出対象者がレンズの周囲がフレームで覆われた眼鏡をかけているものと判断することを特徴とする。
【0005】
【発明の効果】
本発明の顔の特徴量検出装置では、顔画像撮像手段にて撮像された画像から、顔領域を抽出し、且つ、抽出された顔画像中に、閉塞領域が存在するかどうかを判断している。そして、閉塞領域が存在する場合には、これを眼鏡のフレームであると判断し、この対象者は眼鏡をかけているものと判断する。
【0006】
従って、従来方式と比較し、簡単な構成で、且つ高精度に眼鏡をかけているかどうかを判定することができるようになる。
【0007】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0008】
<第1の実施形態>
[システムブロック図]
図1は、本発明を適用した顔の特徴量検出装置の、第1の実施形態の構成を示すブロック図である。同図に示すように、該顔の特徴量検出装置は、顔画像撮像手段CL1と、顔領域検出手段CL2と、閉塞領域検出手段CL3と、を備えている。
【0009】
顔画像撮像手段CL1は、検出対象者(例えば、車両の運転者)の顔を撮像して顔画像データを出力する。
【0010】
顔領域検出手段CL2は、差分画像生成手段と、縦輪郭線検出手段と、耳位置検出手段とを具備しており、顔画像撮像手段CL1から出力された顔画像データを処理して、画像内で顔が移っている領域を検出する。
【0011】
閉塞領域検出手段CL3は、顔領域検出手段CL2で検出された顔領域から、閉じた領域を検出し、その領域が眼鏡か否かを判断する。
【0012】
この装置は、自動車、鉄道車両等が眼鏡をかけているか否かの判断に用いることができるものであるが、以下に示す全ての実施形態で、自動車の運転手に適用した場合で説明する。
【0013】
[機器の配置]
図2は、本発明の機器の配置図である。顔画像撮像手段CL1として、TVカメラ1が、自動車のインストルメント上で検出対象者である運転者を略正面下側(左右方向の略正面で、水平位置よりも下側)から撮像できる位置に設置され、運転者の顔部分を撮影する。
【0014】
TVカメラ1を、検出対象者の略正面下側から撮像できるように設置するのは、検出対象者の顔の左右の動きを、左右どちらについても同等に捕捉し、且つ、顔の構造物の状態を正確に捉えるためである。
【0015】
例えば、略正面下側以外の場所でルームミラーの位置にカメラを設置した場合等は、顔の左右の動きについては検出対象者の左向きの動きに対しては敏感に捉えることができるが、右向きの動きに対しては、正確に捕捉することができない。また、顔の構造物の状態についても、上瞼の形状がわからないため眼の開閉眼の状態が正確に捕捉できないことや、鼻の穴が映らないなどといった不具合が生じる。
【0016】
TVカメラ1の入力画像は、本実施形態では、例えば横方向(X軸方向)640画素、縦方向(Y軸方向)480画素からなる。前記TVカメラ1で撮像された入力画像は、インストルメント裏側等、車体内部に設置されたマイクロコンピュータ2に画像データとして入力される。
【0017】
マイクロコンピュータ2には、図1に示した顔領域検出手段CL2と、閉塞領域検出手段CL3とがプログラミングされている。また、該マイクロコンピュータ2は、後述するメモリMa、Mb、Mc、及びMdを有している。
【0018】
[システム全体の処理]
次に、システムの処理状況について説明する。図3は、システムの全体の処理の流れを示すフローチャートである。まず、処理が開始されると、顔画像の撮像処理ステップS1(以下、「ステップS」は単に「S」と表す)で、TVカメラ1で検出対象者の顔画像を撮像し、マイクロコンピュータ2に画像データとして入力する。
【0019】
S2の、顔領域検出処理では、顔画像の撮像処理S1で撮像された画像から顔領域を検出する。
【0020】
S3では、S2の顔領域検出処理の検出結果をもとに、顔領域が検出できたかどうかを判断する。顔領域が検出できた場合は(S3でYES)、S4の、閉塞領域検出処理へ処理を進め、顔領域が検出できない場合は(S3でNO)、S1の顔画像の撮像処理へ処理を戻し、顔領域が検出できるまで、S2の顔領域検出処理を繰り返す。
【0021】
S4の閉塞領域検出処理では、顔領域検出処理S2で検出された顔領域から閉塞領域を検出する。
【0022】
S5では、S4の閉塞領域検出処理の検出結果をもとに、S2の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。S2の顔領域検出処理で検出された顔領域内に閉塞領域が検出できた場合は(S5でYES)、S6で眼鏡をかけていると判断し、S2の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は(S5でNO)、S7で眼鏡をかけていないと判断して処理を終了する。
【0023】
[顔領域検出処理]
車両などの乗物はそれが動いているときは微小な振動が発生している。その中に存在する乗員も、その振動の影響を受けるわけであるが、乗員は座っているシートや乗員自身の肉体のバネ系が乗物との間に入るため乗員と乗物の振動周波数は若干違っている。
【0024】
そのため、乗物の中に固定したカメラで乗員の顔を、ビデオレイト程度のサンプリングタイムで動画像を時系列的にサンプリングし、その時間差分画像(時間的に近接した画像の差分値)を作成すると、乗員の顔が浮かび上がってくる。本実施形態ではこの特性を利用して顔領域の検出および閉塞領域の検出を行う。
【0025】
S2の、顔領域検出処理については、差分画像の作成方法について単純差分で行う方法と、差分画像の時間蓄積を行う方法の2通り、顔領域の検出方法については顔の左右の輪郭線の間を顔領域とする方法と、顔の輪郭線の中から耳を検出して顔の左右の輪郭線の間で、且つ、耳位置より上側を顔領域とする方法の2通り、それぞれの組み合わせで計4通りの方法を提示する。
【0026】
(第1の方法)
差分画像生成に単純差分を用い、顔領域の検出には顔の左右の輪郭線の間を顔領域とする顔領域検出処理(S2)の第1の方法について、図4、図5に示すフローチャートを参照して説明する。
【0027】
S2の顔領域検出処理が開始されて、S201では、マイクロコンピュータ2が有する画像メモリMaに、S1の顔画像撮像処理によって撮像された、図6に示す如くのオリジナルの顔画像OP(0)がメモリされる。
【0028】
S202では、画像メモリMbに、前フレームのオリジナルの顔画像OP(1)がメモリされているかどうかを判定する。画像メモリMbに前フレームのオリジナル顔画像OP(1)がメモリされている場合(S202でYES)は、S203に処理が移る。
【0029】
画像メモリMbに前フレームのオリジナル顔画像OP(1)がメモリされていない場合(S202でNO)は、図5のS209で顔領域は見つからなかったと判断し、S210でオリジナルの顔画像OP(0)を画像メモリMbに前フレームのオリジナルの顔画像OP(1)としてコピーして、S2の、顔領域検出処理を抜けて次の処理へ移る。
【0030】
図4の、S203では、顔画像OP(0)と顔画像OP(1)から差分画像DPを生成する。これにより、図7に示すような差分画像が生成される。差分画像の作成は公知の技術なのでここでは説明を省略する。
【0031】
S204では、S203で生成された差分画像DPを、画像メモリMcにメモリする。
【0032】
S205では、差分画像DPを二値化して、差分二値化画像BWDPを生成し、生成された差分二値化画像BWDPを画像メモリMdにメモリする。これにより図8に示す如くの、差分二値化画像が生成される。差分画像DPから差分二値化画像BWDPを生成するために必要な二値化閾値は固定値で決めておく方法や差分画像DPから判別分析法などを用いて計算する方法などが考えられるが、いずれの方法も公知の技術なので説明を省略する。
【0033】
S206では、生成された差分二値化画像BWDPから縦方向の線状連結成分を抽出する。
【0034】
画像上の黒画素を連結していくと、図9の曲線L1に示す如くの線状連結成分が抽出される。
【0035】
S207では、差分二値化画像BWDPの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像BWDPの左右部分に線状連結成分抽出された場合(S207でYES)は、S208に処理が移る。
【0036】
差分二値化画像BWDPの左右部分に線状連結成分抽出されなかった場合(S207でNO)は、S209で、顔領域は見つからなかったものと判断し、S210で、オリジナルの顔画像OP(0)を、画像メモリMbに、前フレームのオリジナルの顔画像OP(1)としてコピーして、S2の顔領域検出処理を抜けて、次の処理へ移る。
【0037】
眼鏡の検出を正確に行うためには、検出対象者がTVカメラ1に対して正面を向いていて大きく動いていない場合に行うことが望ましい。検出対象者の顔が大きく動いている場合、それが左右に向くという回転運動であっても、左右に振るといって平行運動であっても、連結成分は線ではなく面として現れるので、線状連結成分としたことで大きな動きを伴っているときは除外される。
【0038】
検出対象者が左右いずれかを振り向いている場合には、左右いずれかの輪郭線が顔の横の輪郭、つまり眼の部分のくぼみや鼻や口の突起など起伏に富んだ輪郭になり安定した縦の線状連結成分にならない。よって、画像の左右に安定した縦方向の線状連結成分が抽出されることが、すなわち眼鏡を検出するのに必要な検出対象者がTVカメラ1に対して正面を向いていて大きく動いていない場合に相当する。
【0039】
S208では、左右の縦方向の線状連結成分の間の領域を顔領域として設定して、S210でオリジナルの顔画像OP(0)を画像メモリMbに、前フレームのオリジナルの顔画像OP(1)としてコピーして、S2の、顔領域検出処理を抜けて、次の処理へ移る。
【0040】
縦方向の線状連結成分は1本だけ抽出される場合だけでなく、図9の曲線L1に示した縦方向の線状連結成分のように複数の縦方向の線状連結成分が抽出されることもある。
【0041】
このような場合は、各複数の縦方向の線状連結成分の平均位置や重心位置などを代表位置として顔領域を設定することができる。図9における代表位置を、直線L2で示し、図10に設定された顔領域を示す。
【0042】
(第2の方法)
差分画像生成に差分画像の時間蓄積を行う方法を用い、顔領域の検出には顔の左右の輪郭線の間を顔領域とするS2の顔領域検出処理の、第2の方法について、図11、及び図5に示すフローチャートを用いて説明する。なお、図11の▲1▼、▲2▼は、図5の▲1▼、▲2▼にそれぞれつながる。
【0043】
S2の顔領域検出処理が開始されて、S201では、画像メモリMaに、S1の顔画像撮像処理によって撮像されたオリジナルの顔画像OP(0)がメモリされる。
【0044】
S202では、画像メモリMbに前フレームのオリジナルの顔画像OP(1)がメモリされているかどうかを判定する。
【0045】
画像メモリMbに前フレームのオリジナル顔画像OP(1)がメモリされている場合(S202でYES)は、S203に処理が移る。画像メモリMbに前フレームのオリジナル顔画像OP(1)がメモリされていない場合(S202でNO)は、図5のS209で顔領域は見つからなかったと判断し、S210で、オリジナルの顔画像OP(0)を画像メモリMbに前フレームのオリジナルの顔画像OP(1)としてコピーして、S2の顔領域検出処理を抜けて、次の処理へ移る。
【0046】
図11の、S203では、顔画像OP(0)と顔画像OP(1)から差分画像DPを生成する。これにより、図7に示した如くの差分画像が生成される。
【0047】
図11のS211からS214の処理では、画像メモリM(i)にメモリされている差分画像を画像メモリM(i+1)に順次コピーしていく。
【0048】
S215では、S203で生成された差分画像DPを画像メモリM(0)にメモリする。
【0049】
S216では、画像メモリM(0)からM(n)の差分画像を加算することによって、蓄積差分画像ADPを生成し、画像メモリMcにメモリする。
【0050】
図5のS205では、蓄積差分画像ADPを二値化して差分二値化画像BWDPを生成し、生成された差分二値化画像BWDPを画像メモリMdにメモリする。
【0051】
S206では、生成された差分二値化画像BWDPから縦方向の線状連結成分を抽出する。
【0052】
画像上の黒画素を連結していくと、図9の曲線L1に示すような線状連結成分が抽出される。
【0053】
S207では、差分二値化画像BWDPの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像BWDPの左右部分に線状連結成分抽出された場合(S207でYES)は、S208に処理が移る。
【0054】
差分二値化画像BWDPの左右部分に線状連結成分抽出されなかった場合(S207でNO)は、S209で、顔領域は見つからなかったと判断し、S210で、オリジナルの顔画像OP(0)を画像メモリMbに前フレームのオリジナルの顔画像OP(1)としてコピーして、S2の顔領域検出処理を抜けて、次の処理へ移る。
【0055】
S208では、左右の縦方向の線状連結成分の間の領域を顔領域として設定して、S210でオリジナルの顔画像OP(0)を画像メモリMbに前フレームのオリジナルの顔画像OP(1)としてコピーして、S2の顔領域検出処理を抜けて、次の処理へ移る。
【0056】
(第3の方法)
差分画像生成に単純差分を用い、顔領域の検出には顔の輪郭線の中から耳を検出して顔の左右の輪郭線の間でかつ耳位置より上側を顔領域とする方法を用いるS2の顔領域検出処理の第3の方法について、図4、及び図12に示すフローチャートを用いて説明する。なお、図4の▲1▼、▲2▼は、図12の▲1▼、▲2▼にそれぞれつながる。
【0057】
S2の、顔領域検出処理が開始されて、図4のS201では、画像メモリMaに顔画像撮像処理S1によって撮像されたオリジナルの顔画像OP(0)がメモリされる。
【0058】
S202では、画像メモリMbに前フレームのオリジナルの顔画像OP(1)がメモリされているかどうかを判定する。画像メモリMbに前フレームのオリジナル顔画像OP(1)がメモリされている場合(S202でYES)は、S203に処理が移る。
【0059】
画像メモリMbに前フレームのオリジナル顔画像OP(1)がメモリされていない場合(S202でNO)は、図12のS209で、顔領域は見つからなかったと判断し、S210で、オリジナルの顔画像OP(0)を画像メモリMbに前フレームのオリジナルの顔画像OP(1)としてコピーして、S2の顔領域検出処理を抜けて、次の処理へ移る。
【0060】
S203では、顔画像OP(0)と顔画像OP(1)から差分画像DPを生成する。これにより、図7に示した如くの差分画像が生成される。差分画像の作成は公知の技術なのでここでは説明を省略する。
【0061】
S204では、S203で生成された差分画像DPを画像メモリMcにメモリする。
【0062】
図12のS205では、差分画像DPを二値化して差分二値化画像BWDPを生成し、生成された差分二値化画像BWDPを画像メモリMdにメモリする。
【0063】
S206では、生成された差分二値化画像BWDPから縦方向の線状連結成分を抽出する。
【0064】
S207では、差分二値化画像BWDPの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像BWDPの左右部分に線状連結成分抽出された場合(S207でYES)は、S217に処理が移る。差分二値化画像BWDPの左右部分に線状連結成分抽出されなかった場合(S207でNO)は、S209で、顔領域は見つからなかったと判断し、S210で、オリジナルの顔画像OP(0)を画像メモリMbに前フレームのオリジナルの顔画像OP(1)としてコピーして、S2の顔領域検出処理を抜けて、次の処理へ移る。S217では、画像上の耳位置を検出する。
【0065】
本実施形態のように、検出対象者の顔を略正面下側より撮像した画像においては検出対象者略正面を見ている状況では、耳が顔の輪郭の最外部分に位置することになる。
【0066】
よって、S206で、抽出された縦方向の線状連結成分の最も外側に抽出できたものを、耳の輪郭線と判断することができる。本実施形態においては、TVカメラ1が上下方向で顔の正面より下側から撮影しているため、検出対象である眼鏡は耳の上端より上側に出てくるので、左右いずれかの耳の輪郭線の上端部のうち上側にあるものを耳位置とする。これにより、図13の直線L3に示されるような位置を、耳位置とすることができる。
【0067】
S218では、図14に示すような左右の縦方向の線状連結成分の間の領域でかつ耳位置よりも上側の領域を顔領域として設定して、S210で、オリジナルの顔画像OP(0)を画像メモリMbに前フレームのオリジナルの顔画像OP(1)としてコピーして、S2の顔領域検出処理を抜けて、次の処理へ移る。
【0068】
(第4の方法)
差分画像生成に差分画像の時間蓄積を行う方法を用い、顔領域の検出には顔の輪郭線の中から耳を検出して顔の左右の輪郭線の間で、かつ耳位置より上側を顔領域とする方法を用いる、S2の顔領域検出処理の第4の方法について、図11、及び図12に示すフローチャートを用いて説明する。なお、図11の▲1▼、▲2▼は、図12の▲1▼、▲2▼にそれぞれつながる。
【0069】
S2の顔領域検出処理が開始されて、図11のS201では、画像メモリMaにS1の顔画像撮像処理によって撮像されたオリジナルの顔画像OP(0)がメモリされる。
【0070】
S202では、画像メモリMbに前フレームのオリジナルの顔画像OP(1)がメモリされているかどうかを判定する。画像メモリMbに、前フレームのオリジナル顔画像OP(1)がメモリされている場合(S202でYES)は、S203に処理が移る。
【0071】
画像メモリMbに、前フレームのオリジナル顔画像OP(1)がメモリされていない場合(S202でNO)は、S209で、顔領域は見つからなかったと判断し、図12のS210で、オリジナルの顔画像OP(0)を画像メモリMbに前フレームのオリジナルの顔画像OP(1)としてコピーして、顔領域検出処理S2を抜けて次の処理へ移る。
【0072】
S203では、顔画像OP(0)と顔画像OP(1)から差分画像DPを生成する。これにより、図7に示した如くの差分画像が生成される。
【0073】
S211からS214までの処理で、画像メモリM(i)にメモリされている差分画像を画像メモリM(i+1)に順次コピーしていく。
【0074】
S215では、203で生成された差分画像DPを画像メモリM(0)にメモリする。
【0075】
S216では、画像メモリM(0)からM(n)の差分画像を加算することによって蓄積差分画像ADPを生成し、画像メモリMcにメモリする。
【0076】
図12のS205では、蓄積差分画像ADPを二値化して差分二値化画像BWDPを生成し、生成された差分二値化画像BWDPを画像メモリMdにメモリする。
【0077】
S206では、生成された差分二値化画像BWDPから縦方向の線状連結成分を抽出する。
【0078】
S207では、差分二値化画像BWDPの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像BWDPの左右部分に線状連結成分抽出された場合(S207YES)は、S217に処理が移る。
【0079】
差分二値化画像BWDPの左右部分に線状連結成分抽出されなかった場合(S207でNO)は、S209で、顔領域は見つからなかったと判断し、S210で、オリジナルの顔画像OP(0)を画像メモリMbに前フレームのオリジナルの顔画像OP(1)としてコピーして、S2の顔領域検出処理を抜けて、次の処理へ移る。
【0080】
S217では、画像上の耳位置を検出する。S218では、左右の縦方向の線状連結成分の間の領域でかつ耳位置よりも上側の領域を顔領域として設定して、S210で、オリジナルの顔画像OP(0)を画像メモリMbに前フレームのオリジナルの顔画像OP(1)としてコピーして、S2の顔領域検出処理を抜けて、次の処理へ移る。
【0081】
[閉塞領域検出処理]
次に、図3に示したS4の閉塞領域検出処理について、図15に示すフローチャートを参照しながら説明する。
【0082】
S41では、S2の顔領域検出処理において画像メモリMdにメモリされた差分二値化画像BWDPを読み出してくる。
【0083】
S42では、画像メモリMdから読み出された差分二値化画像BWDPで、S2の顔領域検出処理で検出された顔領域内で縦横方向に連結成分を検出する。
【0084】
S43では、S42で検出された連結成分の中に、閉じた領域を持つ連結成分が存在するかどうかを判定する。
【0085】
S42で検出された連結成分の中に閉じた領域を持つ連結成分が存在する場合(S43でYES)は、S44で、閉塞領域は見つかったと判断し、図3のS4の閉塞領域検出処理を抜けて、次の処理へ移る。S42で検出された連結成分の中に閉じた領域を持つ連結成分が存在しなかった場合(S43でNO)は、S45で、閉塞領域は見つからなかったと判断し、S4の閉塞領域検出処理を抜けて、次の処理へ移る。図16の曲線L4に示しているのが、見つかった閉塞領域である。
【0086】
このようにして、本実施形態に係る顔の特徴量検出装置では、検出対象者を撮像した画像から顔領域を抽出し、更に、この顔領域中に閉塞領域が存在する場合には、この閉塞領域が眼鏡であるものと判断する。従って、対象者が眼鏡をかけているかどうかを高精度に検出することができる。
【0087】
また、TVカメラ1等の顔画像撮像手段を検出対象者の左右方向の略正面に配置することにより、検出対象者の左右の動きを精度良く検出することができる。
【0088】
更に、TVカメラ1等の顔画像撮像手段を、対象者の顔の水平位置よりも下側に設置することにより、顔の構成物の状態を精度良く検出することができる。
【0089】
また、TVカメラ1で時系列的に撮像される画像の差分を求め、この差分画像から顔画像領域を求め、この顔画像領域に閉塞領域が存在するかどうかにより、眼鏡をかけているかどうかを判断するので、高精度な判断ができる。
【0090】
更に、TVカメラ1で撮像された画像から、顔の縦輪郭線を求め、該縦輪郭線に基づいて、顔領域を検出することにより、精度の高い顔領域の検出が可能となる。
【0091】
また、時系列的に得られる画像の差分より得られる差分画像について、縦輪郭線を求め、顔領域を検出することにより、より一層精度の高い顔領域の検出が可能となる。
【0092】
更に、TVカメラ1で撮像された画像から、検出対象者の耳の位置を検出し、この耳の位置よりも上側の領域を、顔領域として設定することにより、眼鏡の存在をより高精度に検出することができる。
【0093】
また、TVカメラ1で撮像された時系列画像の、時間的に近接する2枚の画像フレームから差分を求めることにより、顔領域を高精度に検出することができる。
【0094】
更に、2枚の原画像から生成された差分画像の画素濃度を蓄積することにより、より精度の高い顔領域の検出が可能となる。
【0095】
<第2の実施形態>
次に、本発明に係る顔の特徴量検出装置の、第2の実施形態について説明する。前述した第1実施形態例では、閉塞領域が見つかったことが、すなわち眼鏡をかけていることと判断している。処理をする原画像の画像サイズが小さければ検出される閉塞領域も眼鏡のフレームのように大きいものだけであるが、大きなサイズの画像を処理していくと鼻の穴や眼の瞳部分も閉塞領域として出てくる。
【0096】
第2の実施形態では、眼鏡以外の部分が閉塞領域として検出されてきたときに閉塞領域が眼鏡であるかどうかの判定を行う。
【0097】
[システムブロック図]
第2の実施形態に係るシステムブロック図は、第1の実施形態と同一であるので省略する。
【0098】
[機器の配置]
第2の実施形態に係る機器の配置、構成は、第1の実施形態と同一であるので省略する。
【0099】
[システム全体の処理]
次に、システムの処理状況について説明する。図17、図18は、システムの全体の処理の流れを示すフローチャートである。まず、処理が開始されると、S1の顔画像の撮像処理で、TVカメラ1で検出対象者の顔画像を撮像し、マイクロコンピュータ2に画像データとして入力される。
【0100】
S2の顔領域検出処理では、顔画像の撮像処理S1で撮像された画像から顔領域を検出する。
【0101】
S3では、顔領域検出処理S2の検出結果をもとに、顔領域が検出できたかどうかを判断する。顔領域が検出できた場合は(S3でYES)、閉塞領域検出処理S4へ処理を進め、顔領域が検出できない場合は(S3でNO)、顔画像の撮像処理S1へ処理を戻し、顔領域が検出できるまでS2の顔領域検出処理を繰り返す。
【0102】
S4の閉塞領域検出処理では、S2の顔領域検出処理で検出された顔領域から、閉塞領域を検出する。
【0103】
S5では、S4の閉塞領域検出処理の検出結果をもとに、S2の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。顔領域検出処理S2で検出された顔領域内に閉塞領域が検出できた場合は(S5でYES)、図18のS8に処理を移す。S2の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は(S5でNO)、S7で、眼鏡をかけていないと判断して、処理を終了する。
【0104】
S8では、顔領域の横幅を算出する。S9では、検出された閉塞領域のうちの1つについてその横幅を算出する。S10では、S8で算出された顔領域の横幅と、S9で算出された閉塞領域の横幅の比較を行う。
【0105】
S11では、S10で顔領域の横幅と閉塞領域の横幅を比較した結果、閉塞領域の横幅が顔領域の横幅の概ね半分であるかどうかを判断する。閉塞領域の横幅が顔領域の横幅の概ね半分である場合は(S11でYES)、S12に処理を移す。閉塞領域の横幅が顔領域の横幅の概ね半分でない場合は(S11でNO)、S16に処理を移す。
【0106】
ここで、閉塞領域の横幅が顔領域の横幅の概ね半分というのは、顔領域の横幅に対して閉塞領域の横幅が40%から60%程度である。
【0107】
S12では、S11で顔領域の概ね半分の横幅を持つ閉塞領域の隣接位置に他の閉塞領域の検出処理を行う。
【0108】
S13では、S12で隣接位置に他の閉塞領域を検出処理を行った結果、隣接位置に他の閉塞領域があるかどうかの判断を行う。隣接位置に他の閉塞領域がある場合は(S13でYES)、S14に処理を移す。隣接位置に他の閉塞領域がない場合は(S13でNO)、S16に処理を移す。
【0109】
S14では、S4で検出され、判断対象となっている閉塞領域と、S12で検出された隣接位置に存在する閉塞領域の大きさ(横幅、縦幅、面積などをいづれか、或いはこれらの組み合わせによる複合パラメータ)の比較処理を行う。
【0110】
S15では、S14で2つの閉塞領域の比較処理を行った結果、2つの閉塞領域の大きさが同等であるかどうかの判断を行う。2つの閉塞領域の大きさが同等である場合は(S15でYES)、S6で眼鏡をかけていると判断して、処理を終了する。2つの閉塞領域の大きさが同等でない場合は(S15でNO)、S16に処理を移す。
【0111】
S16では、現在判断対象となっている閉塞領域のほかに、他の閉塞領域があるかどうかを判断する。現在判断対象となっている閉塞領域のほかに、他の閉塞領域がある場合は(S16でYES)、判断対象の閉塞領域を変更して、S9に処理を戻す。現在判断対象となっている閉塞領域のほかに、他の閉塞領域がない場合は(S16でNO)、S7で眼鏡をかけていないと判断して、処理を終了する。
【0112】
図19、20を用いて更に説明すると、S4の閉塞領域検出処理の結果、図19のように、曲線L5に示した如くの閉塞領域が検出できたとする。
【0113】
図20のように、閉塞領域にラベル番号を付し、ラベル番号の順に閉塞領域の検証を行っていく。ラベル▲1▼、ラベル▲2▼の閉塞領域の横幅l▲1▼、l▲2▼はL6で記された顔領域の横幅lfの半分に満たない小さなものであることがわかる。
【0114】
続いて、ラベル▲3▼の閉塞領域を検証すると、ラベル▲3▼の閉塞領域の横幅l▲3▼は、顔領域の横幅lfの40%程度の大きさで、概ね半分といえる。次いで、ラベル▲3▼の閉塞領域の隣接位置には、ラベル▲4▼の閉塞領域が存在している。このラベル▲4▼閉塞領域の横幅l▲4▼とラベル▲3▼の閉塞領域の横幅l▲3▼はほぼ等しいので、同等であるといえるので、眼鏡をかけていると判断される。
【0115】
[顔領域検出処理]
第1の実施形態と同一であるので、その説明を省略する。
【0116】
[閉塞領域検出処理]
第1の実施形態と同一であるので、その説明を省略する。
【0117】
このようにして、第2の実施形態に係る顔の特徴量検出装置では、前述した第1の実施形態で示した効果に加え、更に、閉塞領域の横幅が顔の幅の略半分(40〜60%の範囲)である場合に、これを眼鏡であると判断するので、他の顔の構成要素との誤検出を防止することができる。
【0118】
また、閉塞領域が横方向に2つ並んでいる場合に、これを眼鏡であると判断することにより、眼鏡の検出精度を向上させることができる。
【0119】
更に、閉塞領域が横方向に2つ並び、且つ、この2つの大きさが略同一である場合に、これを眼鏡であると判断することにより、より検出精度を向上させることができる。
【0120】
<第3の実施形態>
次に、本発明に係る顔の特徴量検出装置の、第3の実施形態について説明する。該第3の実施形態では、単に検出対象者が眼鏡をかけている、かけていないという判断だけではなく、眼鏡をかけていることを検出した後に、その眼鏡が眼の識別ができないようなサングラスなのか、それとも通常の眼鏡なのかを判断したり、通常の眼鏡であってもレンズ表面に映り込みがあるなどして眼が識別できる状態か否かを、リアルタイムに判別していくものである。
【0121】
[システムブロック図]
図21は、本発明を適用した顔の特徴量検出装置の、第3の実施形態の構成を示すブロック図である。同図に示すように、該顔の特徴量検出装置は、顔画像撮像手段CL1と、顔領域検出手段CL2と、閉塞領域検出手段CL3と、眼検出手段CL4と備えている。
【0122】
顔画像撮像手段CL1は、検出対象者の顔を撮像して顔画像データを出力する。
【0123】
顔領域検出手段CL2は、顔画像撮像手段CL1から出力された顔画像データを処理して画像内で顔が移っている領域を検出する。
【0124】
閉塞領域検出手段CL3は、顔領域検出手段CL2で検出された顔領域から閉じた領域を検出し、その領域が眼鏡か否かを判断する。
【0125】
眼検出手段CL4は、閉塞領域検出手段CL3で検出され眼鏡だと判断された閉塞領域内で眼を検出を行い、かけている眼鏡の種類や状態を検出する。
【0126】
[機器の配置]
本発明の機器の配置、顔画像撮像手段CL1としてTVカメラ1は第1実施例と同じであるので省略する。マイクロコンピュータ2には、顔領域検出手段CL2と、閉塞領域検出手段CL3と眼検出手段CL4がプログラミングされている。
【0127】
[システム全体の処理]
図22、図23、図24、及び図18は、システムの全体の処理の流れを示している。
【0128】
まず、処理が開始されると、図22のS17で、終了判定が行われる。終了判定は車両のエンジンが切られたことや着座位置から検出対象者がいなくなったことをトリガーにしてプログラムの終了が判定される。
【0129】
S18では、S17でプログラム終了の判定が出された場合は(S18でYES)、プログラムを終了させる。プログラム終了の判定が出されなかった場合は(S18でNO)、S19に処理を進める。
【0130】
S19では、過去の検出結果から検出対象者がサングラスをかけているかどうかを判断する。
【0131】
検出対象者がサングラスをかけている場合は(S19でYES)、終了判定S19へ処理を戻し、終了判定がでるまで終了判定処理S17を繰り返す。顔領域が検出できない場合は(S19でNO)、S1の顔画像の撮像処理へ処理を進める。
【0132】
S1の顔画像の撮像処理で、TVカメラ1で検出対象者の顔画像を撮像し、マイクロコンピュータ2に画像データとして入力される。
【0133】
S2の顔領域検出処理では、S1の顔画像の撮像処理で撮像された画像から顔領域を検出する。
【0134】
S3では、S2の顔領域検出処理の検出結果をもとに、顔領域が検出できたかどうかを判断する。顔領域が検出できた場合は(S3でYES)、閉塞領域検出処理S4へ処理を進め、顔領域が検出できない場合は(S3でNO)、S1の顔画像の撮像処理へ処理を戻し、顔領域が検出できるまで、S2の顔領域検出処理を繰り返す。
【0135】
S4の閉塞領域検出処理では、S2の顔領域検出処理で検出された顔領域から閉塞領域を検出する。
【0136】
S20では、過去の検出結果から眼鏡検出が未決かどうかを判断する。眼鏡検出が未決の場合は(S20でYES)、図23のS22へ処理を進め、眼鏡検出が未決ではない場合は(S20でNO)、S21へ処理を進める。
【0137】
S21では、過去の検出結果から検出対象者は眼鏡をかけているかどうかを判断する。
【0138】
眼鏡をかけている場合は(S21でYES)、S5へ処理を進め、眼鏡をかけていない場合は(S21でNO)、終了判定S17に処理を戻す。
【0139】
S5では、S4の閉塞領域検出処理の検出結果をもとに、S2の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。S2の顔領域検出処理で検出された顔領域内に閉塞領域が検出できた場合は(S5でYES)、図24のS30に処理を移す。S2の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は(S5でNO)、終了判定S17に処理を戻す。
【0140】
S30では、閉塞領域内で眼の検出処理を行う。ここで、眼の検出処理には、パターンマッチングやテンプレートマッチングなど公知の技術なのでここでは説明を省略する。
【0141】
S31では、S30の結果、閉塞領域内に眼が見つかったかどうかを判定する。閉塞領域内に眼が見つかった場合は(S31でYES)、S32で、かけている眼鏡がサングラスではないと判断し、S33で、その眼鏡のレンズ表面には映り込みがないと判断して、終了判定S17に処理を戻す。閉塞領域内に眼が見つからなかった場合は(S31でNO)、S34へ処理を進める。
【0142】
S34では、サングラス判定は未決かどうかを判定する。サングラス判定が未決の場合は(S34でYES)、S36へ処理を進める。閉塞領域内に眼が見つからなかった場合は(S31でNO)、S35でその眼鏡のレンズ表面には映り込みがあると判断して、終了判定S17に処理を戻す。
【0143】
S36では、サングラスカウンタがインクルードされる。S37では、サングラスカウンタが閾値を超えたかどうかを判定している。
【0144】
サングラスカウンタが閾値を超えた場合は(S37でYES)、S38で検出対象者はサングラスをかけていると判断して、終了判定S17に処理を戻す。サングラスカウンタが閾値を超えていない場合は(S37でNO)、S39で検出対象者がかけている眼鏡がサングラスか通常の眼鏡かどうかの判断がつかず、サングラス検出は未決と判断して、終了判定S17に処理を戻す。
【0145】
通常の眼鏡に映り込みが起こって、眼が検出できない場合は、継続して眼が検出できないということはなく、検出できる状況とできない状況が交互に発生する。しかし、サングラスでは継続して眼が検出できない状況が続く。サングラスカウンタの閾値については、処理時間にして、5〜10秒間に相当する値する。
【0146】
S22では、S4の閉塞領域検出処理の検出結果をもとに、S2の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。S2の顔領域検出処理で検出された顔領域内に閉塞領域が検出できた場合は(S22でYES)、図18のS8に処理を移す。S2の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は(S22でNO)、S26に処理を移す。
【0147】
S8では、顔領域の横幅を算出する。S9では、検出された閉塞領域のうちの1つについてその横幅を算出する。S10では、S8で算出された顔領域の横幅と、S9で算出された閉塞領域の横幅の比較を行う。
【0148】
図18のS11では、S10で顔領域の横幅と閉塞領域の横幅を比較した結果、閉塞領域の横幅が顔領域の横幅の概ね半分であるかどうかを判断する。閉塞領域の横幅が顔領域の横幅の概ね半分である場合は(S11でYES)、S12に処理を移す。閉塞領域の横幅が顔領域の横幅の概ね半分でない場合は(S11でNO)、S16に処理を移す。
【0149】
ここで閉塞領域の横幅が顔領域の横幅の概ね半分というのは顔領域の横幅に対して閉塞領域の横幅が40%から60%程度である。
【0150】
S12では、S11で顔領域の概ね半分の横幅を持つ閉塞領域の隣接位置に他の閉塞領域の検出処理を行う。
【0151】
S13では、S12で隣接位置に他の閉塞領域を検出処理を行った結果、隣接位置に他の閉塞領域があるかどうかの判断を行う。隣接位置に他の閉塞領域がある場合は(S13でYES)、S14に処理を移す。隣接位置に他の閉塞領域がない場合は(S13でNO)、S16に処理を移す。
【0152】
S14では、S4で検出され、判断対象となっている閉塞領域と、S12で検出された隣接位置に存在する閉塞領域の大きさ(横幅、縦幅、面積などの何れか、或いはこれらの組み合わせによる複合パラメータ)の比較処理を行う。
【0153】
S15では、S14で2つの閉塞領域の比較処理を行った結果、2つの閉塞領域の大きさが同等であるかどうかの判断を行う。2つの閉塞領域の大きさが同等である場合は(S15でYES)、図23のS23に処理を移す。2つの閉塞領域の大きさが同等でない場合は(S15でNO)、S16に処理を移す。
【0154】
S16では、現在判断対象となっている閉塞領域のほかに他の閉塞領域があるかどうかを判断する。現在判断対象となっている閉塞領域のほかに他の閉塞領域がある場合は(S16でYES)、判断対象の閉塞領域を変更して、S9に処理を戻す。現在判断対象となっている閉塞領域のほかに他の閉塞領域がない場合は(S16でNO)、S26に処理を移す。
【0155】
S23では、眼鏡ありカウンタがインクルードされる。S24では、眼鏡ありカウンタが閾値を超えたかどうかを判定している。眼鏡ありカウンタが閾値を超えた場合は(S24でYES)、S25で、検出対象者は眼鏡をかけていると判断して、図22の終了判定S17に処理を戻す。眼鏡ありカウンタが閾値を超えていない場合は(S24でNO)、S29で、検出対象者は眼鏡をかけているのかどうかの判断が付かず眼鏡検出は未決と判断して終了判定S17に処理を戻す。
【0156】
S26では、眼鏡なしカウンタがインクルードされる。S27では、眼鏡なしカウンタが閾値を超えたかどうかを判定している。眼鏡なしカウンタが閾値を超えた場合は(S27でYES)、S28で、検出対象者は眼鏡をかけていないと判断して、終了判定S17に処理を戻す。眼鏡カウンタが閾値を超えていない場合は(S27でNO)、S29で検出対象者は眼鏡をかけているのかどうかの判断が付かず眼鏡検出は未決と判断して、終了判定S17に処理を戻す。
【0157】
眼鏡ありカウンタ、眼鏡なしカウンタのそれぞれの閾値については処理時間にして2〜3秒に相当する値とする。
【0158】
[顔領域検出処理]
第1の実施形態と同一であるので、その説明を省略する。
【0159】
[閉塞領域検出処理]
第1の実施形態と同一であるので、その説明を省略する。
【0160】
このようにして、第3の実施形態に係る顔の特徴量検出装置では、前述した第1,第2の実施形態に示した効果に加え、更に、眼検出手段により、閉塞領域内に眼の存在が検出された際には、対象者がかけている眼鏡はサングラスではないものと判断するので、眼鏡の種類をも検出することができる。
【0161】
また、閉塞領域内にて、継続的に眼の存在が検出されない場合には、対象者がかけている眼鏡はサングラスであるものと判断するので、透明の眼鏡か、或いはサングラスであるかの判断を高精度に行うことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る顔の特徴量検出装置の構成を示すブロック図である。
【図2】本発明に係る顔の特徴量検出装置の、各構成要素の配置を示す説明図である。
【図3】第1の実施形態に係る顔の特徴量検出装置の、処理動作を示すフローチャートである。
【図4】顔領域検出処理の処理手順を示すフローチャートである。
【図5】顔領域検出処理の処理手順を示すフローチャートである。
【図6】TVカメラにて撮像される検出対象者の顔画像を示す説明図である。
【図7】図6に示した顔画像より得られる差分画像を示す説明図である。
【図8】図7に示した差分画像を、二値化して得られる画像を示す説明図である。
【図9】二値化画像上にて抽出された、縦方向の線状連結成分と代表位置を示す説明図である。
【図10】検出された顔領域を示す説明図である。
【図11】顔領域検出処理の処理手順を示すフローチャートである。
【図12】顔領域検出処理の処理手順を示すフローチャートである。
【図13】二値化画像上にて抽出された、縦方向の線状連結成分と代表位置、及び耳の位置を示す説明図である。
【図14】検出された顔領域を示す説明図である。
【図15】閉塞領域検出処理の処理手順を示すフローチャートである。
【図16】検出された閉塞領域を示す説明図である。
【図17】第2の実施形態に係る顔の特徴量検出装置の、処理手順を示すフローチャートの、第1の分図である。
【図18】第2の実施形態に係る顔の特徴量検出装置の、処理手順を示すフローチャートの、第2の分図である。
【図19】検出された閉塞領域を示す説明図である。
【図20】閉塞領域と顔領域の横幅を示す説明図である。
【図21】本発明の第3の実施形態に係る顔の特徴量検出装置の構成を示すブロック図である。
【図22】第3の実施形態に係る顔の特徴量検出装置の処理手順を示すフローチャートの、第1の分図である。
【図23】第3の実施形態に係る顔の特徴量検出装置の処理手順を示すフローチャートの、第2の分図である。
【図24】第3の実施形態に係る顔の特徴量検出装置の処理手順を示すフローチャートの、第3の分図である。
【符号の説明】
1 TVカメラ
2 マイクロコンピュータ
CL1 顔画像撮像手段
CL2 顔領域検出手段
CL3 閉塞領域検出手段
CL4 眼検出手段
Claims (13)
- 検出対象者の顔を撮像する顔画像撮像手段と、
顔画像撮像手段によって撮像された顔画像中から、当該検出対象者の顔領域を検出する顔領域検出手段と、
前記顔領域検出手段によって検出された顔領域内に存在する閉塞領域を検出する閉塞領域検出手段と、
前記顔領域の横幅を検出すると共に、前記閉塞領域検出手段にて前記顔領域内に閉塞領域を検出した場合にこの閉塞領域の横幅を検出し、
前記閉塞領域の横幅が、前記顔領域の横幅の40〜60%である場合に、前記検出対象者がレンズの周囲がフレームで覆われた眼鏡をかけているものと判断することを特徴とする顔の特徴量検出装置。 - 前記顔画像撮像手段は、前記検出対象者の顔の、左右方向略正面から撮像することを特徴とする請求項1に記載の顔の特徴量検出装置。
- 前記顔画像撮像手段は、前記検出対象者の顔の上下方向について、水平位置よりも下側の位置より撮像することを特徴とする請求項2に記載の顔の特徴量検出装置。
- 前記閉塞領域検出手段にて、画像上の顔領域内に検出される閉塞領域が、横方向に2つ並んで検出された際に、前記検出対象者が眼鏡をかけているものと判断することを特徴とする請求項1〜請求項3のいずれか1項に記載の顔の特徴量検出装置。
- 前記横方向に2つ並んで検出された閉塞領域の大きさを比較し、大きさが略同一である場合に、前記検出対象者が眼鏡をかけているものと判断することを特徴とする請求項4に記載の顔の特徴量検出装置。
- 前記顔画像撮像手段にて、時系列的に撮像された複数の画像の差分を演算することにより、差分画像を生成する差分画像生成手段を有し、
前記閉塞領域検出手段は、前記差分画像生成手段により生成された画像を画像処理することにより、閉塞領域を検出することを特徴とする請求項1〜請求項5のいずれか1項に記載の顔の特徴量検出装置。 - 前記顔領域検出手段は、前記顔画像撮像手段によって撮像された顔画像の中から、顔の縦輪郭線を検出する縦輪郭線検出手段を備え、
当該縦輪郭線検出手段によって検出された顔の縦輪郭線に挟まれた領域を、顔領域として検出することを特徴とする請求項1に記載の顔の特徴量検出装置。 - 前記顔画像撮像手段にて、時系列的に撮像された複数の画像の差分を演算して、差分画像を生成する差分画像生成手段を有し、
前記縦輪郭線検出手段は、前記差分画像生成手段にて生成された差分画像を画像処理することにより、顔の縦輪郭線を抽出することを特徴とする請求項7に記載の顔の特徴量検出装置。 - 前記顔領域検出手段は、前記顔画像撮像手段によって撮像された顔画像の中から、耳の位置を検出する耳位置検出手段を備え、
前記縦輪郭線検出手段によって検出された顔の縦輪郭線に挟まれた領域のうち、耳位置検出手段にて検出された耳位置よりも上側の領域を、顔領域として検出することを特徴とする請求項7に記載の顔の特徴量検出装置。 - 前記顔画像撮像手段よって撮影された顔画像の中から、検出対象者の眼を検出する眼検出手段を備え、
前記閉塞領域検出手段によって検出された閉塞領域で、且つ、眼鏡であると判断された領域内に、前記眼検出手段にて眼の存在が検出された場合は、当該眼鏡はサングラスではないものと判断することを特徴とする請求項1〜請求項9のいずれか1項に記載の顔の特徴量検出装置。 - 前記閉塞領域検出手段によって検出された閉塞領域で、且つ眼鏡であると判断された領域内に、前記眼検出手段によって継続的に眼の存在が検出されない場合は、当該眼鏡はサングラスであるものと判断することを特徴とする請求項10に記載の顔の特徴量検出装置。
- 前記顔画像撮像手段は、時系列に前記検出対象者の顔画像を動画像として撮像し、前記差分画像生成手段は、時間的に近接した2枚の画像フレームから差分画像を生成することを特徴とする請求項6または請求項8のいずれかに記載の顔の特徴量検出装置。
- 2枚の原画像から生成された差分画像の画素濃度を、時間的に近接した複数枚について蓄積することを特徴とする請求項12に記載の顔の特徴量検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002240624A JP4103495B2 (ja) | 2002-08-21 | 2002-08-21 | 顔の特徴量検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002240624A JP4103495B2 (ja) | 2002-08-21 | 2002-08-21 | 顔の特徴量検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004078749A JP2004078749A (ja) | 2004-03-11 |
JP4103495B2 true JP4103495B2 (ja) | 2008-06-18 |
Family
ID=32023356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002240624A Expired - Fee Related JP4103495B2 (ja) | 2002-08-21 | 2002-08-21 | 顔の特徴量検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4103495B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8988597B2 (en) | 2012-02-24 | 2015-03-24 | Denso Corporation | Imaging control device and program for controlling facial image taking apparatus which radiates infrared light toward the face |
JP7247088B2 (ja) | 2018-03-30 | 2023-03-28 | 株式会社ニチレイフーズ | 食品成型装置及び食品の製造方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4739870B2 (ja) * | 2005-09-05 | 2011-08-03 | アイシン精機株式会社 | サングラス検出装置及び顔中心位置検出装置 |
JP6747493B2 (ja) * | 2018-11-28 | 2020-08-26 | 株式会社デンソー | ドライバ状態判定装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2677010B2 (ja) * | 1990-11-07 | 1997-11-17 | 日産自動車株式会社 | 眼位置検出装置 |
JP2705388B2 (ja) * | 1991-08-30 | 1998-01-28 | 日産自動車株式会社 | 運転者の眼位置検出装置 |
JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
JPH0933217A (ja) * | 1995-07-17 | 1997-02-07 | Nissan Motor Co Ltd | 車両運転者の眼球位置検出装置 |
-
2002
- 2002-08-21 JP JP2002240624A patent/JP4103495B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8988597B2 (en) | 2012-02-24 | 2015-03-24 | Denso Corporation | Imaging control device and program for controlling facial image taking apparatus which radiates infrared light toward the face |
JP7247088B2 (ja) | 2018-03-30 | 2023-03-28 | 株式会社ニチレイフーズ | 食品成型装置及び食品の製造方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2004078749A (ja) | 2004-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7689008B2 (en) | System and method for detecting an eye | |
Ji et al. | Real-time eye, gaze, and face pose tracking for monitoring driver vigilance | |
US7362885B2 (en) | Object tracking and eye state identification method | |
Kang et al. | Real-time image restoration for iris recognition systems | |
US7030909B2 (en) | Automatic photography | |
WO1997021188A1 (en) | Wide field of view/narrow field of view recognition system and method | |
JP4774818B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2010097379A (ja) | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム | |
WO2004086301A2 (en) | System and method for vehicle detection and tracking | |
JP2003015816A (ja) | ステレオカメラを使用した顔・視線認識装置 | |
EP2060993B1 (en) | An awareness detection system and method | |
KR101775874B1 (ko) | 깊이정보 기반의 안면인식 자동차제어방법 | |
JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
Min-Allah et al. | Pupil detection schemes in human eye: a review | |
JP4770218B2 (ja) | 視認行動判定装置 | |
KR101628493B1 (ko) | 안경 착용자의 시선 추적 장치 및 그 방법 | |
JP2003150942A (ja) | 目位置追跡方法 | |
JP2008171108A (ja) | 顔状況判定処理装置および撮像装置 | |
Zhao et al. | Robust eye detection under active infrared illumination | |
JP2001307076A (ja) | 眼の状態検出装置、居眠り検出装置 | |
JP4103495B2 (ja) | 顔の特徴量検出装置 | |
JP2004192552A (ja) | 開閉眼判定装置 | |
JP2004192551A (ja) | 開閉眼判定装置 | |
Krotosky et al. | Real-time stereo-based head detection using size, shape and disparity constraints | |
JP2000142164A (ja) | 眼の状態検出装置及び居眠り運転警報装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080317 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |