JP5035139B2 - 眼画像処理装置 - Google Patents

眼画像処理装置 Download PDF

Info

Publication number
JP5035139B2
JP5035139B2 JP2008166311A JP2008166311A JP5035139B2 JP 5035139 B2 JP5035139 B2 JP 5035139B2 JP 2008166311 A JP2008166311 A JP 2008166311A JP 2008166311 A JP2008166311 A JP 2008166311A JP 5035139 B2 JP5035139 B2 JP 5035139B2
Authority
JP
Japan
Prior art keywords
eye
continuity
likelihood
lateral edge
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008166311A
Other languages
English (en)
Other versions
JP2010009234A (ja
Inventor
文男 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008166311A priority Critical patent/JP5035139B2/ja
Publication of JP2010009234A publication Critical patent/JP2010009234A/ja
Application granted granted Critical
Publication of JP5035139B2 publication Critical patent/JP5035139B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行う眼画像処理装置に関するものである。
従来、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行い運転者の目を検出する技術が知られている(例えば、特許文献1参照)。この特許文献1に記載の技術では、取得された対象者の眼画像からエッジ抽出によって瞼を検出し、開閉眼の判定を行っている。
特開2007−257332号公報 特開2004−341954号公報
しかしながら上記従来技術では、対象者が眼鏡を着用している場合に、眼鏡フレームに起因するエッジを瞼に起因するエッジとして誤検出してしまうおそれがあり、まぶた曲線の検出精度の向上が求められている。
本発明は、このような課題を解決するために成されたものであり、誤検出を防止して、まぶた曲線の検出精度の向上が図られた眼画像処理装置を提供することを目的とする。
本発明による眼画像処理装置は、眼画像を取得する眼画像取得手段と、眼画像に基づいて目頭及び目尻の位置を検出する位置検出手段と、眼画像に基づいて横方向エッジを抽出するエッジ抽出手段と、エッジ抽出手段によって抽出された横方向エッジと位置検出手段によって検出された目頭及び目尻との連続性を評価する連続性評価手段と、連続性評価手段による評価結果に基づいて眼の輪郭を検出する眼検出手段と、を備えることを特徴としている。
このような眼画像処理装置によれば、眼画像に基づいて抽出された横方向エッジと、眼画像に基づいて検出された目頭/目尻との連続性を評価する連続性評価手段を備えるため、顔の横方向に延在する横方向エッジと、目頭/目尻との連続性を評価することができ、目頭/目尻との連続性を有していない横方向エッジの尤度を低く設定し、目頭/目尻との連続性を有する横方向エッジの尤度を高く設定することができる。これにより、尤度の低い横方向エッジを候補から除外して、尤度の高い横方向エッジを選択することで、精度の高いまぶた曲線(眼の輪郭線)を検出することができる。すなわち、目頭/目尻と眼鏡フレームとの間の横方向エッジは、目頭/目尻との連続性が低いため、候補から除外され、眼鏡フレームを誤検出する可能性が低減される。
ここで、眼の輪郭の候補であり目頭及び目尻を結ぶ仮想まぶた曲線を設定する仮想まぶた曲線設定手段と、仮想まぶた曲線に対応する横方向エッジの複数の抽出点(画素点)の画素値を取得する画素値取得手段と、を備え、当該連続性評価手段は、画素値の大きさに基づいて、仮想まぶた曲線に対応する横方向エッジと目頭及び目尻との連続性を評価することが好ましい。これにより、目頭/目尻との連続性が低い横方向エッジを有する仮想まぶた曲線を候補から除外して、目頭/目尻との連続性が高い横方向エッジを有する仮想まぶた曲線を選択することで、より精度の高いまぶた曲線を検出することができる。
また、抽出点の画素値と所定の判定基準値とを比較して、仮想まぶた曲線が眼の輪郭として尤もらしいかを表現する尤度を設定する尤度設定手段を備え、連続性評価手段は、尤度設定手段によって設定された尤度に基づいて、仮想まぶた曲線に対応する横方向エッジと目頭及び目尻との連続性を評価することが好ましい。
また、眼検出手段は、エッジ抽出手段によって複数の横方向エッジが抽出された場合に、連続性評価手段によって、連続性がより高く評価された横方向エッジを眼の輪郭として検出することが好ましい。
本発明によれば、横方向エッジと目頭/目尻との連続性を評価することができるため、目頭/目尻との連続性が低い横方向エッジが候補から除外され、誤検出を防止してまぶた曲線の検出精度を向上させることができる。
以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において同一または相当要素には同一の符号を付し、重複する説明は省略する。図1は、本発明の実施形態に係る顔画像処理装置を示す構成図である。
図1に示す顔画像処理装置(眼画像処理装置)10は、車両(以下、「自車両」という)に搭載され運転者Dの眼画像を含む顔画像を取得するものである。この顔画像処理装置10は、運転者Dの顔画像を撮像する顔画像撮像カメラ12、この顔画像撮像カメラ12からの画像信号に基づいて画像処理を行う顔画像処理電子制御ユニット(以下、「顔画像処理ECU」という)14を備えている。
顔画像撮像カメラ(眼画像撮像手段)12は、例えばコラムカバー16の上面に設置され、運転者Dの眼画像を含む顔画像を取得する。そして、顔画像撮像カメラ12によって取得された運転者Dの顔画像に関する画像信号は、顔画像処理ECU14に送信される。
顔画像処理ECU14は、演算処理を行うCPU、記憶部となるROM及びRAM、入力信号回路、出力信号回路、電源回路などにより構成され、入力された画像信号について画像処理を行い運転者Dの顔画像を検出する。検出された顔画像は、例えば、運転者Dの開眼度判定(覚醒度判定)に利用される。
ここで、本発明の顔画像処理装置10は、顔の横方向に形成された横方向エッジと、目頭/目尻との連続性を評価し、その連続性の評価が低い横方向エッジを、まぶた曲線(眼の輪郭線)の候補から除外する機能を有している。
顔画像処理ECU14のCPUでは、記憶部に記憶されているプログラムを実行することで、横ソーベルフィルタ画像作成部(エッジ抽出手段)、目頭目尻検出部(位置検出手段)、仮想まぶた曲線設定部、連続性評価部(画素値取得手段、尤度設定手段)、眼検出部が構成される。
顔画像処理ECU14の記憶部には、CPUを作動させるためのプログラムのほかに、複数の3次元顔モデルが記憶されている。また、記憶部は、撮像された画像データ、顔特徴点に関するデータ、その他連続性評価に関するデータなどを記憶する記憶手段として機能する。
また、顔画像処理ECU14は、運転者Dの顔向き角度を検出する。例えば、検出された顔の横幅X、顔中心位置Yとの相対位置関係から顔向き角度を算出する。なお、顔向き角度の算出は、既存の技術であり、そのほかの手法を用いて、顔向き角度を検出しても良い。「顔向き角度」としては、運転者Dが車両正面を向いている状態を基準とし、この基準に対する角度が挙げられる。
横ソーベルフィルタ画像作成部は、入力された画像信号(顔画像)に基づいて画像処理を行い、運転者の顔画像の横ソーベルフィルタ画像を作成する。具体的には、横ソーベルフィルタ画像作成部は、運転者の顔画像に基づく濃淡画像にソーベルフィルタ処理を行う。ここでは、濃淡画像の画素値に対し、3×3のフィルタ値を掛け、縦方向と横方向のエッジを強調した画像を作成する。例えば3×3のフィルタの値は、上段左側“1”、上段中央“2”、上段右側“1”、中段左側“0”、中段中央“0”、中段右側“0”、下段左側“−1”、下段中央“−2”、下段右側“−1”である。そして、作成された横ソーベルフィルタ画像に基づいて、横方向エッジ(水平エッジ)が検出される。また、眼周辺の横方向エッジは、眼の輪郭線(上まぶた曲線、下まぶた曲線)候補となる。
目頭目尻検出部は、入力された画像信号に基づいて画像処理を行い、既存技術であるテンプレートマッチング手法を用いて、運転者Dの目頭/目尻の位置を検出する。ここでは、記憶部に記憶された3次元顔モデルと比較することにより、目頭/目尻の位置を検出する。
図2は、運転者の顔画像の一例を示すものであり、複数の仮想まぶた曲線を示す概略図である。仮想まぶた曲線設定部は、運転者Dの眼画像(横ソーベルフィルタ画像)に基づいて、図2に示すように、眼の輪郭線の候補となる仮想まぶた曲線L〜Lを作成する。ここでは、例えばベジェ曲線等を利用して、探索範囲内において、目頭/目尻を結ぶ複数の仮想まぶた曲線L〜Lを作成する。なお、探索範囲は、過去のデータ等に基づいて、眼近傍に設定される。
図3は、ベジェ曲線を用いた仮想まぶた曲線の作成方法を説明するための概略図である。コンピュータ上で曲線を表現する場合には、少ないパラメータ(制御点)で曲線を表現できるベジェ曲線が有効である。このベジェ曲線とは、N個の制御点から得られるN−1次曲線であり、ここでのアルゴリズムでは、始点(例えば目頭点)Qと終点(例えば目尻点)QC、これらの始点Q及び終点Qの中間に存在する中点Qの制御点を有する2次曲線となる。
例えば、図3(A)に示すように、制御点として、始点Q、中点Q、終点Qが与えられた場合、まず、制御点を順に結んで得られる線分Q、線分Qをそれぞれ、t:1−tの比率で分割し、点Q、Qを求める。さらに、これらの点Q,Qを結ぶ線分Qをt:1−tの比率に分割する内分点Qを算出し、この内分点Qをベジェ曲線上の点とする。
そして、上記した手順を内分比t(0≦t≦1)の範囲において繰り返すことで、始点Q、中点Q、終点Qを制御点とする2次曲線を作成することができる。また、このベジェ曲線の作成方法では内分する回数の増加に合わせて、滑らかな曲線を作成することができ、内分する回数に応じてCPUの演算負荷を調節することができる。ベジェ曲線P(t)は、P(t)=(1−t)+2t(1−t)Q+t…(1)によって表現される。
連続性評価部は、抽出された横方向エッジと、目頭/目尻との連続性を評価するものであり、仮想まぶた曲線L〜L上の抽出点(画素点)の横ソーベルフィルタ画像の画素値の大きさに基づいて、抽出点における横方向エッジと目頭/目尻との連続性を評価するものである。具体的には、横ソーベルフィルタ画像において、値の大きな画素値を有する抽出点が目頭/目尻に連続している場合には、横方向エッジと目頭/目尻との連続性が高いと評価する。
図4は、運転者の顔画像の一例を示すものであり、仮想まぶた曲線上の複数の抽出点を示す概略図である。連続性評価部では、仮想まぶた曲線L上に複数の抽出点を設定する。例えば、ベジェ曲線の内分点Q(図3参照)を抽出点として設定することで、等間隔に設定することができる。連続性評価部では、仮想まぶた曲線L上の抽出点における横ソーベルフィルタ画像の画素値と所定の判定基準値(閾値)とを比較して、抽出点Q〜Qと目頭Q/目尻Qとの連続性を評価する。連続性評価部は、抽出点Q〜Qの画素値と閾値とを比較して、仮想まぶた曲線L〜Lが眼の輪郭として尤もらしいかを判定し、その尤もらしさの度合いを尤度として設定する。
連続性評価部では、抽出点に横方向エッジが存在しない場合(横方向エッジのエッジ強度が弱い場合)に、尤度を大きく下げるように、閾値が設定されている。そのため、抽出点に横方向エッジがない場合に、積極的に尤度を下げることで、局所的な強いエッジによって仮想まぶた曲線の尤度が上昇することが防止される。
図4に示す仮想まぶた曲線Lでは、抽出点Q〜Qは、メガネフレーム18に起因する横方向エッジにより、エッジ強度が強くなり、高い尤度が設定される。抽出点Q,Q,Q,Qは、縦方向において、目頭/目尻とメガネフレーム18との間に存在する抽出点Q,Q,Q,Qであり、横方向エッジが検出されず、低い尤度が設定される。そして、連続性評価部では、仮想まぶた曲線L上の複数の抽出点の尤度を合算して、仮想まぶた曲線Lの尤度(以下、「曲線尤度」ともいう。)を算出する。すなわち、実際のまぶたに沿って形成された仮想まぶた曲線Lの抽出点では、まぶたに起因する横方向エッジが検出されるため、仮想まぶた曲線Lの曲線尤度は、仮想まぶた曲線L〜Lと比較して高く設定される。
眼検出部は、複数の仮想まぶた曲線L〜Lのうち、曲線尤度の低い仮想まぶた曲線を眼の輪郭線の候補から除外し、曲線尤度の高い仮想まぶた曲線を眼の輪郭線として検出する。すなわち、仮想まぶた曲線L〜Lのうち最も曲線尤度の高いLが眼の輪郭線として検出される。
次に、このように構成された顔画像処理装置10の作用について説明する。図5は、本発明の実施形態に係る顔画像処理ECUで実行される処理手順を示すフローチャートである。まず、顔画像処理ECU14では、顔画像撮像カメラ12から画像信号を入力し、横ソーベルフィルタ画像を作成する(S1)。
次に、顔画像処理ECU14は、入力された画像信号に基づいて、目頭/目尻のテンプレートマッチング等を行い、運転者の目尻、目頭を検出する(S2)。続いて、顔画像処理ECU14は、まぶた探索領域を設定する(S3)と共に、尤度の初期化を行い、「尤度=0」と設定する(S4)。
次に、顔画像処理ECU14は、ベジェ曲線を利用して、仮想まぶた曲線L〜Lを作成し、仮想まぶた曲線L〜L上に複数の抽出点Q〜Qを設定する(S5)。続いて、顔画像処理ECU14は、仮想まぶた曲線L上の抽出点Qにおいて、横ソーベルフィルタ画像値(横方向エッジのエッジ強度)を取得する(S6)。
次に、顔画像処理ECU14は、画素値>閾値であるか否かを判定する(S7)。画素値>閾値である場合には、ステップ8に進み「尤度=|画素値|」と設定し、画素値>閾値ではない場合には、ステップ9に進み「尤度=−|画素値|」と設定する。
続くステップ10では、設定された全ての抽出点Q〜Qについて尤度の設定が終了したか否かを判定する。全ての抽出点Q〜Qについて尤度の設定が終了していない場合には、ステップ6〜ステップ10の処理を繰り返し、全ての抽出点Q〜Qについて尤度の設定が終了した後に、ステップ11に進む。ステップ11では、顔画像処理ECU14は、仮想まぶた曲線L上の各抽出点Q〜Qの尤度を合算して、曲線尤度を算出する。算出された曲線尤度は、記憶部に記憶される。
続くステップ12では、顔画像処理ECU14は、探索範囲において、全ての仮想まぶた曲線L〜Lの曲線尤度の算出が終了したか否かを判定する。探索範囲において曲線尤度の設定が終了していない場合には、ステップ4〜ステップ12の処理を繰り返し、作成された分の仮想まぶた曲線L〜Lの曲線尤度の設定が終了した後に、ステップ13に進む。
ステップ13では、顔画像処理ECU14は、作成された複数の仮想まぶた曲線L〜Lの曲線尤度に基づいて、曲線尤度の低い仮想まぶた曲線L〜Lを眼の輪郭線の候補から除外し、最も曲線尤度の高い仮想まぶた曲線Lを眼の輪郭線として検出して処理を終了する。すなわち、最も曲線尤度の高い仮想まぶた曲線は、目頭/目尻との連続性が高い抽出点に起因する曲線であると判定することができる。
このような顔画像処理装置10によれば、眼画像に基づいて抽出された横方向エッジと、眼画像に基づいて検出された目頭Q/目尻Qとの連続性を評価する連続性評価部を備えているため、顔の横方向に延在する横方向エッジと、目頭/目尻との連続性を評価することができる。
ここで、眼の輪郭線の候補であり目頭Q及び目尻Qを結ぶ仮想まぶた曲線L〜Lを設定し、設定された仮想まぶた曲線L〜Lに対応する横方向エッジとして複数の抽出点(画素点)Q〜Qの画素値を取得することで、画素値の大きさに基づいて、仮想まぶた曲線に対応する横方向エッジと目頭Q及び目尻Qとの連続性を評価することができる。これにより、目頭Q/目尻Qとの連続性が低い横方向エッジを有する仮想まぶた曲線L〜Lを候補から除外して、目頭Q/目尻Qとの連続性が高い横方向エッジを有する仮想まぶた曲線Lを選択することで、より精度の高い眼の輪郭線を検出することができる。
また、抽出点Q〜Qの画素値と所定の閾値(判定基準値)とを比較して、仮想まぶた曲線L〜Lが眼の輪郭として尤もらしいかを表現する尤度を設定するため、連続性評価手段は、設定された尤度に基づいて、仮想まぶた曲線L〜Lに対応する横方向エッジと目頭Q及び目尻Qとの連続性を評価することができる。その結果、横方向エッジのエッジ強度が低い抽出点の尤度が低く設定され、眼の輪郭線の検出精度が向上される。
以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるもではない。上記実施形態では、ベジェ曲線を利用して仮想まぶた曲線を設定しているが、その他の方法を用いて、仮想まぶた曲線を設定してもよい。
また、上記実施形態では、仮想まぶた曲線上の抽出点について、目頭/目尻との連続性を評価しているが、仮想まぶた曲線を設定せずに、任意の抽出点について目頭/目尻との連続性を評価して、その評価が少ない抽出点を眼の輪郭線を構成する候補点から除外するようにしてもよい。
本発明の実施形態に係る顔画像処理装置を示す構成図である。 運転者の顔画像の一例を示すものであり、複数の仮想まぶた曲線を示す概略図である。 ベジェ曲線を用いた仮想まぶた曲線の作成方法を説明するための概略図である。 運転者の顔画像の一例を示すものであり、仮想まぶた曲線上の複数の抽出点を示す概略図である。 本発明の実施形態に係る顔画像処理ECUで実行される処理手順を示すフローチャートである。
符号の説明
10…顔画像処理装置、12…顔画像撮像カメラ、14…顔画像処理ECU、16…コラムカバー、18…メガネフレーム、L〜L…仮想まぶた曲線、Q…目頭、Q…目尻、Q〜Q…抽出点。

Claims (4)

  1. 眼画像を取得する眼画像取得手段と、
    前記眼画像に基づいて目頭及び目尻の位置を検出する位置検出手段と、
    前記眼画像に基づいて横方向エッジを抽出するエッジ抽出手段と、
    前記エッジ抽出手段によって抽出された前記横方向エッジと前記位置検出手段によって検出された前記目頭及び目尻との連続性を評価する連続性評価手段と、
    前記連続性評価手段による評価結果に基づいて眼の輪郭を検出する眼検出手段と、を備え
    前記連続性を有していない前記横方向エッジの尤度を、前記連続性を有する前記横方向エッジの尤度よりも低く設定し、前記尤度が低い前記横方向エッジを前記眼の輪郭の候補から除外することを特徴とする眼画像処理装置。
  2. 眼の輪郭の候補であり前記目頭及び目尻を結ぶ仮想まぶた曲線を設定する仮想まぶた曲線設定手段と、
    前記仮想まぶた曲線に対応する前記横方向エッジの複数の抽出点の画素値を取得する画素値取得手段と、を備え、
    前記連続性評価手段は、前記画素値の大きさに基づいて、前記仮想まぶた曲線に対応する前記横方向エッジと前記目頭及び目尻との連続性を評価することを特徴とする請求項1記載の眼画像処理装置。
  3. 前記抽出点の画素値と所定の判定基準値とを比較して、前記仮想まぶた曲線が前記眼の輪郭として尤もらしいかを表現する尤度を設定する尤度設定手段を備え、
    前記連続性評価手段は、前記尤度設定手段によって設定された前記尤度に基づいて、前記仮想まぶた曲線に対応する前記横方向エッジと前記目頭及び目尻との連続性を評価することを特徴とする請求項2記載の眼画像処理装置。
  4. 前記眼検出手段は、前記エッジ抽出手段によって複数の横方向エッジが抽出された場合に、前記連続性評価手段によって、前記連続性がより高く評価された前記横方向エッジを前記眼の輪郭として検出することを特徴とする請求項1〜3の何れか一項に記載の眼画像処理装置。
JP2008166311A 2008-06-25 2008-06-25 眼画像処理装置 Expired - Fee Related JP5035139B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008166311A JP5035139B2 (ja) 2008-06-25 2008-06-25 眼画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008166311A JP5035139B2 (ja) 2008-06-25 2008-06-25 眼画像処理装置

Publications (2)

Publication Number Publication Date
JP2010009234A JP2010009234A (ja) 2010-01-14
JP5035139B2 true JP5035139B2 (ja) 2012-09-26

Family

ID=41589668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008166311A Expired - Fee Related JP5035139B2 (ja) 2008-06-25 2008-06-25 眼画像処理装置

Country Status (1)

Country Link
JP (1) JP5035139B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4893862B1 (ja) * 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
JP4893863B1 (ja) * 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
KR101141901B1 (ko) 2011-12-13 2012-07-12 한국 한의학 연구원 윗 눈꺼풀 모양 검출장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2500726B2 (ja) * 1992-06-12 1996-05-29 日本電気株式会社 上まぶた領域、目頭・目尻・上まぶた領域及び目の構造の検出方法及び装置
JP4506250B2 (ja) * 2004-04-12 2010-07-21 日産自動車株式会社 上瞼検出装置
JP2007272435A (ja) * 2006-03-30 2007-10-18 Univ Of Electro-Communications 顔特徴抽出装置及び顔特徴抽出方法
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム

Also Published As

Publication number Publication date
JP2010009234A (ja) 2010-01-14

Similar Documents

Publication Publication Date Title
JP5221436B2 (ja) 顔特徴点検出装置及びプログラム
JP4137969B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
US9141873B2 (en) Apparatus for measuring three-dimensional position, method thereof, and program
KR100355125B1 (ko) 안화상처리장치
JP5790762B2 (ja) 瞼検出装置
JP4912206B2 (ja) 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
JP2006260397A (ja) 開眼度推定装置
JP5454737B2 (ja) 瞼検出装置、瞼検出方法及びプログラム
JP5728080B2 (ja) 瞼検出装置、瞼検出方法及びプログラム
US10521659B2 (en) Image processing device, image processing method, and image processing program
JP5737401B2 (ja) 瞼検出装置
JP6188592B2 (ja) 物体検出装置、物体検出方法、および物体検出プログラム
CN105310690A (zh) 皱纹检测装置和皱纹检测方法
US9904843B2 (en) Information processing device, information processing method, and program
JP5035139B2 (ja) 眼画像処理装置
CN115713794A (zh) 一种基于图像的视线落点估计方法、装置
JP4825737B2 (ja) 開眼度判定装置
JP4883013B2 (ja) 顔画像処理装置
JP5493676B2 (ja) 眼位置認識装置
JP4070450B2 (ja) 前方車両認識装置及び認識方法
JP5655491B2 (ja) 開眼状態検出装置
JP2010009140A (ja) 眼画像処理装置
US11551446B2 (en) Video detection device, and video detection method
CN109886213B (zh) 疲劳状态判断方法、电子设备及计算机可读存储介质
JP4910212B2 (ja) 目の位置検出装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120618

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5035139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees