JP5655491B2 - 開眼状態検出装置 - Google Patents

開眼状態検出装置 Download PDF

Info

Publication number
JP5655491B2
JP5655491B2 JP2010233559A JP2010233559A JP5655491B2 JP 5655491 B2 JP5655491 B2 JP 5655491B2 JP 2010233559 A JP2010233559 A JP 2010233559A JP 2010233559 A JP2010233559 A JP 2010233559A JP 5655491 B2 JP5655491 B2 JP 5655491B2
Authority
JP
Japan
Prior art keywords
eye
eyelid
curve
image information
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010233559A
Other languages
English (en)
Other versions
JP2012088837A (ja
Inventor
清人 埴田
清人 埴田
嘉修 竹前
嘉修 竹前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2010233559A priority Critical patent/JP5655491B2/ja
Publication of JP2012088837A publication Critical patent/JP2012088837A/ja
Application granted granted Critical
Publication of JP5655491B2 publication Critical patent/JP5655491B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Description

本発明は、開眼状態を検出する装置に関するものである。
従来、開眼状態を検出する装置として、画像情報を用いて開眼状態を検出するものが知られている(例えば、特許文献1参照)。特許文献1記載の装置は、瞳孔を通り上下に延びる計測列において画素の濃度値を検出し、濃度値の変化に基づいて上瞼の下端及び下瞼の上端を検出し、両端の間隔を眼の開度として検出する。
特開2000−102510号公報
しかしながら、従来の装置にあっては、撮像環境によっては開眼状態を正確に検出できないおそれがある。
そこで、本発明はこのような技術課題を解決するためになされたものであって、開眼状態の検出精度低下を防止することができる開眼状態検出装置を提供することを目的とする。
すなわち本発明に係る開眼状態検出装置は、画像情報に基づいて開眼状態を検出する開眼状態検出装置であって、前記画像情報に基づいて上瞼の位置及び下瞼の位置を検出する瞼検出手段と、上瞼の位置及び下瞼の位置に基づいて開眼状態を検出する開眼状態検出手段と、を備え、前記瞼検出手段は、目尻及び目頭を結ぶ曲線を取得し、曲線を複数の線分に分割し、曲線を構成する線分のうち目尻と目頭との中心を含む中心領域にある線分の画像情報の重みを他の領域の画像情報の重みよりも小さくして各線分の両側に位置する領域の濃淡差を判定し、又は、中心領域にある線分の画像情報を上瞼の位置及び下瞼の位置を検出するための情報から除外して各線分の両側に位置する領域の濃淡差を判定し、濃淡差の判定結果に基づいて上瞼の位置又は下瞼の位置を検出することにより、瞳孔を透過し網膜で反射される光によって発生する赤目領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくすることを特徴として構成される。
本発明に係る開眼状態検出装置では、瞼検出手段により、赤目領域の画像情報が検出結果に与える影響を他の領域の画像情報よりも小さくして上瞼の位置又は下瞼の位置が検出される。このため、撮像された眼に赤目領域が含まれている場合であっても赤目領域の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができるので、開眼状態の検出精度低下を防止することが可能となる。
ここで、前記瞼検出手段は、前記曲線上のエッジ強度又は前記曲線の両側に位置する領域の濃淡差に基づいて上瞼の下端又は下瞼の上端を通過する曲線を取得してもよい。
また、前記瞼検出手段は、目尻と目頭との中心を含む中心領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくする。このように構成することで、赤目領域の位置を検出することなく、赤目領域の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができる。
さらに、前記瞼検出手段は、前記中心領域の前記画像情報の重みを他の領域の画像情報よりも小さくする、又は、前記中心領域の前記画像情報を上瞼の位置及び下瞼の位置を検出するための情報から除外するこのように構成することで、中心領域の画像情報が検出結果に与える影響を他の領域の画像情報よりも小さくすることができる。
本発明によれば、開眼状態の検出精度低下を防止することができる。
実施形態に係る開眼状態検出装置を備える車両の構成概要を示すブロック図である。 実施形態に係る開眼状態検出装置の動作を示すフローチャートである。 実施形態に係る開眼状態検出装置の入力画像の一例である。 実施形態に係る開眼状態検出装置の顔特徴量検出処理を説明する概要図である。 顔姿勢を説明する概要図である。 実施形態に係る開眼状態検出装置の瞼候補を説明する概要図である。 瞼候補選定処理を説明する概要図である。 濃淡差の算出を説明する概要図である。 濃淡差を用いた瞼候補選定処理を説明する概要図である。 エッジ強度を用いた瞼候補選定処理を説明する概要図である。
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
本実施形態に係る開眼状態検出装置は、例えば走行支援機能や運転支援機能を有する車両に好適に採用されるものである。なお、開眼状態とは、眼の開度又は開眼の有無等である。
最初に、本実施形態に係る開眼状態検出装置を備える車両の概要から説明する。図1は、本実施形態に係る開眼状態検出装置1を備える車両の概要図である。図1に示す車両3は、画像センサ31及びECU(Electronic Control Unit)2を備えている。ECUは、電子制御する自動車デバイスのコンピュータであり、CPU(Central Processing Unit)、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
画像センサ31は、運転者の画像を撮像するセンサである。画像センサ31として、例えばCCDカメラ等が用いられる。また、画像センサ31は、撮像した画像情報をECU2へ出力する機能を有している。
ECU2は、画像センサ31に接続されており、顔位置検出部20、顔特徴点検出部21、顔姿勢推定部22、瞼候補選定部(瞼検出手段)23、瞼検出部(瞼検出手段)24及び開眼状態検出部(開眼状態検出手段)25を備えている。
顔位置検出部20は、画像センサ31が出力した画像に写された顔の位置を検出する機能を有している。例えば、顔位置検出部20は、ブースティング又はニューラルネットワーク等の統計手法を用いて運転者の顔位置を画像の中から発見する。また、顔位置検出部20は、発見された顔位置を顔特徴点検出部21へ出力する機能を有している。
顔特徴点検出部21は、顔位置検出部20により発見された顔位置の画像領域の中から、顔の特徴点を検出する機能を有している。例えば、顔特徴点検出部21は、ブースティング又はニューラルネットワーク等の統計手法を用いて運転者の顔の特徴点を発見する。顔特徴点としては、例えば、目尻、目頭、鼻腔中心、口端等が用いられる。顔特徴点検出部21は、検出された顔特徴点を顔姿勢推定部22及び瞼候補選定部23へ出力する機能を有している。
顔姿勢推定部22は、顔特徴点検出部21により出力された顔特徴点に基づいて、画像に映された顔の姿勢を検出する機能を有している。例えば、顔姿勢推定部22は、検出された顔特徴点の座標位置に顔の3Dモデルをフィッティングさせて運転者の位置、向きを算出する。また、顔姿勢推定部22は、検出された顔姿勢を瞼候補選定部23へ出力する機能を有している。
瞼候補選定部23は、瞼の候補となる曲線を選定する機能を有している。例えば、瞼候補選定部23は、顔姿勢推定部22により検出された顔姿勢において、顔特徴点検出部21が出力した顔特徴点の特徴量(目尻及び目頭)に基づいて、複数の曲線を算出して画像(濃淡画像)に投影する機能を有している。そして、瞼候補選定部23は、投影された曲線周辺の濃淡差を算出し、算出した濃淡差に基づいて投影された曲線の中から瞼の候補となる曲線を選定する機能を有している。ここで、瞼候補選定部23は、瞳孔を透過した光が網膜で反射されて発生する赤目領域が存在する確率の高い領域(目尻と目頭との中心を含む中心領域)については、他の領域(中心領域以外の領域)に比べて、判定結果に与える影響が小さくなるように濃淡差を算出する機能を有している。例えば、瞼候補選定部23は、濃淡差を算出する際に、赤目領域が存在する確率の高い曲線中心付近について計算の対象から除外する機能を有している。なお、赤目領域には、撮像の際に投光された光がそのまま反射されて映り込んだ反射領域を含む。また、中心領域は、例えばシミュレーション等の結果に基づいて予め定められた範囲が用いられる。また、瞼候補選定部23は、選定した瞼候補の曲線を瞼検出部24へ出力する機能を有している。
瞼検出部24は、瞼候補選定部23により選定された瞼候補の曲線に基づいて上瞼の下端及び下瞼の上端を検出する機能を有している。例えば、瞼検出部24は、瞼候補の曲線が存在する画像領域からエッジ画像を生成し、生成されたエッジ画像上に瞼候補の曲線を投影する機能を有している。そして、瞼検出部24は、曲線上に存在するエッジ強度の総和を曲線ごとにそれぞれ算出し、瞼候補の曲線の中で最もエッジ強度の総和の大きい曲線を瞼として検出する。なお、上下の瞼を検出するため、最初に、瞼候補の曲線の中で最もエッジ強度の総和の大きい曲線を取得し、その後、取得した曲線を除いた瞼候補の曲線の中で最もエッジ強度の総和の大きい曲線を取得する。ここで、瞼検出部24は、赤目領域が存在する確率の高い中心領域については、他の領域に比べて判定結果に与える影響が小さくなるようにエッジ強度を算出する機能を有している。例えば、瞼検出部24は、曲線位置に応じてエッジ強度に対して重みを積算し、曲線上のエッジ強度の総和を算出する機能を有している。瞼検出部24は、例えば中心領域付近のエッジ強度の重みを、中心領域付近以外の領域のエッジ強度の重みに比べて小さくすることにより、赤目領域の存在が判定結果に与える影響を小さくすることができる。また、瞼検出部24は、検出した上瞼の下端及び下瞼の上端を開眼状態検出部25へ出力する機能を有している。
開眼状態検出部25は、運転者の眼が開いている度合いを示す開眼度を算出する機能を有している。開眼状態検出部25は、瞼検出部24により検出された上瞼の下端及び下瞼の上端に基づいて、運転者の眼が開いている度合いを示す開眼度を検出する機能を有している。例えば、開眼状態検出部25は、上瞼の下端の位置と下瞼の上端の位置との差分を用いて開眼度を算出する。算出された開眼度は、開眼の有無の判定や、居眠り判定等の入力情報として用いられる。
上述した顔位置検出部20、顔特徴点検出部21、顔姿勢推定部22、瞼候補選定部23、瞼検出部24及び開眼状態検出部25を備えて開眼状態検出装置1は構成される。
次に、本実施形態に係る開眼状態検出装置1の動作について説明する。図2は、本実施形態に係る開眼状態検出装置1の開眼状態検出動作を示すフローチャートである。図2に示す制御処理は、例えばイグニッションオンされたタイミングから所定の間隔で繰り返し実行される。
図2に示すように、開眼状態検出装置1は、最初に顔位置検出処理から開始する(S10)。S10の処理では、顔位置検出部20が画像センサ31から画像を入力して、運転者の顔位置を検出する。例えば、顔位置検出部20は、図3に示す運転者の顔が写された画像F1を入力する。そして、顔位置検出部20は、ニューラルネットワークを用いて入力した画像F1全体の範囲を探索して顔位置を発見する。なお、顔位置を発見するアルゴリズムは、ニューラルネットワークに限られる事は無く、Boosting等の他の手法であってもよい。S10の処理が終了すると、顔特徴点検出処理へ移行する(S12)。
S12の処理では、顔特徴点検出部21が、S10の処理で入力された画像F1のうち、顔を含む所定領域の画像(顔の存在範囲の画像領域)に対して、ニューラルネットワーク等を用いて顔の特徴点の位置を検出する。この処理について、図4を用いて説明する。図4は、顔を含む所定領域の画像G1に対する特徴点検出処理を説明するための概要図である。図4に示す画像G1は、S10の処理で入力された画像F1の一部である。顔特徴点検出部21は、例えば図4に示すように、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等を特徴点Hとして検出する。なお、特徴点を検出するアルゴリズムは、ニューラルネットワークに限られる事は無く、Boosting等の他の手法であってもよい。S12の処理が終了すると、顔姿勢推定処理へ移行する(S14)。
S14の処理では、顔姿勢推定部22が、S12の処理で得られた顔特徴点に基づいて、顔姿勢を推定する。この処理について、図5を用いて説明する。図5は、3D顔モデルの一例を示す概要図である。図5に示すように、顔の上下方向に沿ったYm方向、顔の左右方向に沿ったXm方向、顔の前後方向に沿ったZm方向において頭部回転中心からの距離を特徴点ごとに保持したものを3D顔モデルとしている。Ym軸周りの回転をヨー、Xm軸周りの回転をピッチ、Zm軸周りの回転をロールとしている。顔姿勢推定部22は、図5に示すように、3D顔モデルを図4の画像G1に示す顔特徴点にフィッティングさせて最も一致するときの位置及び回転(ヨー、ピッチ、ロール)をその時点での顔姿勢とする。なお、顔姿勢の推定方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。S14の処理が終了すると、瞼候補選定処理へ移行する(S16)。
S16の処理では、瞼候補選定部23が、複数の曲線を濃淡画像上に投影して瞼候補の選定を行う。この処理について、図6〜9を用いて説明する。図6〜9は、瞼候補選定処理を説明するための概要図である。図6に示すように、瞼候補選定部23は、S12の処理で得られた顔特徴点である目尻H1,目頭H2を結ぶ複数の曲線QN(N:整数)を作成し、作成した曲線QNを目尻H1,目頭H2含む濃淡画像の所定領域G2に対して投影する。曲線QNとして、例えば、ベジェ曲線が用いられる。次に、瞼候補選定部23は、曲線QNの両側に位置する領域の濃淡差に基づいて、曲線QNが眼領域と肌領域との境界上に存在するか否かを判断する。瞼候補選定部23は、曲線QNの両側に位置する領域の濃淡差が所定値以上であれば、曲線QNが眼領域と肌領域との境界上に存在すると判定する。ここで、瞼候補選定部23は、曲線QNを複数の線分に分割して各線分に対して濃淡差の判定を行う。例えば、図7の(a)に示す曲線QNを、図7の(b)に示すようにブロック単位で分割する。ブロックBN(N:整数)は、大きさがそれぞれ同一であって、曲線QNによって分割され両側に位置するブロック内領域の大きさがほぼ等しくなるように設定される。図中では曲線QNを、B1〜B10までの10個のブロックで分割している。そして、瞼候補選定部23は、図7の(c)に示すように、曲線QNを構成する線分のうち目尻H1と目頭H2との中心を含む中心領域Dを通過するブロックB5〜B7については濃淡差の演算の処理対象とせず、ブロックB1〜B4,B8〜B10についてのみ濃淡差の演算の処理対象とする。すなわち、赤目領域(反射領域含む)の画像情報が瞼選定の判定結果に影響を与えないように、赤目領域が発生する可能性の高い中心領域Dの画像情報については濃淡差を判断する情報から除外する。なお、赤目領域が発生する可能性の高い中心領域Dについては、予めシミュレーション等により得られた値が用いられ、ここでは目尻H1と目頭H2との間において、目尻H1と目頭H2との中心を含む35%の範囲を用いている。
次に、各ブロックの濃淡差の演算について図8を用いて説明する。図8では、ブロックB1を一例として示している。図8に示すように、ブロックB1は、曲線Qの両側に位置する領域B1a,B1bを有している。瞼候補選定部23は、領域B1aの濃淡及び領域B1bの濃淡を算出し、その差分を演算する。そして、瞼候補選定部23は、算出された各ブロックの濃淡差が所定値以上の濃淡差であるか否かをブロックごとに判断する。そして、ブロックの濃淡差が所定値以上であるブロック数をカウントし、カウントされたブロック数が所定値未満であれば瞼候補から除外し、カウントされたブロック数が所定値以上であれば瞼候補として選定する。この処理について図9を用いて説明する。図9は、瞼候補の選定を説明する概要図である。図9では、赤目領域Re1及び反射領域Le1が発生した眼において、一例として曲線Q1,Q2について判定する例を示している。図9に示すように、曲線Q1については、眼領域と瞼領域の境界上に位置しているため、各ブロックで演算された濃淡差はそれぞれ所定値以上となる。従って、瞼候補選定部23は、曲線Q1については条件を満たすブロックとしてカウントしたブロック数が所定値よりも大きいと判断し、曲線Q1を瞼候補として選定する。一方、曲線Q2は、眼領域と瞼領域の境界上に位置していないため、各ブロックの濃淡差が所定値以上とならず、瞼候補として選定されない。瞼候補選定部23は、上述した瞼候補の選定を左右の眼について行う。S16の処理が終了すると、瞼検出処理へ移行する(S18)。
S18の処理では、瞼検出部24が、S16の処理で取得した瞼候補に基づいて瞼を検出する。この処理について、図10を用いて説明する。図10は、エッジ強度により瞼を検出する例を説明する概要図である。図10に示すように、例えば、瞼検出部24は、S12の処理で検出された顔特徴点である目尻H1,目頭H2を含む一定領域に対してソーベルフィルタ等を適用して、エッジを強調した画像であるエッジ画像G3を生成する。そして、S16の処理で選定された瞼候補の曲線QNを生成したエッジ画像G3へ投影し、曲線QN上のエッジの強度(エッジ画像の画素値の和)を算出する。ここで、瞼検出部24は、赤目領域が存在する可能性が高い中心領域Dのエッジ強度については、他の領域のエッジ強度に比べて重みを軽くして演算を行う。例えば、エッジ画像G3の位置と重みとの関係を示す図10のグラフのように、中心領域Dのエッジ強度の重みをX(X<1)とし、その他の領域については、エッジ強度の重みを1として設定する。そして、瞼候補の曲線についてエッジ強度の和を全て算出し、エッジ強度の和が最も大きいもの、次に大きいものを瞼として検出する。なお、重みの与え方は図10に示すものに限られるものではなく、中心領域Dの重みが他の領域よりも小さければ、効果を奏することができる。瞼検出部24は、上述した瞼の検出を左右の眼について行う。S18の処理が終了すると、開眼状態検出処理へ移行する(S20)。
S20の処理では、開眼状態検出部25が、S18の処理で取得された上瞼の下端の位置及び下瞼の上端の位置に基づいて、開眼状態を検出する。例えば、開眼状態検出部25は、上瞼の下端及び下瞼の上端に基づいて開眼度を検出する。S20の処理が終了すると、図2に示す制御処理を終了する。
以上で図2に示す制御処理を終了する。図2に示す制御処理を実行することにより、エッジ情報と濃淡情報の両方を利用して赤目領域の検出を行わずに瞼の検知を直接行うことができる。例えば、目尻H1及び目頭H2を結ぶ曲線QNとエッジ画像とのフィッティング度合い(エッジ強度)を算出する際に、曲線QN上の各点に重みを導入し中心領域Dの重みを低く設定することで、赤目領域の画像情報によって判定結果に与えられる影響が小さくされる。また、濃淡情報(眼領域と肌領域の濃淡差)を用いて瞼を判定する際に、中心領域Dの画像情報を利用しないことで、赤目領域の画像情報によって判定結果に与えられる影響が小さくされる。このため、赤目領域が発生しやすい夜間に撮像された画像であっても、開眼状態の検出精度低下を防止することができる。
ところで、赤目領域は、ソーベルフィルタを用いてエッジの抽出をすると瞼の探索の際に赤目領域の外縁に発生するエッジに強く反応する。このため、赤目領域の外縁を瞼候補として誤検知することを回避すべく、例えば赤目領域を検知して赤目領域周辺の不要なエッジを瞼候補から除外する手法が考えられる。しかしながら、反射領域等、赤目領域とは別の類似したパターンが赤目領域探索範囲に存在すると反射領域を赤目領域であると誤検知するおそれがある。
これに対して、本実施形態に係る開眼状態検出装置1によれば、瞼候補選定部23及び瞼検出部24により、赤目領域Re1の画像情報が検出結果に与える影響を他の領域の画像情報よりも小さくして上瞼の位置又は下瞼の位置が検出される。このため、撮像された眼に赤目領域Re1が含まれている場合であっても赤目領域Re1の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができるので、開眼状態の検出精度低下を防止することが可能となる。また、本実施形態に係る開眼状態検出装置1によれば、瞼候補選定部23及び瞼検出部24により、目尻H1と目頭H2との中心を含む中心領域Dの画像情報によって検出結果に与えられる影響が他の領域の画像情報よりも小さくされるので、赤目領域Re1の位置を検出することなく、赤目領域Re1の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができる。
なお、上述した実施形態は本発明に係る開眼状態検出装置の一例を示すものである。本発明に係る開眼状態検出装置は、実施形態に係る開眼状態検出装置1に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る開眼状態検出装置を変形し、又は他のものに適用したものであってもよい。
例えば、上述した実施形態では、S16の処理で濃淡情報に基づいて瞼候補を選定し、S18の処理でエッジ情報に基づいて瞼を検出する例を説明したが、目尻H1及び目頭H2を結ぶ曲線を目尻H1及び目頭H2を含む一定領域に対して投影した後に、S18の処理をS16の処理よりも先に実行して、瞼候補をエッジ強度の総和が一定値上であることを条件に選定してから、一定値以上の濃淡差を満たすブロックの数が最も多い曲線を瞼として検出してもよい。
また、上述した実施形態では、S16の処理で濃淡情報に基づいて瞼候補を選定し、S18の処理でエッジ情報に基づいて瞼を検出する例を説明したが、目尻H1及び目頭H2を結ぶ曲線を目尻H1及び目頭H2を含む一定領域に対して投影した後に、S16の処理とS18の処理とを同時に実行し、エッジ強度の条件と、濃淡差の条件を同時に満たす場合に瞼として検出してもよい。
さらに、上述した実施形態では、開眼状態検出装置1が、顔位置検出部20、顔特徴点検出部21、顔姿勢推定部22、瞼候補選定部23、瞼検出部24及び開眼状態検出部25を備える例を説明したが、顔位置検出部20、顔特徴点検出部21及び顔姿勢推定部22は、必要に応じて備えればよい。
1…開眼状態検出装置、2…ECU、3…車両、20…顔位置検出部、21…顔特徴点検出部、22…顔姿勢推定部、23…瞼候補選定部(瞼検出手段)、24…瞼検出部(瞼検出手段)、25…開眼状態検出部(開眼状態検出手段)、31…画像センサ。

Claims (2)

  1. 画像情報に基づいて開眼状態を検出する開眼状態検出装置であって、
    前記画像情報に基づいて上瞼の位置及び下瞼の位置を検出する瞼検出手段と、
    上瞼の位置及び下瞼の位置に基づいて開眼状態を検出する開眼状態検出手段と、
    を備え、
    前記瞼検出手段は、
    目尻及び目頭を結ぶ曲線を取得し、
    前記曲線を複数の線分に分割し、
    前記曲線を構成する線分のうち目尻と目頭との中心を含む中心領域にある線分の前記画像情報の重みを他の領域の画像情報の重みよりも小さくして各線分の両側に位置する領域の濃淡差を判定し、又は、前記中心領域にある線分の前記画像情報を上瞼の位置及び下瞼の位置を検出するための情報から除外して各線分の両側に位置する領域の濃淡差を判定し、
    前記濃淡差の判定結果に基づいて上瞼の位置又は下瞼の位置を検出することにより、瞳孔を透過し網膜で反射される光によって発生する赤目領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくすること、
    を特徴とする開眼状態検出装置。
  2. 前記瞼検出手段は、前記曲線上のエッジ強度又は前記曲線の両側に位置する領域の濃淡差に基づいて上瞼の下端又は下瞼の上端を通過する曲線を取得する請求項に記載の開眼状態検出装置。
JP2010233559A 2010-10-18 2010-10-18 開眼状態検出装置 Expired - Fee Related JP5655491B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010233559A JP5655491B2 (ja) 2010-10-18 2010-10-18 開眼状態検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010233559A JP5655491B2 (ja) 2010-10-18 2010-10-18 開眼状態検出装置

Publications (2)

Publication Number Publication Date
JP2012088837A JP2012088837A (ja) 2012-05-10
JP5655491B2 true JP5655491B2 (ja) 2015-01-21

Family

ID=46260412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010233559A Expired - Fee Related JP5655491B2 (ja) 2010-10-18 2010-10-18 開眼状態検出装置

Country Status (1)

Country Link
JP (1) JP5655491B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5737401B2 (ja) * 2011-07-11 2015-06-17 トヨタ自動車株式会社 瞼検出装置
CN109886697B (zh) * 2018-12-26 2023-09-08 巽腾(广东)科技有限公司 基于表情组别的操作确定方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4895797B2 (ja) * 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP5177011B2 (ja) * 2009-02-25 2013-04-03 株式会社デンソー 開眼度特定装置

Also Published As

Publication number Publication date
JP2012088837A (ja) 2012-05-10

Similar Documents

Publication Publication Date Title
JP5221436B2 (ja) 顔特徴点検出装置及びプログラム
JP4307496B2 (ja) 顔部位検出装置及びプログラム
JP5737400B2 (ja) 赤目検出装置
JP5790762B2 (ja) 瞼検出装置
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
JP4592744B2 (ja) 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
JP5737401B2 (ja) 瞼検出装置
JP5466610B2 (ja) 視線推定装置
JP5737399B2 (ja) 赤目判定装置
JP4992823B2 (ja) 顔検出装置及び顔検出方法
JP2011115450A (ja) 漫然状態判定装置、方法及びプログラム
JP2008257575A (ja) 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム
JP5349350B2 (ja) 開眼度判定装置及び開眼度判定方法
JP5655491B2 (ja) 開眼状態検出装置
JP4198542B2 (ja) 顔有無判定装置及び顔有無判定プログラム
JP2004192551A (ja) 開閉眼判定装置
JP2011125620A (ja) 生体状態検出装置
JP2010108138A (ja) 人物検出装置及びプログラム
JP5035139B2 (ja) 眼画像処理装置
JP2009044631A (ja) 物体検出装置
JP2010009093A (ja) 人物状態判定装置
JP2009003644A (ja) 開眼度判定装置
JP2011086051A (ja) 眼位置認識装置
JP2010102504A (ja) 眼領域検出装置、及びプログラム
JP2010205076A (ja) 眼検出装置、及び当該装置において用いられる方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141110

R151 Written notification of patent or utility model registration

Ref document number: 5655491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees