JP5454737B2 - 瞼検出装置、瞼検出方法及びプログラム - Google Patents

瞼検出装置、瞼検出方法及びプログラム Download PDF

Info

Publication number
JP5454737B2
JP5454737B2 JP2013509726A JP2013509726A JP5454737B2 JP 5454737 B2 JP5454737 B2 JP 5454737B2 JP 2013509726 A JP2013509726 A JP 2013509726A JP 2013509726 A JP2013509726 A JP 2013509726A JP 5454737 B2 JP5454737 B2 JP 5454737B2
Authority
JP
Japan
Prior art keywords
window
pixel
lower eyelid
search window
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013509726A
Other languages
English (en)
Other versions
JPWO2012140782A1 (ja
Inventor
崇 平槇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Application granted granted Critical
Publication of JP5454737B2 publication Critical patent/JP5454737B2/ja
Publication of JPWO2012140782A1 publication Critical patent/JPWO2012140782A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、瞼検出装置、瞼検出方法及びプログラムに関し、更に詳しくは、眼の画像に写る瞼を検出する瞼検出装置、眼の画像に写る瞼を検出するための瞼検出方法及びプログラムに関する。
近年、交通事故の死者数は減少傾向にあるものの、事故の発生件数は依然として高い水準にある。事故の原因は様々であるが、居眠り運転等、ドライバーが覚醒度が低下した状態で車両の運転を行うことも、事故を誘発する原因の1つである。
そこで、ドライバーの覚醒度の低下を精度良く検出するための技術が種々提案されている。(例えば特許文献1参照)。
特開2004−192552号公報
特許文献1に開示された装置は、ドライバーの顔の画像に写る眼の縦の大きさ、上瞼に沿った曲線と当該曲線の両端を結ぶ線との距離、及び当該曲線の曲率半径に基づいて、ドライバーの眼が閉じているか否かを総合的に判定する。しかしながら、画像にいわゆる白飛びが発生した場合には、正確に眼の縦の大きさを計測することが困難になる場合がある。
同様に、画像が不鮮明である場合には、上瞼に沿った曲線を正確に規定することができない。この場合には、上瞼に沿った曲線と当該曲線の両端を結ぶ線との距離と、眼の開度とが相関しなくなる。したがって、ドライバーの眼が閉じているか否かを正確に判定することが困難になる。
また、曲率半径に基づく判定は、ドライバーの眼の開度を直接計測するわけではない。このため、ドライバーの眼の形状によっては、正確に眼の開度を算出することができないことがある。
本発明は、上述の事情の下になされたもので、ドライバーの眼の画像に基づいて、ドライバーの眼が閉じているか否かを精度よく判定することを目的とする。
上記目的を達成するために、本発明の第1の観点に係る瞼検出装置は、
ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する抽出手段と、
前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する算出手段と、
前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する変形手段と、
前記瞼の基準位置を、変形した前記ウインドに応じて設定する設定手段と、
を備える。
本発明の第2の観点に係る瞼検出方法は、
ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する工程と、
前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する工程と、
前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する工程と、
前記瞼の基準位置を、変形した前記ウインドに応じて設定する工程と、
を含む。
本発明の第3の観点に係るプログラムは、
コンピュータに、
ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する手順と、
前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する手順と、
前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する手順と、
前記瞼の基準位置を、変形した前記ウインドに応じて設定する手順と、
を実行させる。
本発明によれば、画像に写る瞼のエッジにマッチングしたときのウインドが変形される。そして、変形されたウインドに応じて瞼のエッジの基準位置が設定される。このため、画像に写る瞼の形状とウインドとの形状が相違していたとしても、精度良く瞼の基準位置を設定することができる。これにより、ドライバーの眼が閉じているか否かを精度良く判定することが可能となる。
第1の実施形態に係る瞼検出装置のブロック図である。 撮影装置によって撮影された画像を示す図である。 CPUによって実行される一連の処理を示すフローチャートである。 顔領域と探索領域を示す図である。 水平エッジ検出オペレータを示す図である 垂直エッジ検出オペレータを示す図である。 上瞼及び下瞼のエッジを構成する画素を示す図である。 画素群と、上瞼探索ウインドを示す図である。 評価値が最大となったときの画素群と、上瞼探索ウインドとの位置関係を示す図である。 下瞼探索領域を示す図である。 画素群と、下瞼探索ウインドを示す図である。 評価値が最大となったときの画素群と、下瞼探索ウインドとの位置関係を示す図である。 画素探索ウインドを示す図である。 下瞼探索領域を変形させる手順を説明するための図である。 下瞼探索領域の重心を示す図である。 下瞼及び上瞼の基準位置を示す図である。 変形前の下瞼探索ウインドの重心を示す図である。 第2の実施形態に係る瞼検出装置のブロック図である。
《第1の実施形態》
以下、本発明の第1の実施形態を、図面を参照しつつ説明する。図1は本実施形態に係る瞼検出装置10の概略的な構成を示すブロック図である。瞼検出装置10は、ドライバーの顔が写った画像から瞼の位置を検出し、検出結果に基づいてドライバーの眼の開度を算出する装置である。図1に示されるように、瞼検出装置10は、演算装置20と、撮影装置30を有している。
撮影装置30は、被写体を撮影することにより取得した画像を電気信号に変換して出力する装置である。図2は、撮影装置30によって撮影された画像IMが示されている。画像IMを参照するとわかるように、この撮影装置30は、車両の運転席に着座するドライバー50の顔が、視野のほぼ中心に位置するように、取り付け角や画角が調整された状態で、例えば車両のステアリングコラムやハンドルに取り付けられている。そして、撮影装置30は、ドライバー50の顔を所定の周期で撮影し、撮影して得た画像に関する情報を演算装置20へ出力する。
ここで、説明の便宜上、画像IMの左下のコーナーを原点とするXY座標系を定義し、以下、適宜XY座標系を用いた説明を行う。
図1に戻り、演算装置20は、CPU(Central Processing Unit)21、主記憶部22、補助記憶部23、表示部24、入力部25、及びインターフェイス部26を有するコンピュータである。
CPU21は、補助記憶部23に記憶されたプログラムを読み出して実行する。CPU21の具体的な動作については後述する。
主記憶部22は、RAM(Random Access Memory)等の揮発性メモリを有している。主記憶部22は、CPU21の作業領域として用いられる。
補助記憶部23は、ROM(Read Only Memory)、磁気ディスク、半導体メモリ等の不揮発性メモリを有している。補助記憶部23は、CPU21が実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置30から出力される画像に関する情報、及びCPU21による処理結果などを含む情報を順次記憶する。
表示部24は、LCD(Liquid Crystal Display)などの表示ユニットを有している。表示部24は、CPU21の処理結果等を表示する。
入力部25は、入力キーや、タッチパネル等のポインティングデバイスを有している。オペレータの指示は、入力部25を介して入力され、システムバス27を経由してCPU21へ通知される。
インターフェイス部26は、シリアルインターフェイスまたはLAN(Local Area Network)インターフェイス等を含んで構成されている。撮影装置30は、インターフェイス部26を介してシステムバス27に接続される。
図3のフローチャートは、CPU21によって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図3を参照しつつ、瞼検出装置10の動作について説明する。図3のフローチャートに示される一連の処理は、例えば車両のイグニッションスイッチがオンになると実行される。また、ここでは撮影装置30によって、図2に示される画像IMが撮影されたものとする。
まず、最初のステップS201では、CPU21は、撮影装置30から出力された画像IMから、ドライバーの顔を構成する眼や鼻等が写り込む顔領域A1を検出する。
この顔領域A1の検出は、まず、画像IMに対してソーベルフィルタを用いた画像処理を実行し、画像IMに含まれるエッジを抽出する。次に、抽出したエッジの中から、ドライバーの顔の輪郭Fを示すエッジを検出する。そして、ドライバーの顔の輪郭Fに囲まれた領域に含まれるエッジから、ドライバーの眉と口を表すエッジを検出して、ドライバーの眉と口との位置をおおよそ特定する。眉と口の位置が特定されると、CPU21は、例えば図4に示されるように、X軸方向の大きさが顔の輪郭とほぼ一致し、ドライバー50の眉及び口を含む最も小さな矩形の領域を、顔領域A1として検出する。
次のステップS202では、CPU21は、瞼の検出処理を施す探索領域A2を規定する。顔を構成する眉、目、鼻、及び口の位置は、多少の個人差はあるものの顔の輪郭や、眉或いは眼等の部位を基準に概ね特定することができる。したがって、上端に眉が位置し、下端に口が位置するように規定された顔領域A1においては、眼が位置する領域をある程度正確に特定することができる。そこで、CPU21は、顔領域A1に含まれる眉毛の画像の下方に、長手方向をX軸方向とする長方形の探索領域A2を規定する。
次のステップS203では、CPU21は、探索領域A2に対してエッジの検出処理を実行する。エッジの検出に際しては、CPU21は、図5Aに示される水平エッジ検出オペレータと、図5Bに示される垂直エッジ検出オペレータとを用いる。
例えば、CPU21は、まず水平エッジ検出オペレータを用いて、各画素のエッジ値を算出する。このエッジ値は、エッジ値の算出対象となる画素の上側(+Y側)の画素の輝度が高く、下側(−Y側)の画素の輝度が低い場合に+になる。そして、エッジ値の算出対象となる画素の上側(+Y側)の画素の輝度が低く、下側(−Y側)の画素の輝度が高い場合に−になる。そこで、CPU21は、エッジ値が第1の閾値以上(所定の条件)の画素と、エッジ値が第2の閾値以下(所定の条件)の画素を抽出する。
次に、CPU21は、垂直エッジ検出オペレータを用いて、各画素のエッジ値を算出する。このエッジ値は、エッジ値の算出対象となる画素の左側(−X側)の画素の輝度が高く、右側(+X側)の画素の輝度が低い場合に+になる。そして、エッジ値の算出対象となる画素の左側(−X側)の画素の輝度が低く、右側(+X側)の画素の輝度が高い場合に−になる。そこで、CPU21は、エッジ値が第1の閾値以上(所定の条件)の画素と、エッジ値が第2の閾値以下(所定の条件)の画素を抽出する。
これにより、例えば図6に示されるように、眼51,52の上瞼及び下瞼のエッジを構成する画素Dが抽出される。以下、右眼51の上瞼のエッジを画素群G1とし、下瞼のエッジを画素群G2とする。また、左眼52の上瞼のエッジを画素群G3とし、下瞼のエッジを画素群G4とする。
次のステップS204では、CPU21は、上瞼探索ウインドを用いた走査を行うことで、上瞼の位置を検出する。図7は、画素群G1,G2と、画素群G1によって示される上瞼を検出するための上瞼探索ウインドW1を示す図である。図7に示されるように、上瞼探索ウインドW1は、長手方向をX軸方向とする長方形の水平エッジウインドP1と、水平エッジウインドP1の両端に規定された垂直エッジウインドP2,P3とから構成されている。
CPU21は、上瞼探索ウインドW1を、探索領域A2内で例えば1画素に相当する距離ずつ移動させる。そして、同時に水平エッジウインドP1と重なる画素Dのエッジ値の総和と、垂直エッジウインドP2と重なる画素Dのエッジ値の総和から垂直エッジウインドP3と重なる画素のエッジ値の総和を減算した値との合計を評価値として順次算出する。そして、CPU21は、評価値が最大になったときの上瞼探索ウインドW1の位置を右眼51の上瞼の位置として検出する。
図8は、評価値が最大となったときの画素群G1と、上瞼探索ウインドW1との位置関係を示す図である。図8に示されるように、評価値が最大となったときには、上瞼探索ウインドW1は、画素群G1と重なった状態となる。CPU21は、右眼51の上瞼の位置を検出すると、同様の手順で左眼52の上瞼の位置を検出する。
次のステップS205では、CPU21は、検出した右眼51及び左眼52の上瞼の基準位置を設定する。具体的には、CPU21は、図8に示されるように、画素群G3と重なった上瞼探索ウインドW1の重心と一致するXY座標系における位置を、右眼51の上瞼の基準位置C1とする。同様に、CPU21は、画素群G3と重なった上瞼探索ウインドW1の重心と一致するXY座標系における位置を、左眼52の上瞼の基準位置C1とする。
次のステップS206では、CPU21は、下瞼探索領域を設定する。下瞼は、上瞼の下方に位置している。そこで、CPU21は、図9に示されるように、上瞼のエッジを構成する画素群G1が上方に位置する矩形の下瞼探索領域A3を設定する。同様に、画素群G3が上方に位置する矩形の下瞼探索領域A4を設定する。
なお、上述したステップS201〜ステップS206までの処理は、例えば特開2008−225838号公報に開示されている。
次のステップS207では、CPU21は、下瞼探索ウインドを用いた走査を行うことで、下瞼の位置を検出する。図10は、画素群G1,G2と、下瞼探索ウインドW2とを示す図である。図10に示されるように、下瞼探索ウインドW2は、長手方向をX軸方向とするウインドである。この下瞼探索ウインドW2は、Y軸方向の大きさが、画素DのY軸方向の大きさと等しい。また、X軸方向の大きさが、上瞼探索ウインドW1のX軸方向の大きさと等しい。ここでは、画素DのX軸方向の大きさ及びY軸方向の大きさと、下瞼探索ウインドW2のY軸方向の大きさそれぞれをdとする。
CPU21は、下瞼探索ウインドW2を、下瞼探索領域A3内で例えば1画素に相当する距離ずつ移動させる。同時に下瞼探索ウインドW2と重なる画素Dのエッジ値の総和を評価値として順次算出する。そして、CPU21は、評価値が最小になったときの下瞼探索ウインドW2の位置を右眼51の下瞼の位置として検出する。
図11は、評価値が最小となったときの画素群G2と、下瞼探索ウインドW2との位置関係を示す図である。図11に示されるように、画素群G2が、Y軸方向の位置が等しい複数の画素からなるグループG2から構成されている場合には、下瞼探索ウインドW2は、いずれかのグループG2と重なった状態となる。本実施形態では、下瞼探索ウインドW2は、グループG2を構成する画素Dと重なる。また、CPU21は、上述の下瞼探索ウインドW2を用いた処理を、下瞼探索領域A4においても実行する。
次のステップS208では、CPU21は、画素群G2を構成する画素の分布に基づいて、下瞼探索ウインドW2を変形する。具体的には、CPU21は、図12に示されるように、下瞼探索ウインドW2と重なったグループG2の両端に、Y軸方向の大きさが3dで、X軸方向の大きさがdの画素探索ウインドW3,W4を設定する。そして、CPU21は、画素探索ウインドW3を−X方向へ移動させて、当該画素探索ウインドW3と重なった画素Dを抽出する。これにより、グループG2を構成する画素が抽出される。同様に、CPU21は、画素探索ウインドW4を+X方向へ移動させて、当該画素探索ウインドW4と重なった画素Dを抽出する。これにより、グループG2を構成する画素Dが抽出される。
次に、CPU21は、図13に示されるように、既に当該画素探索ウインドW4と重なっているグループG2を構成する画素Dと、画素探索ウインドW3,W4を用いて抽出したグループG2,G2を構成する画素Dとに、下瞼探索ウインドW2が重なるように、当該下瞼探索ウインドW2を変形する。これにより、下瞼探索ウインドW2は、図13に示されるように、3つの長方形のフレームによって構成されることになる。
次に、CPU21は、グループG2の−X側端に、画素探索ウインドW3を設定し、グループG2の+X側端に、画素探索ウインドW4を設定する。そして、各画素探索ウインドW3、W4を−X方向及び+X方向へ移動させて、当該画素探索ウインドW3,W4と重なったグループG2,G2を構成する画素Dを抽出する。
次に、CPU21は、抽出した画素に、下瞼探索ウインドW2が重なるように、当該下瞼探索ウインドW2を変形する。CPU21は、以降同様の処理を繰り返し実行する。これにより、図14に示されるように、下瞼のエッジを示す画素群G2に、下瞼探索ウインドW2が完全に重なるように、下瞼探索ウインドW2が変形される。また、CPU21は、上述の処理を、画素群G4と重なる下瞼探索ウインドW2に対しても実行する。
次のステップS209では、CPU21は、下瞼の基準位置を設定する。具体的には、CPU21は、まずステップS208で変形した下瞼探索ウインドW2の重心を算出する。具体的には、CPU21は、変形した下瞼探索ウインドW2と重なる画素の平均座標によって特定される位置を重心として算出する。例えば、下瞼探索ウインドW2と重なる画素それぞれの座標が、(x1,y1),(x2,Y2),…(xn,yn)である場合には、CPU21は、X座標が(x1+x2…+xn)/nで、Y座標が(y1+y2…+yn)/nである座標によって特定される位置を重心として算出する。
図14には、矢印aに示される位置に、変形前の下瞼探索ウインドW2の重心が示され、矢印bに示される位置に、変形後の下瞼探索ウインドW2の重心が示されている。図14に示されるように、下瞼探索ウインドW2の重心は、当該下瞼探索ウインドW2が変形することで、矢印aに示される位置から、矢印bに示される位置へ移動する。CPU21は、変形後の下瞼探索ウインドW2の重心を算出すると、算出した重心のXY座標系における位置を、下瞼の基準位置C2と設定する。また、CPU21は、上述の処理を、画素群G4と重なる下瞼探索ウインドW2に対しても実行する。
次のステップS210では、CPU21は、図15に示されるように、右眼51及び左眼52それぞれの上瞼の基準位置C1と、下瞼の基準位置C2との距離を計測する。そして、この距離と所定の閾値との比較結果を開度として出力する。これにより、開度を指標として、ドライバー50の覚醒度の判定を行うことが可能となる。
以上説明したように、本第1の実施形態では、下瞼の検出の際に、まず下瞼探索ウインドW2による走査を行う。そして、下瞼探索ウインドW2と重なる画素Dのエッジ値の総和(評価値)が最大となる位置にある下瞼探索ウインドW2を変形させて、下瞼探索ウインドW2を、下瞼のエッジを構成する画素にフィッティングする。これにより、図14を参照するとわかるように、破線で示される下瞼探索ウインドW2は、実線で示されるように変形し、下瞼のエッジを構成する画素と重なる。次に、変形した下瞼探索ウインドW2の重心の位置を、下瞼の基準位置に設定する。
すなわち、本実施形態では、下瞼のエッジを構成する画素にフィッティングされた下瞼探索ウインドW2の重心が基準位置に設定される。このため、下瞼探索ウインドW2の形状と、下瞼のエッジの形状とが異なっていても、精度よく下瞼の基準位置を設定することができる。したがって、ドライバー50の眼の開度を精度よく検出することができ、ひいては、ドライバー50の覚醒度を精度良く判定することが可能となる。
撮影装置30としてのカメラがドライバー50の顔より下に設置されている場合には、画像に写る下瞼の形状が、ドライバーの顔の方向によって変化する。特に、涙袋のふくらみが大きい場合等には、実際には下に凸に湾曲する下瞼のエッジが、上に凸に湾曲するように現れる場合がある。このような場合には、下瞼探索ウインドW2の形状と、下瞼のエッジの形状とが著しく相違し、精度良く下瞼の位置を検出することが困難になる。
具体的には、下瞼探索ウインドW2の形状と、下瞼のエッジの形状とが著しく相違する場合には、図16に示されるように、下瞼探索ウインドW2が、下瞼のエッジを構成する画素群G2の端に位置する画素に一致したときに、エッジ値が最も大きくなってしまうことがある。この場合に、変形前の下瞼探索ウインドW2の重心を下瞼の基準点とすると、基準点が下瞼のエッジから大きくすれた位置に設定されてしまい、眼の開度を精度良く検出することができなくなる。一方、本実施形態では、下瞼を構成する画素にフィッティングされた下瞼探索ウインドW2の重心が下瞼の基準点に設定される。したがって、精度よく下瞼の基準位置を設定することができる。これにより、ドライバー50の眼の開度を精度よく検出することができ、ひいては、ドライバー50の覚醒度を精度良く判定することが可能となる。
なお、上記実施形態では、上瞼探索ウインドW1の重心を、変形した下瞼探索ウインドW2と重なる画素の平均座標に基づいて算出した。これに限らず、画素の輝度や、エッジスコア等に応じて重み付けされた画素に基づいて、重心を算出してもよい。具体的には、重心のX座標Xを次式(1)で算出し、Y座標Yを次式(2)で算出してもよい。なお、esは、位置(x,y)にある画素のエッジ値である。
Figure 0005454737
Figure 0005454737
また、上記実施形態では、当該下瞼探索ウインドW2の重心を、下瞼探索ウインドW2の基準位置とした。これに限らず、下瞼探索ウインドW2の基準位置は、下瞼探索ウインドW2の中心であってもよい。この中心は、X座標が、下瞼探索ウインドW2の両端のX座標xe1,xe2を用いて(xe1+xe2)/2で表され、かつ、下瞼探索ウインドW2上にある点が考えられる。
《第2の実施形態》
次に、本発明の第2の実施形態を、図面を参照しつつ説明する。なお、第1の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
本実施形態に係る瞼検出装置10Aは、演算装置20が、ハードウエアで構成されている点で、第1の実施形態に係る瞼検出装置10と相違している。図17に示されるように、瞼検出装置10は、記憶部20a、画素抽出部20b、上瞼位置検出部20c、上瞼基準位置設定部20d、下瞼位置検出部20e、下瞼探索ウインド変形部20f、下瞼基準位置設定部20g、及び開度算出部20hを有している。
記憶部20aは、撮影装置30から出力される画像に関する情報、及び上記各部20b〜20fの処理結果などを含む情報を順次記憶する。
画素抽出部20bは、画像IMに対してソーベルフィルタを用いた画像処理を実行し、画像IMに含まれるエッジを抽出する。次に、抽出したエッジの中から、ドライバーの顔の輪郭Fを示すエッジを検出する。次に、ドライバーの顔の輪郭Fに囲まれた領域に含まれるエッジから、ドライバーの眉と口を表すエッジを検出して、ドライバーの眉と口との位置をおおよそ特定する。眉と口の位置が特定されると、画素抽出部20bは、例えば図4に示されるように、X軸方向の大きさが顔の輪郭とほぼ一致し、ドライバー50の眉及び口を含む最も小さな矩形の領域を、顔領域A1として検出する。
顔を構成する眉、目、鼻、及び口の位置は、多少の個人差はあるものの顔の輪郭や、眉や眼等のいずれかの部位等を基準に概ね特定することができる。したがって、上端に眉が位置し、下端に口が位置するように規定された顔領域A1においては、眼が位置する領域をある程度正確に特定することができる。そこで、画素抽出部20bは、顔領域A1に含まれる眉毛の画像の下方に長手方向をX軸方向とする長方形の探索領域A2を規定する。
次に、画素抽出部20bは、探索領域A2に対してエッジの検出処理を実行する。エッジの検出に際しては、図5Aに示される水平エッジ検出オペレータと、図5Bに示される垂直エッジ検出オペレータとを用いる。このエッジの検出処理によって、例えば図6に示されるように、眼51,52の上瞼及び下瞼のエッジを構成する画素Dが抽出される。以下、右眼51の上瞼のエッジを画素群G1とし、下瞼のエッジを画素群G2とする。また、左眼52の上瞼のエッジを画素群G3とし、下瞼のエッジを画素群G4とする。
上瞼位置検出部20cは、上瞼探索ウインドW1を用いた走査を行うことで、上瞼の位置を検出する。具体的には、上瞼位置検出部20cは、上瞼探索ウインドW1を、探索領域A2内で例えば1画素に相当する距離ずつ移動させる。同時に水平エッジウインドP1と重なる画素Dのエッジ値の総和と、垂直エッジウインドP2と重なる画素Dのエッジ値の総和から垂直エッジウインドP3と重なる画素のエッジ値の総和を減算した値との合計を評価値として順次算出する。そして、上瞼位置検出部20cは、評価値が最大になったときの上瞼探索ウインドW1の位置を右眼51の上瞼の位置として検出する。また、同様の手順で左眼52の上瞼の位置を検出する。
上瞼基準位置設定部20dは、検出した右眼51及び左眼52の上瞼の基準位置を設定する。具体的には、図8に示されるように、画素群G3と重なった上瞼探索ウインドW1の重心と一致するXY座標系における位置を、右眼51の上瞼のエッジの基準位置C1とする。同様に、上瞼基準位置設定部20dは、画素群G3と重なった上瞼探索ウインドW1の重心と一致するXY座標系における位置を、左眼52の上瞼の基準位置C1と設定する。
下瞼位置検出部20eは、まず、下瞼探索領域を設定する。下瞼は、上瞼の下方に位置している。そこで、下瞼位置検出部20eは、図9に示されるように、上瞼のエッジを構成する画素群G1が上方に位置する矩形の下瞼探索領域A3を設定する。同様に、画素群G3が上方に位置する矩形の下瞼探索領域A4を設定する。
次に、下瞼位置検出部20eは、下瞼探索ウインドを用いた走査を行うことで、下瞼の位置を検出する。図10に示されるように、下瞼探索ウインドW2は、長手方向をX軸方向とするウインドである。この下瞼探索ウインドW2は、Y軸方向の大きさが、画素DのY軸方向の大きさと等しい。また、X軸方向の大きさが、上瞼探索ウインドW1のX軸方向の大きさと等しい。
下瞼位置検出部20eは、下瞼探索ウインドW2を、下瞼探索領域A3内で例えば1画素に相当する距離ずつ移動させる。同時に下瞼探索ウインドW2と重なる画素Dのエッジ値の総和を評価値として算出する。そして、下瞼位置検出部20eは、評価値が最小になったときの下瞼探索ウインドW2の位置を右眼51の下瞼の位置として検出する。同様に、下瞼位置検出部20eは、上述の下瞼探索ウインドW2を用いた処理を、下瞼探索領域A4においても実行する。
下瞼探索ウインド変形部20fは、画素群G2を構成する画素の分布に基づいて、下瞼探索ウインドW2を変形する。具体的には、下瞼探索ウインド変形部20fは、図12に示されるように、下瞼探索ウインドW2と重なったグループG2の両端に、Y軸方向の大きさが3dで、X軸方向の大きさがdの画素探索ウインドW3,W4を設定する。そして、画素探索ウインドW3を−X方向へ移動させて、当該画素探索ウインドW3と重なった画素Dを抽出する。これにより、グループG2を構成する画素が抽出される。同様に、下瞼探索ウインド変形部20fは、画素探索ウインドW4を+X方向へ移動させて、当該画素探索ウインドW4と重なった画素Dを抽出する。これにより、グループG2を構成する画素Dが抽出される。
次に、下瞼探索ウインド変形部20fは、図13に示されるように、既に当該画素探索ウインドW4と重なっているグループG2を構成する画素Dと、画素探索ウインドW3,W4を用いて抽出したグループG2,G2を構成する画素Dとに、下瞼探索ウインドW2が重なるように、当該下瞼探索ウインドW2を変形する。これにより、下瞼探索ウインドW2は、図13に示されるように、3つの長方形のフレームによって構成されることになる。
次に、下瞼探索ウインド変形部20fは、グループG2の−X側端に、画素探索ウインドW3を設定し、グループG2の+X側端に、画素探索ウインドW4を設定する。そして、各画素探索ウインドW3、W4を−X方向及び+X方向へ移動させて、当該画素探索ウインドW3,W4と重なったグループG2,G2を構成する画素Dを抽出する。
次に、下瞼探索ウインド変形部20fは、抽出した画素に、下瞼探索ウインドW2が重なるように、当該下瞼探索ウインドW2を変形する。下瞼探索ウインド変形部20fは、以降同様の処理を繰り返し実行する。これにより、図14に示されるように、下瞼のエッジを示す画素群G2に、下瞼探索ウインドW2が完全に重なるように、下瞼探索ウインドW2が変形される。また、下瞼探索ウインド変形部20fは、上述の処理を、画素群G4と重なる下瞼探索ウインドW2に対しても実行する。
下瞼基準位置設定部20gは、下瞼の基準位置を設定する。具体的には、下瞼基準位置設定部20gは、下瞼探索ウインド変形部20fによって変形された下瞼探索ウインドW2の重心を算出する。そして、算出した重心のXY座標系における位置を、下瞼の基準位置C2に設定する。下瞼基準位置設定部20gは、上述の処理を、画素群G4と重なる下瞼探索ウインドW2に対しても実行する。
開度算出部20hは、図15に示されるように、右眼51及び左眼52それぞれの上瞼の基準位置C1と、下瞼の基準位置C2との距離を計測する。そして、この距離と所定の閾値との比較結果を開度として出力する。これにより、開度を指標として、ドライバー50の覚醒度の判定を行うことが可能となる。
以上説明したように、本第2の実施形態では、下瞼の検出の際に、まず下瞼探索ウインドW2による走査を行う。そして、下瞼探索ウインドW2と重なる画素Dのエッジ値の総和(評価値)が最大となる位置にある下瞼探索ウインドW2を変形させて、下瞼探索ウインドW2を、下瞼のエッジを構成する画素にフィッティングする。次に、変形した下瞼探索ウインドW2の重心の位置を、下瞼の基準位置に設定する。
すなわち、本実施形態では、下瞼のエッジを構成する画素にフィッティングされた下瞼探索ウインドW2の重心が基準位置と設定される。このため、下瞼探索ウインドW2の形状と、下瞼のエッジの形状とが異なっていても、精度よく下瞼の基準位置を設定することができる。したがって、ドライバー50の眼の開度を精度よく検出することができ、ひいては、ドライバー50の覚醒度を精度良く判定することが可能となる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
例えば、上記実施形態では、下瞼のエッジを探索するための下瞼探索ウインドW2を変形させて、変形後の下瞼探索ウインドW2の重心を下瞼の基準位置にする場合について説明した。これに限らず、上瞼のエッジを構成する画素に上瞼探索ウインドW1が重なるように、当該上瞼探索ウインドW1を変形させて、変形後の上瞼探索ウインドW1の重心を、上瞼の基準位置に設定してもよい。
上記実施形態では、下瞼探索ウインドW2の重心を瞼の基準位置に設定した。これに限らず、例えば、両端が瞼の目頭及び目尻とそれぞれ一致する曲線を、下瞼探索ウインドW2と重なる画素に対してフィッティングし、フィッティングした曲線の頂点を基準位置に設定してもよい。なお、画像上の目頭及び目尻は、例えば特開2008−226125号公報に開示されるように、テンプレートを用いた公知の技術を用いて特定することができる。
また、目頭等を特定するための処理は、変形後の下瞼探索ウインドW2の近傍の領域でのみ行えばよい。具体的には、変形された前記下瞼探索ウインドW2の両端を基準位置に設定し、これらの基準位置近傍の領域で、上述の目頭等を特定するための処理を実行すればよい。これにより、テンプレートを用いた探索処理を迅速に行うことができる。
上記実施形態では、下瞼探索ウインドW2が、長方形である場合について説明した。これに限らず、下瞼探索ウインドW2は、下に凸或いは上に凸となるように湾曲していてもよい。
上記実施形態では、上瞼の基準位置C1と下瞼の基準位置C2との距離を計測し、この距離と閾値との比較結果を開度として出力することとした。これに限らず、基準位置C1から、変形した下瞼探索ウインドW2にY軸に平行な垂線をおろし、この垂線の長さと閾値との比較結果を開度として出力してもよい。
上記実施形態に係る演算装置20の機能は、専用のハードウエアによっても、通常のコンピュータシステムによっても実現することができる。
上記第1の実施形態において演算装置20の補助記憶部23に記憶されているプログラムは、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto-Optical disk)等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。
なお、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
本発明の瞼検出装置、瞼検出方法及びプログラムは、瞼の基準位置を検出するのに適している。
10,10A 瞼検出装置
20 演算装置
20a 記憶部
20b 画素抽出部
20c 上瞼位置検出部
20d 上瞼基準位置設定部
20e 下瞼位置検出部
20f 下瞼探索ウインド変形部
20g 下瞼基準位置設定部
20h 開度算出部
21 CPU
22 主記憶部
23 補助記憶部
24 表示部
25 入力部
26 インターフェイス部
27 システムバス
30 撮影装置
50 ドライバー
51 右眼
52 左眼
A1 顔領域
A2 探索領域
A3,A4 下瞼探索領域
C1,C2 基準位置
D 画素
F 輪郭
G1〜G4 画素群
IM 画像
P1 水平エッジウインド
P2,P3 垂直エッジウインド
W1 上瞼探索ウインド
W2 下瞼探索ウインド
W3,W4 画素探索ウインド

Claims (12)

  1. ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する抽出手段と、
    前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する算出手段と、
    前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する変形手段と、
    前記瞼の基準位置を、変形した前記ウインドに応じて設定する設定手段と、
    を備える瞼検出装置。
  2. 前記変形手段は、
    前記ウインドと重なる画素群の端近傍に位置する前記画素を検出し、検出した前記画素に重なるように、前記ウインドを変形する請求項1に記載の瞼検出装置。
  3. 前記変形手段は、
    前記ウインドと重なる画素群が配列される第1方向へ、前記第1方向と直交する第2方向の評価値の大きさが、前記画素の前記第2方向の評価値の大きさよりも大きくなる画素探索ウインドを走査して、前記画素探索ウインドと重なる前記画素を抽出し、
    前記ウインドを、抽出した前記画素に重なるように変形させる請求項1又は2に記載の瞼検出装置。
  4. 前記画素探索ウインドは、前記ウインドと重なる前記画素から、前記第2方向へ1画素分ずれたところに位置する前記画素と重なる請求項3に記載の瞼検出装置。
  5. 前記評価値は、前記ウインドと重なる前記画素のエッジ値の総和の絶対値である請求項1乃至4のいずれか一項に記載の瞼検出装置。
  6. 前記基準位置は、前記ウインドの重心である請求項1乃至5のいずれか一項に記載の瞼検出装置。
  7. 変形した前記ウインドと重なる画素にフィッティングされた曲線を算出する曲線算出手段を備え、
    前記設定手段は、前記曲線の頂点を前記基準位置に設定する請求項1乃至6のいずれか一項に記載の瞼検出装置。
  8. 前記設定手段は、変形された前記ウインドの端を、前記基準位置に設定する請求項1乃至6のいずれか一項に記載の瞼検出装置。
  9. 前記抽出手段は、前記エッジ値が閾値以上の画素、又は前記エッジ値が閾値以下の画素を抽出する請求項1乃至8のいずれか一項に記載の瞼検出装置。
  10. 前記画像を撮影する撮影手段を備える請求項1乃至9のいずれか一項に記載の瞼検出装置。
  11. ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する工程と、
    前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する工程と、
    前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する工程と、
    前記瞼の基準位置を、変形した前記ウインドに応じて設定する工程と、
    を含む瞼検出方法。
  12. コンピュータに、
    ドライバーの眼の画像を構成する画素から、エッジ値が所定の条件を満たす前記画素を抽出する手順と、
    前記ドライバーの瞼に対応した形状のウインドを用いて、前記画像を走査しつつ、前記ウインドと重なる前記画素の評価値を算出する手順と、
    前記評価値が最大となる位置にある前記ウインドを、前記ウインドの評価値が大きくなるように変形する手順と、
    前記瞼の基準位置を、変形した前記ウインドに応じて設定する手順と、
    を実行させるためのプログラム。
JP2013509726A 2011-04-15 2011-04-15 瞼検出装置、瞼検出方法及びプログラム Expired - Fee Related JP5454737B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/059442 WO2012140782A1 (ja) 2011-04-15 2011-04-15 瞼検出装置、瞼検出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP5454737B2 true JP5454737B2 (ja) 2014-03-26
JPWO2012140782A1 JPWO2012140782A1 (ja) 2014-07-28

Family

ID=47008984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013509726A Expired - Fee Related JP5454737B2 (ja) 2011-04-15 2011-04-15 瞼検出装置、瞼検出方法及びプログラム

Country Status (5)

Country Link
US (1) US8824739B2 (ja)
EP (1) EP2698762B1 (ja)
JP (1) JP5454737B2 (ja)
CN (1) CN103493097B (ja)
WO (1) WO2012140782A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2553657A4 (en) * 2010-04-02 2015-04-15 Nokia Corp METHODS AND APPARATUS FOR FACIAL DETECTION
WO2013008305A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 瞼検出装置
CN103258343B (zh) * 2013-05-07 2015-09-16 中南大学 一种基于图像编辑的眼部图像处理方法
US10031925B2 (en) * 2014-10-15 2018-07-24 Thinkcx Technologies, Inc. Method and system of using image recognition and geolocation signal analysis in the construction of a social media user identity graph
USD751437S1 (en) 2014-12-30 2016-03-15 Tk Holdings Inc. Vehicle occupant monitor
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
US10614328B2 (en) 2014-12-30 2020-04-07 Joyson Safety Acquisition LLC Occupant monitoring systems and methods
US9533687B2 (en) 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
DE112017005233B4 (de) * 2017-01-17 2021-08-26 Mitsubishi Electric Corporation Augenliderkennungsvorrichtung, Schläfrigkeitsbestimmungsvorrichtung und Augenliderkennungsverfahren
JP6698966B2 (ja) * 2018-02-13 2020-05-27 三菱電機株式会社 誤検出判定装置及び誤検出判定方法
SE2250299A1 (en) * 2022-03-04 2023-09-05 Tobii Ab Eye openness

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62120179A (ja) * 1985-11-14 1987-06-01 ブリテイシユ・テレコミユニケ−シヨンズ・パブリツク・リミテツド・カンパニ 画像合成装置
JPH05508951A (ja) * 1990-07-17 1993-12-09 ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 画像処理方法
JP2011086051A (ja) * 2009-10-14 2011-04-28 Fujitsu Ltd 眼位置認識装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6901167B2 (en) * 2001-04-04 2005-05-31 Microsoft Corporation Detecting multiple objects in digital image data
JP2004192552A (ja) 2002-12-13 2004-07-08 Nissan Motor Co Ltd 開閉眼判定装置
JP4331197B2 (ja) * 2006-11-06 2009-09-16 トヨタ自動車株式会社 眼開度検出装置及び方法
JP4309926B2 (ja) 2007-03-13 2009-08-05 アイシン精機株式会社 顔特徴点検出装置、顔特徴点検出方法及びプログラム
JP4309928B2 (ja) 2007-03-15 2009-08-05 アイシン精機株式会社 瞼検出装置、瞼検出方法、及び、プログラム
JP4852454B2 (ja) * 2007-03-19 2012-01-11 株式会社豊田中央研究所 目傾き検出装置及びプログラム
JP5262243B2 (ja) * 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
CN101375796B (zh) * 2008-09-18 2010-06-02 浙江工业大学 疲劳驾驶实时检测系统
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62120179A (ja) * 1985-11-14 1987-06-01 ブリテイシユ・テレコミユニケ−シヨンズ・パブリツク・リミテツド・カンパニ 画像合成装置
JPH05508951A (ja) * 1990-07-17 1993-12-09 ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 画像処理方法
JP2011086051A (ja) * 2009-10-14 2011-04-28 Fujitsu Ltd 眼位置認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6011024184; Yuille, A.L.; Cohen, D.S.; Hallinan, P.W.;: 'Feature extraction from faces using deformable templates' Computer Vision and Pattern Recognition, 1989. Proceedings CVPR '89., IEEE Computer Society Conferen , 19890604, 104 - 109 *

Also Published As

Publication number Publication date
CN103493097A (zh) 2014-01-01
JPWO2012140782A1 (ja) 2014-07-28
US20140037144A1 (en) 2014-02-06
EP2698762A4 (en) 2014-04-16
US8824739B2 (en) 2014-09-02
EP2698762A1 (en) 2014-02-19
WO2012140782A1 (ja) 2012-10-18
EP2698762B1 (en) 2017-01-04
CN103493097B (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
JP5454737B2 (ja) 瞼検出装置、瞼検出方法及びプログラム
JP5728080B2 (ja) 瞼検出装置、瞼検出方法及びプログラム
EP3537375B1 (en) Image segmentation methods, image segmentation system and device comprising same, and storage medium
US9811742B2 (en) Vehicle-surroundings recognition device
JP6075110B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR100816377B1 (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
JP2012212282A (ja) 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム
JPWO2013008305A1 (ja) 瞼検出装置
US7599546B2 (en) Image information processing system, image information processing method, image information processing program, and automobile
JP2009064395A (ja) ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
JP5100688B2 (ja) 対象物検出装置及びプログラム
JP2011089784A (ja) 物体方向推定装置
JP5201184B2 (ja) 画像処理装置及びプログラム
JP5694471B2 (ja) 眼探索方法及び該方法を使用した眼状態検出装置と眼探索装置
JP2012181629A (ja) 顔検出方法および顔検出装置、ならびに、プログラム
KR20150067679A (ko) 차량용 제스처 인식 시스템 및 그 방법
KR101484170B1 (ko) Hud 영상 평가시스템 및 그 평가방법
JP5935118B2 (ja) 物体検出装置および物体検出方法
JP5035139B2 (ja) 眼画像処理装置
JP4825737B2 (ja) 開眼度判定装置
JP5397103B2 (ja) 顔位置検出装置、顔位置検出方法及びプログラム
JP4847303B2 (ja) 障害物検出方法、障害物検出プログラムおよび障害物検出装置
JP2011086051A (ja) 眼位置認識装置
JP4725900B2 (ja) 顔画像特徴抽出方法、その装置及びそのプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131223

R151 Written notification of patent or utility model registration

Ref document number: 5454737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees