JPH07249197A - 人物状態検出装置 - Google Patents

人物状態検出装置

Info

Publication number
JPH07249197A
JPH07249197A JP6039887A JP3988794A JPH07249197A JP H07249197 A JPH07249197 A JP H07249197A JP 6039887 A JP6039887 A JP 6039887A JP 3988794 A JP3988794 A JP 3988794A JP H07249197 A JPH07249197 A JP H07249197A
Authority
JP
Japan
Prior art keywords
pupil
person
state
detecting device
detection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6039887A
Other languages
English (en)
Other versions
JP3293308B2 (ja
Inventor
Mitsuo Shitaya
光生 下谷
Minoru Nishida
稔 西田
Akira Okada
章 岡田
Toshihide Satake
敏英 佐竹
Shoichi Washino
翔一 鷲野
Futoshi Okawa
太 大川
Hiromi Terashita
裕美 寺下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP03988794A priority Critical patent/JP3293308B2/ja
Priority to US08/330,322 priority patent/US5573006A/en
Priority to DE19509689A priority patent/DE19509689C2/de
Publication of JPH07249197A publication Critical patent/JPH07249197A/ja
Priority to US08/692,236 priority patent/US5795306A/en
Application granted granted Critical
Publication of JP3293308B2 publication Critical patent/JP3293308B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6821—Eye
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Abstract

(57)【要約】 【目的】 検出対象者の状態を検出対象者の作業を妨げ
ることなく非接触で、かつ実用的に計測できる小型の人
物状態検出装置を提供する。 【構成】 検出対象者１の顔面を含む所定の領域の像を
入力するＣＣＤカメラ３、検出対象者１を同軸落射照明
する赤外線ＬＥＤ２、ＣＣＤカメラ３から出力される撮
影画像を一時格納する撮影画像メモリ１０、撮影画像よ
り検出対象者１の瞳孔位置を抽出する瞳孔抽出回路２
１、及び抽出された瞳孔抽出結果を用い、検出対象者１
の状態を判定する人物状態判定回路４０により構成す
る。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は同軸落射により網膜反
射を撮影し、検出対象者の状態を検出する人物状態検出
装置に関するもので、特に撮影画像から覚醒度を主とし
て検出する生理状態検出装置、あるいは緊張度を主とし
て検出する心理状態検出装置に関するものであり、例え
ば、運転者の居眠り状態や、運転者の心理状態を検出す
る装置である。
【０００２】
【従来の技術】従来この種の装置としては、例えば特開
昭６３−２１７５００号公報に示された生体状態検知装
置、あるいは特公平３−１４６５５号公報に示された居
眠り運動防止装置があった。これらの装置は何れも眼鏡
フレームに送受信手段を取り付け、瞼からの反射波ある
いは角膜からの反射波を検知し、瞼の開閉状況を検出し
て対象者の状態を検知していた。しかしながら、このよ
うな装置では検出対象者が上述の眼鏡をかけなくてはな
らないため煩わしいという欠点がある。
【０００３】検出対象者が検出装置を身につけないで、
本来の作業、操作を妨げることなく、非接触で人物状態
を検出できるものとしては、例えば特開昭６０−１５８
３０３号公報に示された眼の位置認識装置がある。これ
は撮影装置により顔画像を撮り、瞳孔や瞼を画像処理で
検出するものであり、図３７はこの様な装置を用いた従
来の居眠り検出装置の構成図である。図において、１は
検出対象者、２は検出対象者１を照明する、発光の中心
波長が８６０ｎｍの赤外線ＬＥＤ、３は検出対象者１の
顔画像を電気信号に変換するＣＣＤカメラ、１０はＣＣ
Ｄカメラ３の出力データを一時格納する撮影画像メモ
リ、２０は撮影画像メモリ１０から瞳孔を抽出する特徴
点抽出回路、４０は特徴点抽出回路２０のデータを基
に、瞼の開閉を検出して検出対象者が居眠りをしている
か否かを判定する居眠り判定回路である。
【０００４】次に動作について説明する。赤外線ＬＥＤ
２は検出対象者１を照射する。検出対象者１の映像は検
出対象者１の顔面を含む所定の領域を撮影できる位置に
設置されたＣＣＤカメラ３に入力され、撮影画像メモリ
１０に格納される。特徴点抽出回路２０は撮影画像メモ
リ１０のデータから瞳孔や目の位置や顔の向きなどを画
像処理により抽出する。居眠り判定回路４０では、例え
ば瞳孔を特徴点抽出回路２０で抽出することにより、見
かけ上の瞳孔の有無を検出して、一定時間以上瞳孔が見
えなければ眠っていると判断する。
【０００５】図３８はこのような従来装置において用い
られる赤外画像の例である。図３８において、４は紅
彩、５は強膜、６は瞳孔、７は顔面表面である。このよ
うにして得られた画像においては、顔はやや暗く映り、
顔表面に比べて強膜５は暗く映り、強膜５に比べ虹彩４
は暗く、瞳孔６は更に暗く映る。
【０００６】
【発明が解決しようとする課題】従来の人物状態検出装
置は、以上のように構成されているので、瞼の開閉を検
出するために複雑な画像処理が必要という問題点があっ
た。即ち、得られた画像に対し、例えばフィルタ演算を
施し、エッジ検出をし、このエッジ形状より、瞼に相当
する弧を探すというパターン認識をし、瞼の位置を求
め、そこからさらに詳しい形状を計算していた。また、
上記エッジ検出に際しても雑音等でエッジがうまく検出
できないと弧が求まらず、画像処理が複雑で時間がかか
るという問題があった。
【０００７】一方、論文「瞳孔の抽出処理と頭部の動き
を許容する視線検出装置の試作」（電子情報通信学会論
文誌Ｄ−ＩＩ Vol.J76-D-II No.3）で示されるよう
に、同軸落射装置で顔面を照射すると、網膜反射像が顕
著に撮影でき、例えば２値化処理のような非常に簡単な
画像処理で目の位置を検出できる。なお、ここで、同軸
落射照明とは、カメラの光軸と照明光の照射方向とが同
一になる構造にした照明のことである。
【０００８】この発明は上記のような問題点を解決する
ためになされたもので、上述の網膜反射像を使って、検
出対象者の状態を検出対象者の作業を妨げることなく非
接触で、かつ実用的に計測できる小型の人物状態検出装
置を提供することを目的とする。
【０００９】
【課題を解決するための手段】この発明の請求項１に係
る人物状態検出装置は、検出対象者の顔面を含む所定の
領域の像を入力する光入力手段、検出対象者を同軸落射
照明する照明手段、光入力手段から出力される撮影画像
から、検出対象者の瞳孔位置または瞳孔形状を抽出する
瞳孔抽出手段、及び抽出された瞳孔抽出結果を用い、検
出対象者の状態を判定する人物状態判定手段を備えたも
のである。
【００１０】この発明の請求項２に係る人物状態検出装
置は、検出対象者の顔面を含む所定の領域の像を入力す
る光入力手段、検出対象者を同軸落射照明する照明手
段、光入力手段から出力される撮影画像から、検出対象
者の瞳孔位置または瞳孔形状を抽出する瞳孔抽出手段、
抽出された瞳孔抽出結果から、顔面上の特徴点を含む探
索範囲を限定する探索範囲限定手段、探索範囲限定手段
が限定した領域内から上記特徴点の位置または形状を抽
出する特徴量抽出手段、及び瞳孔抽出結果または特徴量
抽出結果を用い、検出対象者の状態を判定する人物状態
判定手段を備えたものである。
【００１１】この発明の請求項３に係る人物状態検出装
置は、瞳孔抽出結果または特徴量抽出結果を記憶する抽
出結果記憶手段を有し、人物状態判定手段は上記抽出結
果記憶手段の記憶内容から検出対象者の状態を判定する
ものである。
【００１２】この発明の請求項４に係る人物状態検出装
置は、瞳孔抽出手段により抽出された瞳孔形状から瞼の
開閉度を推定する瞼開閉度推定手段を有し、人物状態判
定手段は上記瞼の開閉度から検出対象者の状態を判定す
るものである。
【００１３】この発明の請求項５に係る人物状態検出装
置は、瞳孔抽出結果から瞬目頻度を推定する瞬目頻度推
定手段を有し、人物状態判定手段は上記瞬目頻度から検
出対象者の状態を判定するものである。
【００１４】この発明の請求項６に係る人物状態検出装
置は、瞳孔抽出手段により抽出された瞳孔形状から瞳孔
の径を計り、瞳孔の拡大伸縮波形を出力する瞳孔波形出
力手段を有し、人物状態判定手段は上記瞳孔の拡大伸縮
度合いから、検出対象者の状態を判定するものである。
【００１５】この発明の請求項７に係る人物状態検出装
置は、上記瞳孔波形出力手段において瞳孔形状から瞳孔
の最大径を計るものである。
【００１６】この発明の請求項８に係る人物状態検出装
置は、特徴量抽出手段により特徴量として瞼を抽出し、
この抽出結果から瞼の開閉度を計算する瞼開閉度計算手
段を有し、人物状態判定手段は上記瞼の開閉度から検出
対象者の状態を判定するものである。
【００１７】この発明の請求項９に係る人物状態検出装
置は、瞳孔抽出結果及び特徴量抽出結果から検出対象者
の視線を検出する視線検出手段を有し、人物状態判定手
段は上記検出対象者の視線時系列パタ−ンから上記検出
対象者の状態を判定するものである。
【００１８】この発明の請求項１０に係る人物状態検出
装置は、人物状態判定手段からの一次判定結果により検
出対象者に刺激を発生する刺激発生手段を有し、人物状
態判定手段は、刺激発生前後の瞳孔または特徴点の状態
を基にして、上記検出対象者の状態を二次判定するもの
である。
【００１９】この発明の請求項１１に係る人物状態検出
装置は、所定位置から検出対象者の顔面までの距離を測
定する顔面距離計測手段を有し、瞳孔抽出手段または特
徴量抽出手段は、上記距離を用いて瞳孔形状または特徴
量を補正するものである。
【００２０】この発明の請求項１２に係る人物状態検出
装置は、検出対象者周辺の照度を測定する照度測定手段
を有し、人物状態判定手段は照度測定結果にもとづき検
出対象者の状態を判定するものである。
【００２１】この発明の請求項１３に係る人物状態検出
装置は、検出対象者の顔の向きを測定する顔方向推定手
段を有し、瞳孔抽出手段または特徴量抽出手段は、上記
顔の向きを用いて瞳孔形状または特徴量を補正するもの
である。
【００２２】この発明の請求項１４に係る人物状態検出
装置は、検出対象者の顔面を含む所定の領域の像を拡大
して光入力手段に入力する拡大手段を有するものであ
る。
【００２３】
【作用】この発明の人物状態検出装置においては、検出
対象者の瞳孔位置または瞳孔形状を同軸落射照明を使っ
て検出しているので、簡単な画像処理で瞳孔が抽出で
き、検出対象者の状態を非接触で、容易に判定できる。
【００２４】また、抽出された瞳孔抽出結果から、顔面
上の特徴点を含む探索範囲を限定し、限定した領域内か
ら特徴点の位置または形状を抽出して、瞳孔抽出結果ま
たは特徴量抽出結果を用い、検出対象者の状態を判定す
ると、より直接的な特徴量をつかむことができ、検出精
度が上がる。
【００２５】また、瞳孔抽出結果または特徴量抽出結果
を記憶する抽出結果記憶手段を設け、抽出結果記憶手段
の記憶内容から検出対象者の状態を判定することによ
り、時系列の平均的データが使え、検出精度が上がる。
【００２６】また、瞳孔抽出手段により抽出された瞳孔
形状から瞼の開閉度を推定し、推定された瞼の開閉度か
ら検出対象者の状態を判定することにより、瞬目状態が
判るので、検出対象者の覚醒度も判る。
【００２７】また、瞳孔抽出結果から瞬目頻度を推定
し、推定された瞬目頻度から検出対象者の状態を判定す
ることにより、上記と同様、瞬目状態が判るので検出対
象者の覚醒度や緊張度も判る。
【００２８】また、瞳孔抽出手段により抽出された瞳孔
形状から瞳孔の径を計り、瞳孔の拡大伸縮波形を求める
ことにより、瞳孔の拡大伸縮度合いが判り、検出対象者
の生理状態や緊張度が判る。
【００２９】また、瞳孔形状から瞳孔の径を計る際に最
大径を計ることにより、顔の方向が変わっても瞳孔の大
きさについての正しい評価ができ、信頼性が上がる。
【００３０】また、特徴量抽出手段により特徴量として
瞼を抽出し、この抽出結果から瞼の開閉度を計算し、計
算された瞼の開閉度から検出対象者の状態を判定するこ
とにより、確実に瞬目状態が判るので、検出対象者の覚
醒度の判定がより確実になる。
【００３１】また、瞳孔抽出結果及び特徴量抽出結果か
ら検出対象者の視線を検出し、視線時系列パタ−ンから
検出対象者の状態を判定することにより、検出対象者の
緊張度も判る。
【００３２】また、人物状態判定手段からの一次判定結
果により検出対象者に刺激を発生し、刺激発生前後の瞳
孔または特徴点の状態を基にして検出対象者の状態を二
次判定することにより、刺激を与える前後の状態の変化
が見れるので、人物状態検出精度が向上する。
【００３３】また、所定位置から検出対象者の顔面まで
の距離を測定し、瞳孔形状または特徴量を距離により補
正することにより、検出精度が上がる。
【００３４】また、検出対象者周辺の照度を測定し、照
度測定結果にもとづき検出対象者の状態を判定すること
により、検出精度が上がる。
【００３５】また、検出対象者の顔の向きを測定し、瞳
孔形状または特徴量を補正することにより、検出精度が
上がる。
【００３６】また、検出対象者の顔面を含む所定の領域
の像を拡大して光入力手段に入力することにより、検出
精度が上がる。
【００３７】
【実施例】
実施例１．以下、この発明の一実施例を図について説明
する。図１はこの発明の実施例１による人物状態検出装
置を示す構成図であり、図１において、３は検出対象者
１の顔面を含む所定の領域を撮影できる位置に設置され
たＣＣＤカメラ（光入力手段）、２は検出対象者１を照
明する照明手段であり、例えば発光の中心波長が８６０
ｎｍ、放射指向特性±２０゜の赤外線ＬＥＤ、８はハー
フミラー、９はブザーである。１０はＣＣＤカメラ３の
出力データを一時格納する撮影画像メモリ、２１は撮影
画像メモリ１０から瞳孔を抽出する瞳孔抽出回路、４０
は瞳孔抽出回路２１のデータを基に、瞼の開閉を検出し
て検出対象者が居眠りをしているか否かを判定する居眠
り判定回路である。なお、図１の構成の装置は夜間にお
ける撮影装置に適したものである。図２は上記構成の装
置を自動車に搭載した場合の概略構成図である。図２に
おいて、１００はフロントガラス、１０１はインスツル
メントパネルの透明カバー、１０２はハンドル、１０３
は座席である。インスツルメントパネル奥にハーフミラ
ー８、ＬＥＤ２、ＣＣＤカメラ３を設置する。ブザー９
はハンドル１０２の軸の上に設置する。
【００３８】次に動作について説明する。図１におい
て、光路ｌ1 で照射される赤外線ＬＥＤ２の照明光は、
ハーフミラー８で半分の光を反射し、光路ｌ2 で検出対
象者１の顔面を照射する。検出対象者１の画像は光路ｌ
3 でハーフミラー８を通り、半分の光がＣＣＤカメラ３
に到達し、ＣＣＤカメラは検出対象者１の画像を取り込
む。この時、光路ｌ2 とｌ3 の光軸は検出対象者からみ
て、ほぼ同軸あるいは所定の角度以内（２度）に納まる
ようになっている（同軸落射照明）。本実施例では０度
としており、ハーフミラー８がＣＣＤカメラ３の光軸ｌ
3 となす角度は４５゜である。この時検出対象者の撮影
画像は図３のようになる。図３において、上記のような
構成の同軸落射照明により、瞳孔６は網膜で反射された
光により、あたかも瞳孔が光っているように観察され、
顔の表面や他の特徴点に比べて、著しく輝度が高く映
る。これは網膜が入射光と同一方向に反射光を返す性質
を持つからである。図４に撮影画像の輝度分布を示す。
なお、図４（ａ）は本発明の撮影画像によるもの、図４
（ｂ）は従来の撮像画像によるものである。両者を比べ
ると本発明のものでは瞳孔の位置で明らかに輝度が他の
部分と異なり、従って、得られた画像から、輝度の大小
による２値化の閾値を調整するだけで、図５に示すよう
な２値化画像が得られる。この画像は瞳孔のみが白領域
として２つの円となり、他の部分は黒領域となり、従来
のような複雑な演算処理をしなくても、重心計算等、単
純な演算で容易に瞳孔の位置や形状が検出できる。
【００３９】次に図６により居眠りの検出について説明
する。まず、ステップＳ１でカウンタをリセットし、ス
テップＳ２で顔画像を入力する。ステップＳ３では上述
のように上記顔画像に対し輝度の大小による２値化処理
を行ない、瞳孔を抽出する。ステップＳ４では瞳孔が抽
出できたか否かにより、瞳孔が見えるか否かを判定し、
瞳孔が見えればステップＳ５へいき、カウンタをリセッ
トし、ステップＳ２へ戻る。瞳孔が見えなければステッ
プＳ６でカウンタアップし、ステップＳ７で５秒以上
（カウンタの値が５０００／３３＝１６７）瞳孔が見え
ない状態が続いているかを判定し、瞳孔が見えない状態
が続くと眠っていると判断し、ステップＳ８でブザーを
鳴らす。５秒以下だとステップＳ２に戻る。
【００４０】なお、上記実施例では照明手段２０は赤外
線ＬＥＤを用いたが、温度による影響を少なくするため
に、広帯域の波長の光を発生するハロゲンランプ、ある
いはハロゲンランプと特定波長の光を分光するフィルタ
で構成した照明手段を用いてもよい。また、カメラはＣ
ＣＤに限らず、例えばＣＩＤ（Charge Injection Devic
e ）カメラでもよい。
【００４１】実施例２．図７はこの発明の実施例２によ
る人物状態検出装置を示す構成図であり、請求項３に対
応する実施例である。上記実施例１では瞳孔が見えるか
どうかで居眠りしているか（覚醒度）を判断したが、本
実施例では瞳孔位置の時系列データにより覚醒度を判断
するものを示す。即ち、居眠り状態になると徐々に顔が
うつ向き、見かけ上の瞳孔の位置が低くなることから、
居眠りを検出するものを示す。図７において、３０は瞳
孔抽出回路２１で抽出された瞳孔位置を記憶する抽出結
果記憶メモリである。４０は抽出結果記憶メモリ３０に
記憶された瞳孔位置の時系列データを基に、顔がうつ向
いた時間により居眠りをしているか否かを判定する居眠
り判定回路である。
【００４２】次に動作について説明する。図８は本実施
例の動作を説明するフローチャートであり、図におい
て、ステップＳ１０では顔画像を入力する。ステップＳ
１１では実施例１と同様に、顔画像に対し輝度の大小に
よる２値化処理を行ない、瞳孔を抽出する。ステップＳ
１２では抽出した瞳孔の位置（瞳孔高さ）を記憶し、ス
テップＳ１３で５分間のデータを取ったかを判定する。
ステップＳ１４では最初の５分間の瞳孔高さを平均する
ことにより、標準瞳孔高さ（Ｔ１）を計算する。５分を
経過すると、ステップＳ１５で再び顔画像を入力し、ス
テップＳ１６で瞳孔を抽出する。ステップＳ１７では過
去２分の平均瞳孔高さを求め、ステップＳ１８でこの平
均瞳孔高さが上記標準瞳孔高さより、あらかじめ定めら
れた値（本実施例では５ｃｍ）より低いか否かを判定
し、５ｃｍ以上低くなるとステップｓ１９でうつ向いた
状態が長く続いたとして、覚醒度が低下し、居眠り状態
になったと判断する。図９（ａ）は瞳孔位置の時系列デ
ータであり、図９（ｂ）は平均瞳孔位置の時系列データ
である。図において、ｔ1 は標準瞳孔位置を求めるまで
の時間、Ｔ１は求められた標準瞳孔位置、ｔ2 は居眠り
を検出した時間である。この様に本実施例では時系列情
報を用いているので、完全に眠ってからブザーで警告す
るのでなく、覚醒度の低下を判断でき、居眠り検出の質
が向上する。なお、標準瞳孔位置は初期値で固定せず
に、瞳孔位置を求める時間（２分）より長い過去の時間
（例えば３０分）の平均値で更新するようにしてもよ
い。
【００４３】実施例３．図１０はこの発明の実施例３に
よる人物状態検出装置を示す構成図であり、請求項２及
び３に対応する実施例である。上記実施例２では瞳孔位
置により居眠りを判定したが、本実施例では顔面上の他
の特徴点を求めることにより、より直接的な特徴量をつ
かむことができるので検出精度を上げることができる。
図１０において、２２はウィンドウ設定回路（探索範囲
限定手段）であり、瞳孔抽出回路２１により抽出された
瞳孔位置から、顔面上の他の特徴点、例えば鼻孔の探索
範囲となる領域（ウィンドウ）を決める。２３はウィン
ドウ設定回路２２が限定した領域内から上記特徴点の位
置または形状を抽出する特徴点抽出回路である。例え
ば、両方の瞳孔の中心位置から５ｃｍ下の位置を中心と
する６×６ｃｍ角相当のウィンドウを設定し、探索ウィ
ンドウ内で画像処理を行い鼻孔を求める。なお、鼻孔
は、例えば輝度の低い直径１ｃｍ以下の穴という条件で
求められる。３０は瞳孔抽出回路２１で求められた瞳孔
位置、及び特徴点抽出回路２３で求められた鼻孔位置を
記憶する抽出結果記憶メモリであり、４０は鼻孔と両瞳
孔の見かけ上の位置関係により顔の傾きを求め、うつ向
いた時間により居眠り状態を判定する居眠り判定回路で
ある。
【００４４】次に居眠り検出の動作について説明する。
瞳孔抽出回路２１で求められた瞳孔位置、及び特徴点抽
出回路２３で求められた鼻孔位置は抽出結果記憶メモリ
３０で記憶され、実施例２と同様、例えば最初の５分間
の各データを用いて、顔が正面を向いているときの瞳孔
の中心位置から鼻孔中心までの見かけ上の距離Ｓ0を求
める。その後、例えば２分間の各データを用いて瞳孔の
中心位置から鼻孔中心までの見かけ上の距離Ｓを求め
る。このようにして求められたＳ0、及びＳから、顔の
角度θが求められる。即ち、顔がθだけ下に傾いた場合
の見かけ上の距離Ｓは Ｓ＝Ｓ0・ＣＯＳ（θ） となる。２分間の平均顔角度θを求め、平均顔角度θが
例えば２０度以上になると、うつ向いた時間が長いとし
て居眠り状態と判断する。この様に本実施例では実施例
２に比べ、眼だけが上下した場合と、顔全体が下がった
場合との見分けがつき、より検出精度が上がる。
【００４５】なお、上記実施例では初期状態からＳ0を
求めたが、検出対象者にメッセージを出すことにより、
正面を向かせてＳ0を求めるようにしてもよい。また、
抽出結果記憶メモリ３０を設けて２分間、あるいは５分
間の平均を取ったが、抽出結果記憶メモリ３０を設け
ず、瞬時の顔の向きを検出するものであってもよい。
【００４６】実施例４．図１１はこの発明の実施例４に
よる人物状態検出装置を示す構成図であり、請求項４に
対応する実施例である。本実施例では瞳孔の縦の長さと
横の長さの比によって瞼の開閉度を推定し、瞼の半開き
状態を検出するものである。図１１において、２４は瞳
孔抽出回路２１により抽出された瞳孔形状から瞼の開閉
度を推定する瞼開閉度推定回路である。３０は瞼の開閉
度を記憶する抽出結果記憶メモリ、４０は半開き状態の
時間により居眠り状態を判定する居眠り判定回路であ
る。
【００４７】次に居眠り検出の動作について説明する。
瞳孔抽出回路２１で抽出した瞳孔形状に対し、瞼開閉度
推定回路２４は見かけ上の瞳孔の縦の長さｙと横の長さ
ｘを求め、瞳孔の縦の長さと横の長さの比ｙ／ｘによっ
て瞼の開閉度を求める。図１２は瞼の開閉状態を示すも
ので、瞼が開状態から半開き状態へと閉じていくに従
い、ｙ／ｘが小さくなることを示している。抽出結果記
憶メモリ３０はこのようにして求められた瞼の開閉度ｙ
／ｘを記憶し、居眠り判定回路４０でｙ／ｘが例えば１
／２以下なら半開き状態と判断し、この状態が例えば２
分以上続くと居眠り状態と判断する。あるいは実施例
２、３と同様、初めの５分間のｙ／ｘの平均を取り、そ
の後ｙ／ｘが初期状態の１／２以下なら半開き状態と判
断し、この状態が２分以上続くと居眠り状態と判断す
る。この様に本実施例では瞳孔形状より瞼の開閉度を推
定することにより、瞬目状態が判り、実施例２と同様、
覚醒度の低下が判断でき、居眠り検出の質が向上する。
【００４８】実施例５．図１３はこの発明の実施例５に
よる人物状態検出装置を示す構成図であり、請求項５に
対応する実施例である。本実施例では瞳孔面積によって
瞬目頻度を推定し、この瞬目頻度により居眠り状態を検
出するものである。図１３において、瞳孔抽出回路２１
は瞳孔形状を抽出し、さらに画素数を数えることにより
瞳孔面積を求める。抽出結果記憶メモリ３０は例えば１
０ｍｓ刻みに上記瞳孔抽出回路２１で得られた瞳孔面積
を記憶する。３１は瞬目頻度計算回路であり、瞳孔面積
の時系列データをしきい値で２値化し、瞬目頻度を計算
する。４０はこの瞬目頻度の数により居眠り状態を判定
する居眠り判定回路である。
【００４９】次に居眠り検出の動作を図１４により説明
する。図１４（ａ）は瞬き時の瞳孔面積の変化を示すも
のであり、瞳孔にあたる画素数を数えることにより求め
られる。従って、抽出結果記憶メモリ３０に１０ｍｓ刻
みに瞳孔抽出回路２１で得られた瞳孔面積を記憶し、図
１４（ｂ）に示すような時系列データを得る。瞬目頻度
計算回路３１ではこの時系列データをしきい値Ｔ0 で０
と１に２値化し、例えば２分間における０の領域の数を
数えて瞬目頻度を計算する。瞬目頻度と覚醒度の関係は
図１５に示すように、覚醒度が高い時は瞬目頻度は１０
回程度であるが、覚醒度が低下すると瞬目頻度は高くな
る。本実施例では、瞬目頻度が２０回／分を越えると、
居眠り状態と判断する。この様に本実施例では瞳孔形状
より瞬目頻度を推定することにより、実施例４と同様、
瞬目状態が判り、覚醒度の低下が判断でき、居眠り検出
の質が向上する。
【００５０】なお、瞬目頻度のしきい値は２０にこだわ
らない。覚醒度が高いときの平均頻度を求めておき、例
えば、瞬目頻度が２倍になったときに、居眠りと判断し
ても良い。
【００５１】また、上記実施例では居眠りを検出した
が、退屈したときは瞬目頻度が増え、逆に興奮したとき
は瞬目頻度が減少することが知られている。このように
瞬目頻度により興奮や緊張などの心理状態を検出しても
よい。
【００５２】実施例６．図１６はこの発明の実施例６に
よる人物状態検出装置を示す構成図であり、請求項６に
対応する実施例である。本実施例では瞳孔の径を計るこ
とにより、瞳孔の拡大伸縮度合いを検出し、検出対象者
の呼吸数を検出するものである。図１６において、瞳孔
抽出回路２１は瞳孔形状を抽出し、さらにその直径を計
測する。抽出結果記憶メモリ３０は例えば１０ｍｓ刻み
に上記瞳孔抽出回路２１で得られた瞳孔の直径を記憶す
る。３２は瞳孔波形分析回路であり、瞳孔直径の時系列
データで例えば図１７のように描かれた瞳孔波形を周波
数分析する。４１は呼吸数抽出回路であり、瞳孔波形分
析回路３２で図１８のように周波数分析された結果から
その時の呼吸数を求める。
【００５３】次に呼吸数検出の動作を説明する。瞳孔は
細かくみると短時間の間でも微妙に振動しており、図１
７のように微妙に振動している。このうち低周波成分は
呼吸数に対応して変化していることが知られている。図
１７を周波数分析したものが図１８であり、図１８は
０．３３Ｈｚにピークがあり、これは２０回／分の呼吸
の周期に対応している。本実施例ではこのことを利用
し、瞳孔の直径の変化を見て呼吸数を求める。瞳孔抽出
回路２１で瞳孔形状を抽出し、さらにその直径を計測す
る。抽出結果記憶メモリ３０は１０ｍｓ刻みに上記瞳孔
の直径を記憶し、瞳孔波形分析回路３２は１分間に一度
瞳孔波形を周波数分析する。分析された結果に対し、呼
吸数抽出回路４１は探索する呼吸数の領域でピークを求
めることにより、呼吸数を求める。
【００５４】上記実施例では呼吸数のみを求めたが、人
間は緊張すると呼吸数が増えるので、得られた呼吸数に
対し、判定回路を設けて検出対象者の緊張の具合や、あ
るいは病的疾患も求めることができる。
【００５５】実施例７．図１９はこの発明の実施例７に
よる人物状態検出装置を示す構成図であり、請求項６に
対応する他の実施例である。実施例６では瞳孔の直径の
時系列データに対し周波数分析を行い、呼吸数を計測す
るものを示したが、本実施例では瞳孔の平均直径を求
め、この平均直径から検出対象者の緊張度を判定するも
のを示す。
【００５６】瞳孔抽出回路２１で瞳孔形状を抽出し、さ
らにその直径を計測し、抽出結果記憶メモリ３０に上記
瞳孔の直径を記憶する。緊張度判定回路４２では瞳孔の
平均直径を求め、平均直径が所定値以下になると緊張度
が低下したと判断する。なお、図２０（ａ）は瞳孔の直
径の変化を示すもので、実施例６で示した短時間の瞳孔
直径の微妙な振動（図１７）とは別に、長時間での比較
的大きな直径の変化が見られる。この変化は平均直径を
取ることにより、図２０（ｂ）に示すように検出するこ
とができる。図２１はこの平均直径と緊張度の関係を示
すもので、平均直径が小さくなると緊張度が弱まり、ぼ
んやり状態になることが示されている。
【００５７】なお、上記実施例６及び７において、瞳孔
形状から瞳孔の直径を計る際に瞳孔の最大径を瞳孔の直
径とすることにより、顔の方向が変わっても瞳孔の大き
さについての正しい評価ができ、信頼性が上がる。
【００５８】実施例８．図２２はこの発明の実施例８に
よる人物状態検出装置を示す構成図であり、請求項１４
に対応する実施例である。図において、５０は検出対象
者１の顔を拡大縮小してＣＣＤカメラ３のＣＣＤ面に像
を結ぶようにするズーム機構、５１は瞳孔抽出回路２１
の出力信号を判断してズーム機構５０を駆動するズーム
制御回路、５２はＣＣＤカメラの向きを変えるカメラ駆
動回路である。他は図１６に示す実施例６と同様のもの
である。
【００５９】次に動作について説明する。ＣＣＤカメラ
３の画素数を５１２×５１２、検出対象者１の２５．６
ｃｍ角を撮影するとすると、瞳孔の直径は２〜８ｍｍと
いわれているので、瞳孔直径の素数は４〜１６となり、
瞳孔が小さい時には、瞳孔の波形が精度良く抽出できな
い。本実施例は実施例６に加えてズーム機構５０を設
け、瞳孔を中心に瞳孔を大きく撮影するので瞳孔波形が
精度良く抽出できる。瞳孔抽出回路２１が瞳孔位置を抽
出すると、カメラ駆動機構５２はどちらかの瞳孔をＣＣ
Ｄカメラの中央で撮影できるようにカメラの向きを変え
る。次にズーム制御回路５１は検出対象者１を５．１ｃ
ｍ角で撮影するようにズーム機構５０を制御する。この
様にすることにより瞳孔は５倍に撮影されるので瞳孔波
形の抽出精度が上がる。また、検出対象者１が少し移動
した場合は、ズーム倍率は同一で、カメラ３の向きだけ
を追従する。検出対象者１の移動が大きく追従できない
場合は、ズーム倍率を１倍にもどして再度瞳孔を検出し
た後、ズームする。
【００６０】なお、上記実施例８では実施例６のものに
対し、ズーム機構を設けるものを示したが、実施例１な
いし５、および実施例７に対してもズーム機構を設ける
ことにより瞳孔の正確な形状がわかり、検出精度が上が
る。
【００６１】実施例９．図２３はこの発明の実施例９に
よる人物状態検出装置を示す構成図であり、請求項８に
対応する実施例である。実施例４では瞳孔形状から瞼の
開閉度を推定していたのに対し、本実施例では瞳孔と抽
出後、瞼を抽出し、瞼の抽出結果から直接、瞼の開閉度
を計算し、瞼の開閉度より瞬目波形を求めて覚醒度を検
出するものである。一般に瞬き波形は、図２４のように
なる。図において、縦軸ｙebは図２５に示すように上下
瞼の最大距離であり、ｙ0 は上下瞼が最も開いた状態の
最大距離である。横軸ｔは時間であり、ｔp は瞼の閉じ
た時、ｔ0s、ｔ0eはｙ0 ／２の時の時間である。図２６
は覚醒度が低下した場合に現れる瞬目波形（実線Ｂ）
と、覚醒度が低下していない場合の瞬目波形（破線Ａ）
である。覚醒度が下がると、個人差はあるが、瞼の瞬き
波形が遅くなる。なお、図２６において、ｙ1は上下実
線Ｂで瞼が最も開いた状態の最大距離、ｔ1s、ｔ1eはｙ
1 ／２の時の時間である。
【００６２】次に動作について説明する。図２３におい
て、ウィンドウ設定回路２２は瞳孔抽出回路２１により
抽出された瞳孔位置から、瞼の探索範囲となる領域（ウ
ィンドウ）を決める。即ち、図２５に示すように、上下
瞼の探索用に瞳孔を中心とする５ｃｍ角のウィンドウを
設ける。特徴点抽出回路２３はウィンドウ設定回路２２
が限定した領域内から、画像の上下方向の輝度変化率に
より瞼を抽出し、上下瞼の最大距離ｙebを求める。抽出
結果記憶メモリ３０は最大距離ｙebの時間変化を瞬目波
形として記憶する。居眠り判定回路４０はこの瞬目波形
をパターン識別して分析し、覚醒度低下波形の出現頻度
の推移を見て一定以上になると居眠り状態と判断する。
瞬目波形の分析には、瞬目持続期間ｔeーｔs、瞼が閉じ
る速度と開く速度の比（ｔpーｔs）／（ｔeーｔp）（但
し、ｔsはｔ1s、ｔ0sを総称して云う。またｔeはｔ1e、
ｔ0eを総称して云う）などが用いられるが、本実施例で
はｔeーｔsを用い、この値が所定値以上になると居眠り
状態と判断する。なお、上記実施例９ではｔe、ｔsをｙ
／２から求めたが、これにこだわらず、例えばｙ／３の
時の値としてもよい。
【００６３】なお、上記実施例９では、瞬目波形を用い
たが、瞼の開閉度から瞬目頻度を求め、この瞬目頻度か
ら覚醒度を求めても良い。また、実施例４と同様、瞼の
開閉度から瞼の半開き状態を判定し、この半開き状態か
ら覚醒度を求めても良い。また、上記実施例９では瞳孔
位置から瞼抽出用のウィンドウを設けて瞼を抽出した
が、瞳孔位置から紅彩抽出用のウィンドウを設け、エッ
ジ検出処理やハフ変換処理により紅彩を求め、実施例４
と同様に紅彩の欠け具合いから瞼の開閉度を推定し、覚
醒度を検出してもよい。
【００６４】実施例１０．図２７はこの発明の実施例１
０による人物状態検出装置を示す構成図であり、請求項
９に対応する実施例である。実施例７では瞳孔の平均直
径を計り、検出対象者の緊張度を検出したが、本実施例
は瞳孔を抽出後、視線を検出して、この視線の時系列パ
ターンから検出対象者の緊張度を検出するものである。
図２７において、６０は視線計算回路である。
【００６５】次に動作について説明する。図２７におい
て、ウィンドウ設定回路２２は瞳孔抽出回路２１により
抽出された瞳孔位置から、実施例９と同様、瞼の探索範
囲となる領域（ウィンドウ）を決める。特徴点抽出回路
２３はウィンドウ設定回路２２が限定した領域内から、
瞼を抽出する。視線計算回路６０は瞼と瞳孔の位置関係
により視線方向を推定する。図２８に視線の求め方を示
す。図２８（ａ）は視線が正面（カメラ方向）を向いて
いる時、図２８（ｂ）は右を向いている時、図２８
（ｃ）は視線方向を上からみた図である。上下瞼の中心
位置Ｏ（これは正面を向いたときの瞳孔の中心位置に相
当する）と瞳孔中心の見かけ上の位置Ｐが分かると、Ｏ
とＰの位置関係により視線方向が求められる。即ち、 ＯＰのＸ方向の距離＝ｄ・ｓｉｎ（α） ＯＰのＹ方向の距離＝ｄ・ｓｉｎ（β） 但し、ｄ：眼球の半径（本実施例では日本人の平均であ
る１．２２ｃｍ） α：Ｘ方向への視線の角度 β：Ｙ方向への視線の角度 抽出結果記憶メモリ３０は視線計算回路６０で求められ
た視線α、βの時系列パターンを記憶する（図２９
（ａ）は視線αに対する時系列パターンの一例）。ぼん
やりしているときは、視線の分散が減る（図２９
（ｂ））ことから、緊張度判定回路４２は次式
【００６６】
【数１】
【００６７】より視線の分散を取り（図２９（ｂ）は図
２９（ａ）の視線の動きに対する分散）、視線αに対す
る、一定時間内（例えば２分間の）の視線の分散が一定
以上より小さくなれば、ぼんやり状態であると判断す
る。
【００６８】実施例１１．図３０はこの発明の実施例１
１による人物状態検出装置を示す構成図であり、請求項
１０に対応する実施例である。上記各実施例では検出対
象者の状態を検出するもの、あるいは検出対象者の状態
を検出してブザーを鳴らすものを示したが、本実施例は
ブザーを鳴らした後の状態も検出し、より人物状態の検
出精度を上げるものである。図３０において、９１は可
視光ＬＥＤ（刺激発生手段）、９２はブザーである。
【００６９】次に動作について説明する。図３０におい
て、瞳孔抽出回路２１、抽出結果記憶メモリ３０の動作
は実施例２のものと同じであり、瞳孔位置の時系列デー
タを記憶する。居眠り判定回路４０は抽出結果記憶メモ
リ３０に記憶された瞳孔位置の時系列データを基に、顔
がうつ向いた時間により居眠りをしているか否かを判定
し、居眠りしていると仮判定した場合、検出対象者１に
向け可視光ＬＥＤ９１を光らせる。さらに居眠り判定回
路４０は、可視光ＬＥＤ９１発光前の検出対象者の状態
と発光後の状態とを比較し、再度居眠りの判定をした場
合は居眠りと判定し、ブザー９２を鳴らす。図３１に本
実施例の詳細な動作をフローチャートにより示す。図に
おいて、ステップＳ１０よりステップＳ１８までは実施
例２における図８と同じである。ステップＳ２０におい
て、居眠りと仮判定し（一次判定結果）、ステップＳ２
１でこの時の瞳孔位置を記憶する。ステップＳ２２では
可視光ＬＥＤ９１をオンにし、検出対象者１に刺激を与
える。ステップＳ２３では再度、顔画像を入力する。ス
テップＳ２４ではステップＳ１１と同様に瞳孔位置を抽
出し、ステップＳ２５では抽出した瞳孔位置（瞳孔高
さ）がステップＳ２１で記憶した瞳孔位置と変化してい
るかを判定する。変化がある場合、ステップＳ２６で居
眠り仮判定を解除して、ステップＳ２７で可視光ＬＥＤ
９１をオフにする。変化がない場合には、ステップＳ２
８で居眠り仮判定後、３秒以上経過しているかを判定
し、経過していなければステップＳ２３に戻り、もう一
度顔画像を取る。経過していればうつ向いた状態が警告
後も長く続いたとして居眠りと判定し（二次判定結
果）、ブザー９２を鳴らす。
【００７０】なお、上記実施例１１では実施例２に対す
る人物状態検出装置に対し、刺激を与える前後の状態の
変化を見たが、他の実施例の人物状態検出装置に対して
も、検出対象者の状態に応じて刺激を与え、刺激を与え
る前後の状態の変化を見るようにしてもよい。
【００７１】また、上記実施例において、可視光ＬＥＤ
９１は小さくなるブザーでもよいし、五感に訴えるもの
であれば他のものであってもよい。また、プラントの制
御板などのオペレータに対しては、「このボタンを押し
て下さい」等の指示を音声で与えるようにしてもよい。
【００７２】実施例１２．図３２はこの発明の実施例１
２による人物状態検出装置を示す構成図であり、請求項
１１に対応する実施例である。上記各実施例では検出対
象者迄の距離は一定と仮定して瞳孔の位置や形状、ま
た、瞼等の特徴点の位置や形状を検出していたが、図３
３に示すようにカメラと検出対象者との距離Ｌが遠くな
ると、見かけ上の瞳孔や瞼等の大きさも小さくなる。検
出対象者１とカメラ３間の標準的な距離をＬ0とする
と、見かけ上の例えば瞼の大きさｙebは Ｙeb・Ｌ0／
Ｌになり、検出対象者の距離が変動すると瞬目波形に誤
差がでる。なお、Ｙebは標準距離から見た瞼の大きさで
ある。本実施例はこの様な距離による瞳孔形状または特
徴量の変化を補正する機能を備えたものであり、実施例
９に対する人物状態検出装置に対し、補正手段を設けた
ものである。図３２において、７０は超音波送信および
受信回路からなる超音波センサ測距回路であり、ＣＣＤ
カメラ３に近接して設けられている。
【００７３】次に動作を説明する。測距は超音波パルス
を超音波センサ測距回路７０から検出対象者１に発信
し、超音波が検出対象者１に当った反射波の伝搬時間を
計算することにより、距離Ｌを求める。 Ｌ＝ｖ・ｔ／２ 但し、ｖ：超音波の伝搬速度、ｔ：エコーを送信してか
ら受信するまでの時間このようにして検出対象者１とカ
メラ３間の距離Ｌを測り、例えば実施例９で求めるＹeb
を距離により以下のように補正して、瞬目波形を得る。 Ｙeb＝ｙeb・Ｌ／Ｌ0 以下の居眠り検出の動作は実施例９と同一である。
【００７４】なお、上記実施例１２では実施例９に対す
る人物状態検出装置に対し、距離による補正を行なった
が、他の実施例の人物状態検出装置に対しても、同様に
所定位置から検出対象者の顔面までの距離を測定し、瞳
孔形状または特徴量を距離により補正することにより、
検出精度が上がる。
【００７５】なお、上記実施例では、測距の手段として
超音波センサを用いたが、測距の手段はこれに限るもの
ではなく、カメラレンズの焦点が一致する点から距離を
求める方法でも、頭部に位置計測用のの磁気センサをと
りつける方法でもよい。また、同軸落射撮影装置を複数
用意し、三角測量の原理から顔面上の特徴点の距離を求
める方法でもよい。
【００７６】実施例１３．図３４はこの発明の実施例１
３による人物状態検出装置を示す構成図であり、請求項
１２に対応する実施例である。上記各実施例では検出対
象者周辺の照度は一定と仮定して瞳孔の形状を検出して
いたが、瞳孔の大きさは例えば図３５に示すように明る
くなると小さくなるため、明るさが変動すると誤差がで
る。本実施例はこの様な明るさによる瞳孔形状の変化を
補正する機能を備えたものであり、実施例６に対する人
物状態検出装置に対し、補正手段を設けたものである。
図３４において、８０は検出対象者近傍に設置した照度
センサである。
【００７７】次に動作を説明する。照度センサ８０で検
出対象者周辺の照度を測定し、瞳孔抽出回路２１で抽出
された瞳孔の直径に対し、予め求められた照度に応じた
係数をかけて補正する。このようにすることにより照度
によらない瞳孔波形の分析が可能となる。
【００７８】または照度が変化したとき、それまでの瞳
孔波形分析結果を棄却し、新たな瞳孔波形で分析するよ
うにしてもよい。
【００７９】実施例１４．図３６はこの発明の実施例１
４による人物状態検出装置を示す構成図であり、請求項
１３に対応する実施例である。上記実施例９では瞼の上
下の距離により覚醒度を判断したが、顔を上下に傾けな
い場合はこれでうまく行く。顔が上下に傾くと見かけ
上、瞼の上下の距離が小さくなる。本実施例はこの様な
検出対象者の顔の向きによる瞳孔形状または特徴量の変
化を補正する機能を備えたものであり、実施例９に対す
る人物状態検出装置に対し、補正手段を設けたものであ
る。図３６において、２５は顔方向推定抽出結果補正回
路である。
【００８０】次に動作を説明する。顔の上下の角度は実
施例３と同様にして求められる。即ち、瞳孔抽出回路２
１で求められた瞳孔位置、及び特徴点抽出回路２３で求
められた鼻孔位置は、顔方向推定抽出結果補正回路２５
に入力され、顔が正面を向いているときの瞳孔の中心位
置から鼻孔中心までの距離Ｓ0と瞳孔の中心位置から鼻
孔中心までの見かけ上の距離Ｓを求める。このようにし
て求められたＳ0、及びＳから、顔の上下角度θが求め
られる。 Ｓ＝Ｓ0・ＣＯＳ（θ） 一方、特徴点抽出回路２３では実施例９と同様に瞼を抽
出し、上下瞼の最大距離ｙebを求め、顔方向推定抽出結
果補正回路２５に入力される。顔方向推定抽出結果補正
回路２５では得られたθとｙebの値から瞼の上下の距離
を補正する。 ｙh＝ｙeb／ｃｏｓ（θ） 但し、ｙeb：画像から瞼の上下の距離を抽出した抽出結
果 ｙh：補正後の瞼の上下の距離 θ：顔の上下回転角度（正面は０度） 抽出結果記憶メモリ３０は補正後の距離ｙh の時間変化
を瞬目波形として記憶する。居眠り判定回路４０はこの
瞬目波形をパターン識別して分析し、覚醒度低下波形の
出現頻度の推移を見て一定以上になると居眠り状態と判
断する。
【００８１】なお上記実施例１４では実施例９に対する
人物状態検出装置に対し、顔の上下角度による補正を行
なったが、他の実施例の人物状態検出装置に対しても、
同様に顔の上下角度あるいは左右の角度を測定し、瞳孔
形状または特徴量を上記角度により補正することによ
り、検出精度が上がる。
【００８２】
【発明の効果】以上のように、この発明の請求項１によ
れば、検出対象者の顔面を含む所定の領域の像を入力す
る光入力手段、検出対象者を同軸落射照明する照明手
段、光入力手段から出力される撮影画像から、検出対象
者の瞳孔位置または瞳孔形状を抽出する瞳孔抽出手段、
及び抽出された瞳孔抽出結果を用い、検出対象者の状態
を判定する人物状態判定手段を備えたので、簡単な画像
処理で瞳孔が抽出でき、検出対象者の状態を非接触で、
容易に判定できる効果がある。
【００８３】この発明の請求項２によれば、検出対象者
の顔面を含む所定の領域の像を入力する光入力手段、検
出対象者を同軸落射照明する照明手段、光入力手段から
出力される撮影画像から、検出対象者の瞳孔位置または
瞳孔形状を抽出する瞳孔抽出手段、抽出された瞳孔抽出
結果から、顔面上の特徴点を含む探索範囲を限定する探
索範囲限定手段、探索範囲限定手段が限定した領域内か
ら上記特徴点の位置または形状を抽出する特徴量抽出手
段、及び瞳孔抽出結果または特徴量抽出結果を用い、検
出対象者の状態を判定する人物状態判定手段を備えたの
で、より直接的な特徴量をつかむことができ、検出精度
が上がる効果がある。
【００８４】この発明の請求項３によれば、瞳孔抽出結
果または特徴量抽出結果を記憶する抽出結果記憶手段を
有し、人物状態判定手段は上記抽出結果記憶手段の記憶
内容から検出対象者の状態を判定するので、時系列の平
均的データが使え、検出精度が上がる効果がある。
【００８５】この発明の請求項４によれば、瞳孔抽出手
段により抽出された瞳孔形状から瞼の開閉度を推定する
瞼開閉度推定手段を有し、人物状態判定手段は上記瞼の
開閉度から検出対象者の状態を判定するので、瞬目状態
が判り、検出対象者の覚醒度が判る。
【００８６】この発明の請求項５によれば、瞳孔抽出結
果から瞬目頻度を推定する瞬目頻度推定手段を有し、人
物状態判定手段は上記瞬目頻度から検出対象者の状態を
判定するので、上記と同様、瞬目状態が判り、検出対象
者の覚醒度や緊張度が判る。
【００８７】この発明の請求項６によれば、瞳孔抽出手
段により抽出された瞳孔形状から瞳孔の径を計り、瞳孔
の拡大伸縮波形を出力する瞳孔波形出力手段を有し、人
物状態判定手段は上記瞳孔の拡大伸縮度合いから、検出
対象者の状態を判定するので、検出対象者の生理状態や
緊張度が判る。
【００８８】この発明の請求項７によれば、上記瞳孔波
形出力手段において瞳孔形状から瞳孔の最大径を計るの
で、顔の方向が変わっても瞳孔の大きさについての正し
い評価ができ、信頼性が上がる。
【００８９】この発明の請求項８によれば、特徴量抽出
手段により特徴量として瞼を抽出し、この抽出結果から
瞼の開閉度を計算する瞼開閉度計算手段を有し、人物状
態判定手段は上記瞼の開閉度から検出対象者の状態を判
定するので、確実に瞬目状態が判り、検出対象者の覚醒
度の判定がより確実になる。
【００９０】この発明の請求項９によれば、瞳孔抽出結
果及び特徴量抽出結果から検出対象者の視線を検出する
視線検出手段を有し、人物状態判定手段は上記検出対象
者の視線時系列パタ−ンから上記検出対象者の状態を判
定するので、検出対象者の緊張度が判る。
【００９１】この発明の請求項１０によれば、人物状態
判定手段からの一次判定結果により検出対象者に刺激を
発生する刺激発生手段を有し、人物状態判定手段は、刺
激発生前後の瞳孔または特徴点の状態を基にして、上記
検出対象者の状態を二次判定するので、人物状態検出精
度が向上する。
【００９２】この発明の請求項１１によれば、所定位置
から検出対象者の顔面までの距離を測定する顔面距離計
測手段を有し、瞳孔抽出手段または特徴量抽出手段は、
上記距離を用いて瞳孔形状または特徴量を補正するの
で、検出精度が上がる効果がある。
【００９３】この発明の請求項１２によれば、検出対象
者周辺の照度を測定する照度測定手段を有し、人物状態
判定手段は照度測定結果にもとづき検出対象者の状態を
判定するので、検出精度が上がる効果がある。
【００９４】この発明の請求項１３によれば、検出対象
者の顔の向きを測定する顔方向推定手段を有し、瞳孔抽
出手段または特徴量抽出手段は、上記顔の向きを用いて
瞳孔形状または特徴量を補正するので、検出精度が上が
る効果がある。
【００９５】この発明の請求項１４によれば、検出対象
者の顔面を含む所定の領域の像を拡大して光入力手段に
入力する拡大手段を有するので、検出精度が上がる効果
がある。
【図面の簡単な説明】
【図１】この発明の実施例１による人物状態検出装置を
示す構成図である。
【図２】この発明の実施例１による人物状態検出装置を
車載した状態を説明する説明図である。
【図３】この発明の実施例１に係わる光入力手段により
撮像された撮影画像を示す説明図である。
【図４】この発明の実施例１に係わる光入力手段により
撮像された撮影画像を従来のものと比較して説明する説
明図である。
【図５】この発明の実施例１に係わる瞳孔抽出回路によ
り抽出された抽出結果を示す説明図である。
【図６】この発明の実施例１による人物状態検出装置の
動作を示すフローチャートである。
【図７】この発明の実施例２による人物状態検出装置を
示す構成図である。
【図８】この発明の実施例２による人物状態検出装置の
動作を示すフローチャートである。
【図９】この発明の実施例２による人物状態検出装置の
動作を説明する説明図である。
【図１０】この発明の実施例３による人物状態検出装置
を示す構成図である。
【図１１】この発明の実施例４による人物状態検出装置
を示す構成図である。
【図１２】この発明の実施例４による人物状態検出装置
の動作を説明する説明図である。
【図１３】この発明の実施例５による人物状態検出装置
を示す構成図である。
【図１４】この発明の実施例５による人物状態検出装置
の動作を説明する説明図である。
【図１５】この発明の実施例５による人物状態検出装置
の動作を説明する説明図である。
【図１６】この発明の実施例６による人物状態検出装置
を示す構成図である。
【図１７】この発明の実施例６による人物状態検出装置
の動作を説明する説明図である。
【図１８】この発明の実施例６による人物状態検出装置
の動作を説明する説明図である。
【図１９】この発明の実施例７による人物状態検出装置
を示す構成図である。
【図２０】この発明の実施例７による人物状態検出装置
の動作を説明する説明図である。
【図２１】この発明の実施例７による人物状態検出装置
の動作を説明する説明図である。
【図２２】この発明の実施例８による人物状態検出装置
を示す構成図である。
【図２３】この発明の実施例９による人物状態検出装置
を示す構成図である。
【図２４】この発明の実施例９による人物状態検出装置
の動作を説明する説明図である。
【図２５】この発明の実施例９による人物状態検出装置
の動作を説明する説明図である。
【図２６】この発明の実施例９による人物状態検出装置
の動作を説明する説明図である。
【図２７】この発明の実施例１０による人物状態検出装
置を示す構成図である。
【図２８】この発明の実施例１０による人物状態検出装
置の動作を説明する説明図である。
【図２９】この発明の実施例１０による人物状態検出装
置の動作を説明する説明図である。
【図３０】この発明の実施例１１による人物状態検出装
置を示す構成図である。
【図３１】この発明の実施例１１による人物状態検出装
置の動作を説明するフローチャートである。
【図３２】この発明の実施例１２による人物状態検出装
置を示す構成図である。
【図３３】この発明の実施例１２による人物状態検出装
置の動作を説明する説明図である。
【図３４】この発明の実施例１３による人物状態検出装
置を示す構成図である。
【図３５】この発明の実施例１３による人物状態検出装
置の動作を説明する説明図である。
【図３６】この発明の実施例１４による人物状態検出装
置を示す構成図である。
【図３７】従来の人物状態検出装置を示す構成図であ
る。
【図３８】従来の人物状態検出装置に用いられる光入力
手段により撮像された撮影画像を示す説明図である。
【符号の説明】
１ 検出対象者 ２ 赤外線ＬＥＤ ３ ＣＣＤカメラ ６ 瞳孔 ８ ハーフミラー ９ ブザー １０ 撮影画像入力メモリ ２１ 瞳孔抽出回路 ２２ ウィンドウ設定回路 ２３ 特徴点抽出回路 ２４ 瞼開閉度推定回路 ２５ 顔方向推定抽出結果補正回路 ３０ 抽出結果記憶メモリ ３１ 瞬目頻度計算回路 ３２ 瞳孔波形分析回路 ４０ 居眠り判定回路 ４１ 呼吸数抽出回路 ４２ 緊張度判定回路 ５０ ズーム機構 ５１ ズーム制御回路 ５２ カメラ駆動機構 ６０ 視線計算回路 ７０ 超音波センサ測距回路 ８０ 照度センサ ９１ 可視光ＬＥＤ ９２ ブザー
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 1/00 Ｇ０８Ｂ 21/00 Ｑ Ｈ０４Ｎ 7/18 Ｃ Ｇ０６Ｆ 15/62 ３８０ (72)発明者 佐竹 敏英 尼崎市塚口本町８丁目１番１号 三菱電機 株式会社産業システム研究所内 (72)発明者 鷲野 翔一 尼崎市塚口本町８丁目１番１号 三菱電機 株式会社産業システム研究所内 (72)発明者 大川 太 尼崎市塚口本町８丁目１番１号 三菱電機 株式会社生産技術研究所内 (72)発明者 寺下 裕美 尼崎市塚口本町８丁目１番１号 三菱電機 株式会社中央研究所内

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 検出対象者の顔面を含む所定の領域の像
    を入力する光入力手段、上記検出対象者を照明し、上記
    検出対象者と上記光入力手段とを結ぶ光軸と、照明光照
    射方向とが少なくとも上記検出対象者近傍においてほぼ
    同軸となるように配置された照明手段、上記光入力手段
    から出力される上記検出対象者の撮影画像から、検出対
    象者の瞳孔位置または瞳孔形状を抽出する瞳孔抽出手
    段、及び上記瞳孔抽出手段により抽出された瞳孔抽出結
    果を用い、上記検出対象者の状態を判定する人物状態判
    定手段を備えた人物状態検出装置。
  2. 【請求項２】 検出対象者の顔面を含む所定の領域の像
    を入力する光入力手段、上記検出対象者を照明し、上記
    検出対象者と上記光入力手段とを結ぶ光軸と、照明光照
    射方向とが少なくとも上記検出対象者近傍においてほぼ
    同軸となるように配置された照明手段、上記光入力手段
    から出力される上記検出対象者の撮影画像から、検出対
    象者の瞳孔位置または瞳孔形状を抽出する瞳孔抽出手
    段、上記瞳孔抽出手段により抽出された瞳孔抽出結果か
    ら、顔面上の特徴点を含む探索範囲を限定する探索範囲
    限定手段、上記探索範囲限定手段が限定した領域内から
    上記特徴点の位置または形状を抽出する特徴量抽出手
    段、及び上記瞳孔抽出結果または特徴量抽出手段により
    抽出された特徴量抽出結果を用い、上記検出対象者の状
    態を判定する人物状態判定手段を備えた人物状態検出装
    置。
  3. 【請求項３】 請求項１または２記載の人物状態検出装
    置において、瞳孔抽出結果または特徴量抽出結果を記憶
    する抽出結果記憶手段を有し、人物状態判定手段は上記
    抽出結果記憶手段の記憶内容から検出対象者の状態を判
    定することを特徴とする人物状態検出装置。
  4. 【請求項４】 請求項１または３に記載の人物状態検出
    装置において、瞳孔抽出手段により抽出された瞳孔形状
    から瞼の開閉度を推定する瞼開閉度推定手段を有し、人
    物状態判定手段は上記瞼の開閉度から検出対象者の状態
    を判定することを特徴とする人物状態検出装置。
  5. 【請求項５】 請求項１または３に記載の人物状態検出
    装置において、瞳孔抽出結果から瞬目頻度を推定する瞬
    目頻度推定手段を有し、人物状態判定手段は上記瞬目頻
    度から検出対象者の状態を判定することを特徴とする人
    物状態検出装置。
  6. 【請求項６】 請求項１または３に記載の人物状態検出
    装置において、瞳孔抽出手段により抽出された瞳孔形状
    から瞳孔の径を計り、瞳孔の拡大伸縮波形を出力する瞳
    孔波形出力手段を有し、人物状態判定手段は上記瞳孔の
    拡大伸縮度合いから、検出対象者の状態を判定すること
    を特徴とする人物状態検出装置。
  7. 【請求項７】 請求項６に記載の人物状態検出装置にお
    いて、瞳孔波形出力手段は瞳孔抽出手段により抽出され
    た瞳孔形状から瞳孔の最大径を計り、瞳孔の拡大伸縮波
    形を出力することを特徴とする人物状態検出装置。
  8. 【請求項８】 請求項２または３に記載の人物状態検出
    装置において、特徴量抽出手段により特徴量として瞼を
    抽出し、この抽出結果から瞼の開閉度を計算する瞼開閉
    度計算手段を有し、人物状態判定手段は上記瞼の開閉度
    から検出対象者の状態を判定することを特徴とする人物
    状態検出装置。
  9. 【請求項９】 請求項２または３に記載の人物状態検出
    装置において、瞳孔抽出結果及び特徴量抽出結果から検
    出対象者の視線を検出する視線検出手段を有し、人物状
    態判定手段は上記検出対象者の視線時系列パタ−ンから
    上記検出対象者の状態を判定することを特徴とする人物
    状態検出装置。
  10. 【請求項１０】 請求項１ないし９のいずれかに記載の
    人物状態検出装置において、人物状態判定手段からの一
    次判定結果により検出対象者に刺激を発生する刺激発生
    手段を有し、人物状態判定手段は、刺激発生前後の瞳孔
    または特徴点の状態を基にして、上記検出対象者の状態
    を二次判定することを特徴とする人物状態検出装置。
  11. 【請求項１１】 請求項１ないし１０のいずれかに記載
    の人物状態検出装置において、所定位置から検出対象者
    の顔面までの距離を測定する顔面距離計測手段を有し、
    瞳孔抽出手段または特徴量抽出手段は、上記距離を用い
    て瞳孔形状または特徴量を補正することを特徴とする人
    物状態検出装置。
  12. 【請求項１２】 請求項１ないし１１のいずれかに記載
    の人物状態検出装置において、検出対象者周辺の照度を
    測定する照度測定手段を有し、人物状態判定手段は照度
    測定結果にもとづき検出対象者の状態を判定することを
    特徴とする人物状態検出装置。
  13. 【請求項１３】 請求項１ないし１２のいずれかに記載
    の人物状態検出装置において、検出対象者の顔の向きを
    測定する顔方向推定手段を有し、瞳孔抽出手段または特
    徴量抽出手段は、上記顔の向きを用いて瞳孔形状または
    特徴量を補正することを特徴とする人物状態検出装置。
  14. 【請求項１４】 請求項１ないし１３のいずれかに記載
    の人物状態検出装置において、検出対象者の顔面を含む
    所定の領域の像を拡大して光入力手段に入力する拡大手
    段を有することを特徴とする人物状態検出装置。
JP03988794A 1994-03-10 1994-03-10 人物状態検出装置 Expired - Fee Related JP3293308B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP03988794A JP3293308B2 (ja) 1994-03-10 1994-03-10 人物状態検出装置
US08/330,322 US5573006A (en) 1994-03-10 1994-10-27 Bodily state detection apparatus
DE19509689A DE19509689C2 (de) 1994-03-10 1995-03-07 Verfahren zum Erfassen einer Vigilanz einer Person
US08/692,236 US5795306A (en) 1994-03-10 1996-08-07 Bodily state detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03988794A JP3293308B2 (ja) 1994-03-10 1994-03-10 人物状態検出装置

Publications (2)

Publication Number Publication Date
JPH07249197A true JPH07249197A (ja) 1995-09-26
JP3293308B2 JP3293308B2 (ja) 2002-06-17

Family

ID=12565493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03988794A Expired - Fee Related JP3293308B2 (ja) 1994-03-10 1994-03-10 人物状態検出装置

Country Status (3)

Country Link
US (2) US5573006A (ja)
JP (1) JP3293308B2 (ja)
DE (1) DE19509689C2 (ja)

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08322796A (ja) * 1995-05-29 1996-12-10 Sharp Corp 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置
JPH0921611A (ja) * 1995-07-06 1997-01-21 Mitsubishi Electric Corp 顔画像撮像装置
JPH09254742A (ja) * 1996-03-22 1997-09-30 Nissan Diesel Motor Co Ltd 車両における覚醒度低下検出装置
JPH10192334A (ja) * 1996-12-27 1998-07-28 Nidek Co Ltd 眼科手術装置
JPH10192333A (ja) * 1996-12-27 1998-07-28 Nidek Co Ltd 眼科手術装置
JPH10272961A (ja) * 1997-03-31 1998-10-13 Nissan Diesel Motor Co Ltd 居眠り警報装置
JPH1166304A (ja) * 1997-08-12 1999-03-09 Mitsubishi Electric Corp 顔画像処理装置
JPH11175895A (ja) * 1997-12-05 1999-07-02 Nippon Telegr & Teleph Corp <Ntt> ドライバー状況依存コミュニケーション装置及びその方法
JP2000132693A (ja) * 1998-10-27 2000-05-12 Sony Corp 画像処理装置および方法、並びに提供媒体
JP2001242417A (ja) * 2000-02-28 2001-09-07 Mixed Reality Systems Laboratory Inc 瞳孔位置検出装置及びそれを用いた画像表示装置
JP2003271932A (ja) * 2002-03-14 2003-09-26 Nissan Motor Co Ltd 視線方向検出装置
JPWO2002056251A1 (ja) * 2000-12-27 2004-05-20 三菱電機株式会社 画像処理装置及びそれを搭載したエレベータ
JP2004518497A (ja) * 2001-02-21 2004-06-24 カール ツァイス イェナ ゲーエムベーハー 前眼部における距離決定方法
JP2004321621A (ja) * 2003-04-25 2004-11-18 Tadahiko Fukuda 戸惑い検出方法及び戸惑い検出プログラム
JP2005018656A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 運転者状態検出装置
JP2005013626A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP2005081101A (ja) * 2003-09-11 2005-03-31 Nissan Diesel Motor Co Ltd 視線方向検出装置及び視線方向検出方法
JP2005087284A (ja) * 2003-09-12 2005-04-07 Nissan Diesel Motor Co Ltd 覚醒状態判定装置及び覚醒状態判定方法
JP2005141315A (ja) * 2003-11-04 2005-06-02 Denso Corp 居眠り運転予防装置
JP2006059147A (ja) * 2004-08-20 2006-03-02 Kiyomi Nakamura コンピュータ入力方法と装置
JP2007097668A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp 状態識別装置、プログラムおよび方法
JP2007099249A (ja) * 2005-10-07 2007-04-19 Denso Corp 自動車用ユーザーもてなしシステム
JP2007212421A (ja) * 2006-02-13 2007-08-23 Denso Corp 自動車用もてなし情報提供システム
JP2007268164A (ja) * 2006-03-31 2007-10-18 National Univ Corp Shizuoka Univ 視線移動検出方法及び視線移動検出装置
JP2007312824A (ja) * 2006-05-23 2007-12-06 Asahi Kasei Corp まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
JP2008171065A (ja) * 2007-01-09 2008-07-24 Denso Corp 眠気検知装置
JP2008246013A (ja) * 2007-03-30 2008-10-16 National Univ Corp Shizuoka Univ 眠気検知装置
WO2009060892A1 (ja) * 2007-11-08 2009-05-14 Aisin Seiki Kabushiki Kaisha 車載用画像処理装置、画像処理方法、および、プログラム
JP2009240519A (ja) * 2008-03-31 2009-10-22 Aisin Seiki Co Ltd 眼開閉判別装置、及びプログラム
JP2010134608A (ja) * 2008-12-03 2010-06-17 Omron Corp 検出装置および方法、並びに、プログラム
JP2010134490A (ja) * 2008-12-02 2010-06-17 Omron Corp 検出装置および方法、並びに、プログラム
JP2010220942A (ja) * 2009-03-25 2010-10-07 Yaskawa Information Systems Co Ltd 瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラム
JP2011048531A (ja) * 2009-08-26 2011-03-10 Aisin Seiki Co Ltd 眠気検出装置、眠気検出方法、及びプログラム
JP2011523867A (ja) * 2008-05-28 2011-08-25 エフェクティブ・コントロール・トランスポート・インコーポレイテッド 微睡み検出方法及び装置
WO2012039139A1 (ja) * 2010-09-24 2012-03-29 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
WO2012137625A1 (ja) * 2011-04-08 2012-10-11 ブラザー工業株式会社 画像表示装置
JP2014232470A (ja) * 2013-05-30 2014-12-11 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
WO2014208287A1 (ja) * 2013-06-24 2014-12-31 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
WO2016038784A1 (ja) * 2014-09-11 2016-03-17 株式会社デンソー ドライバ状態判定装置
JP2016139258A (ja) * 2015-01-27 2016-08-04 マツダ株式会社 ドライバ状態判定装置
JP2016207174A (ja) * 2015-04-28 2016-12-08 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置
WO2018151229A1 (ja) * 2017-02-20 2018-08-23 株式会社東海理化電機製作所 生体状態推定装置
JP2019012429A (ja) * 2017-06-30 2019-01-24 いすゞ自動車株式会社 車両用警報装置
JP2019523514A (ja) * 2016-07-21 2019-08-22 ビジョンアップ ソルーションズ エス．エル． 電子画面を具備する装置での近接作業が引き起こす視力低下を防止するためのシステムおよび方法
JPWO2021049031A1 (ja) * 2019-09-13 2021-03-18
JP2022012354A (ja) * 2020-07-01 2022-01-17 トヨタ自動車株式会社 眠気兆候通知システム、眠気兆候通知方法、及び眠気兆候通知プログラム

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU4085793A (en) * 1992-05-27 1993-12-30 Plastisign Limited Method of cold laminating rigid plastics and stationery and apparatus therefor
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
USRE39539E1 (en) 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
DE19643593A1 (de) * 1996-10-22 1998-04-23 Privatinstitut Fuer Informatik Vorrichtung und Verfahren zum frühzeitigen Erkennen und Verhindern unzulässiger Konzentrationsschwächen und des Einschlafens beim Autofahren und bei anderen Tätigkeiten, die hohe Konzentration erfordern
DE19719695A1 (de) * 1997-05-09 1998-11-19 Univ Eberhard Karls Verfahren und Vorrichtung zum Messen der Aufmerksamkeit von Lebewesen innerhalb einer Menge von Lebewesen
DE19731301C2 (de) * 1997-07-13 2001-05-10 Smi Senso Motoric Instr Gmbh Vorrichtung zum Steuern eines Mikroskopes mittels Blickrichtungsanalyse
JPH1147094A (ja) * 1997-08-05 1999-02-23 Canon Inc 検眼装置
EP0910986A1 (en) * 1997-10-24 1999-04-28 BRITISH TELECOMMUNICATIONS public limited company Imaging apparatus
DE19803158C1 (de) * 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
FR2784887B1 (fr) 1998-10-22 2001-01-19 Renault Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule
DE19856129A1 (de) * 1998-12-04 2000-06-08 Volkswagen Ag Verfahren zur Ansteuerung von Sicherheitseinrichtungen in einem Kraftfahrzeug
US6483484B1 (en) * 1998-12-18 2002-11-19 Semiconductor Energy Laboratory Co., Ltd. Goggle type display system
JP3839982B2 (ja) * 1999-01-29 2006-11-01 松下電器産業株式会社 人体検知装置及び人体検知方法
JP3600755B2 (ja) * 1999-05-13 2004-12-15 三菱電機株式会社 顔画像処理装置
FR2821459B1 (fr) * 2001-02-23 2004-11-12 Holding Bev Sa Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation
DE10024227B4 (de) * 2000-05-17 2011-02-17 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades
US6831998B1 (en) * 2000-06-22 2004-12-14 Hitachi, Ltd. Inspection system for circuit patterns and a method thereof
US7200246B2 (en) * 2000-11-17 2007-04-03 Honeywell International Inc. Object detection
US6711279B1 (en) * 2000-11-17 2004-03-23 Honeywell International Inc. Object detection
WO2002050792A1 (en) * 2000-12-21 2002-06-27 Todor Stankovic The procedure and device intended for the man-machine system security preservation under a man's drowsiness conditions
US7079669B2 (en) * 2000-12-27 2006-07-18 Mitsubishi Denki Kabushiki Kaisha Image processing device and elevator mounting it thereon
US7176440B2 (en) * 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US20020180608A1 (en) 2001-05-04 2002-12-05 Sphericon Ltd. Driver alertness monitoring system
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US7409373B2 (en) * 2001-12-28 2008-08-05 Concepta Ab Pattern analysis system and method
US20030163827A1 (en) * 2002-02-28 2003-08-28 Purpura William J. High risk personnel real time monitoring support apparatus
US20040037450A1 (en) * 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
NL1021496C2 (nl) * 2002-09-19 2004-03-22 Joannes Hermanus Heiligers Signaleringsinrichting en werkwijze voor het monitoren van alertheid van personen.
GB0230223D0 (en) * 2002-12-24 2003-02-05 Newcastle Upon Tyne Hospitals A pupilometer
JP4391091B2 (ja) * 2003-01-17 2009-12-24 ソニー株式会社 情報伝送方法、情報伝送装置、情報記録方法、情報記録装置、情報再生方法、情報再生装置および記録媒体
US7138922B2 (en) * 2003-03-18 2006-11-21 Ford Global Technologies, Llc Drowsy driver monitoring and prevention system
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
US7049947B2 (en) * 2003-09-29 2006-05-23 Nattel Group, Inc. System and method for monitoring the operational condition of a motor vehicle
DE102004022581B4 (de) * 2003-10-06 2017-08-03 Volkswagen Ag Fahrerassistenzsystem
DE10360176A1 (de) * 2003-12-20 2005-07-21 Volkswagen Ag Kraftfahrzeug mit einem Sensor zur Fahrerüberwachung
JP4317465B2 (ja) 2004-02-13 2009-08-19 本田技研工業株式会社 顔識別装置、顔識別方法及び顔識別プログラム
US7331671B2 (en) * 2004-03-29 2008-02-19 Delphi Technologies, Inc. Eye tracking method based on correlation and detected eye movement
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
ZA200608191B (en) * 2004-04-01 2008-07-30 William C Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7435227B2 (en) * 2004-09-13 2008-10-14 Biocognisafe (Bcs) Technologies Method and apparatus for generating an indication of a level of vigilance of an individual
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
ATE526866T1 (de) * 2005-03-04 2011-10-15 Sleep Diagnostics Pty Ltd Wachheitsmessung
US7301465B2 (en) * 2005-03-24 2007-11-27 Tengshe Vishwas V Drowsy driving alarm system
DE102005026479B4 (de) * 2005-06-09 2017-04-20 Daimler Ag Verfahren zur Unaufmerksamkeitserkennung in Abhängigkeit von mindestens einem fahrerindividuellen Parameter
US20060279745A1 (en) * 2005-06-13 2006-12-14 Wenstrand John S Color imaging system for locating retroreflectors
JP4497081B2 (ja) * 2005-10-31 2010-07-07 トヨタ自動車株式会社 人の状態検出装置
US7650034B2 (en) * 2005-12-14 2010-01-19 Delphi Technologies, Inc. Method of locating a human eye in a video image
US7423540B2 (en) 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
US20070146482A1 (en) * 2005-12-23 2007-06-28 Branislav Kiscanin Method of depth estimation from a single camera
US8968105B2 (en) * 2006-02-14 2015-03-03 Wms Gaming Inc. Reorganizing a wagering game machine's NVRAM
US7400235B2 (en) * 2006-02-28 2008-07-15 Nissan Technical Center North America, Inc. Lane departure warning mirror
US7620216B2 (en) * 2006-06-14 2009-11-17 Delphi Technologies, Inc. Method of tracking a human eye in a video image
US8013838B2 (en) 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
US8102417B2 (en) * 2006-10-25 2012-01-24 Delphi Technologies, Inc. Eye closure recognition system and method
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4240118B2 (ja) * 2006-12-12 2009-03-18 トヨタ自動車株式会社 運転支援装置
JP4895847B2 (ja) * 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
US8045766B2 (en) * 2007-02-16 2011-10-25 Denso Corporation Device, program, and method for determining sleepiness
DE102008007152B4 (de) * 2007-03-30 2019-01-17 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
CZ303526B6 (cs) * 2007-06-22 2012-11-14 Kyjovský@Štepán Zarízení pro detekci ztráty bdelosti ridice
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
JP4582137B2 (ja) * 2007-10-11 2010-11-17 株式会社デンソー 眠気度判定装置
JP2009223752A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 居眠り運転危険判定装置
US20100073584A1 (en) 2008-09-22 2010-03-25 Harbach Andrew P Apparatus for illuminating a vehicle occupant with infrared light
WO2010132568A1 (en) * 2009-05-13 2010-11-18 Wms Gaming, Inc. Player head tracking for wagering game control
US8369608B2 (en) * 2009-06-22 2013-02-05 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
EP2571417A1 (en) * 2010-05-20 2013-03-27 BAE Systems PLC Eye monitor for monitoring the size of a pupil
US10482333B1 (en) * 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US11318949B2 (en) * 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
EP2637563A4 (en) * 2010-11-08 2014-04-30 Optalert Australia Pty Ltd WORK ABILITY TEST
DE102011075467A1 (de) 2011-05-06 2012-11-08 Deckel Maho Pfronten Gmbh Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken
JP5790762B2 (ja) * 2011-07-11 2015-10-07 トヨタ自動車株式会社 瞼検出装置
TWI436305B (zh) * 2011-07-26 2014-05-01 Holux Technology Inc 疲勞度偵測方法及其裝置
CN102988037A (zh) * 2011-09-16 2013-03-27 贾天民 通过对人眼部量值的检测达到警示与控制行为的智能装置
JP5367037B2 (ja) * 2011-09-26 2013-12-11 本田技研工業株式会社 顔向き検出装置
TWI466070B (zh) * 2012-09-14 2014-12-21 Utechzone Co Ltd 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置
US9330297B2 (en) * 2013-01-16 2016-05-03 Xerox Corporation Methods and systems for video-based chew counting via feature tracking
DE102013001380B4 (de) * 2013-01-26 2018-04-26 Audi Ag Verfahren zum Betreiben wenigstens einer Anzeigeeinrichtung eines Kraftwagens und System mit wenigstens einer Anzeigeeinrichtung sowie Kraftwagen
TW201501044A (zh) * 2013-06-24 2015-01-01 Utechzone Co Ltd 偵測臉部動作以產生訊號的裝置、方法以及電腦可讀取紀錄媒體
JP6359866B2 (ja) * 2014-04-23 2018-07-18 矢崎総業株式会社 対象者存在範囲推定装置及び対象者存在範囲推定方法
JP2017530757A (ja) 2014-09-09 2017-10-19 トーヴェック・インコーポレーテッド 装着型装置を用いて個人の注意力を監視し通知を提供するための方法及び装置
DE102015211444A1 (de) * 2015-06-22 2016-12-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite
WO2017143179A1 (en) 2016-02-18 2017-08-24 Curaegis Technologies, Inc. Alertness prediction system and method
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
JP6720821B2 (ja) * 2016-10-14 2020-07-08 トヨタ自動車株式会社 瞬き検出装置
EP3354190B1 (de) * 2017-01-27 2018-12-05 Carl Zeiss Vision International GmbH Computerimplementiertes verfahren zur detektion eines hornhautscheitels
DE102017112536A1 (de) 2017-06-07 2018-12-13 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Fahrzeuginsassenbeobachtung mittels Terahertz-Strahlung
US20210221404A1 (en) * 2018-05-14 2021-07-22 BrainVu Ltd. Driver predictive mental response profile and application to automated vehicle brain interface control

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59153625A (ja) * 1983-02-18 1984-09-01 Nissan Motor Co Ltd 居眠り運転検出装置
JPS60158303A (ja) * 1984-01-30 1985-08-19 Nippon Denso Co Ltd 車両運転者の眼の位置認識装置
DE3803916A1 (de) * 1988-02-09 1989-08-17 Messerschmitt Boelkow Blohm Verfahren und vorrichtung zur ermittlung der fahrtauglichkeit eines fahrzeugfuehrers
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US4967186A (en) * 1989-08-18 1990-10-30 Ariold Ludmirsky Method and apparatus for fatigue detection
JP2862030B2 (ja) * 1991-06-13 1999-02-24 三菱電機株式会社 暗号化方式
JPH0655203B2 (ja) * 1992-07-09 1994-07-27 株式会社エイ・ティ・アール視聴覚機構研究所 視線検出を用いた医療診断装置
US5317638A (en) * 1992-07-17 1994-05-31 International Business Machines Corporation Performance enhancement for ANSI X3.92 data encryption algorithm standard
US5543887A (en) * 1992-10-29 1996-08-06 Canon Kabushiki Kaisha Device for detecting line of sight
US5402109A (en) * 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08322796A (ja) * 1995-05-29 1996-12-10 Sharp Corp 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置
JPH0921611A (ja) * 1995-07-06 1997-01-21 Mitsubishi Electric Corp 顔画像撮像装置
JPH09254742A (ja) * 1996-03-22 1997-09-30 Nissan Diesel Motor Co Ltd 車両における覚醒度低下検出装置
JPH10192334A (ja) * 1996-12-27 1998-07-28 Nidek Co Ltd 眼科手術装置
JPH10192333A (ja) * 1996-12-27 1998-07-28 Nidek Co Ltd 眼科手術装置
JPH10272961A (ja) * 1997-03-31 1998-10-13 Nissan Diesel Motor Co Ltd 居眠り警報装置
JPH1166304A (ja) * 1997-08-12 1999-03-09 Mitsubishi Electric Corp 顔画像処理装置
JPH11175895A (ja) * 1997-12-05 1999-07-02 Nippon Telegr & Teleph Corp <Ntt> ドライバー状況依存コミュニケーション装置及びその方法
JP2000132693A (ja) * 1998-10-27 2000-05-12 Sony Corp 画像処理装置および方法、並びに提供媒体
JP2001242417A (ja) * 2000-02-28 2001-09-07 Mixed Reality Systems Laboratory Inc 瞳孔位置検出装置及びそれを用いた画像表示装置
JPWO2002056251A1 (ja) * 2000-12-27 2004-05-20 三菱電機株式会社 画像処理装置及びそれを搭載したエレベータ
JP2004518497A (ja) * 2001-02-21 2004-06-24 カール ツァイス イェナ ゲーエムベーハー 前眼部における距離決定方法
US7284858B2 (en) 2001-02-21 2007-10-23 Carl Zeiss Meditec Ag Method for determining distances in the anterior ocular segment
JP2003271932A (ja) * 2002-03-14 2003-09-26 Nissan Motor Co Ltd 視線方向検出装置
JP2004321621A (ja) * 2003-04-25 2004-11-18 Tadahiko Fukuda 戸惑い検出方法及び戸惑い検出プログラム
JP2005018656A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 運転者状態検出装置
JP2005013626A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP2005081101A (ja) * 2003-09-11 2005-03-31 Nissan Diesel Motor Co Ltd 視線方向検出装置及び視線方向検出方法
JP2005087284A (ja) * 2003-09-12 2005-04-07 Nissan Diesel Motor Co Ltd 覚醒状態判定装置及び覚醒状態判定方法
JP2005141315A (ja) * 2003-11-04 2005-06-02 Denso Corp 居眠り運転予防装置
JP2006059147A (ja) * 2004-08-20 2006-03-02 Kiyomi Nakamura コンピュータ入力方法と装置
JP2007097668A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp 状態識別装置、プログラムおよび方法
JP4704174B2 (ja) * 2005-09-30 2011-06-15 富士フイルム株式会社 状態識別装置、プログラムおよび方法
JP2007099249A (ja) * 2005-10-07 2007-04-19 Denso Corp 自動車用ユーザーもてなしシステム
JP2007212421A (ja) * 2006-02-13 2007-08-23 Denso Corp 自動車用もてなし情報提供システム
JP4509042B2 (ja) * 2006-02-13 2010-07-21 株式会社デンソー 自動車用もてなし情報提供システム
JP2007268164A (ja) * 2006-03-31 2007-10-18 National Univ Corp Shizuoka Univ 視線移動検出方法及び視線移動検出装置
JP2007312824A (ja) * 2006-05-23 2007-12-06 Asahi Kasei Corp まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
JP2008171065A (ja) * 2007-01-09 2008-07-24 Denso Corp 眠気検知装置
JP2008246013A (ja) * 2007-03-30 2008-10-16 National Univ Corp Shizuoka Univ 眠気検知装置
WO2009060892A1 (ja) * 2007-11-08 2009-05-14 Aisin Seiki Kabushiki Kaisha 車載用画像処理装置、画像処理方法、および、プログラム
JP2009116742A (ja) * 2007-11-08 2009-05-28 Aisin Seiki Co Ltd 車載用画像処理装置、画像処理方法、および、プログラム
JP2009240519A (ja) * 2008-03-31 2009-10-22 Aisin Seiki Co Ltd 眼開閉判別装置、及びプログラム
JP2011523867A (ja) * 2008-05-28 2011-08-25 エフェクティブ・コントロール・トランスポート・インコーポレイテッド 微睡み検出方法及び装置
JP2010134490A (ja) * 2008-12-02 2010-06-17 Omron Corp 検出装置および方法、並びに、プログラム
JP2010134608A (ja) * 2008-12-03 2010-06-17 Omron Corp 検出装置および方法、並びに、プログラム
JP2010220942A (ja) * 2009-03-25 2010-10-07 Yaskawa Information Systems Co Ltd 瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラム
JP2011048531A (ja) * 2009-08-26 2011-03-10 Aisin Seiki Co Ltd 眠気検出装置、眠気検出方法、及びプログラム
WO2012039139A1 (ja) * 2010-09-24 2012-03-29 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
JP2012068937A (ja) * 2010-09-24 2012-04-05 Panasonic Corp 瞳孔検出装置及び瞳孔検出方法
US8983235B2 (en) 2010-09-24 2015-03-17 Panasonic Intellectual Property Corporation Of America Pupil detection device and pupil detection method
WO2012137625A1 (ja) * 2011-04-08 2012-10-11 ブラザー工業株式会社 画像表示装置
JP2012222630A (ja) * 2011-04-08 2012-11-12 Brother Ind Ltd 画像表示装置
JP2014232470A (ja) * 2013-05-30 2014-12-11 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
WO2014208287A1 (ja) * 2013-06-24 2014-12-31 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
JP2015005237A (ja) * 2013-06-24 2015-01-08 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
US9754189B2 (en) 2013-06-24 2017-09-05 Olympus Corporation Detection device, learning device, detection method, learning method, and information storage device
WO2016038784A1 (ja) * 2014-09-11 2016-03-17 株式会社デンソー ドライバ状態判定装置
JP2016057944A (ja) * 2014-09-11 2016-04-21 株式会社デンソー ドライバ状態判定装置
JP2016139258A (ja) * 2015-01-27 2016-08-04 マツダ株式会社 ドライバ状態判定装置
JP2016207174A (ja) * 2015-04-28 2016-12-08 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置
JP2019523514A (ja) * 2016-07-21 2019-08-22 ビジョンアップ ソルーションズ エス．エル． 電子画面を具備する装置での近接作業が引き起こす視力低下を防止するためのシステムおよび方法
JP2018134148A (ja) * 2017-02-20 2018-08-30 株式会社東海理化電機製作所 生体状態推定装置
WO2018151229A1 (ja) * 2017-02-20 2018-08-23 株式会社東海理化電機製作所 生体状態推定装置
JP2019012429A (ja) * 2017-06-30 2019-01-24 いすゞ自動車株式会社 車両用警報装置
JPWO2021049031A1 (ja) * 2019-09-13 2021-03-18
WO2021049031A1 (ja) * 2019-09-13 2021-03-18 オムロン株式会社 表示システム、表示方法、及びプログラム
JP2022012354A (ja) * 2020-07-01 2022-01-17 トヨタ自動車株式会社 眠気兆候通知システム、眠気兆候通知方法、及び眠気兆候通知プログラム
US11636749B2 (en) 2020-07-01 2023-04-25 Toyota Jidosha Kabushiki Kaisha Drowsiness sign notification system, drowsiness sign notification method, and drowsiness sign notification program

Also Published As

Publication number Publication date
JP3293308B2 (ja) 2002-06-17
DE19509689A1 (de) 1995-09-14
US5573006A (en) 1996-11-12
DE19509689C2 (de) 2000-01-05
US5795306A (en) 1998-08-18

Similar Documents

Publication Publication Date Title
JP3293308B2 (ja) 人物状態検出装置
US6260968B1 (en) Pupilometer with pupil irregularity detection capability
US6926429B2 (en) Eye tracking/HUD system
US8644562B2 (en) Multimodal ocular biometric system and methods
Ji et al. Real-time eye, gaze, and face pose tracking for monitoring driver vigilance
KR100342159B1 (ko) 홍채영상 포착장치 및 홍채영상 포착방법
US7819525B2 (en) Automatic direct gaze detection based on pupil symmetry
US6785406B1 (en) Iris authentication apparatus
US20150042477A1 (en) Eye closure detection using structured illumination
US6669651B1 (en) Non-invasive brain function examination
JPWO2006030658A1 (ja) 視野計
JP2014515291A (ja) 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法
US10722112B2 (en) Measuring device and measuring method
JPH08278134A (ja) 目標物上の眼の固定点の位置を測定するための装置、眼の照明方法、及び眼の動きにより変化する画像を表示するための応用
Ghosh et al. Real time eye detection and tracking method for driver assistance system
WO2005002441A1 (ja) 生体眼判定方法および生体眼判定装置
US6626537B1 (en) Non-invasive ocular dynamic monitoring assessment method and associated apparatus
JP3116638B2 (ja) 覚醒状態検知装置
JP2004337348A (ja) 眼球運動解析システム
JPH08225028A (ja) 運転者の覚醒度検出装置
JP2006318374A (ja) 眼鏡判別装置および認証装置ならびに眼鏡判別方法
RU2352244C2 (ru) Способ измерения быстрых движений глаз и отклонений бинокулярного зрения и устройство для его реализации
JP3459160B2 (ja) 撮影装置
KR102072910B1 (ko) 졸음 인식 장치를 이용한 졸음 인식 방법
JP4527088B2 (ja) 生体眼判定方法および生体眼判定装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080405

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090405

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100405

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees