JP3293308B2 - 人物状態検出装置 - Google Patents

人物状態検出装置

Info

Publication number
JP3293308B2
JP3293308B2 JP03988794A JP3988794A JP3293308B2 JP 3293308 B2 JP3293308 B2 JP 3293308B2 JP 03988794 A JP03988794 A JP 03988794A JP 3988794 A JP3988794 A JP 3988794A JP 3293308 B2 JP3293308 B2 JP 3293308B2
Authority
JP
Japan
Prior art keywords
pupil
detection target
person
state
target person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03988794A
Other languages
English (en)
Other versions
JPH07249197A (ja
Inventor
光生 下谷
稔 西田
章 岡田
敏英 佐竹
翔一 鷲野
太 大川
裕美 寺下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP03988794A priority Critical patent/JP3293308B2/ja
Priority to US08/330,322 priority patent/US5573006A/en
Priority to DE19509689A priority patent/DE19509689C2/de
Publication of JPH07249197A publication Critical patent/JPH07249197A/ja
Priority to US08/692,236 priority patent/US5795306A/en
Application granted granted Critical
Publication of JP3293308B2 publication Critical patent/JP3293308B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6821—Eye
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は同軸落射により網膜反
射を撮影し、検出対象者の状態を検出する人物状態検出
装置に関するもので、特に撮影画像から覚醒度を主とし
て検出する生理状態検出装置、あるいは緊張度を主とし
て検出する心理状態検出装置に関するものであり、例え
ば、運転者の居眠り状態や、運転者の心理状態を検出す
る装置である。
【０００２】
【従来の技術】従来この種の装置としては、例えば特開
昭６３−２１７５００号公報に示された生体状態検知装
置、あるいは特公平３−１４６５５号公報に示された居
眠り運動防止装置があった。これらの装置は何れも眼鏡
フレームに送受信手段を取り付け、瞼からの反射波ある
いは角膜からの反射波を検知し、瞼の開閉状況を検出し
て対象者の状態を検知していた。しかしながら、このよ
うな装置では検出対象者が上述の眼鏡をかけなくてはな
らないため煩わしいという欠点がある。
【０００３】検出対象者が検出装置を身につけないで、
本来の作業、操作を妨げることなく、非接触で人物状態
を検出できるものとしては、例えば特開昭６０−１５８
３０３号公報に示された眼の位置認識装置がある。これ
は撮影装置により顔画像を撮り、瞳孔や瞼を画像処理で
検出するものであり、図３７はこの様な装置を用いた従
来の居眠り検出装置の構成図である。図において、１は
検出対象者、２は検出対象者１を照明する、発光の中心
波長が８６０ｎｍの赤外線ＬＥＤ、３は検出対象者１の
顔画像を電気信号に変換するＣＣＤカメラ、１０はＣＣ
Ｄカメラ３の出力データを一時格納する撮影画像メモ
リ、２０は撮影画像メモリ１０から瞳孔を抽出する特徴
点抽出回路、４０は特徴点抽出回路２０のデータを基
に、瞼の開閉を検出して検出対象者が居眠りをしている
か否かを判定する居眠り判定回路である。
【０００４】次に動作について説明する。赤外線ＬＥＤ
２は検出対象者１を照射する。検出対象者１の映像は検
出対象者１の顔面を含む所定の領域を撮影できる位置に
設置されたＣＣＤカメラ３に入力され、撮影画像メモリ
１０に格納される。特徴点抽出回路２０は撮影画像メモ
リ１０のデータから瞳孔や目の位置や顔の向きなどを画
像処理により抽出する。居眠り判定回路４０では、例え
ば瞳孔を特徴点抽出回路２０で抽出することにより、見
かけ上の瞳孔の有無を検出して、一定時間以上瞳孔が見
えなければ眠っていると判断する。
【０００５】図３８はこのような従来装置において用い
られる赤外画像の例である。図３８において、４は紅
彩、５は強膜、６は瞳孔、７は顔面表面である。このよ
うにして得られた画像においては、顔はやや暗く映り、
顔表面に比べて強膜５は暗く映り、強膜５に比べ虹彩４
は暗く、瞳孔６は更に暗く映る。
【０００６】
【発明が解決しようとする課題】従来の人物状態検出装
置は、以上のように構成されているので、瞼の開閉を検
出するために複雑な画像処理が必要という問題点があっ
た。即ち、得られた画像に対し、例えばフィルタ演算を
施し、エッジ検出をし、このエッジ形状より、瞼に相当
する弧を探すというパターン認識をし、瞼の位置を求
め、そこからさらに詳しい形状を計算していた。また、
上記エッジ検出に際しても雑音等でエッジがうまく検出
できないと弧が求まらず、画像処理が複雑で時間がかか
るという問題があった。
【０００７】一方、論文「瞳孔の抽出処理と頭部の動き
を許容する視線検出装置の試作」（電子情報通信学会論
文誌Ｄ−ＩＩ Vol.J76-D-II No.3）で示されるよう
に、同軸落射装置で顔面を照射すると、網膜反射像が顕
著に撮影でき、例えば２値化処理のような非常に簡単な
画像処理で目の位置を検出できる。なお、ここで、同軸
落射照明とは、カメラの光軸と照明光の照射方向とが同
一になる構造にした照明のことである。
【０００８】この発明は上記のような問題点を解決する
ためになされたもので、上述の網膜反射像を使って、検
出対象者の状態を検出対象者の作業を妨げることなく非
接触で、かつ実用的に計測できる小型の人物状態検出装
置を提供することを目的とする。
【０００９】
【課題を解決するための手段】この発明の人物状態検出
装置は、検出対象者の顔面を含む所定の領域の像を入力
する光入力手段、検出対象者を同軸落射照明する照明手
段、光入力手段から出力される撮影画像から、検出対象
者の瞳孔位置を抽出する瞳孔抽出手段、瞳孔抽出手段に
より抽出された瞳孔抽出結果から、顔面上の特徴点を含
む探索範囲を限定する探索範囲限定手段、探索範囲限定
手段が限定した領域内から上記特徴点の位置または形状
を抽出する特徴量抽出手段、及び上記特徴量抽出手段に
より抽出された特徴量抽出結果を用い、検出対象者の状
態を判定する人物状態判定手段を備えたものである。
【００１０】また、この発明の人物状態検出装置は、上
記特徴量抽出手段により特徴量として瞼を抽出し、この
抽出結果から瞼の開閉度を計算する瞼開閉度計算手段を
有し、上記人物状態判定手段は上記瞼の開閉度から検出
対象者の状態を判定するものである。
【００１１】また、この発明の人物状態検出装置は、瞳
孔抽出結果及び特徴量抽出結果から検出対象者の視線を
検出する視線検出手段を有し、上記人物状態判定手段は
上記検出対象者の視線時系列パタ−ンから検出対象者の
状態を判定するものである。
【００１２】また、この発明の人物状態検出装置は、所
定位置から検出対象者の顔面までの距離を測定する顔面
距離計測手段を有し、上記特徴量抽出手段は上記距離を
用いて特徴量を補正するものである。
【００１３】
【００１４】また、この発明の人物状態検出装置は、、
検出対象者の顔の向きを測定する顔方向推定手段を有
し、上記特徴量抽出手段は上記顔の向きを用いて特徴量
を補正するものである。
【００１５】また、この発明の他の人物状態検出装置
は、検出対象者の顔面を含む所定の領域の像を入力する
光入力手段、上記検出対象者を照明し、上記検出対象者
と上記光入力手段とを結ぶ光軸と、照明光照射方向とが
少なくとも上記検出対象者近傍においてほぼ同軸となる
ように配置された照明手段、上記光入力手段から出力さ
れる上記検出対象者の撮影画像から、検出対象者の瞳孔
形状を抽出する瞳孔抽出手段、上記瞳孔抽出手段により
抽出された瞳孔形状から瞳孔の径を計り、瞳孔の拡大伸
縮波形を出力する瞳孔波形出力手段、及び上記瞳孔の拡
大伸縮度合いから、上記検出対象者の状態を判定する人
物状態判定手段を備えたものである。
【００１６】また、この発明の人物状態検出装置は、上
記瞳孔波形出力手段が瞳孔抽出手段により抽出された瞳
孔形状から瞳孔の最大径を計り、瞳孔の拡大伸縮波形を
出力するものである。
【００１７】また、この発明の他の人物状態検出装置
は、検出対象者の顔面を含む所定の領域の像を入力する
光入力手段、上記検出対象者を照明し、上記検出対象者
と上記光入力手段とを結ぶ光軸と、照明光照射方向とが
少なくとも上記検出対象者近傍においてほぼ同軸となる
ように配置された照明手段、上記光入力手段から出力さ
れる上記検出対象者の撮影画像から、検出対象者の瞳孔
位置または瞳孔形状を抽出する瞳孔抽出手段、及び上記
瞳孔抽出手段により抽出された瞳孔抽出結果を用い、上
記検出対象者の状態を判定する人物状態判定手段を備え
た人物状態検出装置であって、上記人物状態判定手段か
らの一次判定結果により検出対象者に刺激を発生する刺
激発生手段を有し、上記人物状態判定手段は、刺激発生
前後の瞳孔の状態を基にして、上記検出対象者の状態を
二次判定するものである。
【００１８】また、この発明の他の人物状態検出装置
は、検出対象者の顔面を含む所定の領域の像を入力する
光入力手段、上記検出対象者を照明し、上記検出対象者
と上記光入力手段とを結ぶ光軸と、照明光照射方向とが
少なくとも上記検出対象者近傍においてほぼ同軸となる
ように配置された照明手段、上記光入力手段から出力さ
れる上記検出対象者の撮影画像から、検出対象者の瞳孔
形状を抽出する瞳孔抽出手段、及び上記瞳孔抽出手段に
より抽出された瞳孔抽出結果を用い、上記検出対象者の
状態を判定する人物状態判定手段を備えた人物状態検出
装置であって、所定位置から上記検出対象者の顔面まで
の距離を測定する顔面距離計測手段を有し、上記瞳孔抽
出手段は上記距離を用いて上記瞳孔形状を補正するもの
である。
【００１９】また、この発明の他の人物状態検出装置
は、検出対象者の顔面を含む所定の領域の像を入力する
光入力手段、上記検出対象者を照明し、上記検出対象者
と上記光入力手段とを結ぶ光軸と、照明光照射方向とが
少なくとも上記検出対象者近傍においてほぼ同軸となる
ように配置された照明手段、上記光入力手段から出力さ
れる上記検出対象者の撮影画像から、検出対象者の瞳孔
形状を抽出する瞳孔抽出手段、及び上記瞳孔抽出手段に
より抽出された瞳孔抽出結果を用い、上記検出対象者の
状態を判定する人物状態判定手段を備えた人物状態検出
装置であって、上記検出対象者周辺の照度を測定する照
度測定手段を有し、照度測定結果にもとづき上記瞳孔抽
出手段で抽出される瞳孔形状を補正するものである。
【００２０】また、この発明の他の人物状態検出装置
は、検出対象者の顔面を含む所定の領域の像を入力する
光入力手段、上記検出対象者を照明し、上記検出対象者
と上記光入力手段とを結ぶ光軸と、照明光照射方向とが
少なくとも上記検出対象者近傍においてほぼ同軸となる
ように配置された照明手段、上記光入力手段から出力さ
れる上記検出対象者の撮影画像から、検出対象者の瞳孔
形状を抽出する瞳孔抽出手段、及び上記瞳孔抽出手段に
より抽出された瞳孔抽出結果を用い、上記検出対象者の
状態を判定する人物状態判定手段を備えた人物状態検出
装置であって、上記検出対象者の顔の向きを測定する顔
方向推定手段を有し、上記瞳孔抽出手段は上記顔の向き
を用いて上記瞳孔形状を補正するものである。
【００２１】
【００２２】
【００２３】
【作用】この発明の人物状態検出装置においては、検出
対象者の瞳孔位置または瞳孔形状を同軸落射照明を使っ
て検出しているので、簡単な画像処理で瞳孔が抽出で
き、検出対象者の状態を非接触で、容易に判定できる。
【００２４】また、抽出された瞳孔抽出結果から、顔面
上の特徴点を含む探索範囲を限定し、限定した領域内か
ら特徴点の位置または形状を抽出して、瞳孔抽出結果ま
たは特徴量抽出結果を用い、検出対象者の状態を判定す
ると、より直接的な特徴量をつかむことができ、検出精
度が上がる。
【００２５】また、瞳孔抽出結果または特徴量抽出結果
を記憶する抽出結果記憶手段を設け、抽出結果記憶手段
の記憶内容から検出対象者の状態を判定することによ
り、時系列の平均的データが使え、検出精度が上がる。
【００２６】また、瞳孔抽出手段により抽出された瞳孔
形状から瞼の開閉度を推定し、推定された瞼の開閉度か
ら検出対象者の状態を判定することにより、瞬目状態が
判るので、検出対象者の覚醒度も判る。
【００２７】また、瞳孔抽出結果から瞬目頻度を推定
し、推定された瞬目頻度から検出対象者の状態を判定す
ることにより、上記と同様、瞬目状態が判るので検出対
象者の覚醒度や緊張度も判る。
【００２８】また、瞳孔抽出手段により抽出された瞳孔
形状から瞳孔の径を計り、瞳孔の拡大伸縮波形を求める
ことにより、瞳孔の拡大伸縮度合いが判り、検出対象者
の生理状態や緊張度が判る。
【００２９】また、瞳孔形状から瞳孔の径を計る際に最
大径を計ることにより、顔の方向が変わっても瞳孔の大
きさについての正しい評価ができ、信頼性が上がる。
【００３０】また、特徴量抽出手段により特徴量として
瞼を抽出し、この抽出結果から瞼の開閉度を計算し、計
算された瞼の開閉度から検出対象者の状態を判定するこ
とにより、確実に瞬目状態が判るので、検出対象者の覚
醒度の判定がより確実になる。
【００３１】また、瞳孔抽出結果及び特徴量抽出結果か
ら検出対象者の視線を検出し、視線時系列パタ−ンから
検出対象者の状態を判定することにより、検出対象者の
緊張度も判る。
【００３２】また、人物状態判定手段からの一次判定結
果により検出対象者に刺激を発生し、刺激発生前後の瞳
孔または特徴点の状態を基にして検出対象者の状態を二
次判定することにより、刺激を与える前後の状態の変化
が見れるので、人物状態検出精度が向上する。
【００３３】また、所定位置から検出対象者の顔面まで
の距離を測定し、瞳孔形状または特徴量を距離により補
正することにより、検出精度が上がる。
【００３４】また、検出対象者周辺の照度を測定し、照
度測定結果にもとづき検出対象者の状態を判定すること
により、検出精度が上がる。
【００３５】また、検出対象者の顔の向きを測定し、瞳
孔形状または特徴量を補正することにより、検出精度が
上がる。
【００３６】また、検出対象者の顔面を含む所定の領域
の像を拡大して光入力手段に入力することにより、検出
精度が上がる。
【００３７】
【実施例】
実施例１．以下、この発明の一実施例を図について説明
する。図１はこの発明の実施例１による人物状態検出装
置を示す構成図であり、図１において、３は検出対象者
１の顔面を含む所定の領域を撮影できる位置に設置され
たＣＣＤカメラ（光入力手段）、２は検出対象者１を照
明する照明手段であり、例えば発光の中心波長が８６０
ｎｍ、放射指向特性±２０゜の赤外線ＬＥＤ、８はハー
フミラー、９はブザーである。１０はＣＣＤカメラ３の
出力データを一時格納する撮影画像メモリ、２１は撮影
画像メモリ１０から瞳孔を抽出する瞳孔抽出回路、４０
は瞳孔抽出回路２１のデータを基に、瞼の開閉を検出し
て検出対象者が居眠りをしているか否かを判定する居眠
り判定回路である。なお、図１の構成の装置は夜間にお
ける撮影装置に適したものである。図２は上記構成の装
置を自動車に搭載した場合の概略構成図である。図２に
おいて、１００はフロントガラス、１０１はインスツル
メントパネルの透明カバー、１０２はハンドル、１０３
は座席である。インスツルメントパネル奥にハーフミラ
ー８、ＬＥＤ２、ＣＣＤカメラ３を設置する。ブザー９
はハンドル１０２の軸の上に設置する。
【００３８】次に動作について説明する。図１におい
て、光路ｌ1 で照射される赤外線ＬＥＤ２の照明光は、
ハーフミラー８で半分の光を反射し、光路ｌ2 で検出対
象者１の顔面を照射する。検出対象者１の画像は光路ｌ
3 でハーフミラー８を通り、半分の光がＣＣＤカメラ３
に到達し、ＣＣＤカメラは検出対象者１の画像を取り込
む。この時、光路ｌ2 とｌ3 の光軸は検出対象者からみ
て、ほぼ同軸あるいは所定の角度以内（２度）に納まる
ようになっている（同軸落射照明）。本実施例では０度
としており、ハーフミラー８がＣＣＤカメラ３の光軸ｌ
3 となす角度は４５゜である。この時検出対象者の撮影
画像は図３のようになる。図３において、上記のような
構成の同軸落射照明により、瞳孔６は網膜で反射された
光により、あたかも瞳孔が光っているように観察され、
顔の表面や他の特徴点に比べて、著しく輝度が高く映
る。これは網膜が入射光と同一方向に反射光を返す性質
を持つからである。図４に撮影画像の輝度分布を示す。
なお、図４（ａ）は本発明の撮影画像によるもの、図４
（ｂ）は従来の撮像画像によるものである。両者を比べ
ると本発明のものでは瞳孔の位置で明らかに輝度が他の
部分と異なり、従って、得られた画像から、輝度の大小
による２値化の閾値を調整するだけで、図５に示すよう
な２値化画像が得られる。この画像は瞳孔のみが白領域
として２つの円となり、他の部分は黒領域となり、従来
のような複雑な演算処理をしなくても、重心計算等、単
純な演算で容易に瞳孔の位置や形状が検出できる。
【００３９】次に図６により居眠りの検出について説明
する。まず、ステップＳ１でカウンタをリセットし、ス
テップＳ２で顔画像を入力する。ステップＳ３では上述
のように上記顔画像に対し輝度の大小による２値化処理
を行ない、瞳孔を抽出する。ステップＳ４では瞳孔が抽
出できたか否かにより、瞳孔が見えるか否かを判定し、
瞳孔が見えればステップＳ５へいき、カウンタをリセッ
トし、ステップＳ２へ戻る。瞳孔が見えなければステッ
プＳ６でカウンタアップし、ステップＳ７で５秒以上
（カウンタの値が５０００／３３＝１６７）瞳孔が見え
ない状態が続いているかを判定し、瞳孔が見えない状態
が続くと眠っていると判断し、ステップＳ８でブザーを
鳴らす。５秒以下だとステップＳ２に戻る。
【００４０】なお、上記実施例では照明手段２０は赤外
線ＬＥＤを用いたが、温度による影響を少なくするため
に、広帯域の波長の光を発生するハロゲンランプ、ある
いはハロゲンランプと特定波長の光を分光するフィルタ
で構成した照明手段を用いてもよい。また、カメラはＣ
ＣＤに限らず、例えばＣＩＤ（Charge Injection Devic
e ）カメラでもよい。
【００４１】実施例２． 図７はこの発明の実施例２による人物状態検出装置を示
す構成図である。上記実施例１では瞳孔が見えるかどう
かで居眠りしているか（覚醒度）を判断したが、本実施
例では瞳孔位置の時系列データにより覚醒度を判断する
ものを示す。即ち、居眠り状態になると徐々に顔がうつ
向き、見かけ上の瞳孔の位置が低くなることから、居眠
りを検出するものを示す。図７において、３０は瞳孔抽
出回路２１で抽出された瞳孔位置を記憶する抽出結果記
憶メモリである。４０は抽出結果記憶メモリ３０に記憶
された瞳孔位置の時系列データを基に、顔がうつ向いた
時間により居眠りをしているか否かを判定する居眠り判
定回路である。
【００４２】次に動作について説明する。図８は本実施
例の動作を説明するフローチャートであり、図におい
て、ステップＳ１０では顔画像を入力する。ステップＳ
１１では実施例１と同様に、顔画像に対し輝度の大小に
よる２値化処理を行ない、瞳孔を抽出する。ステップＳ
１２では抽出した瞳孔の位置（瞳孔高さ）を記憶し、ス
テップＳ１３で５分間のデータを取ったかを判定する。
ステップＳ１４では最初の５分間の瞳孔高さを平均する
ことにより、標準瞳孔高さ（Ｔ１）を計算する。５分を
経過すると、ステップＳ１５で再び顔画像を入力し、ス
テップＳ１６で瞳孔を抽出する。ステップＳ１７では過
去２分の平均瞳孔高さを求め、ステップＳ１８でこの平
均瞳孔高さが上記標準瞳孔高さより、あらかじめ定めら
れた値（本実施例では５ｃｍ）より低いか否かを判定
し、５ｃｍ以上低くなるとステップｓ１９でうつ向いた
状態が長く続いたとして、覚醒度が低下し、居眠り状態
になったと判断する。図９（ａ）は瞳孔位置の時系列デ
ータであり、図９（ｂ）は平均瞳孔位置の時系列データ
である。図において、ｔ1 は標準瞳孔位置を求めるまで
の時間、Ｔ１は求められた標準瞳孔位置、ｔ2 は居眠り
を検出した時間である。この様に本実施例では時系列情
報を用いているので、完全に眠ってからブザーで警告す
るのでなく、覚醒度の低下を判断でき、居眠り検出の質
が向上する。なお、標準瞳孔位置は初期値で固定せず
に、瞳孔位置を求める時間（２分）より長い過去の時間
（例えば３０分）の平均値で更新するようにしてもよ
い。
【００４３】実施例３． 図１０はこの発明の実施例３による人物状態検出装置を
示す構成図である。上記実施例２では瞳孔位置により居
眠りを判定したが、本実施例では顔面上の他の特徴点を
求めることにより、より直接的な特徴量をつかむことが
できるので検出精度を上げることができる。図１０にお
いて、２２はウィンドウ設定回路（探索範囲限定手段）
であり、瞳孔抽出回路２１により抽出された瞳孔位置か
ら、顔面上の他の特徴点、例えば鼻孔の探索範囲となる
領域（ウィンドウ）を決める。２３はウィンドウ設定回
路２２が限定した領域内から上記特徴点の位置または形
状を抽出する特徴点抽出回路である。例えば、両方の瞳
孔の中心位置から５ｃｍ下の位置を中心とする６×６ｃ
ｍ角相当のウィンドウを設定し、探索ウィンドウ内で画
像処理を行い鼻孔を求める。なお、鼻孔は、例えば輝度
の低い直径１ｃｍ以下の穴という条件で求められる。３
０は瞳孔抽出回路２１で求められた瞳孔位置、及び特徴
点抽出回路２３で求められた鼻孔位置を記憶する抽出結
果記憶メモリであり、４０は鼻孔と両瞳孔の見かけ上の
位置関係により顔の傾きを求め、うつ向いた時間により
居眠り状態を判定する居眠り判定回路である。
【００４４】次に居眠り検出の動作について説明する。
瞳孔抽出回路２１で求められた瞳孔位置、及び特徴点抽
出回路２３で求められた鼻孔位置は抽出結果記憶メモリ
３０で記憶され、実施例２と同様、例えば最初の５分間
の各データを用いて、顔が正面を向いているときの瞳孔
の中心位置から鼻孔中心までの見かけ上の距離Ｓ0を求
める。その後、例えば２分間の各データを用いて瞳孔の
中心位置から鼻孔中心までの見かけ上の距離Ｓを求め
る。このようにして求められたＳ0、及びＳから、顔の
角度θが求められる。即ち、顔がθだけ下に傾いた場合
の見かけ上の距離Ｓは Ｓ＝Ｓ0・ＣＯＳ（θ） となる。２分間の平均顔角度θを求め、平均顔角度θが
例えば２０度以上になると、うつ向いた時間が長いとし
て居眠り状態と判断する。この様に本実施例では実施例
２に比べ、眼だけが上下した場合と、顔全体が下がった
場合との見分けがつき、より検出精度が上がる。
【００４５】なお、上記実施例では初期状態からＳ0を
求めたが、検出対象者にメッセージを出すことにより、
正面を向かせてＳ0を求めるようにしてもよい。また、
抽出結果記憶メモリ３０を設けて２分間、あるいは５分
間の平均を取ったが、抽出結果記憶メモリ３０を設け
ず、瞬時の顔の向きを検出するものであってもよい。
【００４６】実施例４． 図１１はこの発明の実施例４による人物状態検出装置を
示す構成図である。本実施例では瞳孔の縦の長さと横の
長さの比によって瞼の開閉度を推定し、瞼の半開き状態
を検出するものである。図１１において、２４は瞳孔抽
出回路２１により抽出された瞳孔形状から瞼の開閉度を
推定する瞼開閉度推定回路である。３０は瞼の開閉度を
記憶する抽出結果記憶メモリ、４０は半開き状態の時間
により居眠り状態を判定する居眠り判定回路である。
【００４７】次に居眠り検出の動作について説明する。
瞳孔抽出回路２１で抽出した瞳孔形状に対し、瞼開閉度
推定回路２４は見かけ上の瞳孔の縦の長さｙと横の長さ
ｘを求め、瞳孔の縦の長さと横の長さの比ｙ／ｘによっ
て瞼の開閉度を求める。図１２は瞼の開閉状態を示すも
ので、瞼が開状態から半開き状態へと閉じていくに従
い、ｙ／ｘが小さくなることを示している。抽出結果記
憶メモリ３０はこのようにして求められた瞼の開閉度ｙ
／ｘを記憶し、居眠り判定回路４０でｙ／ｘが例えば１
／２以下なら半開き状態と判断し、この状態が例えば２
分以上続くと居眠り状態と判断する。あるいは実施例
２、３と同様、初めの５分間のｙ／ｘの平均を取り、そ
の後ｙ／ｘが初期状態の１／２以下なら半開き状態と判
断し、この状態が２分以上続くと居眠り状態と判断す
る。この様に本実施例では瞳孔形状より瞼の開閉度を推
定することにより、瞬目状態が判り、実施例２と同様、
覚醒度の低下が判断でき、居眠り検出の質が向上する。
【００４８】実施例５． 図１３はこの発明の実施例５による人物状態検出装置を
示す構成図である。本実施例では瞳孔面積によって瞬目
頻度を推定し、この瞬目頻度により居眠り状態を検出す
るものである。図１３において、瞳孔抽出回路２１は瞳
孔形状を抽出し、さらに画素数を数えることにより瞳孔
面積を求める。抽出結果記憶メモリ３０は例えば１０ｍ
ｓ刻みに上記瞳孔抽出回路２１で得られた瞳孔面積を記
憶する。３１は瞬目頻度計算回路であり、瞳孔面積の時
系列データをしきい値で２値化し、瞬目頻度を計算す
る。４０はこの瞬目頻度の数により居眠り状態を判定す
る居眠り判定回路である。
【００４９】次に居眠り検出の動作を図１４により説明
する。図１４（ａ）は瞬き時の瞳孔面積の変化を示すも
のであり、瞳孔にあたる画素数を数えることにより求め
られる。従って、抽出結果記憶メモリ３０に１０ｍｓ刻
みに瞳孔抽出回路２１で得られた瞳孔面積を記憶し、図
１４（ｂ）に示すような時系列データを得る。瞬目頻度
計算回路３１ではこの時系列データをしきい値Ｔ0 で０
と１に２値化し、例えば２分間における０の領域の数を
数えて瞬目頻度を計算する。瞬目頻度と覚醒度の関係は
図１５に示すように、覚醒度が高い時は瞬目頻度は１０
回程度であるが、覚醒度が低下すると瞬目頻度は高くな
る。本実施例では、瞬目頻度が２０回／分を越えると、
居眠り状態と判断する。この様に本実施例では瞳孔形状
より瞬目頻度を推定することにより、実施例４と同様、
瞬目状態が判り、覚醒度の低下が判断でき、居眠り検出
の質が向上する。
【００５０】なお、瞬目頻度のしきい値は２０にこだわ
らない。覚醒度が高いときの平均頻度を求めておき、例
えば、瞬目頻度が２倍になったときに、居眠りと判断し
ても良い。
【００５１】また、上記実施例では居眠りを検出した
が、退屈したときは瞬目頻度が増え、逆に興奮したとき
は瞬目頻度が減少することが知られている。このように
瞬目頻度により興奮や緊張などの心理状態を検出しても
よい。
【００５２】実施例６． 図１６はこの発明の実施例６による人物状態検出装置を
示す構成図である。本実施例では瞳孔の径を計ることに
より、瞳孔の拡大伸縮度合いを検出し、検出対象者の呼
吸数を検出するものである。図１６において、瞳孔抽出
回路２１は瞳孔形状を抽出し、さらにその直径を計測す
る。抽出結果記憶メモリ３０は例えば１０ｍｓ刻みに上
記瞳孔抽出回路２１で得られた瞳孔の直径を記憶する。
３２は瞳孔波形分析回路であり、瞳孔直径の時系列デー
タで例えば図１７のように描かれた瞳孔波形を周波数分
析する。４１は呼吸数抽出回路であり、瞳孔波形分析回
路３２で図１８のように周波数分析された結果からその
時の呼吸数を求める。
【００５３】次に呼吸数検出の動作を説明する。瞳孔は
細かくみると短時間の間でも微妙に振動しており、図１
７のように微妙に振動している。このうち低周波成分は
呼吸数に対応して変化していることが知られている。図
１７を周波数分析したものが図１８であり、図１８は
０．３３Ｈｚにピークがあり、これは２０回／分の呼吸
の周期に対応している。本実施例ではこのことを利用
し、瞳孔の直径の変化を見て呼吸数を求める。瞳孔抽出
回路２１で瞳孔形状を抽出し、さらにその直径を計測す
る。抽出結果記憶メモリ３０は１０ｍｓ刻みに上記瞳孔
の直径を記憶し、瞳孔波形分析回路３２は１分間に一度
瞳孔波形を周波数分析する。分析された結果に対し、呼
吸数抽出回路４１は探索する呼吸数の領域でピークを求
めることにより、呼吸数を求める。
【００５４】上記実施例では呼吸数のみを求めたが、人
間は緊張すると呼吸数が増えるので、得られた呼吸数に
対し、判定回路を設けて検出対象者の緊張の具合や、あ
るいは病的疾患も求めることができる。
【００５５】実施例７． 図１９はこの発明の実施例７による人物状態検出装置を
示す構成図である。実施例６では瞳孔の直径の時系列デ
ータに対し周波数分析を行い、呼吸数を計測するものを
示したが、本実施例では瞳孔の平均直径を求め、この平
均直径から検出対象者の緊張度を判定するものを示す。
【００５６】瞳孔抽出回路２１で瞳孔形状を抽出し、さ
らにその直径を計測し、抽出結果記憶メモリ３０に上記
瞳孔の直径を記憶する。緊張度判定回路４２では瞳孔の
平均直径を求め、平均直径が所定値以下になると緊張度
が低下したと判断する。なお、図２０（ａ）は瞳孔の直
径の変化を示すもので、実施例６で示した短時間の瞳孔
直径の微妙な振動（図１７）とは別に、長時間での比較
的大きな直径の変化が見られる。この変化は平均直径を
取ることにより、図２０（ｂ）に示すように検出するこ
とができる。図２１はこの平均直径と緊張度の関係を示
すもので、平均直径が小さくなると緊張度が弱まり、ぼ
んやり状態になることが示されている。
【００５７】なお、上記実施例６及び７において、瞳孔
形状から瞳孔の直径を計る際に瞳孔の最大径を瞳孔の直
径とすることにより、顔の方向が変わっても瞳孔の大き
さについての正しい評価ができ、信頼性が上がる。
【００５８】実施例８． 図２２はこの発明の実施例８による人物状態検出装置を
示す構成図である。図において、５０は検出対象者１の
顔を拡大縮小してＣＣＤカメラ３のＣＣＤ面に像を結ぶ
ようにするズーム機構、５１は瞳孔抽出回路２１の出力
信号を判断してズーム機構５０を駆動するズーム制御回
路、５２はＣＣＤカメラの向きを変えるカメラ駆動回路
である。他は図１６に示す実施例６と同様のものであ
る。
【００５９】次に動作について説明する。ＣＣＤカメラ
３の画素数を５１２×５１２、検出対象者１の２５．６
ｃｍ角を撮影するとすると、瞳孔の直径は２〜８ｍｍと
いわれているので、瞳孔直径の素数は４〜１６となり、
瞳孔が小さい時には、瞳孔の波形が精度良く抽出できな
い。本実施例は実施例６に加えてズーム機構５０を設
け、瞳孔を中心に瞳孔を大きく撮影するので瞳孔波形が
精度良く抽出できる。瞳孔抽出回路２１が瞳孔位置を抽
出すると、カメラ駆動機構５２はどちらかの瞳孔をＣＣ
Ｄカメラの中央で撮影できるようにカメラの向きを変え
る。次にズーム制御回路５１は検出対象者１を５．１ｃ
ｍ角で撮影するようにズーム機構５０を制御する。この
様にすることにより瞳孔は５倍に撮影されるので瞳孔波
形の抽出精度が上がる。また、検出対象者１が少し移動
した場合は、ズーム倍率は同一で、カメラ３の向きだけ
を追従する。検出対象者１の移動が大きく追従できない
場合は、ズーム倍率を１倍にもどして再度瞳孔を検出し
た後、ズームする。
【００６０】なお、上記実施例８では実施例６のものに
対し、ズーム機構を設けるものを示したが、実施例１な
いし５、および実施例７に対してもズーム機構を設ける
ことにより瞳孔の正確な形状がわかり、検出精度が上が
る。
【００６１】実施例９． 図２３はこの発明の実施例９による人物状態検出装置を
示す構成図である。実施例４では瞳孔形状から瞼の開閉
度を推定していたのに対し、本実施例では瞳孔と抽出
後、瞼を抽出し、瞼の抽出結果から直接、瞼の開閉度を
計算し、瞼の開閉度より瞬目波形を求めて覚醒度を検出
するものである。一般に瞬き波形は、図２４のようにな
る。図において、縦軸ｙebは図２５に示すように上下瞼
の最大距離であり、ｙ0 は上下瞼が最も開いた状態の最
大距離である。横軸ｔは時間であり、ｔp は瞼の閉じた
時、ｔ0s、ｔ0eはｙ0 ／２の時の時間である。図２６は
覚醒度が低下した場合に現れる瞬目波形（実線Ｂ）と、
覚醒度が低下していない場合の瞬目波形（破線Ａ）であ
る。覚醒度が下がると、個人差はあるが、瞼の瞬き波形
が遅くなる。なお、図２６において、ｙ1 は上下実線Ｂ
で瞼が最も開いた状態の最大距離、ｔ1s、ｔ1eはｙ1 ／
２の時の時間である。
【００６２】次に動作について説明する。図２３におい
て、ウィンドウ設定回路２２は瞳孔抽出回路２１により
抽出された瞳孔位置から、瞼の探索範囲となる領域（ウ
ィンドウ）を決める。即ち、図２５に示すように、上下
瞼の探索用に瞳孔を中心とする５ｃｍ角のウィンドウを
設ける。特徴点抽出回路２３はウィンドウ設定回路２２
が限定した領域内から、画像の上下方向の輝度変化率に
より瞼を抽出し、上下瞼の最大距離ｙebを求める。抽出
結果記憶メモリ３０は最大距離ｙebの時間変化を瞬目波
形として記憶する。居眠り判定回路４０はこの瞬目波形
をパターン識別して分析し、覚醒度低下波形の出現頻度
の推移を見て一定以上になると居眠り状態と判断する。
瞬目波形の分析には、瞬目持続期間ｔeーｔs、瞼が閉じ
る速度と開く速度の比（ｔpーｔs）／（ｔeーｔp）（但
し、ｔsはｔ1s、ｔ0sを総称して云う。またｔeはｔ1e、
ｔ0eを総称して云う）などが用いられるが、本実施例で
はｔeーｔsを用い、この値が所定値以上になると居眠り
状態と判断する。なお、上記実施例９ではｔe、ｔsをｙ
／２から求めたが、これにこだわらず、例えばｙ／３の
時の値としてもよい。
【００６３】なお、上記実施例９では、瞬目波形を用い
たが、瞼の開閉度から瞬目頻度を求め、この瞬目頻度か
ら覚醒度を求めても良い。また、実施例４と同様、瞼の
開閉度から瞼の半開き状態を判定し、この半開き状態か
ら覚醒度を求めても良い。また、上記実施例９では瞳孔
位置から瞼抽出用のウィンドウを設けて瞼を抽出した
が、瞳孔位置から紅彩抽出用のウィンドウを設け、エッ
ジ検出処理やハフ変換処理により紅彩を求め、実施例４
と同様に紅彩の欠け具合いから瞼の開閉度を推定し、覚
醒度を検出してもよい。
【００６４】実施例１０． 図２７はこの発明の実施例１０による人物状態検出装置
を示す構成図である。実施例７では瞳孔の平均直径を計
り、検出対象者の緊張度を検出したが、本実施例は瞳孔
を抽出後、視線を検出して、この視線の時系列パターン
から検出対象者の緊張度を検出するものである。図２７
において、６０は視線計算回路である。
【００６５】次に動作について説明する。図２７におい
て、ウィンドウ設定回路２２は瞳孔抽出回路２１により
抽出された瞳孔位置から、実施例９と同様、瞼の探索範
囲となる領域（ウィンドウ）を決める。特徴点抽出回路
２３はウィンドウ設定回路２２が限定した領域内から、
瞼を抽出する。視線計算回路６０は瞼と瞳孔の位置関係
により視線方向を推定する。図２８に視線の求め方を示
す。図２８（ａ）は視線が正面（カメラ方向）を向いて
いる時、図２８（ｂ）は右を向いている時、図２８
（ｃ）は視線方向を上からみた図である。上下瞼の中心
位置Ｏ（これは正面を向いたときの瞳孔の中心位置に相
当する）と瞳孔中心の見かけ上の位置Ｐが分かると、Ｏ
とＰの位置関係により視線方向が求められる。即ち、 ＯＰのＸ方向の距離＝ｄ・ｓｉｎ（α） ＯＰのＹ方向の距離＝ｄ・ｓｉｎ（β） 但し、ｄ：眼球の半径（本実施例では日本人の平均であ
る１．２２ｃｍ） α：Ｘ方向への視線の角度 β：Ｙ方向への視線の角度 抽出結果記憶メモリ３０は視線計算回路６０で求められ
た視線α、βの時系列パターンを記憶する（図２９
（ａ）は視線αに対する時系列パターンの一例）。ぼん
やりしているときは、視線の分散が減る（図２９
（ｂ））ことから、緊張度判定回路４２は次式
【００６６】
【数１】
【００６７】より視線の分散を取り（図２９（ｂ）は図
２９（ａ）の視線の動きに対する分散）、視線αに対す
る、一定時間内（例えば２分間の）の視線の分散が一定
以上より小さくなれば、ぼんやり状態であると判断す
る。
【００６８】実施例１１． 図３０はこの発明の実施例１１による人物状態検出装置
を示す構成図である。上記各実施例では検出対象者の状
態を検出するもの、あるいは検出対象者の状態を検出し
てブザーを鳴らすものを示したが、本実施例はブザーを
鳴らした後の状態も検出し、より人物状態の検出精度を
上げるものである。図３０において、９１は可視光ＬＥ
Ｄ（刺激発生手段）、９２はブザーである。
【００６９】次に動作について説明する。図３０におい
て、瞳孔抽出回路２１、抽出結果記憶メモリ３０の動作
は実施例２のものと同じであり、瞳孔位置の時系列デー
タを記憶する。居眠り判定回路４０は抽出結果記憶メモ
リ３０に記憶された瞳孔位置の時系列データを基に、顔
がうつ向いた時間により居眠りをしているか否かを判定
し、居眠りしていると仮判定した場合、検出対象者１に
向け可視光ＬＥＤ９１を光らせる。さらに居眠り判定回
路４０は、可視光ＬＥＤ９１発光前の検出対象者の状態
と発光後の状態とを比較し、再度居眠りの判定をした場
合は居眠りと判定し、ブザー９２を鳴らす。図３１に本
実施例の詳細な動作をフローチャートにより示す。図に
おいて、ステップＳ１０よりステップＳ１８までは実施
例２における図８と同じである。ステップＳ２０におい
て、居眠りと仮判定し（一次判定結果）、ステップＳ２
１でこの時の瞳孔位置を記憶する。ステップＳ２２では
可視光ＬＥＤ９１をオンにし、検出対象者１に刺激を与
える。ステップＳ２３では再度、顔画像を入力する。ス
テップＳ２４ではステップＳ１１と同様に瞳孔位置を抽
出し、ステップＳ２５では抽出した瞳孔位置（瞳孔高
さ）がステップＳ２１で記憶した瞳孔位置と変化してい
るかを判定する。変化がある場合、ステップＳ２６で居
眠り仮判定を解除して、ステップＳ２７で可視光ＬＥＤ
９１をオフにする。変化がない場合には、ステップＳ２
８で居眠り仮判定後、３秒以上経過しているかを判定
し、経過していなければステップＳ２３に戻り、もう一
度顔画像を取る。経過していればうつ向いた状態が警告
後も長く続いたとして居眠りと判定し（二次判定結
果）、ブザー９２を鳴らす。
【００７０】なお、上記実施例１１では実施例２に対す
る人物状態検出装置に対し、刺激を与える前後の状態の
変化を見たが、他の実施例の人物状態検出装置に対して
も、検出対象者の状態に応じて刺激を与え、刺激を与え
る前後の状態の変化を見るようにしてもよい。
【００７１】また、上記実施例において、可視光ＬＥＤ
９１は小さくなるブザーでもよいし、五感に訴えるもの
であれば他のものであってもよい。また、プラントの制
御板などのオペレータに対しては、「このボタンを押し
て下さい」等の指示を音声で与えるようにしてもよい。
【００７２】実施例１２． 図３２はこの発明の実施例１２による人物状態検出装置
を示す構成図である。上記各実施例では検出対象者迄の
距離は一定と仮定して瞳孔の位置や形状、また、瞼等の
特徴点の位置や形状を検出していたが、図３３に示すよ
うにカメラと検出対象者との距離Ｌが遠くなると、見か
け上の瞳孔や瞼等の大きさも小さくなる。検出対象者１
とカメラ３間の標準的な距離をＬ0とすると、見かけ上
の例えば瞼の大きさｙebは Ｙeb・Ｌ0／Ｌになり、検
出対象者の距離が変動すると瞬目波形に誤差がでる。な
お、Ｙebは標準距離から見た瞼の大きさである。本実施
例はこの様な距離による瞳孔形状または特徴量の変化を
補正する機能を備えたものであり、実施例９に対する人
物状態検出装置に対し、補正手段を設けたものである。
図３２において、７０は超音波送信および受信回路から
なる超音波センサ測距回路であり、ＣＣＤカメラ３に近
接して設けられている。
【００７３】次に動作を説明する。測距は超音波パルス
を超音波センサ測距回路７０から検出対象者１に発信
し、超音波が検出対象者１に当った反射波の伝搬時間を
計算することにより、距離Ｌを求める。 Ｌ＝ｖ・ｔ／２ 但し、ｖ：超音波の伝搬速度、ｔ：エコーを送信してか
ら受信するまでの時間このようにして検出対象者１とカ
メラ３間の距離Ｌを測り、例えば実施例９で求めるＹeb
を距離により以下のように補正して、瞬目波形を得る。 Ｙeb＝ｙeb・Ｌ／Ｌ0 以下の居眠り検出の動作は実施例９と同一である。
【００７４】なお、上記実施例１２では実施例９に対す
る人物状態検出装置に対し、距離による補正を行なった
が、他の実施例の人物状態検出装置に対しても、同様に
所定位置から検出対象者の顔面までの距離を測定し、瞳
孔形状または特徴量を距離により補正することにより、
検出精度が上がる。
【００７５】なお、上記実施例では、測距の手段として
超音波センサを用いたが、測距の手段はこれに限るもの
ではなく、カメラレンズの焦点が一致する点から距離を
求める方法でも、頭部に位置計測用のの磁気センサをと
りつける方法でもよい。また、同軸落射撮影装置を複数
用意し、三角測量の原理から顔面上の特徴点の距離を求
める方法でもよい。
【００７６】実施例１３． 図３４はこの発明の実施例１３による人物状態検出装置
を示す構成図である。上記各実施例では検出対象者周辺
の照度は一定と仮定して瞳孔の形状を検出していたが、
瞳孔の大きさは例えば図３５に示すように明るくなると
小さくなるため、明るさが変動すると誤差がでる。本実
施例はこの様な明るさによる瞳孔形状の変化を補正する
機能を備えたものであり、実施例６に対する人物状態検
出装置に対し、補正手段を設けたものである。図３４に
おいて、８０は検出対象者近傍に設置した照度センサで
ある。
【００７７】次に動作を説明する。照度センサ８０で検
出対象者周辺の照度を測定し、瞳孔抽出回路２１で抽出
された瞳孔の直径に対し、予め求められた照度に応じた
係数をかけて補正する。このようにすることにより照度
によらない瞳孔波形の分析が可能となる。
【００７８】または照度が変化したとき、それまでの瞳
孔波形分析結果を棄却し、新たな瞳孔波形で分析するよ
うにしてもよい。
【００７９】実施例１４． 図３６はこの発明の実施例１４による人物状態検出装置
を示す構成図である。上記実施例９では瞼の上下の距離
により覚醒度を判断したが、顔を上下に傾けない場合は
これでうまく行く。顔が上下に傾くと見かけ上、瞼の上
下の距離が小さくなる。本実施例はこの様な検出対象者
の顔の向きによる瞳孔形状または特徴量の変化を補正す
る機能を備えたものであり、実施例９に対する人物状態
検出装置に対し、補正手段を設けたものである。図３６
において、２５は顔方向推定抽出結果補正回路である。
【００８０】次に動作を説明する。顔の上下の角度は実
施例３と同様にして求められる。即ち、瞳孔抽出回路２
１で求められた瞳孔位置、及び特徴点抽出回路２３で求
められた鼻孔位置は、顔方向推定抽出結果補正回路２５
に入力され、顔が正面を向いているときの瞳孔の中心位
置から鼻孔中心までの距離Ｓ0と瞳孔の中心位置から鼻
孔中心までの見かけ上の距離Ｓを求める。このようにし
て求められたＳ0、及びＳから、顔の上下角度θが求め
られる。 Ｓ＝Ｓ0・ＣＯＳ（θ） 一方、特徴点抽出回路２３では実施例９と同様に瞼を抽
出し、上下瞼の最大距離ｙebを求め、顔方向推定抽出結
果補正回路２５に入力される。顔方向推定抽出結果補正
回路２５では得られたθとｙebの値から瞼の上下の距離
を補正する。 ｙh＝ｙeb／ｃｏｓ（θ） 但し、ｙeb：画像から瞼の上下の距離を抽出した抽出結
果 ｙh：補正後の瞼の上下の距離 θ：顔の上下回転角度（正面は０度） 抽出結果記憶メモリ３０は補正後の距離ｙh の時間変化
を瞬目波形として記憶する。居眠り判定回路４０はこの
瞬目波形をパターン識別して分析し、覚醒度低下波形の
出現頻度の推移を見て一定以上になると居眠り状態と判
断する。
【００８１】なお上記実施例１４では実施例９に対する
人物状態検出装置に対し、顔の上下角度による補正を行
なったが、他の実施例の人物状態検出装置に対しても、
同様に顔の上下角度あるいは左右の角度を測定し、瞳孔
形状または特徴量を上記角度により補正することによ
り、検出精度が上がる。
【００８２】
【発明の効果】以上のように、この発明によれば、検出
対象者の顔面を含む所定の領域の像を入力する光入力手
段、検出対象者を同軸落射照明する照明手段、光入力手
段から出力される撮影画像から、検出対象者の瞳孔位置
を抽出する瞳孔抽出手段、瞳孔抽出手段により抽出され
た瞳孔抽出結果から、顔面上の特徴点を含む探索範囲を
限定する探索範囲限定手段、探索範囲限定手段が限定し
た領域内から上記特徴点の位置または形状を抽出する特
徴量抽出手段、及び上記特徴量抽出手段により抽出され
た特徴量抽出結果を用い、検出対象者の状態を判定する
人物状態判定手段を備えたので、簡単な画像処理で瞳孔
が抽出でき、検出対象者の状態を非接触で、容易に判定
できる効果がある。また、より直接的な特徴量をつかむ
ことができ、検出精度が上がる効果がある。
【００８３】
【００８４】
【００８５】
【００８６】
【００８７】また、この発明によれば、瞳孔抽出手段に
より抽出された瞳孔形状から瞳孔の径を計り、瞳孔の拡
大伸縮波形を出力する瞳孔波形出力手段を有し、人物状
態判定手段は上記瞳孔の拡大伸縮度合いから、検出対象
者の状態を判定するので、検出対象者の生理状態や緊張
度が判る。
【００８８】また、この発明によれば、上記瞳孔波形出
力手段において瞳孔形状から瞳孔の最大径を計るので、
顔の方向が変わっても瞳孔の大きさについての正しい評
価ができ、信頼性が上がる。
【００８９】また、この発明によれば、特徴量抽出手段
により特徴量として瞼を抽出し、この抽出結果から瞼の
開閉度を計算する瞼開閉度計算手段を有し、人物状態判
定手段は上記瞼の開閉度から検出対象者の状態を判定す
るので、確実に瞬目状態が判り、検出対象者の覚醒度の
判定がより確実になる。
【００９０】また、この発明によれば、瞳孔抽出結果及
び特徴量抽出結果から検出対象者の視線を検出する視線
検出手段を有し、人物状態判定手段は上記検出対象者の
視線時系列パタ−ンから上記検出対象者の状態を判定す
るので、検出対象者の緊張度が判る。
【００９１】また、この発明によれば、人物状態判定手
段からの一次判定結果により検出対象者に刺激を発生す
る刺激発生手段を有し、人物状態判定手段は、刺激発生
前後の瞳孔または特徴点の状態を基にして、上記検出対
象者の状態を二次判定するので、人物状態検出精度が向
上する。
【００９２】また、この発明によれば、所定位置から検
出対象者の顔面までの距離を測定する顔面距離計測手段
を有し、瞳孔抽出手段または特徴量抽出手段は、上記距
離を用いて瞳孔形状または特徴量を補正するので、検出
精度が上がる効果がある。
【００９３】また、この発明によれば、検出対象者周辺
の照度を測定する照度測定手段を有し、照度測定結果に
もとづき瞳孔抽出手段で抽出される瞳孔形状を補正する
ので、検出精度が上がる効果がある。
【００９４】また、この発明によれば、検出対象者の顔
の向きを測定する顔方向推定手段を有し、瞳孔抽出手段
または特徴量抽出手段は、上記顔の向きを用いて瞳孔形
状または特徴量を補正するので、検出精度が上がる効果
がある。
【００９５】
【図面の簡単な説明】
【図１】この発明の実施例１による人物状態検出装置を
示す構成図である。
【図２】この発明の実施例１による人物状態検出装置を
車載した状態を説明する説明図である。
【図３】この発明の実施例１に係わる光入力手段により
撮像された撮影画像を示す説明図である。
【図４】この発明の実施例１に係わる光入力手段により
撮像された撮影画像を従来のものと比較して説明する説
明図である。
【図５】この発明の実施例１に係わる瞳孔抽出回路によ
り抽出された抽出結果を示す説明図である。
【図６】この発明の実施例１による人物状態検出装置の
動作を示すフローチャートである。
【図７】この発明の実施例２による人物状態検出装置を
示す構成図である。
【図８】この発明の実施例２による人物状態検出装置の
動作を示すフローチャートである。
【図９】この発明の実施例２による人物状態検出装置の
動作を説明する説明図である。
【図１０】この発明の実施例３による人物状態検出装置
を示す構成図である。
【図１１】この発明の実施例４による人物状態検出装置
を示す構成図である。
【図１２】この発明の実施例４による人物状態検出装置
の動作を説明する説明図である。
【図１３】この発明の実施例５による人物状態検出装置
を示す構成図である。
【図１４】この発明の実施例５による人物状態検出装置
の動作を説明する説明図である。
【図１５】この発明の実施例５による人物状態検出装置
の動作を説明する説明図である。
【図１６】この発明の実施例６による人物状態検出装置
を示す構成図である。
【図１７】この発明の実施例６による人物状態検出装置
の動作を説明する説明図である。
【図１８】この発明の実施例６による人物状態検出装置
の動作を説明する説明図である。
【図１９】この発明の実施例７による人物状態検出装置
を示す構成図である。
【図２０】この発明の実施例７による人物状態検出装置
の動作を説明する説明図である。
【図２１】この発明の実施例７による人物状態検出装置
の動作を説明する説明図である。
【図２２】この発明の実施例８による人物状態検出装置
を示す構成図である。
【図２３】この発明の実施例９による人物状態検出装置
を示す構成図である。
【図２４】この発明の実施例９による人物状態検出装置
の動作を説明する説明図である。
【図２５】この発明の実施例９による人物状態検出装置
の動作を説明する説明図である。
【図２６】この発明の実施例９による人物状態検出装置
の動作を説明する説明図である。
【図２７】この発明の実施例１０による人物状態検出装
置を示す構成図である。
【図２８】この発明の実施例１０による人物状態検出装
置の動作を説明する説明図である。
【図２９】この発明の実施例１０による人物状態検出装
置の動作を説明する説明図である。
【図３０】この発明の実施例１１による人物状態検出装
置を示す構成図である。
【図３１】この発明の実施例１１による人物状態検出装
置の動作を説明するフローチャートである。
【図３２】この発明の実施例１２による人物状態検出装
置を示す構成図である。
【図３３】この発明の実施例１２による人物状態検出装
置の動作を説明する説明図である。
【図３４】この発明の実施例１３による人物状態検出装
置を示す構成図である。
【図３５】この発明の実施例１３による人物状態検出装
置の動作を説明する説明図である。
【図３６】この発明の実施例１４による人物状態検出装
置を示す構成図である。
【図３７】従来の人物状態検出装置を示す構成図であ
る。
【図３８】従来の人物状態検出装置に用いられる光入力
手段により撮像された撮影画像を示す説明図である。
【符号の説明】
１ 検出対象者 ２ 赤外線ＬＥＤ ３ ＣＣＤカメラ ６ 瞳孔 ８ ハーフミラー ９ ブザー １０ 撮影画像入力メモリ ２１ 瞳孔抽出回路 ２２ ウィンドウ設定回路 ２３ 特徴点抽出回路 ２４ 瞼開閉度推定回路 ２５ 顔方向推定抽出結果補正回路 ３０ 抽出結果記憶メモリ ３１ 瞬目頻度計算回路 ３２ 瞳孔波形分析回路 ４０ 居眠り判定回路 ４１ 呼吸数抽出回路 ４２ 緊張度判定回路 ５０ ズーム機構 ５１ ズーム制御回路 ５２ カメラ駆動機構 ６０ 視線計算回路 ７０ 超音波センサ測距回路 ８０ 照度センサ ９１ 可視光ＬＥＤ ９２ ブザー
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐竹 敏英 尼崎市塚口本町８丁目１番１号 三菱電 機株式会社 産業システム研究所内 (72)発明者 鷲野 翔一 尼崎市塚口本町８丁目１番１号 三菱電 機株式会社 産業システム研究所内 (72)発明者 大川 太 尼崎市塚口本町８丁目１番１号 三菱電 機株式会社 生産技術研究所内 (72)発明者 寺下 裕美 尼崎市塚口本町８丁目１番１号 三菱電 機株式会社 中央研究所内 (56)参考文献 特開 昭63−255033（ＪＰ，Ａ) 特開 昭63−258226（ＪＰ，Ａ) 特開 平３−165737（ＪＰ，Ａ) 特開 平６−262958（ＪＰ，Ａ) 特開 平７−61256（ＪＰ，Ａ) 特開 平７−61257（ＪＰ，Ａ) 特開 平７−93700（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G08G 1/16 A61B 3/10 - 3/133 G06T 1/00 B60K 28/06 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (11)

    (57)【特許請求の範囲】
  1. 【請求項１】 検出対象者の顔面を含む所定の領域の像
    を入力する光入力手段、上記検出対象者を照明し、上記
    検出対象者と上記光入力手段とを結ぶ光軸と、照明光照
    射方向とが少なくとも上記検出対象者近傍においてほぼ
    同軸となるように配置された照明手段、上記光入力手段
    から出力される上記検出対象者の撮影画像から、検出対
    象者の瞳孔位置を抽出する瞳孔抽出手段、上記瞳孔抽出
    手段により抽出された瞳孔抽出結果から、顔面上の特徴
    点を含む探索範囲を限定する探索範囲限定手段、上記探
    索範囲限定手段が限定した領域内から上記特徴点の位置
    または形状を抽出する特徴量抽出手段、及び上記特徴量
    抽出手段により抽出された特徴量抽出結果を用い、上記
    検出対象者の状態を判定する人物状態判定手段を備えた
    ことを特徴とする人物状態検出装置。
  2. 【請求項２】 請求項１に記載の人物状態検出装置にお
    いて、特徴量抽出手段により特徴量として瞼を抽出し、
    この抽出結果から瞼の開閉度を計算する瞼開閉度計算手
    段を有し、人物状態判定手段は上記瞼の開閉度から検出
    対象者の状態を判定することを特徴とする人物状態検出
    装置。
  3. 【請求項３】 請求項１に記載の人物状態検出装置にお
    いて、瞳孔抽出結果及び特徴量抽出結果から検出対象者
    の視線を検出する視線検出手段を有し、人物状態判定手
    段は上記検出対象者の視線時系列パタ−ンから上記検出
    対象者の状態を判定することを特徴とする人物状態検出
    装置。
  4. 【請求項４】 請求項１に記載の人物状態検出装置にお
    いて、所定位置から検出対象者の顔面までの距離を測定
    する顔面距離計測手段を有し、特徴量抽出手段は上記距
    離を用いて特徴量を補正することを特徴とする人物状態
    検出装置。
  5. 【請求項５】 請求項１に記載の人物状態検出装置にお
    いて、検出対象者の顔の向きを測定する顔方向推定手段
    を有し、特徴量抽出手段は上記顔の向きを用いて特徴量
    を補正することを特徴とする人物状態検出装置。
  6. 【請求項６】 検出対象者の顔面を含む所定の領域の像
    を入力する光入力手段、上記検出対象者を照明し、上記
    検出対象者と上記光入力手段とを結ぶ光軸と、照明光照
    射方向とが少なくとも上記検出対象者近傍においてほぼ
    同軸となるように配置された照明手段、上記光入力手段
    から出力される上記検出対象者の撮影画像から、検出対
    象者の瞳孔形状を抽出する瞳孔抽出手段、上記瞳孔抽出
    手段により抽出された瞳孔形状から瞳孔の径を計り、瞳
    孔の拡大伸縮波形を出力する瞳孔波形出力手段、及び上
    記瞳孔の拡大伸縮度合いから、上記検出対象者の状態を
    判定する人物状態判定手段を備えたことを特徴とする人
    物状態検出装置。
  7. 【請求項７】 請求項６に記載の人物状態検出装置にお
    いて、瞳孔波形出力手段は瞳孔抽出手段により抽出され
    た瞳孔形状から瞳孔の最大径を計り、瞳孔の拡大伸縮波
    形を出力することを特徴とする人物状態検出装置。
  8. 【請求項８】 検出対象者の顔面を含む所定の領域の像
    を入力する光入力手段、上記検出対象者を照明し、上記
    検出対象者と上記光入力手段とを結ぶ光軸と、照明光照
    射方向とが少なくとも上記検出対象者近傍においてほぼ
    同軸となるように配置された照明手段、上記光入力手段
    から出力される上記検出対象者の撮影画像から、検出対
    象者の瞳孔位置または瞳孔形状を抽出する瞳孔抽出手
    段、及び上記瞳孔抽出手段により抽出された瞳孔抽出結
    果を用い、上記検出対象者の状態を判定する人物状態判
    定手段を備えた人物状態検出装置であって、上記人物状
    態判定手段からの一次判定結果により検出対象者に刺激
    を発生する刺激発生手段を有し、上記人物状態判定手段
    は、刺激発生前後の瞳孔の状態を基にして、上記検出対
    象者の状態を二次判定することを特徴とする人物状態検
    出装置。
  9. 【請求項９】 検出対象者の顔面を含む所定の領域の像
    を入力する光入力手段、上記検出対象者を照明し、上記
    検出対象者と上記光入力手段とを結ぶ光軸と、照明光照
    射方向とが少なくとも上記検出対象者近傍においてほぼ
    同軸となるように配置された照明手段、上記光入力手段
    から出力される上記検出対象者の撮影画像から、検出対
    象者の瞳孔形状を抽出する瞳孔抽出手段、及び上記瞳孔
    抽出手段により抽出された瞳孔抽出結果を用い、上記検
    出対象者の状態を判定する人物状態判定手段を備えた人
    物状態検出装置であって、所定位置から上記検出対象者
    の顔面までの距離を測定する顔面距離計測手段を有し、
    上記瞳孔抽出手段は上記距離を用いて上記瞳孔形状を補
    正することを特徴とする人物状態検出装置。
  10. 【請求項１０】 検出対象者の顔面を含む所定の領域の
    像を入力する光入力手段、上記検出対象者を照明し、上
    記検出対象者と上記光入力手段とを結ぶ光軸と、照明光
    照射方向とが少なくとも上記検出対象者近傍においてほ
    ぼ同軸となるように配置された照明手段、上記光入力手
    段から出力される上記検出対象者の撮影画像から、検出
    対象者の瞳孔形状を抽出する瞳孔抽出手段、及び上記瞳
    孔抽出手段により抽出された瞳孔抽出結果を用い、上記
    検出対象者の状態を判定する人物状態判定手段を備えた
    人物状態検出装置であって、上記検出対象者周辺の照度
    を測定する照度測定手段を有し、照度測定結果にもとづ
    き上記瞳孔抽出手段で抽出される瞳孔形状を補正するこ
    とを特徴とする人物状態検出装置。
  11. 【請求項１１】 検出対象者の顔面を含む所定の領域の
    像を入力する光入力手段、上記検出対象者を照明し、上
    記検出対象者と上記光入力手段とを結ぶ光軸と、照明光
    照射方向とが少なくとも上記検出対象者近傍においてほ
    ぼ同軸となるように配置された照明手段、上記光入力手
    段から出力される上記検出対象者の撮影画像から、検出
    対象者の瞳孔形状を抽出する瞳孔抽出手段、及び上記瞳
    孔抽出手段により抽出された瞳孔抽出結果を用い、上記
    検出対象者の状態を判定する人物状態判定手段を備えた
    人物状態検出装置であって、上記検出対象者の顔の向き
    を測定する顔方向推定手段を有し、上記瞳孔抽出手段は
    上記顔の向きを用いて上記瞳孔形状を補正することを特
    徴とする人物状態検出装置。
JP03988794A 1994-03-10 1994-03-10 人物状態検出装置 Expired - Fee Related JP3293308B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP03988794A JP3293308B2 (ja) 1994-03-10 1994-03-10 人物状態検出装置
US08/330,322 US5573006A (en) 1994-03-10 1994-10-27 Bodily state detection apparatus
DE19509689A DE19509689C2 (de) 1994-03-10 1995-03-07 Verfahren zum Erfassen einer Vigilanz einer Person
US08/692,236 US5795306A (en) 1994-03-10 1996-08-07 Bodily state detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03988794A JP3293308B2 (ja) 1994-03-10 1994-03-10 人物状態検出装置

Publications (2)

Publication Number Publication Date
JPH07249197A JPH07249197A (ja) 1995-09-26
JP3293308B2 true JP3293308B2 (ja) 2002-06-17

Family

ID=12565493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03988794A Expired - Fee Related JP3293308B2 (ja) 1994-03-10 1994-03-10 人物状態検出装置

Country Status (3)

Country Link
US (2) US5573006A (ja)
JP (1) JP3293308B2 (ja)
DE (1) DE19509689C2 (ja)

Families Citing this family (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2282350B (en) * 1992-05-27 1995-11-22 Plastisign Ltd Method of cold laminating rigid plastics and stationery and apparatus therefor
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
JP3272906B2 (ja) * 1995-05-29 2002-04-08 シャープ株式会社 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JPH10192333A (ja) * 1996-12-27 1998-07-28 Nidek Co Ltd 眼科手術装置
JP3455627B2 (ja) * 1996-03-22 2003-10-14 日産ディーゼル工業株式会社 車両における覚醒度低下検出装置
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
USRE39539E1 (en) 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
DE19643593A1 (de) * 1996-10-22 1998-04-23 Privatinstitut Fuer Informatik Vorrichtung und Verfahren zum frühzeitigen Erkennen und Verhindern unzulässiger Konzentrationsschwächen und des Einschlafens beim Autofahren und bei anderen Tätigkeiten, die hohe Konzentration erfordern
JP3828626B2 (ja) * 1996-12-27 2006-10-04 株式会社ニデック 眼科手術装置
JP3815842B2 (ja) * 1997-03-31 2006-08-30 日産ディーゼル工業株式会社 居眠り警報装置
DE19719695A1 (de) * 1997-05-09 1998-11-19 Univ Eberhard Karls Verfahren und Vorrichtung zum Messen der Aufmerksamkeit von Lebewesen innerhalb einer Menge von Lebewesen
DE19731301C2 (de) * 1997-07-13 2001-05-10 Smi Senso Motoric Instr Gmbh Vorrichtung zum Steuern eines Mikroskopes mittels Blickrichtungsanalyse
JPH1147094A (ja) * 1997-08-05 1999-02-23 Canon Inc 検眼装置
JP3556439B2 (ja) * 1997-08-12 2004-08-18 三菱電機株式会社 顔画像処理装置
EP0910986A1 (en) * 1997-10-24 1999-04-28 BRITISH TELECOMMUNICATIONS public limited company Imaging apparatus
JP3477057B2 (ja) * 1997-12-05 2003-12-10 日本電信電話株式会社 ドライバー状況依存コミュニケーション装置及びその方法
DE19803158C1 (de) * 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
FR2784887B1 (fr) 1998-10-22 2001-01-19 Renault Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule
JP2000132693A (ja) * 1998-10-27 2000-05-12 Sony Corp 画像処理装置および方法、並びに提供媒体
DE19856129A1 (de) * 1998-12-04 2000-06-08 Volkswagen Ag Verfahren zur Ansteuerung von Sicherheitseinrichtungen in einem Kraftfahrzeug
US6483484B1 (en) * 1998-12-18 2002-11-19 Semiconductor Energy Laboratory Co., Ltd. Goggle type display system
JP3839982B2 (ja) * 1999-01-29 2006-11-01 松下電器産業株式会社 人体検知装置及び人体検知方法
JP3600755B2 (ja) * 1999-05-13 2004-12-15 三菱電機株式会社 顔画像処理装置
FR2821459B1 (fr) * 2001-02-23 2004-11-12 Holding Bev Sa Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation
JP2001242417A (ja) * 2000-02-28 2001-09-07 Mixed Reality Systems Laboratory Inc 瞳孔位置検出装置及びそれを用いた画像表示装置
DE10024227B4 (de) * 2000-05-17 2011-02-17 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades
US6831998B1 (en) * 2000-06-22 2004-12-14 Hitachi, Ltd. Inspection system for circuit patterns and a method thereof
US7200246B2 (en) * 2000-11-17 2007-04-03 Honeywell International Inc. Object detection
US6711279B1 (en) * 2000-11-17 2004-03-23 Honeywell International Inc. Object detection
WO2002050792A1 (en) * 2000-12-21 2002-06-27 Todor Stankovic The procedure and device intended for the man-machine system security preservation under a man's drowsiness conditions
WO2002056251A1 (fr) * 2000-12-27 2002-07-18 Mitsubishi Denki Kabushiki Kaisha Dispositif de traitement d'images et ascenseur sur lequel il est monte
CN1261904C (zh) * 2000-12-27 2006-06-28 三菱电机株式会社 图象处理装置和装载该装置的电梯
US7176440B2 (en) * 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
DE10108797A1 (de) * 2001-02-21 2002-09-05 Zeiss Carl Jena Gmbh Verfahren zur Ermittlung von Abständen am vorderen Augenabschnitt
US20020180608A1 (en) 2001-05-04 2002-12-05 Sphericon Ltd. Driver alertness monitoring system
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US7409373B2 (en) * 2001-12-28 2008-08-05 Concepta Ab Pattern analysis system and method
US20030163827A1 (en) * 2002-02-28 2003-08-28 Purpura William J. High risk personnel real time monitoring support apparatus
JP3797253B2 (ja) * 2002-03-14 2006-07-12 日産自動車株式会社 視線方向検出装置
US20040037450A1 (en) * 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
NL1021496C2 (nl) * 2002-09-19 2004-03-22 Joannes Hermanus Heiligers Signaleringsinrichting en werkwijze voor het monitoren van alertheid van personen.
GB0230223D0 (en) * 2002-12-24 2003-02-05 Newcastle Upon Tyne Hospitals A pupilometer
JP4391091B2 (ja) * 2003-01-17 2009-12-24 ソニー株式会社 情報伝送方法、情報伝送装置、情報記録方法、情報記録装置、情報再生方法、情報再生装置および記録媒体
US7138922B2 (en) * 2003-03-18 2006-11-21 Ford Global Technologies, Llc Drowsy driver monitoring and prevention system
JP4054713B2 (ja) * 2003-04-25 2008-03-05 忠彦 福田 戸惑い検出方法及び戸惑い検出プログラム
JP2005013626A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP4123077B2 (ja) * 2003-06-27 2008-07-23 日産自動車株式会社 運転者状態検出装置
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP4118773B2 (ja) * 2003-09-11 2008-07-16 日産ディーゼル工業株式会社 視線方向検出装置及び視線方向検出方法
JP4173083B2 (ja) * 2003-09-12 2008-10-29 日産ディーゼル工業株式会社 覚醒状態判定装置及び覚醒状態判定方法
US7049947B2 (en) * 2003-09-29 2006-05-23 Nattel Group, Inc. System and method for monitoring the operational condition of a motor vehicle
DE102004022581B4 (de) * 2003-10-06 2017-08-03 Volkswagen Ag Fahrerassistenzsystem
JP4225182B2 (ja) * 2003-11-04 2009-02-18 株式会社デンソー 居眠り運転予防装置
DE10360176A1 (de) * 2003-12-20 2005-07-21 Volkswagen Ag Kraftfahrzeug mit einem Sensor zur Fahrerüberwachung
JP4317465B2 (ja) * 2004-02-13 2009-08-19 本田技研工業株式会社 顔識別装置、顔識別方法及び顔識別プログラム
US7331671B2 (en) * 2004-03-29 2008-02-19 Delphi Technologies, Inc. Eye tracking method based on correlation and detected eye movement
US7515054B2 (en) * 2004-04-01 2009-04-07 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP4088282B2 (ja) * 2004-08-20 2008-05-21 清実 中村 コンピュータ入力方法と装置
US7435227B2 (en) * 2004-09-13 2008-10-14 Biocognisafe (Bcs) Technologies Method and apparatus for generating an indication of a level of vigilance of an individual
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
CA2599984C (en) * 2005-03-04 2015-09-29 Sleep Diagnostics Pty Ltd Measuring alertness
US7301465B2 (en) * 2005-03-24 2007-11-27 Tengshe Vishwas V Drowsy driving alarm system
DE102005026479B4 (de) * 2005-06-09 2017-04-20 Daimler Ag Verfahren zur Unaufmerksamkeitserkennung in Abhängigkeit von mindestens einem fahrerindividuellen Parameter
US20060279745A1 (en) * 2005-06-13 2006-12-14 Wenstrand John S Color imaging system for locating retroreflectors
JP4704174B2 (ja) * 2005-09-30 2011-06-15 富士フイルム株式会社 状態識別装置、プログラムおよび方法
JP4621983B2 (ja) * 2005-10-07 2011-02-02 株式会社デンソー 自動車用ユーザーもてなしシステム
JP4497081B2 (ja) * 2005-10-31 2010-07-07 トヨタ自動車株式会社 人の状態検出装置
US7650034B2 (en) * 2005-12-14 2010-01-19 Delphi Technologies, Inc. Method of locating a human eye in a video image
US7423540B2 (en) * 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
US20070146482A1 (en) * 2005-12-23 2007-06-28 Branislav Kiscanin Method of depth estimation from a single camera
JP4509042B2 (ja) * 2006-02-13 2010-07-21 株式会社デンソー 自動車用もてなし情報提供システム
WO2007095368A2 (en) * 2006-02-14 2007-08-23 Wms Gaming Inc. Reorganizing a wagering game machine's nvram
US7400235B2 (en) * 2006-02-28 2008-07-15 Nissan Technical Center North America, Inc. Lane departure warning mirror
JP4452833B2 (ja) * 2006-03-31 2010-04-21 国立大学法人静岡大学 視線移動検出方法及び視線移動検出装置
JP4864541B2 (ja) * 2006-05-23 2012-02-01 旭化成株式会社 まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
US7620216B2 (en) * 2006-06-14 2009-11-17 Delphi Technologies, Inc. Method of tracking a human eye in a video image
US8013838B2 (en) 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
US8102417B2 (en) * 2006-10-25 2012-01-24 Delphi Technologies, Inc. Eye closure recognition system and method
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4240118B2 (ja) * 2006-12-12 2009-03-18 トヨタ自動車株式会社 運転支援装置
JP4840146B2 (ja) * 2007-01-09 2011-12-21 株式会社デンソー 眠気検知装置
JP4895847B2 (ja) * 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
US8045766B2 (en) * 2007-02-16 2011-10-25 Denso Corporation Device, program, and method for determining sleepiness
JP4899059B2 (ja) * 2007-03-30 2012-03-21 国立大学法人静岡大学 眠気検知装置
DE102008007152B4 (de) * 2007-03-30 2019-01-17 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
CZ303526B6 (cs) * 2007-06-22 2012-11-14 Kyjovský@Štepán Zarízení pro detekci ztráty bdelosti ridice
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
JP4582137B2 (ja) * 2007-10-11 2010-11-17 株式会社デンソー 眠気度判定装置
JP2009116742A (ja) * 2007-11-08 2009-05-28 Aisin Seiki Co Ltd 車載用画像処理装置、画像処理方法、および、プログラム
JP2009223752A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 居眠り運転危険判定装置
JP5262243B2 (ja) * 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
US20100073584A1 (en) * 2008-09-22 2010-03-25 Harbach Andrew P Apparatus for illuminating a vehicle occupant with infrared light
JP4957711B2 (ja) * 2008-12-02 2012-06-20 オムロン株式会社 検出装置および方法、並びに、プログラム
JP4915413B2 (ja) * 2008-12-03 2012-04-11 オムロン株式会社 検出装置および方法、並びに、プログラム
JP5362405B2 (ja) * 2009-03-25 2013-12-11 安川情報システム株式会社 瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラム
US8556714B2 (en) 2009-05-13 2013-10-15 Wms Gaming, Inc. Player head tracking for wagering game control
US8369608B2 (en) * 2009-06-22 2013-02-05 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions
JP5493593B2 (ja) * 2009-08-26 2014-05-14 アイシン精機株式会社 眠気検出装置、眠気検出方法、及びプログラム
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
WO2011144932A1 (en) * 2010-05-20 2011-11-24 Bae Systems Plc Eye monitor for monitoring the size of a pupil
US11318949B2 (en) * 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US10482333B1 (en) * 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
JP5538160B2 (ja) * 2010-09-24 2014-07-02 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
EP2637563A4 (en) * 2010-11-08 2014-04-30 Optalert Australia Pty Ltd WORK ABILITY TEST
JP5482712B2 (ja) * 2011-04-08 2014-05-07 ブラザー工業株式会社 画像表示装置
DE102011075467A1 (de) 2011-05-06 2012-11-08 Deckel Maho Pfronten Gmbh Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken
JP5790762B2 (ja) * 2011-07-11 2015-10-07 トヨタ自動車株式会社 瞼検出装置
TWI436305B (zh) * 2011-07-26 2014-05-01 Holux Technology Inc 疲勞度偵測方法及其裝置
CN102988037A (zh) * 2011-09-16 2013-03-27 贾天民 通过对人眼部量值的检测达到警示与控制行为的智能装置
JP5367037B2 (ja) * 2011-09-26 2013-12-11 本田技研工業株式会社 顔向き検出装置
TWI466070B (zh) * 2012-09-14 2014-12-21 Utechzone Co Ltd 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置
US9330297B2 (en) * 2013-01-16 2016-05-03 Xerox Corporation Methods and systems for video-based chew counting via feature tracking
DE102013001380B4 (de) * 2013-01-26 2018-04-26 Audi Ag Verfahren zum Betreiben wenigstens einer Anzeigeeinrichtung eines Kraftwagens und System mit wenigstens einer Anzeigeeinrichtung sowie Kraftwagen
JP6150617B2 (ja) * 2013-05-30 2017-06-21 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
TW201501044A (zh) * 2013-06-24 2015-01-01 Utechzone Co Ltd 偵測臉部動作以產生訊號的裝置、方法以及電腦可讀取紀錄媒體
JP6168876B2 (ja) 2013-06-24 2017-07-26 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
JP6359866B2 (ja) * 2014-04-23 2018-07-18 矢崎総業株式会社 対象者存在範囲推定装置及び対象者存在範囲推定方法
MX2017002988A (es) 2014-09-09 2018-02-01 Torvec Inc Métodos y aparato para monitorear el nivel de alerta de una persona que utiliza un dispositivo portátil, y proporcionar una notificación.
JP6442942B2 (ja) * 2014-09-11 2018-12-26 株式会社デンソー ドライバ状態判定装置
JP6164431B2 (ja) * 2015-01-27 2017-07-19 マツダ株式会社 ドライバ状態判定装置
JP6565305B2 (ja) * 2015-04-28 2019-08-28 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置
DE102015211444A1 (de) * 2015-06-22 2016-12-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite
CN108697391A (zh) 2016-02-18 2018-10-23 Curaegis科技公司 警觉性预测系统和方法
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
US11226687B2 (en) * 2016-07-21 2022-01-18 Visionapp Solutions S.L. System and method for preventing sight deterioration caused by near work with devices with electronic screens
JP6720821B2 (ja) * 2016-10-14 2020-07-08 トヨタ自動車株式会社 瞬き検出装置
ES2714853T3 (es) 2017-01-27 2019-05-30 Zeiss Carl Vision Int Gmbh Procedimiento implementado por ordenador para la detección de un vértice corneal
JP6814068B2 (ja) * 2017-02-20 2021-01-13 株式会社東海理化電機製作所 生体状態推定装置
DE102017112536A1 (de) 2017-06-07 2018-12-13 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Fahrzeuginsassenbeobachtung mittels Terahertz-Strahlung
JP2019012429A (ja) * 2017-06-30 2019-01-24 いすゞ自動車株式会社 車両用警報装置
WO2019220436A2 (en) * 2018-05-14 2019-11-21 BrainVu Ltd. Driver predictive mental response profile and application to automated vehicle brain interface control
JP7212295B2 (ja) * 2019-09-13 2023-01-25 オムロン株式会社 表示システム、表示方法、及びプログラム
JP7251524B2 (ja) * 2020-07-01 2023-04-04 トヨタ自動車株式会社 眠気兆候通知システム、眠気兆候通知方法、及び眠気兆候通知プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59153625A (ja) * 1983-02-18 1984-09-01 Nissan Motor Co Ltd 居眠り運転検出装置
JPS60158303A (ja) * 1984-01-30 1985-08-19 Nippon Denso Co Ltd 車両運転者の眼の位置認識装置
DE3803916A1 (de) * 1988-02-09 1989-08-17 Messerschmitt Boelkow Blohm Verfahren und vorrichtung zur ermittlung der fahrtauglichkeit eines fahrzeugfuehrers
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US4967186A (en) * 1989-08-18 1990-10-30 Ariold Ludmirsky Method and apparatus for fatigue detection
JP2862030B2 (ja) * 1991-06-13 1999-02-24 三菱電機株式会社 暗号化方式
JPH0655203B2 (ja) * 1992-07-09 1994-07-27 株式会社エイ・ティ・アール視聴覚機構研究所 視線検出を用いた医療診断装置
US5317638A (en) * 1992-07-17 1994-05-31 International Business Machines Corporation Performance enhancement for ANSI X3.92 data encryption algorithm standard
US5543887A (en) * 1992-10-29 1996-08-06 Canon Kabushiki Kaisha Device for detecting line of sight
US5402109A (en) * 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers

Also Published As

Publication number Publication date
US5573006A (en) 1996-11-12
DE19509689A1 (de) 1995-09-14
JPH07249197A (ja) 1995-09-26
DE19509689C2 (de) 2000-01-05
US5795306A (en) 1998-08-18

Similar Documents

Publication Publication Date Title
JP3293308B2 (ja) 人物状態検出装置
US6785406B1 (en) Iris authentication apparatus
US8644562B2 (en) Multimodal ocular biometric system and methods
JP4518077B2 (ja) 視野計
US6260968B1 (en) Pupilometer with pupil irregularity detection capability
CN109310314B (zh) 用于眼位偏斜测量的移动装置应用
TW201808215A (zh) 具有醫療監測的電子眼用鏡片
JP4899059B2 (ja) 眠気検知装置
JP2002352229A (ja) 顔部位検出装置
US6669651B1 (en) Non-invasive brain function examination
US10722112B2 (en) Measuring device and measuring method
JP2002312772A (ja) 個人識別装置及び眼偽造判定方法
JP4677963B2 (ja) 居眠り検知装置、居眠り検知方法
JP3116638B2 (ja) 覚醒状態検知装置
JP2023500210A (ja) 高性能な明瞳孔アイトラッキング
JP3127760B2 (ja) 運転者の覚醒度検出装置
RU2413632C2 (ru) Способ предупреждения засыпания водителя транспортного средства
JP6747493B2 (ja) ドライバ状態判定装置
KR20060126352A (ko) 홍채 반사 영상 기반 졸음 감지 장치 및 방법
JP4895874B2 (ja) 目状態判別装置、目状態判別方法及び目状態判別プログラム
JP2004192552A (ja) 開閉眼判定装置
JP2006318374A (ja) 眼鏡判別装置および認証装置ならびに眼鏡判別方法
RU2352244C2 (ru) Способ измерения быстрых движений глаз и отклонений бинокулярного зрения и устройство для его реализации
JP2020140637A (ja) 瞳孔検出装置
KR102072910B1 (ko) 졸음 인식 장치를 이용한 졸음 인식 방법

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080405

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090405

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100405

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees