JP3477047B2 - 網膜反射像を利用したまばたき検出顔画像処理装置 - Google Patents
網膜反射像を利用したまばたき検出顔画像処理装置Info
- Publication number
- JP3477047B2 JP3477047B2 JP26959597A JP26959597A JP3477047B2 JP 3477047 B2 JP3477047 B2 JP 3477047B2 JP 26959597 A JP26959597 A JP 26959597A JP 26959597 A JP26959597 A JP 26959597A JP 3477047 B2 JP3477047 B2 JP 3477047B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- reflection image
- image
- retinal
- retina
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Human Computer Interaction (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Emergency Alarm Devices (AREA)
- Image Processing (AREA)
- Eye Examination Apparatus (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、画像処理を用い
て網膜反射像をそれ以外の反射像と区別して抽出し、網
膜反射像の存在状態による開閉眼判定手段を備えた顔画
像処理装置に関するものである。
て網膜反射像をそれ以外の反射像と区別して抽出し、網
膜反射像の存在状態による開閉眼判定手段を備えた顔画
像処理装置に関するものである。
【０００２】
【従来の技術】従来の顔画像処理装置としては、例え
ば、特願平８−５７１３号公報に記載されたようなもの
がある。これは２値化画像内で網膜反射像候補領域を設
定する段階で反射像を除去することに主眼をおいた顔画
像処理装置である。候補領域を設定する条件として、形
状特徴、前画面からの移動量ベクトルを用いる。また、
左右の網膜反射像を個別に抽出する網膜反射像領域抽出
手段を備えることを特徴とする。図２２は、特願平８−
５７１３号公報に開示された覚醒状態検知装置を簡略化
した構成図である。図中、１は検出対象者、１０はカメ
ラ、１１はＬＥＤ照明、１２はハーフミラー、１３はＬ
ＥＤ駆動回路、２０は濃淡画像メモリ、２１は２値化手
段、２２は２値化画像メモリ、２３は特徴抽出手段、２
４は開閉判定手段、２５は眼鏡有無判定手段であり、Ｌ
ＥＤ照明１１で照射された照明光は、ハーフミラー１２
を介して検出対象者１の顔面を照射する。
ば、特願平８−５７１３号公報に記載されたようなもの
がある。これは２値化画像内で網膜反射像候補領域を設
定する段階で反射像を除去することに主眼をおいた顔画
像処理装置である。候補領域を設定する条件として、形
状特徴、前画面からの移動量ベクトルを用いる。また、
左右の網膜反射像を個別に抽出する網膜反射像領域抽出
手段を備えることを特徴とする。図２２は、特願平８−
５７１３号公報に開示された覚醒状態検知装置を簡略化
した構成図である。図中、１は検出対象者、１０はカメ
ラ、１１はＬＥＤ照明、１２はハーフミラー、１３はＬ
ＥＤ駆動回路、２０は濃淡画像メモリ、２１は２値化手
段、２２は２値化画像メモリ、２３は特徴抽出手段、２
４は開閉判定手段、２５は眼鏡有無判定手段であり、Ｌ
ＥＤ照明１１で照射された照明光は、ハーフミラー１２
を介して検出対象者１の顔面を照射する。
【０００３】このような装置で検出対象者１の顔面を撮
影すると、検出対象者１の瞳孔は眼球内部の網膜からの
反射光により、図２（ａ）のように、あたかも瞳孔が光
っているかのように撮影される。これは、網膜が入射光
と同一方向に反射光を返す性質を持っているためであ
る。この網膜からの反射像は、顔の他の部分より著しく
明るく撮影されるため、撮影された濃淡画像に対する２
値化処理で、輝度の大きい画像領域を瞳孔領域として抽
出することができる。この瞳孔領域（網膜反射像）の形
状特徴に着目して、目の開閉状態を判定している。
影すると、検出対象者１の瞳孔は眼球内部の網膜からの
反射光により、図２（ａ）のように、あたかも瞳孔が光
っているかのように撮影される。これは、網膜が入射光
と同一方向に反射光を返す性質を持っているためであ
る。この網膜からの反射像は、顔の他の部分より著しく
明るく撮影されるため、撮影された濃淡画像に対する２
値化処理で、輝度の大きい画像領域を瞳孔領域として抽
出することができる。この瞳孔領域（網膜反射像）の形
状特徴に着目して、目の開閉状態を判定している。
【０００４】図１５は、従来の顔画像処理装置の網膜反
射像追跡アルゴリズムを示すフローチャートである。先
ず、カメラ制御により、カメラ１０からの出力画像が適
正な輝度値になるように調整する（ステップＳ１）。次
に、モード選択によって、大別して、初回あるいは目見
失い状態から網膜反射像を抽出するサーチモードと、現
在抽出中の網膜反射像を継続して追跡する追跡モードと
の何れかが選択される（ステップＳ２）。サーチモード
では、ほぼ顔全体にサーチウインドウを設定し（ステッ
プＳ３）、２値化領域の大きさ・形状により網膜反射像
の候補となる領域を選出し（ステップＳ４）、それらの
候補の中から左右目の相対位置関係により網膜反射像領
域を抽出する（ステップＳ５）。追跡モードでは、サー
チモードで見付かった網膜反射像２値化領域を左右個別
に追跡するため、追跡ウインドウを設定する（ステップ
Ｓ６）。具体的には、左右の眼を個別に追跡するため、
左目追跡ウインドウを設定する（ステップＳ７）と共
に、右目追跡ウインドウを設定する（ステップＳ８）。
次いで、追跡ウインドウにおいて左右の眼候補を生成す
る（ステップＳ４）。すなわち、左目追跡ウインドウに
おいて左目候補を生成する（ステップＳ９）と共に、右
目追跡ウインドウにおいて右目候補を生成する（ステッ
プＳ１０）。次いで、左右の眼候補より、網膜反射像候
補を選択し（ステップＳ５）、閉眼判定を行う（ステッ
プＳ１１）。すなわち、左右何れかの網膜反射像を抽出
できれば、目状態としては開判定し（ステップＳ１
２）、網膜反射像が抽出できなければ閉判定とする（ス
テップＳ１３）。閉判定が長時間（所定時間以上）継続
すると、目見失い状態と判断し（ステップＳ１４）、サ
ーチモードに戻り、最初から再抽出を行う。
射像追跡アルゴリズムを示すフローチャートである。先
ず、カメラ制御により、カメラ１０からの出力画像が適
正な輝度値になるように調整する（ステップＳ１）。次
に、モード選択によって、大別して、初回あるいは目見
失い状態から網膜反射像を抽出するサーチモードと、現
在抽出中の網膜反射像を継続して追跡する追跡モードと
の何れかが選択される（ステップＳ２）。サーチモード
では、ほぼ顔全体にサーチウインドウを設定し（ステッ
プＳ３）、２値化領域の大きさ・形状により網膜反射像
の候補となる領域を選出し（ステップＳ４）、それらの
候補の中から左右目の相対位置関係により網膜反射像領
域を抽出する（ステップＳ５）。追跡モードでは、サー
チモードで見付かった網膜反射像２値化領域を左右個別
に追跡するため、追跡ウインドウを設定する（ステップ
Ｓ６）。具体的には、左右の眼を個別に追跡するため、
左目追跡ウインドウを設定する（ステップＳ７）と共
に、右目追跡ウインドウを設定する（ステップＳ８）。
次いで、追跡ウインドウにおいて左右の眼候補を生成す
る（ステップＳ４）。すなわち、左目追跡ウインドウに
おいて左目候補を生成する（ステップＳ９）と共に、右
目追跡ウインドウにおいて右目候補を生成する（ステッ
プＳ１０）。次いで、左右の眼候補より、網膜反射像候
補を選択し（ステップＳ５）、閉眼判定を行う（ステッ
プＳ１１）。すなわち、左右何れかの網膜反射像を抽出
できれば、目状態としては開判定し（ステップＳ１
２）、網膜反射像が抽出できなければ閉判定とする（ス
テップＳ１３）。閉判定が長時間（所定時間以上）継続
すると、目見失い状態と判断し（ステップＳ１４）、サ
ーチモードに戻り、最初から再抽出を行う。
【０００５】図２（ａ）は、検出対象者１が裸眼の場合
の原画像を表し、図２（ｂ）はその２値化画像を示す。
上記従来の顔画像処理装置は、図２のように、網膜反射
像２６以外に反射像が現れることは殆どないため、正方
形度や面積などの形状特徴により網膜反射像２値化領域
２７を抽出でき、目の開閉状態を正しく判定することが
できる。
の原画像を表し、図２（ｂ）はその２値化画像を示す。
上記従来の顔画像処理装置は、図２のように、網膜反射
像２６以外に反射像が現れることは殆どないため、正方
形度や面積などの形状特徴により網膜反射像２値化領域
２７を抽出でき、目の開閉状態を正しく判定することが
できる。
【０００６】図３（ａ）は、検出対象者１が眼鏡装着者
である場合の原画像、図３（ｂ）は、その２値化画像を
示す。上記従来の顔画像処理装置は、眼鏡反射像２８が
存在する場合でも、特願平８−５７１３号公報のよう
に、眼鏡反射像が網膜反射像より輝度が高い点に着目
し、２値化閾値制御により眼鏡反射像の２値化領域２９
を、図３（ｂ）のようにドーナツ化形状にすることによ
り、網膜反射像と区別でき、網膜反射像を抽出すること
ができる。また、反射像は眼鏡フレーム上に限られ、目
周辺に現れることはない。
である場合の原画像、図３（ｂ）は、その２値化画像を
示す。上記従来の顔画像処理装置は、眼鏡反射像２８が
存在する場合でも、特願平８−５７１３号公報のよう
に、眼鏡反射像が網膜反射像より輝度が高い点に着目
し、２値化閾値制御により眼鏡反射像の２値化領域２９
を、図３（ｂ）のようにドーナツ化形状にすることによ
り、網膜反射像と区別でき、網膜反射像を抽出すること
ができる。また、反射像は眼鏡フレーム上に限られ、目
周辺に現れることはない。
【０００７】上記従来の顔画像処理装置は、網膜反射像
抽出の段階で反射像が殆ど除去できるため、最終的に、
候補がない状態を閉眼と判定できる。
抽出の段階で反射像が殆ど除去できるため、最終的に、
候補がない状態を閉眼と判定できる。
【０００８】
【発明が解決しようとする課題】従来の顔画像処理装置
では、以上のように、眼鏡反射像以外の反射像が存在せ
ず、検出対象者が裸眼である場合には、２値化画像が網
膜反射像のみであり、眼鏡装着時には、輝度差から網膜
反射像以外の反射像を除去することができる。しかしな
がら、従来の顔画像処理装置では、図４の（ａ）から
（ｂ）のようなカメラの画角拡大による相対的な分解能
の低下、または図５のような、ＬＥＤの出力向上による
眼鏡反射像以外の反射像の出現などの顔画像の変化に対
して、網膜反射像２７とそれ以外の反射像２９とを区別
できず、反射像を誤検出することが多かった。
では、以上のように、眼鏡反射像以外の反射像が存在せ
ず、検出対象者が裸眼である場合には、２値化画像が網
膜反射像のみであり、眼鏡装着時には、輝度差から網膜
反射像以外の反射像を除去することができる。しかしな
がら、従来の顔画像処理装置では、図４の（ａ）から
（ｂ）のようなカメラの画角拡大による相対的な分解能
の低下、または図５のような、ＬＥＤの出力向上による
眼鏡反射像以外の反射像の出現などの顔画像の変化に対
して、網膜反射像２７とそれ以外の反射像２９とを区別
できず、反射像を誤検出することが多かった。
【０００９】特に、閉眼時には、追跡していた網膜反射
像２７が画面上から消失するため、代わりに目付近に位
置する網膜反射像に大きさ・形状が近い反射像２９を誤
検出することが多かった。
像２７が画面上から消失するため、代わりに目付近に位
置する網膜反射像に大きさ・形状が近い反射像２９を誤
検出することが多かった。
【００１０】一度抽出を誤ると、次の眼見失いを待たな
ければ正しい位置を抽出することができず、その間の開
閉眼判定が実際の開閉眼と大きくかけ離れたものにな
り、正確な開閉眼判定ができなかった。
ければ正しい位置を抽出することができず、その間の開
閉眼判定が実際の開閉眼と大きくかけ離れたものにな
り、正確な開閉眼判定ができなかった。
【００１１】本発明は、上記のような問題点を解決する
ためになされたもので、網膜反射像以外に反射像が多数
存在しても、初回の抽出さえ正しければ、閉眼した場合
でも誤検出することなく、網膜反射像を安定して追跡
し、目の開閉状態を正しく判定できる顔画像処理装置を
得ることを目的とする。
ためになされたもので、網膜反射像以外に反射像が多数
存在しても、初回の抽出さえ正しければ、閉眼した場合
でも誤検出することなく、網膜反射像を安定して追跡
し、目の開閉状態を正しく判定できる顔画像処理装置を
得ることを目的とする。
【００１２】
【課題を解決するための手段】本発明に係る顔画像処理
装置は、検出対象者の顔面に光を照射する照明手段と、
前記照射された検出対象者の顔画像を撮影する撮影手段
と、前記撮影手段により得られた濃淡画像を２値化する
２値化手段と、２値化画像において網膜反射像候補領域
を定める網膜反射像候補生成手段と、前記追跡モードの
際に、前記網膜反射像候補領域を含む前画面および現画
面の中から、前画面位置と現画面位置との差分を基に、
現画面候補が前画面候補と時系列的に同一の候補である
との対応付けをおこなうとともに、網膜反射像又はそれ
以外の反射像をあらわす属性が初回に設定された前画面
候補の前記属性を現画面候補へ引き継ぐ網膜反射像候補
領域対応付け抽出手段、および、前記追跡モードの際
に、前記現画面の網膜反射像候補領域の中から、前記検
出対象者の左右の目の相対位置関係に基づき、左右の網
膜反射像である相対位置関係候補を抽出する網膜反射像
相対位置関係抽出手段を有する特徴抽出手段と、前記追
跡モードの際に、前記網膜反射像候補領域対応付け抽出
手段が対応付けた対応付け抽出候補、及び前記相対位置
関係抽出候補がともに存在し、かつ双方の候補が一致し
ない場合は、前画面位置との差分の小さい方を選択し、
前記対応付け抽出候補及び前記相対位置関係抽出候補が
ともに存在し、かつ双方の候補が一致する場合は、前記
対応付け抽出候補を選択し、前記対応付け抽出候補又は
前記相対位置関係抽出候補のいずれか一方しか存在しな
い場合は、その存在する候補を選択する網膜反射像領域
選択手段と、前記選択された候補により検出対象者の目
の開閉状態を判定する開閉判定手段とを備えるものであ
る。
装置は、検出対象者の顔面に光を照射する照明手段と、
前記照射された検出対象者の顔画像を撮影する撮影手段
と、前記撮影手段により得られた濃淡画像を２値化する
２値化手段と、２値化画像において網膜反射像候補領域
を定める網膜反射像候補生成手段と、前記追跡モードの
際に、前記網膜反射像候補領域を含む前画面および現画
面の中から、前画面位置と現画面位置との差分を基に、
現画面候補が前画面候補と時系列的に同一の候補である
との対応付けをおこなうとともに、網膜反射像又はそれ
以外の反射像をあらわす属性が初回に設定された前画面
候補の前記属性を現画面候補へ引き継ぐ網膜反射像候補
領域対応付け抽出手段、および、前記追跡モードの際
に、前記現画面の網膜反射像候補領域の中から、前記検
出対象者の左右の目の相対位置関係に基づき、左右の網
膜反射像である相対位置関係候補を抽出する網膜反射像
相対位置関係抽出手段を有する特徴抽出手段と、前記追
跡モードの際に、前記網膜反射像候補領域対応付け抽出
手段が対応付けた対応付け抽出候補、及び前記相対位置
関係抽出候補がともに存在し、かつ双方の候補が一致し
ない場合は、前画面位置との差分の小さい方を選択し、
前記対応付け抽出候補及び前記相対位置関係抽出候補が
ともに存在し、かつ双方の候補が一致する場合は、前記
対応付け抽出候補を選択し、前記対応付け抽出候補又は
前記相対位置関係抽出候補のいずれか一方しか存在しな
い場合は、その存在する候補を選択する網膜反射像領域
選択手段と、前記選択された候補により検出対象者の目
の開閉状態を判定する開閉判定手段とを備えるものであ
る。
【００１３】本発明の好ましい態様では、前記網膜反射
像候補生成手段は、２値化画像内で網膜反射像候補生成
を禁止する不可侵領域設定手段を備えるものである。前
記不可侵領域設定手段は、網膜反射像として誤検出する
恐れがある２値化領域を、画面内のそれらを含む領域を
網膜反射像候補生成に対する不可侵領域として設定する
ものである。
像候補生成手段は、２値化画像内で網膜反射像候補生成
を禁止する不可侵領域設定手段を備えるものである。前
記不可侵領域設定手段は、網膜反射像として誤検出する
恐れがある２値化領域を、画面内のそれらを含む領域を
網膜反射像候補生成に対する不可侵領域として設定する
ものである。
【００１４】本発明の更に好ましい態様では、前画面の
目の位置を始点として顔の上下方向に延長することによ
り左右の網膜反射像を同時に追跡するための追跡ウンド
ウを前記左右の網膜反射像を含む範囲に設定する左右網
膜反射像同時探索領域設定手段を備えるものである。左
右網膜反射像同時探索領域設定手段は、図９（ａ）の従
来の追跡ウインドウに対し、前画面目位置を始点として
顔上下方向に延長し、図９（ｂ）のように、左右網膜反
射像を含む範囲に追跡ウインドウを設定するものであ
る。
目の位置を始点として顔の上下方向に延長することによ
り左右の網膜反射像を同時に追跡するための追跡ウンド
ウを前記左右の網膜反射像を含む範囲に設定する左右網
膜反射像同時探索領域設定手段を備えるものである。左
右網膜反射像同時探索領域設定手段は、図９（ａ）の従
来の追跡ウインドウに対し、前画面目位置を始点として
顔上下方向に延長し、図９（ｂ）のように、左右網膜反
射像を含む範囲に追跡ウインドウを設定するものであ
る。
【００１５】本発明の更に好ましい態様では、前記網膜
反射像候補生成手段は、近接あるいは接触した網膜反射
像候補領域を分離する網膜反射像候補領域分離手段を備
えるものである。
反射像候補生成手段は、近接あるいは接触した網膜反射
像候補領域を分離する網膜反射像候補領域分離手段を備
えるものである。
【００１６】本発明の更に好ましい態様では、前記網膜
反射像候補領域対応付け抽出手段は、前記対応付ける現
画面候補が重複する場合は、前画面候補との面積の差分
が小さい現画面候補を選択する網膜反射像候補領域対応
付け重複選択手段を備えるものである。
反射像候補領域対応付け抽出手段は、前記対応付ける現
画面候補が重複する場合は、前画面候補との面積の差分
が小さい現画面候補を選択する網膜反射像候補領域対応
付け重複選択手段を備えるものである。
【００１７】本発明の更に好ましい態様では、前記特徴
抽出手段は、前記追跡モードにより追跡中の網膜反射像
において開眼状態が一定時間継続し網膜反射像の形状特
徴に酷似した候補が存在するとき、追跡中の網膜反射像
をキャンセルし、キャンセルした候補に近傍反射像の属
性を追加する網膜反射像判定手段を備えるものである。
抽出手段は、前記追跡モードにより追跡中の網膜反射像
において開眼状態が一定時間継続し網膜反射像の形状特
徴に酷似した候補が存在するとき、追跡中の網膜反射像
をキャンセルし、キャンセルした候補に近傍反射像の属
性を追加する網膜反射像判定手段を備えるものである。
【００１８】本発明の更に好ましい態様では、前記特徴
抽出手段は、追跡モードにより追跡中の網膜反射像にお
いて開眼状態が一定時間継続し網膜反射像の形状特徴に
酷似した候補が存在するとき、追跡中の網膜反射像をキ
ャンセルし、キャンセルした候補に近傍反射像の属性を
追加する網膜反射像判定手段を備えるものである。
抽出手段は、追跡モードにより追跡中の網膜反射像にお
いて開眼状態が一定時間継続し網膜反射像の形状特徴に
酷似した候補が存在するとき、追跡中の網膜反射像をキ
ャンセルし、キャンセルした候補に近傍反射像の属性を
追加する網膜反射像判定手段を備えるものである。
【００１９】本発明の更に好ましい態様では、前記特徴
抽出手段は、前記近傍反射像の候補について、前記網膜
反射像とは別に追跡する非網膜反射像領域抽出手段を備
えるものである。
抽出手段は、前記近傍反射像の候補について、前記網膜
反射像とは別に追跡する非網膜反射像領域抽出手段を備
えるものである。
【００２０】
【００２１】本発明の更に好ましい態様では、顔画像処
理装置は、網膜反射像の大きさに応じた２値化閾値制御
を行う２値化閾値制御手段を備えるものである。
理装置は、網膜反射像の大きさに応じた２値化閾値制御
を行う２値化閾値制御手段を備えるものである。
【００２２】
【発明の実施の形態】以下、本発明の実施の形態につい
て添付図面により説明する。尚、図中、同一番号は同一
部分を示し、領域２７、２９は２値化白画素領域を示
す。
て添付図面により説明する。尚、図中、同一番号は同一
部分を示し、領域２７、２９は２値化白画素領域を示
す。
【００２３】実施の形態１．図１は、この発明の第１の
実施の形態の顔画像処理装置の構成図である。図１にお
いて、１は検出対象者の顔面、１０は検出対象者１の顔
画像を撮影して入力するための撮影手段あるいは画像入
力手段としてＣＣＤカメラ、１１は検出対象者の顔面を
照射する照明手段としてのＬＥＤ照明であり、これらの
構成要素は上記従来例と同じである。また、２１はＣＣ
Ｄカメラ１０から出力される画像信号を２値化する２値
化手段、２２は２値化手段２１から出力される２値化画
像を一時的に記憶する２値画像メモリ、２３は２値画像
メモリ２２から画像を入力して白画素領域を抽出する特
徴抽出手段、２４は特徴抽出手段２３から網膜反射像の
状態すなわち目の開閉状態を判定する開閉眼判定部であ
る。２値化手段２１、特徴抽出手段２３及び開閉眼判定
部２４はマイクロコンピュータ等によりソフトウエア的
に実行されるものである。本実施の形態１は、特徴抽出
手段２３に関するものである。
実施の形態の顔画像処理装置の構成図である。図１にお
いて、１は検出対象者の顔面、１０は検出対象者１の顔
画像を撮影して入力するための撮影手段あるいは画像入
力手段としてＣＣＤカメラ、１１は検出対象者の顔面を
照射する照明手段としてのＬＥＤ照明であり、これらの
構成要素は上記従来例と同じである。また、２１はＣＣ
Ｄカメラ１０から出力される画像信号を２値化する２値
化手段、２２は２値化手段２１から出力される２値化画
像を一時的に記憶する２値画像メモリ、２３は２値画像
メモリ２２から画像を入力して白画素領域を抽出する特
徴抽出手段、２４は特徴抽出手段２３から網膜反射像の
状態すなわち目の開閉状態を判定する開閉眼判定部であ
る。２値化手段２１、特徴抽出手段２３及び開閉眼判定
部２４はマイクロコンピュータ等によりソフトウエア的
に実行されるものである。本実施の形態１は、特徴抽出
手段２３に関するものである。
【００２４】図２１に示すように、特徴抽出手段２３
は、２値化画像において網膜反射像候補領域を定める網
膜反射像候補生成手段１００と、前記網膜反射像候補領
域群から網膜反射像領域を抽出する網膜反射像領域抽出
手段２００とを備える。
は、２値化画像において網膜反射像候補領域を定める網
膜反射像候補生成手段１００と、前記網膜反射像候補領
域群から網膜反射像領域を抽出する網膜反射像領域抽出
手段２００とを備える。
【００２５】網膜反射像候補生成手段１００は、２値化
画像内で網膜反射像候補生成を禁止する不可侵領域設定
手段１１０と、網膜反射像候補生成を行う領域を、左右
の網膜反射像を含む範囲に設定する左右網膜反射像同時
探索領域設定手段１２０と、近接あるいは接触した網膜
反射像候補領域を分離する網膜反射像候補領域分離手段
１３０とを備える。
画像内で網膜反射像候補生成を禁止する不可侵領域設定
手段１１０と、網膜反射像候補生成を行う領域を、左右
の網膜反射像を含む範囲に設定する左右網膜反射像同時
探索領域設定手段１２０と、近接あるいは接触した網膜
反射像候補領域を分離する網膜反射像候補領域分離手段
１３０とを備える。
【００２６】網膜反射像領域抽出手段２００は、現在の
網膜反射像候補領域と一定時間前の網膜反射像候補領域
との対応付けを行う網膜反射像候補領域対応付け抽出手
段２１０と、左右の目の相対位置関係に基づき、左右網
膜反射像として現在の網膜反射像候補領域を左右同時に
抽出する網膜反射像相対位置関係抽出手段２２０とを備
える。
網膜反射像候補領域と一定時間前の網膜反射像候補領域
との対応付けを行う網膜反射像候補領域対応付け抽出手
段２１０と、左右の目の相対位置関係に基づき、左右網
膜反射像として現在の網膜反射像候補領域を左右同時に
抽出する網膜反射像相対位置関係抽出手段２２０とを備
える。
【００２７】網膜反射像候補領域対応付け抽出手段２１
０は、同一の一定時間前の網膜反射像候補領域に現在の
網膜反射像候補領域が複数個、重複して対応付けされた
場合、何れかの現在の網膜反射像候補領域を選択する網
膜反射像候補領域対応付け重複選択手段２１１を備え、
また、網膜反射像候補領域対応付け重複選択手段２１１
は、現在の網膜反射像候補領域が重複競合して除外され
た現在の網膜反射像候補領域に対して、別の一定時間前
の網膜反射像候補領域に改めて対応付けさせる網膜反射
像候補領域競合除外復帰手段２１２を備える。
０は、同一の一定時間前の網膜反射像候補領域に現在の
網膜反射像候補領域が複数個、重複して対応付けされた
場合、何れかの現在の網膜反射像候補領域を選択する網
膜反射像候補領域対応付け重複選択手段２１１を備え、
また、網膜反射像候補領域対応付け重複選択手段２１１
は、現在の網膜反射像候補領域が重複競合して除外され
た現在の網膜反射像候補領域に対して、別の一定時間前
の網膜反射像候補領域に改めて対応付けさせる網膜反射
像候補領域競合除外復帰手段２１２を備える。
【００２８】さらに、特徴抽出手段２３は、現在網膜反
射像として抽出中の網膜反射像候補領域を評価し、その
結果に応じて非網膜反射像として、現在網膜反射像とし
て抽出中の網膜反射像候補領域を破棄する網膜反射像判
定手段２３０と、網膜反射像判定手段２３０により非網
膜反射像として破棄された網膜反射像候補領域に対し
て、網膜反射像領域とは独立に継続して抽出する非網膜
反射像領域抽出手段３００と、前記網膜反射像候補領域
対応付け抽出手段２１０及び網膜反射像相対位置関係抽
出手段２２０の２種類の網膜反射像抽出手段により抽出
された２種類の網膜反射像領域のうち何れか一方を選択
する網膜反射像領域選択手段４００とを更に備える。
射像として抽出中の網膜反射像候補領域を評価し、その
結果に応じて非網膜反射像として、現在網膜反射像とし
て抽出中の網膜反射像候補領域を破棄する網膜反射像判
定手段２３０と、網膜反射像判定手段２３０により非網
膜反射像として破棄された網膜反射像候補領域に対し
て、網膜反射像領域とは独立に継続して抽出する非網膜
反射像領域抽出手段３００と、前記網膜反射像候補領域
対応付け抽出手段２１０及び網膜反射像相対位置関係抽
出手段２２０の２種類の網膜反射像抽出手段により抽出
された２種類の網膜反射像領域のうち何れか一方を選択
する網膜反射像領域選択手段４００とを更に備える。
【００２９】また、２値化手段２１は、網膜反射像の大
きさに応じた２値化閾値制御を行う２値化閾値制御手段
５００を備える
きさに応じた２値化閾値制御を行う２値化閾値制御手段
５００を備える
【００３０】図１６は、この発明の第１の実施の形態１
に係る網膜反射像追跡アルゴリズムを示すフローチャー
トである。従来例と異なり、追跡モードにおいては、図
９（ｂ）に示す左右の網膜反射像を含む追跡ウインドウ
を設定し（ステップＳ６）、基本的に左右の目をペアと
して扱う。また、対応付け抽出候補、相対位置関係抽出
候補の２通りの候補を生成し（ステップＳ１５）、何れ
かを選択するものとする（ステップＳ４５）。
に係る網膜反射像追跡アルゴリズムを示すフローチャー
トである。従来例と異なり、追跡モードにおいては、図
９（ｂ）に示す左右の網膜反射像を含む追跡ウインドウ
を設定し（ステップＳ６）、基本的に左右の目をペアと
して扱う。また、対応付け抽出候補、相対位置関係抽出
候補の２通りの候補を生成し（ステップＳ１５）、何れ
かを選択するものとする（ステップＳ４５）。
【００３１】次に、ステップＳ１６の対応付け抽出候補
の生成方法について説明する。極端な形状のものを除
き、殆ど全ての白画素領域を網膜反射像候補とし、図１
１に示すように、前画面位置との差分を基準にして、
「前画面候補３１が次画面で現画面候補３０に移動し
た」として対応付けを行う。例えば、図１１では、現画
面候補ｎが前画面候補ｎｂと時系列的に同一候補である
と対応付けがなされた場合、ｎｂが網膜反射像であれば
ｎは網膜反射像の属性を引き継ぎ、ｎｂが反射像であれ
ばｎは反射像の属性を引き継ぐというように、前画面に
おける属性を引き継ぐことにより、現画面におけるその
候補が網膜反射像であるのか、それ以外の反射像である
のかという属性が決定される。前画面では存在しなかっ
たが、現画面で存在する候補すなわち現画面で新たに現
れた候補には、新規参入の属性を与える。初回での属性
は、網膜反射像抽出時に網膜反射像、それ以外の反射像
という属性を与え、以後それらの属性を引き継ぐものと
する。属性は、「新規参入」を除き、前画面からの引き
継ぎによるもので各画面毎に新たに設定されるものでは
ない。
の生成方法について説明する。極端な形状のものを除
き、殆ど全ての白画素領域を網膜反射像候補とし、図１
１に示すように、前画面位置との差分を基準にして、
「前画面候補３１が次画面で現画面候補３０に移動し
た」として対応付けを行う。例えば、図１１では、現画
面候補ｎが前画面候補ｎｂと時系列的に同一候補である
と対応付けがなされた場合、ｎｂが網膜反射像であれば
ｎは網膜反射像の属性を引き継ぎ、ｎｂが反射像であれ
ばｎは反射像の属性を引き継ぐというように、前画面に
おける属性を引き継ぐことにより、現画面におけるその
候補が網膜反射像であるのか、それ以外の反射像である
のかという属性が決定される。前画面では存在しなかっ
たが、現画面で存在する候補すなわち現画面で新たに現
れた候補には、新規参入の属性を与える。初回での属性
は、網膜反射像抽出時に網膜反射像、それ以外の反射像
という属性を与え、以後それらの属性を引き継ぐものと
する。属性は、「新規参入」を除き、前画面からの引き
継ぎによるもので各画面毎に新たに設定されるものでは
ない。
【００３２】対応付けにおいて重複した場合は、図１２
に示す（１）〜（４）の手順に従って前画面と面積の差
分が小さい方を選択し、選択されなかった一方は「競合
除外」の属性を与え、新規参入とは別に対応付けされな
い候補とする。
に示す（１）〜（４）の手順に従って前画面と面積の差
分が小さい方を選択し、選択されなかった一方は「競合
除外」の属性を与え、新規参入とは別に対応付けされな
い候補とする。
【００３３】以上述べた候補の属性を表１にまとめる。
【００３４】
【表１】
【００３５】競合除外された候補は、図１３に示すよう
に、前画面において「選択された候補」の近傍に候補が
存在し、且つその候補が対応付けされていない場合は、
（５）〜（７）の手順に従ってその候補と競合除外候補
を対応付けすることにより、競合除外の復帰を行う。
に、前画面において「選択された候補」の近傍に候補が
存在し、且つその候補が対応付けされていない場合は、
（５）〜（７）の手順に従ってその候補と競合除外候補
を対応付けすることにより、競合除外の復帰を行う。
【００３６】次に、ステップＳ１７の相対位置関係抽出
候補の生成方法について説明する。左右網膜反射像の相
対位置関係から左右の目として認識される候補で、図１
４に示す水平度・両目間距離などの互いの相対位置を基
にするため、必ず左右ペアで生成される。前画面位置と
は無関係に、相対位置の条件に最も合致するペアが一組
生成される。
候補の生成方法について説明する。左右網膜反射像の相
対位置関係から左右の目として認識される候補で、図１
４に示す水平度・両目間距離などの互いの相対位置を基
にするため、必ず左右ペアで生成される。前画面位置と
は無関係に、相対位置の条件に最も合致するペアが一組
生成される。
【００３７】次に、２通りの候補から何れかの候補を選
択する候補選択方法について説明する。ステップＳ１６
の対応付け抽出候補の方がステップＳ１７の相対位置関
係抽出候補より優先順位は高いものとし、顔の動きが素
早く対応付けが困難な場合や、閉眼からの網膜反射像追
跡の復帰時、片目追跡から両目追跡への復帰時のような
状況では、２値化領域として網膜反射像が存在するにも
関わらず、対応付け抽出候補が生成されないため、相対
位置関係抽出候補により補完する。また、片目追跡は、
対応付け抽出候補によってのみ行うものとする。
択する候補選択方法について説明する。ステップＳ１６
の対応付け抽出候補の方がステップＳ１７の相対位置関
係抽出候補より優先順位は高いものとし、顔の動きが素
早く対応付けが困難な場合や、閉眼からの網膜反射像追
跡の復帰時、片目追跡から両目追跡への復帰時のような
状況では、２値化領域として網膜反射像が存在するにも
関わらず、対応付け抽出候補が生成されないため、相対
位置関係抽出候補により補完する。また、片目追跡は、
対応付け抽出候補によってのみ行うものとする。
【００３８】対応付け抽出候補及び相対位置関係抽出候
補の生成状態且つ評価結果から、例えば、図１９に示す
網膜反射像候補選択手段のフローチャートに従って候補
を選択する。
補の生成状態且つ評価結果から、例えば、図１９に示す
網膜反射像候補選択手段のフローチャートに従って候補
を選択する。
【００３９】図１９に示すように、上記候補選択手段に
おいて、相対位置関係抽出候補（ステップＳ２９）及び
対応付け抽出候補（ステップＳ３０）のペアが双方とも
存在し、双方の選択候補が一致しない場合（ステップ３
１）、前画面位置の差分の小さい方を選択するものであ
る（ステップＳ３２）。
おいて、相対位置関係抽出候補（ステップＳ２９）及び
対応付け抽出候補（ステップＳ３０）のペアが双方とも
存在し、双方の選択候補が一致しない場合（ステップ３
１）、前画面位置の差分の小さい方を選択するものであ
る（ステップＳ３２）。
【００４０】図１９に示すように、上記相対位置関係抽
出候補を選択する際、前画面位置からの移動距離及び前
画面属性などにより選択可能か否かを評価する相対位置
関係抽出候補評価ステップＳ３５を備えるものである。
出候補を選択する際、前画面位置からの移動距離及び前
画面属性などにより選択可能か否かを評価する相対位置
関係抽出候補評価ステップＳ３５を備えるものである。
【００４１】図１９に示すように、片目追跡から両目追
跡への復帰（ステップＳ３３）は、対応付け抽出候補の
片方と相対位置関係抽出候補の片方が一致し（ステップ
Ｓ３４）、且つ相対位置関係抽出候補のもう片方の評価
結果により、相対位置関係抽出候補が選択されたとき
（ステップＳ３５）に行われる。
跡への復帰（ステップＳ３３）は、対応付け抽出候補の
片方と相対位置関係抽出候補の片方が一致し（ステップ
Ｓ３４）、且つ相対位置関係抽出候補のもう片方の評価
結果により、相対位置関係抽出候補が選択されたとき
（ステップＳ３５）に行われる。
【００４２】図１９に示すように、閉眼からの両目追跡
の復帰は、ステップＳ３０及びＳ３３において対応付け
抽出候補が存在せず、ステップＳ３５の相対位置関係抽
出候補の評価結果により、相対位置関係抽出候補が選択
されたときに行われる。例外として、目見失い状態から
サーチモードに戻り、網膜反射像を抽出した場合にも行
われる。
の復帰は、ステップＳ３０及びＳ３３において対応付け
抽出候補が存在せず、ステップＳ３５の相対位置関係抽
出候補の評価結果により、相対位置関係抽出候補が選択
されたときに行われる。例外として、目見失い状態から
サーチモードに戻り、網膜反射像を抽出した場合にも行
われる。
【００４３】図１９に示すように、ステップＳ３０にお
いて対応付け抽出候補がペアでなく、ステップＳ３３に
おいて対応付抽出候補が一方しか存在せず、且つ、ステ
ップＳ２９において相対位置関係抽出候補が存在しない
場合、あるいはステップＳ３５において相対位置関係抽
出候補が評価結果により破棄された場合にのみ、片目追
跡３４となる。したがって、片目追跡３４は、上記網膜
反射像対応付け手段によってのみ行うものである。
いて対応付け抽出候補がペアでなく、ステップＳ３３に
おいて対応付抽出候補が一方しか存在せず、且つ、ステ
ップＳ２９において相対位置関係抽出候補が存在しない
場合、あるいはステップＳ３５において相対位置関係抽
出候補が評価結果により破棄された場合にのみ、片目追
跡３４となる。したがって、片目追跡３４は、上記網膜
反射像対応付け手段によってのみ行うものである。
【００４４】図１９に示すように、ステップＳ３０、Ｓ
３３において対応付け抽出候補が存在せず、ステップＳ
２９において相対位置関係抽出候補が存在しないとき、
あるいはステップＳ３５において相対位置関係抽出候補
が評価の結果、条件を満たさないとき、閉眼判定３５と
なる。
３３において対応付け抽出候補が存在せず、ステップＳ
２９において相対位置関係抽出候補が存在しないとき、
あるいはステップＳ３５において相対位置関係抽出候補
が評価の結果、条件を満たさないとき、閉眼判定３５と
なる。
【００４５】この実施の形態１では、対応付け抽出候補
について、前画面のみの位置情報を用いて対応付けを行
ったが、前々画面などの時系列的にさらに溯った位置情
報を用いることも考えられる。この実施の形態１による
顔画像処理装置では、殆ど全ての２値化領域に対し、属
性を決定して追跡するため、反射像の有無に関係なく、
網膜反射像を精度よく抽出することができ、目の開閉状
態を正しく判定することができる。
について、前画面のみの位置情報を用いて対応付けを行
ったが、前々画面などの時系列的にさらに溯った位置情
報を用いることも考えられる。この実施の形態１による
顔画像処理装置では、殆ど全ての２値化領域に対し、属
性を決定して追跡するため、反射像の有無に関係なく、
網膜反射像を精度よく抽出することができ、目の開閉状
態を正しく判定することができる。
【００４６】実施の形態２．この実施の形態２は、上記
実施の形態１の追跡ウインドウ設定において不可侵領域
の設定を追加したものである。
実施の形態１の追跡ウインドウ設定において不可侵領域
の設定を追加したものである。
【００４７】不可侵領域設定について説明する。例え
ば、図６のようにヘルメットのひさし部は、ＬＥＤ光に
よって反射し、これが多数の連続した白画素領域として
２値化されることがある。すると、これらの領域群から
任意の２点を選べば、水平度及び両目間距離の条件を満
たすものがあるため、初回のサーチモードの網膜反射像
抽出時に反射像を誤検出する恐れがある。そこで、これ
らの領域群を隣接する連結許容間隔内の領域同士を連結
することによって、極端に大きい領域すなわち大領域と
して認識し、その位置から顔上方を不可侵領域として設
定し、追跡ウインドウの上限とする。
ば、図６のようにヘルメットのひさし部は、ＬＥＤ光に
よって反射し、これが多数の連続した白画素領域として
２値化されることがある。すると、これらの領域群から
任意の２点を選べば、水平度及び両目間距離の条件を満
たすものがあるため、初回のサーチモードの網膜反射像
抽出時に反射像を誤検出する恐れがある。そこで、これ
らの領域群を隣接する連結許容間隔内の領域同士を連結
することによって、極端に大きい領域すなわち大領域と
して認識し、その位置から顔上方を不可侵領域として設
定し、追跡ウインドウの上限とする。
【００４８】図１７は、不可侵領域設定を含めた網膜反
射像追跡アルゴリズムを示すフローチャートである。先
ず、ステップＳ１８の白画素領域抽出において抽出され
た白画素領域のうち隣接する領域を、ステップＳ１９の
結処理で連結することによって大領域として認識し、ス
テップＳ２０で不可侵領域設定を行う。不可侵領域設定
は、サーチモードのみで行い、前回の設定値があれば、
その値を反映して再設定するものとする。追跡モードで
は、設定された不可侵領域を維持し、追跡ウインドウか
らその不可侵領域を除外する。また、不可侵領域は網膜
反射像検出位置から一定のマージンを維持するものとす
る。但し、ステップＳ２１においてサーチモードで長時
間の閉眼判定がなされたときは、不可侵領域の設定を初
期化することにより、解除するものとする。
射像追跡アルゴリズムを示すフローチャートである。先
ず、ステップＳ１８の白画素領域抽出において抽出され
た白画素領域のうち隣接する領域を、ステップＳ１９の
結処理で連結することによって大領域として認識し、ス
テップＳ２０で不可侵領域設定を行う。不可侵領域設定
は、サーチモードのみで行い、前回の設定値があれば、
その値を反映して再設定するものとする。追跡モードで
は、設定された不可侵領域を維持し、追跡ウインドウか
らその不可侵領域を除外する。また、不可侵領域は網膜
反射像検出位置から一定のマージンを維持するものとす
る。但し、ステップＳ２１においてサーチモードで長時
間の閉眼判定がなされたときは、不可侵領域の設定を初
期化することにより、解除するものとする。
【００４９】ここでは、顔の上側を不可侵領域として設
定したが、例えば、図７（ａ）に示すように、眼鏡フレ
ームとヘルメット金具を誤検出することがあるので、図
７（ｂ）のように検出対象者が顔を傾けたときの目の位
置関係から、「画面中央線に対して顔外側の目が顔下側
に存在する」という制約条件としての不可侵領域を設定
することも考えられる。この実施の形態２による顔画像
処理装置では、予め誤検出する恐れのある領域を除外す
ることで、反射像への誤検出を抑制できるため、網膜反
射像を精度よく抽出することができ、目の開閉状態を正
しく判定することができる。また、追跡ウインドウを小
さくとれるので追跡処理時間の短縮が図れる。
定したが、例えば、図７（ａ）に示すように、眼鏡フレ
ームとヘルメット金具を誤検出することがあるので、図
７（ｂ）のように検出対象者が顔を傾けたときの目の位
置関係から、「画面中央線に対して顔外側の目が顔下側
に存在する」という制約条件としての不可侵領域を設定
することも考えられる。この実施の形態２による顔画像
処理装置では、予め誤検出する恐れのある領域を除外す
ることで、反射像への誤検出を抑制できるため、網膜反
射像を精度よく抽出することができ、目の開閉状態を正
しく判定することができる。また、追跡ウインドウを小
さくとれるので追跡処理時間の短縮が図れる。
【００５０】実施の形態３．この実施の形態３は、上記
実施の形態１の追跡モードの網膜反射像候補領域生成に
おいて、領域分離処理（ステップＳ２２）を追加したも
のである。この処理は、隣接あるいは一部結合している
領域を分離することにより、対応付け抽出候補生成（ス
テップＳ１６）において正確な対応付けを行うことを目
的とする。
実施の形態１の追跡モードの網膜反射像候補領域生成に
おいて、領域分離処理（ステップＳ２２）を追加したも
のである。この処理は、隣接あるいは一部結合している
領域を分離することにより、対応付け抽出候補生成（ス
テップＳ１６）において正確な対応付けを行うことを目
的とする。
【００５１】領域分離処理について説明する。この処理
は、図１７のフローチャートに示すように、追跡モード
における候補生成に関するものである。図１０のよう
に、斜め方向に隣接する２値化領域に対しては、水平方
向・垂直方向の正射影・形状ヒストグラムを繰り返して
も、分離することができない。そこで、この実施の形態
３では、正射影に現れるピークに着目し、図１０に示す
ように、ピークの山が複数個存在する領域は、ピークの
谷の部分で分離する方法が考えられる。また、図１０に
示す中空度を基に分離する方法が考えられる。中空の認
識は正射影と前後形状ヒストグラムの差との値が一致し
ないことによってなされ、先に述べたピークと併用する
ことにより、分離できる。
は、図１７のフローチャートに示すように、追跡モード
における候補生成に関するものである。図１０のよう
に、斜め方向に隣接する２値化領域に対しては、水平方
向・垂直方向の正射影・形状ヒストグラムを繰り返して
も、分離することができない。そこで、この実施の形態
３では、正射影に現れるピークに着目し、図１０に示す
ように、ピークの山が複数個存在する領域は、ピークの
谷の部分で分離する方法が考えられる。また、図１０に
示す中空度を基に分離する方法が考えられる。中空の認
識は正射影と前後形状ヒストグラムの差との値が一致し
ないことによってなされ、先に述べたピークと併用する
ことにより、分離できる。
【００５２】この実施の形態３による顔画像処理装置で
は、隣接あるいは一部結合している２値化領域を精度よ
く分離できるため、対応付け抽出候補生成において正確
な対応付けを行うことができ、網膜反射像を精度よく抽
出することができ、目の開閉状態を正しく判定すること
ができる。
は、隣接あるいは一部結合している２値化領域を精度よ
く分離できるため、対応付け抽出候補生成において正確
な対応付けを行うことができ、網膜反射像を精度よく抽
出することができ、目の開閉状態を正しく判定すること
ができる。
【００５３】実施の形態４．この実施の形態４による顔
画像処理装置は、実施の形態１の網膜反射像領域抽出手
段２００において、誤検出する恐れのある目付近の反射
像を認識し、網膜反射像とは独立して見失うまで継続し
て追跡する近傍反射像抽出処理を追加したものである。
この処理は、図８の眼鏡レンズ反射像のように、網膜反
射像に極めて近い位置に継続して存在する反射像への誤
検出抑制を目的とする。
画像処理装置は、実施の形態１の網膜反射像領域抽出手
段２００において、誤検出する恐れのある目付近の反射
像を認識し、網膜反射像とは独立して見失うまで継続し
て追跡する近傍反射像抽出処理を追加したものである。
この処理は、図８の眼鏡レンズ反射像のように、網膜反
射像に極めて近い位置に継続して存在する反射像への誤
検出抑制を目的とする。
【００５４】近傍反射像抽出処理について説明する。近
傍反射像の設定は、現在追跡中の網膜反射像において開
眼状態が一定時間継続し、網膜反射像の上下に網膜反射
像の形状特徴に酷似した候補領域が存在するとき、追跡
中の網膜反射像をキャンセルし、キャンセルした候補を
近傍反射像として認識することで行われる。但し、網膜
反射像として誤検出するような反射像が存在しない場合
は、設定されない。
傍反射像の設定は、現在追跡中の網膜反射像において開
眼状態が一定時間継続し、網膜反射像の上下に網膜反射
像の形状特徴に酷似した候補領域が存在するとき、追跡
中の網膜反射像をキャンセルし、キャンセルした候補を
近傍反射像として認識することで行われる。但し、網膜
反射像として誤検出するような反射像が存在しない場合
は、設定されない。
【００５５】図１８は、近傍反射像抽出処理を含めた網
膜反射像追跡アルゴリズムを示すフローチャートであ
る。ステップＳ４５の追跡モード網膜反射像選択におい
て選択された網膜反射像に対して、ステップＳ２３で網
膜反射像キャンセルが成されたとき、ステップＳ２４
で、キャンセルした候補を近傍反射像として設定する。
この網膜反射像追跡アルゴリズムでは、候補領域の属性
として、表２に示すように、「近傍反射像」が追加され
る。
膜反射像追跡アルゴリズムを示すフローチャートであ
る。ステップＳ４５の追跡モード網膜反射像選択におい
て選択された網膜反射像に対して、ステップＳ２３で網
膜反射像キャンセルが成されたとき、ステップＳ２４
で、キャンセルした候補を近傍反射像として設定する。
この網膜反射像追跡アルゴリズムでは、候補領域の属性
として、表２に示すように、「近傍反射像」が追加され
る。
【表２】
近傍反射像の設定後は、図１８に示すように、サーチモ
ード・追跡モードのモード選択に拘わらず、実施の形態
１の網膜反射像抽出手段を用いて近傍反射像を追跡し、
ステップＳ２５の反射像追跡によりステップＳ２６の反
射像選択において、反射像が抽出されていれば、サーチ
モードの候補生成（ステップＳ４）・追跡モードの候補
抽出（ステップＳ１５）における網膜反射像抽出前に、
予め近傍反射像を網膜反射像選択候補より除外すること
で誤検出を未然に防止するものである。但し、近傍反射
像の抽出手段は実施の形態１の網膜反射像抽出手段に倣
ったものだが、そのままでは、片目追跡中に近傍反射像
が設定された場合には、継続して片反射像の追跡となる
ため、１画面でも見失うと復帰できなくなるので、近傍
反射像の場合に限り、片方の反射像でも追跡再開する処
理を追加する。また、見失っても、その位置を網膜反射
像に対するキャンセル位置として、長時間判定がなされ
るまで維持する。
ード・追跡モードのモード選択に拘わらず、実施の形態
１の網膜反射像抽出手段を用いて近傍反射像を追跡し、
ステップＳ２５の反射像追跡によりステップＳ２６の反
射像選択において、反射像が抽出されていれば、サーチ
モードの候補生成（ステップＳ４）・追跡モードの候補
抽出（ステップＳ１５）における網膜反射像抽出前に、
予め近傍反射像を網膜反射像選択候補より除外すること
で誤検出を未然に防止するものである。但し、近傍反射
像の抽出手段は実施の形態１の網膜反射像抽出手段に倣
ったものだが、そのままでは、片目追跡中に近傍反射像
が設定された場合には、継続して片反射像の追跡となる
ため、１画面でも見失うと復帰できなくなるので、近傍
反射像の場合に限り、片方の反射像でも追跡再開する処
理を追加する。また、見失っても、その位置を網膜反射
像に対するキャンセル位置として、長時間判定がなされ
るまで維持する。
【００５６】図１８に示すように、ステップＳ２６にお
いて反射像が抽出されず、ステップＳ２７で閉眼判定が
一定時間継続または近傍反射像見失いが一定時間継続し
た場合には、ステップＳ２８において、近傍反射像抽出
処理が中止される。このとき、上記キャンセル位置もク
リアするものとする。一旦中止されると、再び近傍反射
像設定がなされない限り追跡を再開しない。
いて反射像が抽出されず、ステップＳ２７で閉眼判定が
一定時間継続または近傍反射像見失いが一定時間継続し
た場合には、ステップＳ２８において、近傍反射像抽出
処理が中止される。このとき、上記キャンセル位置もク
リアするものとする。一旦中止されると、再び近傍反射
像設定がなされない限り追跡を再開しない。
【００５７】ここでは、近傍反射像は網膜反射像抽出時
に選択候補から除外するためだけに用いたが、網膜反射
像の位置を特定するための基準位置として、抽出中の近
傍反射像を用いることも考えられる。この実施の形態４
による顔画像処理装置では、網膜反射像に極めて近い位
置に反射像が恒常的に存在する場合でも、その近傍反射
像を認識して網膜反射像とは独立して継続追跡するた
め、反射像への誤検出を抑制することで、網膜反射像を
精度よく抽出することができ、目の開閉状態を正しく判
定することができる。
に選択候補から除外するためだけに用いたが、網膜反射
像の位置を特定するための基準位置として、抽出中の近
傍反射像を用いることも考えられる。この実施の形態４
による顔画像処理装置では、網膜反射像に極めて近い位
置に反射像が恒常的に存在する場合でも、その近傍反射
像を認識して網膜反射像とは独立して継続追跡するた
め、反射像への誤検出を抑制することで、網膜反射像を
精度よく抽出することができ、目の開閉状態を正しく判
定することができる。
【００５８】実施の形態５．この実施の形態５による顔
画像処理装置は、実施の形態１のサーチモード・追跡モ
ードの網膜反射像候補領域生成において、網膜反射像の
大きさに応じて、２値化閾値制御処理を追加したもので
ある。
画像処理装置は、実施の形態１のサーチモード・追跡モ
ードの網膜反射像候補領域生成において、網膜反射像の
大きさに応じて、２値化閾値制御処理を追加したもので
ある。
【００５９】２値化閾値制御処理について説明する。網
膜反射像の大きさは、個人によって異なり、また運転姿
勢、街灯の射し込みなどの周囲の状況、運転者の覚醒度
によっても異なるため、網膜反射像の２値化領域の大き
さを安定して確保する目的で２値化閾値制御を行う。例
えば、追跡モードでは、図２０のフローチャートに従っ
て、開閉状況、網膜反射像２値化領域の大きさに応じて
２値化閾値を上げ下げする。２値化閾値下げ処理３６に
ついて説明する。ステップＳ３６にて２値化閾値が最小
値より大きく、ステップＳ３７にて閉眼時間が最大時間
に達していたならば、ステップＳ４１において２値化閾
値を１だけ下げる。また、ステップＳ３７にて閉眼時間
が最大時間に達していなくとも、現画面においてステッ
プＳ３８で開判定であり、ステップＳ３９にて計算した
網膜反射像幅の左右平均値がステップＳ４０にて最小値
より小さければ、同様に、ステップＳ４１において２値
化閾値を１だけ下げる。２値化閾値を下げることによ
り、２値化される白画素領域が大きくなり、網膜反射像
２値化領域が大きくなり過ぎず、網膜反射像２値化領域
の大きさが一定に保たれる。２値化閾値上げ処理３７に
ついて説明する。ステップＳ４２にて２値化閾値が最大
値より小さく、ステップＳ３８において開判定で、ステ
ップＳ３９にて計算した網膜反射像幅の左右平均値がス
テップＳ４３にて最大値より大きければ、ステップＳ４
４にて２値化閾値を１だけ上げる。２値化閾値を上げる
ことにより、２値化される白画素領域が小さくなり、網
膜反射像２値化領域が小さくなり過ぎず、網膜反射像２
値化領域の大きさが一定に保たれる。サーチモードで
は、網膜反射像が一定時間見付けられない場合、最低閾
値と最高閾値の間を一定周期で見付かるまで上下させ
る。
膜反射像の大きさは、個人によって異なり、また運転姿
勢、街灯の射し込みなどの周囲の状況、運転者の覚醒度
によっても異なるため、網膜反射像の２値化領域の大き
さを安定して確保する目的で２値化閾値制御を行う。例
えば、追跡モードでは、図２０のフローチャートに従っ
て、開閉状況、網膜反射像２値化領域の大きさに応じて
２値化閾値を上げ下げする。２値化閾値下げ処理３６に
ついて説明する。ステップＳ３６にて２値化閾値が最小
値より大きく、ステップＳ３７にて閉眼時間が最大時間
に達していたならば、ステップＳ４１において２値化閾
値を１だけ下げる。また、ステップＳ３７にて閉眼時間
が最大時間に達していなくとも、現画面においてステッ
プＳ３８で開判定であり、ステップＳ３９にて計算した
網膜反射像幅の左右平均値がステップＳ４０にて最小値
より小さければ、同様に、ステップＳ４１において２値
化閾値を１だけ下げる。２値化閾値を下げることによ
り、２値化される白画素領域が大きくなり、網膜反射像
２値化領域が大きくなり過ぎず、網膜反射像２値化領域
の大きさが一定に保たれる。２値化閾値上げ処理３７に
ついて説明する。ステップＳ４２にて２値化閾値が最大
値より小さく、ステップＳ３８において開判定で、ステ
ップＳ３９にて計算した網膜反射像幅の左右平均値がス
テップＳ４３にて最大値より大きければ、ステップＳ４
４にて２値化閾値を１だけ上げる。２値化閾値を上げる
ことにより、２値化される白画素領域が小さくなり、網
膜反射像２値化領域が小さくなり過ぎず、網膜反射像２
値化領域の大きさが一定に保たれる。サーチモードで
は、網膜反射像が一定時間見付けられない場合、最低閾
値と最高閾値の間を一定周期で見付かるまで上下させ
る。
【００６０】ここでは、目の開閉状況及び網膜反射像２
値化領域の大きさを基にして２値化閾値制御を行った
が、網膜反射像候補の領域数や過去の開閉周期の情報な
どを利用することも考えられる。この実施の形態５によ
る顔画像処理装置では、開眼中の網膜反射像２値化領域
の大きさがほぼ一定になるように２値化閾値制御を行う
ため、網膜反射像の個人差、運転状況に依らず、安定し
て網膜反射像２値化領域を得られるため、開閉ハンチン
グや目見失いを抑制でき、目の開閉状態を正しく判定す
ることができる。
値化領域の大きさを基にして２値化閾値制御を行った
が、網膜反射像候補の領域数や過去の開閉周期の情報な
どを利用することも考えられる。この実施の形態５によ
る顔画像処理装置では、開眼中の網膜反射像２値化領域
の大きさがほぼ一定になるように２値化閾値制御を行う
ため、網膜反射像の個人差、運転状況に依らず、安定し
て網膜反射像２値化領域を得られるため、開閉ハンチン
グや目見失いを抑制でき、目の開閉状態を正しく判定す
ることができる。
【００６１】
【発明の効果】本発明の顔画像処理装置によれば、以下
のような優れた作用効果を奏するものである。
のような優れた作用効果を奏するものである。
【００６２】請求項１の発明によれば、検出対象者の顔
面に光を照射する照明手段と、上記検出対象者の顔画像
を撮影する撮影手段と、上記撮影手段から出力される上
記検出対象者の濃淡画像を２値化する２値化手段と、上
記２値化手段から出力される２値化画像から画像特徴を
抽出する特徴抽出手段と、特徴抽出手段の出力結果を選
択する網膜反射像領域選択手段と、上記選択の結果から
上記検出対象者の目の開閉状態を判定する開閉判定手段
とを備え、上記特徴抽出手段は、２値化領域を網膜反射
像候補とし、それらの候補全てについて前画面位置との
対応付けを行い、それらの持つ前画面情報により、現画
面における候補の網膜反射像及び反射像の属性を初回に
設定された属性から決定するとともに、相対位置関係抽
出候補を抽出していずれかの候補を選択し、目の開閉状
態を判断するため、網膜反射像及び反射像の区別がで
き、開閉状態及び反射像の分布などの網膜反射像の周辺
状況に依らずに、網膜反射像を正しく抽出し、正確な開
閉判定を行うことができるものである。
面に光を照射する照明手段と、上記検出対象者の顔画像
を撮影する撮影手段と、上記撮影手段から出力される上
記検出対象者の濃淡画像を２値化する２値化手段と、上
記２値化手段から出力される２値化画像から画像特徴を
抽出する特徴抽出手段と、特徴抽出手段の出力結果を選
択する網膜反射像領域選択手段と、上記選択の結果から
上記検出対象者の目の開閉状態を判定する開閉判定手段
とを備え、上記特徴抽出手段は、２値化領域を網膜反射
像候補とし、それらの候補全てについて前画面位置との
対応付けを行い、それらの持つ前画面情報により、現画
面における候補の網膜反射像及び反射像の属性を初回に
設定された属性から決定するとともに、相対位置関係抽
出候補を抽出していずれかの候補を選択し、目の開閉状
態を判断するため、網膜反射像及び反射像の区別がで
き、開閉状態及び反射像の分布などの網膜反射像の周辺
状況に依らずに、網膜反射像を正しく抽出し、正確な開
閉判定を行うことができるものである。
【００６３】請求項２の発明の顔画像処理装置によれ
ば、上記網膜反射像候補生成手段において、網膜反射像
として誤検出する恐れがある２値化領域を網膜反射像候
補生成に対する不可侵領域として設定するため、誤検出
を抑制することで網膜反射像を正しく抽出し、正確な開
閉判定を行うことができ、また処理時間短縮もできるも
のである。
ば、上記網膜反射像候補生成手段において、網膜反射像
として誤検出する恐れがある２値化領域を網膜反射像候
補生成に対する不可侵領域として設定するため、誤検出
を抑制することで網膜反射像を正しく抽出し、正確な開
閉判定を行うことができ、また処理時間短縮もできるも
のである。
【００６４】請求項３の発明の顔画像処理装置によれ
ば、上記網膜反射像候補生成手段において、前画面目位
置を始点として顔上下方向に延長し、左右網膜反射像を
含む範囲に追跡ウインドウを設定するため、目位置の急
激な変化に対応することができ、また左右の眼を一対と
して扱うことにより、左右の相対位置関係や形状特徴を
同時に考慮できるため、反射像の分布状況によらず網膜
反射像を正しく抽出し、正確な開閉判定を行うことがで
きるものである。
ば、上記網膜反射像候補生成手段において、前画面目位
置を始点として顔上下方向に延長し、左右網膜反射像を
含む範囲に追跡ウインドウを設定するため、目位置の急
激な変化に対応することができ、また左右の眼を一対と
して扱うことにより、左右の相対位置関係や形状特徴を
同時に考慮できるため、反射像の分布状況によらず網膜
反射像を正しく抽出し、正確な開閉判定を行うことがで
きるものである。
【００６５】請求項４の発明の顔画像処理装置によれ
ば、上記網膜反射像候補生成手段において、近接あるい
は接触した２値化領域を分離するため、上記網膜反射像
対応付け抽出手段において、正確に対応付けを行うこと
ができ、開閉状態及び反射像の動きなどの網膜反射像の
周辺状況に依らず、網膜反射像を正しく抽出し、正確な
開閉判定を行うことができるものである。
ば、上記網膜反射像候補生成手段において、近接あるい
は接触した２値化領域を分離するため、上記網膜反射像
対応付け抽出手段において、正確に対応付けを行うこと
ができ、開閉状態及び反射像の動きなどの網膜反射像の
周辺状況に依らず、網膜反射像を正しく抽出し、正確な
開閉判定を行うことができるものである。
【００６６】請求項５の発明の顔画像処理装置によれ
ば、上記網膜反射像対応付け抽出手段における対応付け
で重複した場合、ある基準に基づいて何れか一方を選択
するので、属性を二重にもつことがなく一意的に決定さ
れるため、対応付けを正確に行うことができ、開閉状態
及び反射像の分布などの網膜反射像の周辺状況によら
ず、網膜反射像を正しく抽出し、正確な開閉判定を行う
ことができるものである。
ば、上記網膜反射像対応付け抽出手段における対応付け
で重複した場合、ある基準に基づいて何れか一方を選択
するので、属性を二重にもつことがなく一意的に決定さ
れるため、対応付けを正確に行うことができ、開閉状態
及び反射像の分布などの網膜反射像の周辺状況によら
ず、網膜反射像を正しく抽出し、正確な開閉判定を行う
ことができるものである。
【００６７】請求項６の発明の顔画像処理装置によれ
ば、上記網膜反射像対応付け抽出手段において、重複選
択処理により、除外された候補を復帰させるため、対応
付けされるべき候補が消失せず、正確に対応付けされ、
開閉状態及び反射像の分布などの網膜反射像の周辺状況
によらず、網膜反射像を正しく抽出し、正確な開閉判定
を行うことができるものである。
ば、上記網膜反射像対応付け抽出手段において、重複選
択処理により、除外された候補を復帰させるため、対応
付けされるべき候補が消失せず、正確に対応付けされ、
開閉状態及び反射像の分布などの網膜反射像の周辺状況
によらず、網膜反射像を正しく抽出し、正確な開閉判定
を行うことができるものである。
【００６８】請求項７の発明の顔画像処理装置によれ
ば、追跡中の２値化領域が網膜反射像かどうかを判断す
る網膜反射像判定手段を備えるため、仮に初回の抽出が
誤りであっても、それを破棄し、網膜反射像抽出をやり
直すことができ、正確な開閉判定を行うことができるも
のである。
ば、追跡中の２値化領域が網膜反射像かどうかを判断す
る網膜反射像判定手段を備えるため、仮に初回の抽出が
誤りであっても、それを破棄し、網膜反射像抽出をやり
直すことができ、正確な開閉判定を行うことができるも
のである。
【００６９】請求項８の発明の顔画像処理装置によれ
ば、上記網膜反射像判定手段により反射像と判断された
２値化領域を網膜反射像近傍反射像として認識し、網膜
反射像とは独立に継続した追跡を行う近傍反射像抽出処
理を備えるため、網膜反射像に極めて近い位置に反射像
が恒常的に存在しても、再び同じ領域を誤検出すること
なく、網膜反射像を正しく抽出し、正確な開閉判定を行
うことができるものである。
ば、上記網膜反射像判定手段により反射像と判断された
２値化領域を網膜反射像近傍反射像として認識し、網膜
反射像とは独立に継続した追跡を行う近傍反射像抽出処
理を備えるため、網膜反射像に極めて近い位置に反射像
が恒常的に存在しても、再び同じ領域を誤検出すること
なく、網膜反射像を正しく抽出し、正確な開閉判定を行
うことができるものである。
【００７０】
【００７１】請求項９の発明の顔画像処理装置によれ
ば、２値化閾値制御により開眼中の網膜反射像２値化領
域の大きさを一定に保つため、網膜反射像の個人差、運
転状況によらず、安定した網膜反射像２値化領域を得ら
れるため、開閉ハンチングや目見失いを抑制でき、目の
開閉状態を正しく判定することができるものである。
ば、２値化閾値制御により開眼中の網膜反射像２値化領
域の大きさを一定に保つため、網膜反射像の個人差、運
転状況によらず、安定した網膜反射像２値化領域を得ら
れるため、開閉ハンチングや目見失いを抑制でき、目の
開閉状態を正しく判定することができるものである。
【図１】 この発明の実施の形態１の顔画像処理装置を
簡略化して示す構成図である。
簡略化して示す構成図である。
【図２】 従来の裸眼の検出対象者の顔原画像及び２値
化画像である。
化画像である。
【図３】 従来の眼鏡装着の検出対象者の顔原画像及び
２値化画像である。
２値化画像である。
【図４】 この発明の実施の形態１に係る画角の拡大例
を示す説明図である。
を示す説明図である。
【図５】 この発明の実施の形態１に係るＬＥＤ光によ
る反射像の２値化画像である。
る反射像の２値化画像である。
【図６】 この発明の実施の形態２に係る不可侵領域の
設定方法を示す説明図である。
設定方法を示す説明図である。
【図７】 この発明の実施の形態２に係る制約条件の例
を示す説明図である。
を示す説明図である。
【図８】 この発明の実施の形態４に係る網膜反射像誤
検出例を示す説明図である。
検出例を示す説明図である。
【図９】 この発明の実施の形態１に係る追跡ウインド
ウの設定方法を示す説明図である。
ウの設定方法を示す説明図である。
【図１０】 この発明の実施の形態３に係る領域分離処
理における隣接領域分離の説明図である。
理における隣接領域分離の説明図である。
【図１１】 この発明の実施の形態１に係る網膜反射像
対応付け抽出候補における前画面との対応付けを示す説
明図である。
対応付け抽出候補における前画面との対応付けを示す説
明図である。
【図１２】 この発明の実施の形態１に係る網膜反射像
対応付け抽出候補における対応付けで競合した場合の重
複処理を示す説明図である。
対応付け抽出候補における対応付けで競合した場合の重
複処理を示す説明図である。
【図１３】 この発明の実施の形態１に係る網膜反射像
対応付け抽出候補における対応付けで競合除外された候
補の復帰処理を示す説明図である。
対応付け抽出候補における対応付けで競合除外された候
補の復帰処理を示す説明図である。
【図１４】 この発明の実施の形態１に係る網膜反射像
相対位置関係抽出候補における水平度・両目間距離を示
す説明図である。
相対位置関係抽出候補における水平度・両目間距離を示
す説明図である。
【図１５】 従来の網膜反射像追跡アルゴリズムを示す
フローチャートである。
フローチャートである。
【図１６】 この発明の実施の形態１に係る網膜反射像
追跡アルゴリズムを示すフローチャートである。
追跡アルゴリズムを示すフローチャートである。
【図１７】 この発明の実施の形態２に係る不可侵領域
の設定及び実施の形態３に係る領域分離処理を含む実施
の形態１の網膜反射像追跡アルゴリズムを示すフローチ
ャートである。
の設定及び実施の形態３に係る領域分離処理を含む実施
の形態１の網膜反射像追跡アルゴリズムを示すフローチ
ャートである。
【図１８】 この発明の実施の形態４に係る近傍反射像
抽出処理を含む実施の形態１の網膜反射像追跡アルゴリ
ズムを示すフローチャートである。
抽出処理を含む実施の形態１の網膜反射像追跡アルゴリ
ズムを示すフローチャートである。
【図１９】 この発明の実施の形態１に係る網膜反射像
候補選択方法を示すフローチャートである。
候補選択方法を示すフローチャートである。
【図２０】 この発明の実施の形態５に係る２値化閾値
制御を示すフローチャートである。
制御を示すフローチャートである。
【図２１】 この発明による２値化手段及び特徴抽出手
段の構成を示す機能ブロック図である。
段の構成を示す機能ブロック図である。
【図２２】 従来の顔画像処理装置の簡略化した構成図
である。
である。
１ 検出対象者、１０ カメラ、１１ ＬＥＤ照明、１
２ ハーフミラー、１３ ＬＥＤ駆動回路、２０ 濃淡
画像メモリ、２１ ２値化手段、２２ ２値化画像メモ
リ、２３ 特徴抽出手段、２４ 開閉判定部、２５ 眼
鏡有無判定部、２６ 網膜反射像、２７ 網膜反射像２
値化領域、２８ 反射像、２９ 反射像２値化領域、３
０ 現画面の候補、３１ 前画面の候補、３２ 対応付
け抽出候補選択処理、３３ 相対位置関係抽出候補選択
処理、３４ 対応付け抽出片候補選択処理、３５ 閉眼
判定、３６ ２値化閾値下げ処理、３７ ２値化閾値上
げ処理。
２ ハーフミラー、１３ ＬＥＤ駆動回路、２０ 濃淡
画像メモリ、２１ ２値化手段、２２ ２値化画像メモ
リ、２３ 特徴抽出手段、２４ 開閉判定部、２５ 眼
鏡有無判定部、２６ 網膜反射像、２７ 網膜反射像２
値化領域、２８ 反射像、２９ 反射像２値化領域、３
０ 現画面の候補、３１ 前画面の候補、３２ 対応付
け抽出候補選択処理、３３ 相対位置関係抽出候補選択
処理、３４ 対応付け抽出片候補選択処理、３５ 閉眼
判定、３６ ２値化閾値下げ処理、３７ ２値化閾値上
げ処理。
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
B60K 28/06
G08B 21/06
G08B 1/00 - 1/16
Claims (9)
- 【請求項１】 検出対象者の顔面に光を照射する照明手
段と、 前記照射された検出対象者の顔画像を撮影する撮影手段
と、 前記撮影手段により得られた濃淡画像を２値化する２値
化手段と、 ２値化画像において網膜反射像候補領域を定める網膜反
射像候補生成手段と、 追跡モードの際に、前記網膜反射像候補領域を含む前画
面および現画面の中から、前画面位置と現画面位置との
差分を基に、現画面候補が前画面候補と時系列的に同一
の候補であるとの対応付けをおこなうとともに、網膜反
射像又はそれ以外の反射像をあらわす属性が初回に設定
された前画面候補の前記属性を現画面候補へ引き継ぐ網
膜反射像候補領域対応付け抽出手段、および、前記追跡
モードの際に、前記現画面の網膜反射像候補領域の中か
ら、前記検出対象者の左右の目の相対位置関係に基づ
き、左右の網膜反射像である相対位置関係抽出候補を抽
出する網膜反射像相対位置関係抽出手段を有する特徴抽
出手段と、 前記追跡モードの際に、前記網膜反射像候補領域対応付
け抽出手段が対応付けた対応付け抽出候補、及び前記相
対位置関係抽出候補がともに存在し、かつ双方の候補が
一致しない場合は、前画面位置との差分の小さい方を選
択し、 前記対応付け抽出候補及び前記相対位置関係抽出候補が
ともに存在し、かつ双方の候補が一致する場合は、前記
対応付け抽出候補を選択し、 前記対応付け抽出候補又は前記相対位置関係抽出候補の
いずれか一方しか存在しない場合は、その存在する候補
を選択する網膜反射像領域選択手段と、 前記選択された候補により検出対象者の目の開閉状態を
判定する開閉判定手段とを備えることを特徴とする顔画
像処理装置。 - 【請求項２】 前記網膜反射像候補生成手段は、前記２
値化画像内で網膜反射像候補生成を禁止する不可侵領域
設定手段を備えることを特徴とする請求項１記載の顔画
像処理装置。 - 【請求項３】 前記網膜反射像候補生成手段は、前画面
の目の位置を始点として顔の上下方向に延長することに
より左右の網膜反射像を同時に追跡するための追跡ウン
ドウを前記左右の網膜反射像を含む範囲に設定する左右
網膜反射像同時探索領域設定手段を備えることを特徴と
する請求項１記載の顔画像処理装置。 - 【請求項４】 前記網膜反射像候補生成手段は、近接あ
るいは接触した網膜反射像候補領域を分離する網膜反射
像候補領域分離手段を備えることを特徴とする請求項１
記載の顔画像処理装置。 - 【請求項５】 前記網膜反射像候補領域対応付け抽出手
段は、前記対応付ける現画面候補が重複する場合は、前
画面候補との面積の差分が小さい現画面候補を選択する
網膜反射像候補領域対応付け重複選択手段を備えること
を特徴とする請求項１記載の顔画像処理装置。 - 【請求項６】 前記網膜反射像候補領域対応付け重複選
択手段は、 前記選択されずに競合除外された現画像候補について、
前記選択された前画面候補の近傍に別の候補が存在し、
且つその別の候補の対応付けがおこなわれていない場合
は、その別の候補と、前記競合除外された現画面候補と
を新たに対応付ける網膜反射像候補領域競合除外復帰手
段を備えることを特徴とする請求項５記載の顔画像処理
装置。 - 【請求項７】 前記特徴抽出手段は、前記追跡モードに
より追跡中の網膜反射像において開眼状態が一定時間継
続し網膜反射像の形状特徴に酷似した候補が存在すると
き、追跡中の網膜反射像をキャンセルし、キャンセルし
た候補に近傍反射像の属性を追加する網膜反射像判定手
段を備えることを特徴とする請求項１記載の顔画像処理
装置。 - 【請求項８】 前記特徴抽出手段は、前記近傍反射像の
候補について、前記網膜反射像とは別に追跡する非網膜
反射像領域抽出手段を備えることを特徴とする請求項７
記載の顔画像処理装置。 - 【請求項９】 前記２値化手段は、網膜反射像の大きさ
に応じた２値化閾値制御を行う２値化閾値制御手段を備
えることを特徴とする請求項１記載の顔画面処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26959597A JP3477047B2 (ja) | 1997-10-02 | 1997-10-02 | 網膜反射像を利用したまばたき検出顔画像処理装置 |
| US09/008,294 US5905563A (en) | 1997-10-02 | 1998-01-16 | Blink detection face image processing apparatus utilizing retinal reflection image |
| KR1019980004265A KR100278888B1 (ko) | 1997-10-02 | 1998-02-13 | 망막 반사 상을 이용한 깜빡거림 검출 얼굴 화상 처리 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26959597A JP3477047B2 (ja) | 1997-10-02 | 1997-10-02 | 網膜反射像を利用したまばたき検出顔画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11105578A JPH11105578A (ja) | 1999-04-20 |
| JP3477047B2 true JP3477047B2 (ja) | 2003-12-10 |
Family
ID=17474560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26959597A Expired - Lifetime JP3477047B2 (ja) | 1997-10-02 | 1997-10-02 | 網膜反射像を利用したまばたき検出顔画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5905563A (ja) |
| JP (1) | JP3477047B2 (ja) |
| KR (1) | KR100278888B1 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3600755B2 (ja) * | 1999-05-13 | 2004-12-15 | 三菱電機株式会社 | 顔画像処理装置 |
| JP2000350123A (ja) * | 1999-06-04 | 2000-12-15 | Fuji Photo Film Co Ltd | 画像選択装置、カメラ、画像選択方法及び記録媒体 |
| EP1085366B1 (en) * | 1999-09-14 | 2004-09-15 | Kabushiki Kaisha Toshiba | Face image photographing apparatus and face image photographing method |
| US6898300B1 (en) * | 1999-10-29 | 2005-05-24 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
| US6831998B1 (en) * | 2000-06-22 | 2004-12-14 | Hitachi, Ltd. | Inspection system for circuit patterns and a method thereof |
| JP4193337B2 (ja) * | 2000-07-19 | 2008-12-10 | いすゞ自動車株式会社 | 覚醒度低下判定装置 |
| JP2002119481A (ja) * | 2000-10-18 | 2002-04-23 | Canon Inc | 眼科撮影装置 |
| US7280678B2 (en) * | 2003-02-28 | 2007-10-09 | Avago Technologies General Ip Pte Ltd | Apparatus and method for detecting pupils |
| JP4317465B2 (ja) * | 2004-02-13 | 2009-08-19 | 本田技研工業株式会社 | 顔識別装置、顔識別方法及び顔識別プログラム |
| US7720264B2 (en) * | 2004-05-10 | 2010-05-18 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Method and system for pupil detection for security applications |
| JP4552636B2 (ja) * | 2004-12-08 | 2010-09-29 | 日産自動車株式会社 | ドライバモニタシステムおよびその処理方法 |
| JP4846042B2 (ja) * | 2009-07-09 | 2011-12-28 | キヤノン株式会社 | 眼科撮像装置、眼科システム及びプログラム |
| US9684374B2 (en) | 2012-01-06 | 2017-06-20 | Google Inc. | Eye reflection image analysis |
| US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
| US9230180B2 (en) * | 2013-01-18 | 2016-01-05 | GM Global Technology Operations LLC | Eyes-off-the-road classification with glasses classifier |
| US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
| WO2014210430A1 (en) | 2013-06-27 | 2014-12-31 | Tractus Corporation | Systems and methods for tissue mapping |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4973148A (en) * | 1985-02-28 | 1990-11-27 | Polaroid Corporation | Optical accessory for use with spectacles |
| US4838681A (en) * | 1986-01-28 | 1989-06-13 | George Pavlidis | Method and means for detecting dyslexia |
| US5220360A (en) * | 1990-10-24 | 1993-06-15 | Ophthalmic Imaging Systems, Inc. | Apparatus and method for topographical analysis of the retina |
| JPH0944680A (ja) * | 1995-07-26 | 1997-02-14 | Mitsubishi Electric Corp | 動画像の目領域抽出装置 |
| JPH09198508A (ja) * | 1996-01-17 | 1997-07-31 | Mitsubishi Electric Corp | 目状態検出装置 |
-
1997
- 1997-10-02 JP JP26959597A patent/JP3477047B2/ja not_active Expired - Lifetime
-
1998
- 1998-01-16 US US09/008,294 patent/US5905563A/en not_active Expired - Lifetime
- 1998-02-13 KR KR1019980004265A patent/KR100278888B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| US5905563A (en) | 1999-05-18 |
| KR100278888B1 (ko) | 2001-03-02 |
| KR19990035749A (ko) | 1999-05-25 |
| JPH11105578A (ja) | 1999-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3477047B2 (ja) | 網膜反射像を利用したまばたき検出顔画像処理装置 | |
| JP5359266B2 (ja) | 顔認識装置、顔認識方法及び顔認識プログラム | |
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| JP4583527B2 (ja) | 眼の位置を判断する方法 | |
| US7130453B2 (en) | Eye position detection method and device | |
| CN112043236B (zh) | 眼底相机及眼底图像全自动拍摄方法 | |
| JP2000139878A (ja) | アイリスパターン認識装置 | |
| CN105431078A (zh) | 用于同轴眼睛凝视跟踪的系统和方法 | |
| JP2008146172A (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
| EP1868138A2 (en) | Method of tracking a human eye in a video image | |
| CN1333374C (zh) | 图象输入装置及使用它的认证装置 | |
| CN110135370B (zh) | 人脸活体检测的方法及装置、电子设备、计算机可读介质 | |
| CN112220447A (zh) | 眼底相机及眼底图像拍摄方法 | |
| WO2003054777A1 (en) | Iris registration and recognition system | |
| JP3808014B2 (ja) | 目画像撮像装置および個体認証装置 | |
| JP3364816B2 (ja) | 画像処理装置 | |
| JP4313717B2 (ja) | 視線検出装置 | |
| US20060269128A1 (en) | Image correction method and apparatus | |
| JP4895874B2 (ja) | 目状態判別装置、目状態判別方法及び目状態判別プログラム | |
| JP2006318374A (ja) | 眼鏡判別装置および認証装置ならびに眼鏡判別方法 | |
| JP2004192552A (ja) | 開閉眼判定装置 | |
| CN112075920A (zh) | 眼底相机及其工作距离调整方法 | |
| JP2004086614A (ja) | 目画像撮像装置及び目画像認証装置 | |
| JPH09198508A (ja) | 目状態検出装置 | |
| CN112220448B (zh) | 眼底相机及眼底图像合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080926 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080926 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090926 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090926 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100926 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 9 |