JP3812298B2 - 眼の状態検出装置 - Google Patents
眼の状態検出装置 Download PDFInfo
- Publication number
- JP3812298B2 JP3812298B2 JP2000191365A JP2000191365A JP3812298B2 JP 3812298 B2 JP3812298 B2 JP 3812298B2 JP 2000191365 A JP2000191365 A JP 2000191365A JP 2000191365 A JP2000191365 A JP 2000191365A JP 3812298 B2 JP3812298 B2 JP 3812298B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- area
- redetection
- tracking
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Ophthalmology & Optometry (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の運転者、船舶の操船者、プラント等のオペレータ等の脇見状態を検出し警報することなどに供する眼の状態検出装置に関する。
【０００２】
【従来の技術】
従来の画像処理によるこの種の装置には、例えば特開９−４４６８０号に記載されたようなものがある。この装置では、眼の検出領域を設定し、該検出領域内で眼の領域を抽出し、その抽出結果に応じて眼の検出領域の位置、大きさ、数、及び形状の少なくとも１つを変更して設定することで短時間に効率よく眼領域が抽出できるようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、眼が抽出できないときに、検出領域を単に拡大して眼を再検出する構成であるため、ノイズとなるデータが拡大された検出領域内に多数含まれるようになり、眼の検出精度向上に限界があると共に、眼の検出に時間がかかるという問題があった。
【０００４】
また、運転者が横を向いたような場合、眼の追跡限界を超えて脇見状態となるが、仮にその脇見時間が短くすぐに車両前方を見た場合には脇見状態と検出する必要はない。しかし、上記従来の装置を用いて脇見検出を実現しようとすると、運転者が横を向いて眼の追跡限界を超えてからすぐに車両前方を見たとしても、再度眼を検出するまでに時間がかかることで脇見状態の誤検出を起こし、誤警報などの煩わしさを招き易かった。
【０００５】
この発明は、目の検出精度向上と、目の検出時間を短縮することのできる眼の状態検出装置の提供を課題とする。
【０００６】
【課題を解決するための手段】
請求項１の発明は、運転者の顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、前記検出された眼の位置を基準に眼を含む追跡領域を設定し追跡対象である両眼を検出しながら独立に追跡する眼の追跡手段と、前記眼の追跡手段による追跡結果から、運転者の眼の位置が移動したかどうかを判定する第１の判定手段と、前記眼の追跡手段の追跡対象である両眼の画像データを画像処理することで、運転者が前を見ているかどうかを判定する第２の判定手段と、前記第１の判定手段によって、運転者の眼の位置が移動したことが判定され、前記第２の判定手段によって、運転者が前を見ていると判定されたことに応じて、眼の再検出領域を学習する再検出領域の学習手段と、前記眼の再検出領域の学習手段によって学習した眼の再検出領域の切り替え優先順位を決定する再検出領域の優先順位決定手段と、前記決定された優先順位で眼の再検出領域を切り替え、該切り替えた眼の再検出領域内で追跡対象としての眼を再度検出する眼の再検出手段とを備えたことを特徴とする。
【０００７】
請求項２の発明は、請求項１記載の眼の状態検出装置であって、前記眼の再検出領域の学習手段が、両眼を含む矩形領域を前記再検出領域として記憶することで、眼の再検出領域を学習することを特徴とする。
【０００８】
請求項３の発明は、請求項１又は請求項２記載の眼の状態検出装置であって、前記第１の判定手段が、前記眼の追跡手段による追跡結果から、追跡対象である両眼の前記追跡領域の画像上での座標位置が所定値以上移動し、且つ両眼の相対位置関係が保持できている場合に、前記運転者の眼の位置が移動したことを判定し、前記第２の判定手段が、前記眼の追跡手段の追跡対象である両眼の画像データをパターンマッチングした結果に応じて、運転者が前を見ているかどうかを判定することを特徴とする。
【０００９】
請求項４の発明は、請求項２記載の眼の状態検出装置であって、前記眼の再検出領域の学習手段は、運転対象の運転信号の入力に基づいて前記パターンマッチングを行うことを特徴とする。
【００１０】
請求項５の発明は、請求項１記載の眼の状態検出装置であって、前記眼の再検出領域の優先順位決定手段は、前記眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域の代表座標値の接近度合いでグループ化し、各グループ毎に眼の再検出領域を更新設定し、更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に更新設定した眼の再検出領域を切り替えて眼の再検出を行うことを特徴とする。
【００１１】
請求項６の発明は、請求項５記載の眼の状態検出装置であって、前記眼の再検出領域の優先順位決定手段は、前記更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に前記更新設定する眼の検出領域の大きさを可変とすることを特徴とする。
【００１２】
請求項７の発明は、請求項１記載の眼の状態検出装置であって、前記眼の再検出領域の優先順位決定手段は、前記眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域を時系列的に新しいものから古いものへ順次切り替えて眼の再検出を行うことを特徴とする。
【００１３】
請求項８の発明は、請求項５〜７の何れかに記載の眼の状態検出装置であって、前記眼の再検出領域の優先順位決定手段は、運転対象の状態に応じて眼の再検出領域の優先順位の決定方法を変更することを特徴とする。
【００１４】
請求項９の発明は、請求項１〜８の何れかに記載の眼の状態検出装置であって、前記眼の追跡手段と前記眼の再検出手段との少なくとも一方の情報を用いることにより運転者の脇見運転を検出する脇見検出手段を備えたことを特徴とする。
【００１５】
請求項１０の発明は、請求項９記載の眼の状態検出装置であって、前記脇見検出手段は、眼の追跡ができなくなったときから眼の再検出領域において再度眼の検出ができるようになるまでの時間の長さで脇見運転を検出することを特徴とする。
【００１６】
【発明の効果】
請求項１の発明では、顔画像出力手段により運転者の顔を撮像して顔画像データを出力し、眼の位置検出手段より、前記画像出力手段から出力された顔画像データを処理して眼の位置を検出し、眼の追跡手段により、前記検出された眼の位置を基準に眼を含む追跡領域を設定し追跡対象である両眼を検出しながら独立に追跡することができる。
【００１７】
眼の再検出領域の学習手段では、第１の判定手段によって、運転者の眼の位置が移動したことが判定され、第２の判定手段によって、運転者が前を見ていると判定されたことに応じて、眼の再検出領域を複数学習し、再検出領域の優先順位決定手段では、前記眼の再検出領域の学習手段によって学習した複数の眼の再検出領域の優先順位を決定し、眼の再検出手段では、前記決定された優先順位で眼の再検出領域内の追跡対象として再度眼を検出することができる。
【００１８】
従って、運転者が前方を見ているときに両眼が存在する必要最小限の領域を学習することが可能となり、ノイズとなるデータが含まれる可能性が減少し、目の検出精度を向上させることができる。
【００１９】
また、目の再検出領域を切り替える優先順位を決定することで効率的に目の再検出ができ、目の再検出の時間を短縮することができる。従って、顔の大きな動きを伴う脇見状態が発生しても、すぐに前方を向くような場合には直ちに目の再検出ができ、目の誤検出の可能性を抑制することができる。
【００２０】
請求項２の発明では、請求項１記載の発明の効果に加え、眼の再検出領域の学習手段が、両眼を含む矩形領域を再検出領域として記憶することで、眼の再検出領域を学習することができる。
【００２１】
従って、眼の検出精度向上と、眼の誤検出抑制とをより確実に行うことができる。
【００２２】
請求項３の発明は、請求項１又は請求項２記載の発明の効果に加え、第１の判定手段が、眼の追跡手段による追跡結果から、追跡対象である両眼の追跡領域の画像上での座標位置が所定値以上移動し、且つ両眼の相対位置関係が保持できている場合に、運転者の眼の位置が移動したことを判定し、第２の判定手段が、眼の追跡手段の追跡対象である両眼の画像データをパターンマッチングした結果に応じて、運転者が前を見ているかどうかを判定することができる。
【００２３】
従って、眼の検出精度向上と、眼の誤検出抑制とをより確実に行うことができる。
【００２４】
請求項４の発明は、請求項２記載の発明の効果に加え、眼の再検出領域の学習手段は、運転対象の運転信号の入力に基づいてパターンマッチングを行うことができる。
【００２５】
従って、運転者が前方を見ているという条件で確実に目の再検出領域を学習することができ、目の検出精度向上と、目の誤検出抑制とをより確実に行うことができる。
【００２６】
請求項５の発明では、請求項１記載の発明の効果に加え、眼の再検出領域の優先順位決定手段は、前記眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域の代表座標値の接近度合いでグループ化し、各グループ毎に眼の再検出領域を更新設定し、更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に更新設定した眼の再検出領域を切り替えて眼の再検出を行うことができる。
【００２７】
従って、運転者の両眼のある確率の高い順に目の再検出を行うことができ、より確実に短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００２８】
請求項６の発明では、請求項５記載の発明の効果に加え、眼の再検出領域の優先順位決定手段は、前記更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に前記更新設定する眼の検出領域の大きさを可変とすることができる。
【００２９】
従って、運転者が前方を見ているときに両眼が存在する必要最小限の領域を確実に学習することが可能となり、ノイズとなるデータが含まれる可能性が減少し、目の検出精度を確実に向上させることができ、誤検出を確実に抑制することができる。
【００３０】
請求項７の発明では、請求項１記載の発明の効果に加え、眼の再検出領域の優先順位決定手段は、前記眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域を時系列的に新しいものから古いものへ順次切り替えて眼の再検出を行うことができる。
【００３１】
従って、運転者の両眼のある確率の高い順に目の再検出をより確実に行うことができ、短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００３２】
請求項８の発明では、請求項５〜７の何れかに記載の発明の効果に加え、眼の再検出領域の優先順位決定手段は、運転対象の状態に応じて眼の再検出領域の優先順位の決定方法を変更することができる。
【００３３】
従って、運転対象の状態に応じて、運転者の両眼のある確率の高い順に目の再検出を行うことができ、より確実に短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００３４】
請求項９の発明では、請求項１〜８の何れかに記載の発明の効果に加え、脇見検出手段により、眼の追跡手段と前記眼の再検出手段との少なくとも一方の情報を用い運転者の脇見運転を検出することができる。
【００３５】
従って、確実な脇見検出を行うことができる。
【００３６】
請求項１０の発明では、請求項９記載の発明の効果に加え、脇見検出手段は、眼の追跡ができなくなったときから眼の再検出領域において再度眼の検出ができるようになるまでの時間の長さで脇見運転を検出することができる。
【００３７】
従って、目の追跡が困難な顔の大きな動きを伴う脇見状態も検出することができる。
【００３８】
【発明の実施の形態】
本装置は、自動車の他に鉄道車両、船舶、プラントのオペレータ等の居眠り運転警報として用いることができるが、本実施例では運転対象として自動車に適用した場合で説明する。
【００３９】
図１は、本発明を適用した眼の状態検出装置の構成ブロック図にかかり、該装置は、画像出力手段ＣＬ１と、眼の位置検出手段ＣＬ２と、眼の追跡手段ＣＬ３と、眼の再検出領域の学習手段ＣＬ４と、眼の再検出領域の優先順位決定手段ＣＬ５と、眼の再検出手段ＣＬ６と、脇見検出手段ＣＬ７とを備えている。
【００４０】
前記画像出力手段ＣＬ１は、乗員の顔を撮像して顔画像データを出力するものである。前記眼の位置検出手段ＣＬ２は、前記画像出力手段ＣＬ１から出力された顔画像データを処理して眼の位置を検出するものである。
【００４１】
前記眼の追跡手段ＣＬ３は、前記検出された眼の位置を基準に眼を含む追跡領域を設定し追跡対象である両眼を検出しながら独立に追跡するものである。
【００４２】
前記眼の再検出領域の学習手段ＣＬ４は、前記眼の追跡手段ＣＬ３により眼の追跡を行いながら運転者が前を見ているという条件の下に眼の再検出領域を学習するものである。すなわち、眼の再検出領域の学習手段ＣＬ４は、運転者が前を見ている条件として両眼のパターンマッチングが可能となったときに両眼を含む矩形領域を前記再検出領域として記憶する。または、眼の再検出領域の学習手段ＣＬ４は、追跡領域の画像上での座標位置が所定値以上移動し、且つ両眼の間隔が保持できているときに前記パターンマッチングを行う。または、眼の再検出領域の学習手段ＣＬ４は、運転対象の運転信号の入力に基づいて前記パターンマッチングを行う。
【００４３】
前記眼の再検出領域の優先順位決定手段ＣＬ５は、前記眼の再検出領域の学習手段ＣＬ４によって学習した眼の再検出領域の優先順位を決定するものである。すなわち、眼の再検出領域の優先順位決定手段ＣＬ５は、前記眼の再検出領域の学習手段ＣＬ４によって学習した複数個の眼の再検出領域の代表座標値の接近度合いでグループ化し、各グループ毎に眼の再検出領域を更新設定し、更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に更新設定した眼の再検出領域を切り替えて眼の再検出を行う。または、眼の再検出領域の優先順位決定手段ＣＬ５は、前記更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に前記更新設定する眼の検出領域の大きさを可変とする。または、眼の再検出領域の優先順位決定手段ＣＬ５は、前記眼の再検出領域の学習手段ＣＬ４によって学習した複数個の眼の再検出領域を時系列的に新しいものから古いものへ順次切り替えて眼の再検出を行う。または、眼の再検出領域の優先順位決定手段ＣＬ５は、運転対象の状態に応じて眼の再検出領域の優先順位の決定方法を変更する。
【００４４】
前記眼の再検出手段ＣＬ６は、前記決定された優先順位で眼の再検出領域内の追跡対象として再度眼を検出するものである。
【００４５】
前記脇見検出手段ＣＬ７は、前記眼の追跡手段ＣＬ３と前記眼の再検出手段ＣＬ６との少なくとも一方の情報を用いることにより運転者の脇見運転を検出する。また、前記脇見検出手段ＣＬ７は、眼の追跡ができなくなったときから眼の再検出領域において再度眼の検出ができるようになるまでの時間の長さで脇見運転を検出する。
【００４６】
図２は、本発明の一実施形態にかかる構成ブロック図である。
【００４７】
同図のように、ＴＶカメラ２０１が自動車のインストルメントに設置され、運転者の顔部分を正面から撮影する。ＴＶカメラ２０１の入力画像は、本実施形態では、例えば横方向（Ｘ）５１２画素、縦方向（Ｙ）４８０画素からなる。前記ＴＶカメラ１で撮像された入力画像は、Ａ−Ｄ変換器２０２を介して画素毎のアナログ電圧が２５６階調のデジタル値に変換され、入力画像データとして画像メモリ２０３に格納される。画像メモリ２０３の出力は、画像データ演算回路２０４に入力される。
【００４８】
従って、ＴＶカメラ２０１、Ａ−Ｄ変換器２０２、画像メモリ２０３は、本実施形態において前記画像出力手段ＣＬ１を構成している。
【００４９】
前記画像データ演算回路２０４は、後述する眼の位置検出回路２０６と共に前記眼の位置検出手段ＣＬ２を構成し、前記入力された顔画像データから顔の縦方向の画素列に沿って画素の濃度値を読み出し、該濃度値の局所的な高まり毎に１個づつの画素を定めて抽出点とし、隣接した抽出点を連続させて顔の横方向に延びる連続データを抽出して顔の特徴量とし、その出力を眼の位置検出回路２０５に入力する。
【００５０】
前記眼の位置検出回路２０５は、前記眼の位置検出手段ＣＬ２を構成し、前記検出された顔の特徴量から予め記憶された眼の特徴情報に合致する特徴量を抽出して眼の位置を検出する。すなわち、前記検出された顔の特徴量の代表座標値から該特徴量を含んで特定された存在領域内で、前記検出された顔の特徴量の画像上の位置、長さ、形状情報を用いてパターンマッチングにより眼に合致する特徴量を抽出して眼の位置を検出し、その出力は眼の追跡回路２０６に入力される。
【００５１】
前記眼の追跡回路２０６は、前記眼の追跡手段ＣＬ３を構成し、前記眼の位置検出回路２０５において検出された眼の位置を基準に眼を含む追跡領域を設定すると共に、該追跡領域内で顔の特徴量を検出して眼の詳細位置を検出し、両眼を独立に追跡する。
【００５２】
眼の再検出領域学習回路２０７は、前記眼の再検出領域の学習手段ＣＬ４を構成し、前記眼の追跡回路２０６からの信号により、眼の追跡を行いながら運転者が前を見ているという条件の下に眼の再検出領域を学習し、眼の再検出領域の優先順位決定回路２０８へ入力する。眼の再検出領域の優先順位決定回路２０８は、前記眼の再検出領域の優先順位決定手段ＣＬ５を構成し、眼の再検出領域学習回路２０７によって学習した眼の再検出領域の切り替え優先順位を決定し、眼の再検出回路２０９へ入力する。眼の再検出回路２０９は、前記眼の再検出手段ＣＬ６を構成し、前記決定された優先順位で眼の再検出領域を切り替え、該切り替えた眼の再検出領域内で追跡対象として眼を再度検出し、脇見運転検出回路２１０へ入力する。
【００５３】
脇見運転検出回路２１０は、前記脇見検出手段ＣＬ７を構成し、前記眼の追跡回路２０６と眼の再検出回路２０９との少なくとも一方の情報を用いることにより運転者の脇見運転を検出する。
【００５４】
次に、上記構成における動作の流れを、図３のフローチャートに基づいて説明する。まず、ステップＳ３０１において、ＴＶカメラによって顔部分が撮影され、ステップＳ３０２で１フレーム分の入力画像がＡ−Ｄ変換器でデジタル信号に変換されたうえ画像メモリに格納される。
【００５５】
次に、ステップＳ３０３において、眼の追跡ミスフラグがＯＮかどうかをチェックする。初期状態では眼の追跡ミスフラグはＯＦＦであるため、ステップＳ３０４に移行する。ステップＳ３０４では、画像全体からの眼の初期位置の検出がなされているかどうかをチェックする。このステップにおいても初期状態では眼の初期位置は検出できていないため、ステップＳ３０５に移行し、画像全体からの眼の位置検出を行う。その後、ステップＳ３０６に移行して、眼の追跡領域を設定し、眼の初期位置としての眼の再検出領域Ａの設定を行う。
【００５６】
眼の追跡領域の設定方法と、眼の追跡処理方法については、図５を用いて後述し、眼の初期位置としての眼の再検出領域Ａの設定方法について図６を用いて後述する。
【００５７】
ステップＳ３０６で上記の領域Ａの設定後、ステップＳ３０７に移行する。ステップＳ３０７では、眼の追跡が行えているか否かを判定している。普通、眼の追跡領域内に眼の位置が留まる範囲内の眼の動きであれば眼の追跡ができる。眼の追跡が正常に行われている場合は、その座標情報により脇見検出の判定が行える。しかし、一旦眼を見失ってしまうと従来の装置での脇見検出はできなくなってしまう。また、顔の大きな動きを伴う脇見状態を想定すると、眼の追跡に失敗することも多々あると考えるのが自然である。ステップＳ３０７で眼の追跡状態がＯＫである場合は、ステップＳ３０８に移行し、眼の座標位置が所定値以上移動し、且つ両眼の相対位置関係が保持されているか否かを判定する。ステップＳ３０８の条件を満たす場合は、ステップＳ３１２に移行して眼の追跡領域内で検出できるデータが眼のパターン条件を満たすかどうかを判定する。
【００５８】
ステップＳ３０８とＳ３１２での判定は、眼の位置の移動があっても運転者が前方を見ていると考えられる条件を当てはめたもので、この２つの条件に合う場合は、眼の位置の移動があっても運転者は車両前方を見ている確率が高いといえる。ステップＳ３０８とＳ３１２での判定方法については、図７、図８を用いて後述する。
【００５９】
ステップＳ３０８またはＳ３１２で、諸条件を満たさないと判定された時は、ステップＳ３０９に移行して眼の追跡領域を更新してステップＳ３０１に戻り次の画像データの取り込みを行う。このループを回る処理は、眼の追跡が正常に行われている場合のもので、眼の追跡に失敗しなければ眼の位置の移動状態による脇見検出を行うことができる。このステップＳ３０９の追跡領域の更新処理の内容は、後述の図５で説明するものと同様である。
【００６０】
ステップＳ３０８とステップＳ３１２で、諸条件を満たしたと判定された時は、ステップＳ３１３に移行する。ステップＳ３１３では、眼を見失った時に用いる眼の再検出領域を学習する。この考え方は、ステップＳ３０６の眼の初期位置での眼の再検出領域Ａの設定方法と同じで有り後述する。その後、ステップＳ３１４に移行して眼の再検出領域の優先順位の決定更新を行う。眼の再検出領域の優先順位の決定更新方法は、図９〜図１１を用いて後述する。
【００６１】
このように眼の再検出領域の学習、優先順位を決定、更新を行いながらの眼の追跡を続ける中で、眼を見失った場合は、図３のステップＳ３０７で、そのことを認識しステップＳ３１０に移行する。ステップＳ３１０では、脇見判定タイマーをスタートさせ、ステップＳ３１１で眼の追跡ミスフラグをＯＮにする。その後、図４のステップＳ４０１に移行し、眼の再検出領域が所定箇所設定できているかどうかをチェックする。このステップでは、運転者が前方を見ていて、且つ眼が存在する領域がある程度、学習できたかどうかを判定しており、初期段階で眼を見失った場合は、ステップＳ４１０に移行して、眼の初期位置の設定を解除して、脇見判定タイマーをストップ、リセットさせ、眼の追跡ミスフラグをＯＦＦにする。その後、ステップＳ３０１に戻り、また、初期状態からの眼の位置検出と、眼の再検出領域の設定を行う。
【００６２】
このループの処理は、異常状態のバックアップとして用意しているもので、眼の再検出領域の所定箇所の設定は、眼の追跡を行いながらする処理であるため、長い時間がかかるということはなく、通常状態ではステップＳ４０２に移行する。ステップＳ４０２からステップＳ４０７の処理は、３つの眼の再検出領域での眼の再検出を行っている例である。ステップＳ４０２，Ｓ４０４，Ｓ４０６の眼の再検出領域の設定は、図４のステップＳ３１３とＳ３１４において行われ、その順序も随時変更される。
【００６３】
ステップＳ４０３，Ｓ４０５，Ｓ４０７は、各々の同領域内において眼の再検出を行っており、眼の再検出ができた場合は、ステップＳ４１１に移行し、脇見判定タイマーをストップ、リセットして、眼の追跡ミスフラグをＯＦＦにする。その後、ステップＳ４１２で同領域内で検出できた眼のデータを基準に眼の追跡領域を設定し、眼の追跡を開始する。
【００６４】
また、ステップＳ４０３，Ｓ４０５，Ｓ４０７のどの領域においても、眼の再検出ができない場合は、ステップＳ４０８に移行し、脇見運転タイマーが所定時間を越えたかどうかを判定する。脇見許容時間を越えていない場合は、ステップＳ３０１に戻り、次の画像データでの眼の再検出に移る。このループの判定中にステップＳ４０８で脇見許容時間を越えたと判定された場合は、ステップＳ４０９に移行して脇見状態が発生していると判断する。このように運転者が前方を見ていると考えられる時に眼が存在する領域を、効率的に検索できる構成としたため、ステップＳ４０８で脇見許容時間を越える状態が発生した場合は、運転者が脇見をしている状態である確率は高く、眼の追跡に失敗するような場面があったとしても精度高い脇見検出が可能となる。
【００６５】
ここで、前記ステップＳ３０６における眼の追跡領域の設定方法と、眼の追跡処理方法について図５を用いて説明する。図５（ａ）のように、画像全体から検出した眼の位置が中央になるようにして眼の追跡領域Ｗ１の基準点を左上に設定する。図５の（ｂ）は、次の画像データを取り込んだ状態を示すものである。前の画像データで設定した眼の追跡領域Ｗ１に対し、次の画像データでの眼の位置は、顔の動きなどで必ずしも該領域の中央にこない。この時、次の画像データでは、この眼の追跡領域内で検出された眼の位置が中央になるようにして、（ａ）の場合と同様に眼の追跡領域Ｗ２の基準点を左上に設定する。このようにして眼の追跡領域内に眼が検出できる場合は、順次、基準点の座標を更新しながら眼の追跡を続ける。
【００６６】
つぎに、前記ステップＳ３０６における、眼の初期位置としての眼の再検出領域Ａの設定について図６を用いて説明する。眼の再検索は、眼の追跡に失敗し眼を見失ってしまった時に、運転者が車両前方を見ている場合に両眼が存在する可能性が高い領域として設定する。図６の（ａ）は初期状態での眼の検出位置に基づき、両眼が入る横長の１つの矩形領域として設定した例を示す。図６の（ｂ）は、左右の眼の領域を独立させて２つの小さな矩形領域として設定した例を示す。
【００６７】
前記ステップＳ３１３では、前記のように眼を見失った時に用いる眼の再検出領域を学習するが、この考え方は、前記ステップＳ３０６の眼の初期位置での眼の再検出領域Ａの設定方法と同じで、図７のように両眼が所定値以上移動しても、運転者が車両前方を見ている状態であることを判定した上で、図６に示すように、その位置を眼の再検出領域Ｂとして学習する。この眼の再検出領域の学習は、眼の位置の移動がある毎に繰り返されるので、眼の再検出領域はＢ以降、Ｃ，Ｄ，…と学習していく。
【００６８】
前記テップＳ３０８、Ｓ３１２での判定方法については、図７、図８を用いて説明する。ステップＳ３０８で、図７に示すように、数フレームでの眼の追跡状態をモニタすることによって、所定値以上の眼の座標位置の移動が認識され、且つ両眼の左右間隔Ｄ１が保持されていると判定された場合に、前記のようにステップＳ３１２に移行して、追跡対象であるデータに対し、眼のパターンマッチングを行う。眼のパターンマッチングは、図８に示すような２値化した形状で行っており、普通、光環境が良く安定した画像であれば図８の（ａ）に示すようなものになる。しかし、光環境が悪化した時は、図８の（ｂ）や（ｃ）のような形状になることもあるので、眼のパターンは、横幅が眼の幅の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることの条件▲１▼と、黒眼の左側の凹み形状条件の▲２▼と、黒目の右側の凹み形状条件の▲３▼を組み合わせることにより設定し、図８の（ｂ），（ｃ）の例を許容するために▲１▼と▲２▼、または▲１▼と▲３▼の条件を満たすものであってもＯＫとする。
【００６９】
前記ステップＳ３１４の眼の再検出領域の優先順位の決定更新方法は、図９〜図１１のようになる。
【００７０】
図９は、眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域の代表座標値の接近度合いでグループ化を行い、各グループ毎に眼の再検出領域を更新設定し、その度数が多い順に更新した眼の再検出領域を切り替えて眼の再検出を行う方法を説明したものである。図６に示す眼の再検出領域の１つまたは２つの代表座標値を基準に、図９に示すように代表座標値の度数カウント領域を設定する。本例は眼の再検出領域を１つとした場合である。
【００７１】
つぎに、この代表座標値の接近度合いでの該データのグルーピング方法と、各グループ毎の眼の再検出領域の更新設定方法を説明する。図９の（１）〜（１２）の数字は、眼の再検出領域の代表座標値が設定されていった順序を示すものである。
【００７２】
まず、始めに（１）の眼の再検出領域の代表座標値を基準に度数カウント領域を設定すると共に、今後、設定される眼の再検出領域の代表座標値が該度数カウント領域に含まれた場合の更新対象としての眼の再検出領域も設定する。つぎに（２）の眼の再検出領域の代表座標値が設定された場合、（１）の度数カウント領域内に含まれるため、（２）の該領域を（１）の該領域に更新して、（１）の該領域の度数をカウントアップする。つぎに（３）の眼の再検出領域の代表座標値が設定された場合、（３）の座標位置は（１）の度数カウント領域内に含まれないため、新たに動領域を新たな更新対象としての眼の再検出領域を設定する。このようにして眼の再検出領域の代表座標値が設定される毎に、既に設定されている度数カウント領域に含まれるか否かを判定しながら、各更新対象としての眼の再検出領域を設定し、その領域の度数をカウントアップする。この時（６）のように２つ以上の度数カウント領域に含まれる代表座標値があった場合は、両方の眼の再検出領域の度数をカウントアップする。
【００７３】
図９の例に示すように（１２）までの代表座標値が設定された場合、（１）の該領域の度数が５つ、（３）と（７）の該領域の度数が３つ、（８）と（１２）の該領域の度数が１つとなる。
【００７４】
よって、図３のフローチャートのステップＳ３１４での眼の再検出領域の優先順位の決定、更新方法は、このカウントアップされる各領域の度数の多さによって決定する。また、その度数が同じ値になった場合は、決定した順序が後の方を優先させるなどの条件付けがなされている。
【００７５】
このようにして、顔を撮像して顔画像データを出力し、顔画像データを処理して眼の位置を検出し、検出された眼の位置を基準に眼を含む追跡領域を設定し追跡対象である両眼を検出しながら独立に追跡し、眼の追跡を行いながら運転者が前を見ているという条件の下に眼の再検出領域を複数学習し、学習した複数の眼の再検出領域の切り替え優先順位を決定し、眼の再検出手段では、前記決定された優先順位で眼の再検出領域を切り替え、該切り替えた眼の再検出領域内で追跡対象として眼を再度検出することができる。
【００７６】
従って、運転者が前方を見ているときに両眼が存在する必要最小限の領域を学習することが可能となり、ノイズとなるデータが含まれる可能性が減少し、目の検出精度を向上させることができる。
【００７７】
また、目の再検出領域を切り替える優先順位を決定することで効率的に目の再検出ができ、目の再検出の時間を短縮することができる。従って、顔の大きな動きを伴う脇見状態が発生しても、すぐに前方を向くような場合には直ちに目の再検出ができ、目の誤検出の可能性を抑制することができる。
【００７８】
運転者が前を見ている条件として両眼のパターンマッチングが可能となったとき、すなわち、追跡領域の画像上での座標位置が所定値以上移動し、且つ両眼の間隔が保持できているときにパターンマッチングを行うことができるとして両眼を含む矩形領域を再検出領域として記憶することができる。このため、運転者が前方を見ているという条件で確実に目の再検出領域を学習することができ、目の検出精度向上と、目の誤検出抑制とをより確実に行うことができる。
【００７９】
さらに、学習した複数個の眼の再検出領域の代表座標値の接近度合いでグループ化し、各グループ毎に眼の再検出領域を更新設定し、更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に更新設定した眼の再検出領域を切り替えて眼の再検出を行うため、運転者の両眼のある確率の高い順に目の再検出を行うことができ、より確実に短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００８０】
また、眼の追跡ができなくなったときから眼の再検出領域において再度眼の検出ができるようになるまでの時間の長さで脇見運転を検出することができ、目の追跡が困難な顔の大きな動きを伴う脇見状態も検出することができる。
【００８１】
図１０は、更新対象としての眼の再検出領域の大きさを、度数カウントの多さに応じて可変させる方法について説明したものである。図１０の（５），（３），（１）は該領域の度数を示したものである。各眼の再検出領域は、その度数が少ない時は大きめに設定し、度数が増えてくるに従い該領域を更新して縮小していく。よって、図１０の例では、眼の再検出領域が、度数１＞度数３＞度数５の関係になるようにしている。
【００８２】
このように、更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順から前記更新設定する眼の検出領域の大きさを次第に大きくするように可変とするため、運転者が前方を見ているときに両眼が存在する必要最小限の領域を確実に学習することが可能となり、ノイズとなるデータが含まれる可能性が減少し、目の検出精度を確実に向上させることができる。
【００８３】
図１１は、眼の再検出領域の優先順位決定手段において、眼の再検出領域の学習手段によって学習した眼の再検出領域を時系列的に新しいものから、古いものに順次切り替えて眼の再検出を行う方法について説明したものである。図１１の（ａ）の（１）〜（５）の数字は、眼の再検出領域の代表座標値が設定されていった順序を示すものである。本例では、度数の代わりに時系列の眼があった位置の情報を用いることを目的としており、眼の再検索を行う領域を新しく設定された（５）から順に（４），（３），…と切り替えていく。また、時系列的にどこまでの情報を参考にするかは、予め決めておき、例えば５領域とした場合は、図１１の（ｂ）に示すように（１）の領域をカットとして（６）から（２）を眼の検索対象とする。
【００８４】
このように時系列的に切り替えた場合も、運転者の両眼のある確率の高い順に目の再検出をより確実に行うことができ、短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００８５】
なお、眼の再検出領域の数は、脇見検出に対する許容時間を可変させるのに関連して変更することも有効であると考える。例えば、車速が高い場合や、先行車との車間距離が短い場合は、運転者の眼の位置が存在する領域は、狭まってくることから対象とする眼の検索領域の数も少なくすることが望ましい。すなわち、自動車の車速状態等に応じて、運転者の両眼のある確率の高い順に目の再検出を行うことができ、より確実に短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００８６】
最後に、眼の再検出領域の学習のトリガーが、車速、蛇角、スロットル開度、ブレーキなど、運転対象である自動車の運転状態が推定できる運転信号（車両信号）とした場合の例を、図１２を用いて説明する。図１２のフローチャートは、ステップＳ１２０８以外は、図３のフローチャートと同じものである。ステップＳ１２０８は、運転者が前を見ていると推定できる状態を、運転信号によって判断する処理を行っている。その例としては、運転者がブレーキを踏んだ時は、車両前方を見ている確率が高いといえることや、ハンドルが切られていない状態で、加速している時は、運転者が前方を見ている確率が高いということに基づいている。そして、車両信号の入力があったときには、ステップＳ１２１２へ移行することになる。
【００８７】
このようにして、運転対象の運転信号の入力に基づいてパターンマッチングを行うことができ、運転者が前方を見ているという条件で確実に目の再検出領域を学習することができ、目の検出精度向上と、目の誤検出抑制とをより確実に行うことができる。
【００８８】
なお、本発明の内容にある眼の位置検出方法は、「特開平１０−４０３６１号」、「特開平１０−１４３６６９号」等にも記載されている方法を用いることが出来るのはもちろんである。
【図面の簡単な説明】
【図１】本発明の眼の状態検出装置の構成ブロック図である。
【図２】本発明の一実施形態に係る眼の状態検出装置のブロック図である。
【図３】一実施形態に係り、脇見運転検出の全体動作を示すフローチャートである。
【図４】一実施形態に係り、脇見運転検出の全体動作を示すフローチャートである。
【図５】一実施形態の眼の追跡領域の設定方法、眼の追跡方法に係り、（ａ）は眼の追跡領域及び基準点を示し、（ｂ）は次のデータを取り込んだ状態を示す説明図である。
【図６】一実施形態に係る眼の再検出領域の設定方法に係り、（ａ）は１つの横長の矩形領域として設定した場合、（ｂ）は２つの小さな矩形領域として設定した場合の説明図である。
【図７】一実施形態に係り、眼の再検出領域の学習方法の説明図である。
【図８】一実施形態に係る眼のパターンマッチングに係り、（ａ）は光環境が安定している場合、（ｂ）（ｃ）は光環境が悪化した場合の説明図である。
【図９】一実施形態に係り、眼の再検出領域の優先順位の決定方法に関する説明図である。
【図１０】一実施形態に係り、度数情報による眼の再検出領域の可変方法に関する説明図である。
【図１１】一実施形態に係り、眼の再検出領域の優先順位の決定方法に関する説明図である。
【図１２】一実施形態に係り、眼の再検出領域を学習するトリガー情報として車両信号を用いた場合の動作を示すフローチャートである。
【符号の説明】
ＣＬ１ 画像出力手段
ＣＬ２ 眼の位置検出手段
ＣＬ３ 眼の追跡手段
ＣＬ４ 眼の再検出領域の学習手段
ＣＬ５ 眼の再検出領域の優先順位決定手段
ＣＬ６ 眼の再検出手段
ＣＬ７ 脇見検出手段
【発明の属する技術分野】
本発明は、車両の運転者、船舶の操船者、プラント等のオペレータ等の脇見状態を検出し警報することなどに供する眼の状態検出装置に関する。
【０００２】
【従来の技術】
従来の画像処理によるこの種の装置には、例えば特開９−４４６８０号に記載されたようなものがある。この装置では、眼の検出領域を設定し、該検出領域内で眼の領域を抽出し、その抽出結果に応じて眼の検出領域の位置、大きさ、数、及び形状の少なくとも１つを変更して設定することで短時間に効率よく眼領域が抽出できるようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、眼が抽出できないときに、検出領域を単に拡大して眼を再検出する構成であるため、ノイズとなるデータが拡大された検出領域内に多数含まれるようになり、眼の検出精度向上に限界があると共に、眼の検出に時間がかかるという問題があった。
【０００４】
また、運転者が横を向いたような場合、眼の追跡限界を超えて脇見状態となるが、仮にその脇見時間が短くすぐに車両前方を見た場合には脇見状態と検出する必要はない。しかし、上記従来の装置を用いて脇見検出を実現しようとすると、運転者が横を向いて眼の追跡限界を超えてからすぐに車両前方を見たとしても、再度眼を検出するまでに時間がかかることで脇見状態の誤検出を起こし、誤警報などの煩わしさを招き易かった。
【０００５】
この発明は、目の検出精度向上と、目の検出時間を短縮することのできる眼の状態検出装置の提供を課題とする。
【０００６】
【課題を解決するための手段】
請求項１の発明は、運転者の顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、前記検出された眼の位置を基準に眼を含む追跡領域を設定し追跡対象である両眼を検出しながら独立に追跡する眼の追跡手段と、前記眼の追跡手段による追跡結果から、運転者の眼の位置が移動したかどうかを判定する第１の判定手段と、前記眼の追跡手段の追跡対象である両眼の画像データを画像処理することで、運転者が前を見ているかどうかを判定する第２の判定手段と、前記第１の判定手段によって、運転者の眼の位置が移動したことが判定され、前記第２の判定手段によって、運転者が前を見ていると判定されたことに応じて、眼の再検出領域を学習する再検出領域の学習手段と、前記眼の再検出領域の学習手段によって学習した眼の再検出領域の切り替え優先順位を決定する再検出領域の優先順位決定手段と、前記決定された優先順位で眼の再検出領域を切り替え、該切り替えた眼の再検出領域内で追跡対象としての眼を再度検出する眼の再検出手段とを備えたことを特徴とする。
【０００７】
請求項２の発明は、請求項１記載の眼の状態検出装置であって、前記眼の再検出領域の学習手段が、両眼を含む矩形領域を前記再検出領域として記憶することで、眼の再検出領域を学習することを特徴とする。
【０００８】
請求項３の発明は、請求項１又は請求項２記載の眼の状態検出装置であって、前記第１の判定手段が、前記眼の追跡手段による追跡結果から、追跡対象である両眼の前記追跡領域の画像上での座標位置が所定値以上移動し、且つ両眼の相対位置関係が保持できている場合に、前記運転者の眼の位置が移動したことを判定し、前記第２の判定手段が、前記眼の追跡手段の追跡対象である両眼の画像データをパターンマッチングした結果に応じて、運転者が前を見ているかどうかを判定することを特徴とする。
【０００９】
請求項４の発明は、請求項２記載の眼の状態検出装置であって、前記眼の再検出領域の学習手段は、運転対象の運転信号の入力に基づいて前記パターンマッチングを行うことを特徴とする。
【００１０】
請求項５の発明は、請求項１記載の眼の状態検出装置であって、前記眼の再検出領域の優先順位決定手段は、前記眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域の代表座標値の接近度合いでグループ化し、各グループ毎に眼の再検出領域を更新設定し、更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に更新設定した眼の再検出領域を切り替えて眼の再検出を行うことを特徴とする。
【００１１】
請求項６の発明は、請求項５記載の眼の状態検出装置であって、前記眼の再検出領域の優先順位決定手段は、前記更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に前記更新設定する眼の検出領域の大きさを可変とすることを特徴とする。
【００１２】
請求項７の発明は、請求項１記載の眼の状態検出装置であって、前記眼の再検出領域の優先順位決定手段は、前記眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域を時系列的に新しいものから古いものへ順次切り替えて眼の再検出を行うことを特徴とする。
【００１３】
請求項８の発明は、請求項５〜７の何れかに記載の眼の状態検出装置であって、前記眼の再検出領域の優先順位決定手段は、運転対象の状態に応じて眼の再検出領域の優先順位の決定方法を変更することを特徴とする。
【００１４】
請求項９の発明は、請求項１〜８の何れかに記載の眼の状態検出装置であって、前記眼の追跡手段と前記眼の再検出手段との少なくとも一方の情報を用いることにより運転者の脇見運転を検出する脇見検出手段を備えたことを特徴とする。
【００１５】
請求項１０の発明は、請求項９記載の眼の状態検出装置であって、前記脇見検出手段は、眼の追跡ができなくなったときから眼の再検出領域において再度眼の検出ができるようになるまでの時間の長さで脇見運転を検出することを特徴とする。
【００１６】
【発明の効果】
請求項１の発明では、顔画像出力手段により運転者の顔を撮像して顔画像データを出力し、眼の位置検出手段より、前記画像出力手段から出力された顔画像データを処理して眼の位置を検出し、眼の追跡手段により、前記検出された眼の位置を基準に眼を含む追跡領域を設定し追跡対象である両眼を検出しながら独立に追跡することができる。
【００１７】
眼の再検出領域の学習手段では、第１の判定手段によって、運転者の眼の位置が移動したことが判定され、第２の判定手段によって、運転者が前を見ていると判定されたことに応じて、眼の再検出領域を複数学習し、再検出領域の優先順位決定手段では、前記眼の再検出領域の学習手段によって学習した複数の眼の再検出領域の優先順位を決定し、眼の再検出手段では、前記決定された優先順位で眼の再検出領域内の追跡対象として再度眼を検出することができる。
【００１８】
従って、運転者が前方を見ているときに両眼が存在する必要最小限の領域を学習することが可能となり、ノイズとなるデータが含まれる可能性が減少し、目の検出精度を向上させることができる。
【００１９】
また、目の再検出領域を切り替える優先順位を決定することで効率的に目の再検出ができ、目の再検出の時間を短縮することができる。従って、顔の大きな動きを伴う脇見状態が発生しても、すぐに前方を向くような場合には直ちに目の再検出ができ、目の誤検出の可能性を抑制することができる。
【００２０】
請求項２の発明では、請求項１記載の発明の効果に加え、眼の再検出領域の学習手段が、両眼を含む矩形領域を再検出領域として記憶することで、眼の再検出領域を学習することができる。
【００２１】
従って、眼の検出精度向上と、眼の誤検出抑制とをより確実に行うことができる。
【００２２】
請求項３の発明は、請求項１又は請求項２記載の発明の効果に加え、第１の判定手段が、眼の追跡手段による追跡結果から、追跡対象である両眼の追跡領域の画像上での座標位置が所定値以上移動し、且つ両眼の相対位置関係が保持できている場合に、運転者の眼の位置が移動したことを判定し、第２の判定手段が、眼の追跡手段の追跡対象である両眼の画像データをパターンマッチングした結果に応じて、運転者が前を見ているかどうかを判定することができる。
【００２３】
従って、眼の検出精度向上と、眼の誤検出抑制とをより確実に行うことができる。
【００２４】
請求項４の発明は、請求項２記載の発明の効果に加え、眼の再検出領域の学習手段は、運転対象の運転信号の入力に基づいてパターンマッチングを行うことができる。
【００２５】
従って、運転者が前方を見ているという条件で確実に目の再検出領域を学習することができ、目の検出精度向上と、目の誤検出抑制とをより確実に行うことができる。
【００２６】
請求項５の発明では、請求項１記載の発明の効果に加え、眼の再検出領域の優先順位決定手段は、前記眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域の代表座標値の接近度合いでグループ化し、各グループ毎に眼の再検出領域を更新設定し、更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に更新設定した眼の再検出領域を切り替えて眼の再検出を行うことができる。
【００２７】
従って、運転者の両眼のある確率の高い順に目の再検出を行うことができ、より確実に短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００２８】
請求項６の発明では、請求項５記載の発明の効果に加え、眼の再検出領域の優先順位決定手段は、前記更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に前記更新設定する眼の検出領域の大きさを可変とすることができる。
【００２９】
従って、運転者が前方を見ているときに両眼が存在する必要最小限の領域を確実に学習することが可能となり、ノイズとなるデータが含まれる可能性が減少し、目の検出精度を確実に向上させることができ、誤検出を確実に抑制することができる。
【００３０】
請求項７の発明では、請求項１記載の発明の効果に加え、眼の再検出領域の優先順位決定手段は、前記眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域を時系列的に新しいものから古いものへ順次切り替えて眼の再検出を行うことができる。
【００３１】
従って、運転者の両眼のある確率の高い順に目の再検出をより確実に行うことができ、短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００３２】
請求項８の発明では、請求項５〜７の何れかに記載の発明の効果に加え、眼の再検出領域の優先順位決定手段は、運転対象の状態に応じて眼の再検出領域の優先順位の決定方法を変更することができる。
【００３３】
従って、運転対象の状態に応じて、運転者の両眼のある確率の高い順に目の再検出を行うことができ、より確実に短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００３４】
請求項９の発明では、請求項１〜８の何れかに記載の発明の効果に加え、脇見検出手段により、眼の追跡手段と前記眼の再検出手段との少なくとも一方の情報を用い運転者の脇見運転を検出することができる。
【００３５】
従って、確実な脇見検出を行うことができる。
【００３６】
請求項１０の発明では、請求項９記載の発明の効果に加え、脇見検出手段は、眼の追跡ができなくなったときから眼の再検出領域において再度眼の検出ができるようになるまでの時間の長さで脇見運転を検出することができる。
【００３７】
従って、目の追跡が困難な顔の大きな動きを伴う脇見状態も検出することができる。
【００３８】
【発明の実施の形態】
本装置は、自動車の他に鉄道車両、船舶、プラントのオペレータ等の居眠り運転警報として用いることができるが、本実施例では運転対象として自動車に適用した場合で説明する。
【００３９】
図１は、本発明を適用した眼の状態検出装置の構成ブロック図にかかり、該装置は、画像出力手段ＣＬ１と、眼の位置検出手段ＣＬ２と、眼の追跡手段ＣＬ３と、眼の再検出領域の学習手段ＣＬ４と、眼の再検出領域の優先順位決定手段ＣＬ５と、眼の再検出手段ＣＬ６と、脇見検出手段ＣＬ７とを備えている。
【００４０】
前記画像出力手段ＣＬ１は、乗員の顔を撮像して顔画像データを出力するものである。前記眼の位置検出手段ＣＬ２は、前記画像出力手段ＣＬ１から出力された顔画像データを処理して眼の位置を検出するものである。
【００４１】
前記眼の追跡手段ＣＬ３は、前記検出された眼の位置を基準に眼を含む追跡領域を設定し追跡対象である両眼を検出しながら独立に追跡するものである。
【００４２】
前記眼の再検出領域の学習手段ＣＬ４は、前記眼の追跡手段ＣＬ３により眼の追跡を行いながら運転者が前を見ているという条件の下に眼の再検出領域を学習するものである。すなわち、眼の再検出領域の学習手段ＣＬ４は、運転者が前を見ている条件として両眼のパターンマッチングが可能となったときに両眼を含む矩形領域を前記再検出領域として記憶する。または、眼の再検出領域の学習手段ＣＬ４は、追跡領域の画像上での座標位置が所定値以上移動し、且つ両眼の間隔が保持できているときに前記パターンマッチングを行う。または、眼の再検出領域の学習手段ＣＬ４は、運転対象の運転信号の入力に基づいて前記パターンマッチングを行う。
【００４３】
前記眼の再検出領域の優先順位決定手段ＣＬ５は、前記眼の再検出領域の学習手段ＣＬ４によって学習した眼の再検出領域の優先順位を決定するものである。すなわち、眼の再検出領域の優先順位決定手段ＣＬ５は、前記眼の再検出領域の学習手段ＣＬ４によって学習した複数個の眼の再検出領域の代表座標値の接近度合いでグループ化し、各グループ毎に眼の再検出領域を更新設定し、更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に更新設定した眼の再検出領域を切り替えて眼の再検出を行う。または、眼の再検出領域の優先順位決定手段ＣＬ５は、前記更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に前記更新設定する眼の検出領域の大きさを可変とする。または、眼の再検出領域の優先順位決定手段ＣＬ５は、前記眼の再検出領域の学習手段ＣＬ４によって学習した複数個の眼の再検出領域を時系列的に新しいものから古いものへ順次切り替えて眼の再検出を行う。または、眼の再検出領域の優先順位決定手段ＣＬ５は、運転対象の状態に応じて眼の再検出領域の優先順位の決定方法を変更する。
【００４４】
前記眼の再検出手段ＣＬ６は、前記決定された優先順位で眼の再検出領域内の追跡対象として再度眼を検出するものである。
【００４５】
前記脇見検出手段ＣＬ７は、前記眼の追跡手段ＣＬ３と前記眼の再検出手段ＣＬ６との少なくとも一方の情報を用いることにより運転者の脇見運転を検出する。また、前記脇見検出手段ＣＬ７は、眼の追跡ができなくなったときから眼の再検出領域において再度眼の検出ができるようになるまでの時間の長さで脇見運転を検出する。
【００４６】
図２は、本発明の一実施形態にかかる構成ブロック図である。
【００４７】
同図のように、ＴＶカメラ２０１が自動車のインストルメントに設置され、運転者の顔部分を正面から撮影する。ＴＶカメラ２０１の入力画像は、本実施形態では、例えば横方向（Ｘ）５１２画素、縦方向（Ｙ）４８０画素からなる。前記ＴＶカメラ１で撮像された入力画像は、Ａ−Ｄ変換器２０２を介して画素毎のアナログ電圧が２５６階調のデジタル値に変換され、入力画像データとして画像メモリ２０３に格納される。画像メモリ２０３の出力は、画像データ演算回路２０４に入力される。
【００４８】
従って、ＴＶカメラ２０１、Ａ−Ｄ変換器２０２、画像メモリ２０３は、本実施形態において前記画像出力手段ＣＬ１を構成している。
【００４９】
前記画像データ演算回路２０４は、後述する眼の位置検出回路２０６と共に前記眼の位置検出手段ＣＬ２を構成し、前記入力された顔画像データから顔の縦方向の画素列に沿って画素の濃度値を読み出し、該濃度値の局所的な高まり毎に１個づつの画素を定めて抽出点とし、隣接した抽出点を連続させて顔の横方向に延びる連続データを抽出して顔の特徴量とし、その出力を眼の位置検出回路２０５に入力する。
【００５０】
前記眼の位置検出回路２０５は、前記眼の位置検出手段ＣＬ２を構成し、前記検出された顔の特徴量から予め記憶された眼の特徴情報に合致する特徴量を抽出して眼の位置を検出する。すなわち、前記検出された顔の特徴量の代表座標値から該特徴量を含んで特定された存在領域内で、前記検出された顔の特徴量の画像上の位置、長さ、形状情報を用いてパターンマッチングにより眼に合致する特徴量を抽出して眼の位置を検出し、その出力は眼の追跡回路２０６に入力される。
【００５１】
前記眼の追跡回路２０６は、前記眼の追跡手段ＣＬ３を構成し、前記眼の位置検出回路２０５において検出された眼の位置を基準に眼を含む追跡領域を設定すると共に、該追跡領域内で顔の特徴量を検出して眼の詳細位置を検出し、両眼を独立に追跡する。
【００５２】
眼の再検出領域学習回路２０７は、前記眼の再検出領域の学習手段ＣＬ４を構成し、前記眼の追跡回路２０６からの信号により、眼の追跡を行いながら運転者が前を見ているという条件の下に眼の再検出領域を学習し、眼の再検出領域の優先順位決定回路２０８へ入力する。眼の再検出領域の優先順位決定回路２０８は、前記眼の再検出領域の優先順位決定手段ＣＬ５を構成し、眼の再検出領域学習回路２０７によって学習した眼の再検出領域の切り替え優先順位を決定し、眼の再検出回路２０９へ入力する。眼の再検出回路２０９は、前記眼の再検出手段ＣＬ６を構成し、前記決定された優先順位で眼の再検出領域を切り替え、該切り替えた眼の再検出領域内で追跡対象として眼を再度検出し、脇見運転検出回路２１０へ入力する。
【００５３】
脇見運転検出回路２１０は、前記脇見検出手段ＣＬ７を構成し、前記眼の追跡回路２０６と眼の再検出回路２０９との少なくとも一方の情報を用いることにより運転者の脇見運転を検出する。
【００５４】
次に、上記構成における動作の流れを、図３のフローチャートに基づいて説明する。まず、ステップＳ３０１において、ＴＶカメラによって顔部分が撮影され、ステップＳ３０２で１フレーム分の入力画像がＡ−Ｄ変換器でデジタル信号に変換されたうえ画像メモリに格納される。
【００５５】
次に、ステップＳ３０３において、眼の追跡ミスフラグがＯＮかどうかをチェックする。初期状態では眼の追跡ミスフラグはＯＦＦであるため、ステップＳ３０４に移行する。ステップＳ３０４では、画像全体からの眼の初期位置の検出がなされているかどうかをチェックする。このステップにおいても初期状態では眼の初期位置は検出できていないため、ステップＳ３０５に移行し、画像全体からの眼の位置検出を行う。その後、ステップＳ３０６に移行して、眼の追跡領域を設定し、眼の初期位置としての眼の再検出領域Ａの設定を行う。
【００５６】
眼の追跡領域の設定方法と、眼の追跡処理方法については、図５を用いて後述し、眼の初期位置としての眼の再検出領域Ａの設定方法について図６を用いて後述する。
【００５７】
ステップＳ３０６で上記の領域Ａの設定後、ステップＳ３０７に移行する。ステップＳ３０７では、眼の追跡が行えているか否かを判定している。普通、眼の追跡領域内に眼の位置が留まる範囲内の眼の動きであれば眼の追跡ができる。眼の追跡が正常に行われている場合は、その座標情報により脇見検出の判定が行える。しかし、一旦眼を見失ってしまうと従来の装置での脇見検出はできなくなってしまう。また、顔の大きな動きを伴う脇見状態を想定すると、眼の追跡に失敗することも多々あると考えるのが自然である。ステップＳ３０７で眼の追跡状態がＯＫである場合は、ステップＳ３０８に移行し、眼の座標位置が所定値以上移動し、且つ両眼の相対位置関係が保持されているか否かを判定する。ステップＳ３０８の条件を満たす場合は、ステップＳ３１２に移行して眼の追跡領域内で検出できるデータが眼のパターン条件を満たすかどうかを判定する。
【００５８】
ステップＳ３０８とＳ３１２での判定は、眼の位置の移動があっても運転者が前方を見ていると考えられる条件を当てはめたもので、この２つの条件に合う場合は、眼の位置の移動があっても運転者は車両前方を見ている確率が高いといえる。ステップＳ３０８とＳ３１２での判定方法については、図７、図８を用いて後述する。
【００５９】
ステップＳ３０８またはＳ３１２で、諸条件を満たさないと判定された時は、ステップＳ３０９に移行して眼の追跡領域を更新してステップＳ３０１に戻り次の画像データの取り込みを行う。このループを回る処理は、眼の追跡が正常に行われている場合のもので、眼の追跡に失敗しなければ眼の位置の移動状態による脇見検出を行うことができる。このステップＳ３０９の追跡領域の更新処理の内容は、後述の図５で説明するものと同様である。
【００６０】
ステップＳ３０８とステップＳ３１２で、諸条件を満たしたと判定された時は、ステップＳ３１３に移行する。ステップＳ３１３では、眼を見失った時に用いる眼の再検出領域を学習する。この考え方は、ステップＳ３０６の眼の初期位置での眼の再検出領域Ａの設定方法と同じで有り後述する。その後、ステップＳ３１４に移行して眼の再検出領域の優先順位の決定更新を行う。眼の再検出領域の優先順位の決定更新方法は、図９〜図１１を用いて後述する。
【００６１】
このように眼の再検出領域の学習、優先順位を決定、更新を行いながらの眼の追跡を続ける中で、眼を見失った場合は、図３のステップＳ３０７で、そのことを認識しステップＳ３１０に移行する。ステップＳ３１０では、脇見判定タイマーをスタートさせ、ステップＳ３１１で眼の追跡ミスフラグをＯＮにする。その後、図４のステップＳ４０１に移行し、眼の再検出領域が所定箇所設定できているかどうかをチェックする。このステップでは、運転者が前方を見ていて、且つ眼が存在する領域がある程度、学習できたかどうかを判定しており、初期段階で眼を見失った場合は、ステップＳ４１０に移行して、眼の初期位置の設定を解除して、脇見判定タイマーをストップ、リセットさせ、眼の追跡ミスフラグをＯＦＦにする。その後、ステップＳ３０１に戻り、また、初期状態からの眼の位置検出と、眼の再検出領域の設定を行う。
【００６２】
このループの処理は、異常状態のバックアップとして用意しているもので、眼の再検出領域の所定箇所の設定は、眼の追跡を行いながらする処理であるため、長い時間がかかるということはなく、通常状態ではステップＳ４０２に移行する。ステップＳ４０２からステップＳ４０７の処理は、３つの眼の再検出領域での眼の再検出を行っている例である。ステップＳ４０２，Ｓ４０４，Ｓ４０６の眼の再検出領域の設定は、図４のステップＳ３１３とＳ３１４において行われ、その順序も随時変更される。
【００６３】
ステップＳ４０３，Ｓ４０５，Ｓ４０７は、各々の同領域内において眼の再検出を行っており、眼の再検出ができた場合は、ステップＳ４１１に移行し、脇見判定タイマーをストップ、リセットして、眼の追跡ミスフラグをＯＦＦにする。その後、ステップＳ４１２で同領域内で検出できた眼のデータを基準に眼の追跡領域を設定し、眼の追跡を開始する。
【００６４】
また、ステップＳ４０３，Ｓ４０５，Ｓ４０７のどの領域においても、眼の再検出ができない場合は、ステップＳ４０８に移行し、脇見運転タイマーが所定時間を越えたかどうかを判定する。脇見許容時間を越えていない場合は、ステップＳ３０１に戻り、次の画像データでの眼の再検出に移る。このループの判定中にステップＳ４０８で脇見許容時間を越えたと判定された場合は、ステップＳ４０９に移行して脇見状態が発生していると判断する。このように運転者が前方を見ていると考えられる時に眼が存在する領域を、効率的に検索できる構成としたため、ステップＳ４０８で脇見許容時間を越える状態が発生した場合は、運転者が脇見をしている状態である確率は高く、眼の追跡に失敗するような場面があったとしても精度高い脇見検出が可能となる。
【００６５】
ここで、前記ステップＳ３０６における眼の追跡領域の設定方法と、眼の追跡処理方法について図５を用いて説明する。図５（ａ）のように、画像全体から検出した眼の位置が中央になるようにして眼の追跡領域Ｗ１の基準点を左上に設定する。図５の（ｂ）は、次の画像データを取り込んだ状態を示すものである。前の画像データで設定した眼の追跡領域Ｗ１に対し、次の画像データでの眼の位置は、顔の動きなどで必ずしも該領域の中央にこない。この時、次の画像データでは、この眼の追跡領域内で検出された眼の位置が中央になるようにして、（ａ）の場合と同様に眼の追跡領域Ｗ２の基準点を左上に設定する。このようにして眼の追跡領域内に眼が検出できる場合は、順次、基準点の座標を更新しながら眼の追跡を続ける。
【００６６】
つぎに、前記ステップＳ３０６における、眼の初期位置としての眼の再検出領域Ａの設定について図６を用いて説明する。眼の再検索は、眼の追跡に失敗し眼を見失ってしまった時に、運転者が車両前方を見ている場合に両眼が存在する可能性が高い領域として設定する。図６の（ａ）は初期状態での眼の検出位置に基づき、両眼が入る横長の１つの矩形領域として設定した例を示す。図６の（ｂ）は、左右の眼の領域を独立させて２つの小さな矩形領域として設定した例を示す。
【００６７】
前記ステップＳ３１３では、前記のように眼を見失った時に用いる眼の再検出領域を学習するが、この考え方は、前記ステップＳ３０６の眼の初期位置での眼の再検出領域Ａの設定方法と同じで、図７のように両眼が所定値以上移動しても、運転者が車両前方を見ている状態であることを判定した上で、図６に示すように、その位置を眼の再検出領域Ｂとして学習する。この眼の再検出領域の学習は、眼の位置の移動がある毎に繰り返されるので、眼の再検出領域はＢ以降、Ｃ，Ｄ，…と学習していく。
【００６８】
前記テップＳ３０８、Ｓ３１２での判定方法については、図７、図８を用いて説明する。ステップＳ３０８で、図７に示すように、数フレームでの眼の追跡状態をモニタすることによって、所定値以上の眼の座標位置の移動が認識され、且つ両眼の左右間隔Ｄ１が保持されていると判定された場合に、前記のようにステップＳ３１２に移行して、追跡対象であるデータに対し、眼のパターンマッチングを行う。眼のパターンマッチングは、図８に示すような２値化した形状で行っており、普通、光環境が良く安定した画像であれば図８の（ａ）に示すようなものになる。しかし、光環境が悪化した時は、図８の（ｂ）や（ｃ）のような形状になることもあるので、眼のパターンは、横幅が眼の幅の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることの条件▲１▼と、黒眼の左側の凹み形状条件の▲２▼と、黒目の右側の凹み形状条件の▲３▼を組み合わせることにより設定し、図８の（ｂ），（ｃ）の例を許容するために▲１▼と▲２▼、または▲１▼と▲３▼の条件を満たすものであってもＯＫとする。
【００６９】
前記ステップＳ３１４の眼の再検出領域の優先順位の決定更新方法は、図９〜図１１のようになる。
【００７０】
図９は、眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域の代表座標値の接近度合いでグループ化を行い、各グループ毎に眼の再検出領域を更新設定し、その度数が多い順に更新した眼の再検出領域を切り替えて眼の再検出を行う方法を説明したものである。図６に示す眼の再検出領域の１つまたは２つの代表座標値を基準に、図９に示すように代表座標値の度数カウント領域を設定する。本例は眼の再検出領域を１つとした場合である。
【００７１】
つぎに、この代表座標値の接近度合いでの該データのグルーピング方法と、各グループ毎の眼の再検出領域の更新設定方法を説明する。図９の（１）〜（１２）の数字は、眼の再検出領域の代表座標値が設定されていった順序を示すものである。
【００７２】
まず、始めに（１）の眼の再検出領域の代表座標値を基準に度数カウント領域を設定すると共に、今後、設定される眼の再検出領域の代表座標値が該度数カウント領域に含まれた場合の更新対象としての眼の再検出領域も設定する。つぎに（２）の眼の再検出領域の代表座標値が設定された場合、（１）の度数カウント領域内に含まれるため、（２）の該領域を（１）の該領域に更新して、（１）の該領域の度数をカウントアップする。つぎに（３）の眼の再検出領域の代表座標値が設定された場合、（３）の座標位置は（１）の度数カウント領域内に含まれないため、新たに動領域を新たな更新対象としての眼の再検出領域を設定する。このようにして眼の再検出領域の代表座標値が設定される毎に、既に設定されている度数カウント領域に含まれるか否かを判定しながら、各更新対象としての眼の再検出領域を設定し、その領域の度数をカウントアップする。この時（６）のように２つ以上の度数カウント領域に含まれる代表座標値があった場合は、両方の眼の再検出領域の度数をカウントアップする。
【００７３】
図９の例に示すように（１２）までの代表座標値が設定された場合、（１）の該領域の度数が５つ、（３）と（７）の該領域の度数が３つ、（８）と（１２）の該領域の度数が１つとなる。
【００７４】
よって、図３のフローチャートのステップＳ３１４での眼の再検出領域の優先順位の決定、更新方法は、このカウントアップされる各領域の度数の多さによって決定する。また、その度数が同じ値になった場合は、決定した順序が後の方を優先させるなどの条件付けがなされている。
【００７５】
このようにして、顔を撮像して顔画像データを出力し、顔画像データを処理して眼の位置を検出し、検出された眼の位置を基準に眼を含む追跡領域を設定し追跡対象である両眼を検出しながら独立に追跡し、眼の追跡を行いながら運転者が前を見ているという条件の下に眼の再検出領域を複数学習し、学習した複数の眼の再検出領域の切り替え優先順位を決定し、眼の再検出手段では、前記決定された優先順位で眼の再検出領域を切り替え、該切り替えた眼の再検出領域内で追跡対象として眼を再度検出することができる。
【００７６】
従って、運転者が前方を見ているときに両眼が存在する必要最小限の領域を学習することが可能となり、ノイズとなるデータが含まれる可能性が減少し、目の検出精度を向上させることができる。
【００７７】
また、目の再検出領域を切り替える優先順位を決定することで効率的に目の再検出ができ、目の再検出の時間を短縮することができる。従って、顔の大きな動きを伴う脇見状態が発生しても、すぐに前方を向くような場合には直ちに目の再検出ができ、目の誤検出の可能性を抑制することができる。
【００７８】
運転者が前を見ている条件として両眼のパターンマッチングが可能となったとき、すなわち、追跡領域の画像上での座標位置が所定値以上移動し、且つ両眼の間隔が保持できているときにパターンマッチングを行うことができるとして両眼を含む矩形領域を再検出領域として記憶することができる。このため、運転者が前方を見ているという条件で確実に目の再検出領域を学習することができ、目の検出精度向上と、目の誤検出抑制とをより確実に行うことができる。
【００７９】
さらに、学習した複数個の眼の再検出領域の代表座標値の接近度合いでグループ化し、各グループ毎に眼の再検出領域を更新設定し、更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に更新設定した眼の再検出領域を切り替えて眼の再検出を行うため、運転者の両眼のある確率の高い順に目の再検出を行うことができ、より確実に短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００８０】
また、眼の追跡ができなくなったときから眼の再検出領域において再度眼の検出ができるようになるまでの時間の長さで脇見運転を検出することができ、目の追跡が困難な顔の大きな動きを伴う脇見状態も検出することができる。
【００８１】
図１０は、更新対象としての眼の再検出領域の大きさを、度数カウントの多さに応じて可変させる方法について説明したものである。図１０の（５），（３），（１）は該領域の度数を示したものである。各眼の再検出領域は、その度数が少ない時は大きめに設定し、度数が増えてくるに従い該領域を更新して縮小していく。よって、図１０の例では、眼の再検出領域が、度数１＞度数３＞度数５の関係になるようにしている。
【００８２】
このように、更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順から前記更新設定する眼の検出領域の大きさを次第に大きくするように可変とするため、運転者が前方を見ているときに両眼が存在する必要最小限の領域を確実に学習することが可能となり、ノイズとなるデータが含まれる可能性が減少し、目の検出精度を確実に向上させることができる。
【００８３】
図１１は、眼の再検出領域の優先順位決定手段において、眼の再検出領域の学習手段によって学習した眼の再検出領域を時系列的に新しいものから、古いものに順次切り替えて眼の再検出を行う方法について説明したものである。図１１の（ａ）の（１）〜（５）の数字は、眼の再検出領域の代表座標値が設定されていった順序を示すものである。本例では、度数の代わりに時系列の眼があった位置の情報を用いることを目的としており、眼の再検索を行う領域を新しく設定された（５）から順に（４），（３），…と切り替えていく。また、時系列的にどこまでの情報を参考にするかは、予め決めておき、例えば５領域とした場合は、図１１の（ｂ）に示すように（１）の領域をカットとして（６）から（２）を眼の検索対象とする。
【００８４】
このように時系列的に切り替えた場合も、運転者の両眼のある確率の高い順に目の再検出をより確実に行うことができ、短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００８５】
なお、眼の再検出領域の数は、脇見検出に対する許容時間を可変させるのに関連して変更することも有効であると考える。例えば、車速が高い場合や、先行車との車間距離が短い場合は、運転者の眼の位置が存在する領域は、狭まってくることから対象とする眼の検索領域の数も少なくすることが望ましい。すなわち、自動車の車速状態等に応じて、運転者の両眼のある確率の高い順に目の再検出を行うことができ、より確実に短時間で目の再検出を行うことができ、誤検出を抑制することができる。
【００８６】
最後に、眼の再検出領域の学習のトリガーが、車速、蛇角、スロットル開度、ブレーキなど、運転対象である自動車の運転状態が推定できる運転信号（車両信号）とした場合の例を、図１２を用いて説明する。図１２のフローチャートは、ステップＳ１２０８以外は、図３のフローチャートと同じものである。ステップＳ１２０８は、運転者が前を見ていると推定できる状態を、運転信号によって判断する処理を行っている。その例としては、運転者がブレーキを踏んだ時は、車両前方を見ている確率が高いといえることや、ハンドルが切られていない状態で、加速している時は、運転者が前方を見ている確率が高いということに基づいている。そして、車両信号の入力があったときには、ステップＳ１２１２へ移行することになる。
【００８７】
このようにして、運転対象の運転信号の入力に基づいてパターンマッチングを行うことができ、運転者が前方を見ているという条件で確実に目の再検出領域を学習することができ、目の検出精度向上と、目の誤検出抑制とをより確実に行うことができる。
【００８８】
なお、本発明の内容にある眼の位置検出方法は、「特開平１０−４０３６１号」、「特開平１０−１４３６６９号」等にも記載されている方法を用いることが出来るのはもちろんである。
【図面の簡単な説明】
【図１】本発明の眼の状態検出装置の構成ブロック図である。
【図２】本発明の一実施形態に係る眼の状態検出装置のブロック図である。
【図３】一実施形態に係り、脇見運転検出の全体動作を示すフローチャートである。
【図４】一実施形態に係り、脇見運転検出の全体動作を示すフローチャートである。
【図５】一実施形態の眼の追跡領域の設定方法、眼の追跡方法に係り、（ａ）は眼の追跡領域及び基準点を示し、（ｂ）は次のデータを取り込んだ状態を示す説明図である。
【図６】一実施形態に係る眼の再検出領域の設定方法に係り、（ａ）は１つの横長の矩形領域として設定した場合、（ｂ）は２つの小さな矩形領域として設定した場合の説明図である。
【図７】一実施形態に係り、眼の再検出領域の学習方法の説明図である。
【図８】一実施形態に係る眼のパターンマッチングに係り、（ａ）は光環境が安定している場合、（ｂ）（ｃ）は光環境が悪化した場合の説明図である。
【図９】一実施形態に係り、眼の再検出領域の優先順位の決定方法に関する説明図である。
【図１０】一実施形態に係り、度数情報による眼の再検出領域の可変方法に関する説明図である。
【図１１】一実施形態に係り、眼の再検出領域の優先順位の決定方法に関する説明図である。
【図１２】一実施形態に係り、眼の再検出領域を学習するトリガー情報として車両信号を用いた場合の動作を示すフローチャートである。
【符号の説明】
ＣＬ１ 画像出力手段
ＣＬ２ 眼の位置検出手段
ＣＬ３ 眼の追跡手段
ＣＬ４ 眼の再検出領域の学習手段
ＣＬ５ 眼の再検出領域の優先順位決定手段
ＣＬ６ 眼の再検出手段
ＣＬ７ 脇見検出手段
Claims (10)
- 運転者の顔を撮像して顔画像データを出力する画像出力手段と、
該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、
前記検出された眼の位置を基準に眼を含む追跡領域を設定し追跡対象である両眼を検出しながら独立に追跡する眼の追跡手段と、
前記眼の追跡手段による追跡結果から、運転者の眼の位置が移動したかどうかを判定する第１の判定手段と、
前記眼の追跡手段の追跡対象である両眼の画像データを画像処理することで、運転者が前を見ているかどうかを判定する第２の判定手段と、
前記第１の判定手段によって、運転者の眼の位置が移動したことが判定され、前記第２の判定手段によって、運転者が前を見ていると判定されたことに応じて、眼の再検出領域を学習する再検出領域の学習手段と、
前記眼の再検出領域の学習手段によって学習した眼の再検出領域の切り替え優先順位を決定する再検出領域の優先順位決定手段と、
前記決定された優先順位で眼の再検出領域を切り替え、該切り替えた眼の再検出領域内で追跡対象としての眼を再度検出する眼の再検出手段とを備えたことを特徴とする眼の状態検出装置。 - 請求項１記載の眼の状態検出装置であって、
前記眼の再検出領域の学習手段は、両眼を含む矩形領域を前記再検出領域として記憶することで、眼の再検出領域を学習することを特徴とする眼の状態検出装置。 - 請求項１又は請求項２記載の眼の状態検出装置であって、
前記第１の判定手段は、前記眼の追跡手段による追跡結果から、追跡対象である両眼の前記追跡領域の画像上での座標位置が所定値以上移動し、且つ両眼の相対位置関係が保持できている場合に、前記運転者の眼の位置が移動したことを判定し、
前記第２の判定手段は、前記眼の追跡手段の追跡対象である両眼の画像データをパターンマッチングした結果に応じて、運転者が前を見ているかどうかを判定することを特徴とする眼の状態検出装置。 - 請求項２記載の眼の状態検出装置であって、
前記眼の再検出領域の学習手段は、運転対象の運転信号の入力に基づいて前記パターンマッチングを行うことを特徴とする眼の状態検出装置。 - 請求項１記載の眼の状態検出装置であって、
前記眼の再検出領域の優先順位決定手段は、前記眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域の代表座標値の接近度合いでグループ化し、各グループ毎に眼の再検出領域を更新設定し、更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に更新設定した眼の再検出領域を切り替えて眼の再検出を行うことを特徴とする眼の状態検出装置。 - 請求項５記載の眼の状態検出装置であって、
前記眼の再検出領域の優先順位決定手段は、前記更新設定した眼の再検出領域内に含まれる代表座標値の度数が多い順に前記更新設定する眼の検出領域の大きさを可変とすることを特徴とする眼の状態検出装置。 - 請求項１記載の眼の状態検出装置であって、
前記眼の再検出領域の優先順位決定手段は、前記眼の再検出領域の学習手段によって学習した複数個の眼の再検出領域を時系列的に新しいものから古いものへ順次切り替えて眼の再検出を行うことを特徴とする眼の状態検出装置。 - 請求項５〜７の何れかに記載の眼の状態検出装置であって、
前記眼の再検出領域の優先順位決定手段は、運転対象の状態に応じて眼の再検出領域の優先順位の決定方法を変更することを特徴とする眼の状態検出装置。 - 請求項１〜８の何れかに記載の眼の状態検出装置であって、
前記眼の追跡手段と前記眼の再検出手段との少なくとも一方の情報を用いることにより運転者の脇見運転を検出する脇見検出手段を備えたことを特徴とする眼の状態検出装置。 - 請求項９記載の眼の状態検出装置であって、
前記脇見検出手段は、眼の追跡ができなくなったときから眼の再検出領域において再度眼の検出ができるようになるまでの時間の長さで脇見運転を検出することを特徴とする眼の状態検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000191365A JP3812298B2 (ja) | 2000-06-26 | 2000-06-26 | 眼の状態検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000191365A JP3812298B2 (ja) | 2000-06-26 | 2000-06-26 | 眼の状態検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002008020A JP2002008020A (ja) | 2002-01-11 |
| JP3812298B2 true JP3812298B2 (ja) | 2006-08-23 |
Family
ID=18690675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000191365A Expired - Fee Related JP3812298B2 (ja) | 2000-06-26 | 2000-06-26 | 眼の状態検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3812298B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3861600B2 (ja) * | 2001-01-29 | 2006-12-20 | 日産自動車株式会社 | 脇見運転および居眠り運転警報装置 |
| US7206435B2 (en) | 2002-03-26 | 2007-04-17 | Honda Giken Kogyo Kabushiki Kaisha | Real-time eye detection and tracking under various light conditions |
| JP4052081B2 (ja) * | 2002-10-10 | 2008-02-27 | 日産自動車株式会社 | 視線方向検出装置 |
| JP4192643B2 (ja) * | 2003-03-20 | 2008-12-10 | アイシン精機株式会社 | 車両運転者の視線検出装置 |
| JP4696571B2 (ja) * | 2005-01-27 | 2011-06-08 | 日産自動車株式会社 | 眼位置検出装置 |
| JP5270319B2 (ja) * | 2008-11-28 | 2013-08-21 | トヨタ自動車株式会社 | 画像監視装置 |
| JP2012084967A (ja) | 2010-10-07 | 2012-04-26 | Hyundai Motor Co Ltd | 運転者状態検知カメラ |
| JP6023654B2 (ja) | 2013-05-15 | 2016-11-09 | 本田技研工業株式会社 | 運転支援装置および運転支援方法 |
| CN104013414B (zh) * | 2014-04-30 | 2015-12-30 | 深圳佑驾创新科技有限公司 | 一种基于移动智能手机的驾驶员疲劳检测系统 |
| JP6947099B2 (ja) | 2018-03-27 | 2021-10-13 | 日本電気株式会社 | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム |
-
2000
- 2000-06-26 JP JP2000191365A patent/JP3812298B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002008020A (ja) | 2002-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7969470B2 (en) | Moving object detection apparatus, method and program | |
| CN110412516B (zh) | 毫米波雷达对静止物体和缓慢变化物体的检测方法和装置 | |
| JP3812298B2 (ja) | 眼の状態検出装置 | |
| JPH09322155A (ja) | 映像監視方法及び装置 | |
| JP2003067752A (ja) | 車両周辺監視装置 | |
| JPH0696397A (ja) | 画像追尾装置および画像追尾方法 | |
| JP2002074339A (ja) | 車載撮像装置 | |
| JP3814779B2 (ja) | 侵入者自動追尾方法および装置並びに画像処理装置 | |
| JPH04313199A (ja) | 車間距離検出装置 | |
| JP3388087B2 (ja) | 物体検出装置 | |
| CN110088807A (zh) | 分隔线识别装置 | |
| JP2003281700A (ja) | 割り込み車両検出装置及びその方法 | |
| JP2003028635A (ja) | 画像測距装置 | |
| JPH11296660A (ja) | 道路白線検出装置 | |
| JPH11345392A (ja) | 障害物検出装置及び障害物検出方法 | |
| JP2007172504A (ja) | 付着物検出装置及び付着物検出方法 | |
| JPH1040361A (ja) | 居眠り状態検出装置 | |
| JP2000142164A (ja) | 眼の状態検出装置及び居眠り運転警報装置 | |
| JP3942289B2 (ja) | 車両監視装置 | |
| JPH10143669A (ja) | 居眠り状態検出装置 | |
| JP2007233487A (ja) | 歩行者検出方法、装置、およびプログラム | |
| JPH0757200A (ja) | 走路認識装置および走路認識方法 | |
| JP3858534B2 (ja) | 眼の状態検出装置 | |
| JPH07239998A (ja) | 車両用周辺監視装置 | |
| JP2931709B2 (ja) | 走行車両検知装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060522 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |