JP2541688B2 - 眼位置検出装置 - Google Patents
眼位置検出装置Info
- Publication number
- JP2541688B2 JP2541688B2 JP12927490A JP12927490A JP2541688B2 JP 2541688 B2 JP2541688 B2 JP 2541688B2 JP 12927490 A JP12927490 A JP 12927490A JP 12927490 A JP12927490 A JP 12927490A JP 2541688 B2 JP2541688 B2 JP 2541688B2
- Authority
- JP
- Japan
- Prior art keywords
- black
- eye
- detecting
- area
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Surgery (AREA)
- Business, Economics & Management (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Emergency Management (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Emergency Alarm Devices (AREA)
- Geophysics And Detection Of Objects (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明は、運転者の眼の位置を検出する眼位置検出
装置に関する。
装置に関する。
（従来の技術） 従来の車両運転者等の眼位置検出装置としては、例え
ば特開昭62−247410号公報に記載されたようなものがあ
る。これは車両運転者の眼の状態変化や口の発生形状を
認識することにより電気装置の付勢制御を行う装置とし
て提案されている。
ば特開昭62−247410号公報に記載されたようなものがあ
る。これは車両運転者の眼の状態変化や口の発生形状を
認識することにより電気装置の付勢制御を行う装置とし
て提案されている。
また、他の従来例として、例えば特開昭60−158303号
公報、特開昭60−158304号公報、特開昭61−77705号公
報および特開昭61−77706号公報に記載されたようなも
のがある。これらは車両運転者の眼の位置を認識する装
置であり、運転者の顔部分を撮影して２枚の画像として
入力し、この画像の明領域の中にある独立した明領域を
特異的として抽出し、その特異点を眼として認識する構
成となっており、運転者の居眠りや、わき見の検出に利
用可能であるとしている。
公報、特開昭60−158304号公報、特開昭61−77705号公
報および特開昭61−77706号公報に記載されたようなも
のがある。これらは車両運転者の眼の位置を認識する装
置であり、運転者の顔部分を撮影して２枚の画像として
入力し、この画像の明領域の中にある独立した明領域を
特異的として抽出し、その特異点を眼として認識する構
成となっており、運転者の居眠りや、わき見の検出に利
用可能であるとしている。
（発明が解決しようとする課題） しかしながら、このような従来の車両運転者の眼位置
検出装置では、撮影画像には影ができ、眼の部分が独立
した暗領域にならない場合も多い。特に、眼鏡をかけて
いる場合、髪の毛が額を覆っている場合などは眼の部分
が独立した暗領域とはならない。このため、眼の位置が
検出できなかったり、眉毛や眼鏡のフレームなどを眼と
して誤認識してしまうという問題があった。
検出装置では、撮影画像には影ができ、眼の部分が独立
した暗領域にならない場合も多い。特に、眼鏡をかけて
いる場合、髪の毛が額を覆っている場合などは眼の部分
が独立した暗領域とはならない。このため、眼の位置が
検出できなかったり、眉毛や眼鏡のフレームなどを眼と
して誤認識してしまうという問題があった。
そこでこの発明は、車両運転者等の眼の位置の検出性
度をより向上することができる運転者の眼位置検出装置
の提供を目的とする。
度をより向上することができる運転者の眼位置検出装置
の提供を目的とする。
［発明の構成］ （課題を解決するための手段） 上記課題を解決するためにこの発明は、第１図のよう
に、眼を含む顔画像を入力する画像入力手段CL1と、前
記画像入力手段CL1から送出されている入力画像を２値
化する２値化手段CL2と、前記２値化手段CL2による２値
化画像において顔の幅を検出する顔幅検出手段CL3と、
前記顔幅検出手段CL3により検出された顔幅から眼の存
在領域の横方向を決定する眼球の左右領域決定手段CL4
と、決定された眼の横方向の存在領域で縦方向の下から
黒領域を検出する黒領域検出手段CL5と、検出された黒
領域の下端点を検出する下端点検出手段CL6と、検出さ
れた下端点を基準にして眼の存在領域の縦方向の位置を
決定する眼球の縦領域決定手段CL7とを備える構成とし
た。
に、眼を含む顔画像を入力する画像入力手段CL1と、前
記画像入力手段CL1から送出されている入力画像を２値
化する２値化手段CL2と、前記２値化手段CL2による２値
化画像において顔の幅を検出する顔幅検出手段CL3と、
前記顔幅検出手段CL3により検出された顔幅から眼の存
在領域の横方向を決定する眼球の左右領域決定手段CL4
と、決定された眼の横方向の存在領域で縦方向の下から
黒領域を検出する黒領域検出手段CL5と、検出された黒
領域の下端点を検出する下端点検出手段CL6と、検出さ
れた下端点を基準にして眼の存在領域の縦方向の位置を
決定する眼球の縦領域決定手段CL7とを備える構成とし
た。
（作用） 上記構成によれば、顔幅検出手段CL3により検出され
る顔幅から眼の存在領域の横方向の幅が決定され、黒領
域検出手段CL5により前記横方向の存在領域で縦方向の
下から黒領域を検出する。検出された黒領域の下端点を
下端点検出手段CL6が検出し、この下端点を基準にし
て、縦領域決定手段CL7が眼の存在領域の縦方向の幅を
設定する。
る顔幅から眼の存在領域の横方向の幅が決定され、黒領
域検出手段CL5により前記横方向の存在領域で縦方向の
下から黒領域を検出する。検出された黒領域の下端点を
下端点検出手段CL6が検出し、この下端点を基準にし
て、縦領域決定手段CL7が眼の存在領域の縦方向の幅を
設定する。
（実施例） 以下、この発明の実施例を図面に基づいて説明する。
第２図はこの発明の一実施例に係る眼の位置検出装置
の構成図、第３図は第２図の構成に基づくフローチャー
トを示すものである。
の構成図、第３図は第２図の構成に基づくフローチャー
トを示すものである。
第２図に示すように、この眼位置検出装置は自動車に
適用したもので、インストルメントパネル（図示せず）
内の運転者に対する正面方向に、運転者の顔部分を照射
する赤外ストロボ１と、この赤外ストロボ１の赤外光で
照射される顔部分を撮影する画像入力手段CL1としてのT
Vカメラ３と、前記赤外ストロボ１の発光とTVカメラ３
の画像入力とのタイミグを合せるタイミング指令回路５
とを備えている。そして、赤外ストロボ１にタイミング
指令回路５からストロボ発光指令が出力されると、赤外
ストロボ１が発光して運転者の顔部分を照射し、これと
同時にTVカメラ３に対し画像入力指令が出力され、赤外
光で照射された顔部分を撮像するようになっている。
適用したもので、インストルメントパネル（図示せず）
内の運転者に対する正面方向に、運転者の顔部分を照射
する赤外ストロボ１と、この赤外ストロボ１の赤外光で
照射される顔部分を撮影する画像入力手段CL1としてのT
Vカメラ３と、前記赤外ストロボ１の発光とTVカメラ３
の画像入力とのタイミグを合せるタイミング指令回路５
とを備えている。そして、赤外ストロボ１にタイミング
指令回路５からストロボ発光指令が出力されると、赤外
ストロボ１が発光して運転者の顔部分を照射し、これと
同時にTVカメラ３に対し画像入力指令が出力され、赤外
光で照射された顔部分を撮像するようになっている。
TVカメラ３の入力画像はこの実施例では第６図に示す
ように、横（Ｘ）方向520画素、縦（Ｙ）方向500画素か
らなり、縦方向に顔部分がほぼいっぱいになるように画
角が調整されている。
ように、横（Ｘ）方向520画素、縦（Ｙ）方向500画素か
らなり、縦方向に顔部分がほぼいっぱいになるように画
角が調整されている。
TVカメラ３には、撮影した入力画像をデジタル量に変
換するA/D変換器７を介して画像メモリ９が接続されて
いる。この画像メモリ９はTVカメラ３の入力画像データ
を入力するものである。
換するA/D変換器７を介して画像メモリ９が接続されて
いる。この画像メモリ９はTVカメラ３の入力画像データ
を入力するものである。
画像メモリ９には、該画像メモリ９に格納された入力
画像データに基づいて眼球の存在位置領域を規定する眼
球存在位置規定回路11が接続され、さらに、眼球存在位
置規定回路11で規定された領域内にある画像メモリ９の
画像データを処理して眼の虹彩部分を検出する虹彩検出
回路13が接続されている。
画像データに基づいて眼球の存在位置領域を規定する眼
球存在位置規定回路11が接続され、さらに、眼球存在位
置規定回路11で規定された領域内にある画像メモリ９の
画像データを処理して眼の虹彩部分を検出する虹彩検出
回路13が接続されている。
また、虹彩検出回路13には、該虹彩検出回路13での虹
彩検出結果から運転者の居眠りやわき見等を有無を判定
する居眠りわき見等の有無を判定する居眠りわき見判定
回路15が接続されている。
彩検出結果から運転者の居眠りやわき見等を有無を判定
する居眠りわき見等の有無を判定する居眠りわき見判定
回路15が接続されている。
前記眼球存在位置規定回路11は、入力画像をあるしき
い値で２値化する２値化手段CL2と、２値化画像におい
て顔の幅を検出する顔幅検出手段CL3と、顔の幅から左
右の眼の存在領域の横方向の位置を決定する眼球の左右
領域決定手段CL4と、決定された眼の横方向の存在領域
で縦方向の下から黒領域を検出する黒領域検出手段CL5
と、検出された黒領域の下端点を検出する下端点検出手
段CL6と、検出された下端点を基準にして、眼の存在領
域の縦方向の位置を決定する眼球の縦領域決定手段CL7
とを構成するものである。
い値で２値化する２値化手段CL2と、２値化画像におい
て顔の幅を検出する顔幅検出手段CL3と、顔の幅から左
右の眼の存在領域の横方向の位置を決定する眼球の左右
領域決定手段CL4と、決定された眼の横方向の存在領域
で縦方向の下から黒領域を検出する黒領域検出手段CL5
と、検出された黒領域の下端点を検出する下端点検出手
段CL6と、検出された下端点を基準にして、眼の存在領
域の縦方向の位置を決定する眼球の縦領域決定手段CL7
とを構成するものである。
つぎに、第３図のフローチャートに基づいて全体の作
用を説明する。
用を説明する。
まず、ステップS1で赤外線ストロボ１の発光と同期し
てTVカメラ３によって運転者の顔部分を撮影し、この画
像をA/D変換回路７でデジタル信号に変換して画像メモ
リ９に格納する（ステップS2）。
てTVカメラ３によって運転者の顔部分を撮影し、この画
像をA/D変換回路７でデジタル信号に変換して画像メモ
リ９に格納する（ステップS2）。
つぎにステップS3で画像メモリ９に格納された入力画
像データを眼球存在位置規定回路11に取り込み、あるし
きい値で２値化する。これは、顔部分の明暗をはっきり
させるためであり、２値化しきい値は眼球を抽出できる
レベルに設定されている。
像データを眼球存在位置規定回路11に取り込み、あるし
きい値で２値化する。これは、顔部分の明暗をはっきり
させるためであり、２値化しきい値は眼球を抽出できる
レベルに設定されている。
すなわち、ビデオ信号を256階調（０〜255）のデジタ
ルデータに変換し、白い部分を“255"、黒い部分を“0"
とし、あるスレッシュホールドレベルで２値化して２値
化画像Ｊ（x,y）を得たものである。
ルデータに変換し、白い部分を“255"、黒い部分を“0"
とし、あるスレッシュホールドレベルで２値化して２値
化画像Ｊ（x,y）を得たものである。
つぎに、ステップS4およびステップS6において左右そ
れぞれの眼球の存在領域（ウインドウ、第６図の点線で
示す四角部分）の横方向（Ｘ方向）の幅を決定し、さら
にステップS5およびステップS7において、左右それぞれ
の眼球のウィンドウの縦方向（Ｙ方向）の幅を決定す
る。この処理の詳細は第４図および第５図に示すフロー
チャートにより後述する。
れぞれの眼球の存在領域（ウインドウ、第６図の点線で
示す四角部分）の横方向（Ｘ方向）の幅を決定し、さら
にステップS5およびステップS7において、左右それぞれ
の眼球のウィンドウの縦方向（Ｙ方向）の幅を決定す
る。この処理の詳細は第４図および第５図に示すフロー
チャートにより後述する。
つぎに、左右それぞれの眼球のウインドウが決定され
ると、ステップS8で虹彩中心検出が行われる。そして、
虹彩中心が検出されると、ステップS9で虹彩中心から乗
員の居眠りわき見判定が行われる。
ると、ステップS8で虹彩中心検出が行われる。そして、
虹彩中心が検出されると、ステップS9で虹彩中心から乗
員の居眠りわき見判定が行われる。
第４図は、第３図のステップS4およびステップS6の詳
細フローチャートを示すもので、顔の輪郭線等より顔の
幅を認識し、この顔の幅から眼球の存在領域のＸ方向
（横方向）の幅を決定するものである。
細フローチャートを示すもので、顔の輪郭線等より顔の
幅を認識し、この顔の幅から眼球の存在領域のＸ方向
（横方向）の幅を決定するものである。
まず、初めにステップS201でＸ座標カウンタXC,Y座標
カウンタYC、白色画素の連続数バッファXLB、白色画素
の連続終端位置バッファXEB、白色画素の最大連続数X
L、白色画素の連続が最大の位置での始点XSおよび終点X
E、Ｙ座標YLをクリアする。
カウンタYC、白色画素の連続数バッファXLB、白色画素
の連続終端位置バッファXEB、白色画素の最大連続数X
L、白色画素の連続が最大の位置での始点XSおよび終点X
E、Ｙ座標YLをクリアする。
つぎに、ステップS203で入力画像をＸ方向にラスター
走査し（第６図において左から右へ走査するが、実際の
顔に対しては右から左へ走査していることになる。但
し、説明上第６図の左側を顔の左側と称する。）、画素
Ｊ（XC,YC）が黒色か否かを検索する（ステップS20
4）。顔部等の検出で画素が黒い場合にはステップS209
へ移行し、白色画素カウンタCONTをクリアする。画素が
白の場合はステップS205へ移行して白色画素カウンタCO
NTをカウントアップし、この白色画素カウンタCONTの値
がＹ座標YCで白色画素の最も長い値（前回までの処理で
最も長い値をいう）のバッファXLBより大きいか否かが
判断される（ステップS206）。この判別は顔幅を検出す
るためのものである。白色画素カウンタCONTの値の方が
大きい場合は、その長さCONTと終端位置XCをそれぞれバ
ッファXLB、XEBに記憶する（ステップS207,S208）。そ
して、ステップS210において、Ｘ座標XCを520画素すべ
て走査したか否かが判別される。520画素の走査が終了
するとステップS211へ移行し、白色画素連続数バッファ
XLBに記憶された白色画素の連続数の値が、今までの白
色画素最大連続数XLより大きいか否かが判別される。白
色画素連続数バッファXLBの値の方が大きい場合はステ
ップS212へ移行し、白色画素連続数バッファXLBの値と
今までの白色画素最大連続数XLとの差が300ドットを越
えるか否かが判別される。この判別は白画素が連続する
部分の長さの変化量が急激か否かを判別するものであ
る。これは、左右のこめかみ間から左右もみ上げ間で顔
幅を検出しているときは、略LXB＞XLの条件を満足し、
且つその差が300ドットを越えることはないと推測でき
ることに基づき誤検出を防止するためのものである。従
って、差が300ドット以下の場合にはステップS213へ移
行し、白色画素連続数バッファXLBを白色画素最大連続
数XLとする。つぎに、ステップS214およびS215におい
て、白色画素の連続が最大の位置の始点XSおよび終点XE
とＹ座標YLを算出して記憶し、ステップS217で白色画素
連続数バッファXLBをクリアする。
走査し（第６図において左から右へ走査するが、実際の
顔に対しては右から左へ走査していることになる。但
し、説明上第６図の左側を顔の左側と称する。）、画素
Ｊ（XC,YC）が黒色か否かを検索する（ステップS20
4）。顔部等の検出で画素が黒い場合にはステップS209
へ移行し、白色画素カウンタCONTをクリアする。画素が
白の場合はステップS205へ移行して白色画素カウンタCO
NTをカウントアップし、この白色画素カウンタCONTの値
がＹ座標YCで白色画素の最も長い値（前回までの処理で
最も長い値をいう）のバッファXLBより大きいか否かが
判断される（ステップS206）。この判別は顔幅を検出す
るためのものである。白色画素カウンタCONTの値の方が
大きい場合は、その長さCONTと終端位置XCをそれぞれバ
ッファXLB、XEBに記憶する（ステップS207,S208）。そ
して、ステップS210において、Ｘ座標XCを520画素すべ
て走査したか否かが判別される。520画素の走査が終了
するとステップS211へ移行し、白色画素連続数バッファ
XLBに記憶された白色画素の連続数の値が、今までの白
色画素最大連続数XLより大きいか否かが判別される。白
色画素連続数バッファXLBの値の方が大きい場合はステ
ップS212へ移行し、白色画素連続数バッファXLBの値と
今までの白色画素最大連続数XLとの差が300ドットを越
えるか否かが判別される。この判別は白画素が連続する
部分の長さの変化量が急激か否かを判別するものであ
る。これは、左右のこめかみ間から左右もみ上げ間で顔
幅を検出しているときは、略LXB＞XLの条件を満足し、
且つその差が300ドットを越えることはないと推測でき
ることに基づき誤検出を防止するためのものである。従
って、差が300ドット以下の場合にはステップS213へ移
行し、白色画素連続数バッファXLBを白色画素最大連続
数XLとする。つぎに、ステップS214およびS215におい
て、白色画素の連続が最大の位置の始点XSおよび終点XE
とＹ座標YLを算出して記憶し、ステップS217で白色画素
連続数バッファXLBをクリアする。
また、ステップS212で差が300ドットを越える場合は
正規の顔幅検出位置ではないと推測できため、ステップ
S216へ移行し、白色画素連続数バッファXLBの値が400ド
ットを越えるか否かが判別される。バッファXLBの値が4
00ドットを越えない場合は、XLとXLBとの差が300ドット
を越えるけれども一応顔幅を検出していると判断できる
ためステップS213〜215へ移行し、前記同様に白色画素
の連続が最大位置の始点XSおよび終点XEとＹ座標YLを算
出して記憶し、ステップS217で白色画素連続数バッファ
XLBをクリアする。
正規の顔幅検出位置ではないと推測できため、ステップ
S216へ移行し、白色画素連続数バッファXLBの値が400ド
ットを越えるか否かが判別される。バッファXLBの値が4
00ドットを越えない場合は、XLとXLBとの差が300ドット
を越えるけれども一応顔幅を検出していると判断できる
ためステップS213〜215へ移行し、前記同様に白色画素
の連続が最大位置の始点XSおよび終点XEとＹ座標YLを算
出して記憶し、ステップS217で白色画素連続数バッファ
XLBをクリアする。
なお、ステップS212での300ドットおよびステップS21
6での400ドットはこれ以下のドット数でもよく、また固
定値であるが、体格検知、女性、男性等によって変える
こともできる。
6での400ドットはこれ以下のドット数でもよく、また固
定値であるが、体格検知、女性、男性等によって変える
こともできる。
ステップS211で白色連続数バッファXLBの値の方が小
さい場合はステップS217へ移行して白色画素連続数バッ
ファXLBをクリアする。
さい場合はステップS217へ移行して白色画素連続数バッ
ファXLBをクリアする。
以下、このような処理をＹ座標のYCが500画素（画面
の最後）になるまで繰返し、白画素の連続が最大位置の
始点XSと終点およびＹ座標YLを求めて顔の最大幅を検出
する。
の最後）になるまで繰返し、白画素の連続が最大位置の
始点XSと終点およびＹ座標YLを求めて顔の最大幅を検出
する。
以上のようにして顔の最大の幅が検出されると、この
幅を左右の眼の存在領域（ウインドウ）に分割するため
のＸ座標を求める（第８図参照）。この分割は、例えば
次式によって行われる。すなわち、 Ｘ軸センタ＝Xc ＝XS＋｛（XE−XS）/2｝ 左眼ウインドウの左側Ｘ座標＝X1＝XS 左眼ウインドウの右側Ｘ座標＝X2＝Xc−25 右眼ウインドウの左側Ｘ座標＝XX1＝Xc＋25 右眼ウインドウの右側Ｘ座標＝XX2＝XE 上記のように左右ウインドウのＸ座標X1、X2、XX1、X
X2が検出されると、第３図のフローチャートのステップ
S5およびステップS7でウインドウの縦方向（Ｙ方向）の
幅を決定する。
幅を左右の眼の存在領域（ウインドウ）に分割するため
のＸ座標を求める（第８図参照）。この分割は、例えば
次式によって行われる。すなわち、 Ｘ軸センタ＝Xc ＝XS＋｛（XE−XS）/2｝ 左眼ウインドウの左側Ｘ座標＝X1＝XS 左眼ウインドウの右側Ｘ座標＝X2＝Xc−25 右眼ウインドウの左側Ｘ座標＝XX1＝Xc＋25 右眼ウインドウの右側Ｘ座標＝XX2＝XE 上記のように左右ウインドウのＸ座標X1、X2、XX1、X
X2が検出されると、第３図のフローチャートのステップ
S5およびステップS7でウインドウの縦方向（Ｙ方向）の
幅を決定する。
第５図はステップS5およびステップS7の詳細フローチ
ャートを示すものである。この処理はウインドウのＹ方
向の座標を検出するもので、左右それぞの眼において行
われる。
ャートを示すものである。この処理はウインドウのＹ方
向の座標を検出するもので、左右それぞの眼において行
われる。
また、この処理は、大きく分けて黒領域２点の検索部
分と、眼鏡の有無検索部分との二つに分かれる。
分と、眼鏡の有無検索部分との二つに分かれる。
黒領域２点の検索部分では、左眼に関して第７図に示
すように、左眼ウインドウの右側Ｘ座標X2から10ドット
左側、すなわちX2−10を始点とし（これは鼻の穴の黒い
部分の検出を避けるためである。）、この位置から横方
向（Ｘ方向）にX2−90までを範囲とし、ウインドウの幅
を決定したＹ座標YLから０の範囲で横方向へ４ドット毎
に縦方向上方（Ｙ方向）へ検索する。
すように、左眼ウインドウの右側Ｘ座標X2から10ドット
左側、すなわちX2−10を始点とし（これは鼻の穴の黒い
部分の検出を避けるためである。）、この位置から横方
向（Ｘ方向）にX2−90までを範囲とし、ウインドウの幅
を決定したＹ座標YLから０の範囲で横方向へ４ドット毎
に縦方向上方（Ｙ方向）へ検索する。
また、右眼に関しては右眼ウインドウ左側Ｘ座標XX1
から10ドット右側、すなわちXX1＋10を始点とし、この
位置から横方向（Ｘ方向）にXX1＋90までを範囲とし、
Ｘ座標YLから０の範囲で横方向へ４ドット毎に、縦方向
上方（Ｙ方向）へ検索する。
から10ドット右側、すなわちXX1＋10を始点とし、この
位置から横方向（Ｘ方向）にXX1＋90までを範囲とし、
Ｘ座標YLから０の範囲で横方向へ４ドット毎に、縦方向
上方（Ｙ方向）へ検索する。
眼鏡の有無検出部では、左眼に関して第８図に示すよ
うに、左眼ウインドウの右側Ｘ座標X2から左眼ウインド
ウの左側Ｘ座標X1への横方向（Ｘ方向）の範囲で、ま
た、右眼の関しては右眼ウインドウの左側Ｘ座標XX1か
ら左眼ウインドウの右側Ｘ座標XX2への横方向（Ｘ方
向）の範囲で後述するように検索する。
うに、左眼ウインドウの右側Ｘ座標X2から左眼ウインド
ウの左側Ｘ座標X1への横方向（Ｘ方向）の範囲で、ま
た、右眼の関しては右眼ウインドウの左側Ｘ座標XX1か
ら左眼ウインドウの右側Ｘ座標XX2への横方向（Ｘ方
向）の範囲で後述するように検索する。
以下、左目ウインドウのＹ方向の幅を決定する処理に
ついて説明する。
ついて説明する。
まず、ステップS301において、一番目と二番目の黒領
域のＹ座標の最大値（最下点）のメモリ変数BY1MAXおよ
びBY2MAXがクリアされ、Ｘ方向の検出範囲規定カウンタ
XCHECKがX2−10に、また、Ｙ方向の検索範囲規定カウン
タYCHECKがYLに初期化される。
域のＹ座標の最大値（最下点）のメモリ変数BY1MAXおよ
びBY2MAXがクリアされ、Ｘ方向の検出範囲規定カウンタ
XCHECKがX2−10に、また、Ｙ方向の検索範囲規定カウン
タYCHECKがYLに初期化される。
つぎに、ステップS302でＸ方向の検索範囲規定カウン
タXCHECKがX2−90以下か否かが判別される。この判別は
Ｘ方向へすべて検索したか否かを判別するものである。
このときは、未だ、Ｘ方向全ての検索を終了していない
からステップS303へ移行し、一番目の黒領域を検出した
フラグFL1、黒色画素連続カウンタBLACK、白色画素連続
カウンタWHITE、一番目の黒領域と二番目の黒領域との
間隔が10ドット以上あるフラグWHITEFLおよび一番目の
黒領域と二番目の黒領域のそれぞれの最大値記憶バッフ
ァBY1およびBY2がクリアされる。
タXCHECKがX2−90以下か否かが判別される。この判別は
Ｘ方向へすべて検索したか否かを判別するものである。
このときは、未だ、Ｘ方向全ての検索を終了していない
からステップS303へ移行し、一番目の黒領域を検出した
フラグFL1、黒色画素連続カウンタBLACK、白色画素連続
カウンタWHITE、一番目の黒領域と二番目の黒領域との
間隔が10ドット以上あるフラグWHITEFLおよび一番目の
黒領域と二番目の黒領域のそれぞれの最大値記憶バッフ
ァBY1およびBY2がクリアされる。
つぎに、ステップS304で検索画素が黒か否かが判別さ
れ、黒の場合は白色画素連続カウンタWHITEをクリアし
（ステップS305）、黒色画素連続カウンタBLACKをカウ
ントアップする（ステップS306）。そして、ステップS3
07で黒色画素連続カウンタBLACKの黒画素が１か否かが
判別される。これは黒画素の検出が初めてか否かが判断
するものである。黒画素が１の場合は黒領域の最下点Ｙ
座標候補としてＹ方向の検索範囲規定カウンタYCHECKで
カウントされた現Ｙ座標をSETYに記憶する。例えば第７
図で“1"としてあるＹ座標を記憶する。つぎに、ステッ
プS309で黒画素連続カウンタBLACKの黒画素が２以上か
否かが判別され、黒画素が２以上の場合は一番目の黒領
域を検出したフラグFL1がセットされているか否かが判
別される（ステップS301）。フラグFL1がセットされて
いない場合は、ステップS311へ移行し、一番目の黒領域
の最大値記憶バッファBY1にSETYの値を代入して保管
し、フラグFL1をセットする。そして、ステップS328で
Ｙ座標YCをカウントダウンし、一つ上の画素の検索に移
る。
れ、黒の場合は白色画素連続カウンタWHITEをクリアし
（ステップS305）、黒色画素連続カウンタBLACKをカウ
ントアップする（ステップS306）。そして、ステップS3
07で黒色画素連続カウンタBLACKの黒画素が１か否かが
判別される。これは黒画素の検出が初めてか否かが判断
するものである。黒画素が１の場合は黒領域の最下点Ｙ
座標候補としてＹ方向の検索範囲規定カウンタYCHECKで
カウントされた現Ｙ座標をSETYに記憶する。例えば第７
図で“1"としてあるＹ座標を記憶する。つぎに、ステッ
プS309で黒画素連続カウンタBLACKの黒画素が２以上か
否かが判別され、黒画素が２以上の場合は一番目の黒領
域を検出したフラグFL1がセットされているか否かが判
別される（ステップS301）。フラグFL1がセットされて
いない場合は、ステップS311へ移行し、一番目の黒領域
の最大値記憶バッファBY1にSETYの値を代入して保管
し、フラグFL1をセットする。そして、ステップS328で
Ｙ座標YCをカウントダウンし、一つ上の画素の検索に移
る。
ステップS310でフラグFL1がセットされている場合は
ステップS312へ移行し、一番目の黒領域と二番目の黒領
域の間隔が10ドット以上あるフラグWHITEFLがセットさ
れているか否かが判別される。そして、フラグWHITEFL
がセットされている場合は二番目の黒領域を検出したこ
とになるのでステップS313で二番目の黒領域の最大値記
憶バッファBY2にSETYの値を代入して保管する。例え
ば、第７図で“2"と示してあるＹ座標を保管する。また
ステップS312でフラグWHITEFLがセットされていない場
合は、一番目の黒領域と二番目の黒領域の間隔が狭く両
者の差が明確でないのでステップS314へ移行し、黒画素
の連続数が50ドットを越えるか否かが判別される。黒画
素の連続数か50ドットを越えている場合は頭髪を検出し
たことになるためステップS315へ移行してバッファBY2
をクリアし、また、50ドットを越えていない場合はステ
ップS328へ移行しＹ座標YCを一つ上の画素の検索を移
る。
ステップS312へ移行し、一番目の黒領域と二番目の黒領
域の間隔が10ドット以上あるフラグWHITEFLがセットさ
れているか否かが判別される。そして、フラグWHITEFL
がセットされている場合は二番目の黒領域を検出したこ
とになるのでステップS313で二番目の黒領域の最大値記
憶バッファBY2にSETYの値を代入して保管する。例え
ば、第７図で“2"と示してあるＹ座標を保管する。また
ステップS312でフラグWHITEFLがセットされていない場
合は、一番目の黒領域と二番目の黒領域の間隔が狭く両
者の差が明確でないのでステップS314へ移行し、黒画素
の連続数が50ドットを越えるか否かが判別される。黒画
素の連続数か50ドットを越えている場合は頭髪を検出し
たことになるためステップS315へ移行してバッファBY2
をクリアし、また、50ドットを越えていない場合はステ
ップS328へ移行しＹ座標YCを一つ上の画素の検索を移
る。
前記ステップS304で検索画素が白の場合にはステップ
S316へ移行して黒色画素連続カウンタBLACKをクリア
し、ステップS317で一番目の黒領域を検出したフラグFL
1がセットされているか否かが判別される。そして、フ
ラグFL1がセットされていない場合は、未だ黒領域が一
つも検出されていないためステップS328へ移行しＹ座標
YCをカウントダウンし、一つ上の画素の検索を移る。フ
ラグFL1がセットされている場合にはステップS318へ移
行し、白色画素連続カウンタWHITEをカウントアップす
る。そして、ステップS319で白画素が10ドット以上連続
したか否かが判別され、10ドット以上連続した場合は眼
と眉の間か、眼鏡フレームと眼の間を検出したものとし
てステップS319へ移行し、一番目の黒領域と二番目の黒
領域の間隔が10ドット以上あるフラグWHITEFLをセット
する。また、白画素が10ドット以上連続していない場合
はステップS328へ移行しＹ座標YCをカウントダウンし、
一つ上の画素の検索に移る。
S316へ移行して黒色画素連続カウンタBLACKをクリア
し、ステップS317で一番目の黒領域を検出したフラグFL
1がセットされているか否かが判別される。そして、フ
ラグFL1がセットされていない場合は、未だ黒領域が一
つも検出されていないためステップS328へ移行しＹ座標
YCをカウントダウンし、一つ上の画素の検索を移る。フ
ラグFL1がセットされている場合にはステップS318へ移
行し、白色画素連続カウンタWHITEをカウントアップす
る。そして、ステップS319で白画素が10ドット以上連続
したか否かが判別され、10ドット以上連続した場合は眼
と眉の間か、眼鏡フレームと眼の間を検出したものとし
てステップS319へ移行し、一番目の黒領域と二番目の黒
領域の間隔が10ドット以上あるフラグWHITEFLをセット
する。また、白画素が10ドット以上連続していない場合
はステップS328へ移行しＹ座標YCをカウントダウンし、
一つ上の画素の検索に移る。
つぎに、ステップS321で白画素が80ドット以上連続し
たか否かが判別され、80ドット以上連続した場合は眉毛
を検出せず顔を検出したことになるからステップS322へ
移行し、二番目の黒領域の最大値記憶バッファBY2をク
リアする。また、白画素80ドット以上連続していない場
合はステップS328へ移行し、Ｙ座標YCをカウントダウン
し、一つ上の画素の検索に移る。
たか否かが判別され、80ドット以上連続した場合は眉毛
を検出せず顔を検出したことになるからステップS322へ
移行し、二番目の黒領域の最大値記憶バッファBY2をク
リアする。また、白画素80ドット以上連続していない場
合はステップS328へ移行し、Ｙ座標YCをカウントダウン
し、一つ上の画素の検索に移る。
つぎに、一番目と二番目の黒領域の候補点としてのそ
れぞれのバッファBY1およびBY2が決定されると、ステッ
プS323において、候補点としてのバッファBY1の値を今
までに記憶された一番目の黒領域値の最大値（最下点）
BY1MAXと比較し、より大きい方をBY1MAXとして記憶する
（ステップS324）。例えば、第８図において中央部の１
のＹ座標がBY1MAXとして記憶される。続いて、ステップ
S325において、候補点としてのバッファBY2の値を今ま
でに記憶された二番目の黒領域の最大値（最下点）BY2M
AXと比較しより大きい方がBY2MAXとして記憶する。例え
ば、第７図において、右側の２のＹ座標がBY2MAXとして
記憶される。
れぞれのバッファBY1およびBY2が決定されると、ステッ
プS323において、候補点としてのバッファBY1の値を今
までに記憶された一番目の黒領域値の最大値（最下点）
BY1MAXと比較し、より大きい方をBY1MAXとして記憶する
（ステップS324）。例えば、第８図において中央部の１
のＹ座標がBY1MAXとして記憶される。続いて、ステップ
S325において、候補点としてのバッファBY2の値を今ま
でに記憶された二番目の黒領域の最大値（最下点）BY2M
AXと比較しより大きい方がBY2MAXとして記憶する。例え
ば、第７図において、右側の２のＹ座標がBY2MAXとして
記憶される。
このようにして、一番目の黒領域の最下点BY1MAXと二
番目の黒領域の最下点BY2AXが決定される。
番目の黒領域の最下点BY2AXが決定される。
つぎに、眼鏡の有無の検索を行う。まず、第５図
（ｂ）のステップS329において、二番目の黒領域の最大
値記憶バッファBY2が検出されているか否かを判別し、
このBY2の値からステップS330、S331で眼鏡検出のＹ座
標BYHを求める。すなわち、二番目の黒領域の最大値記
憶バッファBY2がなく、一番目の黒領域の最大値記憶バ
ッファBY1のみの場合は、BYH＝BY1＋10とし（ステップS
330）、二番目の黒領域の最大値記憶バッファBY2がある
場合は、BYH＝（BY1＋BY2）/2とする（ステップS33
1）。
（ｂ）のステップS329において、二番目の黒領域の最大
値記憶バッファBY2が検出されているか否かを判別し、
このBY2の値からステップS330、S331で眼鏡検出のＹ座
標BYHを求める。すなわち、二番目の黒領域の最大値記
憶バッファBY2がなく、一番目の黒領域の最大値記憶バ
ッファBY1のみの場合は、BYH＝BY1＋10とし（ステップS
330）、二番目の黒領域の最大値記憶バッファBY2がある
場合は、BYH＝（BY1＋BY2）/2とする（ステップS33
1）。
なお、ステップS331でBYHをBY1とBY2との中間点とし
ているが、これはBY1とBY2の間の点であればよいもので
ある。
ているが、これはBY1とBY2の間の点であればよいもので
ある。
つぎに、ステップS332で、黒画素の数をカウントする
黒色画素カウンタBLACKXをクリアし、画素座標XC、YCに
初期値XC＝X2（XC＝XX1）、YC＝BYHを設定する（ステッ
プS333、S334）。ステップS335で画素Ｊが黒か否かが検
索され、黒の場合はＸ方向へ黒色画素カウンタBLACKXを
左眼のときはXC＝X2からカウントアップし、右眼のとき
はXC＝XX1からカウントダウンする（ステップS336、S33
7）。ステップS338でＸ方向へ、左眼ではXX1を越えるま
で、右眼ではX2を下回るまで検索したか否かが判別さ
れ、XX1を越え又はX2を下回るまで検索が終了するとス
テップS339へ移行し、黒色画素カウンタBLACKXの値が３
以上か否かが判別される。黒色画素カウンタBLACKXの値
が３未満の場合は眼鏡中央部のフレームを検出したと判
別してステップS340へ移行し、眼鏡無しカウンタMEGOFF
をカウントアップする。
黒色画素カウンタBLACKXをクリアし、画素座標XC、YCに
初期値XC＝X2（XC＝XX1）、YC＝BYHを設定する（ステッ
プS333、S334）。ステップS335で画素Ｊが黒か否かが検
索され、黒の場合はＸ方向へ黒色画素カウンタBLACKXを
左眼のときはXC＝X2からカウントアップし、右眼のとき
はXC＝XX1からカウントダウンする（ステップS336、S33
7）。ステップS338でＸ方向へ、左眼ではXX1を越えるま
で、右眼ではX2を下回るまで検索したか否かが判別さ
れ、XX1を越え又はX2を下回るまで検索が終了するとス
テップS339へ移行し、黒色画素カウンタBLACKXの値が３
以上か否かが判別される。黒色画素カウンタBLACKXの値
が３未満の場合は眼鏡中央部のフレームを検出したと判
別してステップS340へ移行し、眼鏡無しカウンタMEGOFF
をカウントアップする。
以上の処理を左眼の検索範囲内で行い、ステップS341
で眼鏡無しカウンタMEGOFFの値が５を越えるか否かが判
別される。
で眼鏡無しカウンタMEGOFFの値が５を越えるか否かが判
別される。
眼鏡無しカウンタMEGOFFの値が５より大きい場合は眼
鏡をかけていないものと判断してステップS342へ移行
し、一番目に検出した黒領域のＹ座標の最下点BY1MAXを
基準にしてウインドウの縦方向（Ｙ方向）の幅を規定す
るＹ座標YT、YBを、YT＝BY1MAX−40、YB＝BY1MAX＋10に
設定する。また、眼鏡無しカウンタMEGOFFの値が５より
小さい場合は眼鏡をきけているものと判断してステップ
S343へ移行し、二番目に検出した黒領域のＹ座標の最下
点BY2MAXを基準にしてウインドウの縦方向（Ｙ方向）の
幅を規定するＹ座標YT、YBを、YT＝BY2MAX−40、YB＝BY
2MAX＋10に設定する。
鏡をかけていないものと判断してステップS342へ移行
し、一番目に検出した黒領域のＹ座標の最下点BY1MAXを
基準にしてウインドウの縦方向（Ｙ方向）の幅を規定す
るＹ座標YT、YBを、YT＝BY1MAX−40、YB＝BY1MAX＋10に
設定する。また、眼鏡無しカウンタMEGOFFの値が５より
小さい場合は眼鏡をきけているものと判断してステップ
S343へ移行し、二番目に検出した黒領域のＹ座標の最下
点BY2MAXを基準にしてウインドウの縦方向（Ｙ方向）の
幅を規定するＹ座標YT、YBを、YT＝BY2MAX−40、YB＝BY
2MAX＋10に設定する。
以上の処理を左右両眼において行うことによりそれぞ
れの眼のウインドウが設定される。
れの眼のウインドウが設定される。
このようにこの実施例の主要な部分であるウインドウ
設定に関しては、顔の最大幅でウインドウの横の範囲を
決定する事としたため、顔の向きにより赤外線ストロボ
の照射画像に影が発生する場合でもその影響が排除され
る。
設定に関しては、顔の最大幅でウインドウの横の範囲を
決定する事としたため、顔の向きにより赤外線ストロボ
の照射画像に影が発生する場合でもその影響が排除され
る。
また、ウインドウの縦方向の範囲の範囲の設定に於い
ても、例えば僅か２点の黒領域を僅か20回の縦方向の走
査をするだけで設定できるため、横方向範囲設定と同様
に影や少しの画像の変化でも正確なウインドウの設定を
高速に行うことが可能となった。
ても、例えば僅か２点の黒領域を僅か20回の縦方向の走
査をするだけで設定できるため、横方向範囲設定と同様
に影や少しの画像の変化でも正確なウインドウの設定を
高速に行うことが可能となった。
さらに、あらゆる顔画像に対しても、最大でも眉から
下の画像の変化のほとんど無い部分で検索を行うため、
帽子を被っている場合、眼鏡を装着している場合に於い
ても、眼球存在領域の特定が正確にでき居眠り、わき見
の検出が可能となった。
下の画像の変化のほとんど無い部分で検索を行うため、
帽子を被っている場合、眼鏡を装着している場合に於い
ても、眼球存在領域の特定が正確にでき居眠り、わき見
の検出が可能となった。
そして、第３図のフローチャートのステップS8で、２
値下した画像Ｊ（X,Y）から上記で設定されたウインド
ウ内に対する虹彩部分を検出する処理が行われる。虹彩
は、一般に暗い円形領域として観測されるから、この円
形領域を検出してその領域面積を認識すれば、運転者の
居眠りの有無等が判定できる。
値下した画像Ｊ（X,Y）から上記で設定されたウインド
ウ内に対する虹彩部分を検出する処理が行われる。虹彩
は、一般に暗い円形領域として観測されるから、この円
形領域を検出してその領域面積を認識すれば、運転者の
居眠りの有無等が判定できる。
この実施例では顔幅を検出して領域の設定を行うか
ら、例えば顔画像において背影が黒（夜間、あるいはヘ
ッドレストの色）であっても確実に検出することができ
る。
ら、例えば顔画像において背影が黒（夜間、あるいはヘ
ッドレストの色）であっても確実に検出することができ
る。
第９図は、虹彩の検出原理を示す説明図である。
今、ウインドウ内の任意の点（x,y）を中心とする半
径Ｒの円を設定するとともに、点（x,y）を中心として
放射状に４つの矩形を設定する。この矩形は、円の内外
方にそれぞれＰ画素だけ延在するように設定される。そ
して、円より外方の矩形白抜き部の明度値の総和と、円
より内方の矩形ハッチング部の明度値の総和との差δを
求める。
径Ｒの円を設定するとともに、点（x,y）を中心として
放射状に４つの矩形を設定する。この矩形は、円の内外
方にそれぞれＰ画素だけ延在するように設定される。そ
して、円より外方の矩形白抜き部の明度値の総和と、円
より内方の矩形ハッチング部の明度値の総和との差δを
求める。
これを上記任意の点（x,y）においてRmin〜Rmaxまで
行い、差δの最大値を△としてこれを求める。つぎに、
点（x,y）を中心として同様な演算を行い、差δの最大
値が上記最大値△より大きければ、今回演算されたδの
最大値を最大値として記憶する。このような演算をウイ
ンドウ内の全画素点を中心として行い最大値△を出力す
る。
行い、差δの最大値を△としてこれを求める。つぎに、
点（x,y）を中心として同様な演算を行い、差δの最大
値が上記最大値△より大きければ、今回演算されたδの
最大値を最大値として記憶する。このような演算をウイ
ンドウ内の全画素点を中心として行い最大値△を出力す
る。
これは、ウインドウ内に虹彩が存在するとき、虹彩は
他の領域に比べて輝度が低い円形図形として検出され、
虹彩を中心に求められる上記差δが最大となるという原
理に基づいている。
他の領域に比べて輝度が低い円形図形として検出され、
虹彩を中心に求められる上記差δが最大となるという原
理に基づいている。
第10図は以上の処理のフローチャートを示すものであ
る。
る。
まず、ステップS901で、ウインドウ内を走査するカウ
ンターx,yをＬにリセットする。なお、ここで設定され
たウインドウの大きさは、ｘ方向Ｍドット、ｙ方向Ｎド
ットとする。つぎに、ステップS902で、虹彩検出の中心
座標の点Ｊ（x,y）が黒いか否かが判別され、黒い場合
はステップS903へ移行し、検出半径ＲをRminとする。つ
づいて、ステップS904およびS905において、△およびｐ
をリセットする。
ンターx,yをＬにリセットする。なお、ここで設定され
たウインドウの大きさは、ｘ方向Ｍドット、ｙ方向Ｎド
ットとする。つぎに、ステップS902で、虹彩検出の中心
座標の点Ｊ（x,y）が黒いか否かが判別され、黒い場合
はステップS903へ移行し、検出半径ＲをRminとする。つ
づいて、ステップS904およびS905において、△およびｐ
をリセットする。
つぎに、ステップS906乃至S908で、具体的に白い部分
に囲まれた黒い円形領域として検出する。すなわち、ス
テップS906において式の前半の４項Ｊ（ｘ＋Ｒ＋p,y）,
J（x,y−Ｒ−ｐ）,J（ｘ−Ｒ−p,y）,J（x,y＋Ｒ＋ｐ）
はそれぞれ座標中心（x,y）から半径Ｒ＋ｐ離れた右、
下、左、上の位置の明度を表わし、式の後半の４項Ｊ
（ｘ＋Ｒ−ｐ−1,y）,J（x,y−Ｒ＋ｐ＋１）,J（ｘ−Ｒ
＋ｐ＋1,y）,J（x,y＋Ｒ−ｐ−１）はそれぞれ中心座標
（x,y）から半径Ｒ−（ｐ＋１）離れた右、下、左、上
の位置の明度を表わしている。そして、ステップS907で
ｐを１ずつ増加させｐ−１まで変化させてステップS906
乃至ステップS908を繰返し実行し、半径Rminにおける第
９図の矩形白抜き部の明度値総和（ステップS906の式の
前半４項の和）と矩形ハッチング部の明度値総和（ステ
ップS6の式の後半４項の和）の差δが最大値△として求
められる（ステップS910）。つぎに、ステップS911で半
径Rmin＋１として再度ステップS905へ移行し、ステップ
S906乃至ステップS908を繰返し実行することにより半径
Rmin＋１としたときの矩形領域の明度差δを求める。こ
の明度差δが第１回目の半径Rminについて演算された△
よりも大きければ、その明度差δを最大値△とする。こ
のような走査を半径Rmaxまで繰返して行い、任意の点
（x,y）について最大明度差△が求まる（ステップS91
2）。これは、検出する虹彩の半径は、個人あるいはカ
メラと乗員の距離によって異なるため、検出半径にある
ゾーン（Rmin〜Rmax）を設けるためである。
に囲まれた黒い円形領域として検出する。すなわち、ス
テップS906において式の前半の４項Ｊ（ｘ＋Ｒ＋p,y）,
J（x,y−Ｒ−ｐ）,J（ｘ−Ｒ−p,y）,J（x,y＋Ｒ＋ｐ）
はそれぞれ座標中心（x,y）から半径Ｒ＋ｐ離れた右、
下、左、上の位置の明度を表わし、式の後半の４項Ｊ
（ｘ＋Ｒ−ｐ−1,y）,J（x,y−Ｒ＋ｐ＋１）,J（ｘ−Ｒ
＋ｐ＋1,y）,J（x,y＋Ｒ−ｐ−１）はそれぞれ中心座標
（x,y）から半径Ｒ−（ｐ＋１）離れた右、下、左、上
の位置の明度を表わしている。そして、ステップS907で
ｐを１ずつ増加させｐ−１まで変化させてステップS906
乃至ステップS908を繰返し実行し、半径Rminにおける第
９図の矩形白抜き部の明度値総和（ステップS906の式の
前半４項の和）と矩形ハッチング部の明度値総和（ステ
ップS6の式の後半４項の和）の差δが最大値△として求
められる（ステップS910）。つぎに、ステップS911で半
径Rmin＋１として再度ステップS905へ移行し、ステップ
S906乃至ステップS908を繰返し実行することにより半径
Rmin＋１としたときの矩形領域の明度差δを求める。こ
の明度差δが第１回目の半径Rminについて演算された△
よりも大きければ、その明度差δを最大値△とする。こ
のような走査を半径Rmaxまで繰返して行い、任意の点
（x,y）について最大明度差△が求まる（ステップS91
2）。これは、検出する虹彩の半径は、個人あるいはカ
メラと乗員の距離によって異なるため、検出半径にある
ゾーン（Rmin〜Rmax）を設けるためである。
以下、この処理をｘ＝１〜Ｍまで、ｙ＝１〜Ｎまでウ
インドウ全体に亘って行う。このような処理によって求
まる△maxは、虹彩の中心について演算された明度差で
ある。そして、開眼時と閉眼時とではこの明度差△は大
きく異なるため、この最大明度差△を用いて開眼か閉眼
かの判別が容易になる。
インドウ全体に亘って行う。このような処理によって求
まる△maxは、虹彩の中心について演算された明度差で
ある。そして、開眼時と閉眼時とではこの明度差△は大
きく異なるため、この最大明度差△を用いて開眼か閉眼
かの判別が容易になる。
このようにして虹彩を検出することにしたため、運転
者の開眼、閉眼状態を確実且つ迅速にモニタリングする
ことも可能となった。これにより、運転者の居眠り、わ
き見の検出を行うことができるという効果が得られる。
者の開眼、閉眼状態を確実且つ迅速にモニタリングする
ことも可能となった。これにより、運転者の居眠り、わ
き見の検出を行うことができるという効果が得られる。
つぎに、前記第３図のフローチャートのステップS9に
おける、居眠りわき見の判定において、開眼または閉眼
の判別は、ステップS8で算出されたウインドウ内での最
大明度差△をしきい値処理し、明度差△≧Th（しきい
値）のときは開眼、明度差△≦Thのときは閉眼であると
判断する。
おける、居眠りわき見の判定において、開眼または閉眼
の判別は、ステップS8で算出されたウインドウ内での最
大明度差△をしきい値処理し、明度差△≧Th（しきい
値）のときは開眼、明度差△≦Thのときは閉眼であると
判断する。
まばたきした場合にも上記の虹彩検出処理で閉眼と判
断されることがあるから、１回の虹彩検出処理で運転者
が居眠りをしていると判断すると誤判断することがある
ため、同一の虹彩検出処理を複数回繰返し実行し、ある
所定回数以上連続して閉眼が認識されたときに居眠りし
ていると判定する。
断されることがあるから、１回の虹彩検出処理で運転者
が居眠りをしていると判断すると誤判断することがある
ため、同一の虹彩検出処理を複数回繰返し実行し、ある
所定回数以上連続して閉眼が認識されたときに居眠りし
ていると判定する。
例えば、第11図に示すように、黒点で示す時間間隔ご
とに画像が入力され、そして虹彩検出処理の結果、閉眼
と判断される回数が３回連続したときは運転者が居眠り
をしていると判断する。
とに画像が入力され、そして虹彩検出処理の結果、閉眼
と判断される回数が３回連続したときは運転者が居眠り
をしていると判断する。
また、片目のみが閉頑と判断した場合は、実際には閉
眼でなく、わき見をしているために原画面から片目が外
れているものと考えられる。従って居眠り判断と同様に
３回連続して片目が閉眼していると判断されたときに
は、わき見と判定する。
眼でなく、わき見をしているために原画面から片目が外
れているものと考えられる。従って居眠り判断と同様に
３回連続して片目が閉眼していると判断されたときに
は、わき見と判定する。
上記のように、運転者の顔画像の頬部に出現する横方
向の白色部分の最大幅より運転者の眼球を含む領域の横
方向の幅を設定し、前記最大値を設定した点からの縦方
向の走査により検出した２点と黒領域の中間の点から横
方向に走査し、黒色画素の有無により眼鏡を装着してい
るか否かを判断し、その有無により前記２点の黒領域の
どちらが眼であるかを判断して運転者の眼球を含む領域
の縦方向の幅を設定し、その領域内において虹彩部分を
検出することにより、眼球が開いているか、閉じている
か、正面を向いていないか等を判断するこができる。こ
れにより、運転者の居眠り、わき見の検出を行うことが
できる。
向の白色部分の最大幅より運転者の眼球を含む領域の横
方向の幅を設定し、前記最大値を設定した点からの縦方
向の走査により検出した２点と黒領域の中間の点から横
方向に走査し、黒色画素の有無により眼鏡を装着してい
るか否かを判断し、その有無により前記２点の黒領域の
どちらが眼であるかを判断して運転者の眼球を含む領域
の縦方向の幅を設定し、その領域内において虹彩部分を
検出することにより、眼球が開いているか、閉じている
か、正面を向いていないか等を判断するこができる。こ
れにより、運転者の居眠り、わき見の検出を行うことが
できる。
［発明の効果］ 以上の説明により明らかなように、この発明によれ
ば、運転者の顔の最大幅でウインドウの横方向の範囲を
設定することにしたため、顔の向きにより赤外線ストロ
ボの照射画素に影が発生する場合でもとの影響が排除さ
れる。
ば、運転者の顔の最大幅でウインドウの横方向の範囲を
設定することにしたため、顔の向きにより赤外線ストロ
ボの照射画素に影が発生する場合でもとの影響が排除さ
れる。
またウインドウの縦方向の範囲の設定においても、下
方から僅かな縦方向の走査し、黒領域の下端点を検出す
るだけで設定できるため、横方向の範囲の設定と同様に
精度向上を図ることができる。
方から僅かな縦方向の走査し、黒領域の下端点を検出す
るだけで設定できるため、横方向の範囲の設定と同様に
精度向上を図ることができる。
さらに、あらゆる顔の画像に対し、最大でも眉から下
の画像の変化があまり無い部分で検索を行うため、帽子
を被っている場合、眼鏡を装着している場合等において
も、眼球存在位置の特定が可能となる。
の画像の変化があまり無い部分で検索を行うため、帽子
を被っている場合、眼鏡を装着している場合等において
も、眼球存在位置の特定が可能となる。
第１図はこの発明の構成図、第２図はこの発明の一実施
例に係る構成図、第３図は第２図の構成図に基づくフロ
ーチャート、第４図はウインドウの横方向の範囲設定処
理のフローチャート、第５図はウインドウの縦方向の範
囲設定処理のフローチャート、第６図乃至第８図はこの
実施例の処理に関する説明図、第９図は虹彩検出処理の
原理説明図、第10図は虹彩検出処理のフローチャート、
第11図は居眠り判断のための説明図である。 CL1……画像入力手段 CL2……２値化手段 CL3……横幅検出手段 CL4……眼球の左右領域決定手段 CL5……黒領域検出手段 CL6……下端点検出手段 CL7……眼球の縦領域決定手段
例に係る構成図、第３図は第２図の構成図に基づくフロ
ーチャート、第４図はウインドウの横方向の範囲設定処
理のフローチャート、第５図はウインドウの縦方向の範
囲設定処理のフローチャート、第６図乃至第８図はこの
実施例の処理に関する説明図、第９図は虹彩検出処理の
原理説明図、第10図は虹彩検出処理のフローチャート、
第11図は居眠り判断のための説明図である。 CL1……画像入力手段 CL2……２値化手段 CL3……横幅検出手段 CL4……眼球の左右領域決定手段 CL5……黒領域検出手段 CL6……下端点検出手段 CL7……眼球の縦領域決定手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０８Ｂ 21/00 Ｇ０６Ｆ 15/62 ３８０ (56)参考文献 特開 昭59−194274（ＪＰ，Ａ) 特開 昭60−158303（ＪＰ，Ａ) 特開 昭61−41903（ＪＰ，Ａ) 特開 昭61−77705（ＪＰ，Ａ) 特開 昭61−175510（ＪＰ，Ａ) 特開 平３−42337（ＪＰ，Ａ) 特開 平３−194661（ＪＰ，Ａ) 特開 平３−254291（ＪＰ，Ａ)
Claims (2)
- 【請求項１】眼を含む顔画像を入力する画像入力手段
と、前記画像入力手段から送出される入力画像を２値化
する２値化手段と、前記２値化手段による２値化画像に
おいて顔の幅を検出する顔幅検出手段と、前記顔幅検出
手段により検出された顔幅から眼の存在領域の横方向の
位置を決定する眼球の左右領域決定手段と、決定された
眼の横方向の存在領域で縦方向の下から黒領域を検出す
る黒領域検出手段と、検出された黒領域の下端点を検出
する下端点検出手段と、検出された下端点を基準にして
眼の存在領域の縦方向の位置を決定する眼球の縦領域決
定手段とを備えてなる眼位置検出装置。 - 【請求項２】眼を含む顔画像を入力する画像入力手段
と、前記画像入力手段から送出される入力画像を２値化
する２値化手段と、前記２値化手段による２値化画像に
おいて顔の幅を検出する顔幅検出手段と、前記顔幅検出
手段により検出された顔幅から眼の存在領域の横方向の
位置を決定する眼球の左右領域決定手段と、決定された
眼の横方向の存在領域で縦方向の下から少なくとも２個
の黒領域を検出する黒領域検出手段と、検出された各黒
領域の下端点を検出する下端点検出手段と、検出された
前記２個の黒領域の間で横方向に黒色画素が所定数以上
存在するか否かを検索する手段と、この検索手段で黒色
画素が検出されたか否かで前記下端点を選択する手段
と、選択された下端点を基準にして眼の存在領域の縦方
向の位置を決定する眼球の縦領域決定手段とを備えたこ
とを特徴とする眼位置検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12927490A JP2541688B2 (ja) | 1990-05-21 | 1990-05-21 | 眼位置検出装置 |
| US07/703,114 US5218387A (en) | 1990-05-21 | 1991-05-20 | Eye position detecting apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12927490A JP2541688B2 (ja) | 1990-05-21 | 1990-05-21 | 眼位置検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0424503A JPH0424503A (ja) | 1992-01-28 |
| JP2541688B2 true JP2541688B2 (ja) | 1996-10-09 |
Family
ID=15005539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12927490A Expired - Fee Related JP2541688B2 (ja) | 1990-05-21 | 1990-05-21 | 眼位置検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5218387A (ja) |
| JP (1) | JP2541688B2 (ja) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2391115A2 (en) | 2010-05-24 | 2011-11-30 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and program |
| US8391595B2 (en) | 2006-05-26 | 2013-03-05 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| US8532431B2 (en) | 2007-05-08 | 2013-09-10 | Canon Kabushiki Kaisha | Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts |
| US8630503B2 (en) | 2008-06-25 | 2014-01-14 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
| US8842914B2 (en) | 2010-07-16 | 2014-09-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US9014487B2 (en) | 2012-07-09 | 2015-04-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US9189681B2 (en) | 2012-07-09 | 2015-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, method thereof, and computer-readable storage medium |
| US9214027B2 (en) | 2012-07-09 | 2015-12-15 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9275270B2 (en) | 2012-07-09 | 2016-03-01 | Canon Kabushiki Kaisha | Information processing apparatus and control method thereof |
| US9280720B2 (en) | 2012-07-09 | 2016-03-08 | Canon Kabushiki Kaisha | Apparatus, method, and computer-readable storage medium |
| US9292760B2 (en) | 2012-07-09 | 2016-03-22 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9299177B2 (en) | 2012-07-09 | 2016-03-29 | Canon Kabushiki Kaisha | Apparatus, method and non-transitory computer-readable medium using layout similarity |
| US9436706B2 (en) | 2013-09-05 | 2016-09-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for laying out images |
| US9501688B2 (en) | 2012-07-09 | 2016-11-22 | Canon Kabushiki Kaisha | Apparatus, processing method and storage medium storing program |
| US9509870B2 (en) | 2013-09-05 | 2016-11-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium enabling layout varations |
| US9519842B2 (en) | 2012-07-09 | 2016-12-13 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9542594B2 (en) | 2013-06-28 | 2017-01-10 | Canon Kabushiki Kaisha | Information processing apparatus, method for processing information, and program |
| US9558212B2 (en) | 2012-07-09 | 2017-01-31 | Canon Kabushiki Kaisha | Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information |
| US9563823B2 (en) | 2012-07-09 | 2017-02-07 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9846681B2 (en) | 2012-07-09 | 2017-12-19 | Canon Kabushiki Kaisha | Apparatus and method for outputting layout image |
| US9904879B2 (en) | 2013-09-05 | 2018-02-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US10013395B2 (en) | 2012-07-09 | 2018-07-03 | Canon Kabushiki Kaisha | Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4102895C1 (ja) * | 1991-01-31 | 1992-01-30 | Siemens Ag, 8000 Muenchen, De | |
| JPH0761314B2 (ja) * | 1991-10-07 | 1995-07-05 | コナミ株式会社 | 網膜反射光量測定装置及び該装置を用いた視線検出装置 |
| JP3012751B2 (ja) * | 1992-03-13 | 2000-02-28 | 松下電器産業株式会社 | 在席検出装置及び安全制御装置 |
| FR2700938B1 (fr) * | 1993-01-29 | 1995-04-28 | Centre Nat Rech Scient | Procédé et dispositif d'analyse du mouvement de l'Óoeil. |
| WO1994025857A1 (en) * | 1993-05-04 | 1994-11-10 | Brisalebe Ag | Evaluating animals using eye characteristics |
| GB9323970D0 (en) * | 1993-11-22 | 1994-01-12 | Toad Innovations Ltd | Safety device |
| JP2907740B2 (ja) * | 1994-11-28 | 1999-06-21 | 水谷建設工業株式会社 | 斜角プレストレストボックスカルバート及び斜角ボックスカルバートへのプレストレス導入方法 |
| JP3426060B2 (ja) * | 1995-07-28 | 2003-07-14 | 三菱電機株式会社 | 顔画像処理装置 |
| US5771066A (en) * | 1997-01-03 | 1998-06-23 | Barnea; Daniel I. | Three dimensional display device |
| US5859686A (en) * | 1997-05-19 | 1999-01-12 | Northrop Grumman Corporation | Eye finding and tracking system |
| KR19990016896A (ko) * | 1997-08-20 | 1999-03-15 | 전주범 | 얼굴영상에서 눈영역 검출방법 |
| WO1999025239A1 (en) * | 1997-11-14 | 1999-05-27 | Stuart Brown | Automated photorefractive screening |
| US6089715A (en) * | 1998-10-15 | 2000-07-18 | Eyedx, Inc. | Automated photorefractive screening |
| FR2773521B1 (fr) * | 1998-01-15 | 2000-03-31 | Carlus Magnus Limited | Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci |
| FR2784887B1 (fr) | 1998-10-22 | 2001-01-19 | Renault | Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule |
| US6757422B1 (en) | 1998-11-12 | 2004-06-29 | Canon Kabushiki Kaisha | Viewpoint position detection apparatus and method, and stereoscopic image display system |
| FR2789950B1 (fr) | 1999-02-19 | 2001-04-20 | Renault | Procede et dispositif d'autorisation de demarrage d'un vehicule |
| US6523954B1 (en) | 2000-11-21 | 2003-02-25 | Iscreen, Llc | System and method for eye screening |
| US6663242B1 (en) | 2001-03-12 | 2003-12-16 | Wayne Davenport | Simultaneous, wavelength multiplexed vision screener |
| US6616277B1 (en) | 2001-07-02 | 2003-09-09 | Vision Research Corporation | Sequential eye screening method and apparatus |
| SE524003C2 (sv) * | 2002-11-21 | 2004-06-15 | Tobii Technology Ab | Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel |
| US7872635B2 (en) * | 2003-05-15 | 2011-01-18 | Optimetrics, Inc. | Foveated display eye-tracking system and method |
| JP4286860B2 (ja) | 2004-05-21 | 2009-07-01 | 旭化成株式会社 | 動作内容判定装置 |
| DK1607840T3 (da) | 2004-06-18 | 2015-02-16 | Tobii Technology Ab | Øjenstyring af et computerapparat |
| US20070247590A1 (en) * | 2004-08-10 | 2007-10-25 | Seereal Technologies Gmbh | Autostereoscopic Multi-User Display with Directed Illumination |
| US20080074618A1 (en) * | 2006-05-15 | 2008-03-27 | Baohua Qi | Fatigue detection device using encoded light signals |
| JP5127592B2 (ja) | 2008-06-25 | 2013-01-23 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム並びに、コンピュータ読み取り可能な記録媒体 |
| JP2010079569A (ja) * | 2008-09-25 | 2010-04-08 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
| CN102208125B (zh) * | 2010-03-30 | 2015-02-25 | 深圳市赛格导航科技股份有限公司 | 疲劳驾驶监测系统及方法 |
| JP5744431B2 (ja) | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP5744430B2 (ja) | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
| US8463075B2 (en) | 2010-08-11 | 2013-06-11 | International Business Machines Corporation | Dynamically resizing text area on a display device |
| JP5603258B2 (ja) * | 2011-01-13 | 2014-10-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 検出装置及び検出方法 |
| JP5981789B2 (ja) | 2012-07-09 | 2016-08-31 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US9612656B2 (en) | 2012-11-27 | 2017-04-04 | Facebook, Inc. | Systems and methods of eye tracking control on mobile device |
| US11714487B2 (en) | 2013-03-04 | 2023-08-01 | Tobii Ab | Gaze and smooth pursuit based continuous foveal adjustment |
| US10895908B2 (en) | 2013-03-04 | 2021-01-19 | Tobii Ab | Targeting saccade landing prediction using visual history |
| US9898081B2 (en) | 2013-03-04 | 2018-02-20 | Tobii Ab | Gaze and saccade based graphical manipulation |
| US9143880B2 (en) | 2013-08-23 | 2015-09-22 | Tobii Ab | Systems and methods for providing audio to a user based on gaze input |
| US10430150B2 (en) | 2013-08-23 | 2019-10-01 | Tobii Ab | Systems and methods for changing behavior of computer program elements based on gaze input |
| RU2541192C1 (ru) * | 2013-12-03 | 2015-02-10 | Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" | Способ определения направления линии взгляда |
| US9952883B2 (en) | 2014-08-05 | 2018-04-24 | Tobii Ab | Dynamic determination of hardware |
| TWI647666B (zh) * | 2017-08-28 | 2019-01-11 | 緯創資通股份有限公司 | 瞌睡偵測裝置及其瞌睡偵測方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4169663A (en) * | 1978-02-27 | 1979-10-02 | Synemed, Inc. | Eye attention monitor |
| US4528989A (en) * | 1982-10-29 | 1985-07-16 | Weinblatt Lee S | Screening method for monitoring physiological variables |
| JPS60158304A (ja) * | 1984-01-30 | 1985-08-19 | Nippon Denso Co Ltd | 車両運転者の眼の位置認識装置 |
| JPS60158303A (ja) * | 1984-01-30 | 1985-08-19 | Nippon Denso Co Ltd | 車両運転者の眼の位置認識装置 |
| JPS6177705A (ja) * | 1984-09-25 | 1986-04-21 | Nippon Denso Co Ltd | 車両運転者の目の位置認識装置 |
| JPS6177706A (ja) * | 1984-09-25 | 1986-04-21 | Nippon Denso Co Ltd | 車両運転者の乗車位置認識装置 |
| JPS62247410A (ja) * | 1985-12-04 | 1987-10-28 | Aisin Seiki Co Ltd | 電気装置の付勢制御装置 |
| US4720189A (en) * | 1986-01-07 | 1988-01-19 | Northern Telecom Limited | Eye-position sensor |
| US4836670A (en) * | 1987-08-19 | 1989-06-06 | Center For Innovative Technology | Eye movement detector |
-
1990
- 1990-05-21 JP JP12927490A patent/JP2541688B2/ja not_active Expired - Fee Related
-
1991
- 1991-05-20 US US07/703,114 patent/US5218387A/en not_active Expired - Lifetime
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8391595B2 (en) | 2006-05-26 | 2013-03-05 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| US8532431B2 (en) | 2007-05-08 | 2013-09-10 | Canon Kabushiki Kaisha | Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts |
| US8630503B2 (en) | 2008-06-25 | 2014-01-14 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
| EP2391115A2 (en) | 2010-05-24 | 2011-11-30 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and program |
| US8639030B2 (en) | 2010-05-24 | 2014-01-28 | Canon Kabushiki Kaisha | Image processing using an adaptation rate |
| US9398282B2 (en) | 2010-05-24 | 2016-07-19 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and computer-readable medium |
| US8842914B2 (en) | 2010-07-16 | 2014-09-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US9406003B2 (en) | 2010-07-16 | 2016-08-02 | Canon Kabushiki Kaisha | Image processing with color balance correction |
| US9299177B2 (en) | 2012-07-09 | 2016-03-29 | Canon Kabushiki Kaisha | Apparatus, method and non-transitory computer-readable medium using layout similarity |
| US9563823B2 (en) | 2012-07-09 | 2017-02-07 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9280720B2 (en) | 2012-07-09 | 2016-03-08 | Canon Kabushiki Kaisha | Apparatus, method, and computer-readable storage medium |
| US9292760B2 (en) | 2012-07-09 | 2016-03-22 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9214027B2 (en) | 2012-07-09 | 2015-12-15 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9189681B2 (en) | 2012-07-09 | 2015-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, method thereof, and computer-readable storage medium |
| US9014487B2 (en) | 2012-07-09 | 2015-04-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US10055640B2 (en) | 2012-07-09 | 2018-08-21 | Canon Kabushiki Kaisha | Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof |
| US9501688B2 (en) | 2012-07-09 | 2016-11-22 | Canon Kabushiki Kaisha | Apparatus, processing method and storage medium storing program |
| US10013395B2 (en) | 2012-07-09 | 2018-07-03 | Canon Kabushiki Kaisha | Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images |
| US9519842B2 (en) | 2012-07-09 | 2016-12-13 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9846681B2 (en) | 2012-07-09 | 2017-12-19 | Canon Kabushiki Kaisha | Apparatus and method for outputting layout image |
| US9558212B2 (en) | 2012-07-09 | 2017-01-31 | Canon Kabushiki Kaisha | Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information |
| US9275270B2 (en) | 2012-07-09 | 2016-03-01 | Canon Kabushiki Kaisha | Information processing apparatus and control method thereof |
| US9542594B2 (en) | 2013-06-28 | 2017-01-10 | Canon Kabushiki Kaisha | Information processing apparatus, method for processing information, and program |
| US9904879B2 (en) | 2013-09-05 | 2018-02-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US9509870B2 (en) | 2013-09-05 | 2016-11-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium enabling layout varations |
| US9436706B2 (en) | 2013-09-05 | 2016-09-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for laying out images |
Also Published As
| Publication number | Publication date |
|---|---|
| US5218387A (en) | 1993-06-08 |
| JPH0424503A (ja) | 1992-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2541688B2 (ja) | 眼位置検出装置 | |
| JP2522859B2 (ja) | 眼位置検出装置 | |
| JP3761059B2 (ja) | ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
| US6504942B1 (en) | Method of and apparatus for detecting a face-like region and observer tracking display | |
| JP2500726B2 (ja) | 上まぶた領域、目頭・目尻・上まぶた領域及び目の構造の検出方法及び装置 | |
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| US7907752B2 (en) | Face center position detecting device, face center position detecting method, and computer-readable medium | |
| JPH0944685A (ja) | 顔画像処理装置 | |
| JP3143819B2 (ja) | まぶたの開度検出装置 | |
| JP6234762B2 (ja) | 眼部検出装置、方法、およびプログラム | |
| JP2822799B2 (ja) | 運転者の状態検出装置 | |
| KR100617777B1 (ko) | 졸음운전 경고 장치에서 운전자의 눈 영상 검출 장치 및 방법 | |
| JP2003150942A (ja) | 目位置追跡方法 | |
| JP3395344B2 (ja) | 画像処理装置およびそれを用いた居眠り警報装置 | |
| JPH07181012A (ja) | 画像データの特徴量検出装置 | |
| JP2836238B2 (ja) | 運転車の眼位置検出装置及び状態検出装置 | |
| JP2936943B2 (ja) | 運転者の状態検出装置 | |
| JP2705388B2 (ja) | 運転者の眼位置検出装置 | |
| JP4151341B2 (ja) | 顔状態検出装置 | |
| JP2677010B2 (ja) | 眼位置検出装置 | |
| JP2932551B2 (ja) | 虹彩位置検出装置及び運転者の状態検出装置 | |
| JP3444115B2 (ja) | 居眠り状態検出装置 | |
| JP2541689B2 (ja) | 眼位置検出装置及び被検者状態検出装置 | |
| JPH04216403A (ja) | 眼位置検出装置 | |
| JPH08249454A (ja) | 車両運転者のわき見検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |