JP5694161B2 - 瞳孔検出装置及び瞳孔検出方法 - Google Patents
瞳孔検出装置及び瞳孔検出方法 Download PDFInfo
- Publication number
- JP5694161B2 JP5694161B2 JP2011521790A JP2011521790A JP5694161B2 JP 5694161 B2 JP5694161 B2 JP 5694161B2 JP 2011521790 A JP2011521790 A JP 2011521790A JP 2011521790 A JP2011521790 A JP 2011521790A JP 5694161 B2 JP5694161 B2 JP 5694161B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- image
- unit
- pupil detection
- red
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 title claims description 348
- 238000001514 detection method Methods 0.000 title claims description 319
- 241000593989 Scardinius erythrophthalmus Species 0.000 claims description 83
- 201000005111 ocular hyperemia Diseases 0.000 claims description 83
- 238000003384 imaging method Methods 0.000 claims description 81
- 238000000926 separation method Methods 0.000 claims description 14
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 47
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 21
- 238000011156 evaluation Methods 0.000 description 18
- 210000001508 eye Anatomy 0.000 description 16
- 238000000034 method Methods 0.000 description 13
- 230000001815 facial effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Description
[瞳孔検出装置の構成]
図1は、本発明の実施の形態1に係る瞳孔検出装置100の構成を示すブロック図である。瞳孔検出装置100は、例えば、自動車の車室内に設けられ、警報装置と接続されて使用される。この警報装置は、瞳孔検出装置100の検出結果に基づいて、ドライバーの視線方向を検出し、ドライバーが正面を長時間向かなかった場合には、ドライバーに対して警告を行って注意を喚起する。以下では、特に、瞳孔検出装置100が自動車の車室内に設定された場合を例にとって説明する。
以上の構成を有する瞳孔検出装置100の動作について説明する。図8は、瞳孔検出装置100の動作説明に供するフロー図である。図8のフロー図には、上記した警報装置における処理フローも含まれている。すなわち、図8には、瞳孔検出装置100が警報装置に適用された場合の処理フローが示されている。
ステップS201で画像入力部101,102は、発光して撮像ターゲット(つまり、ここでは、人物)を照射すると共に、その撮像ターゲットを撮像する。これにより、ターゲット画像が取得される。
ステップS202で顔検出部131,141は、画像入力部101,102から受け取るターゲット画像から顔画像を検出する。図9は、ターゲット画像である顔画像を示す図である。図9Aは、撮像部111で撮像した、赤目現象発生時の画像を示す図であり、図9Bは、撮像部121で撮像した、赤目現象が発生していない時の画像を示す図である。なお、撮像した顔画像では、例えば、画像横方向をX軸、画像縦方向をY軸とし、1画素が1座標点である。
ステップS205−S208で切替判定部105は、画像入力部101から受け取るターゲット画像データから赤目発生強度を算出し、算出された赤目発生強度と、赤目発生強度と瞳孔検出正解率との相関特性とに基づいて、後段の処理部(例えば、視線方向算出部)へ出力する信号として、瞳孔検出部103の瞳孔検出結果及び瞳孔検出部104の瞳孔検出結果のいずれかを選択する。
ただし、Eは、瞳孔検出信頼度であり、tは、撮像時刻である。
ステップS209で視線方向算出部(図示せず)は、ステップS203で得られた顔部品群の座標と、ステップS204で得られた瞳孔画像の中心座標とから、視線方向を算出する。
ステップS210で警報装置(図示せず)は、ステップS209で得られた視線方向から運転者が正面を向いているか否かを判定し、判定結果に基づいて、警報処理を実行する。すなわち、視線方向が所定の時間以上、所定の角度範囲外を向いている場合には、警報が発せられる。この警報は、警告メッセージ含む表示、音声合成LSIによる音声メッセージ、LED発光、スピーカ等による放音、またはこれらの組み合わせである。
実施の形態2では、算出された赤目発生強度と、赤目発生強度と瞳孔検出正解率との相関特性とに加えて、照度係数に基づいて、瞳孔検出結果を選択する。
実施の形態3では、複数のモードのそれぞれに対応する相関特性が用意され、選択されたモードに応じた相関特性を用いて、瞳孔検出信頼度を算出する。
(1)上記各実施の形態では、画像入力部101及び画像入力部102のそれぞれに、撮像部と照射部とが1つずつ設けられる場合について説明した。しかしながら、本発明は、これに限定されるものではない。例えば、瞳孔検出装置100は、2つの撮像部及び1つの照射部から構成される撮像ユニットを具備する構成であっても良い(図19A参照)。逆に、瞳孔検出装置100は、1つの撮像部及び2つの照射部から構成される撮像ユニットを具備する構成であっても良い(図19B参照)。要は、撮像部と照射部とのペアであって撮像部と照射部との離間距離が異なるペアが2つ存在していれば良い。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
101,102 画像入力部
103,104 瞳孔検出部
105,702,902 切替判定部
106,703 評価値記憶部
111,121 撮像部
112,122 照射部
113,123 同期部
131,141 顔検出部
132,142 顔部品検出部
133,143 瞳孔情報算出部
151 赤目発生強度算出部
152,911 特性算出部
153,711 出力信号選択部
200 撮像ユニット
701 照度計測器
901 モード選択部
Claims (4)
- 所定の離間距離だけ離れた撮像手段と撮像時に発光する発光手段とからなる第1の撮像ペアと、
前記所定の離間距離が第1の撮像ペアよりも大きい第2の撮像ペアと、
前記第1の撮像ペアによって人物が撮像された第1の人物画像から、第1の瞳孔画像を検出し、前記第2の撮像ペアによって前記人物が撮像された第2の人物画像から、第2の瞳孔画像を検出する検出手段と、
前記第1の瞳孔画像外の周辺画像の輝度に対する、前記第1の瞳孔画像内の輝度の相対輝度である赤目発生強度の算出値と、赤目発生強度と瞳孔検出精度値との相関特性と、に基づいて、前記赤目発生強度の算出値に対応する瞳孔検出精度値を算出する精度値算出手段と、
前記算出された瞳孔検出精度値の変動傾向特性に基づいて、前記第1の瞳孔画像の検出結果又は前記第2の瞳孔画像の検出結果を選択的に出力する選択手段と、
を具備する瞳孔検出装置。 - 前記選択手段は、
所定の期間における前記算出された瞳孔検出精度値のすべてが所定の閾値未満であり、かつ、前記算出された瞳孔検出精度値の時間変動傾向が単調減少する変動傾向特性である場合に、前記第1の瞳孔画像の検出結果を選択する請求項1に記載の瞳孔検出装置。 - 前記所定の閾値は、赤目発生強度と前記第1の瞳孔画像の瞳孔検出精度値との第1の相関特性と、赤目発生強度と前記第2の瞳孔画像の瞳孔検出精度値との第2の相関特性とが交わる点に対応する瞳孔検出精度値である請求項2に記載の瞳孔検出装置。
- 前記撮像時の照度に基づいて、前記変動傾向特性を補正する補正手段をさらに具備し、
前記選択手段は、前記補正後の変動傾向特性に基づいて、前記第1の瞳孔画像の検出結果又は前記第1の瞳孔画像の検出結果を選択する請求項1に記載の瞳孔検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011521790A JP5694161B2 (ja) | 2010-02-26 | 2011-01-24 | 瞳孔検出装置及び瞳孔検出方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010042455 | 2010-02-26 | ||
JP2010042455 | 2010-02-26 | ||
JP2011521790A JP5694161B2 (ja) | 2010-02-26 | 2011-01-24 | 瞳孔検出装置及び瞳孔検出方法 |
PCT/JP2011/000359 WO2011105004A1 (ja) | 2010-02-26 | 2011-01-24 | 瞳孔検出装置及び瞳孔検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011105004A1 JPWO2011105004A1 (ja) | 2013-06-17 |
JP5694161B2 true JP5694161B2 (ja) | 2015-04-01 |
Family
ID=44506439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011521790A Active JP5694161B2 (ja) | 2010-02-26 | 2011-01-24 | 瞳孔検出装置及び瞳孔検出方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8810642B2 (ja) |
EP (1) | EP2541493B1 (ja) |
JP (1) | JP5694161B2 (ja) |
CN (1) | CN102439627B (ja) |
WO (1) | WO2011105004A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104094197B (zh) * | 2012-02-06 | 2018-05-11 | 索尼爱立信移动通讯股份有限公司 | 利用投影仪的注视追踪 |
GB201302887D0 (en) * | 2013-02-19 | 2013-04-03 | Optos Plc | Improvements in or relating to image processing |
JP5999013B2 (ja) * | 2013-04-12 | 2016-09-28 | 株式会社デンソー | 開眼状態判定装置 |
JP6260006B2 (ja) * | 2013-07-30 | 2018-01-17 | パナソニックIpマネジメント株式会社 | 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置 |
WO2015106202A1 (en) * | 2014-01-10 | 2015-07-16 | Carleton Life Support Systems, Inc. | Reduced cognitive function detection and alleviation system for a pilot |
DE102014013165A1 (de) * | 2014-09-04 | 2016-03-10 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | Kraftfahrzeug sowie Verfahren zum Betrieb eines Kraftfahrzeugs |
WO2016099402A1 (en) * | 2014-12-16 | 2016-06-23 | Singapore Health Services Pte Ltd | A method and system for monitoring and/or assessing pupillary responses |
JP6582604B2 (ja) | 2015-06-23 | 2019-10-02 | 富士通株式会社 | 瞳孔検出プログラム、瞳孔検出方法、瞳孔検出装置および視線検出システム |
JP6536324B2 (ja) * | 2015-09-30 | 2019-07-03 | 富士通株式会社 | 視線検出システム、視線検出方法および視線検出プログラム |
DE102017202659A1 (de) * | 2017-02-20 | 2018-08-23 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zur Erkennung der Müdigkeit eines Fahrzeugführers |
EP3415078A1 (en) | 2017-06-16 | 2018-12-19 | Essilor International | Method and system for determining a pupillary distance of an individual |
US10402644B1 (en) * | 2017-10-24 | 2019-09-03 | Wells Fargo Bank, N.A. | System and apparatus for improved eye tracking using a mobile device |
US10956737B1 (en) * | 2017-10-24 | 2021-03-23 | Wells Fargo Bank, N.A. | System and apparatus for improved eye tracking using a mobile device |
CN108053444B (zh) * | 2018-01-02 | 2021-03-12 | 京东方科技集团股份有限公司 | 瞳孔定位方法及装置、设备和存储介质 |
CN110393504B (zh) * | 2018-04-24 | 2022-02-15 | 高金铎 | 一种智能鉴毒的方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0694980A (ja) * | 1992-09-14 | 1994-04-08 | Nikon Corp | 視線検出装置付きカメラ |
JPH07319037A (ja) * | 1994-05-19 | 1995-12-08 | Olympus Optical Co Ltd | 視線検出カメラ及びプリンタ装置 |
JP2008158922A (ja) * | 2006-12-26 | 2008-07-10 | Aisin Seiki Co Ltd | 瞼検出装置、瞼検出方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7280678B2 (en) * | 2003-02-28 | 2007-10-09 | Avago Technologies General Ip Pte Ltd | Apparatus and method for detecting pupils |
WO2004107695A1 (ja) * | 2003-05-27 | 2004-12-09 | Nec Corporation | 適応変調において適切な閾値で変調方式を選択するデータ通信装置 |
CN100350877C (zh) * | 2003-07-04 | 2007-11-28 | 松下电器产业株式会社 | 活体眼睛判定方法及活体眼睛判定装置 |
JP2006338236A (ja) | 2005-06-01 | 2006-12-14 | Matsushita Electric Ind Co Ltd | 眼画像撮影装置およびそれを用いた認証装置 |
JP5089405B2 (ja) | 2008-01-17 | 2012-12-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法並びに撮像装置 |
JP5170677B2 (ja) | 2008-08-08 | 2013-03-27 | 日立工機株式会社 | 電動工具 |
US8081254B2 (en) * | 2008-08-14 | 2011-12-20 | DigitalOptics Corporation Europe Limited | In-camera based method of detecting defect eye with high accuracy |
-
2011
- 2011-01-24 WO PCT/JP2011/000359 patent/WO2011105004A1/ja active Application Filing
- 2011-01-24 US US13/318,431 patent/US8810642B2/en active Active
- 2011-01-24 JP JP2011521790A patent/JP5694161B2/ja active Active
- 2011-01-24 CN CN201180001860.1A patent/CN102439627B/zh active Active
- 2011-01-24 EP EP11746977.5A patent/EP2541493B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0694980A (ja) * | 1992-09-14 | 1994-04-08 | Nikon Corp | 視線検出装置付きカメラ |
JPH07319037A (ja) * | 1994-05-19 | 1995-12-08 | Olympus Optical Co Ltd | 視線検出カメラ及びプリンタ装置 |
JP2008158922A (ja) * | 2006-12-26 | 2008-07-10 | Aisin Seiki Co Ltd | 瞼検出装置、瞼検出方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2541493A1 (en) | 2013-01-02 |
WO2011105004A1 (ja) | 2011-09-01 |
EP2541493A4 (en) | 2017-03-29 |
JPWO2011105004A1 (ja) | 2013-06-17 |
CN102439627A (zh) | 2012-05-02 |
US20120050516A1 (en) | 2012-03-01 |
US8810642B2 (en) | 2014-08-19 |
EP2541493B1 (en) | 2019-10-23 |
CN102439627B (zh) | 2014-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5694161B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP5529660B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
US10878237B2 (en) | Systems and methods for performing eye gaze tracking | |
JP5661043B2 (ja) | 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法 | |
JP4583527B2 (ja) | 眼の位置を判断する方法 | |
JP4078334B2 (ja) | 画像処理装置および画像処理方法 | |
JP5230748B2 (ja) | 視線方向判定装置及び視線方向判定方法 | |
JP5538160B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
EP1471455A2 (en) | Digital camera | |
JP5466610B2 (ja) | 視線推定装置 | |
JP2004320287A (ja) | デジタルカメラ | |
US11163994B2 (en) | Method and device for determining iris recognition image, terminal apparatus, and storage medium | |
KR20160050755A (ko) | 전자 장치 및 그의 홍채 인식 방법 | |
WO2018051681A1 (ja) | 視線計測装置 | |
JP2003150942A (ja) | 目位置追跡方法 | |
CN112153363B (zh) | 用于3d角膜位置估计的方法和系统 | |
JP6856017B2 (ja) | 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法 | |
CN113879321B (zh) | 驾驶员监视装置及驾驶员监视方法 | |
US11156831B2 (en) | Eye-tracking system and method for pupil detection, associated systems and computer programs | |
JP2017162233A (ja) | 視線検出装置および視線検出方法 | |
CN110147713A (zh) | 一种疲劳驾驶检测方法及系统 | |
JP2005018405A (ja) | 目画像撮像装置 | |
JPH0761256A (ja) | 車両用前方不注意検知装置 | |
JP2024120464A (ja) | 瞳孔検出装置及び瞳孔検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130607 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5694161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |