JP4899059B2 - 眠気検知装置 - Google Patents
眠気検知装置 Download PDFInfo
- Publication number
- JP4899059B2 JP4899059B2 JP2007092541A JP2007092541A JP4899059B2 JP 4899059 B2 JP4899059 B2 JP 4899059B2 JP 2007092541 A JP2007092541 A JP 2007092541A JP 2007092541 A JP2007092541 A JP 2007092541A JP 4899059 B2 JP4899059 B2 JP 4899059B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- area
- drowsiness
- image
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、撮影した画像によって、対象者の瞳孔の面積を検出し、それに基づいて対象者の眠気を検知する装置に関するものである。
車両、特に大型トラックを利用した運送業における運転手の居眠り運転は、多くの犠牲者を出しやすく、居眠り運転防止対策は近々の重要課題である。そのため、対象者の眠気を検知する手段を、車両の運転手の居眠り防止手段として適用することが検討されている。
眠気検知には、脳波、心拍、脈拍を計測して、その変化から検知する方法が一般的には信頼が高いと考えられているが、運転中の運転者のそれらを非接触で計測することは難しく、また運転手にこれらの計測装置を装着することも現実的でなく、実用化は難しいと考えられる。
運転手に非接触の状態で眠気を検出するために、運転手の顔画像における顔の表情や眼の様子に注目した開発も行なわれている。
眠気検知には、脳波、心拍、脈拍を計測して、その変化から検知する方法が一般的には信頼が高いと考えられているが、運転中の運転者のそれらを非接触で計測することは難しく、また運転手にこれらの計測装置を装着することも現実的でなく、実用化は難しいと考えられる。
運転手に非接触の状態で眠気を検出するために、運転手の顔画像における顔の表情や眼の様子に注目した開発も行なわれている。
例えば、特許文献１では、運転手の意識レベルを画像によって検出するための装置において、運転手の瞳孔の大きさによって運転手の目に入射する赤外光を調整することが開示されている。
特許文献２では、目の開度を検出することで、運転手の状態を検出することが開示されている。
また、特許文献３では、瞳孔径の変化速度が所定値より大きいときに、操作者が緊張状態にあるとして、車両を制御することが開示されている。
特許文献２では、目の開度を検出することで、運転手の状態を検出することが開示されている。
また、特許文献３では、瞳孔径の変化速度が所定値より大きいときに、操作者が緊張状態にあるとして、車両を制御することが開示されている。
さらに、運転者の意識レベル低下を検出するには、PERCLOSという手法も有望視されている。ここで、PERCLOS （Percent of the time eyelids are closed）とは、アメリカ道路交通安全局に認可された、運転者の疲労度を測定する手段で、目を閉じている時間割合を表すものである。(D. F. Dinges, M. Mallis, G. Maislin, and J. W. Powell. Evaluationof techniques for ocular measurement as an index of fatigue and the basis foralertness management. Department of Transportation Highway Safety publication808 762, April, 1998.)
また、ACEM（the average eye closure/opening speed, i.e., the amount of timeneeded to fully close the eyes and to fully open the eyes）という目の開閉速度に注目した手法もある。例えば、QiangJi and Xiaojie Yang, Real Time Visual Cues Extraction for Monitoring DriverVigilance" Lecture Notes in Computer Science: Computer Vision Systems,vol. 2095, (Ed.) B. Schiele, G. Sagerer (Eds.), Springer, pp. 107, June, 2001.
では、PERCLOSとACEMを測定した事例を記載している。
特開平７−３２９０７号公報
特開２０００−１４２１６４号公報
特開２０００−３５１３３７号公報
では、PERCLOSとACEMを測定した事例を記載している。
前記のとおり、運転手の状態を検知するために、目瞼の状態や瞳孔径を検出することも検討されている。ところで、ここでいう瞳孔径は横方向の瞳孔径であることが想定される。なぜなら、特許文献３にも、「検出した瞳孔の位置に対応する画像データの水平方向ピクセル数のうち最大値を、瞳孔径Ｌとして検出する。ここで、水平方向に注目するのは、垂直方向に注目した場合にはドライバによる「瞬き」が影響することによって正確な瞳孔径が検出できないからである。」という記述があるように、瞳孔は上下の目瞼によって隠れることから、縦方向の径の検出は横方向の場合に対して困難だからである。
しかし、横方向の瞳孔径であっても、縦方向ほどではなくとも、目瞼によって隠されて正確に検出できないことも当然に生じる。
しかし、横方向の瞳孔径であっても、縦方向ほどではなくとも、目瞼によって隠されて正確に検出できないことも当然に生じる。
また、覚醒度が高いときには、瞳孔は大きくサイズも安定しているが、覚醒度が低下すると瞳孔径の平均は小さくなり、振動することが知られている。これは、リラックス度が増したり、覚醒度が低下したりしたときに、瞳孔面積が揺らぐ現象（hippus）である。Hippusは、瞳孔面積が０．２Hz（5秒に一回）ほどの周波数で振動する現象であり、古くから眠気に関連すると考えられてきた。（Mathematical procedures in data recording and processing ofpupillary fatigue waves, Vision Research, Volume 38, Issue 19, October 1998,Pages 2889-2896、Holger Ludtke, Barbara Wilhelm, Martin Adler, Frank Schaeffel andHelmut Wilhelm）。
この論文においては、実験的に、可視光を遮断するが近赤外を透過するカバーで両目を覆い、外側から近赤外線を照射して同様に外側からカメラで撮影し、瞳孔の横の長さを撮影した。しかし、眼のそばから、眼を大きく映し出しているような環境下では瞳孔の横の長さを検出するのは可能かも知れないが、この論文に示されているように、瞬目(瞬き)も生じる中、瞳孔の水平方向の径を正確に計測するのは、このように、目のすぐそばにカメラと光源を設置するような方法でない限り難しく、実用的ではない。
また、瞳孔の横の径は、まつ毛によって分断されることがあり、安定した値として検出し難いという問題もある。
この論文においては、実験的に、可視光を遮断するが近赤外を透過するカバーで両目を覆い、外側から近赤外線を照射して同様に外側からカメラで撮影し、瞳孔の横の長さを撮影した。しかし、眼のそばから、眼を大きく映し出しているような環境下では瞳孔の横の長さを検出するのは可能かも知れないが、この論文に示されているように、瞬目(瞬き)も生じる中、瞳孔の水平方向の径を正確に計測するのは、このように、目のすぐそばにカメラと光源を設置するような方法でない限り難しく、実用的ではない。
また、瞳孔の横の径は、まつ毛によって分断されることがあり、安定した値として検出し難いという問題もある。
また、画像処理により眼瞼を検出して、その動きから目の開閉を検出し、瞬きを検出することで、対象者の状態を検知する方法もある。しかし、眼瞼の検出は、車中のように周囲の光環境が大きく変化する中では難しい。
さらに、眠くなると視線が下を向く傾向があることから、視線計測を利用した方法も提案されている。この場合も、目頭、目尻等をテンプレートマッチング法で検出して、黒目を分離度フィルターを利用するなどして、検出するのが一般的であるが、どちらも周囲の光環境の変化に弱い。最近ではステレオカメラを用いてテンプレートマッチングにより、検出した特徴同士の三次元的形状を記録し、それを基にロバストに目頭、目尻を検出しようとする方法もある。しかし、この方法でも、周囲の光環境の変化に弱い。したがって、顔表情の変化を検出するのも現状では困難である。
さらに、眠くなると視線が下を向く傾向があることから、視線計測を利用した方法も提案されている。この場合も、目頭、目尻等をテンプレートマッチング法で検出して、黒目を分離度フィルターを利用するなどして、検出するのが一般的であるが、どちらも周囲の光環境の変化に弱い。最近ではステレオカメラを用いてテンプレートマッチングにより、検出した特徴同士の三次元的形状を記録し、それを基にロバストに目頭、目尻を検出しようとする方法もある。しかし、この方法でも、周囲の光環境の変化に弱い。したがって、顔表情の変化を検出するのも現状では困難である。
一方で、トラック等の事故は夜中から朝方にかけて多い。したがって、眠気検知装置を実用化する上で、周囲が暗い中で眠気が検知できれば、必ずしも昼間の明るい場合まで検知できなくても、十分有用である。
ところで、前記の顔画像から眠気を検知しようとする方法において、周囲が暗ければ近赤外線を顔に照射しなければならない。しかし、その光源が原因で、眼鏡のレンズの表面やフレームに生じる反射光(眼鏡反射)が生じ、それが眼瞼を検出する方法や、黒目検出とテンプレートマッチング法では致命的な影響を与える。また、眼鏡の形状によっては、眼鏡のフレームによって、眼瞼が隠れやすいことさえあるため、実用的とは言えない。
ところで、前記の顔画像から眠気を検知しようとする方法において、周囲が暗ければ近赤外線を顔に照射しなければならない。しかし、その光源が原因で、眼鏡のレンズの表面やフレームに生じる反射光(眼鏡反射)が生じ、それが眼瞼を検出する方法や、黒目検出とテンプレートマッチング法では致命的な影響を与える。また、眼鏡の形状によっては、眼鏡のフレームによって、眼瞼が隠れやすいことさえあるため、実用的とは言えない。
以上のような状況の中で、本発明者は、顔画像によって瞳孔の面積を検出して、これによって対象者の眠気を検知することで、以下のような理由から、上記の問題を解決できるという知見を得て本発明をなし得たものである。
すなわち、先ず最初の理由として、顔画像から瞳孔を検出し、その瞳孔部分を画定して、眠気判定のファクターとする面積を検出することが、他の箇所におけるファクター、とりわけ従来手法で用いられる瞳孔径や目瞼の状態の検出に比べて容易でかつロバスト性が高い。
特に、車両の運転において、眠気検知の実用化が最も望まれる夜間においては、瞳孔は眠気がないときは、大きく開いており、瞳孔部分及びその面積の検出が容易である。また、近赤外線をカメラ近傍から照射する等によって、明瞳孔の撮影画像を利用すれば、さらに、容易である。また、瞳孔及びその面積の検出には、明瞳孔と暗瞳孔の差分をとる手法も採用可能であって、その場合は、尚更、検出が容易で正確なものとできる。
すなわち、先ず最初の理由として、顔画像から瞳孔を検出し、その瞳孔部分を画定して、眠気判定のファクターとする面積を検出することが、他の箇所におけるファクター、とりわけ従来手法で用いられる瞳孔径や目瞼の状態の検出に比べて容易でかつロバスト性が高い。
特に、車両の運転において、眠気検知の実用化が最も望まれる夜間においては、瞳孔は眠気がないときは、大きく開いており、瞳孔部分及びその面積の検出が容易である。また、近赤外線をカメラ近傍から照射する等によって、明瞳孔の撮影画像を利用すれば、さらに、容易である。また、瞳孔及びその面積の検出には、明瞳孔と暗瞳孔の差分をとる手法も採用可能であって、その場合は、尚更、検出が容易で正確なものとできる。
また、次の理由として、従来の瞳孔径を検出しようとする技術においては、目瞼によって瞳孔が隠れることについて、対応を考慮していなかった。しかし、本発明では、瞳孔の面積を眠気の検出に用いることで、この問題も解決できている。
すなわち、眠くなると、眼瞼がゆっくりと閉じてくるが、眼瞼によって瞳孔が隠れることにより、カメラに写る面積も小さくなることと、眠気によって実際に瞳孔が小さくなることとはほぼ同時に起っており、眠気検出するのが目的であるならば、それらを区別する必要がないという知見を見出した。
このように、カメラによって顔の前方から検出される瞳孔の面積は、実際の瞳孔面積の変化だけでなく、上下の眼瞼が瞳孔に被さることによっても変化する。その場合、瞳孔の形状が変化するが、本発明では、カメラに写る瞳孔の形状と関係なく単にファクターとなる瞳孔面積を計測することにより、容易にかつ正確で迅速に対象者の眠気を検知できる。
すなわち、眠くなると、眼瞼がゆっくりと閉じてくるが、眼瞼によって瞳孔が隠れることにより、カメラに写る面積も小さくなることと、眠気によって実際に瞳孔が小さくなることとはほぼ同時に起っており、眠気検出するのが目的であるならば、それらを区別する必要がないという知見を見出した。
このように、カメラによって顔の前方から検出される瞳孔の面積は、実際の瞳孔面積の変化だけでなく、上下の眼瞼が瞳孔に被さることによっても変化する。その場合、瞳孔の形状が変化するが、本発明では、カメラに写る瞳孔の形状と関係なく単にファクターとなる瞳孔面積を計測することにより、容易にかつ正確で迅速に対象者の眠気を検知できる。
本発明は、以上のようになされたものであり、観察対象者の眠気を容易に、迅速に、ロバスト性高く検知でき、特に車両に適用して有用な眠気検知装置を提供することを目的とする。
このような目的を達成するために、本発明の眠気検知装置は、対象者の顔を撮影する撮影手段と、撮影された顔画像から瞳孔の面積を検出する瞳孔面積検出手段と、検出された瞳孔面積を基準値と比較することにより、対象者の眠気を検知する眠気検知手段とを備えることを特徴とする。
本発明によれば、撮影手段によって撮影された対象者の顔画像から、瞳孔の箇所とその面積を検出することができる。そして、その瞳孔面積を基準値と比較することにより、対象者が眠気によって瞳孔が小さくなることと、目瞼によって瞳孔が塞がれていくことも合わせて、しかも、瞳孔の形状の変化にもかかわらず、容易にかつ正確に算定される瞳孔面積よって、対象者の眠気を容易に、迅速に、ロバスト性高く検知できる。
本発明によれば、撮影手段によって撮影された対象者の顔画像から、瞳孔の箇所とその面積を検出することができる。そして、その瞳孔面積を基準値と比較することにより、対象者が眠気によって瞳孔が小さくなることと、目瞼によって瞳孔が塞がれていくことも合わせて、しかも、瞳孔の形状の変化にもかかわらず、容易にかつ正確に算定される瞳孔面積よって、対象者の眠気を容易に、迅速に、ロバスト性高く検知できる。
また、本発明において、眠気検知手段が、瞬きによる信号を除去して瞳孔面積の信号とする演算手段を備える場合は、眠気とは関係の無い短い瞬き等によって影響を受けることなく、眠気を検知することができる。
また、本発明において、眠気検知手段が、瞳孔の平均面積よりも小さな閾値を設定し、一定期間内において瞳孔面積が閾値を下回る割合が予め設定した割合を超えたときに眠気と判定する手段を備える場合は、状況に合わせた設定によって、擾乱を排除した安定した眠気の判定ができる。
また、本発明において、瞳孔面積検出手段が、明瞳孔画像と暗瞳孔画像を画像差分して得られる差分画像を２値化することによって得た画素数を換算して瞳孔面積とする演算手段を備える場合は、周囲が明るい場合や対象者の瞳孔の近くにメガネの反射やまつ毛が存在するような場合にも、支障なく瞳孔面積の検出ができる。なお、画素数を瞳孔面積に換算するということは、画素数自体を瞳孔面積の値とすることも含む。
また、本発明において、眠気検知装置は、車載用である場合は、観察対象者である車両運転手の眠気をすばやく検知することができる。
また、本発明において、眠気検知装置は、車載用である場合は、観察対象者である車両運転手の眠気をすばやく検知することができる。
また、本発明において、眠気検知手段によって対象者の眠気を検知した場合に、警告音を発する手段を備える場合は、対象者に対して、眠気を検知した際に警告音を発し、運転手などの観察対象者が眠気によって事故を起こす等を防止することができる。
また、本発明において、対象者の顔の撮影における周囲光の強さによって、眠気の判定を修正する手段を備える場合は、撮影の周囲光の変化によって対象者の瞳孔面積が変化し、それによる眠気の判定の誤りを防止することができる。
本発明は、観察対象者の眠気を容易に、迅速に、ロバスト性高く検知でき、特に車両に適用して有用な眠気検知装置を提供することができる。
以下、図面に基づいて、本発明による装置の好適な実施形態について説明する。
図１は、本実施形態の眠気検知装置１の概念図である。眠気検知装置１は、撮影手段２、制御手段３、瞳孔面積検出手段４、眠気検知手段５を備えている。
撮影手段２は、カメラ２１及び光源２２、２３を備えており、撮影者Aの瞳孔Pを含む顔画像を撮影する。カメラ２１は、車内に設置することから、対象者の顔から７０〜８０ｃｍ程度離し、前方下方斜めから撮影することが瞳孔を撮影するためには好ましい。
カメラ２１としては、例えば、NTSC方式のカメラ等が採用される。カメラ２１による撮影や光源の点灯は、例えば、パソコン等の制御装置３によって制御される。
撮影された顔画像は、瞳孔面積検出手段４において、画像が解析されて瞳孔の面積が演算される。
瞳孔面積検出手段４において、演算された瞳孔面積の値は、眠気検知手段５において、演算処理されて、対象者が眠気の状態かどうかが判定され、必要に応じて、警告音が発せられる。ここで、制御手段３、瞳孔面積検出手段４、眠気検知手段５は、それぞれ、別の装置であっても、同じ１つのパソコン等であってもよい。
また、瞳孔面積検出のために、明瞳孔画像と暗瞳孔画像による差分画像を利用しない場合であれば、図のように撮影手段２に２つの光源を用いる必要はない。また、差分画像を利用する場合であっても、１つの光源によることも可能である。
また、カメラには、光源が発する光だけを通すバンドパスフィルタを取り付ける。これにより、瞳孔検出に余分な可視光をある程度カットできる。
図１は、本実施形態の眠気検知装置１の概念図である。眠気検知装置１は、撮影手段２、制御手段３、瞳孔面積検出手段４、眠気検知手段５を備えている。
撮影手段２は、カメラ２１及び光源２２、２３を備えており、撮影者Aの瞳孔Pを含む顔画像を撮影する。カメラ２１は、車内に設置することから、対象者の顔から７０〜８０ｃｍ程度離し、前方下方斜めから撮影することが瞳孔を撮影するためには好ましい。
カメラ２１としては、例えば、NTSC方式のカメラ等が採用される。カメラ２１による撮影や光源の点灯は、例えば、パソコン等の制御装置３によって制御される。
撮影された顔画像は、瞳孔面積検出手段４において、画像が解析されて瞳孔の面積が演算される。
瞳孔面積検出手段４において、演算された瞳孔面積の値は、眠気検知手段５において、演算処理されて、対象者が眠気の状態かどうかが判定され、必要に応じて、警告音が発せられる。ここで、制御手段３、瞳孔面積検出手段４、眠気検知手段５は、それぞれ、別の装置であっても、同じ１つのパソコン等であってもよい。
また、瞳孔面積検出のために、明瞳孔画像と暗瞳孔画像による差分画像を利用しない場合であれば、図のように撮影手段２に２つの光源を用いる必要はない。また、差分画像を利用する場合であっても、１つの光源によることも可能である。
また、カメラには、光源が発する光だけを通すバンドパスフィルタを取り付ける。これにより、瞳孔検出に余分な可視光をある程度カットできる。
図２に、明瞳孔画像と暗瞳孔画像の差分画像を用いて瞳孔面積の検出を行なう場合の瞳孔面積検出手段４における処理ステップの一例を記載する。ここでは、ステップ４１において、明瞳孔画像と暗瞳孔画像を取得し、その差分を演算することで瞳孔部分の差分画像を画定し（ステップ４２）、得られた差分画像の画素数を計数する等によって瞳孔面積を演算する（ステップ４３）。なお、瞳孔面積は、両方の瞳孔が検出されている場合は、その平均値とし、片方のみが検出されているときはそれを瞳孔面積としてもよい。
ここで、明瞳孔と暗瞳孔について、説明する。
図１において、カメラ２１の開口近くに近赤外線等の光源２２を設け、カメラの光軸に沿うようにして光を対象者Aの顔に照射して撮影すると、光は瞳孔Pから網膜に達して反射し、水晶体、角膜を通ってカメラ２１の開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラ２１の開口から離した近赤外線等の光源２３による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラ２１の開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲にはまつ毛等もあり、また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることがある。そのため、特に、昼間の明るくて瞳孔が小さくなっているようなときには、瞳孔を検出してその面積を求めるのに困難な場合もある。
しかし、明瞳孔を撮影した画像から暗瞳孔を撮影した画像を差し引く差分演算を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが明るく浮き彫りになる。これによって、瞳孔を容易に検出し、正確な面積を計数することができる。
図１において、カメラ２１の開口近くに近赤外線等の光源２２を設け、カメラの光軸に沿うようにして光を対象者Aの顔に照射して撮影すると、光は瞳孔Pから網膜に達して反射し、水晶体、角膜を通ってカメラ２１の開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラ２１の開口から離した近赤外線等の光源２３による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラ２１の開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲にはまつ毛等もあり、また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることがある。そのため、特に、昼間の明るくて瞳孔が小さくなっているようなときには、瞳孔を検出してその面積を求めるのに困難な場合もある。
しかし、明瞳孔を撮影した画像から暗瞳孔を撮影した画像を差し引く差分演算を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが明るく浮き彫りになる。これによって、瞳孔を容易に検出し、正確な面積を計数することができる。
例えば、ＮＴＳＣ方式のカメラ撮影における１／３０秒毎の１フレームを構成する奇数フィールドと偶数フィールドとをそれぞれ明瞳孔画像と暗瞳孔画像として取得し、それらの差分画像を演算し、さらにＰタイル法などのよって輝度の閾値を決定して画素を２値化することで、瞳孔の存在する部分の画素数を得て、この換算値を瞳孔面積とすることができる。
また、対象者の顔が移動することで、瞳孔の位置も変化するが、予め、瞳孔を含む小さなウインドウを設定しておき、カルマンフィルターなどの予測モデルによって、ウインドウの位置変化を予測して、予測される範囲に次のウインドウを設け、ウインドウ内だけを差分する等によって、演算を効率化することも可能である。
また、対象者の顔が移動することで、瞳孔の位置も変化するが、予め、瞳孔を含む小さなウインドウを設定しておき、カルマンフィルターなどの予測モデルによって、ウインドウの位置変化を予測して、予測される範囲に次のウインドウを設け、ウインドウ内だけを差分する等によって、演算を効率化することも可能である。
次に、図３に眠気検知手段５における処理ステップの一例を示す。
前記のように、例えば、１／３０秒ごとに明瞳孔画像と暗瞳孔画像の差分画像に基づく瞳孔面積を検出すると、対象者が眠気を感じていない通常の状態であっても、短い瞬きやその他急激な顔の移動などで、検出された瞳孔面積が零又はそれに近い小さな値になることやその反動で急激な突出した値となることがある。このような瞬時の急激な信号変動する瞳孔面積を眠気判定のデータとしていたのでは、かえって正確な判定ができない。そのために、ステップ５１においては、そのような短時間の瞬き等による瞳孔面積の変動したデータ信号を除去する演算を行なっている。
そのための手段としては、論理回路やフィルタによって単発的で急激に変動した信号を除くことや信号を平滑化するなどの各種の手法を用いることができる。
そして、以下の処理ステップにおいては、このように短い瞬きや何らかの測定上のエラーに基づく短時間の変動の信号を除去した瞳孔面積によって、眠気判定のための演算を行なう。
前記のように、例えば、１／３０秒ごとに明瞳孔画像と暗瞳孔画像の差分画像に基づく瞳孔面積を検出すると、対象者が眠気を感じていない通常の状態であっても、短い瞬きやその他急激な顔の移動などで、検出された瞳孔面積が零又はそれに近い小さな値になることやその反動で急激な突出した値となることがある。このような瞬時の急激な信号変動する瞳孔面積を眠気判定のデータとしていたのでは、かえって正確な判定ができない。そのために、ステップ５１においては、そのような短時間の瞬き等による瞳孔面積の変動したデータ信号を除去する演算を行なっている。
そのための手段としては、論理回路やフィルタによって単発的で急激に変動した信号を除くことや信号を平滑化するなどの各種の手法を用いることができる。
そして、以下の処理ステップにおいては、このように短い瞬きや何らかの測定上のエラーに基づく短時間の変動の信号を除去した瞳孔面積によって、眠気判定のための演算を行なう。
ステップ５２において、瞳孔の平均面積を演算する。この値は、以後の眠気判定における１つの基準値ともなるものであるから、対象者が眠気を伴っていない瞳孔検出の初期における平均を求めることが望ましい。
しかし、一方で、たとえば夜中営業用トラックで出発する直前に明るい車庫内で基準値が決まってしまうと、上述の基準値が最適値よりも小さめに算定されるため、結果的に、警告が発生しにくくなる。そこで、たとえば、常に10分ほど前の3分間の平均値を基準値とすることも有効である。逆に、暗所で基準値が決まり、明るいところへ出たとすると、瞳孔が常に小さめになる。この場合、警告が出続ける可能性がある。しかし、この場合は、警告をならす条件が一度満たされなくなり再度満たされたときに警告を出すようにすれば、最初一度だけ警告がなるだけで済むため、あまり問題はない。
次に、瞳孔面積と比較すべき閾値を設定する（ステップ５３）。例えば、前記瞳孔面積の平均値の５５％を閾値とする。
そして、検出した連続する瞳孔面積のデータを次々と閾値と比較し（ステップ５４）、所定の一定期間、例えば５秒間（１５０フレーム）又は１０秒間（３００フレーム）の間に、検出した瞳孔面積が閾値を下回る割合が例えば５０％を超えたときに、対象者が眠気に該当すると判定する（ステップ５５）。
眠気の判定がされたときには、対象者に対して警告音を発して眠気を覚ます。この警告音は、ブザー等の音でも音声でもよく、また、対象者のみでなく、事業所に通知する等を同時に行なうこともあり得る。
ここで、眠気の判定は、瞳孔の平均面積よりも小さな閾値を設定し、一定期間内において瞳孔面積が閾値を下回る割合が予め設定した割合を超えることにより行なっている。しかし、このような手法に限らず、単に一定の閾値を設定しておき、検出した瞳孔面積がこれを下回ったときに眠気を判定することや、一定期間内に所定回数この閾値を下回ったときに眠気と判定することなども可能である。
しかし、一方で、たとえば夜中営業用トラックで出発する直前に明るい車庫内で基準値が決まってしまうと、上述の基準値が最適値よりも小さめに算定されるため、結果的に、警告が発生しにくくなる。そこで、たとえば、常に10分ほど前の3分間の平均値を基準値とすることも有効である。逆に、暗所で基準値が決まり、明るいところへ出たとすると、瞳孔が常に小さめになる。この場合、警告が出続ける可能性がある。しかし、この場合は、警告をならす条件が一度満たされなくなり再度満たされたときに警告を出すようにすれば、最初一度だけ警告がなるだけで済むため、あまり問題はない。
次に、瞳孔面積と比較すべき閾値を設定する（ステップ５３）。例えば、前記瞳孔面積の平均値の５５％を閾値とする。
そして、検出した連続する瞳孔面積のデータを次々と閾値と比較し（ステップ５４）、所定の一定期間、例えば５秒間（１５０フレーム）又は１０秒間（３００フレーム）の間に、検出した瞳孔面積が閾値を下回る割合が例えば５０％を超えたときに、対象者が眠気に該当すると判定する（ステップ５５）。
眠気の判定がされたときには、対象者に対して警告音を発して眠気を覚ます。この警告音は、ブザー等の音でも音声でもよく、また、対象者のみでなく、事業所に通知する等を同時に行なうこともあり得る。
ここで、眠気の判定は、瞳孔の平均面積よりも小さな閾値を設定し、一定期間内において瞳孔面積が閾値を下回る割合が予め設定した割合を超えることにより行なっている。しかし、このような手法に限らず、単に一定の閾値を設定しておき、検出した瞳孔面積がこれを下回ったときに眠気を判定することや、一定期間内に所定回数この閾値を下回ったときに眠気と判定することなども可能である。
次に、撮影における周囲光の強さによる眠気判定の修正手段を説明する。
瞳孔面積は、周囲の明るさが暗い所から明るいところへ出ても、小さくなる。これによる眠気誤検出を防ぐためには、顔にあたる周囲光強度を計測すればよい。太陽光などの環境光（多くの場合、光源と同じ波長の光を含む）は、本発明による装置のカメラにおいても顔画像の明暗に影響を与える。
もし、光源の電流量を一定に保っていれば、明瞳孔画像もしくは暗瞳孔画像は、光源が起源となる画像の明暗は維持されるのに対して、周囲光が起源となる明暗が加算されるため、暗黒中での同画像の明るさを記録しておき、それに対して、どれだけ同画像が明るくなったかを計測することで、周囲光の強さを判断できる。瞳孔面積の減少から警告を出す条件が満たされた時に、さらに周囲光を鑑みて、警告を出すかどうかを判断する。
光源の電流を変化させる場合も、電流値と画像の明るさとの関係をあらかじめ計測してそれを利用して判断する。
別の周囲光の強さを判定する方法としては、瞳孔面積の減少から警告を出す条件が満たされた時に、1フレーム分だけでよいので、光源を消灯して、無照明画像を得て、その画像の明るさから周囲光の強さを判定し、警告を出すかどうかを決定する。
さらに、瞳孔面積に影響を与える可視光を正確に測る方法としては、別途、顔を撮影するカメラもしくは光センサにより、顔にあたる可視光強度を計測する方法がある。
以上のような方法によれば、特に周囲が急激に明るくなって瞳孔が小さくなったときに、誤って警告を出すことを防ぐことができる。
瞳孔面積は、周囲の明るさが暗い所から明るいところへ出ても、小さくなる。これによる眠気誤検出を防ぐためには、顔にあたる周囲光強度を計測すればよい。太陽光などの環境光（多くの場合、光源と同じ波長の光を含む）は、本発明による装置のカメラにおいても顔画像の明暗に影響を与える。
もし、光源の電流量を一定に保っていれば、明瞳孔画像もしくは暗瞳孔画像は、光源が起源となる画像の明暗は維持されるのに対して、周囲光が起源となる明暗が加算されるため、暗黒中での同画像の明るさを記録しておき、それに対して、どれだけ同画像が明るくなったかを計測することで、周囲光の強さを判断できる。瞳孔面積の減少から警告を出す条件が満たされた時に、さらに周囲光を鑑みて、警告を出すかどうかを判断する。
光源の電流を変化させる場合も、電流値と画像の明るさとの関係をあらかじめ計測してそれを利用して判断する。
別の周囲光の強さを判定する方法としては、瞳孔面積の減少から警告を出す条件が満たされた時に、1フレーム分だけでよいので、光源を消灯して、無照明画像を得て、その画像の明るさから周囲光の強さを判定し、警告を出すかどうかを決定する。
さらに、瞳孔面積に影響を与える可視光を正確に測る方法としては、別途、顔を撮影するカメラもしくは光センサにより、顔にあたる可視光強度を計測する方法がある。
以上のような方法によれば、特に周囲が急激に明るくなって瞳孔が小さくなったときに、誤って警告を出すことを防ぐことができる。
次に、本実施形態について実際に実験した実施例を、図４〜２１によって説明する。
実際に運転中の運転者の居眠り状態を観察することは困難であるので、図４のように、暗室で、車載実験を模擬した実験を行った。CCDカメラ２を対象者Aの顔に向けて設置し、プロジェクタを用いて高速道路運転中の映像を映した。
実験は瞳孔が大きくなるよう、夜を想定したため照明を消し、室温は眠りやすいよう２５℃以上に設定した。被験者は、１５分間、実際運転しているようにハンドルを動かすこととされた。
瞳孔面積検出手段４について説明したように、明瞳孔画像と暗瞳孔画像を撮影して、瞳孔の差分画像を得たのが、図５の写真である。この差分画像の画素数（pixel）を瞳孔面積とした。瞳孔面積は、両瞳孔が検出できているときは、両者の瞳孔面積（画素数）を平均値とし、片方の瞳孔のみが検出されているときは、それを瞳孔面積とした。
実際に運転中の運転者の居眠り状態を観察することは困難であるので、図４のように、暗室で、車載実験を模擬した実験を行った。CCDカメラ２を対象者Aの顔に向けて設置し、プロジェクタを用いて高速道路運転中の映像を映した。
実験は瞳孔が大きくなるよう、夜を想定したため照明を消し、室温は眠りやすいよう２５℃以上に設定した。被験者は、１５分間、実際運転しているようにハンドルを動かすこととされた。
瞳孔面積検出手段４について説明したように、明瞳孔画像と暗瞳孔画像を撮影して、瞳孔の差分画像を得たのが、図５の写真である。この差分画像の画素数（pixel）を瞳孔面積とした。瞳孔面積は、両瞳孔が検出できているときは、両者の瞳孔面積（画素数）を平均値とし、片方の瞳孔のみが検出されているときは、それを瞳孔面積とした。
「瞳孔面積変動波形の抽出」
瞬きによって眼を閉じると瞳孔が消失することから、検出される瞳孔面積は０になる。
瞳孔面積の変化の例を図６に示す。ここで、実験は0秒で始まり、全部で１５分間程度であった。実験開始時に、瞳孔面積は大きく、しかし、3分ごろから徐々に下がり始めている。矢印で示した時刻に警告音を鳴らした。すると、瞳孔が急激に大きくなった。ここで、警告は、被験者が完全に目を閉じたのを確認したときに警告音を出した。すなわち、その警告の直前には被験者が眠ったことを意味する。なお、ここで行なった警告は、本件発明における警告音の発生とは必ずしも一致するものではない。本件発明においては、後述するように、瞳孔面積変動波形を解析することにより、さらに迅速に警告音を発することが可能であるが、ここでは、被験者の状態を種々観察するためもあって、このような段階での警告を行なっている。
瞬きによって眼を閉じると瞳孔が消失することから、検出される瞳孔面積は０になる。
瞳孔面積の変化の例を図６に示す。ここで、実験は0秒で始まり、全部で１５分間程度であった。実験開始時に、瞳孔面積は大きく、しかし、3分ごろから徐々に下がり始めている。矢印で示した時刻に警告音を鳴らした。すると、瞳孔が急激に大きくなった。ここで、警告は、被験者が完全に目を閉じたのを確認したときに警告音を出した。すなわち、その警告の直前には被験者が眠ったことを意味する。なお、ここで行なった警告は、本件発明における警告音の発生とは必ずしも一致するものではない。本件発明においては、後述するように、瞳孔面積変動波形を解析することにより、さらに迅速に警告音を発することが可能であるが、ここでは、被験者の状態を種々観察するためもあって、このような段階での警告を行なっている。
この図６における、実験開始直後の０秒から１２０秒を引き伸ばして示したのが、図７である。この図において、瞳孔面積が３００pixelから５００pixelの範囲で緩やかに変化しており、実際に瞳孔自体の面積が時折、小さくなり、また、およそ元の面積に戻る様子が分かる。さらに、グラフにおいて、下に飛び出て、ほとんど瞳孔面積が０になっているところが、瞬きが発生した部分である。
０秒から１２０秒の間の代表的な顔画像が図８と図９である。それぞれ、約5秒と約４７秒のときの画像である。瞳孔が、後者のほうがやや小さくなっているが、両方とも目が大きく開いており、瞳孔が大きいことがわかる。そして、どちらの顔画像においても、被験者の表情から特に眠気を感じていない様子が分かる。
図１０は、図６の瞳孔面積変化が３６０秒〜５４０秒までを拡大して示したものである。ここでは、瞳孔面積が大きく変化していることがわかる。図１１から図１３にはそれぞれ約３９５秒、約４１８秒、約４８２秒における顔画像を示した。図１１と図１２を比較すると、瞳孔面積も変化しているが、眼瞼の開閉度も変化している。図１３では、瞳孔はほとんど見えない状態になっているが、図１０の結果をみると、瞳孔は検出できており、面積が零にはなっていない。ここで、図１１から図１３の写真を見ると被験者は明らかに眠気を感じていることが分かる。このことから、少なくとも、この時点で警告を出す必要があるであろう。
０秒から１２０秒の間の代表的な顔画像が図８と図９である。それぞれ、約5秒と約４７秒のときの画像である。瞳孔が、後者のほうがやや小さくなっているが、両方とも目が大きく開いており、瞳孔が大きいことがわかる。そして、どちらの顔画像においても、被験者の表情から特に眠気を感じていない様子が分かる。
図１０は、図６の瞳孔面積変化が３６０秒〜５４０秒までを拡大して示したものである。ここでは、瞳孔面積が大きく変化していることがわかる。図１１から図１３にはそれぞれ約３９５秒、約４１８秒、約４８２秒における顔画像を示した。図１１と図１２を比較すると、瞳孔面積も変化しているが、眼瞼の開閉度も変化している。図１３では、瞳孔はほとんど見えない状態になっているが、図１０の結果をみると、瞳孔は検出できており、面積が零にはなっていない。ここで、図１１から図１３の写真を見ると被験者は明らかに眠気を感じていることが分かる。このことから、少なくとも、この時点で警告を出す必要があるであろう。
図１４に図６の６３０秒〜７８０秒の範囲を拡大して示した。ここで、６６０秒付近と７５０秒付近で警告音を出している。図１５から図１８は７４８秒から７６８秒までの顔画像を示した。７４８秒では、ほぼ完全に目を閉じており、図１４においても、瞳孔面積は零を示したが、警告を鳴らした直後、７５２秒（図１６）、７５９秒（図１７）と目が開くと共に瞳孔が大きくなっていることがわかる。このことは図１４においても、その傾向がはっきりと見られる。さらに７６８秒（図１８）になると意識が戻っていることが顔の表情から読み取れる。
以上のように、顔表情を見ると、瞳孔面積が眠気と対応していることが分かる。
以上のように、顔表情を見ると、瞳孔面積が眠気と対応していることが分かる。
「眠気検知」
瞳孔面積波形には、瞬きや多少のエラーが入っている。また、図１０からわかるように、覚醒度が高くとも、対光反射などで瞳孔面積に変化があるため、それらの影響を除去して瞳孔面積が減少したのを捉える必要がある。
そのための信号処理について次に述べる。
図７の多数の矢印で示されている上に突出している部分は、瞳孔面積が過大推定されている部分であり、これを取り除くために、(1)連続５フレーム（１５０ｍｓ）間毎に、値の大きい方から２番目までの値を零に置き換える。その後に、(2)連続する３０フレーム（1秒）の中から最大の瞳孔面積を求め、最後のフレームの瞳孔面積に置き換える処理を行う。この処理を1フレームずつずらしながら実行する。この処理によって、瞬きのように短い時間（たとえば、6フレーム）だけ零が続くような場合に、(1)の処理で瞳孔面積が零になっても、補正されて零でなくなる。なお、ここで、(2)で３０フレームを選択することにより、被験者が目を３０フレーム（1秒）以上閉じると、初めて処理後の瞳孔面積は零になる。換言すれば、遅延時間は最大で３５フレーム（１．１５秒）である。
瞳孔面積波形には、瞬きや多少のエラーが入っている。また、図１０からわかるように、覚醒度が高くとも、対光反射などで瞳孔面積に変化があるため、それらの影響を除去して瞳孔面積が減少したのを捉える必要がある。
そのための信号処理について次に述べる。
図７の多数の矢印で示されている上に突出している部分は、瞳孔面積が過大推定されている部分であり、これを取り除くために、(1)連続５フレーム（１５０ｍｓ）間毎に、値の大きい方から２番目までの値を零に置き換える。その後に、(2)連続する３０フレーム（1秒）の中から最大の瞳孔面積を求め、最後のフレームの瞳孔面積に置き換える処理を行う。この処理を1フレームずつずらしながら実行する。この処理によって、瞬きのように短い時間（たとえば、6フレーム）だけ零が続くような場合に、(1)の処理で瞳孔面積が零になっても、補正されて零でなくなる。なお、ここで、(2)で３０フレームを選択することにより、被験者が目を３０フレーム（1秒）以上閉じると、初めて処理後の瞳孔面積は零になる。換言すれば、遅延時間は最大で３５フレーム（１．１５秒）である。
以上の処理を施すことにより、たとえば、図１９（ａ）の瞳孔面積原波形（図６と同じ）は、図１９（ｂ）のように整形される。図２０には、別の被験者に対する同様の実験結果を示した。図２０（ａ）が瞳孔面積の原波形、図２０（ｂ）は、それを上記の処理を行った瞳孔面積波形である。ここでも、警告音を出すと瞳孔面積が実験はじめの状態にほぼ戻っている。
図２１（ａ）（ｂ）に、図１９の処理後の瞳孔面積波形を利用した眠気検知処理の結果を示している（実験開始から２分〜１０分）。
眠気検知の方法は、実験開始後の最初の１０秒間(３００フレーム)の処理後の瞳孔面積の平均値の５５％を閾値とする。連続５秒間（１５０フレーム）もしくは１０秒間(３００フレーム)に、閾値を下回る割合が５０％を越えたときを、それぞれ図２１（ａ）（ｂ）中の方形波において、高いレベルで示している。
この時点において、対象者を眠気とを判定することができる。
眠気検知の方法は、実験開始後の最初の１０秒間(３００フレーム)の処理後の瞳孔面積の平均値の５５％を閾値とする。連続５秒間（１５０フレーム）もしくは１０秒間(３００フレーム)に、閾値を下回る割合が５０％を越えたときを、それぞれ図２１（ａ）（ｂ）中の方形波において、高いレベルで示している。
この時点において、対象者を眠気とを判定することができる。
「従来手法との比較」
ここで、本発明の有効性を示すために、従来の代表的な方法を本実験における瞳孔検出結果に応用して、本発明の本実施例と比較する。
前記のPERCLOS（Percent of the time eyelids are closed）による手法と対比するために、連続する３００フレーム（１０秒間）のうちで目の閉じている割合を1フレームごとに求めた。ここで、３００という数は、眠気を判定しやすいと思われるフレーム数として選択した。
また、瞬き頻度による手法と対比するために、連続する３００フレーム（１０秒間）における瞳孔検出状態から非検出状態への移行の回数を瞬き回数として計数した。
ここで、本発明の有効性を示すために、従来の代表的な方法を本実験における瞳孔検出結果に応用して、本発明の本実施例と比較する。
前記のPERCLOS（Percent of the time eyelids are closed）による手法と対比するために、連続する３００フレーム（１０秒間）のうちで目の閉じている割合を1フレームごとに求めた。ここで、３００という数は、眠気を判定しやすいと思われるフレーム数として選択した。
また、瞬き頻度による手法と対比するために、連続する３００フレーム（１０秒間）における瞳孔検出状態から非検出状態への移行の回数を瞬き回数として計数した。
図１９から分かるように、（ｂ）の本実施例では、瞳孔面積は最初の警告が出されるまでに徐々に減少している。（ｃ）のPERCLOSでは、最初の警告の前に、立ち上がっていることがわかる。しかし、図１９からは分かりにくいが、PERCLOSが立ち上がっている部分は、ピークが５０％程度を示しており、１０秒あたり５秒も目を閉じていることになる。すなわち、すでに眠っていると言ってもよい状態になっていることを意味する。
また、（ｄ）の瞬き数では、そのピークもはっきりしていない。
図２０の例では、１２．５分から１３分の間にPERCLOSが５０％程度になり、長時間の閉眼があり、居眠りをしたことが分かる。居眠りを予測するという観点からは、１１．５分から１２分の間のPERCLOSもしくは瞬き頻度の上昇で眠気検知をしたいところであるが、そのときの値よりも、図２０中に破線の楕円で囲ったように、ずっと高い値を示している。楕円で囲ったあたりの時間帯は、実験開始直後ということもあり、顔の表情を見ても、まだ、眠気を感じていない状態であったにもかかわらず、PERCLOSと瞬き頻度が高かった。
このことから、PERCLOSと瞬き頻度は、眠気検知にあまり有効ではないと推測される。それに対して、（ｂ）の本実施例の瞳孔面積は、９．５分あたりから徐々に値が低下したことがわかる。これを検出すれば、瞳孔面積は眠気検知にPERCLOSや瞬き頻度より有効であることが分かる。
また、（ｄ）の瞬き数では、そのピークもはっきりしていない。
図２０の例では、１２．５分から１３分の間にPERCLOSが５０％程度になり、長時間の閉眼があり、居眠りをしたことが分かる。居眠りを予測するという観点からは、１１．５分から１２分の間のPERCLOSもしくは瞬き頻度の上昇で眠気検知をしたいところであるが、そのときの値よりも、図２０中に破線の楕円で囲ったように、ずっと高い値を示している。楕円で囲ったあたりの時間帯は、実験開始直後ということもあり、顔の表情を見ても、まだ、眠気を感じていない状態であったにもかかわらず、PERCLOSと瞬き頻度が高かった。
このことから、PERCLOSと瞬き頻度は、眠気検知にあまり有効ではないと推測される。それに対して、（ｂ）の本実施例の瞳孔面積は、９．５分あたりから徐々に値が低下したことがわかる。これを検出すれば、瞳孔面積は眠気検知にPERCLOSや瞬き頻度より有効であることが分かる。
図２１において、低レベルから高レベルに移行するときに、警告音を発するとすると、前記のとおりの本実施例の図２１（ａ）場合は６．６分ごろに、（ｂ）の図２１（ｂ）の場合は８分ごろに警告が発せられることを意味する。それに対して、PERCLOSでは、９．４分にならないと警告が出せない（図２０のように眠くなくとも瞬きが多発することもあるため、閾値を調整するのが難しい。）。このように、本実施例では、PERCLOSに比較して、１分以上早く警告を出すことができる。
次に、従来手法の瞳孔径検出と本件発明の実施例の対比を行なう。
図２２に、いくつかの瞳孔径と眼瞼の閉じ具合によって、瞳孔サイズと瞳孔形状が代わることを示した。ここで、黒い部分が画像解析によって明らかになる瞳孔面積であり、検出される瞳孔部を上下の端と左右の端を通る長方形の幅を横瞳孔径、高さを縦瞳孔径と呼ぶことにする。ここで、従来、他の特許で瞳孔径と呼ばれているのは、横瞳孔径に相当する。
図２３と図２４は、それぞれ、図１９と図２０に示したデータに対応させて、実験開始から約１１．５分までの、上から横瞳孔径、縦瞳孔径、瞳孔面積を示している。両図から、横瞳孔径は、あまり変化していないのに対して、縦瞳孔径と瞳孔面積は大きく変化していることが分かる。さらに、縦瞳孔径よりも瞳孔面積の方がより、大きく変化していることが分かる。（なお、ここでは、それぞれ元形をそのまま示してある。）
このように、本件発明の瞳孔面積によるその変化の検出は、容易でかつ正確であるといえる。
図２２に、いくつかの瞳孔径と眼瞼の閉じ具合によって、瞳孔サイズと瞳孔形状が代わることを示した。ここで、黒い部分が画像解析によって明らかになる瞳孔面積であり、検出される瞳孔部を上下の端と左右の端を通る長方形の幅を横瞳孔径、高さを縦瞳孔径と呼ぶことにする。ここで、従来、他の特許で瞳孔径と呼ばれているのは、横瞳孔径に相当する。
図２３と図２４は、それぞれ、図１９と図２０に示したデータに対応させて、実験開始から約１１．５分までの、上から横瞳孔径、縦瞳孔径、瞳孔面積を示している。両図から、横瞳孔径は、あまり変化していないのに対して、縦瞳孔径と瞳孔面積は大きく変化していることが分かる。さらに、縦瞳孔径よりも瞳孔面積の方がより、大きく変化していることが分かる。（なお、ここでは、それぞれ元形をそのまま示してある。）
このように、本件発明の瞳孔面積によるその変化の検出は、容易でかつ正確であるといえる。
１‥眠気検知装置、２‥撮影手段、２１‥カメラ、２２，２３‥光源、３‥制御手段、４‥瞳孔面積検出手段、５‥眠気検知手段
Claims (7)
- 対象者の顔を撮影する撮影手段と、
撮影された顔画像から瞳孔の面積を検出する瞳孔面積検出手段と、
検出された瞳孔面積を基準値と比較することにより、対象者の眠気を検知する眠気検知手段とを備えることを特徴とする眠気検知装置。 - 前記眠気検知手段において、瞬きによる信号を除去して瞳孔面積の信号とする演算手段を備えることを特徴とする請求項１に記載の眠気検知装置。
- 前記眠気検知手段において、瞳孔の平均面積よりも小さな閾値を設定し、一定期間内において瞳孔面積が閾値を下回る割合が予め設定した割合を超えたときに眠気と判定する手段を備えることを特徴とする請求項１又は２に記載の眠気検知装置。
- 前記瞳孔面積検出手段において、明瞳孔画像と暗瞳孔画像を画像差分して得られる差分画像を２値化することによって得た画素数を換算して瞳孔面積とする演算手段を備えることを特徴とする請求項１〜３のいずれかに記載の眠気検知装置。
- 前記眠気検知装置は、車載用であることを特徴とする請求項１〜４のいずれかに記載の眠気検知装置
- 前記眠気検知手段によって対象者の眠気を検知した場合に、警告音を発する手段を備えることを特徴とする請求項１〜５のいずれかに記載の眠気検知装置。
- さらに、対象者の顔の撮影における周囲光の強さによって、眠気の判定を修正する手段を備えることを特徴とする請求項１〜６のいずれかに記載の眠気検知装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007092541A JP4899059B2 (ja) | 2007-03-30 | 2007-03-30 | 眠気検知装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007092541A JP4899059B2 (ja) | 2007-03-30 | 2007-03-30 | 眠気検知装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008246013A JP2008246013A (ja) | 2008-10-16 |
| JP4899059B2 true JP4899059B2 (ja) | 2012-03-21 |
Family
ID=39971673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007092541A Active JP4899059B2 (ja) | 2007-03-30 | 2007-03-30 | 眠気検知装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4899059B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013176265A1 (ja) | 2012-05-25 | 2013-11-28 | 国立大学法人静岡大学 | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5362405B2 (ja) * | 2009-03-25 | 2013-12-11 | 安川情報システム株式会社 | 瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラム |
| JP5714951B2 (ja) * | 2011-03-22 | 2015-05-07 | パナソニック株式会社 | 両眼瞳孔検査装置 |
| JP5999013B2 (ja) | 2013-04-12 | 2016-09-28 | 株式会社デンソー | 開眼状態判定装置 |
| JPWO2015075894A1 (ja) * | 2013-11-19 | 2017-03-16 | 日本電気株式会社 | 撮像装置、瞳孔撮像装置、瞳孔径測定装置、瞳孔状態検出装置、及び瞳孔撮像方法 |
| JP6164431B2 (ja) * | 2015-01-27 | 2017-07-19 | マツダ株式会社 | ドライバ状態判定装置 |
| JP6514651B2 (ja) * | 2016-02-15 | 2019-05-15 | ルネサスエレクトロニクス株式会社 | 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム |
| US20210282639A1 (en) * | 2016-11-30 | 2021-09-16 | Sony Corporation | Information processing device, information processing method, and program |
| US10642028B2 (en) * | 2017-02-27 | 2020-05-05 | Tobii Ab | Lens position adjustment in a wearable device |
| EP3678114A4 (en) | 2017-08-31 | 2020-08-12 | Fujitsu Limited | DETECTION PROGRAM, DETECTION METHOD AND DETECTION SYSTEM |
| JP2018051340A (ja) * | 2017-11-24 | 2018-04-05 | 株式会社トプコン | 眼科装置 |
| US11308520B2 (en) | 2019-06-11 | 2022-04-19 | Toyota Boshoku Kabushiki Kaisha | Vehicle advertisement display system |
| WO2022107288A1 (ja) * | 2020-11-19 | 2022-05-27 | 日本電信電話株式会社 | 推定装置、推定方法、および、推定プログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3116638B2 (ja) * | 1993-03-17 | 2000-12-11 | 日産自動車株式会社 | 覚醒状態検知装置 |
| JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
| US5745038A (en) * | 1997-03-21 | 1998-04-28 | Vance; David L. | Awakening alarm for motor vehicle operators |
| DE19803158C1 (de) * | 1998-01-28 | 1999-05-06 | Daimler Chrysler Ag | Vorrichtung zur Vigilanzzustandsbestimmung |
| JP3630558B2 (ja) * | 1998-06-02 | 2005-03-16 | 日野自動車株式会社 | 居眠り検出装置 |
| JP3960168B2 (ja) * | 2002-08-29 | 2007-08-15 | 株式会社デンソー | 生体状態推定方法及び装置、プログラム |
| JP4765008B2 (ja) * | 2004-03-16 | 2011-09-07 | 国立大学法人静岡大学 | 瞳孔と鼻孔を用いた頭部の方向を検出する方法 |
| JP2007003618A (ja) * | 2005-06-21 | 2007-01-11 | Sharp Corp | 表示装置および携帯端末装置 |
| JP4915123B2 (ja) * | 2006-04-03 | 2012-04-11 | 日産自動車株式会社 | 運転適応状態推定装置、自動車及び運転適応状態推定方法 |
-
2007
- 2007-03-30 JP JP2007092541A patent/JP4899059B2/ja active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013176265A1 (ja) | 2012-05-25 | 2013-11-28 | 国立大学法人静岡大学 | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 |
| US9514538B2 (en) | 2012-05-25 | 2016-12-06 | National University Corporation Shizuoka University | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008246013A (ja) | 2008-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4899059B2 (ja) | 眠気検知装置 | |
| US8063786B2 (en) | Method of detecting drowsiness of a vehicle operator | |
| KR101386823B1 (ko) | 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 | |
| JP4492652B2 (ja) | 眠気状態判断装置 | |
| US5573006A (en) | Bodily state detection apparatus | |
| JP5177011B2 (ja) | 開眼度特定装置 | |
| JP5343631B2 (ja) | 運転支援装置 | |
| US9526448B2 (en) | State estimation device and state estimation program | |
| JP7099037B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
| JPH11316884A (ja) | 覚醒状態を求める装置 | |
| JP2002352229A (ja) | 顔部位検出装置 | |
| JP2016103249A (ja) | 運転支援装置および運転支援方法 | |
| WO2007092512A2 (en) | Driver drowsiness and distraction monitor | |
| Khan et al. | Efficient Car Alarming System for Fatigue Detectionduring Driving | |
| JPH03254291A (ja) | 車両運転者監視装置 | |
| RU2413632C2 (ru) | Способ предупреждения засыпания водителя транспортного средства | |
| JPH08290726A (ja) | 居眠り警報装置 | |
| Mašanović et al. | Driver monitoring using the in-vehicle camera | |
| JP2009125518A (ja) | ドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置 | |
| JP5050794B2 (ja) | 眠気検知装置、眠気検知方法 | |
| JP3815842B2 (ja) | 居眠り警報装置 | |
| JP4973613B2 (ja) | 運転者状態検出装置 | |
| Hamada et al. | Detecting method applicable to individual features for drivers' drowsiness | |
| JP6689470B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| Apoorva et al. | Review on Drowsiness Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111206 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |