JP3563459B2 - 瞬き検出システム - Google Patents
瞬き検出システム Download PDFInfo
- Publication number
- JP3563459B2 JP3563459B2 JP26649794A JP26649794A JP3563459B2 JP 3563459 B2 JP3563459 B2 JP 3563459B2 JP 26649794 A JP26649794 A JP 26649794A JP 26649794 A JP26649794 A JP 26649794A JP 3563459 B2 JP3563459 B2 JP 3563459B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- time
- detection system
- eyelid
- blink
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
【産業上の利用分野】
この発明は、主としてドライアイの判定のための瞬き検出システムに関するものである。
【0002】
【従来の技術】
例えば特開平3−205024号公報には、被検眼の前眼部を観察するテレビカメラと、テレビカメラからの信号をフィールド単位で積分する積分部と、この積分部の出力の変化から瞬きを検出する検出部とを備え、前記積分部の出力が所定値以上のとき瞬きとして検出する瞬き検出システムが提案されている。
この瞬き検出システムは、視野計と併用されるもので、被検者の顔にドームを被せ、ドーム前面の窓に設けられた被検眼固定部に顔の被検眼部分を固定(額当てに額を当て、顎当てに顎を当てて固定する)して前方からテレビカメラで被検眼前眼部を観察するようになっている。
【0003】
【発明が解決しようとする課題】
前記の瞬き検出システムは、前記積分部の出力が所定値以上であるときに瞬きとして検出するものであるから、半瞬き(ハーフブリンク)を検出するのが困難であるか、あるいは完全な瞬きとハーフブリンクとを識別するのが困難である。
また、被検者の顔にドームを被せ、被検眼前眼部をドーム前面の窓に設けられた被検眼固定部に顔の被検眼部分を固定して観察するので、被検者に緊張感を与え、被検者の精神を自然な状態に保って瞬きを検出することができない。すなわち、瞬きを検出することはできても、被検者の無意識的な瞬きを検出することはできないので、測定結果を眼科治療に役立てることができない。
【0004】
この発明の目的は、前述のような欠点を改善するとともに、被検者の閉開瞼の状態を経時的に観察することができる瞬き検出システムを提供することにある。
【0005】
【課題を解決するための手段】
請求項1に記載の発明による瞬き検出システムは、前述の目的を達成するため、覚醒状態における人間の被検眼前眼部を含む顔の一定領域をビデオカメラで撮影し、このビデオカメラの映像信号を画像入力装置によりデジタル信号に変換し、コンピュータにより、前記デジタル信号を二値化して所定の時間間隔で瞳孔を含む虹彩部分の面積又は閉開瞼方向の直径を演算し、当該演算結果が0又は所定値以下であるときを閉瞼とし、前記演算結果から、所定時間内における平均開瞼時間又は所定時間内における平均閉瞼時間を演算しこれを出力することを特徴としている。
【0006】
請求項2に記載の発明による瞬き検出システムは、請求項1に記載の瞬き検出システムにおいて、所定時間内における時系列的な閉瞼間隔を演算しこれを出力することを特徴としている。
【0007】
前記いずれかに記載の瞬き検出システムにおいては、前記ビデオカメラにレコーダを付属させルのが好ましい。
【0008】
【作用】
請求項1に記載の発明によれば、被検者を椅子にかけさせ、例えば被検者の顔の口から額まで程度の範囲をビデオカメラで撮影する。
撮影された映像信号を画像入力装置を介してコンピュータに入力し、コンピュータに付属するCRTに画像を表示する。画像を見ながら瞳孔を含む虹彩部分と他の部分とが区別できる二値化レベルを選択し、この二値化レベルをコンピュータに付属する入力装置によって入力する。
被検眼(片眼)前眼部を含む測定範囲(走査範囲)を選択し、この測定範囲を前記入力装置からコンピュータに入力する。
以上のように準備して測定を開始すると、前記検出範囲内における白と黒(明るい点と暗い点)の二値画像の黒の部分の画素を加算することにより、瞳孔を含む虹彩部分の面積又は閉開瞼方向の直径が演算される。
演算の結果により閉瞼や開瞼及びそれらの量が分かるので、この演算を所定の時間(数十分の1秒)間隔で行うことにより経時的な閉開瞼の状態を検出することができる。
前記演算結果から、所定時間内における平均開瞼時間又は所定時間内における平均閉瞼時間を演算しこれを出力することにより、ドライアイの判定のための瞬き検出システムとなる。
【0009】
請求項2に記載の発明による瞬き検出システムは、所定時間内における時系列的な閉瞼間隔を演算しこれを出力するので、経時的な閉開瞼の状態をより良く観察することができる。
【0010】
ビデオカメラにレコーダを付属させると、事後適宜に撮影時における被検者の経時的な閉開瞼の状態を観察することができる。
【0011】
【実施例】
以下この発明による瞬き検出システムの好ましい実施例を説明する。
図1はこの発明の実施例による検出システムのブロック図、図2は瞳孔と虹彩を含む部分に検出範囲(走査範囲)を設定した状態の被検眼前眼部の正面図、図3は検出結果をCRTに表示した例の部分正面図、図4は図3のCRT表示の一部を拡大した状態の部分拡大正面図、図5は検出結果をプリンタで出力した例の平面図である。
【0012】
図1において、1は被検者の顔aの一部を撮影するビデオカメラ(白黒カメラ)、2はビデオカメラ1で撮影した映像を録画(タイムコード付)するVTR、3はビデオカメラ1からの映像信号をデジタル信号に変換する画像入力装置、4は変換されたデジタル信号を二値化するとともに、所定の時間間隔で瞳孔を含む虹彩部分の面積又は閉開瞼方向の直径を演算処理し、これを出力するコンピュータである。
コンピュータ4には、入力装置であるキーボード40、出力装置であるCRT41及びプリンタ42が付属している。
ビデオカメラ1には、暗室ないし半暗室でも撮影できるように赤外線照明装置を併設するか、あるいは赤外線カメラを使用することができる。
【0013】
この実施例の検出システムにより、以下に説明するような要領で瞬きを検出する。
被検者を普通の姿勢で椅子にかけさせ、被検者の顔aから1.5〜2.0m離れた位置で、かつ被検者の視線とほぼ同じかそれよりもやや低いレベルにテレビカメラ1を設置する。被検者の顎は、図示しない顎当てなどに載せて固定するのが好ましいが、固定しなくても差し支えない。
被検者には、顔aから3m前後離れて視線よりやや上方レベルに予め設置した図示しない目標を見るように指示する。
被検者が顔aを多少動かしても被検眼前眼部a1が撮影範囲から外れないようにするため、被検者の顔aの口から額までの部分がビデオカメラ1による撮影範囲に入るようにカメラ1のズームを調整する。
【0014】
キーボート40により、被検者の氏名,年齢,性別,カルテ番号その他の書誌的事項をコンピュータ4に入力する。これらはコンピュータ4に付属する図示しないメモリに格納される。
【0015】
以上の準備の後ビデオカメラ1により撮影を開始すると、VTR2で録画されるとともに、撮影されたビデオ信号は画像入力装置3を介してコンピュータ4に取り込まれる。
画像入力装置3は、ビデオカメラ1から走査線の方向に連続的に入る画像情報を、1/30秒毎にその時点での明暗値に限定してデジタル値に変換するように予め設定されている。
コンピュータ4では予め設定された所定のしきい値により、画像入力装置3で変換されたデジタル信号を二値化するようにプログラムされており、このように処理された二値画像と、二値化されないビデオ画像とがオーバラップしてCRT41に表示されるようになっている。
【0016】
CRT41に表示された画像を観察しながら、瞳孔及び虹彩と他の部分とを区別することができるしきい値を選択してキーボード40からコンピュータ4に入力すると、以後はこの新たなしきい値で二値化される。
表示された画像上で、図2のように被検眼前眼部a1の瞳孔と虹彩とを含む一定の四角の測定範囲a2を設定すると、この測定範囲a2内における画素の着色された点(暗い点)がコンピュータ4によって加算され、順次図示しないメモリに格納される。
【0017】
前述の演算結果により、その時点の瞳孔を含む虹彩の面積が明らかになるので、その面積が所定のレベル以下に急激に減じたときを瞬き(閉瞼)として検出することができる。そして、以上の処理手順が1/30秒毎に行われることによって、瞬きを経時的に検出することができる。
この実施例では、前述の処理手順が所定時間(この例では最高200秒)繰り返された後、前記の加算結果は、CRT41に表示することができるとともに、プリンタ42から出力することができるようにプログラムされている。
またこの実施例では、前記の演算結果をコンピュータ4により微分演算して閉開瞼の変化時間を求めるようにプログラムされている。
【0018】
図3はこの実施例の検出システムにおける前記演算結果をCRT41へ経時的にグラフ化して表示した例であり、縦軸bの方向には瞳孔を含む虹彩の面積が、横軸cの方向には時間(秒単位)がそれぞれ表示されている。
演算結果が所定の値以下であったとき、すなわち瞬きと判定されたときは、横軸cの部分の下方に瞬き判定印dが表示されるようになっている。各瞬き判定印dは幅が異なっているが、この幅の差は閉瞼時間の差を示している。
図3のグラフ化表示は、例えば図4にその一部が例示してあるように、これを拡大して表示することができるようになっている。
図3及び図4のように、演算結果をグラフ化表示することによって、ハーフブリンクを含む経時的な閉開瞼の状態を観察することができる。
なお、図3及び図4には図示されていないが、撮影年月日、撮影の開始時間と終了時間、カルテ番号、被検者の氏名,年齢,性別その他の書誌的事項も表示されるようになっている。
【0019】
図5はこの実施例のシステムによる測定結果のプリンタ42の出力の例が示されており、eのブロックには書誌的事項、fのブロックには所定時間(60秒間)内における経時的な閉開瞼のグラフ化表示、gのブロックには所定時間 ( 60秒間)内における閉開瞼の回数とその時間、hのブロックには所定時間(60秒間 ) 内における閉開瞼の最大,最小,平均の時間がそれぞれ表示されている。
ブロックfにおいては、横軸cに沿って時間が表示され、横軸cの上に瞬き判定印dが表示されている。印dの幅がそれぞれ異なるのは閉瞼している時間がそれぞれ異なっていることによる。
【0020】
前記実施例の検出システムでは、瞳孔を含む虹彩の面積を一定の時間間隔で演算するように構成されているが、その閉開瞼方向の直径を演算するように構成することができる。後者の方法によるときは、図2の測定範囲a2を設定するときに、当該範囲a2の幅を狭めて設定するか、あるいは当該範囲a2を瞳孔部分を通る垂直線状に設定すればよい。
【0021】
【発明の効果】
この発明による請求項1に記載の瞬き検出システムは、被検眼前眼部をカメラで撮影し、所定の時間間隔で瞳孔を含む虹彩の面積又はその閉開瞼方向の直径を演算することによって閉開瞼を検出し、前記演算結果から、所定時間内における平均開瞼時間又は所定時間内における平均閉瞼時間を演算しこれを出力するので、ドライアイの判定のための瞬き検出システムとなる。
【0022】
請求項2に記載の瞬き検出システムによれば、経時的な閉開瞼の状態をより良く観察することができる。
【図面の簡単な説明】
【図1】この発明の実施例による検出システムのブロック図である。
【図2】瞳孔と虹彩を含む部分に検出範囲(走査範囲)を設定した状態の被検眼前眼部の正面図である。
【図3】検出結果をCRTに表示した例の部分正面図である。
【図4】図3のCRT表示の一部を拡大した状態の部分拡大正面図である。
【図5】検出結果をプリンタで出力した例の平面図である。
【符号の説明】
a 被検者の顔
a1 被検眼前眼部
a2 測定範囲
b 縦軸
c 横軸
d 瞬き判定印
e,f,g,h ブロック
1 ビデオカメラ
2 VTR
3 画像入力装置
4 コンピュータ
40 キーボード
41 CRT
42 プリンタ
Claims (2)
- 覚醒状態における人間の被検眼前眼部を含む顔の一定領域をビデオカメラで撮影し、このビデオカメラの映像信号を画像入力装置によりデジタル信号に変換し、コンピュータにより、前記デジタル信号を二値化して所定の時間間隔で瞳孔を含む虹彩部分の面積又は閉開瞼方向の直径を演算し、当該演算結果が0又は所定値以下であるときを閉瞼とし、前記演算結果から、所定時間内における平均開瞼時間又は所定時間内における平均閉瞼時間を演算しこれを出力することを特徴とする、瞬き検出システム。
- 所定時間内における時系列的な閉瞼間隔を演算しこれを出力することを特徴とする、請求項1に記載の瞬き検出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26649794A JP3563459B2 (ja) | 1994-10-31 | 1994-10-31 | 瞬き検出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26649794A JP3563459B2 (ja) | 1994-10-31 | 1994-10-31 | 瞬き検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08266468A JPH08266468A (ja) | 1996-10-15 |
JP3563459B2 true JP3563459B2 (ja) | 2004-09-08 |
Family
ID=17431751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26649794A Expired - Fee Related JP3563459B2 (ja) | 1994-10-31 | 1994-10-31 | 瞬き検出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3563459B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010273954A (ja) * | 2009-05-29 | 2010-12-09 | Hamamatsu Photonics Kk | 瞬目計測装置及び瞬目計測方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100404929B1 (ko) * | 2001-05-09 | 2003-11-07 | 정하철 | 안구의 홍채 및 안면 촬영장치 |
JP2005211631A (ja) * | 2004-01-29 | 2005-08-11 | Tomey Corporation | 眼科装置における計測開始タイミング |
JP4757173B2 (ja) | 2006-11-17 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
CN101430576B (zh) | 2007-11-05 | 2010-04-21 | 鸿富锦精密工业(深圳)有限公司 | 眼睛防护警示装置及眼睛防护警示方法 |
JP2015043929A (ja) * | 2013-08-29 | 2015-03-12 | 学校法人慶應義塾 | 知覚測定評価装置、知覚測定評価方法、及びプログラム |
NZ756561A (en) * | 2016-03-04 | 2023-04-28 | Magic Leap Inc | Current drain reduction in ar/vr display systems |
IL261769B2 (en) | 2016-03-25 | 2024-08-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
JP2018166650A (ja) * | 2017-03-29 | 2018-11-01 | 株式会社トプコン | 眼科装置 |
JP2018166649A (ja) * | 2017-03-29 | 2018-11-01 | 株式会社トプコン | 眼科装置 |
JP2018051340A (ja) * | 2017-11-24 | 2018-04-05 | 株式会社トプコン | 眼科装置 |
WO2020018938A1 (en) | 2018-07-19 | 2020-01-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
JP7370570B2 (ja) * | 2019-09-09 | 2023-10-30 | 株式会社トーメーコーポレーション | 眼科装置及びコンピュータプログラム |
-
1994
- 1994-10-31 JP JP26649794A patent/JP3563459B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010273954A (ja) * | 2009-05-29 | 2010-12-09 | Hamamatsu Photonics Kk | 瞬目計測装置及び瞬目計測方法 |
Also Published As
Publication number | Publication date |
---|---|
JPH08266468A (ja) | 1996-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3563459B2 (ja) | 瞬き検出システム | |
US7380938B2 (en) | Apparatus to detect and measure saccade and pupilary changes | |
US5867587A (en) | Impaired operator detection and warning system employing eyeblink analysis | |
US10034605B2 (en) | Systems, methods, and devices for detection and diagnosis of brain trauma, mental impairment, or physical disability | |
JP4377472B2 (ja) | 顔画像処理装置 | |
WO2002082999A1 (en) | Image analysis system and method for discriminating movements of an individual | |
JP2004529702A (ja) | ポリグラフ検査のための熱画像解析 | |
KR101051433B1 (ko) | 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법 | |
JP2004529703A (ja) | ポリグラフ検査のための熱画像解析 | |
IL153268A (en) | A detection system and method that uses thermal analysis of an image | |
EP3118811A1 (en) | Detecting device, detecting method, and recording medium | |
US20220346651A1 (en) | Diseased person distinguishing device and diseased person distinguishing system | |
US5883691A (en) | Pupil measuring system and Alzheimer's disease diagnosing system | |
KR20180101816A (ko) | 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법 | |
JP3116638B2 (ja) | 覚醒状態検知装置 | |
JP2010273954A (ja) | 瞬目計測装置及び瞬目計測方法 | |
KR101701059B1 (ko) | 스마트폰을 이용한 동공반응 확인장치 | |
RU2187904C1 (ru) | Способ и устройство преобразования изображения | |
KR100234590B1 (ko) | 얼굴화상 처리장치 및 얼굴화상 처리방법 | |
JPH1166304A (ja) | 顔画像処理装置 | |
KR101664276B1 (ko) | 감시용 시스템에서의 인체 온도 검출 장치 및 방법 | |
JP5825588B2 (ja) | 瞬目計測装置及び瞬目計測方法 | |
Deng et al. | Fatigue detection based on infrared video pupillography | |
JPH07174541A (ja) | 瞳孔面積測定装置 | |
JP2004113755A (ja) | 視点検出カメラ及び視点の自動分析装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040603 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080611 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |