JP3563459B2 - 瞬き検出システム - Google Patents

瞬き検出システム Download PDF

Info

Publication number
JP3563459B2
JP3563459B2 JP26649794A JP26649794A JP3563459B2 JP 3563459 B2 JP3563459 B2 JP 3563459B2 JP 26649794 A JP26649794 A JP 26649794A JP 26649794 A JP26649794 A JP 26649794A JP 3563459 B2 JP3563459 B2 JP 3563459B2
Authority
JP
Japan
Prior art keywords
subject
time
detection system
eyelid
blink
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26649794A
Other languages
English (en)
Other versions
JPH08266468A (ja
Inventor
幸雄 奥沢
一男 坪田
智宏 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taisho Pharmaceutical Co Ltd
Original Assignee
Taisho Pharmaceutical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taisho Pharmaceutical Co Ltd filed Critical Taisho Pharmaceutical Co Ltd
Priority to JP26649794A priority Critical patent/JP3563459B2/ja
Publication of JPH08266468A publication Critical patent/JPH08266468A/ja
Application granted granted Critical
Publication of JP3563459B2 publication Critical patent/JP3563459B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Description

【0001】
【産業上の利用分野】
この発明は、主としてドライアイの判定のための瞬き検出システムに関するものである。
【0002】
【従来の技術】
例えば特開平3−205024号公報には、被検眼の前眼部を観察するテレビカメラと、テレビカメラからの信号をフィールド単位で積分する積分部と、この積分部の出力の変化から瞬きを検出する検出部とを備え、前記積分部の出力が所定値以上のとき瞬きとして検出する瞬き検出システムが提案されている。
この瞬き検出システムは、視野計と併用されるもので、被検者の顔にドームを被せ、ドーム前面の窓に設けられた被検眼固定部に顔の被検眼部分を固定(額当てに額を当て、顎当てに顎を当てて固定する)して前方からテレビカメラで被検眼前眼部を観察するようになっている。
【0003】
【発明が解決しようとする課題】
前記の瞬き検出システムは、前記積分部の出力が所定値以上であるときに瞬きとして検出するものであるから、半瞬き(ハーフブリンク)を検出するのが困難であるか、あるいは完全な瞬きとハーフブリンクとを識別するのが困難である。
また、被検者の顔にドームを被せ、被検眼前眼部をドーム前面の窓に設けられた被検眼固定部に顔の被検眼部分を固定して観察するので、被検者に緊張感を与え、被検者の精神を自然な状態に保って瞬きを検出することができない。すなわち、瞬きを検出することはできても、被検者の無意識的な瞬きを検出することはできないので、測定結果を眼科治療に役立てることができない。
【0004】
この発明の目的は、前述のような欠点を改善するとともに、被検者の閉開瞼の状態を経時的に観察することができる瞬き検出システムを提供することにある。
【0005】
【課題を解決するための手段】
請求項1に記載の発明による瞬き検出システムは、前述の目的を達成するため、覚醒状態における人間の被検眼前眼部を含む顔の一定領域をビデオカメラで撮影し、このビデオカメラの映像信号を画像入力装置によりデジタル信号に変換し、コンピュータにより、前記デジタル信号を二値化して所定の時間間隔で瞳孔を含む虹彩部分の面積又は閉開瞼方向の直径を演算し、当該演算結果が0又は所定値以下であるときを閉瞼とし、前記演算結果から、所定時間内における平均開瞼時間又は所定時間内における平均閉瞼時間を演算しこれを出力することを特徴としている。
【0006】
請求項2に記載の発明による瞬き検出システムは、請求項1に記載の瞬き検出システムにおいて、所定時間内における時系列的な閉瞼間隔を演算しこれを出力することを特徴としている。
【0007】
前記いずれかに記載の瞬き検出システムにおいては、前記ビデオカメラにレコーダを付属させルのが好ましい。
【0008】
【作用】
請求項1に記載の発明によれば、被検者を椅子にかけさせ、例えば被検者の顔の口から額まで程度の範囲をビデオカメラで撮影する。
撮影された映像信号を画像入力装置を介してコンピュータに入力し、コンピュータに付属するCRTに画像を表示する。画像を見ながら瞳孔を含む虹彩部分と他の部分とが区別できる二値化レベルを選択し、この二値化レベルをコンピュータに付属する入力装置によって入力する。
被検眼(片眼)前眼部を含む測定範囲(走査範囲)を選択し、この測定範囲を前記入力装置からコンピュータに入力する。
以上のように準備して測定を開始すると、前記検出範囲内における白と黒(明るい点と暗い点)の二値画像の黒の部分の画素を加算することにより、瞳孔を含む虹彩部分の面積又は閉開瞼方向の直径が演算される。
演算の結果により閉瞼や開瞼及びそれらの量が分かるので、この演算を所定の時間(数十分の1秒)間隔で行うことにより経時的な閉開瞼の状態を検出することができる。
前記演算結果から、所定時間内における平均開瞼時間又は所定時間内における平均閉瞼時間を演算しこれを出力することにより、ドライアイの判定のための瞬き検出システムとなる。
【0009】
請求項2に記載の発明による瞬き検出システムは、所定時間内における時系列的な閉瞼間隔を演算しこれを出力するので、経時的な閉開瞼の状態をより良く観察することができる。
【0010】
ビデオカメラにレコーダを付属させると、事後適宜に撮影時における被検者の経時的な閉開瞼の状態を観察することができる。
【0011】
【実施例】
以下この発明による瞬き検出システムの好ましい実施例を説明する。
図1はこの発明の実施例による検出システムのブロック図、図2は瞳孔と虹彩を含む部分に検出範囲(走査範囲)を設定した状態の被検眼前眼部の正面図、図3は検出結果をCRTに表示した例の部分正面図、図4は図3のCRT表示の一部を拡大した状態の部分拡大正面図、図5は検出結果をプリンタで出力した例の平面図である。
【0012】
図1において、1は被検者の顔aの一部を撮影するビデオカメラ(白黒カメラ)、2はビデオカメラ1で撮影した映像を録画(タイムコード付)するVTR、3はビデオカメラ1からの映像信号をデジタル信号に変換する画像入力装置、4は変換されたデジタル信号を二値化するとともに、所定の時間間隔で瞳孔を含む虹彩部分の面積又は閉開瞼方向の直径を演算処理し、これを出力するコンピュータである。
コンピュータ4には、入力装置であるキーボード40、出力装置であるCRT41及びプリンタ42が付属している。
ビデオカメラ1には、暗室ないし半暗室でも撮影できるように赤外線照明装置を併設するか、あるいは赤外線カメラを使用することができる。
【0013】
この実施例の検出システムにより、以下に説明するような要領で瞬きを検出する。
被検者を普通の姿勢で椅子にかけさせ、被検者の顔aから1.5〜2.0m離れた位置で、かつ被検者の視線とほぼ同じかそれよりもやや低いレベルにテレビカメラ1を設置する。被検者の顎は、図示しない顎当てなどに載せて固定するのが好ましいが、固定しなくても差し支えない。
被検者には、顔aから3m前後離れて視線よりやや上方レベルに予め設置した図示しない目標を見るように指示する。
被検者が顔aを多少動かしても被検眼前眼部a1が撮影範囲から外れないようにするため、被検者の顔aの口から額までの部分がビデオカメラ1による撮影範囲に入るようにカメラ1のズームを調整する。
【0014】
キーボート40により、被検者の氏名,年齢,性別,カルテ番号その他の書誌的事項をコンピュータ4に入力する。これらはコンピュータ4に付属する図示しないメモリに格納される。
【0015】
以上の準備の後ビデオカメラ1により撮影を開始すると、VTR2で録画されるとともに、撮影されたビデオ信号は画像入力装置3を介してコンピュータ4に取り込まれる。
画像入力装置3は、ビデオカメラ1から走査線の方向に連続的に入る画像情報を、1/30秒毎にその時点での明暗値に限定してデジタル値に変換するように予め設定されている。
コンピュータ4では予め設定された所定のしきい値により、画像入力装置3で変換されたデジタル信号を二値化するようにプログラムされており、このように処理された二値画像と、二値化されないビデオ画像とがオーバラップしてCRT41に表示されるようになっている。
【0016】
CRT41に表示された画像を観察しながら、瞳孔及び虹彩と他の部分とを区別することができるしきい値を選択してキーボード40からコンピュータ4に入力すると、以後はこの新たなしきい値で二値化される。
表示された画像上で、図2のように被検眼前眼部a1の瞳孔と虹彩とを含む一定の四角の測定範囲a2を設定すると、この測定範囲a2内における画素の着色された点(暗い点)がコンピュータ4によって加算され、順次図示しないメモリに格納される。
【0017】
前述の演算結果により、その時点の瞳孔を含む虹彩の面積が明らかになるので、その面積が所定のレベル以下に急激に減じたときを瞬き(閉瞼)として検出することができる。そして、以上の処理手順が1/30秒毎に行われることによって、瞬きを経時的に検出することができる。
この実施例では、前述の処理手順が所定時間(この例では最高200秒)繰り返された後、前記の加算結果は、CRT41に表示することができるとともに、プリンタ42から出力することができるようにプログラムされている。
またこの実施例では、前記の演算結果をコンピュータ4により微分演算して閉開瞼の変化時間を求めるようにプログラムされている。
【0018】
図3はこの実施例の検出システムにおける前記演算結果をCRT41へ経時的にグラフ化して表示した例であり、縦軸bの方向には瞳孔を含む虹彩の面積が、横軸cの方向には時間(秒単位)がそれぞれ表示されている。
演算結果が所定の値以下であったとき、すなわち瞬きと判定されたときは、横軸cの部分の下方に瞬き判定印dが表示されるようになっている。各瞬き判定印dは幅が異なっているが、この幅の差は閉瞼時間の差を示している。
図3のグラフ化表示は、例えば図4にその一部が例示してあるように、これを拡大して表示することができるようになっている。
図3及び図4のように、演算結果をグラフ化表示することによって、ハーフブリンクを含む経時的な閉開瞼の状態を観察することができる。
なお、図3及び図4には図示されていないが、撮影年月日、撮影の開始時間と終了時間、カルテ番号、被検者の氏名,年齢,性別その他の書誌的事項も表示されるようになっている。
【0019】
図5はこの実施例のシステムによる測定結果のプリンタ42の出力の例が示されており、eのブロックには書誌的事項、fのブロックには所定時間(60秒間)内における経時的な閉開瞼のグラフ化表示、gのブロックには所定時間 60秒間)内における閉開瞼の回数とその時間、hのブロックには所定時間(60秒間 内における閉開瞼の最大,最小,平均の時間がそれぞれ表示されている。
ブロックfにおいては、横軸cに沿って時間が表示され、横軸cの上に瞬き判定印dが表示されている。印dの幅がそれぞれ異なるのは閉瞼している時間がそれぞれ異なっていることによる。
【0020】
前記実施例の検出システムでは、瞳孔を含む虹彩の面積を一定の時間間隔で演算するように構成されているが、その閉開瞼方向の直径を演算するように構成することができる。後者の方法によるときは、図2の測定範囲a2を設定するときに、当該範囲a2の幅を狭めて設定するか、あるいは当該範囲a2を瞳孔部分を通る垂直線状に設定すればよい。
【0021】
【発明の効果】
この発明による請求項1に記載の瞬き検出システムは、被検眼前眼部をカメラで撮影し、所定の時間間隔で瞳孔を含む虹彩の面積又はその閉開瞼方向の直径を演算することによって閉開瞼を検出し、前記演算結果から、所定時間内における平均開瞼時間又は所定時間内における平均閉瞼時間を演算しこれを出力するので、ドライアイの判定のための瞬き検出システムとなる。
【0022】
請求項2に記載の瞬き検出システムによれば、経時的な閉開瞼の状態をより良く観察することができる。
【図面の簡単な説明】
【図1】この発明の実施例による検出システムのブロック図である。
【図2】瞳孔と虹彩を含む部分に検出範囲(走査範囲)を設定した状態の被検眼前眼部の正面図である。
【図3】検出結果をCRTに表示した例の部分正面図である。
【図4】図3のCRT表示の一部を拡大した状態の部分拡大正面図である。
【図5】検出結果をプリンタで出力した例の平面図である。
【符号の説明】
a 被検者の顔
a1 被検眼前眼部
a2 測定範囲
b 縦軸
c 横軸
d 瞬き判定印
e,f,g,h ブロック
1 ビデオカメラ
2 VTR
3 画像入力装置
4 コンピュータ
40 キーボード
41 CRT
42 プリンタ

Claims (2)

  1. 覚醒状態における人間の被検眼前眼部を含む顔の一定領域をビデオカメラで撮影し、このビデオカメラの映像信号を画像入力装置によりデジタル信号に変換し、コンピュータにより、前記デジタル信号を二値化して所定の時間間隔で瞳孔を含む虹彩部分の面積又は閉開瞼方向の直径を演算し、当該演算結果が0又は所定値以下であるときを閉瞼とし、前記演算結果から、所定時間内における平均開瞼時間又は所定時間内における平均閉瞼時間を演算しこれを出力することを特徴とする、瞬き検出システム。
  2. 所定時間内における時系列的な閉瞼間隔を演算しこれを出力することを特徴とする、請求項1に記載の瞬き検出システム。
JP26649794A 1994-10-31 1994-10-31 瞬き検出システム Expired - Fee Related JP3563459B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26649794A JP3563459B2 (ja) 1994-10-31 1994-10-31 瞬き検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26649794A JP3563459B2 (ja) 1994-10-31 1994-10-31 瞬き検出システム

Publications (2)

Publication Number Publication Date
JPH08266468A JPH08266468A (ja) 1996-10-15
JP3563459B2 true JP3563459B2 (ja) 2004-09-08

Family

ID=17431751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26649794A Expired - Fee Related JP3563459B2 (ja) 1994-10-31 1994-10-31 瞬き検出システム

Country Status (1)

Country Link
JP (1) JP3563459B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273954A (ja) * 2009-05-29 2010-12-09 Hamamatsu Photonics Kk 瞬目計測装置及び瞬目計測方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100404929B1 (ko) * 2001-05-09 2003-11-07 정하철 안구의 홍채 및 안면 촬영장치
JP2005211631A (ja) * 2004-01-29 2005-08-11 Tomey Corporation 眼科装置における計測開始タイミング
JP4757173B2 (ja) 2006-11-17 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CN101430576B (zh) 2007-11-05 2010-04-21 鸿富锦精密工业(深圳)有限公司 眼睛防护警示装置及眼睛防护警示方法
JP2015043929A (ja) * 2013-08-29 2015-03-12 学校法人慶應義塾 知覚測定評価装置、知覚測定評価方法、及びプログラム
NZ756561A (en) * 2016-03-04 2023-04-28 Magic Leap Inc Current drain reduction in ar/vr display systems
IL261769B2 (en) 2016-03-25 2024-08-01 Magic Leap Inc Virtual and augmented reality systems and methods
JP2018166650A (ja) * 2017-03-29 2018-11-01 株式会社トプコン 眼科装置
JP2018166649A (ja) * 2017-03-29 2018-11-01 株式会社トプコン 眼科装置
JP2018051340A (ja) * 2017-11-24 2018-04-05 株式会社トプコン 眼科装置
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
JP7370570B2 (ja) * 2019-09-09 2023-10-30 株式会社トーメーコーポレーション 眼科装置及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273954A (ja) * 2009-05-29 2010-12-09 Hamamatsu Photonics Kk 瞬目計測装置及び瞬目計測方法

Also Published As

Publication number Publication date
JPH08266468A (ja) 1996-10-15

Similar Documents

Publication Publication Date Title
JP3563459B2 (ja) 瞬き検出システム
US7380938B2 (en) Apparatus to detect and measure saccade and pupilary changes
US5867587A (en) Impaired operator detection and warning system employing eyeblink analysis
US10034605B2 (en) Systems, methods, and devices for detection and diagnosis of brain trauma, mental impairment, or physical disability
JP4377472B2 (ja) 顔画像処理装置
WO2002082999A1 (en) Image analysis system and method for discriminating movements of an individual
JP2004529702A (ja) ポリグラフ検査のための熱画像解析
KR101051433B1 (ko) 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
JP2004529703A (ja) ポリグラフ検査のための熱画像解析
IL153268A (en) A detection system and method that uses thermal analysis of an image
EP3118811A1 (en) Detecting device, detecting method, and recording medium
US20220346651A1 (en) Diseased person distinguishing device and diseased person distinguishing system
US5883691A (en) Pupil measuring system and Alzheimer's disease diagnosing system
KR20180101816A (ko) 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법
JP3116638B2 (ja) 覚醒状態検知装置
JP2010273954A (ja) 瞬目計測装置及び瞬目計測方法
KR101701059B1 (ko) 스마트폰을 이용한 동공반응 확인장치
RU2187904C1 (ru) Способ и устройство преобразования изображения
KR100234590B1 (ko) 얼굴화상 처리장치 및 얼굴화상 처리방법
JPH1166304A (ja) 顔画像処理装置
KR101664276B1 (ko) 감시용 시스템에서의 인체 온도 검출 장치 및 방법
JP5825588B2 (ja) 瞬目計測装置及び瞬目計測方法
Deng et al. Fatigue detection based on infrared video pupillography
JPH07174541A (ja) 瞳孔面積測定装置
JP2004113755A (ja) 視点検出カメラ及び視点の自動分析装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040603

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080611

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees