KR101617291B1 - 비접촉식 안경형 안구인식 장치 및 방법 - Google Patents

비접촉식 안경형 안구인식 장치 및 방법 Download PDF

Info

Publication number
KR101617291B1
KR101617291B1 KR1020140121840A KR20140121840A KR101617291B1 KR 101617291 B1 KR101617291 B1 KR 101617291B1 KR 1020140121840 A KR1020140121840 A KR 1020140121840A KR 20140121840 A KR20140121840 A KR 20140121840A KR 101617291 B1 KR101617291 B1 KR 101617291B1
Authority
KR
South Korea
Prior art keywords
signal
eyeball
blinking
eyelid
movement
Prior art date
Application number
KR1020140121840A
Other languages
English (en)
Other versions
KR20160031756A (ko
Inventor
박광석
임용규
이정수
Original Assignee
서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교 산학협력단 filed Critical 서울대학교 산학협력단
Priority to KR1020140121840A priority Critical patent/KR101617291B1/ko
Publication of KR20160031756A publication Critical patent/KR20160031756A/ko
Application granted granted Critical
Publication of KR101617291B1 publication Critical patent/KR101617291B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Anesthesiology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 비접촉식 안경형 안구인식 장치 및 방법에 관한 것으로, 더욱 상세하게는 안면부에 직접적으로 접촉되지 않고 안구의 움직임 및 눈꺼풀의 깜빡임을 인식할 수 있는 비접촉식 안경형 안구인식 장치 및 방법에 관한 것이다.
본 발명은 외부장비를 최소화하여 기존의 안경에 쉽게 부착 가능하여, 간단한 방법으로 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임을 측정하는 것이 가능하며, 사용자와의 직접적인 접촉이 필요없어 접촉의 분리로 인해 측정시 발생하는 오류를 감소시킬 수 있으며, 투명전극을 통해 사용자의 시야를 방해하지 않고 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임을 측정하는 것이 가능하다.

Description

비접촉식 안경형 안구인식 장치 및 방법{Apparatus and method of contactless eye recognition with glasses}
본 발명은 비접촉식 안경형 안구인식 장치 및 방법에 관한 것으로, 더욱 상세하게는 안면부에 직접적으로 접촉되지 않고 안구의 움직임 및 눈꺼풀의 깜빡임을 인식할 수 있는 비접촉식 안경형 안구인식 장치 및 방법에 관한 것이다.
인체의 평형 기능은 전정계，시각계 및 고유 감각계 의 기능이 상호 작용되어 나타나는 것으로 복잡하게 얽혀 있어 직접적인 관찰이 어렵다. 이로 인해 전정계 의 반응을 분석할 때, 자극에 따른 안구의 운동 (전정 안반사)을 평가함으로써 보다 쉽게 평형 장애를 이해하고 전정 기관의 기능 장애를 평가할 수 있다. 안구 운동을 측정하는 방법들로는 전기 안진 검사법(EOG, Electrooculography), 사진을 이용하는 방법(Photographic method), 자기장을 이용하는 방법 (SSC, Sclera search coil method), 및 영상을 이용하는 방법 (Video method)등이 있다.
한국 공개특허 제 10-2010-0061772호에 제시된 바와 같이 전기 안진 검사법은 눈을 감은 상태에서도 측정이 가능하여 현재까지 임상에서 전정 안반사의 정량적 측정이나 다른 목적의 안구 운동을 검사하는데 널리 이용되고 있다. 그러나, 실험 전 보정이 요구되고 전극을 부착해야 하는 번거로움 등의 단점이 있다.
또한, 컴퓨터의 처리 속도 향상과 진보된 신호처리기술을 기반으로 영상을 이용한 안구 운동 측정법(VOG, videooculography)이 있다. 안구 운동 측정법(VOG, videooculography)은 사진을 이용한 방법과 같이 직접적으로 안구 영상을 관찰하기 때문에 생체 전위를 이용하는 전기 안진기(EOG)나 자기장을 이용하는 방법(SSC, Sclera search coil method)과는 달리 직류 변동(drift)이나 실험실 주변의 전자기파(EMI, electoromagnetic interference) 에 의한 잡음 특성, 그리고 다른 전기 생리 신호에 의한 영향을 받지 않고, 비관혈적(non-invasive)이고 보정이 용이하다는 장점을 가지고 있다. 또한, Frenzel 안경과 동일한 기능을 가지고 안구 운동 자체를 관찰하는 방식을 취하므로 영상의 형태로 자료의 저장도 가능하여, 환자 치료와 교육에 도움을 줄 수 있다. 영상을 이용하여 3차원 안구 운동을 실시간으로 측정하는데 있어 일반적으로 이용하는 방법은 안구의 중 점을 찾고 중점을 기준으로 하여 회전 운동을 측정하는 것이다. 동공 중점을 찾는 대표적인 방법은 동공 영 상의 무게 중심점 (COG, center of gravity)을 찾는 것으로 hot & pepper noise에 강할 뿐만 아니라 빠르고 정확하게 안구의 수평과 수직 위치를 찾는다. 그러나, 눈꺼풀, 속눈썹, 혹은 광원에 의한 각막 반사(comeal reflections) 에 의해 동공의 중심을 찾는 과정에서 오차가 발생한다. 이러한 문제를 해결하고자 변형 템플렛(deformable template)방법이나 곡률(curvature)을 이용한 방법 등을 이용하여 동공을 완전한 원으로 보지 않고 타원으로 확장하여 잡음에 대한 영향을 상당히 줄였으나 계산량이 많고 계산 과정이 복 잡하며 실시간으로 처리하는 데는 어려움이 따른다.
상기와 같은 문제점을 해결하기 위해 본 발명은 사람의 자의적인 안구운동을 비접촉 방법으로 측정 가능한 비접촉식 안경형 안구인식 장치 및 방법을 제안한다.
한국 공개특허 제 10-2010-0061772호
본 발명이 해결하고자 하는 기술적 과제는 사용자의 안면부에 직접적으로 접촉하지 않고 안구의 움직임 및 눈꺼풀의 깜빡임을 인식할 수 있는 비접촉식 안경형 안구인식 장치 및 방법을 제공하는데 목적이 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는 안구의 움직임 및 눈꺼풀의 깜빡임을 인식하여 안구의 움직임만으로 전자기기를 제어하거나 사용자의 졸음을 인식할 수 있는 비접촉식 안경형 안구인식 장치 및 방법을 제공하는데 목적이 있다.
상기와 같은 문제점을 해결하기 위해 본 발명은, 착용 가능한 안경부재, 상기 안경부재의 렌즈에 부착될 수 있는 투명전극을 포함하며, 한 쌍으로 형성되는 전극부재 안구의 움직임 및 눈꺼풀의 깜빡임의 특징에 대한 특징신호가 저장되는 저장부 및 상기 전극부재에서 측정되는 정정용량의 변화와 상기 저장부에 저장된 특징신호를 비교하여 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 제어부를 포함하는 비접촉식 안경형 안구인식 장치를 제공한다.
상기 안경부재는, 사용자의 코와 접촉되어 상기 안경부재가 흘러내리는 것을 방지하기 위한 코받침을 포함하며, 상기 코받침은 전기 전도성 폼(form)으로 형성되어 상기 사용자의 코에 접지(ground)될 수 있다.
상기 전극부재는, 상기 안경부재의 일측 착용자 방향 렌즈면의 상단 및 하단에 형성되는 한 쌍의 상하 전극부재,상기 안경부재의 타측 착용자 방향 렌즈면의 좌측단과 우측단에 형성되는 한 쌍의 좌우 전극부재 및 상기 전극부재로 전달되는 외부잡음을 제거하기 위한 쉴드 전극부재 를 포함할 수 있다.
상기 쉴드 전극부재는 상기 안경부재의 착용자의 반대방향 렌즈면에 형성될 수 있다. 상기 전극부재는, 상기 렌즈에 부착 가능한 투명한 접착필름 상에 투명전극이 형성될 수 있다.
상기 투명전극은, 전도성 고분자, 그래핀(Graphene), 탄소나노듀브(CNT), 산화인듐(ITO), 금속산화물 나노와이어 및 전도성 섬유로 형성될 수 있다.
상기 전극부재는, 상기 안구와 용량성 결합(capacitive coupling)되어 형성될 수 있다.
상기 제어부는, 상기 전극부재의 정정용량 변화의 신호를 전달받기 위한 수신모듈, 상기 전달된 정전용량 변화의 신호를 1차적으로 증폭하기 위한 제 1 증폭모듈, 상기 1차적으로 증폭된 정전용량 변화의 신호의 노이즈(noise)를 제거하기 위한 필터모듈, 상기 필터링된 정전용량 변화의 신호를 2차적으로 증폭하기 위한 제 2 증폭모듈, 상기 2차적으로 증폭된 신호를 기초로 신호에 따른 특징을 추출하기 위한 특징추출모듈, 상기 증폭된 신호를 기초로 추출된 각각의 특징을 상기 저장부에 저장된 특징신호와 비교하여 상기 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 판단모듈를 포함할 수 있다.
상기 제어부에서 결정된 안구의 움직임 및 눈꺼풀의 깜빡임을 기초로 동작될 수 있는 전자기기를 더 포함할 수 있다.
상기 제 1 증폭모듈은, 차동증폭기로 구성될 수 있다.
상기 전극부재는, 상기 렌즈의 상단 및 하단의 쌍에서 상기 안구의 깜빡임을 인식하며, 상기 렌즈의 일단 및 타단의 쌍에서 상기 안구의 움직임을 인식할 수 있다.
또한 본 발명은, 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임에 의해 변화된 정전용량의 신호를 생성하는 단계, 상기 생성된 신호를 차동증폭기를 통해 1차적으로 증폭시키는 단계, 상기 1차적으로 증폭된 신호에 포함된 노이즈(noise)를 제거하는 단계, 상기 노이즈(noise)가 제거된 신호를 2차적으로 증폭시키는 단계, 상기 2차적으로 증폭된 신호의 특징을 추출하는 단계 및 상기 추출된 특징신호와 미리 저장된 특징신호와 비교하여 상기 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 단계를 포함할 수 있다.
상기 노이즈를 제거하는 단계는, 원하는 주파수만을 통과시키는 단계를 포함할 수 있다.
상기 차동증폭기는, 고입력 임피던스 연산증폭기(high input impedance operational amplifier)일 수 있다.
상기 인식된 안구의 움직임 및 눈꺼풀의 깜빡임을 통해 사용자의 졸음을 판단하는 단계를 더 포함할 수 있다.
상기 인식된 안구의 움직임 및 눈꺼풀의 깜빡임을 통해 사용자 전자기기를 제어하는 단계를 더 포함할 수 있다.
본 발명은, 외부장비를 최소화하여 기존의 안경에 쉽게 부착 가능하여, 간단한 방법으로 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임을 측정하는 것이 가능하다.
또한, 사용자와의 직접적인 접촉이 필요없어 접촉의 분리로 인해 측정시 발생하는 오류를 감소시킬 수 있으며, 투명전극을 통해 사용자의 시야를 방해하지 않고 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임을 측정하는 것이 가능하다.
도 1은 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치의 렌즈 및 전극부재를 도시한 단면도이다.
도 3은 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치의 제어부를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 방법을 도시한 순서도이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 비접촉식 안경형 안구인식 장치 및 방법에 대해 상세하게 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은, 착용 가능한 안경부재, 상기 안경부재의 렌즈에 부착될 수 있는 투명전극을 포함하며, 한 쌍으로 형성되는 전극부재, 안구의 움직임 및 눈꺼풀의 깜빡임의 특징에 대한 특징신호가 저장되는 저장부 및 상기 전극부재에서 측정되는 정정용량의 변화와 상기 저장부에 저장된 특징신호를 비교하여 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 제어부를 포함하는 비접촉식 안경형 안구인식 장치를 제공한다.
이하, 도면을 참조하여 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치를 더욱 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치를 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치의 렌즈 및 전극부재를 도시한 단면도이다.
도 1 및 도 2를 참조하면, 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치(10)는 안경부재(100), 전극부재(200), 제어부(300), 저장부(400) 및 전자기기(500)를 포함할 수 있다.
안경부재(100)는 일반적으로 사용하고 있는 렌즈(110)를 포함하는 안경, 선글라스 및 고글 등이 될 수 있으며, 상기 안경부재(100)는 사용자의 코와 접촉되어 상기 안경부재(100)가 흘러내리는 것을 방지하기 위한 코받침(120)을 포함할 수 있다.
전극부재(200)는 상기 안경부재(100)의 렌즈(110a, 110b)에 부착 가능하며, 전기 전도성을 나타내는 물질로 구성되며, 특히 투명한 재질로 형성되어 사용자의 시야를 방해하지 않도록 구성된다. 이를 위해 전극부재(200)는 투명전극(210)으로 형성될 수 있으며, 상기 투명전극(210)은 전도성 고분자, 그래핀(Graphene), 탄소나노듀브(CNT), 산화인듐(ITO), 금속산화물 나노와이어 및 전도성 섬유로 형성될 수 있으나, 이에 제한되지 않는다.
또한, 상기 투명전극(210)은 상기 안경부재(100)에 부착될 수 있도록 부착 가능한 투명한 접착필름 상에 형성될 수 있으며, 예를 들어, 투명한 접착필름은 폴리에틸렌 필름일 수 있으나, 이에 제한되지 않으며, 투명하며 접착 가능한 필름은 모두 사용할 수 있다.
도 2를 참조하면, 특히, 상하 전극부재(200a)는 우측 렌즈(110a)의 착용자 방향의 렌즈면 상단 및 하단에 부착되어, 이는 안구의 상하 움직임 및 눈꺼풀의 깜빡임을 인식하는 수단으로 사용된다.
또한, 좌우 전극부재(200b)는 좌측 렌즈(110b)의 착용자 방향의 렌즈면 우측단 및 좌측단에 부착되어, 이는 안구의 좌우 움직임을 인식하는 수단으로 사용된다. 상기 상하 전극부재(200a) 및 좌우 전극부재(200b)는 우측 렌즈(110a) 및 좌측 렌즈(110b) 어디든 부착 가능하다.
더욱이, 쉴드 전극부재(200c)는 우측 렌즈(110a) 및 좌측 렌즈(110b)의 착용자 반대방향의 렌즈면에 부착될 수 있으며, 상기 상하 전극부재(200a) 및 좌우 전극부재(200b)에 전달되는 외부 잡음을 제거할 수 있다.
전극부재(200)는 눈꺼풀의 깜빡임 또는 안구의 움직임에 따라 정전용량이 변화되며 이를 측정하여 신호를 생성할 수 있다.
상기 안경부재(100)의 코받침(120)은 접지(ground)를 위해 사용자의 코와 접촉되며, 상기 코받침(120)은 전기 전도성 폼(form)으로 형성되어 사용자의 착용감을 우수하게 한다.
도 3은 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 장치의 제어부를 도시한 도면이다.
도 1 및 도 2와 함께 도 3을 추가적으로 참조하면, 제어부(300)는 수신모듈(310), 제 1 증폭모듈(320), 필터모듈(330), 제 2 증폭모듈(340), 특징추출모듈(350) 및 판단모듈(360)를 포함할 수 있다.
상기 수신모듈(310)는 상기 전극부재(200)에서 생성된 정정용량 변화의 신호를 전달받을 수 있다.
제 1 증폭모듈(320)는 상기 수신모듈(310)에 전달된 정정용량 변화의 신호를 전달받아 이를 증폭하기 위한 수단이다. 제 1 증폭모듈(320)는 사용자의 안구와 전극부재(200) 사이의 높은 임피던스를 극복하기 위하여 고입력 임피던스 연산증폭기(high input impedance operational amplifier)를 사용하여 수신모듈(310)에 전달된 정정용량 변화의 신호를 1차적으로 증폭시킬 수 있다.
필터모듈(330)는 제 1 증폭모듈(320)에서 증폭된 정정용량 변화의 신호에 포함된 노이즈(noise)를 제거하기 위한 수단일 수 있다. 이를 위해 상기 필터모듈(330)는 고역통과필터(HPF) 및 저역통과필터(LPF)가 결합되어 원하는 신호만 필터링 할 수 있다.
제 2 증폭모듈(340)는 상기 필터모듈(330)에서 필터링된 정정용량 변화의 신호를 2차적으로 증폭시킬 수 있다. 상기 전극부재(200)에서 생성된 정정용량 변화는 매우 작은 수치일 수 있으며, 이를 위해 2번의 증폭회로를 통해 증폭된다.
특징추출모듈(350)는 상기 제 2 증폭모듈(340)에서 증폭된 정정용량 변화의 신호를 분석하기 위한 수단이다. 특징추출모듈(350)는 2차적으로 증폭된 정전용량 변화의 신호를 분석하여 정정용량 변화의 신호에 포함된 눈꺼풀의 깜빡임 및 안구의 움직임에 연관된 특징신호를 검출할 수 있다.
판단모듈(360)은 상기 특징추출모듈(350)에서 검출된 특징신호를 저장부(400)에 미리 저장된 특징신호의 데이터 베이스와 비교하여 안구의 움직임 및 눈꺼풀의 깜빡임을 결정할 수 있다.
저장부(400)는 안구 동작에 관한 데이터, 즉, 안구의 응시 위치 및 안구의 이동 속도 중 적어도 하나에 관한 정보를 포함할 수 있다. 또한, 눈의 깜박임에 관한 데이터는 눈의 깜박임의 속도 및 눈의 깜박임의 횟수 중 적어도 하나에 관한 정보를 포함할 수 있다.
저장부(400)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 제어부(300) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함할 수 있다.
전자기기(500)는 사용자의 안구의 동작 및 사용자의 눈의 깜박임을 감지하고, 전자기기(500)와 연결된 복수의 디바이스들은 감지된 안구 동작 및 눈꺼풀의 깜박임 정보에 기초하여 자신의 동작을 각각 제어할 수 있다. 디바이스는, 예를 들어, TV, 스마트폰, 태블릿 PC 및 PC를 포함할 수 있다. 또한, 디바이스는, 예를 들어, 노트북 컴퓨터(laptop computer), 전자북 단말기, 스마트 TV, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션을 포함할 수 있으나, 이에 제한되지 않는다. 또한, 상기 전자기기(500)는 눈꺼풀의 깜박임 정보를 기초로 사용자의 졸음 여부를 판단하고 이를 알리는 동작이 가능하다.
또한 본 발명은, 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임에 의해 변화된 정전용량의 신호를 생성하는 단계, 상기 생성된 신호를 차동증폭기를 통해 1차적으로 증폭시키는 단계, 상기 1차적으로 증폭된 신호에 포함된 노이즈(noise)를 제거하는 단계, 상기 노이즈(noise)가 제거된 신호를 2차적으로 증폭시키는 단계, 상기 2차적으로 증폭된 신호의 특징을 추출하는 단계 및 상기 추출된 특징신호와 미리 저장된 특징신호와 비교하여 상기 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 단계를 포함하는 비접촉식 안경형 안구인식 방법을 제공한다.
이하, 도면을 참조하여 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 방법을 더욱 상세하게 설명한다.
도 4는 본 발명의 일실시예에 따른 비접촉식 안경형 안구인식 방법을 도시한 순서도이다.
도 4를 참조하면, 먼저 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임에 의해 변화된 정전용량의 신호를 생성한다(S100). 이때, 상기 변화된 정전용량의 신호를 생성하는 단계는, 안구의 움직임 및 눈꺼풀의 깜빡임에 따라 정전용량의 변화를 발생시키는 것으로 수행된다. 렌즈의 상부 및 하부에 부착된 투명전극은 안구의 상하 움직임 및 눈꺼풀의 깜빡임에 따라 정전용량이 변화되며, 렌즈의 좌측 및 우측에 부착된 투명전극은 안구의 좌우 움직임에 따라 정전용량이 변화되어 이를 측정함으로써 수행된다.
다음으로, 상기 생성된 신호를 차동증폭기를 통해 1차적으로 증폭시킨다(S110). 이때, 투명전극과 안구 사이의 높은 임피던스를 극복하기 위하여 고입력 임피던스 연산증폭기(high input impedance operational amplifier)를 사용하여 단계(S100)에서 생성된 정정용량 변화의 신호를 1차적으로 증폭시킨다.
다음으로, 상기 1차적으로 증폭된 신호에 포함된 노이즈(noise)를 제거한다(S120). 상기 1차적으로 증폭된 신호는 안구의 움직임 및 눈꺼풀의 깜빡임에 따라 변화된 정전용량 신호뿐만 아니라 증폭 또는 외부의 환경에 따라 발생된 노이즈(noise)를 포함하고 있기 때문에 고역통과필터(HPF) 및 저역통과필터(LPF)를 결합하여 원하는 신호만 필터링한다.
다음으로, 상기 노이즈(noise)가 제거된 신호를 2차적으로 증폭시킨다(S130). 상기 단계(S100)에서 생성된 신호는 단계(S110)에 의해 1차적으로 증폭되었으나, 상기 1차적으로 증폭된 신호는 다른 기기에 적용하기에 미약한 신호일 수 있기 때문에 상기 노이즈(noise)가 제거된 신호를 2차적으로 증폭시킨다.
다음으로, 상기 2차적으로 증폭된 신호의 특징을 추출한다(S140). 상기 2차적으로 증폭된 신호는 다른 연산을 하기에 충분한 크기로 증폭되어 있으며, 상기 2차적으로 증폭된 신호에서 안구의 움직임 및 눈꺼풀의 깜빡임에 따른 특징신호를 추출한다.
상기 추출된 특징신호와 미리 저장된 특징신호와 비교하여 상기 안구의 움직임 및 눈꺼풀의 깜빡임을 결정한다(S150). 미리 저장된 특징신호는 안구의 움직임에 따른 특징신호 및 눈꺼풀의 깜빡임에 따른 특징신호의 정보이며, 특히, 안구 동작에 관한 데이터, 즉, 안구의 응시 위치 및 안구의 이동 속도 중 적어도 하나에 관한 정보를 포함할 수 있다. 또한, 눈의 깜박임에 관한 데이터는 눈의 깜박임의 속도 및 눈의 깜박임의 횟수 중 적어도 하나에 관한 정보를 포함할 수 있다.
100: 안경부재
110: 렌즈
110a: 우측 렌즈
110b: 좌측렌즈
120: 코받침
200: 전극부재
200a: 상하 전극부재
200b: 좌우 전극부재
200c: 쉴드전극부재
210: 투명전극
300: 제어부
310: 수신모듈
320: 제 1 증폭모듈
330: 필터모듈
340: 제 2 증폭모듈
350: 특징추출모듈
360: 판단모듈
400: 저장부
500: 전자기기

Claims (16)

  1. 착용 가능한 안경부재;
    상기 안경부재의 렌즈에 부착될 수 있는 투명전극을 포함하며, 한 쌍으로 형성되는 전극부재;
    안구의 움직임 및 눈꺼풀의 깜빡임의 특징에 대한 특징신호가 저장되는 저장부; 및
    상기 전극부재에서 측정되는 정정용량의 변화와 상기 저장부에 저장된 특징신호를 비교하여 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 제어부;를 포함하는 비접촉식 안경형 안구인식 장치.
  2. 제 1항에 있어서,
    상기 안경부재는,
    사용자의 코와 접촉되어 상기 안경부재가 흘러내리는 것을 방지하기 위한 코받침을 포함하며, 상기 코받침은 전기 전도성 폼(form)으로 형성되어 상기 사용자의 코에 접지(ground)되는 비접촉식 안경형 안구인식 장치.
  3. 제 1항에 있어서,
    상기 전극부재는,
    상기 안경부재의 일측 착용자 방향 렌즈면의 상단 및 하단에 형성되는 한 쌍의 상하 전극부재;
    상기 안경부재의 타측 착용자 방향 렌즈면의 좌측단과 우측단에 형성되는 한 쌍의 좌우 전극부재; 및
    상기 전극부재로 전달되는 외부잡음을 제거하기 위한 쉴드 전극부재;를 포함하는 비접촉식 안경형 안구인식 장치.
  4. 제 3항에 있어서,
    상기 쉴드 전극부재는,
    상기 안경부재의 착용자의 반대방향 렌즈면에 형성되는 것을 특징으로 하는 비접촉식 안경형 안구인식 장치.
  5. 제 1항에 있어서,
    상기 전극부재는,
    상기 렌즈에 부착 가능한 투명한 접착필름 상에 투명전극이 형성되는 비접촉식 안경형 안구인식 장치.
  6. 제 1항에 있어서,
    상기 투명전극은,
    전도성 고분자, 그래핀(Graphene), 탄소나노듀브(CNT), 산화인듐(ITO), 금속산화물 나노와이어 및 전도성 섬유로 형성되는 비접촉식 안경형 안구인식 장치.
  7. 제 1항에 있어서,
    상기 전극부재는,
    상기 안구와 용량성 결합(capacitive coupling)되어 형성된 비접촉식 안경형 안구인식 장치.
  8. 제 1항에 있어서,
    상기 제어부는,
    상기 전극부재의 정정용량 변화의 신호를 전달받기 위한 수신모듈;
    상기 전달된 정전용량 변화의 신호를 1차적으로 증폭하기 위한 제 1 증폭모듈;
    상기 1차적으로 증폭된 정전용량 변화의 신호의 노이즈(noise)를 제거하기 위한 필터모듈;
    상기 필터모듈에서 필터링된 정전용량 변화의 신호를 2차적으로 증폭하기 위한 제 2 증폭모듈;
    상기 2차적으로 증폭된 신호를 기초로 신호에 따른 특징신호를 추출하기 위한 특징추출모듈;
    상기 증폭된 신호를 기초로 추출된 각각의 특징신호를 상기 저장부에 저장된 특징신호와 비교하여 상기 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 판단모듈;를 포함하는 비접촉식 안경형 안구인식 장치.
  9. 제 1항에 있어서,
    상기 제어부에서 결정된 안구의 움직임 및 눈꺼풀의 깜빡임을 기초로 동작될 수 있는 전자기기를 더 포함하는 비접촉식 안경형 안구인식 장치.
  10. 제 8항에 있어서,
    상기 제 1 증폭모듈은,
    차동증폭기로 구성되는 비접촉식 안경형 안구인식 장치.
  11. 제 3항에 있어서,
    상기 전극부재는,
    상기 렌즈의 상단 및 하단의 쌍에서 상기 안구의 깜빡임을 인식하며, 상기 렌즈의 일단 및 타단의 쌍에서 상기 안구의 움직임을 인식하는 비접촉식 안경형 안구인식 장치.
  12. 사용자의 안구의 움직임 및 눈꺼풀의 깜빡임에 의해 변화된 정전용량의 신호를 생성하는 단계;
    상기 생성된 신호를 차동증폭기를 통해 1차적으로 증폭시키는 단계;
    상기 1차적으로 증폭된 신호에 포함된 노이즈(noise)를 제거하는 단계;
    상기 노이즈(noise)가 제거된 신호를 2차적으로 증폭시키는 단계;
    상기 2차적으로 증폭된 신호의 특징을 추출하는 단계; 및
    상기 추출된 특징신호와 미리 저장된 특징신호와 비교하여 상기 안구의 움직임 및 눈꺼풀의 깜빡임을 결정하는 단계;를 포함하는 비접촉식 안경형 안구인식 방법.
  13. 제 12항에 있어서,
    상기 노이즈를 제거하는 단계는,
    원하는 주파수만을 통과시키는 단계를 포함하는 비접촉식 안경형 안구인식 방법.
  14. 제 12항에 있어서,
    상기 차동증폭기는,
    고입력 임피던스 연산증폭기(high input impedance operational amplifier)인 것을 특징으로 하는 비접촉식 안경형 안구인식 방법.
  15. 제 12항에 있어서,
    인식된 안구의 움직임 및 눈꺼풀의 깜빡임을 통해 사용자의 졸음을 판단하는 단계를 더 포함하는 비접촉식 안경형 안구인식 방법.
  16. 제 12항에 있어서,
    인식된 안구의 움직임 및 눈꺼풀의 깜빡임을 통해 사용자 전자기기를 제어하는 단계를 더 포함하는 비접촉식 안경형 안구인식 방법.
KR1020140121840A 2014-09-15 2014-09-15 비접촉식 안경형 안구인식 장치 및 방법 KR101617291B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140121840A KR101617291B1 (ko) 2014-09-15 2014-09-15 비접촉식 안경형 안구인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140121840A KR101617291B1 (ko) 2014-09-15 2014-09-15 비접촉식 안경형 안구인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160031756A KR20160031756A (ko) 2016-03-23
KR101617291B1 true KR101617291B1 (ko) 2016-05-18

Family

ID=55645132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140121840A KR101617291B1 (ko) 2014-09-15 2014-09-15 비접촉식 안경형 안구인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101617291B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190043185A (ko) 2017-10-17 2019-04-26 주식회사 솔라플러스컴퍼니 태양광 발전 및 상용전원을 이용한 전기자동차용 휴대용 보조 배터리 장치 및 에너지 변환 방법
EP3760116A1 (en) * 2019-07-03 2021-01-06 Vivior AG Eye blink sensor and method of examining blinking of an eye of a user

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107115095A (zh) * 2017-04-07 2017-09-01 王莹 一种眼部自动检测系统及检测方法
EP3791775B1 (en) * 2019-09-16 2023-12-13 Nokia Technologies Oy Eyewear device
CN113805699A (zh) * 2021-09-10 2021-12-17 歌尔光学科技有限公司 近眼显示设备、眼部指令识别方法和可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190043185A (ko) 2017-10-17 2019-04-26 주식회사 솔라플러스컴퍼니 태양광 발전 및 상용전원을 이용한 전기자동차용 휴대용 보조 배터리 장치 및 에너지 변환 방법
EP3760116A1 (en) * 2019-07-03 2021-01-06 Vivior AG Eye blink sensor and method of examining blinking of an eye of a user
WO2021001296A1 (en) * 2019-07-03 2021-01-07 Vivior Ag Eye blink sensor and method of examining blinking of an eye of a user

Also Published As

Publication number Publication date
KR20160031756A (ko) 2016-03-23

Similar Documents

Publication Publication Date Title
Cognolato et al. Head-mounted eye gaze tracking devices: An overview of modern devices and recent advances
KR101617291B1 (ko) 비접촉식 안경형 안구인식 장치 및 방법
CN110520824B (zh) 多模式眼睛跟踪
Kunze et al. Activity recognition for the mind: Toward a cognitive" Quantified Self"
Bulling et al. Multimodal recognition of reading activity in transit using body-worn sensors
JP6426589B2 (ja) 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム
EP2668898B1 (en) Eyewear
Bulling et al. What's in the Eyes for Context-Awareness?
CN104865712A (zh) 儿童智能健康眼镜
CN110366388B (zh) 信息处理方法、信息处理装置以及计算机可读存储介质
Ha et al. Novel hybrid brain-computer interface for virtual reality applications using steady-state visual-evoked potential-based brain–computer interface and electrooculogram-based eye tracking for increased information transfer rate
KR20160117716A (ko) 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템
CN106419832B (zh) 智能眼疾检测眼镜
JPWO2016052168A1 (ja) 人体特性検出装置及び眼鏡型電子機器
Kasprowski Eye tracking hardware: past to present, and beyond
JP6687639B2 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
CN204758957U (zh) 一种儿童智能健康眼镜
EP3332286B1 (en) A method for determining the optical power of an optical lens
KR102306111B1 (ko) 장시간 안구 움직임 검출을 위한 기준선 드리프트 제거 알고리즘을 이용한 eog 기반 안구 추적 프로토콜의 방법 및 장치
TWI689283B (zh) 眼睛輻輳啟用之眼睛追跡方法及系統
EP3791775B1 (en) Eyewear device
US20230137601A1 (en) Method for detecting an activity of eyes of a user of glasses
US9913598B2 (en) Noninvasive nondisruptive assessment of eyelid dynamics by means of Eddy-current no-touch sensors
Miyashita et al. Implementation of EOG-based gaze estimation in HMD with head-tracker
JP6538203B2 (ja) 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant