KR20070027541A - 눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및컨트롤러 및 그들의 사용 방법 - Google Patents

눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및컨트롤러 및 그들의 사용 방법 Download PDF

Info

Publication number
KR20070027541A
KR20070027541A KR1020067022734A KR20067022734A KR20070027541A KR 20070027541 A KR20070027541 A KR 20070027541A KR 1020067022734 A KR1020067022734 A KR 1020067022734A KR 20067022734 A KR20067022734 A KR 20067022734A KR 20070027541 A KR20070027541 A KR 20070027541A
Authority
KR
South Korea
Prior art keywords
eye
camera
user
processor
display
Prior art date
Application number
KR1020067022734A
Other languages
English (en)
Other versions
KR101049605B1 (ko
Inventor
윌리엄 씨. 토치
Original Assignee
윌리엄 씨. 토치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윌리엄 씨. 토치 filed Critical 윌리엄 씨. 토치
Publication of KR20070027541A publication Critical patent/KR20070027541A/ko
Application granted granted Critical
Publication of KR101049605B1 publication Critical patent/KR101049605B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

사람의 눈의 움직임을 모니터하기 위한 바이오센서, 커뮤니케이터, 및 컨트롤러 장치, 시스템, 및 방법들이 제공된다. 이 장치는 사용자의 머리에 착용되도록 구성된 디바이스와, 상기 사용자의 한쪽 또는 양쪽 눈을 향하여 광을 지향시키는 광원과, 상기 사용자의 한쪽 또는 양쪽 눈을 바라보기 위한 상기 디바이스 상의 하나 이상의 영상 도파관과, 상기 눈들 및/또는 상기 사용자의 주위 환경의 영상들을 취득하기 위해 상기 디바이스 상에 구비되어 상기 영상 도파관들에 연결된 하나 이상의 카메라를 포함한다. 이 장치는 상기 카메라로부터의 영상 데이터를 원격지에, 예컨대, 상기 영상 데이터를 분석하고 및/또는 표시하기 위한 프로세서 및/또는 디스플레이에 송신하기 위한 케이블 및/또는 송신기를 포함할 수 있다. 이 장치를 포함하는 시스템은 하나 이상의 눈측정(oculometric) 파라미터들, 예컨대, 동공 반응을 모니터하고, 및/또는 마우스 대신에 사용자의 눈들을 이용하여 컴퓨터를 제어하는 데 사용될 수 있다.
바이오센서, 영상 도파관, 카메라, 광섬유 다발, 엔도카메라, 엑소카메라

Description

눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및 컨트롤러 및 그들의 사용 방법{BIOSENSORS, COMMUNICATORS, AND CONTROLLERS MONITORING EYE MOVEMENT AND METHODS FOR USING THEM}
본 발명은 일반적으로 사람의 눈의 움직임을 모니터하기 위한, 예컨대, 사람의 눈, 눈꺼풀, 및/또는 사람의 눈 또는 눈들의 다른 구성요소들의 움직임에 기초하여 피로와, 의도적인 통신(purposeful communication)을 모니터하고, 및/또는 디바이스들을 제어하기 위한 장치, 시스템, 및 방법에 관한 것이다.
사람의 깨어 있음(wakefulness) 또는 졸음(drowsiness)과 같은 불수의적 상태(involuntary conditions)를 모니터하기 위해 사람 눈의 움직임을 이용하는 것이 제안되어 있다. 예를 들면, 미국 특허 3,863,243호는 잠들기 시작하고 있음을 사람에게 경고하기 위해 경보(alarm)를 울리는 디바이스를 개시하고 있다. 이 디바이스는 광섬유가 장착되어 있는 안경 세트와 유사한 프레임 및 그 프레임이 착용되었을 때 사용자의 눈을 향하여 지향되는 광전지(photocell)를 포함한다. 광전지는 사용자의 눈에서 반사된, 즉, 눈이 감겨 있는 때에는 눈꺼풀에 의해 또는 눈이 떠져 있는 때에는 눈 표면에 의해 반사된 광의 세기를 검출한다. 타이머가 통상의 깜박거림들(normal blinks)과, 눈이 감겨 있는 연장 시간 기간(extended time period), 즉, 그 사람이 잠들어 있음을 나타낼 수 있는 시간 기간을 구별한다. 임계 시간(threshold time)이 경과하면, 사용자에게 통지하기 위해 및/또는 사용자를 깨우기 위해 경보가 울린다.
또 다른 디바이스는 MTI 리서치사(MTI Research Inc.)에 의한 경계 모니터(Alertness Monitor)로서, 이것은 안전 유리 상에 장착될 수 있고, 전략적 위치에서 눈꺼풀의 축을 따라서 연속적인 적외선 광빔을 방출하고 그 전략적 위치에서 상기 광빔은 눈 깜박거림 동안을 제외하고는 속눈썹에 의해 차단(break)될 수 없어서, 눈 깜빡거림 빈도(eyeblink frequency)를 측정할 수 있는 능력을 부여한다. 미국 특허 5,469,143호 및 4,359,724호에 개시된 것들과 같은 다른 디바이스들은 사용자의 눈꺼풀 또는 눈썹을 직접 이용(engage)하여 눈의 움직임을 검출하고 졸음 상태가 검출될 경우 경보를 작동시킨다. 그런 디바이스들은 눈꺼풀에 기대는(against) 기계적 디바이스, 예컨대, 기계적 아암(mechanical arm), 또는 압전 막(piezo-electric film)을 포함할 수 있다.
운전자의 의식(awareness)을 모니터하기 위해 자동차의 계기판(dashboard), 루프(roof), 또는 다른 위치에 카메라 또는 다른 디바이스들을 장착하는 것이 제안되어 있다. 그러나, 그런 디바이스들은 사용자에게 카메라와의 지속적인 눈 접촉을 유지할 것을 요구한다. 게다가, 그것들은 사용자가 그의 머리를 옆으로 또는 아래쪽으로 돌리거나, 돌아다보거나, 차량에서 나가거나, 또는 사용자가 빠르게 주위로 움직이거나, 또는 카메라가 그 사람에 대해 상대적으로 움직이거나 하면 눈꺼풀 움직임을 모니터하지 못한다. 또한, 그런 카메라들은 사생활을 침해할 수 있고 및/또는 안경, 선글라스, 또는 심지어 콘택트 렌즈를 통하여 보는 문제를 가질 수 있고, 햇빛이 비칠 때 유효하게 작동하지 않을 수 있다.
본 발명은 대상자(subject)의 하나 이상의 눈, 눈꺼풀, 및/또는 동공의 움직임을 모니터하기 위한 장치, 시스템, 및 방법에 관한 것이다. 일반적으로, 사람은 1분당 적어도 약 5-30회, 또는 1일당 7,000-43,000회 눈을 깜박거린다. 각각의 무의식적-반사적 깜박거림은 약 200-300 밀리초, 일반적으로 평균하여 약 250 밀리초 지속하여, 무의식적 깜박거림으로 인한 눈 감김은 1일당 약 1,750-10,800초에 달한다. 피곤함 또는 졸음이 일어날 때, 눈 깜박거림은 더 길어지고 느려질 수 있고 및/또는 깜박거림 레이트가 변할 수 있고, 및/또는 눈꺼풀이 작은 진폭으로 처지기 시작하여, 예컨대, 짧은 기간(short term) "마이크로 수면(microsleeps)", 즉, 약 3-5 초 또는 그보다 더 긴 시간 동안 지속하는 수면 상태를 위해, 또는 연장된 수면을 위해 눈이 닫히기 시작할 때까지 작은 진폭으로 눈꺼풀이 깜박거릴 수 있다. 또한, 졸음 또는 피로가 진행되면서 동공은 보다 둔하게 수축하고, 불안정한 크기의 변동을 보이고, 직경이 점차적으로 줄어들고, 및/또는 빛 번쩍임들(light flashes)에 대해 지연된 반응을 나타낸다(즉, 지연된 동공 반응 지연 시간(delayed pupil response latency)). 게다가, 예컨대, 자극에 대하여, 목표(target)보다 지나치거나(over-shooting) 혹은 목표에 못미쳐서(under-shooting), 느리거나 지연된 경련적인 눈동자 추적 반응(slow or delayed saccadic eye tracking responses)(즉, 지연된 경련적인 반응 지연 시간(delayed saccadic response latency)), 및/또는 양안 몰림 또는 벌림(binocular vergence or divergence), 눈떨림(eye drift), 또는 내사위(esophoria)가 있거나 없는 지향성 응시(directed gaze)의 손실과 같은, 다른 졸음의 시각상 징후가 일어날 수 있다.
일 실시예에서는, 사람의 머리에 착용되도록 구성된 디바이스와, 상기 디바이스가 착용되었을 때 사람의 눈을 향하여 광(light)을 지향시키는 광원과, 상기 디바이스에 연결된 제1 및 제2 광섬유 다발들(fiberoptic bundles) - 상기 제1 다발은 상기 디바이스를 착용한 사람의 제1 눈을 바라보도록 위치 지정되고, 상기 제2 다발은 상기 디바이스를 착용한 사람의 제2 눈을 바라보도록 위치 지정됨 - 을 포함하는, 눈꺼풀, 동공, 및/또는 움직임을 모니터하기 위한 장치가 제공된다. 상기 장치는 또한 상기 제1 및 제2 눈들의 영상들을 취득하기 위해 상기 제1 및 제2 다발들에 연결된 카메라를 포함할 수 있다.
선택적으로, 상기 장치는 또한 사용자로부터 다른 방향으로 지향된(oriented away), 예컨대, 사용자의 머리가 돌아가는 쪽의 영역을 보기 위한 제3 광섬유 다발을 포함할 수 있다. 부가적으로 또는 대안적으로, 상기 장치는 하나 이상의 공간 센서들을 구비할 수 있다. 상기 카메라는 상기 제1 및 제2 눈들의 영상들을 취득하기 위해 상기 제1 및 제2 다발들에 연결됨은 물론, 사용자의 머리 및/또는 눈이 지향되는 쪽의 영역의 영상들을 취득하기 위해 상기 제3 다발에 연결될 수 있다. 상기 공간 센서들은 사용자의 머리 움직임, 예컨대, 사용자의 눈 움직임에 대한 머리 움직임의 동시 측정 또는 추적을 가능케 할 수 있다. 또한, 상기 카메라에 연결된 방사기들(emitters) 및/또는 센서들의 어레이들은, 한쪽 또는 양쪽 눈의 각종 안구 운동 파라미터들, 예컨대, 눈꺼풀 속도, 가속 및 감속, 눈 깜박거림 빈도, "PERCLOS"(눈꺼풀이 열리는 시간의 백분율), 눈꺼풀 균열(palpebral fissure)(즉, 동공을 덮지 않은 눈꺼풀들 간의 영역)의 수직 높이(예컨대, 완전히 열린 눈에 관련된 거리 또는 백분율) 등과 같은 파라미터들의 측정을 가능케 할 수 있다.
다른 실시예에서는, 사람의 머리에 착용되도록 구성된 디바이스와, 상기 디바이스가 착용되었을 때 사람의 눈을 향하여 광을 지향시키는 상기 디바이스 상의 방사기와, 상기 방사기로부터의 광을 검출하기 위한 카메라를 포함하는 사람의 눈꺼풀의 움직임을 검출하기 위한 일체 완비된(self-contained) 디바이스가 제공된다. 센서는 눈이 열려 있거나 닫혀 있는 때를 나타내는 나타내는 출력 신호를 생성하고, 프레임 상의 송신기가 상기 센서에 연결되어 상기 출력 신호를 원격지에 무선 송신한다. 프레임은 또한 상기 출력 신호를 소정의 임계치와 비교하여 졸음에 의해 야기된(drowsiness-induced) 눈꺼풀 움직임을 검출하기 위한 프로세서를 포함한다. 상기 실시예들과 유사하게, 방사기 및 센서는 적외선 광을 방사 및 검출하기 위한 고체 바이오센서(solid state biosensor) 디바이스일 수 있고, 또는 대안적으로는 프레임 상에 소정의 구성으로 배치된, 예컨대, 수직, 수평, 대각선, 또는 다른 선형으로 배치된 방사기들 및/또는 센서들의 어레이, 예컨대, 1차원 또는 2차원 어레이, 또는 한쪽 또는 양쪽 눈을 향하여 지향된 둘 이상의 방사기 및/또는 센서의 다른 기하 형상의 어레이일 수 있다. 특히, 방사기들 및/또는 센서들의 어레이는 본 명세서의 다른 곳에서 확인된 것들과 같은 안구 운동 파라미터들의 측정을 가능케 할 수 있다.
방사기 및/또는 센서들은 프레임 상의 임의 개수의 지점들에, 예컨대, 렌즈 주위에 및/또는 노우즈 브리지(nose bridge)에, 또는 대안적으로는, 프레임의 코 부분, 프레임의 안경 다리 부분(temple piece)의 연결부, 및/또는 안경의 렌즈 상에 장착된 표면의 근처 또는 그 위를 포함하여, 프레임을 따라서 어디에든 부착될 수 있다. 대안적으로는, 방사기 및/또는 센서는 안경의 렌즈 내에, 또는 그들이 렌즈를 통하여 작동하도록 다른 방법으로 매립(embed)될 수 있다. 따라서, 방사기(들) 및/또는 센서(들)는, 착용자의 머리 움직임에 따라서 움직이고, 사용자가 자동차 안에 있든, 집 밖에 있든 또는 다른 어떤 환경에 있든, 임의의 신체 위치에서 사용자의 눈에 계속적으로 초점을 맞출 수 있도록 아이-프레임(eye-frame) 상에 고정될 수 있다.
또 다른 실시예에서는, 사람의 눈의 움직임을 모니터하기 위한 시스템이 제공된다. 상기 시스템은 사람의 머리에 착용되도록 구성된 디바이스와, 상기 디바이스가 착용되었을 때 사람의 눈을 향하여 광을 지향시키는 상기 디바이스 상의 하나 이상의 방사기들과, 카메라, 예컨대, CCD 또는 CMOS 디바이스를 포함한다. 방사기(들)는 기준 프레임(reference frame)을 눈을 향하여 투영하도록 구성될 수 있다. 카메라는 상기 기준 프레임에 대하여 눈의 움직임을 모니터하기 위해 눈을 향하여 지향될 수 있다. 카메라는 상기 디바이스 상에 제공될 수 있고 또는 상기 디바이스로부터 떨어진 곳에, 그러나 사용자에 비교적 근접하여 제공될 수 있다.
방사기(들)로부터의 광은 상기 디바이스를 착용한 사용자의 눈을 향하여 방사되어, 사용자의 눈(들)을 조명하는 한편, 기준 프레임을 눈 위에 투영할 수 있다. 방사기(들)는 사용자에게 "보이지 않게(invisibly)", 즉 정상 시각(normal vision)의 암소시(scotopic)(야간시(night-vision)) 또는 명소시(photopic)(주간시(day-vision)) 범위 밖에서, 예컨대, 적외선 광 범위에서 광을 투영할 수 있어, 상기 조명 및/또는 기준 프레임이 사용자의 시각(vision)과 실질적으로 간섭하지 않는다. 상기 카메라는 상기 방사기들에 의해 생성된 광, 예컨대, 적외선 광 범위의 광을 촬상(image)함으로써, 투영된 광을 광의 반점(spot), 광의 밴드(band) 또는 다른 "반짝임(glint)"으로서 검출할 수 있다. 기준 프레임에 대한 눈의 움직임은 카메라로 모니터될 수 있다. 카메라에 의해 모니터된, 예컨대 눈에 투영된 기준 프레임에 대하여 모니터된 움직임의 그래픽 출력이 모니터될 수 있다. 예를 들면, 방사기들로부터의 적외선 광은 망막에서 반사되어, 당업계에 알려진 차감(subtraction)의 방법들을 이용한 어두운 동공(dark pupil)의 영상을 포함하여, 백색광 하에서는 "적색 반사(red reflex)"로서, 적외선 광 하에서는 백색 또는 암흑색 동공으로서 나타날 수 있다.
프로세서는, 예컨대, 이들 방법들의 하나 이상을 이용하여, 눈의 동공의 움직임을 검출, 예컨대, 기준 프레임에 대한 움직임을 측정할 수 있다. 이 움직임은 그래픽으로 표시되어, 기준 프레임에 대한 눈의 동공의 움직임을 보여줄 수 있다. 선택적으로, 하나 이상의 센서들로부터의 출력 신호는 기준 프레임에 대한 눈의 움직임을 모니터하는 카메라에 의해 생성된 비디오 신호들과 상관(correlate)되어, 예컨대, 사람의 졸음의 레벨, 또는 정신- 또는 신경-생리학적 인식, 감정, 및/또는 경계-관련 정신 상태를 판정할 수 있다.
또 다른 실시예에서는, 사용자의 머리에 착용된 디바이스를 이용하여 컴퓨팅 디바이스 또는 다른 전자 또는 전기 기계 디바이스(예컨대, 라디오, 텔레비전, 휠체어, 전화, 경보 시스템, 들을 수 있거나, 가청, 가시 또는 촉각 경계 시스템 등)를 제어하기 위한 방법이 제공된다. 상기 디바이스는, 사용자의 적어도 한쪽 눈을 향하여 지향된 적어도 하나의 대물 렌즈를 갖는 카메라를 포함하여, 본 명세서에서 기술된 다른 실시예들과 유사하게, 하나 이상의 컴포넌트들을 포함할 수 있다. 컴퓨터 디바이스는 디스플레이 상에 표시된 포인터를 포함하는 디스플레이를 포함할 수 있다. 상기 디스플레이는 사용자의 머리에 착용된 디바이스에 부착되거나 사용자의 머리에 다른 방법으로 부착되거나 배치된 헤드업(heads-up) 또는 헤드다운(heads-down) 디스플레이, 상기 사용자의 전방에 배치될 수 있는 데스크 컴퓨터 모니터, 스크린 상에 디지털 방식으로 투영된 영상(예컨대, 운전 또는 비행 시뮬레이터에서와 같은), 등을 포함할 수 있다. 사용자의 눈(들)의 움직임은 카메라를 이용하여 모니터될 수 있고, 눈(들)의 움직임은 디스플레이 상의 포인터에 대하여 상관되어 포인터로 하여금, 예컨대, 컴퓨터 마우스와 유사하게, 눈(들)의 움직임을 따라가게 할 수 있다. 선택적으로, 카메라는 소정의 눈 활동들, 예컨대, 컴퓨터 마우스 상의 "더블 클릭(double-clicking)"과 유사하게, 디스플레이 상의 포인트로 확인된 하나 이상의 커맨드를 실행하는 명령들에 대응할 수 있는, 소정의 시간 길이 동안의 깜박거림을 찾아 사용자의 눈(들)을 모니터할 수 있다.
본 발명의 다른 양태들 및 특징들은 첨부 도면들과 함께 이하의 설명을 참작함으로써 명백해질 것이다.
도 1은 병원 내의 환자가 그 환자의 눈 및/또는 눈꺼풀의 움직임에 기초하여 그 환자를 모니터하기 위한 장치의 일 실시예를 착용한 것을 보여주는 사시도이다.
도 2는 검출 디바이스 및 처리 박스를 포함하는, 도 1의 실시예의 확대 사시도이다.
도 3, 및 도 3A 내지 도 3C는 눈꺼풀 움직임들의 시퀀스에 대응하는 출력 신호를 송신하기 위한 회로의 예시적 실시예의 개략도이다.
도 4, 도 4A 및 도 4B는 눈꺼풀 움직임들의 시퀀스에 대응하는 출력 신호에 응답하여 장비를 제어하기 위한 회로의 예시적 실시예의 개략도이다.
도 5 및 도 5A는 눈꺼풀 움직임을 모니터하기 위한 회로의 예시적 실시예의 개략도이다.
도 6A-6C는 떠져 있는 눈의 표면을 향하여 광을 방사하고 그 표면으로부터 반사된 광을 검출하기 위한 디바이스의 대안적 실시예들의 단면 및 정면도들이다.
도 7A-7C는, 각각, 닫힌 눈꺼풀을 향하여 광을 방사하고 그로부터 반사된 광을 검출하는, 도 6A-6C의 디바이스들의 단면 및 정면도들이다.
도 8은 사용자의 눈 및/또는 눈꺼풀의 움직임에 기초하여 사용자를 모니터하기 위한 시스템의 다른 실시예의 사시도 및 블록도이다.
도 9는 사용자의 눈 및/또는 눈꺼풀의 움직임에 기초하여 사용자를 모니터하기 위한 시스템의 또 다른 실시예의 컴포넌트들의 블록도이다.
도 10A는 사용자의 눈 및/또는 눈꺼풀의 움직임에 기초하여 사용자를 모니터 하기 위한 시스템의 또 다른 실시예의 사시도이다.
도 10B는 도 10A의 시스템의 일부분의 개략 상세도이다.
도 10C는 도 10A의 것과 같은, 아이 프레임(eye frame)의 노우즈 브리지(nose bridge) 상에 제공될 수 있는 방사기들 및 센서들의 예시적 어레이의 상세도이다.
도 10D는 광을 방사하고 눈으로부터 반사된 광을 검출하기 위한 도 10C의 방사기들 및 센서들의 어레이의 단면도이다.
도 11A는 눈꺼풀 움직임에 기초하여 원격지로부터 다수의 디바이스들을 선택적으로 제어하기 위한 시스템의 개략도이다.
도 11B는 도 11A의 시스템에 의해 제어될 수 있는 부가적인 디바이스들의 개략도이다.
도 12A는 눈이 떠져 있는 상태와 감긴 상태 사이에 진행할 때, 도 10A-10D에 도시된 것과 같은 센서들의 어레이의 작동과 그 어레이에 의해 모니터되고 있는 눈 간의 관계를 보여주는 표이다.
도 12B는 눈 닫힘(eye coverage)의 백분율을 시간의 함수("PERCLOS")로서 나타내는, 도 10A-10D에 도시된 것과 같은 센서들의 어레이에 의해 제공된 데이터의 스트림을 보여주는 그래프이다.
도 12C는 도 10A-10D에 도시된 것과 같은 디바이스를 포함하는 시스템에 의해 모니터되고 있는 사람의, PERCLOS를 포함하는, 다수의 생리학적 파라미터들의 그래픽 표시이다.
도 12D는 눈이 떠져 있는 상태와 감긴 상태 사이에 진행할 때, 센서들의 2차원 어레이들의 작동과 모니터되고 있는 눈 간의 관계를 보여주는 표이다.
도 13은 사용자의 눈 및/또는 눈꺼풀의 움직임에 기초하여 사용자를 모니터하기 위한 다른 시스템의 사시도이다.
도 14는 도 13의 프레임 상의 카메라의 상세도이다.
도 15A-15I는 도 13의 시스템으로 모니터될 수 있는 몇몇 파라미터들의 그래픽 표시이다.
도 16은 도 13의 프레임 상의 카메라로부터 출력된 비디오의 상세도이다.
도 17은 5-소자(five-element) 센서 어레이로부터의 신호들을 처리하기 위한 회로의 예시적 실시예를 보여주는 개략도이다.
도 18A 및 18B는 비행기 조종사 헬멧에 통합된 눈 움직임 모니터 장치의 다른 실시예를 보여준다.
도 19는 도 18A 및 18B의 장치에 포함될 수 있는 카메라의 개략도이다.
도 20A 및 20B는 각각 사용자의 눈이 떠져 있는 경우와 감긴 경우를 보여주는, 다수의 카메라들로부터의 동시 출력들을 보여주는, 그래픽 영상들이다.
도 21A-21C는 눈 움직임 모니터링을 용이하게 하기 위해 동공의 둘레를 식별하기 위해 생성되어 있는 타원형 그래픽을 보여주는 그래픽 표시들이다.
도 22A 및 도 22B는 사용자의 눈들의 움직임을 모니터하기 위한 장치를 착용한 사용자를 경계력 검사(vigilance test)하기 위한 방법을 보여주는 흐름도이다.
도 23은 눈의 움직임에 기초하여 컴퓨팅 디바이스를 제어하기 위한 방법을 보여주는 흐름도이다.
도 24A 및 24B는, 각각, 눈에 경피적으로(transcutaneously) 광을 투과시키고 눈의 동공으로부터 나오는 방사된 광을 검출하기 위한 장치의 정면도와 측면도이다.
도면들을 참조하면, 도 1은 침상(12)에 있는 환자(10)가 그 환자(10)의 눈 및/또는 눈꺼풀 움직임을 검출하기 위한 검출 디바이스(30)를 착용한 것을 보여준다. 검출 디바이스(30)는, 예컨대, 의도적인 통신(purposeful communication)을 위한, 눈의 수의적 움직임(voluntary movement)을 모니터하기 위해, 불수의적 눈 움직임, 예컨대, 졸음 또는 다른 상태들을 모니터하기 위해, 및/또는 하나 이상의 전자 디바이스들(도시되지 않음)의 제어를 위해 이용될 수 있는, 본 명세서에서 기술된 바이오센서 디바이스들 중 어느 하나를 포함할 수 있다. 검출 디바이스(30)는 처리 박스(130)에 연결될 수 있고, 이 처리 박스(130)는 검출된 눈 및/또는 눈꺼풀 움직임을, 예를 들어, 비디오 디스플레이(50)를 이용하여, 진료 제공자(medical care provider)(40)에게 통신될 수 있는, 데이터의 스트림, 이해 가능한 메시지, 및/또는 다른 정보로 변환한다.
도 2, 6A 및 7A를 참조하면, 통상적인 안경(20)에 부착 가능한 겨냥 가능하고(aimable) 초점 조정 가능한(focusable) 검출 디바이스(30)를 포함하는 장치 또는 시스템(14)의 예시적 실시예가 도시되어 있다. 안경(20)은 프레임(22)에 부착된 한 쌍의 렌즈들(21)을 포함하고, 프레임(22)은 렌즈들 사이에 연장하는 브리지 워크(bridgework)(24), 이어 피스들(ear pieces)(26)을 구비한 사이드 부재(side member) 또는 안경 다리 부분들(temple pieces)(25)을 포함하고, 이들 모두는 통상적인 것들이다. 대안적으로는, 렌즈들(21)은 필요하지 않을 수 있으므로, 프레임(22)은 렌즈들(21) 없이 제공될 수도 있다.
검출 디바이스(30)는 사이드 부재들(25) 중 하나에 부착하기 위한 클램프 또는 다른 기구(27) 및 하나 이상의 방사기들(32) 및 센서들(33)(하나가 도시됨)이 그 위에 장착되는 조정 가능한 아암(adjustable arm)(31)을 포함한다. 방사기들(32) 및 센서(33)는, 방사기(32)는 안경(20)을 착용한 사람의 눈(300)을 향하여 신호를 방사할 수 있고 센서(33)는 눈(300) 및 눈꺼풀(302)의 표면으로부터 반사된 신호를 검출할 수 있도록 소정의 관계로 장착된다. 도 6A 및 7A에 도시된 예시적 실시예에서는, 방사기(32) 및 센서(33)는 서로 인접하여 장착될 수 있다.
대안적으로는, 도 6B 및 7B에 도시된 바와 같이, 방사기(32') 및 센서(33')는 프레임 상에 서로 따로 떨어져서, 예컨대, 방사기(32')와 센서(33')가 서로에 대하여 실질적으로 횡으로(laterally) 배치되도록 장착될 수 있다. 도 6C 및 7C에 도시된, 또 다른 대안에서는, 방사기(32") 및 센서(33")는 눈(300)을 가로질러 다른 것과 축 정렬하여 장착될 수 있다. 눈꺼풀(302)이 닫힐 때, 그 눈꺼풀은 센서(33")에 검출되는 빔(340)을 차단할 수 있다.
일 실시예에서, 방사기(32) 및 센서(33)는, 예컨대, 주의 산만 또는 착용자의 정상 시각과의 간섭을 최소화하기 위해 적외선 범위 내에서, 각각, 연속적인 또는 펄스식 광(pulsed light)을 생성 및 검출한다. 방사기(32)는 소정의 주기의 펄 스들로 광을 방사할 수 있고 센서(33)는 상기 소정의 주기로 광 펄스들을 검출하도록 구성된다. 이러한 펄스식 작동은 방사기(32)에 의한 에너지 소비를 감소시킬 수 있고 및/또는 다른 광원들과의 간섭을 최소화할 수 있다. 대안적으로는, 자외선 광과 같은, 가시 스펙트럼을 넘거나 그 안의 다른 소정의 주파수 범위의 광, 또는 무선파, 음파 등과 같은 다른 형태의 에너지가 사용될 수도 있다.
처리 박스(130)는 하나 이상의 와이어(도시되지 않음)를 포함하는 케이블(34)에 의해 검출 디바이스(30)에 연결된다. 도 9에 도시된 바와 같이, 처리 박스(130)는, 센서(33)로부터의, 광 세기 신호와 같은, 출력 신호(142)를 수신하고 및/또는 처리하기 위해, 중앙 처리 장치(CPU)(140) 및/또는 도 3, 도 3A 내지 도 3C, 도 4, 도 4A 및 4B, 도 5 및 도 5A에 도시된 예시적 회로와 같은 다른 회로를 포함할 수 있다. 처리 박스(130)는 또한 방사기(32) 및/또는 센서(33)를 제어하기 위한 제어 회로(141)를 포함할 수 있고, CPU(140)는 내부 제어 회로를 포함할 수 있다.
예를 들면, 일 실시예에서, 제어 회로(141)는 많게는 초당 수천 개의 펄스에서 적게는 초당 약 4-5개의 펄스까지, 예컨대 초당 적어도 약 5-20개의 펄스의, 소정의 주파수로 펄스 발생된 깜박거림 적외선 신호(flickering infrared signal)를 생성하도록 방사기를 제어함으로써, 깜박거림마다 약 200 밀리초만큼 짧은 비의도적 또는 의도적인 눈 깜박거림의 검출을 용이하게 할 수 있다. 센서(33)는 방사기(32)의 깜박거림 주파수에 특정한 상기 소정의 주파수에서만 광 펄스들을 검출하도록 제어될 수 있다. 따라서, 방사기(32)와 센서(33)를 상기 소정의 주파수에 동 기시킴으로써, 시스템(10)은, 출력 신호(142)가, 예를 들어, 밝은 햇빛, 완전한 암흑, 주위 적외선 광 배경, 또는 상이한 깜박거림 주파수에서 작동하는 다른 방사기들에 의해 실질적으로 영향을 받지 않은 채로 다양한 주위 환경 하에서 이용될 수 있다. 깜박거림 주파수는 단위 시간당 눈 깜박거림의 수(예컨대, 분당 약 10회 내지 약 20회의 눈 깜박거림), 각각의 눈 깜박거림의 기간(약 200 밀리초 내지 약 300 밀리초), 및/또는 PERCLOS(즉, 눈꺼풀이 완전히 또는 부분적으로 닫히는 시간의 백분율)의 효율적인 측정을 최대화하거나, 또는 전력 소비를 최소로 유지하면서 시스템의 효율을 최대화하도록 조정될 수 있다.
제어 회로(141) 및/또는 처리 박스(130)는, 방사기(32)를 온/오프시키고, 센서(33)의 임계치 감도(threshold sensitivity)를 조정하고, 및/또는 닫힌 눈꺼풀에서의 최대 적외선 반사와의 자체 집광(self-focusing)을 가능케 하기 위해, 방사기(33)에 의해 방사된 광의 주파수, 초점, 또는 세기를 조정하기 위한 수동식 및/또는 소프트웨어 제어부들(도시되지 않음)을 포함할 수 있고, 숙련된 당업자라면 이를 알 수 있을 것이다.
게다가, 처리 박스(130)는 또한 방사기(32), 센서(33), CPU(140), 및/또는 처리 박스(130) 내의 다른 컴포넌트들에 전력을 공급하기 위한 전원(160)을 포함할 수 있다. 처리 박스(130)는 종래의 DC 배터리, 예컨대, 9볼트 배터리 또는 재충전 가능한 리튬, 카드뮴, 또는 수소-생성(hydrogen-generated) 배터리에 의해, 또는 시스템(14)에 부착되거나 그 안에 내장된 태양 전지에 의해 전력을 공급받을 수 있다. 대안적으로는, 종래의 AC 어댑터 또는 12볼트 자동차 라이터 어댑터와 같은 어댑터(도시되지 않음)가 처리 박스(130)에 접속될 수 있다.
CPU(140)는 통상의 깜박거림과 다른 눈꺼풀 움직임을 구별하기 위해 출력 신호(142)의 개개의 엘리먼트들의 길이를 소정의 임계치와 비교하기 위한 타이머 회로(146)를 포함할 수 있다. 타이머 회로(146)는 분리된 이산 컴포넌트들(separate discrete components)일 수도 있고 또는 CPU(140) 내에 내부적으로 제공될 수도 있고, 숙련된 당업자라면 이를 알 수 있을 것이다. CPU(140)는 출력 신호(142)를, 다른 사람들 또는 장비에 통신하기 위해 이용될 수 있는, 데이터의 스트림(144)으로 변환할 수 있다. 예를 들면, CPU(140)에 의해 생성된 데이터의 스트림(144)은 모스 코드(Morse code) 또는 ASCI 코드와 같은 2진 신호일 수 있다. 대안적으로는, CPU(140)는 다른 출력들, 예컨대, 합성된 음성 신호, 장비용 제어 신호, 또는 회화적 표시(pictorial representations) 등을 생성할 수도 있다.
통신을 용이하게 하기 위해, 처리 박스(130)는 데이터의 스트림(144)을 이용하기 위한 각종의 출력 디바이스들을 포함할 수 있다. 예를 들면, 경보음 또는 합성 음성을 생성할 수 있는 내부 스피커(150)가 제공될 수 있다. 도 1에 도시된 비디오 디스플레이(50)와 같은 각종의 장비가 하드와이어 접속에 의해 직접 연결될 수 있는 출력 포트(148)가 제공될 수 있다.
부가적으로 또는 대안적으로, 처리 박스(130)는 데이터의 스트림(144)을 원격지에 무선 통신하기 위한 송신기(152)가 CPU(144)에 연결될 수 있다. 예를 들면, 도 9에 도시된 바와 같이, 시스템(14)은, 컴퓨터 또는 다른 제어 또는 디스플레이 시스템과 같은, 수신 및 처리 장치(154)를 포함할 수 있다. 송신기(152)는, 단거리(short range) 신호, 예를 들면, 약 100피트 또는 그 이상만큼 멀리, 또는 대안적으로는, 벽이나 장애물이 있다 하더라도, 약 45피트 내지 50피트만큼 멀리 도달하는 신호를 생성할 수 있는 무선 주파수("RF") 송신기일 수 있다. 대안적으로는, 다른 송신기들, 예컨대, 적외선 송신기 등이 제공될 수 있다.
송신기(152)는 또한, 예를 들어, 블루투스 또는 다른 RF 프로토콜을 이용하여, 데이터의 스트림이 수백 또는 수천 피트 이상 송신될 수 있도록 증폭기(도시되지 않음)에 연결될 수 있다. 예를 들면, 증폭기 및 송신기(152)는 전화 통신 회선, 위성 등을 통하여 통신하여 데이터의 스트림을 시스템으로부터 수 마일 떨어져 있는 원격지에 송신할 수 있고, 상기 시스템에서는 데이터가 모니터되거나, 실시간 분석되거나, 또는 미래의 또는 소급 분석을 위하여 저장될 수 있다(예컨대, 트럭 또는 항공기 "블랙 박스" 리코더 같은 곳에). 시스템은 검출 디바이스(30)를 착용한 개인의 위치, 이동, 및/또는 인식 경계, 깨어 있음, 졸음, 또는 감정/행동 수행 또는 안전의 상태를 모니터하기 위해 위성 측위 시스템(GPS)을 포함하거나, 또는 그것에 연결될 수 있다.
수신 및 처리 장치(154)는 송신기(152)에 의해 송신된, 데이터의 스트림을 포함하는, 신호들(153)을 수신하기 위한 수신기(156), 예컨대 무선 주파수 수신기를 포함할 수 있다. 데이터의 스트림 내의 정보를 변환, 저장, 및/또는 이용하기 위한 프로세서(158)가 수신기(156)에 연결되고, 프로세서(158)는 메모리 회로(160), 통신 디바이스(162), 및/또는 제어 시스템(164)에 연결된다. 예를 들면, 수신 및 처리 장치(154)는 메모리 회로(160)를 포함할 수 있고, 프로세서(158)는 그 메모리 회로(160) 내에 후속 검색 및 분석을 위해 데이터의 스트림을 단순히 저장할 수 있다.
프로세서(158)는 예컨대, 데이터의 스트림 내의 2진 코드를 이해 가능한 메시지, 즉, 일련의 문자, 단어 및/또는 커맨드로 변환함으로써, 데이터의 스트림을 번역할 수 있고, 및/또는 보완(augmentative) 통신 디바이스 또는 소프트웨어(KE:NX 또는 워드 플러스와 같은)를 이용하여 통신을 용이하게 할 수 있다. 최종적인 메시지는 통신 디바이스(162) 상에 표시될 수 있고, 상기 통신 디바이스는 텍스트, 그림 및/또는 기호를 표시하기 위한 비디오 디스플레이와, 전자 음성 등을 제공하기 위한 합성 음성 모듈을 포함할 수 있다.
대안적으로는, 데이터의 스트림은 컴퓨터 비디오 스크린 또는 다른 전자 디스플레이 디바이스 상에 "실시간" 메시지 신호로서 또는 수치적으로(예컨대, 깜박거림 레이트(blink rate), 깜박거림 지속 기간(blink duration), PERCLOS 등을 디스플레이) 그래픽으로 표시되거나, 또는 EKG 또는 EEG 트레이싱과 유사하게 그래픽으로 표시될 수 있다. 또한, 도 12C에 도시된 바와 같이, 데이터의 스트림은, 피부 전도도, 체온, 심혈관 데이터(예컨대, 심박수, 혈압), 호흡 데이터(예컨대, 호흡수(respiration rate), 혈중 산소 및 이산화탄소 레벨), 근전도(EMG) 및/또는 수면-각성 활동성 측정(actigraphic) 데이터(즉, 신체 운동, 위치), 및/또는 다른 수면 다원검사(polysomnographic)(PSG) 또는 뇌파검사(electroencephalographic)(EEG) 변수들과 같은, 다른 생리학적 데이터와 함께 표시될 수 있다. 대안적으로는, 데이터의 스트림은 도로 및/또는 차 상태에 따라 서 차의 감속 또는 증속에 관하여 지능적인 결정을 행하기 위해 자동차 또는 기계 기능(예컨대, 차 속도, 가속도, 브레이크 기능, 토크, 스웨이(sway) 또는 틸트(tilt), 엔진 또는 모터 속도 등)을 모니터할 뿐만 아니라, 운전자 또는 기계 조작자의 의식, 깨어 있음, 주의(attentiveness), 및/또는 실시간 수행 경계 반응(real time performance vigilance response)의 상태에 관한 기능들을 모니터하는 컨트롤러와 통합될 수 있다.
게다가, 메시지는 제어 시스템(164)에게 기계류 또는 장비의 하나 이상의 부품들을 제어하도록 지시하기 위해 프로세서(158)에 의해 번역될 수 있다. 예를 들면, 데이터의 스트림은 제어 시스템(164)에게 릴레이 스위치 또는 다른 디바이스를 제어하여 기구(appliance), 전기 휠체어, 엔진, 라이트, 경보기(alarm), 전화기, 텔레비전, 컴퓨터, 촉각 진동 시트(tactile vibrating seat) 등과 같은 전자 디바이스를 온/오프시키거나, 또는 눈으로 작동되는(eye-activated) 컴퓨터 마우스 또는 다른 컨트롤러를 조작하도록 지시하는 커맨드를 포함할 수 있다.
대안적으로는, 프로세서(158)는 PC, IBM, 매킨토시, 및 다른 컴퓨터들, 및/또는 호환성 있는 컴퓨터 소프트웨어 및/또는 하드웨어를 제어하기 위해, 예컨대, 마우스, "리턴" 키, 및/또는 "조이스틱"과 유사하게 컴퓨터와 상호 작용하기 위해 데이터의 스트림을 이용할 수 있다. 예를 들면, 데이터의 스트림은, 상업적으로 입수 가능한 범용 소프트웨어 및 컴퓨터 게임들은 물론, WORD-PLUS 또는 Ke:NX와 같은 특수 통신 소프트웨어에서 이용되는 것과 같이, 일련의 메뉴들 - 이 메뉴들로부터 서브메뉴 또는 개개의 아이템이 선택될 수 있음 - 을 활성화하는 커맨드들을 포함할 수 있다. 그 후 프로세서(158)는 컴퓨터 소프트웨어 프로그램들로부터의 아이템들을 제어, 스크롤, 또는 선택할 수 있고, 프린터, 또는 다른 주변 디바이스를 조작할 수 있다(예컨대, 폰트, 단락, 탭 또는 다른 기호 연산자(symbol operator)를 선택하거나, "편집(edit)", "찾기(find)", "포맷", "삽입(insert)", "도움말(help)"과 같은 커맨드들을 선택하거나, CD-ROM 또는 디스크 드라이브 동작, 및/또는 윈도즈(Windows) 또는 비-윈도즈(non-Windows) 기능들을 제어하는 등).
대안적으로는, 수신기(156)는 라디오 또는 텔레비전 컨트롤, 램프, 선풍기(fans), 히터, 모터, 진동 촉각 시트(vibro-tactile seats), 원격 제어 자동차, 자동차 모니터 및 제어 디바이스, 컴퓨터, 프린터, 전화기, 생명선 유닛(lifeline units), 전자 완구, 또는 보완(augmentative) 통신 시스템과 같은 각종 디바이스(도시되지 않음)에 직접 연결되어 사용자와 디바이스들 간에 직접 인터페이스를 제공할 수 있다.
사용 중에, 검출 디바이스(30)는 사용자의 머리에 배치될 수 있다. 즉, 도 1에 도시된 바와 같이 안경(20)을 착용함으로써 사용자의 머리에 배치될 수 있다. 조정 가능한 아암(31) 및/또는 클램프(27)는 방사기(32) 및 센서(33)를 사용자의 눈(300)을 향하여 최적으로 지향시키도록 조정될 수 있다(도 6A-6C 및 7A-7C에 도시). 방사기(32)는 광빔(340)이 방사기(32)로부터 눈(300)을 향하여 지향되도록 작동될 수 있다. 그 후 방사기(32)의 세기 및/또는 주파수 및/또는 센서(33)의 임계 감도 또는 다른 초점이 조정될 수 있다(예컨대, 수동으로 또는 자동 조정 특징들을 이용하여 자동으로).
눈(300) 자체의 표면과 눈꺼풀(302)의 반사 특성의 차이 때문에, 눈(300)에서 반사된 광의 세기는 눈(300)이 떠져 있는지 감겨 있는지에 따라서 달라진다. 예를 들면, 도 6A 및 6B는 떠져 있는 눈 상태를 예시하는데, 이 상태에서는 방사기(32)에 의해 생성된 광선(340)이 눈(300) 자체의 표면에 부딪쳐서 그 결과로서 광선들(350)에 의해 도시된 바와 같이 산란된다. 따라서, 센서(33)에 의해 검출된 최종적인 광 세기는 비교적 낮다. 즉, 센서(33)는 실질적인 회귀 신호를 수신할 수 없다.
도 7A 및 7B에서는, 통상의 깜박거림 중에, 졸음의 순간 중에, 의도적인 깜박거림 중에, 또는 다른 눈꺼풀 움직임 중에 일어날 수 있는, 눈꺼풀(302)이 닫힌 눈(300)이 도시되어 있다. 광(340)은 눈꺼풀(302)에 부딪치기 때문에, 그것은 광선(360)에 의해 도시된 바와 같이 실질적으로 다시 센서(33)로 반사되어, 결과적으로 비교적 높은 광 세기가 센서(33)에 의해 검출된다. 대안적으로는, 도 7C에 도시된 바와 같이, 광선(340)은 눈(300)이 감길 때 눈꺼풀(302)에 의해 차단 또는 절단될 수 있다.
센서(33)는 그 결과로서 눈(300)이 떠져 있거나 감겨 있는 때, 즉, 반사된 광이 센서(33)에 의해 각각 검출되지 않거나 검출되는 시간에 대응하는 때를 나타내는 광 세기 신호를 생성한다. 일반적으로, 눈꺼풀의 표면으로부터 반사된 적외선 광의 세기는 피부 착색에 의해 실질적으로 영향을 받지 않는다. 만일 눈꺼풀로부터 반사되는 광의 세기를 조정하기를 원한다면, 반사성을 증가시키기 위해 포일(foil), 반짝임(glitter), 반사성 모이스처라이저 크림 등이 도포될 수 있고, 또 는 반사성을 감소시키기 위해 블랙 아이 라이너(black eye liner), 흡수성 또는 편향성 크림 등이 도포될 수 있다.
도 9로 되돌아가서, 센서(33)에 의해 검출된 광 세기는 결과적으로 일련의 시간 의존적인 광 세기 신호(예를 들어, 도 12B에 도시된 것과 같은)를 포함하는 출력 신호(142)로 나타난다. 출력 신호(142)는 센서(33)에 연결된 CPU(140)에 의해 수신되고, CPU(140)는, 예를 들어, 닫힌 눈 상태에 대응하는, 각각의 광 세기 신호(142)의 시간 길이와 소정의 임계치를 비교한다. 타이머 회로(146)는 통상의 깜박거림과 의도적인 및/또는 다른 비의도적인 눈꺼풀 움직임을 구별하기 위한 임계 시간을 CPU(140)에 제공할 수 있고, 그 후 CPU(140)는 의도적인 및/또는 다른 비의도적인 눈꺼풀 움직임을 출력 신호(142)로부터 필터링할 수 있다. 그 후 CPU(140)는 수의적 및/또는 불수의적 통신을 위해 이용될 수 있는 데이터의 스트림(144)을 생성한다.
하나의 유용한 응용에서, 검출 디바이스(30)는 사용자의 임박한 졸음 또는 "마이크로 수면"(즉, 수초 간 지속하는 깨어 있음으로의 수면 침입)을 검출하기 위해 이용될 수 있고, 처리 박스(130)는 사용자, 또는 그 또는 그녀의 앞에 있는 다른 사람들, 또는 모니터링 장비에게 졸음의 개시를 경계시키는 경보를 발한다. 타이머 회로(146)의 임계치는, CPU(140)가 사람이 잠들어 있을 때 일어날 수 있는 비교적 장기간의 눈 감김을 검출하도록, 조정될 수 있다.
예를 들면, 통상의 깜박거림은 비교적 짧기 때문에, 통상의 깜박거림과 졸음에 의해 야기된 눈꺼풀 움직임을 구별하기 위하여, 임계치는 영에 가까운 초로부터 수 초에 이르는 시간으로, 예컨대 약 200 밀리초와 300 밀리초 사이(200-300 ms)로 설정되거나, 또는 다른 실시예에서는, 예컨대, 약 250 밀리초(250 ms)로 설정될 수 있다. CPU(140)가 졸음 상태를 검출할 경우, 즉, 소정의 임계 시간을 초과하는 높은 광 세기 신호를 검출할 경우, 그것은 경고 디바이스(warning device)를 작동시킬 수 있다. 경고 디바이스는, 스피커(150)와 같이, 처리 박스(130) 내에 포함될 수 있고, 또는 대안적으로는 프레임 상에, 예를 들면, 프레임 상에 경고등(도시되지 않음) 또는 경보 스피커(도 9에는 도시되지 않음, 도 10 참조)를 장착함으로써 포함될 수 있다. 또 다른 대안에서, 경고 디바이스는, 본 명세서의 다른 곳에서 기술된 바와 같이, 촉각 디바이스, 예컨대, 진동 시트 등일 수 있다.
대안적으로는, 검출 디바이스(30)는 졸음에 의해 야기된 눈꺼풀 움직임을 눈에 띄지 않게 기록 또는 모니터하기 위해 이용될 수 있고, CPU(140)는 송신기(152)가 수신 및 처리 장치(154)에 송신할 수 있는 데이터의 스트림을 생성한다(도 9). 예를 들면, 디바이스(30)는 차량 안전 시스템과 함께 이용되어 운전자의 의식 또는 주의의 레벨을 모니터할 수 있다. 데이터의 스트림(144)은 차량에 장착된 수신 및 처리 장치(154)에 송신될 수 있고, 수신 및 처리 장치(154)는 운전자의 졸음에 대한 데이터를 저장할 수 있고 및/또는 그 데이터를 이용하여 소정의 알고리듬 응답에 의해 차량을 제어, 예컨대, 차량의 속도를 조정하거나 심지어는 차량의 엔진을 오프시키는 판정을 행할 수 있다. 따라서, 검출 디바이스(30)는 트럭 운전자, 택시 운전자, 선박 또는 항공로 조종사, 열차 차장 또는 엔지니어, 레이더 또는 공항 관제탑 조작자, 중장비 또는 공장 기계의 조작자, 스쿠버 다이버, 학생, 우주 비행 사, 연예 관계자 또는 참관자 등을 모니터하기 위해 이용될 수 있다.
검출 디바이스(30) 및 시스템(14)은 또한 환자 또는 차량 운전자의 깜박거림 레이트, 깜박거림 속도, 깜박거림 지속 기간, 또는 PERCLOS에 영향을 미칠 수 있는, 긴장이 많은 상태 또는 각성제(alerting drugs)(예컨대, 카페인, 니코틴, 덱스트로암페타민(dextro-amphetamine), 메틸페니데이트(methylphenidate), 모다피닐(modafinil)), 진정제(sedating drugs)(예컨대, 벤조디아자핀(benzodiazapines), 앰비엔(Ambien))의 깨어 있음, 수면 패턴, 및/또는 교감 신경 및 부교감 신경 효과, 또는 명암 또는 멜라토닌의 24시간 주기 리듬 각성 효과를 모니터하기 위한 의료 진단, 치료, 연구, 또는 전문적 환경에서 이용될 수도 있다. 신호들은 디바이스를 사용하는 개인들의 졸음 효과를 예측하기 위해 시간에 걸쳐서 측정된 추세 변화들에 대해 실시간으로 저장 및 분석될 수 있다.
방금 설명한 방법과 유사하게, CPU(140)는, 송신기가 원격 수신 및 처리 장치(154)에 송신할 수 있는, 데이터의 스트림(144)을 생성할 수 있다. 수신 및 처리 장치(154)는 연구원, 의학 전문가, 또는 안전 요원에 의한 추후 검색 및 분석을 위해 메모리 회로(160)에 데이터의 스트림(144)을 저장할 수 있다(예컨대, 비행 기록 장치(flight recorder) 데이터가 항공기의 "블랙 박스" 기록 장치에 저장될 수 있는 방법과 유사하게). 수신 및 처리 장치(154)는 또한 데이터의 스트림(144)을 환자의 신체, 마음, 및 감정 상태를 지속적으로 모니터하기 위한 부가적인 파라미터로서 예를 들어 간호사 스테이션(nurse's station)에 표시할 수 있다. 장치(154)는 거짓 양성 및 음성(false positives and negatives)을 방지하기 위해 소 정의 시간 내에 응답되어야 하는(예컨대, 수행 경계 모니터링) 신호를, 예컨대, 일련의 알고리듬에 의해 저장 및/또는 생성할 수 있다.
눈이 초당 약 3 사이클의 속도로 떨리는(flutter) 소발작 간질(petit mal epilepsy), 눈이 경련적으로 반복하여 크게 떠지거나 닫힐 수 있는 대발작(grand mal) 또는 정신 발작(psychometer seizures), 눈꺼풀이 경련적으로 열리고 닫힐 수 있는 근간대성 발작(myoclonic seizures), 또는 틱(tic)과 같은 다수의 의학적 상태, 또는 투렛 증후군(Tourett's syndrome)을 가진 사람들이 겪는 것과 같은 다른 눈 움직임들이 검출 디바이스(30) 및 시스템(14)에 의해 모니터될 수 있다. 시스템은 포지티브 또는 네거티브 지-포스(positive or negative g-force) 효과에 의해 야기되는 조종사들의 의식 상실(g-LOC), 객실 압력(cabin pressure)의 손실로 인한 항공기 내의 승객들 또는 승무원들의 저산소혈증(hypoxemia), 잠수부들의 질소 마취(nitrogen narcosis) 또는 "벤즈(the bends)", 또는 군 요원 또는 다른 개인들에 대한 가스, 화학 제품, 약물, 및/또는 생물학 작용제(biological agents)의 효과를 모니터하기 위해 사용될 수 있다.
시스템은 또한 심리적 상황을 모니터하기 위해, 예를 들면, 스트레스를 검출하거나 또는 사람이 누워 있을 때(예컨대, 누워 있을 때 그들의 눈을 감거나 또는 다른 방법으로 움직임으로써), 최면 중에, 주의력을 모니터하고, 눈의 기능들이 손상되어 있는 상태들에 대한 약물 또는 제약(pharmaceuticals)(예컨대, 파킨슨병에서의 깜박거림 레이트를 개선하는 데 있어서의 엘-도파(L-dopa); 눈의 틱(ocular tics) 또는 ALS 또는 중증 근무력증(myasthenia gravis)와 같은 신경 근육계 이상 을 치료하는 데 사용되는 약물)의 "부정적" 부작용 및/또는 "긍정적" 치료 효과; 상관성 눈의 측정(correlative ocular measures)(예컨대, 안진증(nystagmus) 또는 빛 번쩍임에 대한 지연된 동공 반응)에 기초한 약물 또는 알코올 레벨; 항경련제(anti-convulsants), 약물, 알코올, 독소의 치료 효과 및 부작용, 또는 저산소혈증 또는 환기의 효과 등의 하나 이상을 측정하기 위해 이용될 수 있다. 파킨슨병, 근육 질환, 예컨대, 근경직증(myotonia), 긴장성 근이영양증(myotonic muscular dystrophy), 안검경련증(blepharospasm), 광시증(photophobia) 또는 광 민감증, 뇌질환(encephalopathy), 발작, 안면신경마비(Bell's palsy)에서와 같이 눈 또는 눈꺼풀의 신경 지배 또는 기계적 기능이 영향을 받을 수 있는 경우, 또는 제3 뇌신경 마비(palsy) 또는 부전 마비(paresis), 뇌간 손상 또는 졸증(brainstem lesions or stroke), 종양, 감염, 대사성 질환(metabolic diseases), 외상, 퇴행성 상태, 예컨대, 다발성 경화증(multiple sclerosis), 근위축성 측삭 경화증(amyotrophic lateral sclerosis), 다발성 신경병증(polyneuropathy), 중증 근무력증, 보툴리누스 중독(botulism), 파상풍(tetanus), 테타니(tetany), 지발성 운동 장애(tardive dyskinesia), 뇌간 뇌염(brainstem encephalitis)과 같이, 그 상태가 시력 손실(예컨대, 황반변성(macular degeneration)), 눈꺼풀 처짐(eyelid drooping) 또는 안검하수증(ptosis)을 생성할 수 있는 경우, 및 안구돌출증(exophthalmos), 갑상선중독증(thyrotoxicosis) 또는 다른 갑상선 기능 이상 상태와 같은 다른 주요 눈꺼풀 상태의 경우 모든 연령대의 환자들의 신경학적 상태들이 모니터될 수도 있다. 유사한 방식으로, 검출 디바이스(30)는 상기 신경-안과적 및 안과적 장애들 중 임의의 것의 진행 및/또는 퇴행을 연구하기 위해 외래적 방식(ambulatory fashion)으로 이용될 수 있다.
유사하게, 검출 디바이스(30)는 바이오피드백 응용에서, 예를 들면, 특정 상태(예컨대, 틱 장애(tic disorders)의 바이오피드백, 최면 또는 심리 요법에서 이용될 수 있다. 검출 디바이스(30)는 자극, 예컨대, 라이트 또는 스피커를 작동시키는 자극을 생성하고, 소정의 시간 내에 그 자극에 답하는 반응, 예컨대, 특정한 깜박거림들의 시퀀스를 수신할 것을 기대하여 사용자의 눈꺼풀 움직임을 모니터할 수 있다. 만일 사용자가 반응하지 못하면, 프로세서는 예컨대 반응 시간을 포함하여 그 반응을 저장할 수 있고, 및/또는 경보 신호와 같은 신호를 자동으로 송신할 수 있다.
게다가, 검출 디바이스(30)는 사용자의 집 또는 다른 곳에서의 통상의 활동 중과 같이 비의료 환경(non-medical settings)에서 개인들을 모니터하기 위해 이용될 수 있다. 예를 들면, 간질 또는 기면 발작과 같은 불수의적 의학적 상태를 가진 개인들이 모니터될 수 있고, 또는 유아 및 어린이, 수감자, 치매 환자(예컨대, 알츠하이머 병을 가진 환자), 법 집행 요원, 군 요원, 은행 출납원, 카지노 근로자, 학생, 오후 또는 야간 근무 근로자(swing or graveyard shift workers) 등과 같은 다른 개인들이 모니터될 수 있다. 유사한 응용들이 수면 연구소에서 수면의 개시, 수면 잠복기(sleep latency), 눈꺼풀이 닫히거나 열리는 시간, 밤 중에 깨는 시간 등과 같은 파라미터들을 측정하기 위해 수면 환자들을 모니터하기 위한 수면 다원검사(polysomnographic) 절차(예컨대, PSG, MSLT 또는 MWT) 중에 적용될 수 있 고, 또는 눈 깜박거림, 동공 변화, 및/또는 느리거나 빠른 눈 움직임이 연구되어야 할 인자(factor)가 될 수 있는 동물 연구에, 또는 유아들의 시신경 발달 기능들에 적용될 수 있다.
검출 디바이스(30)는 처방된 제약(예컨대, 흥분제), 알코올 또는 다른 불법 약물, 독소, 독물은 물론, 다른 긴장 이완(relaxing), 진정(sedating), 또는 경계(alerting) 기법 또는 디바이스들의 졸음, 각성, 또는 경계 효과를 연구 또는 모니터하기 위해 이용될 수 있다. 유사하게, 사용자의 수행 및 경계 능력들이 PERCLOS의 직접 함수로서, 또는 그와 관련하여 검사 및 분석될 수 있다.
CPU(140)가, 예를 들어, 간질 발작, 실신 발작(syncopal episode), 기면 발작(narcoleptic episode) 중에, 또는 운전 중이나 일하는 중에 꾸벅꾸벅 졸 때 발생할 수 있는, 대폭적인 기간의 눈 감김과 같은 특정한 눈꺼풀 움직임을 검출할 경우, CPU(140)는 경보를 작동시키는 출력 신호를 생성할 수 있다. 대안적으로는, 송신기(152)가 출력 신호를 송신하여 사용 중인 장비를 셧오프하고, 예컨대 전화기를 자동으로 작동시켜 긴급 서비스에 전화를 걸어, 의료 요원에게 통지하고, 경찰서, 앰뷸런스, 차량 제어 센터, 보호자 등과 같은 원격지에 신호를 보낼 수 있다.
시스템(14)은 또한 수의적 통신을 위한 유용한 응용을 찾을 수 있다. 검출 디바이스(30)를 착용한 사용자가 사람들 또는 장비에게 이해 가능한 메시지를 통신하기 위해(예컨대, 긴급 사태를 알리기 위해) 의도적으로 소정의 패턴으로, 예를 들면, 모스 코드 또는 다른 깜박거림식 코드(blinked code)로 눈을 깜박거릴 수 있다. CPU(140)는 센서(33)로부터 수신된 깜박거림식 코드에 대응하는 광 세기 신 호(142)를 데이터의 스트림(144)으로 변환하거나, 또는 어쩌면 문자들, 단어들 및/또는 커맨드들로 직접 변환할 수 있다.
그 후 데이터의 스트림(144)은 출력 포트(148)에 연결된 비디오 디스플레이(50)(도 1 참조)에 표시되거나, 또는 내부 스피커(150)에서 합성 음성으로서 출력될 수 있다. 데이터의 스트림(144)은 송신기(152)에 의해 신호(153)를 통하여, 메시지를 표시하거나, 또는 제어 시스템(164)에 연결된 가정용 디바이스들과 같은 장비를 제어하기 위한 수신 및 처리 장치(154)에 송신될 수 있다. 주거 환경(residential settings) 외에, 시스템(14)은 입원 또는 간호 치료 중인 개인들에 의해, 예를 들어, 튜브가 삽입되거나(intubated), 환기되거나(ventilated), 구속되거나(restrained), 마비되거나 허약해진 환자들에 의해, 주치 의료진에게 통신하기 위해 및/또는 간호사 스테이션에 의식적으로 신호를 보내기 위해 사용될 수 있다. 이들은 구두로 통신할 수 있는 신체적 능력이 없지만, 한쪽 또는 양쪽 눈의 눈 깜박거림을 이용하여 통신할 수 있는 능력은 보유하고 있는 모든 환자들을 포함한다(예컨대, 근위축성 측삭 경화증, 횡단성 척수염(transverse myelitis), 감금 증후군(locked-in syndrome), 뇌졸증(cerebravascular strokes), 말기 근이영양증(terminal muscular dystrophy)을 가진 환자들 및 환기(ventilation)를 위해 튜브가 삽입된 환자들).
이 디바이스는 임의의 환경 또는 영역에서, 예컨대, 물 또는 다른 실질적으로 투명한 액체를 통하여 사용될 수 있다. 또한, 이 디바이스(30)는 긴급 사태 통지 및/또는 분리된 보안 도구(discrete security tool)로서 사용될 수도 있다. 정 상적인 말(normal speech)을 할 수 있는 사람이 정상적인 통신, 즉 말(speech)이 실행 가능한 옵션(viable option)이 아닌 상황의 경우에 이 디바이스(30)를 착용할 수 있다. 예를 들면, 강도질을 당하고 있거나 또는 다른 식으로 범죄의 범행 현장에 있는 은행 또는 소매 종업원이 보안 통지하거나 법 집행을 호출하기 위해 사전 프로그램된 경고(preprogrammed warning)를 이산적으로 눈을 깜박거려 신호할 수 있다. 대안적으로는, 특정한 의학적 상태를 가진 사람이 신체적으로 무능력하게 되는, 즉, 응급 의료 치료를 요청하기 위해 이동할 수 없지만 아직 그들의 눈을 수의적으로 움직일 수는 있는 경우에 이 디바이스를 착용할 수 있다. 그러한 경우에, 사전 기록된 메시지 또는 식별 데이터(예컨대, 사용자의 이름, 그들의 위치, 긴급 사태의 특징 등)가 특정한 세트의 눈 깜박거림 코드 또는 사전 프로그램된 메시지에 의해 원격지에 송신될 수 있다. 이런 식으로, 검출 디바이스(30)는 ICU 환경 내에 있는 환자들, 인공호흡기(ventilator)에 의지하는 환자들, 죄수들, 노인들 또는 불구자들, 중장비 조작자들, 트럭 운전사들, 자동차 운전자들, 선박 및 항공기 조종사들, 열차 기관사들, 레이더 또는 항공 관제탑 조작자들을 모니터하기 위해 사용될 수 있고, 또는 군 위병들(military guards), 경찰, 은행 출납원들, 회계원들(cashiers), 택시 운전사들 등에 의한 통신을 위한 비언어적(nonverbal) 또는 서브리미널(subliminal) 도구로서 사용될 수 있다. 검출 디바이스(30)는 또한 레크리에이션 디바이스(recreational device)로서, 예를 들어, 워키토키와 유사한 어린이들의 완구로서 또는 원격 제어 완구 자동차를 조작하기 위해 사용될 수도 있다.
게다가, 검출 디바이스(30)의 계속된 사용을 보장하기 위해 CPU(140)가 부가적인 임계치 비교를 하게 하는 것이 바람직할 수 있다. 예를 들면, 부가적인 타이머 회로가 CPU(140)에 연결되어 CPU(140)가 센서(33)로부터 수신된 광 세기 신호들을 타이머 회로에 의해 제공된 제2의 소정의 임계치와 비교할 수 있도록 할 수 있다. 제2의 소정의 임계치는 사람이 통상적으로 눈을 깜박거릴 시간 기간에 대응할 수 있다. 만일 CPU(140)가 이 시간 기간 내에 통상의 깜박거림을 검출하지 못하거나 또는 사용자가 소정의 자극(예컨대, 깜박이는 빛 또는 소리)에 반응하지 못하면, CPU(140)는 스피커(150)를 작동시키거나 또는 송신기(150)를 이용하여 경고를 송신하는 신호를 생성할 수 있다.
이것은, 예를 들어, 검출 디바이스(30)가 범죄의 범행 중에 범죄자에 의해 제거되거나, 의학적 발작(medical episode)의 개시 때문에 이탈하여 떨어지는 경우는 물론, "거짓 경보"를 방지하거나, 사용자의 "주의력 상태"를 측정하기 위해 유용할 수 있다. 대안적으로는, 송신된 신호가 의도적인 신호인지 또는 "거짓 경보" 신호인지 판정하기 위해, 또한 바이오피드백을 목적으로 주의 또는 졸음 레벨을 측정하기 위해, 또한 이 디바이스를 착용한 사용자의 순응(compliance)을 측정하기 위해 사용자에 대한 수행 경계 작업(performance vigilance tasks)이 요구될 수 있다.
대안적으로는, 눈이 떠져 있을 때만, 예를 들면, 수면의 개시, 수면 잠복기, 눈꺼풀 닫힘의 시간 등을 측정하기 위해 수면 연구실 내의 환자들을 모니터하거나 또는 잠들어 있는 수감자들을 모니터할 때만 데이터의 스트림이 생성되도록 출력 신호(142)의 극성이 반전될 수 있다. 그러한 용도를 위하여, CPU(140)는 열린 눈 상태가 검출될 때만 경보를 작동시킬 수 있고, 숙련된 당업자라면 이를 알 수 있을 것이다.
도 8을 참조하면, 검출 디바이스(30)의 다른 실시예가 도시되어 있다. 이 실시예에서, 방사기 및 센서는 안경(20)에 직접 장착되는 단일 고체 상태 광 방사 및 검출 바이오센서 디바이스(132)이다. 적외선 광을 생성 및 검출할 수 있는 바이오센서 디바이스(132)는 2 밀리미터 × 4 밀리미터(2 mm × 4 mm)만큼 작고 중량이 겨우 수 그램일 수 있어서, 검출 디바이스(30)의 편리, 편안함 및/또는 재량(discretion)을 향상시킬 수 있다. 작은 사이즈 때문에, 바이오센서 디바이스(132)는, 도 8에 도시된 바와 같이, 렌즈(21)에 직접, 렌즈(21)의 바깥쪽 또는 안쪽 표면 상에, 브리지워크(bridgework) 내에 또는 눈 움직임의 검출을 용이하게 할 수 있는 프레임(22) 상의 또 다른 위치에 장착될 수 있다. 바이오센서 디바이스(132)는 약 5 밀리미터 × 5 밀리미터 미만의 표면 면적을 측정할 수 있고, 중량이 약 1 온스만큼 작을 수 있어, 시각에 거슬리지 않고(unobtrusive), 경량의 아이 프레임(eye frame)에 편리하게 통합될 수 있는 방사기/센서 조합을 제공한다. 전체 시스템이 프레임 상에 일체 완비될 수 있기 때문에, 그것은 사용자가 어느 방향을 바라보든 그와 함께 움직이고 각종의 환경 또는 영역, 낮 또는 밤, 수중(underwater) 등에서 작동할 수 있다.
하마마쯔(Hamamatsu)사는, 모델 번호 L1909, L1915-01, L2791-02, L2792-02, L2959, 및 5482-11와 같은, 바이오센서 디바이스(132)용으로 사용될 수 있는 각종 의 적외선 방사기 및 검출기 디바이스들을 제조하고, 또는 대안적으로는, 라디오 섀크(Radio Shack) 적외선 방사기, 모델 번호 274-142가 사용될 수 있다. 모델 번호 TSL 201(64 픽셀 × 1 픽셀), TSL 202(128×1), TSL 208(512×1), TSL 2301(102×1)과 같은, 사용하기에 적합한, 다중 소자 어레이들, 예컨대, 선형 광학 스캐닝 센서 어레이들이 텍사스주 플레이노의 텍사스 어드밴스드 옵토일렉트로닉 솔루션즈, 인크.(TAOS : Taxas Advanced Optoelectronic Solutions, Inc.)로부터 입수 가능하다. 이들 센서들은 검출된 광의 집광(focusing)을 용이하게 하기 위해, 캘리포니아주 어빙의 NSG 아메리카, 인크.에 의해 제조된 라인 스캐닝 응용을 위한 Selfoc 렌즈 어레이와 같은 렌즈 어레이들과 함께 사용될 수 있다.
또한, 다수의 바이오센서 디바이스들(132)이 안경(20) 상에 제공될 수 있다. 예를 들면, 도 8에 도시된 바와 같이, 사용자(도시되지 않음)의 각 눈의 눈꺼풀 움직임을 검출하기 위한 한 쌍의 바이오센서 디바이스들(132)이 제공될 수 있다. 각각의 바이오센서 디바이스(132)로부터 상기한 처리 박스(130)와 유사한 처리 박스(130)로 케이블(134)이 연장될 수 있다. 처리 박스(130)의 CPU(140)(도 8에는 도시되지 않음)는 각각의 바이오센서 디바이스(132)로부터의 출력 신호를 수신하고 비교하여 통상의 깜박거림과 다른 눈꺼풀 움직임과의 구별을 더 증강할 수 있다.
상기 바이오센서들(132)의 쌍은 보다 효과적으로 또는 편리하게 통신하기 위해 사용자에 의한 보다 복잡한 코드(more sophisticated codes)의 사용, 예컨대, 각각의 눈을 개별적으로 또는 함께 깜박거리는 것을 가능케 할 수 있고, 숙련된 당업자라면 이를 알 수 있을 것이다. 일 형태에서, 모스 코드의 사용을 용이하게 하 기 위해 한쪽 눈의 깜박거림은 "도트(dot)"에 대응할 수 있고, 다른 쪽 눈은 "대시(dash)"에 대응할 수 있다. 그 후 각 눈으로부터의 출력 신호들은 CPU(140)에 의해 해석되어 이해 가능한 메시지로 변환될 수 있다.
다른 형태에서, 우측 눈 깜박거림(또는 일련의 깜박거림)은 전기 휠체어를 우측으로 움직이게 할 수 있고, 좌측 눈 깜박거림(또는 일련의 깜박거림)은 좌측으로 움직이게 할 수 있고, 우측 및 좌측 눈의 2번 동시 깜박거림은 휠체어를 전방으로 움직이게 할 수 있고, 및/또는 우측 및 좌측 눈의 4번 동시 깜박거림은 휠체어를 후방으로 움직이게 할 수 있다. 눈 깜박거림들의 유사한 조합들 또는 시퀀스들이, 텔레비전, AM/FM 라디오, VCR, 테이프 리코더 또는 다른 전자 또는 전기 기계 디바이스, 임의의 보안 통신 또는 제어 디바이스, 또는 단순한 "온/오프" 스위치에 의해 작동 가능한 임의의 디바이스(예컨대, 무선 텔레비전 리모트 컨트롤 싱글 스위치 텔레비전 컨트롤 유닛, 만능(universal) 리모트 컨트롤러, AC 플러그/월 아웃렛(plug/wall outlet) 스위치 모듈들을 갖는 싱글 스위치 멀티-어플라이언스 유닛, 컴퓨터 입력 어댑터, 라이트 신호 버저(lighted signaling buzzer) 또는 진동 신호 박스, 모든 타입의 스위치 모듈, 비디오 게임 엔터테인먼트 컨트롤러 스위치 모듈 및 스위치 제어 전자 완구)의 온/오프 기능, 또는 볼륨 또는 채널 제어를 제어하기 위해 이용될 수 있다.
또 다른 대안들에서, 바이오센서 디바이스, 개개의 방사기, 및/또는 검출기에 의해 방사된 및/또는 검출된 광을 제어하기 위한 하나 이상의 렌즈 또는 필터가 제공될 수 있다. 예를 들면, 방사된 광의 각도는 프리즘 또는 다른 렌즈에 의해 변경될 수 있고, 또는 광은 슬릿을 통하여 컬럼화(columnate)되거나 집광(focus)되어 눈에 지향된 소정 형상의 광빔을 생성하거나 또는 센서에 의해 반사광을 수신할 수 있다. 반사된 광빔의 형상, 예컨대, 폭 등을 제어하기 위해 또는 센서의 감도를 조정하기 위해 조정 가능한 렌즈들의 어레이가 제공될 수 있다. 렌즈들은 플라스틱 등으로 방사기와 함께 캐이싱(encase)되거나, 또는 별도의 부착물로서 제공될 수 있고, 숙련된 당업자라면 이를 알 수 있을 것이다.
도 10A를 참조하면, 프레임(422)를 포함하는 시스템(414)의 다른 실시예가 도시되어 있는데, 프레임(422)는, 예를 들어, 시스템(414)의 편리 및 재량을 향상시키기 위해, 프레임(422) 상에 직접 제공된 관련 프로세서 및 송신기 회로(430)와 함께 바이오센서 디바이스(432)를 포함한다. 프레임(422)은 브리지 부분(bridge piece)(424) - 이 브리지 부분 상에 바이오센서 디바이스(432)가 고정되게(fixedly), 슬라이딩 가능하게(slidably), 및/또는 조정 가능하게 장착될 수 있음 - 및 한 쌍의 귀 지지물(ear support)(423, 425)을 포함할 수 있다.
상기 지지물들(423) 중 하나는, 예를 들어, 매립(embed)되거나 또는 다른 방법으로 그 위에 장착된 프로세서 및 송신기 회로(430)을 수용하기 위해, 다른 하나의 지지물(425)에 비하여 더 큰 사이즈를 가질 수 있다. 전술한 처리 박스(130) 내의 CPU(140)와 유사한 프로세서(440)가 프레임(422) 상에 제공될 수 있고, 리튬 배터리(460)와 같은 전원이 지지물(423)에 삽입되거나 첨부될 수 있다. 무선 주파수 또는 다른 송신기(452)(예컨대, 블루투스 또는 다른 프로토콜을 이용한 것)가 지지물(423) 상에 안테나(453)를 포함하여 제공될 수 있고, 안테나(453)는 안경 다 리 부분에 또는 프레임(422) 내의 다른 곳에 상기 귀 지지물을 따라서 매립되거나 다른 방법으로 고정될 수 있다.
시스템(414)은 또한 예를 들어 전원을 온/오프시키거나 또는 바이오센서 디바이스(432)의 세기 및/또는 임계치를 조정하기 위해 귀 지지물(423) 상에 또는 프레임(422) 상의 다른 곳에 수동 제어부(manual controls)를 포함할 수 있다. 따라서, 시스템(414)은 안경과 유사하게 렌즈(도시되지 않음)를 포함하거나 포함하지 않을 수 있는 프레임(422) 상에 실질적으로 일체 완비될 수 있다. 외부 케이블 또는 전선들이 제거될 수 있어서, 통신 및/또는 사용자를 모니터하기 위한 보다 편리하고 편안한 시스템을 제공한다.
도 10B, 10C, 10C, 및 10D에 도시된 또 다른 대안에서는, 예컨대, 아이 프레임(522)의 노우즈 브리지(524) 상에 수직 배열로 장착된 방사기들(532) 및 센서들(533)의 선형 어레이(530)가 제공될 수 있다. CPU(540), 배터리(460), 송신기 안테나(543), 및 경고 지시자(warning indicator)(550)도 또한 프레임(522) 상에, 예컨대, 전술한 실시예들과 유사하게, 안경 다리 부분(525)에 제공될 수 있다. LED(542) 또는 유사한 자극 디바이스(stimulus device)도 또한 아이 프레임(522) 상의 소정의 위치에 제공되어 사용자로부터의 일상적인 바이오피드백 응답을 가능케 할 수 있다. 또한, CPU(540)에 의해 생성되어 송신기(543)에 의해 송신된 데이터의 스트림을 수신하기 위한 수신기(544)가 제공될 수 있다.
도 10C에 상세히 도시된 바와 같이, 각각의 센서들(533) 및 방사기(532)는 방사기(532)를 제어하고 및/또는 센서들(532)에 의해 생성된 광 세기 신호들을 처 리하기 위한 CPU(540) 또는 다른 제어 회로에 연결될 수 있다. 따라서, CPU(540)는 본 명세서의 다른 곳에서 기술된 프로세서들과 유사하게, 어레이(530) 내의 센서들(533)을 통하여 순환하여 각각의 센서들(533)로부터의 신호를 순차적으로 처리할 수 있다. 도 10D에 도시된 바와 같이, 방사기(532)는 광빔(개개의 광선들(360a, 360b)에 의해 표시됨)을 눈(300) 상에, 예컨대, 동공(301)을 향하여 집광시키는 렌즈(534)를 포함한다. 센서들(533)은 노우즈 브리지(524) 내에 매립되고 각각에 대해 슬릿(535)이 제공되고, 이 슬릿들(535)은 각 센서(533)에 의해 검출된 반사광을 제어하기 위한 소정의 사이즈를 갖는다. 따라서, 각 센서(535)는 눈(300)의 특정 부분을 지나는 눈꺼풀(302)의 움직임을 검출할 수 있다. 예컨대, 도 12A에 도시된 바와 같이, PERCLOS를 측정할 수 있다. 센서들 또는 방사기들은 방사되거나 반사된 광을 집광시키기 위한 렌즈들 또는 컬럼화 디바이스(columnating devices)를 가질 수 있다.
선형 어레이(530)는 단순한 눈 감김 외에 눈꺼풀 움직임에 관련된 부가적인 파라미터들의 측정, 예를 들어, 눈꺼풀이 열리거나 닫히는 속도, 즉, 눈 감김의 속도(rate of eye closure)의 측정을 용이하게 할 수 있고, CPU(540)는 잇따른 센서들(533)의 작동 간의 시간 지연을 비교할 수 있다. 또한, 센서들(533)로부터의 출력 신호들은, 예를 들어, 부분적 눈 감김에 따른 눈꺼풀(302)의 동공 가림(pupil coverage)의 백분율을 시간의 함수로서 측정하기 위해, 예컨대, 도 12A-12C에 도시된 바와 같이, 눈이 완전히가 아니라 부분적으로 감기는 때를 모니터하기 위해, 및/또는 눈이 감기는 시간의 백분율을, 예컨대, 사용자의 최대 눈 뜨임의 기준선과 비교하여, 모니터하기 위해 처리될 수 있다.
도 12D를 참조하면, 다른 실시예에서는, 센서들의 2차원 어레이가 제공될 수 있다. 5x5 어레이(633) 및 9x11 어레이(733)가 예시적 실시예들로서 도시되어 있지만, 어레이 내에 임의의 수의 소자들을 포함하는 다른 어레이들이 제공될 수도 있다. 예를 들면, 아래에서 더 설명되는 바와 같이, 센서들은 격자(grid) 또는 다른 패턴 내에 수백 또는 수천 개의 픽셀들을 포함하는 CMOS 또는 CCD 디바이스의 형태로 되어 있을 수 있다. 그 후 센서들(633, 733)은 방사기(632)로부터의 광의 표면 면적 반사율을 측정하기 위해 사용될 수 있다. 즉, 프로세서(도시되지 않음)는 어레이(633, 733) 내의 각 센서로부터의 신호들을 처리하여 눈꺼풀(302)에 의해 가려진 눈(300)의 표면 면적 및/또는 동공의 상대적 위치의 백분율을 나타내는 데이터의 스트림을 생성할 수 있다.
어레이(633, 733) 내의 센서들은 동공(301)을 통하여 망막에서의 광의 반사로 인한 "적색 반사(red reflex)" 또는 적외선 "빛나는 동공(bright pupil)" 반사를 검출할 수 있도록 감도가 충분하거나 또는 충분한 분해능(resolution)을 가질 수 있다. 따라서, 센서들은 적색 반사 또는 빛나는 동공을 나타내지 않는 실질적으로 제로 값, 적색 반사 또는 백색 동공 반사를 나타내는 저출력, 및 닫힌 눈꺼풀(302)에서의 반사를 나타내는 고출력을 포함하는 광 세기 신호를 생성할 수 있다. 적색 반사는 빛나는 백색광 동공으로서(눈꺼풀이 열려 있을 때는 방사기(들)로부터의 적외선 광이 망막에서 반사하여 생기는 결과임, 또는 프로세서가 차감 알고리듬을 사용하면 어두운 또는 "검은 동공(black pupil)"으로서) 나타날 수 있다. 프로세서는 광 세기 신호들을 처리하여 동공(301)이 눈꺼풀(302)에 의해 가려지는 때, 즉, 사용자의 눈(300)이 눈꺼풀(302)에 의해 완전히 가려지지 않는다 하더라도 사용자가 볼 수 없는 시점, 일반적으로 제1 안위(primary gaze)에서 PERCLOS 값이 약 50-75 퍼센트인 시점을 검출할 수 있다. 대안적으로는, 눈꺼풀, 눈, 및 동공이 내려갈 때, PERCLOS 측정치가 75-80% 이상으로 크다 하더라도, 예컨대, 눈이 하향 응시(downward gaze)에서 좁은 슬릿 모양 눈꺼풀 틈새 개구를 통하여 여전히 볼 수 있는 경우에 센서(들)는 적색 반사 또는 빛나는 동공을 검출할 수 있다.
또 다른 대안에서, 프로세서 및/또는 송신기 회로(예컨대, 도 2의 처리 박스(130) 내의 CPU(140), 또는 도 10A 및 10B의 CPU들(440, 540))는 이산 메모리 칩 또는 다른 회로 소자로서, 또는 CPU 자체 내에, 식별 회로(identification circuitry)(도시되지 않음)를 포함할 수 있다. 이 식별 회로는 고정된 식별 코드로 사전 프로그램될 수도 있고, 또는, 예를 들어, 사용자의 ID, 사용자의 위치, 사용자에 특정한 생체인식(biometric) 측정(예컨대, 고유한 홍체 또는 망막 패턴, 손가락 지문, 음성 식별), 개개의 검출 디바이스의 식별 코드 등과 같은 선택된 식별 정보를 포함하도록 프로그램 가능할 수도 있다.
CPU는 송신된 데이터의 스트림(553)에 식별 정보를 선택적으로 부가할 수도 있고, 또는 식별 정보는 자동으로 또는 주기적으로, 연속적으로 또는 불연속적으로 데이터의 스트림(553)에 포함될 수도 있어서, 데이터의 스트림(553)이 특정 검출 디바이스, 개개의 사용자, 및/또는 특정 위치와 연관될 수 있게 한다. 식별 정보는 프로세서에 의해, 예를 들어, 원격지에서, 다수의 검출 디바이스들로부터 수신 된 데이터의 스트림들을 구별하기 위해 사용될 수 있고, 그 후 데이터의 스트림들은 전술한 바와 같이 저장되거나, 표시되거나 할 수 있다. 따라서, 검출 디바이스는 사용자들에게 시스템이 사용될 때 소정의 식별 또는 다른 표준 정보를 의식적으로 통신하도록 요구하지 않을 수 있다.
도 11A에 도시된 바와 같이, 수신기(544)는 사용자가 싱글 스위치 멀티-어플라이언스 제어 유닛(550)을 통하여 수신기(544)에 연결된 하나 이상의 디바이스들을 제어하게 할 수 있다. 제어 유닛(550)은 개개의 제어 모듈들(552a-552f)에 의해 수신될 수 있는 온/오프 또는 다른 제어 신호들을 송신하도록 구성된 그 자신의 송신기를 포함한다. 사용자(10)는 제어 유닛(550) 및 라디오(554), 텔레비전(556), 라이트(558a), 벽 스위치(560)에 의해 제어되는 라이트(562), 벽 소켓(564)에 플러그 접속된 선풍기(566) 등을 이용하여 선택된 전기 기구(appliance)들을 온/오프시키거나, 또는 다른 방법으로 제어하기 위한 커맨드들을 포함하는 송신 데이터의 스트림(553)을 생성하기 위해 눈을 깜박거릴 수 있다.
대안적으로는, 도 11B에 도시된 바와 같이, 수신기(544)는 컴퓨터(570) 및 프린터(572), 차량 통합 시스템(574), 생명선 유닛(576), GPS 또는 다른 위성 송신기(578) 등과 같은 다른 시스템들에 연결될 수 있다. 송신된 데이터의 스트림(553)은 단독으로 또는 다른 차량 센서 정보(578), 및/또는 인간 요소(human factors)(예컨대, EKG, EEG, EOG, 맥박, 혈압, 호흡수, 산소측정(oximetry), 머리 위치, 음성 분석, 체온, 피부 전도도, 자기 평가 측정 및 수행 경계 응답, 고정된 착용불가 계기판 또는 챙-장착된(visor-mounted) 카메라 시스템 등을 통한 타인들 에 의한 관찰)과 같은 부가적인 데이터와 함께 처리되어, 장거리 트럭 운전자와 같은 사용자의 모니터링을 더욱 향상시킬 수 있다.
도 13을 참조하면, 눈 움직임을 모니터하기 위한 시스템(810)의 또 다른 실시예가 도시되어 있다. 일반적으로, 시스템(810)은 브리지 부분(814) 및 한 쌍의 귀 지지물(816), 하나 이상의 방사기(820), 하나 이상의 센서(822), 및/또는 하나 이상의 카메라(830, 840)를 포함할 수 있는 프레임(812)을 포함한다. 프레임(812)은 시력교정용(prescription), 음영(shaded), 보호 렌즈와 같은 한 쌍의 렌즈(도시되지 않음)를 포함할 수 있지만, 그것들은 생략될 수도 있다. 대안적으로는, 시스템은 조종사의 산소 마스크, 눈 보호구(protective eye gear), 환자의 인공호흡기, 스쿠버 또는 수영 마스크, 헬멧, 모자, 머리띠, 머리 챙(head visor), 머리 보호구(protective head gear)와 같은 사용자의 머리 위에, 또는 머리 및/또는 얼굴 등을 보호하는 보호복(enclosed suits)(도시되지 않음) 내에 착용될 수 있는 다른 디바이스들 상에 제공될 수 있다. 시스템의 컴포넌트들은 일반적으로 사용자의 시각 및/또는 디바이스의 정상적인 이용과의 간섭을 최소화하는 디바이스의 다양한 위치들에 제공될 수 있다.
도시된 바와 같이, 방사기들(820)의 어레이가 프레임(812) 상에, 예컨대, 수직 어레이(820a) 및 수평 어레이(820b)로 제공된다. 부가적으로 또는 대안적으로, 방사기들(820)은 원형 어레이(도시되지 않음)와 같은 다른 구성 형태로 제공될 수 있고, 광 필터들 및/또는 확산기들(이 또한 도시되지 않음)을 포함할 수도 또는 포함하지 않을 수도 있다. 예시적인 실시예에서, 방사기들(820)은 본 명세서의 다른 곳에서 기술된 다른 실시예들과 유사하게, 소정의 주파수로 펄스들을 방사하도록 구성된 적외선 방사기들이다. 방사기들(820)은 사용자의 눈들 중 한쪽 눈을 포함하는 사용자의 얼굴의 영역에 기준 프레임(850)을 투영하도록 프레임 상에 배열될 수 있다. 도시된 바와 같이, 기준 프레임은 상기 영역을 4개의 4분면(quadrant)들로 분할하는 한 쌍의 교차된 밴드들(crossed bands)(850a, 850b)을 포함한다. 예시적인 실시예에서, 교차된 밴드들의 교점은 제1 안위(primary gaze) 중에, 즉 사용자가 일반적으로 똑바로 전방으로 바라보고 있을 때 눈의 동공에 실질적으로 대응하는 위치에 배치될 수 있다. 대안적으로는, 예컨대, 수직 및 수평 컴포넌트들, 각도상(angular) 및 방사상(radial) 컴포넌트들, 또는 다른 직교 컴포넌트들을 포함하는 다른 기준 프레임들이 제공될 수도 있다. 선택적으로, 실질적으로 움직이지 않는 채로 있는 하나 또는 2개의 기준점들조차, 아래에서 더 설명되는 바와 같이, 눈의 상대적 움직임을 판정하기 위한 충분한 기준 프레임을 제공할 수 있다.
사용자의 눈꺼풀에서 반사되는 방사기들(820)로부터의 광을 검출하기 위한 센서들(822)의 어레이도 프레임(812) 상에 제공될 수 있다. 센서들(822)은 본 명세서의 다른 곳에서 기술된 다른 실시예들과 유사하게, 눈꺼풀이 닫혀 있는지 열려 있는지를 식별하는 세기를 갖는 출력 신호들을 생성할 수 있다. 센서들(822)은 눈꺼풀의 각각의 부분들에서 반사된 광을 검출하기 위해 각각의 방사기들(820)에 인접하여 배치될 수 있다. 대안적으로는, 센서들(822)은, 본 명세서의 다른 곳에서 기술된 실시예들과 유사하게, 눈꺼풀 닫힘의 양을 모니터하기 위해, 단지 수직 어레이로, 예를 들어, 브리지 부분(814)을 따라서 제공될 수 있다. 또 다른 대안에 서는, 방사기들(820) 및 센서들(822)은 단일 디바이스에서 방사 및 감지 기능의 양쪽 모두를 제공하는 고체 상태 바이오센서들(도시되지 않음)일 수 있다. 선택적으로, 방사기들(820) 및/또는 센서들(822)은, 아래에서 더 설명되는 바와 같이, 카메라들(830, 840)이 충분한 정보를 제공한다면, 제거될 수도 있다.
센서들의 어레이에 의해 생성된 신호들을 이용하여 PERCLOS 또는 다른 파라미터들을 측정하기 위한 회로 및/또는 소프트웨어가 제공될 수 있다. 예를 들면, 도 17은 예를 들어, PERCLOS 측정치 또는 다른 경계(alertness) 파라미터들을 획득하기 위해 5 소자 어레이로부터의 신호들을 처리하는 데 사용될 수 있는 예시적인 개략도를 보여준다.
도 13으로 되돌아가서, 시스템(810)은 또한 일반적으로 사용자의 눈들 중 한쪽 또는 양쪽 모두를 향하여 지향되는 하나 이상의 카메라(830)를 포함한다. 각각의 카메라(830)는 브리지 부분(814)에 또는 그에 인접하여(예컨대, 프레임(812) 상의 다른 곳, 예컨대, 사용자의 시각과의 간섭을 최소화하는 위치에) 장착된 제1 단부, 및 검출기(838), 예컨대, 영상들을 디지털 비디오 신호들로 변환할 수 있는 CCD 또는 CMOS 센서에 연결되는 제2 단부(837)를 포함하는 광섬유 다발(832)을 포함할 수 있다. 도 14에 도시된 바와 같이, 예컨대, 영상들을 광섬유 다발(832)에 집광시키기 위해 대물 렌즈(834)가 광섬유 다발(832)의 제1 단부 상에 제공될 수 있다. 선택적으로, 광섬유 다발(832)은, 도 14에 도시된 바와 같이, 방사기들(836)을 제공하도록 렌즈(834)에 인접하여 종단(terminate)할 수 있는 하나 이상의 조명 섬유들(illumination fibers)을 포함할 수 있다. 조명 섬유(들)는, 예컨 대, 도 22A 및 도 22B에 도시된 실시예와 유사하게 그리고 아래에서 더 설명되는 바와 같이, 광원(도시되지 않음)에 연결될 수 있다. 도 13에는 (예컨대, 사용자의 좌측 눈을 모니터하기 위한) 하나의 카메라(830)만 도시되어 있지만, 유사한 컴포넌트들, 예컨대, 광섬유 다발, 렌즈, 방사기(들) 및/또는 검출기(단, 선택적으로, 카메라들은 아래에서 더 설명되는 바와 같이 공통의 검출기를 공유할 수 있다)를 포함하는, 사용자의 눈들 중 다른 쪽(예컨대, 우측 눈)을 모니터하기 위한 또 하나의 카메라(도시되지 않음)가 대칭적 구성 형태로 제공될 수 있다. 선택적으로, 각각의 눈을 향하여, 예컨대, 눈(들)을 향하는 서로 다른 각도들로부터 각각의 눈을 향하여 지향된 다수의 카메라(도시되지 않음)를 갖는 것이 바람직할 수 있다. 선택적으로, 이들 카메라(들)는 광섬유 익스텐션(fiberoptic extensions), 분광 렌즈(prismatic lenses), 및/또는 반사 렌즈(예컨대, 적외선 광을 반사하는), 렌즈들의 눈을 향하는 쪽에 있는 불가시성 또는 차단 미러 표면들(impenetrable or blocking mirrored surfaces)을 포함할 수 있다. 그러한 부속물들은 카메라(들)에 전송된 눈들의 영상을 원하는 방식으로 구부리거나(bending), 돌리거나(turning), 반사시키거나(reflecting), 반전시키기(inverting) 위해 제공될 수 있다.
카메라(들)(830)는 방사기들(820 및/또는 836)에 의해 방사된 광, 예컨대, 적외선 광 또는 가시 범위를 넘어선 다른 광의 주파수를 검출하도록 구성될 수 있다. 선택적으로, 광섬유 다발(들)(832)이 방사기들(836)을 위한 하나 이상의 조명 섬유들을 포함한다면, 프레임(812) 상의 방사기들(820)은 제거될 수 있다. 이 실시예에서는, 아래에서 더 설명되는 바와 같이, 센서들(822)을 제거하고, 카메라 (들)(830)를 이용하여 사용자의 눈(들)의 움직임을 모니터하는 것도 가능할 수 있다. 선택적으로, 시스템(810)은, 예컨대, 사용자의 얼굴 바로 앞의 영역과 같은 사용자의 주위 환경을 모니터하기 위해, 사용자의 머리로부터 다른 데로 지향된 제2 카메라(840)를 포함할 수 있다. 카메라(840)는 카메라(830)와 유사한 컴포넌트들, 예컨대, 광섬유 다발(841), 렌즈(도시되지 않음), 및/또는 방사기(들)(이 또한 도시되지 않음)를 포함할 수 있다. 선택적으로, 카메라(830)는 주위 조명 조건들 하에서 영상들을 생성하도록 감도가 충분할 수 있고, 방사기들은 생략될 수 있다. 카메라(840)는 도 13에 도시된 바와 같이 별도의 검출기(839)에 연결될 수도 있고, 또는 아래에서 더 설명되는 바와 같이 검출기(838)를 카메라(들)(830)와 공유할 수도 있다.
광섬유 다발들(832, 841) 각각은, 예를 들면, 약 5천 개에서 10만 개(5,000-100,000) 사이의 픽셀화 광 운반 광섬유(pixelated light-carrying optical fibers), 또는 약 1만 개에서 5만 개(10,000-50,000) 사이의 섬유들을 포함할 수 있다. 섬유들의 개수는 주어진 응용, 예컨대, 사용자의 눈(들)(즉, "엔도카메라(endocamera)(들)" 섬유들의 경우)은 물론, 주위 환경(즉, "엑소카메라(exocamera)(들)" 섬유들의 경우)의 획득된 영상들에서 원하는 광학 해상도(optical resolution)를 제공하는 응용의 특정 요구에 좌우될 수 있다. 선택적으로, 다발용 섬유들은 하나 이상의 조명 섬유들을 포함할 수 있다. 예시적인 실시예들에서, 5천 개(5,000) 섬유(75 x 75 픽셀 해상도를 제공), 1만 개(10,000) 섬유(100 x 100 픽셀 해상도를 제공), 5만 개(50,000) 섬유(224 x 224 픽셀 해상도를 제공), 및 10만 개(100,000) 섬유(316 x 316 픽셀 해상도를 제공)를 갖는 다발들이 사용될 수 있다. 결과물인 광섬유 다발(들)(832, 841)은, 클래딩을 갖거나 또는 갖지 않고, 예를 들면, 약 3에서 5 밀리미터(3-5 mm) 사이의 직경을 가질 수 있다. 광섬유 다발(들)(832, 841)은 프레임(812)을 따라서 고착(secure)될 수도 있고 또는 프레임(812) 내에 제공될 수도 있다. 예를 들면, 프레임(812)은, 그것을 통해서 광섬유 다발(들)(832, 841)을 수용하기 위해, 예컨대, 브리지 부분(814)으로부터 귀 지지물들(816)까지 연장하는 하나 이상의 통로를 구비하여 형성될 수 있다. 대안적으로는, 광섬유 다발(들)(832, 841)은, 예컨대, 프레임(812)이 제조될 때, 프레임(812) 내에 몰딩(mold)되거나, 융합(fuse)되거나, 또는 다른 방법으로 매립될 수 있다. 선택적으로, 광섬유 다발(들)(832, 841)은, 도 18A 및 18B를 참조하여 아래에서 기술되는 실시예들과 유사하게, 프레임(812)으로부터 프레임(812)과 분리된 검출기 및/또는 프로세서(도시되지 않음)까지 연장할 수 있다.
귀 지지물들(816)의 한쪽 또는 양쪽 모두는 하나 이상의 컴포넌트들, 예컨대, 예시적인 프로세서(842)와 같은 컨트롤러 또는 프로세서, 송신기(844), 안테나(845), 검출기(들)(838, 839), 및/또는 배터리(846) 등을 장착하기 위한 패널(818)을 포함할 수 있다. 프로세서(842)는 방사기들(820), 센서들(822), 및/또는 카메라들(830, 840)에(예컨대, 검출기(들)(838, 839)에) 그들의 동작을 제어하기 위해 연결될 수 있다. 송신기(844)는 센서들(822) 및/또는 카메라들(830, 840)로부터 출력 신호들을 수신하여, 예컨대, 그 신호들을, 아래에서 설명되는 바와 같이, 원격지에 송신하기 위해, 프로세서(842) 및/또는 검출기(들)(838, 839)에 연결 될 수 있다. 대안적으로는, 송신기(844)는 센서들(822) 및/또는 카메라들(830, 840)로부터의 출력 리드들(output leads)에 직접 연결될 수도 있다. 프레임(812)은 또한, 예를 들어, 전원을 온/오프시키거나, 또는 방사기들(820), 센서들(822), 및/또는 카메라들(830, 840)의 세기 및/또는 임계치를 조정하기 위해, 예컨대, 귀 지지물(816) 상에, 수동 제어부(도시되지 않음)를 포함할 수 있다.
원한다면, 시스템(810)은 또한 예를 들어, 사용자의 인식, 감정, 및/또는 행동 상태에 관한 부가적인 생체(bio)- 또는 신경(neuro)-생리학적 데이터의 통합 및 상호 상관(cross correlation)을 목적으로, 프레임(812) 상에 하나 이상의 부가적인 센서들, 예컨대, 생리측정 센서들(physiological sensors)을 포함할 수도 있다. 센서들은 그로부터의 신호들이 모니터되고, 기록되고, 및/또는 원격지에 송신될 수 있도록 프로세서(842)에 및/또는 송신기(844)에 연결될 수 있다. 예를 들면, 하나 이상의 위치 센서들(852a, 852b)이, 예컨대, 프레임(812)의 공간적 방위(spatial orientation), 결과적으로 사용자의 머리의 공간적 방위를 판정하기 위해 제공될 수 있다. 예를 들면, 활동성 측정 센서들(actigraphic sensors)이, 머리의 기울기 또는 움직임을 측정하기 위해, 예컨대, 사용자의 머리가 앞으로 숙여지고 있는지 또는 옆으로 기울고 있는지를 모니터하기 위해 제공될 수 있다. 음향 센서들(acoustic sensors), 예컨대, 마이크로폰(854)이, 주위 잡음 또는 사용자에 의해 생성된 소리를 검출하기 위해 제공될 수 있다.
부가적으로 또는 대안적으로, 프레임(812)은, 예컨대, 생리학적 시스템 통합 및/또는 상호 상관을 목적으로, 사용자의 하나 이상의 신체적 특징들을 측정하기 위한 하나 이상의 센서들을 포함할 수 있다. 예를 들면, EEG 전극들(856)이, 시각적 또는 장기 또는 단기 공간적 및/또는 시간적 동향 분석(예컨대, 고속 푸리에(Fast Fourier) 또는 스펙트럼 분석)을 위해, 예컨대, 약 1 내지 5백 헤르츠(1-500 Hz) 범위에 걸치는 상이한 주파수들의 뇌 활동(brain activity)을 측정 및 송신하기 위해 귀 지지물(816) 상에, 코 위 또는 아래에, 유두(mastoid) 상에, 후두부 영역 위에, 및/또는 사용자의 피부와 접촉할 수 있는(예컨대, 습성(moist) 표면 접촉 전극들), 또는 사용자의 피부와 접촉하지 않을 수 있는(예컨대, 건성(dry) 무선 전극들) 다른 영역에 제공될 수 있다. 피부 접촉 부위를 통하여 심장 활동을 측정할 수 있는 EKG 전극(도시되지 않음)이 제공될 수 있다. 심장 혈관 맥박을 측정하기 위해 펄스 센서(pulse sensor)(도시되지 않음)가 사용될 수 있고, 또는 산화 포화도 레벨을 측정하기 위해 산소측정 센서(oximetry sensor)(858)가 사용될 수 있다. 서미스터(thermistor) 또는 다른 센서가 예컨대 사용자의 코를 통하여 호흡 공기 흐름을 측정할 수 있다. 서미스터, 열전쌍(thermocouple), 또는 다른 온도 센서(도시되지 않음)가 사용자의 피부 온도를 측정하기 위해 제공될 수 있다. 땀 검출기(도시되지 않음)가 사용자의 피부 상의 습기를 측정하기 위해 제공될 수 있고, 및/또는 마이크로폰 또는 다른 음향 센서(이 또한 도시되지 않음)가 사용자의 목소리 또는 숨소리를 검출하기 위해 프레임(812)에 부착될 수 있다. 사용자의 피부의 원하는 영역과 접촉하여 눈들의 움직임 동안 전위의 변동을 측정하는 하나 이상의 EOG(electrooculographic) 전극들이 제공될 수 있다.
또한, 시스템(810)은 프레임(812) 상에 하나 이상의 피드백 디바이스들을 포 함할 수 있다. 이들 디바이스들은, 예컨대, 소정의 조건이 검출될 때, 예컨대, 졸음 상태 또는 의식 결여 상태가 검출될 때, 사용자에게 경계시키고 및/또는 사용자를 깨우기 위해, 사용자에게 피드백을 제공할 수 있다. 이 피드백 디바이스들은 그들의 작동을 제어할 수 있는 프로세서(842)에 연결될 수 있다. 예를 들면, 기계적 진동기 디바이스(860)가, 피부 접촉을 통하여 촉각 진동 자극을 제공할 수 있는, 사용자와 접촉하는 위치에, 예컨대, 귀 지지물(816) 상에 제공될 수 있다. 비교적 저전력의 전기 자극을 생성할 수 있는 전극(도시되지 않음)이 제공될 수 있다. 하나 이상의 LED들과 같은, 가시적인 백색 또는 채색 광 방사기(visible white or colored light emitter)가, 원하는 위치에, 예컨대, 브리지 부분(814) 위에 제공될 수 있다. 대안적으로는, 본 명세서의 다른 곳에 기술된 실시예들과 유사하게, 버저 또는 다른 경보기와 같은, 오디오 디바이스들(862)이 제공될 수 있다. 또 다른 대안에서는, 향 방사기(aroma-emitters)가 프레임(810) 상에, 예컨대, 브리지 부분(814) 상에 또는 그에 인접하여 제공될 수 있다.
부가적으로 또는 대안적으로, 하나 이상의 피드백 디바이스들이 프레임(814)과 분리되어 제공될 수 있지만, 사용자에게 피드백 응답을 제공할 수 있는 방식으로 배치될 수 있다. 예를 들면, 청각, 시각, 촉각(예컨대, 진동 시트), 또는 후각 방사기들이, 본 명세서의 다른 곳에서 기술된 임의의 디바이스들과 같이, 사용자에 근접하여 제공될 수 있다. 또 다른 대안에서는, 사용자에게 열 자극을 생성할 수 있는, 예컨대, 원격 제어 선풍기 또는 냉난방 유닛(air conditioning unit)과 같은 열 또는 한기 생성 디바이스들이 제공될 수 있다.
시스템(810)은 또한, 본 명세서의 다른 곳에서 기술된 다른 실시예들과 유사하게, 프레임(812)으로부터 멀리 떨어져 있는 컴포넌트들을 포함할 수 있다. 예를 들면, 시스템(810)은 프레임(812)으로부터 원격지에, 예컨대, 같은 방 안에, 가까운 모니터링 스테이션에, 또는 더 먼 위치에 수신기, 프로세서, 및/또는 디스플레이(도시되지 않음)를 포함할 수 있다. 수신기는, 센서들(822), 카메라들(830, 840), 또는 프레임(812) 상에 제공된 다른 임의의 센서들로부터의 출력 신호들을 포함하여, 송신기(842)에 의해 송신된 신호들을 수신할 수 있다.
프로세서가 프레임(812) 상의 컴포넌트들로부터의 신호들을 분석하기 위해, 예컨대, 그 신호들을 그래픽 표시를 위해 준비시키기 위해, 수신기에 연결될 수 있다. 예를 들면, 프로세서는 센서들(822) 및/또는 카메라들(830, 840)로부터의 신호들을 모니터 상에 표시하기 위해 준비시킴으로써, 그 사용자가 타인들에 의해 모니터될 수 있게 한다. 동시에, 다른 파라미터들이, 단일 또는 분리된 디스플레이(들) 상에 표시될 수 있다. 예를 들면, 도 15A-15I는 프레임(812) 상에 있을 수 있는 각종 센서들의 출력을 나타내는 신호들을 보여주는데, 이 신호들은 사용자의 눈의 움직임 및/또는 졸음 레벨에 대해, 공통 시간 축을 따라서 표시되거나 또는 다른 방법으로 상관될 수 있다. 프로세서는 비디오 신호들을 다른 감지된 파라미터들과 함께 겹쳐 놓거나(superimpose) 또는 다른 방법으로 동시에 표시함으로써 의사 또는 다른 개인이 사용자의 행동에 대해 이들 파라미터들을 모니터하고 개인적으로 상관시키게 할 수 있다.
또 다른 대안에서, 프로세서는 그 신호들을 자동으로 처리하여 사용자의 행 동을 모니터 및/또는 연구할 수 있다. 예를 들면, 프로세서는, 본 명세서에 참조로 통합된 미국 특허 6,542,081호에 기술된 것들과 같이, 출력 신호들을 이용하여 눈 깜박거림 지속 기간(EBD : eye blink duration), 눈 깜박거림 빈도, 눈 깜박거림 속도, 눈 깜박거림 가속, 깜박거림 간의 지속 기간(IBD : interblink duration), PERCLOS, PEROP(percentage eyelid is open), 동공 사이즈 변동, 눈의 응시 및 안구 움직임 등과 같은 눈 움직임에 관련된 각종 눈 파라미터들(ocular parameters)을 모니터할 수 있다.
카메라(830)로부터의 비디오 신호들은, 동공의 사이즈, 위치, 예컨대, 교차된 밴드들(850)에 의해 정의된 4개의 4분면 내의 위치, 눈동자 추적(eye tracking) 움직임, 눈의 응시(eye gaze) 거리 등과 같은 각종 눈 파라미터들을 모니터하기 위해 처리될 수 있다. 예를 들면, 카메라(들)(830)은 방사기들(820)에 의해 방사된 광을 검출할 수 있기 때문에, 카메라(들)(830)은 방사기들에 의해 사용자의 눈의 영역 상에 투영된 기준 프레임을 검출할 수 있다. 도 16은 수직 배열로 배치된 20개의 방사기들을 갖는 시스템에 포함된 카메라로부터의 예시적인 비디오 출력을 보여준다. 카메라는 수직 밴드로서 배열된 광의 20개의 분리된 영역들을 검출할 수 있다. 카메라는 또한 "반짝임(glint)" 포인트, G, 및/또는 움직이는 빛나는 동공, P를 검출할 수 있다. 따라서, 동공의 움직임은 반짝임 포인트, G와 관련하여, 및/또는 수직 밴드(1-20)와 관련하여 모니터될 수 있다.
방사기들(820)은 프레임(812)에 고정되기 때문에, 기준 프레임(850)은 사용자에 대하여 실질적으로 움직이지 않는 채로 있을 수 있다. 따라서, 프로세서는 기준 프레임(850)에 대하여 직교 좌표들(예컨대, x-y 또는 각도 반경)에 의하여 동공의 위치를 판정할 수 있다. 대안적으로는, 기준 프레임이 제거된다면, 동공의 위치는 사용자의 눈 상의 임의의 움직이지 않는 "반짝임" 포인트 또는 다른 소정의 기준점에 대하여 판정될 수 있다. 예를 들면, 카메라(830) 자체가 카메라에 의해 반사 및 검출될 수 있는 광의 포인트를 눈 상에 투영할 수 있다. 이 "반짝임" 포인트는 카메라(830)가 프레임(812)에 고정되므로 실질적으로 움직이지 않는 채로 있을 수 있고, 따라서 그로부터 눈의 후속되는 상대적 움직임이 판정될 수 있는 원하는 기준점을 제공할 수 있다.
또한, 프레임(812)과 분리된 원격 카메라로부터의 비디오 신호들은 멀리서(예컨대, 차, 드라이브, 비행의 계기판 상에, 또는 음파탐지기(sonar), 레이더, 또는 다른 모니터링 스테이션에) 사용자의 얼굴을 촬상할 수 있어, 방사기들로부터의 투영된 광 기준 프레임에 더하여 또는 그의 대안으로, 예컨대, 얼굴 표정, 하품 빈도 등과 같은 각종 얼굴 측정들을 모니터할 수 있다. 부가적으로 또는 대안적으로, 머리 방위, 기울기, 신체 움직임, 생리측정 파라미터 등과 같은, 다른 센서들로부터의 파라미터들이 처리 및 상관될 수 있다. 일 실시예에서, 프로세서는 이들 각종 파라미터들 중 2개 이상을 상관시켜 복합 피로 지수(COFI : composite fatigue index)를 생성할 수 있다. 예를 들면, 눈 깜박거림 또는 눈꺼풀에 의한 동공 가림이 임계 지속 기간을 초과할 경우, 프로세서는 머리 기울기를 검출하는 위치 센서 및/또는 사용자가 잠들고 있거나 다른 식으로 운전 또는 장비 조작이 불가능해지는 것을 나타내는 듯한 뇌 활동에 대한 생리측정 센서들을 모니터할 수 있 다. 프로세서는 메모리에 저장된 경험적 알고리듬을 이용하여 이들 파라미터들에 수치 값을 할당할 수 있고 이 파라미터들을 더하거나 또는 다른 식으로 상관시켜 사용자의 현재 상태에 수치적 COFI를 할당할 수 있다.
소정의 COFI 임계치가 초과될 경우, 시스템(810)은 경보기를 작동하거나 또는 다른 식으로 사용자 및/또는 원격지의 다른 관계자에게 통지할 수 있다. 따라서, 시스템(810)은 사용자의 피로, 졸음, 경계, 정신 상태 등을 모니터하기 위한 보다 효과적인 방법을 제공할 수 있다. 또 다른 대안에서, 시스템(810)은, 예컨대, 소정의 조건, 예컨대, COFI 값이 시스템(810)에 의해 판정될 때 사용자에 의해 조작되고 있는 장비를 작동 또는 비작동시키도록 소정의 출력들을 생성하기 위해 사용될 수 있다.
대안적으로는, 프로세서는 프레임(812) 상에, 예컨대, 프로세서(842)의 일부로서, 소정의 COFI 임계치를 초과하는 것과 같은 소정의 이벤트가 발생하는 것에 대해 파라미터들을 모니터하기 위해 제공될 수 있다. 또 다른 대안에서, 상기한 눈동자 추적 파라미터들이, 예컨대, 차량의 계기판 등과 같은, 사용자의 앞에 고정된 위치에 있는 원격 카메라에 의해 모니터될 수 있다. 원격 카메라는 프로세서에 직접 또는 그 자신의 송신기를 통하여 연결될 수 있고, 그것은 또한 COFI 판정에 통합될 수 있고 및/또는 알고리듬적으로 정의된 응답 조치들과 함께 제3자들에 의해 모니터될 수 있다. 각종 장치, 시스템, 및 그것들을 이용하는 방법에 대한 추가적인 정보는 2000년 12월 19일자로 발행된 미국 특허 제6,163,281호, 2001년 6월 12일자로 발행된 미국 특허 제6,246,344호, 및 2003년 4월 1일자로 발행된 미국 특 허 제6,542,081호에 기술되어 있고, 상기 특허들의 전체 개시 내용들은 본 명세서에 참조로 명백히 통합되어 있다.
도 13으로 되돌아가서, 대체 실시예에서, 카메라들(830, 840)은, 도 22A 및 도 22B에 도시된 구성과 유사하게, 단일 검출기(도시되지 않음)에 연결될 수 있다. 광섬유 다발들(832, 841)은 카메라들(830, 840)로부터의 영상들을 전달 및/또는 검출기의 각각의 영역들 상에 집광시키기 위한 하나 이상의 렌즈들에 연결될 수 있다. 검출기는 예컨대, 단면으로 약 5에서 10 밀리미터(5-10 mm) 사이의 활성 촬상 영역들을 갖는 CCD 또는 CMOS 칩일 수 있다. 예시적인 실시예들에서, 검출기의 활성 촬상 영역들은, 양쪽 카메라(830) 및 카메라(840)로부터 동시 영상들을 수신하기에 충분한 면적이 있는 한, 정사각형, 직사각형, 원형, 또는 타원형일 수 있다. 카메라들(830, 840)로부터의 동시 비디오 영상들을 표시하는 예시적인 출력들이 도 20A 및 20B에 도시되어 있고, 아래에서 더 설명된다. 이 대안에서는, 충분한 분해 및 처리에 의해, 방사기들(820) 및/또는 센서들(822)을 시스템(810)으로부터 제거하는 것이 가능할 수 있다.
도 18A 및 18B를 참조하면, 장치(910)를 착용한 개인의 눈꺼풀 움직임을 모니터하기 위한 장치(910)의 다른 실시예가 도시되어 있다. 본 명세서의 다른 곳에 기술된 바와 같이, 장치(910)는 바이오센서, 커뮤니케이터(communicator), 및/또는 컨트롤러로서 이용될 수 있고, 및/또는, 예컨대, 사용자의 한쪽 또는 양쪽 눈의 수의적-의도적 및/또는 불수의적-비의도적 움직임을 모니터하기 위한 시스템에 포함될 수 있다.
도시된 바와 같이, 장치(910)는 사용자의 머리에 착용될 수 있는 헬멧(912), 및 바이오센서 어셈블리(920)를 포함한다. 헬멧(912)은, 예컨대, 그 위에 장착된 한 쌍의 야시경(night vision) 튜브 또는 다른 보안경(goggles)(914)을 포함하는, 헬리콥터 또는 제트 항공기 조종사 등에 의해 사용되는 것들과 같은 표준 비행사의 헬멧일 수 있다. 선택적으로, 헬멧(912)은 하나 이상의 헤드업 디스플레이(heads-up displays), 예컨대, 한쪽 또는 양쪽 눈의 앞에 장착된 소형 평판(flat-panel) LCD들을 포함할 수 있다. 대안적으로는, 헬멧(912)은, 본 명세서에서 기술된 다른 실시예들과 유사하게, 브리지 부분, 각 눈 위쪽에 또는 그 주위에 연장하는 테(rim), 및/또는 한 쌍의 귀 지지물을 포함하는 프레임(도시되지 않음, 예컨대, 도 13 참조)으로 대체될 수 있다. 이 프레임은 시력교정용, 음영, 및/또는 보호 렌즈와 같은 한 쌍의 렌즈(도시되지 않음)를 포함할 수 있지만, 그것들은 장치의 작동에 필요하지는 않다. 대안적으로는, 한쪽 또는 양쪽 렌즈가, 아래에서 더 설명되는 바와 같이, 시뮬레이터 및/또는 레크리에이션 디바이스로서 사용될 수 있는 디스플레이들, 예컨대, 비교적 소형의 평판 LCD들로 대체될 수 있다. 또 다른 대안에서는, 장치(910)는, 테 있는 모자(hat), 테 없는 모자(cap), 머리띠, 머리 챙(head visor), 눈 및 머리 보호구(protective eye and head gear), 얼굴 마스크, 산소 마스크, 인공호흡기 마스크(ventilator mask), 스쿠버 또는 수영 마스크 등(도시되지 않음)과 같은 사용자에 머리에 착용될 수 있는 다른 디바이스들을 포함할 수 있다.
장치(910)의 컴포넌트들은, 예컨대, 장치(910)를 착용하고 있는 동안 사용자 의 시각 및/또는 정상적인 활동과의 간섭을 일반적으로 최소화하도록, 헬멧(912)(또는 다른 머리 착용 디바이스) 상의 다양한 위치에 제공될 수 있다. 도시된 바와 같이, 바이오센서 어셈블리(920)는, 예컨대, 벨크로(Velcro), 가죽 끈(straps), 및/또는 다른 임시변통의 또는 착탈 가능한 연결물들(도시되지 않음)을 이용하여 헬멧(6912)의 위에 장착된 카메라(922)를 포함한다. 이에 따라 카메라(922)는 사용되지 않을 경우 제거될 수 있다. 대안적으로는, 카메라(922)는, 본 명세서에 기술된 다른 실시예들과 유사하게, 실질적으로 영구히 헬멧(912)에 연결될 수도 있고, 헬멧(912)(또는 다른 프레임)에 직접 통합될 수도 있고, 머리 장착형(head-mounted) 텔레비전, LCD 모니터 또는 다른 디지털 디스플레이 등에 연결될 수도 있다.
바이오센서 어셈블리(920)는 또한 사용자의 눈(들)을 촬영하기 위한 하나 이상의 "엔도카메라들"을 제공하기 위해 카메라(922)로부터 헬멧(912)의 정면까지 연장하는 하나 이상의 광섬유 다발들(924)을 포함한다. 도시된 바와 같이, 카메라(922)로부터 보안경(914)의 각각의 튜브까지 연장하는 한 쌍의 광섬유 다발들(924)이 도시되어 있다. 예시적인 실시예에서, 광섬유 다발들(924)은 카메라(922)로부터 보안경(914)까지, 예컨대, 약 12에서 18인치 사이의 길이를 연장하도록 충분히 길 수 있지만, 대안적으로는, 광섬유 다발들(924)은, 헬멧(910) 상의 카메라(922)의 위치에 따라서(또는 만일 카메라(922)가 헬멧(910)과 분리되어 제공된다면), 예컨대, 약 2에서 4피트 사이의 길이만큼 더 길 수도 있고, 또는 더 짧을 수도 있다.
광섬유 다발들(924)의 단부들(926)은 보안경(914)에, 예컨대, 보안경(914)에 연결되거나 또는 다른 식으로 연장하는 브래킷들(brackets)(916)에 영구히 또는 탈착 가능하게 부착될 수 있다. 대안적으로는, 광섬유 다발들(924)은 클립, 죔 쇠(fastners), 접착물 등(도시되지 않음)을 이용하여 보안경(914) 상에 임시로 또는 실질적으로 영구히 유지될 수 있다. 도시된 바와 같이, 광섬유 다발들(924)의 단부들(926)은 보안경(914)의 아래에 장착되어 사용자의 눈을 향하여 위쪽으로 각을 이루고 있다. 단부들(926)의 각도는 예컨대 약 45도의 기준 각으로부터 약 15도 위 또는 아래로 조정 가능할 수 있다. 대안적으로는, 광섬유 다발들(924)의 단부들(926)은 헬멧(912) 및/또는 보안경(914) 상의 다른 위치에 제공될 수 있지만, 그럼에도 사용자의 눈을 향하여 지향될 수 있다.
도 19를 더 참조하면, 각각의 광섬유 다발(924)은, 카메라(922)와 광섬유 다발(924)의 단부들(926) 사이에 연장하는, 예컨대, 수축 튜브(shrink tubing)(도시되지 않음)에 삽입(encase)되는, 광섬유 영상 도파관(fiber optic image guide)(928), 즉, 광 촬상 섬유(optical imaging fibers)의 다발, 및 조명 섬유 다발(illumination fiber bundle)(930)을 포함할 수 있다. 각각의 조명 광섬유(930)는 예컨대 카메라(922) 내의 광원에 연결된 하나 이상의 광섬유들을 포함할 수 있다. 예를 들면, 카메라(922)는 하나 이상의 발광 다이오드(LED)(934)(간략화를 위해 하나만 도시됨)를 포함하는 LED 하우징(932)을 포함할 수 있고, 조명 섬유 다발(들)(930)은 광을 단부(들)(926)에 전달하기 위해 LED 하우징(932)에 연결될 수 있다.
광원(934)에 의해 방사된 광은 통상의 인간 시각 범위 밖에, 예를 들어, 적외선 범위에 있을 수 있고, 예컨대, 약 840에서 880 나노미터(840-880 nm) 사이의 공칭 출력 파장을 가질 수 있어서, 방사된 광은 사용자의 정상 시각과 실질적으로 간섭하지 않는다. 광원은, 본 명세서의 다른 곳에서 기술된 실시예들과 유사하게, 실질적으로 연속적으로 광을 생성하거나 또는 소정의 주파수로 광 펄스를 생성할 수 있다. 대안적으로는, 사용자의 얼굴 및/또는 한쪽 또는 양쪽 눈을 조명하기 위한 다른 광원들이 조명 섬유 다발(930) 대신에 제공될 수 있다. 예를 들면, 본 명세서의 다른 곳에 기술된 실시예들과 유사하게, 하나 이상의 방사기들(도시되지 않음), 예컨대, 헬멧(912) 및/또는 보안경(914)의 하나 이상의 영역들을 따라서 배치된 방사기들의 어레이가 제공될 수 있다.
각 광섬유 다발(924)의 단부(926)는 하나 이상의 렌즈들, 예컨대, 영상 도파관(926)을 원하는 방식으로, 예컨대, 사용자의 눈을 향하여 집광시킬 수 있는 대물 렌즈들(936)(도 18A에 도시)을 포함할 수 있다. 각 영상 도파관(928)은 전방 시선(forward line of sight)(0°시야각(field of view))을 가질 수 있고 대물 렌즈(936)는 보다 넓은 시야각, 예컨대, 약 45°시야각을 제공할 수 있다. 선택적으로, 시선은 조정 가능할 수 있다. 예컨대, 대물 렌즈(936)를 조정함으로써 약 30°에서 60°사이에 조정 가능할 수 있다. 또한, 대물 렌즈(936)는 관측 거리(viewing distance)를, 예컨대, 약 2 인치(2 in.)까지 최적화하여, 사용자의 눈(들) 상의 초점을 개선할 수 있다. 따라서, 영상 도파관(들)(928)은 사용자의 눈(들)의 영상들을 광섬유 다발(들)(924)을 통하여 카메라(922)까지 운반할 수 있다.
도 19에 도시된 바와 같이, 카메라(922)는 영상 도파관(들)(928)(및/또는 카메라(944))으로부터의 영상들을 촬상 디바이스(940)의 활성 영역(942) 상에 전달 및/또는 집광시키기 위한 하나 이상의 렌즈, 예컨대, 배율부(magnification section)(938)를 포함할 수 있다. 촬상 디바이스(940)는 영상들을 수신하기 위한 2차원 활성 영역을 제공하는 각종의 공지 디바이스들, 예컨대, CMOS 또는 CCD 검출기일 수 있다. 예시적인 실시예에서, 촬상 디바이스(940)는 Sensovation사에 의해 제조된 모델 cmos SamBa HR-130, 또는 Micron Imaging사에 의해 제조된 Fast Camera 13, 모델 MI-MV13과 같은 CMOS 디바이스일 수 있다. 배율부(938)는 C-마운트 또는 다른 연결(도시되지 않음)을 통하여 카메라(922)에 기계적으로 결합될 수 있다.
예시적인 실시예에서, 각 영상 도파관(928)은, 예컨대, 본 명세서의 다른 곳에서 기술된 광섬유 다발들과 유사하게, 촬상 디바이스(940)의 활성 영역(942) 상에 투영될 수 있는 1만 내지 5만개(10,000 내지 50,000)나 되는 픽셀들의 영상 데이터를 제공할 수 있다. 도 18A 및 18B에 도시된 장치(910)의 경우, 양쪽 광섬유 다발들(924)로부터의 영상들은 도 19에 도시된 것과 같은 단일 촬상 디바이스(940) 상에 투영되어, 즉, 사용자의 눈들 각각으로부터의 영상들은 활성 영역(942)의 절반보다 적게 차지하게 된다.
선택적으로, 장치(910)는, 본 명세서의 다른 곳에서 기술된 실시예들과 유사하게, 예컨대, 사용자의 주위 환경을 모니터하기 위해, 사용자의 머리로부터 다른 데로 지향된 "엑소카메라"(944)를 포함할 수 있다. 예를 들면, 도 18A에 도시된 바와 같이, 카메라(922)로부터 연장하는 또 하나의 광섬유 다발(925)이 제공될 수 있다. 도시된 바와 같이, 광섬유 다발(925)은 "전방으로", 즉, 사용자가 똑바로 앞으로 바라볼 때와 일반적으로 동일한 방향으로 지향되고, 마이크로렌즈(946)에서 종단한다. 이 광섬유 다발(925)은 비교적 짧고 및/또는 실질적으로 견고할 수 있어, 그 시야각이 헬멧(912)에 대하여 실질적으로 고정된다. 대안적으로는, 엑소카메라(944)는, 상기한 엑소카메라(840)와 유사하게, 예컨대, 광섬유 유연성 있는 광섬유 다발을 포함하여, 헬멧(912) 및/또는 보안경(914) 상의 다른 위치들에 제공될 수 있다. 따라서, 엑소카메라(944)는 사용자로부터 다른 데, 예컨대, 사용자의 얼굴의 똑바로 전방에 있는 영상들을 제공할 수 있다.
엑소카메라(944)는 하나 이상의 조명 섬유들을 포함할 수도 또는 포함하지 않을 수도 있지만, 예컨대, 배율부(938)를 통하여 또는 별도로 촬상 디바이스(940)에 연결될 수 있는 영상 도파관을 포함할 수 있다. 따라서, 엑소카메라(944)로부터의 영상들은, 본 명세서의 다른 곳에서 기술된 실시예들과 유사하게, 영상 도파관들(928)로부터 수신된 사용자의 눈들 각각의 영상들과 동일한 활성 영역(942) 상에 전달될 수 있다. 이러한 구성은 시간적 및/또는 공간적 동기화를 가능케 하거나 용이하게 하여, 엔도카메라 영상(들)을 엑소카메라 영상들 위에 오버레이(overlay)하거나 겹쳐 놓는(superimpose) 것을 가능케 하고, 또는 "삼각측량 측정(triangulation measurements)" 또는 눈동자 추적을 위한 다른 알고리듬 사용자의 눈들이 사용자의 머리 방향 위치에 대하여 "어디를", "무엇을", 및/또는 "얼마나 오랫동안"(응시 지속 기간) 바라보고 있는지를 식별하는 것을 가능케 한다.
따라서, 카메라(922)는 하나 이상의 "엔도카메라들"로부터, 즉, 광섬유 다발들(924)로부터 및 엑소카메라들(944)로부터의 영상들을 동시에 캡처할 수 있다. 이는 각 디바이스에 의해 캡처된 영상들이 서로 동기화되어, 즉, 시간적으로 함께 링크되어, 특정 시간에서 취득된 한쪽 눈의 영상이 실질적으로 동일한 시간에 취득된 다른 쪽 눈의 영상에 대응하도록 보장할 수 있다. 또한, 이들 영상들은 다른 센서들, 예컨대, 하나 이상의 생리측정 센서들로부터의 데이터와 실질적으로 동기화될 수 있고, 이는 사용자를 모니터 및/또는 진단하고, 및/또는 사용자의 행동을 예상하는 능력을 향상시킬 수 있다. 이러한 동기화 때문에, 영상 데이터가 비교적 고속으로, 예컨대, 초당 약 500에서 750개 사이의 프레임 또는 헤르츠(500-750 Hz)로 캡처될 수 있다. 대안적으로는, 예컨대, 데이터를 수신하는 프로세서에 의해 동기화될 수 있는 영상 데이터를 캡처하는 따로 분리된 검출기들이 제공될 수 있다. 이 대안에서는, 캡처 뒤에 프로세서 또는 다른 디바이스에 의한 동기화를 용이하게 하기 위해, 보다 느린 캡처 속도, 예컨대, 약 30에서 60 사이의 헤르츠(30-60 Hz)가 이용될 수 있다. 선택적으로, 카메라(922) 및/또는 관련 프로세서는 비교적 느린 눈측정(oculometrics)을 캡처, 예컨대, 초당 약 15에서 60 사이(15-60) 프레임의 속도로 캡처하는 능력이 있을 수 있다.
도 20A 및 20B는 2개의 엔도카메라들(2010) 및 엑소카메라(2020)로부터(또는 별개의 카메라들 및/또는 검출기들로부터의 영상들을 수집(compiling)하는 디바이스로부터)의 동시 영상 신호들을 수신하는 카메라로부터의 예시적인 출력들을 도시한다. 도시된 바와 같이, 엔도카메라는 사용자의 눈들의 각각을 향하여 지향되고, 엑소카메라는 사용자의 주위 환경을 향하여 바깥쪽으로(즉, 일반적으로 사용자의 얼굴의 똑바로 전방으로) 지향된다. 도 20A에서는, 사용자의 눈들 양쪽(2010L, 2010R)이 떠져 있고 엑소카메라 영상(2020)은 사용자의 사용자의 전방에 있는 방의 수평 조망(horizontal view)을 보여준다. 이와는 대조적으로, 도 20B에서는, 사용자의 눈들 중 한쪽(2010L)은 완전히 감겨 있고, 다른 쪽 눈(2010R)은 부분적으로 감겨 있어 눈꺼풀이 동공의 대부분을 덮고 있다. 엑소카메라 영상(2020)은 사용자의 머리가 왼쪽으로 기울고 앞으로 수그러지기 시작하였음을 보여준다. 선택적으로, 도 12A-12C 또는 도 15A-15I에 도시된 것과 유사한, 장치(910) 상의 다른 센서들로부터의 실시간 데이터와 같은, 부가적인 정보가 이들 영상과 함께 표시 및/또는 저장될 수 있다.
도 18A, 18B 및 19로 되돌아가서, 카메라(922)(및/또는 카메라(944))로부터의 영상들은 장치(910)로부터 케이블(948)을 통하여 전송될 수 있다(도 18A에 가장 잘 도시됨). 예를 들면, 본 명세서의 다른 곳에서 기술된 다른 실시예들과 유사하게, 촬상 디바이스(940)는 활성 영역(942)으로부터의 광 영상들을 케이블(948)을 통하여 하나 이상의 프로세서들 및/또는 컨트롤러들(도시되지 않음)에 운반될 수 있는 전기 신호로 변환할 수 있다. 대안적으로는, 본 명세서에 기술된 다른 실시예들과 유사하게, 광섬유 다발들(924) 및/또는 엑소카메라(944)로부터의 영상들이 장치(910)로부터 하나 이상의 원격 디바이스들, 예컨대, 카메라, 검출기, 및/또는 프로세서(도시되지 않음)에 운반될 수 있다. 이 대안에서, 다발들(924)은 길이가 약 2에서 6 피트 사이로, 예컨대, 사용자가 정상적으로 움직이면서도 원격 디바이 스(들)에 연결된 채로 남을 있을 수 있도록 충분한 길이를 제공할 수 있다.
대안적으로 또는 부가적으로, 장치(910)는, 예컨대, 블루투스 또는 다른 프로토콜을 이용하여, 카메라(922)에 연결될 수 있는, 근거리(short range) 또는 장거리(long range) 무선 주파수(RF) 송신기와 같은, 무선 송신기(도시되지 않음)를 포함할 수 있다. 송신기는 카메라(922) 내에 또는 헬멧(912) 상의 다른 곳에 위치할 수 있다. 송신기는, 본 명세서의 다른 곳에 기술된 다른 실시예들과 유사하게, 영상 데이터를 나타내는 영상 신호들을 원격지에 있는 수신기에 송신할 수 있다. 또 다른 대안에서, 장치(910)는, 송신기 및/또는 케이블(948) 대신에 또는 그에 더하여, 영상 데이터를 저장하기 위한 메모리(이 또한 도시되지 않음)를 포함할 수 있다. 예를 들면, 데이터는, 예컨대, 항공기에서 사용되는 "블랙 박스" 리코더와 유사한, 리코더 디바이스에 저장되어, 그 리코더가 나중에, 예컨대, 차량 사고, 의료 사건 등의 후에 분석을 위해, 검색될 수 있게 할 수 있다.
선택적으로, 장치(910)는, 예컨대, 카메라(922) 내에, 및/또는 헬멧(912) 상에 또는 그 안에, 장치(910)의 각종 컴포넌트들을 제어하기 위한 하나 이상의 컨트롤러들(도시되지 않음)을 포함할 수 있다. 예를 들면, 컨트롤러는 하나 이상의 LED들(934)에 연결되어, 그 LED들(934)이 소정의 주파수의 펄스들을 방사하게 하여, 예컨대, 장치(910)의 에너지 소비를 감소시킬 수 있다. 또한, 장치(910)는 장치(910)의 하나 이상의 컴포넌트들에 전력을 공급하기 위한, 하나 이상의 전원, 예컨대, 배터리 및/또는 케이블을 포함할 수 있다. 예를 들면, 촬상 디바이스(940) 및/또는 LED(들)(934)에 전력을 공급하기 위한 하나 이상의 배터리들(도시되지 않 음)이 제공될 수 있다.
원한다면, 장치(910)는 또한, 예컨대, 헬멧(910) 상에 하나 이상의 부가적인 센서들(도시되지 않음)을 포함할 수 있다. 이 센서들은 바이오센서 어셈블리(920), 케이블(948), 및/또는 포함되어 있다면 무선 송신기(도시되지 않음)에 연결되어, 그 센서들로부터의 신호들이 모니터되고, 기록되고, 및/또는 원격지에 송신될 수 있게 할 수 있다. 예를 들면, 본 명세서의 다른 곳에서 기술된 바와 같이, 예컨대, 헬멧(912)의 공간적 방위, 및 따라서 사용자의 머리의 공간적 방위를 판정하기 위한 하나 이상의 위치 센서들이 제공될 수 있다. 부가적으로 또는 대안적으로, 장치(910)는, 하나 이상의 EEG 전극들, EKG 전극들, EOG 전극들, 펄스 센서들, 서미스터들, 열전쌍들, 또는 예컨대 사용자의 피부 온도를 측정하기 위한 다른 온도 센서들, 사용자의 피부 상의 습기를 측정하기 위한 땀 검출기들, 및/또는, 예컨대, 사용자의 코를 통하여 호흡 공기 흐름을 측정하기 위한 센서들과 같은, 예컨대, 사용자의 신체적 특징들을 측정하기 위한 하나 이상의 생리측정 센서들(도시되지 않음)을 포함할 수 있다.
또한, 장치(910)는, 피부 접촉을 통하여 촉각 진동 자극을 제공할 수 있는 기계적 진동기 디바이스, 비교적 저전력의 전기 자극을 생성할 수 있는 하나 이상의 전극들, LED와 같은 하나 이상의 광 방사기들, 오디오 디바이스들, 향 방사기들 등과 같은, 예컨대, 사용자에게 경계시키고 및/또는 사용자를 깨우기 위한, 하나 이상의 피드백 디바이스들(이 또한 도시되지 않음)을 포함할 수 있다. 대안적으로, 피드백 디바이스들은 장치(910)와 따로 분리되어 제공될 수 있지만, 사용자에 게 피드백 응답을 제공할 수 있는 방식으로 배치될 수 있다. 예를 들면, 청각, 시각, 촉각(예컨대, 진동 시트), 또는 향 방사기들이, 위에서 기술된 임의의 디바이스들과 같이, 사용자에 근접하여 제공될 수 있다. 또 다른 대안에서는, 사용자에게 열 자극을 생성할 수 있는, 예컨대, 원격 제어 선풍기 또는 냉난방 유닛과 같은 열 또는 한기 생성 디바이스들이 제공될 수 있다.
장치(910)를 포함하는 시스템은 또한, 본 명세서의 다른 곳에서 기술된 다른 실시예들과 유사하게, 장치(910)로부터 멀리 떨어져 있는 컴포넌트들을 포함할 수 있다. 예를 들면, 시스템은 장치(910)로부터 원격지에, 예컨대, 같은 방 안에, 가까운 모니터링 스테이션에, 또는 더 먼 위치에 하나 이상의 수신기, 프로세서, 및/또는 디스플레이(도시되지 않음)를 포함할 수 있다. 수신기는, 카메라(922)로부터의 영상 신호들 및/또는 장치(910) 상의 다른 센서들로부터의 신호들을 포함하여, 장치(910) 상의 송신기에 의해 송신된 신호들을 수신할 수 있다.
프로세서가 장치(910)로부터의 신호들을 분석하기 위해, 예컨대, 그 신호들을 그래픽 표시를 위해 준비시키기 위해, 수신기에 연결될 수 있다. 예를 들면, 프로세서는, 도 20A 및 20B에 도시된 영상들과 유사하게, 카메라(922)로부터의 영상 신호들을 모니터 상에 표시하기 위해 준비시킴으로써, 그 사용자가 제3자들, 예컨대, 의학 전문가들, 관리자들 또는 다른 동료 근로자들(co-workers) 등에 의해 모니터될 수 있게 한다. 동시에, 본 명세서의 다른 곳에서 기술된 다른 실시예들과 유사하게, 다른 파라미터들이, 단일 또는 따로 분리된 디스플레이들 상에 표시될 수 있다. 프로세서는 사용자의 눈들 및/또는 엑소카메라 영상들의 비디오 신호 들을 단독으로 또는 다른 감지된 파라미터들과 함께 겹쳐 놓거나 또는 다른 방법으로 동시에 표시함으로써 의사 또는 다른 개인이 사용자의 행동에 대해 이들 파라미터들을 모니터하고 개인적으로 상관시키게 할 수 있다.
또 다른 대안에서, 프로세서는 그 신호들을 자동으로 처리하여 사용자의 행동을 모니터 및/또는 연구할 수 있다. 예를 들면, 프로세서는 출력 신호들을 이용하여 눈 깜박거림 지속 기간(EBD), 눈 깜박거림 빈도, 눈 깜박거림 속도, 눈 깜박거림 가속, 깜박거림 간의 지속 기간(IBD), PERCLOS, PEROP(percentage eyelid is open) 등과 같은 눈 움직임에 관련된 각종 파라미터들을 모니터할 수 있다. 카메라(922)로부터의 비디오 신호들은, 본 명세서의 다른 곳에서 기술된 바와 같이, 동공 사이즈, 상대적 위치, 눈 추적 움직임, 눈 응시 거리 등과 같은 단일 또는 다수의 눈 파라미터들을 임의의 조합 또는 취득 패턴으로 연속적으로 또는 불연속적으로 및/또는 순차적으로 모니터하기 위해 처리될 수 있다. 따라서, 장치(910) 및/또는 시스템은 본 명세서에 참조로 통합된 미국 특허 6,542,081호에 기술된 것들과 같이, 하나 이상의 눈측정 또는 다른 파라미터들을 모니터할 수 있다.
동공 사이즈(예컨대, 팽창, 수축, 및/또는 편심(eccentricity)) 및/또는 눈 움직임의 모니터링을 용이하게 하기 위해, 시스템은 비디오 신호들을 처리하고 비디오 신호들로부터 눈의 동공을 식별하기 위해 카메라(922)와 통신하는 프로세서를 포함할 수 있다. 예를 들면, CMOS 및 CCD 검출기들과 같은 고해상도 카메라를 이용하여, 프로세서는 동공의 가장자리(edges)를 식별할 수 있고, 따라서 동공의 원주, 직경, 및/또는 단면 면적을 식별할 수 있다. 프로세서에 의해 처리된 비디오 신호들로부터 눈의 비디오 영상을 표시하기 위한 디스플레이가 프로세서에 연결될 수 있다.
또한, 도 21A-21C를 참조하면, 프로세서는 눈(300)의 동공(301)을 식별하고 및/또는 모니터하는 것을 용이하게 하기 위해 디스플레이 상에, 예컨대, 비디오 영상들 상에 그래픽을 겹쳐 놓을 수 있다. 도시된 바와 같이, 동공(301)의 가장자리와 주위 홍체(304) 간의 대비(contrast) 때문에, 프로세서는 이 경계를 근사(approximate)할 수 있고 한쪽 또는 양쪽 눈의 영상 데이터 상에 겹쳐질 수 있는 그래픽 헤일로(graphic halo), 타원, 또는 다른 그래픽(306)을 생성할 수 있다(간략화를 위해 도 21A-21C에는 한쪽 눈(300)만 도시됨). 관찰자는 이 그래픽(306)을 이용하여 장치(910)의 사용자를 용이하게 모니터할 수 있다.
부가적으로 또는 대안적으로, 프로세서는 동공(301)(또는 그래픽(306))의 사이즈 및/또는 형상에 관한 정보를 자동으로 분석할 수 있고, 그에 의해 비디오 신호들을 상관시켜 그 사람의 졸음 레벨 또는 다른 신체적 및/또는 정신적 상태를 판정할 수 있다. 이러한 분석은, 예컨대, 시간에 걸쳐서, 동공의 상대적 위치, 동공의 사이즈, 및/또는 동공의 편심을 모니터하는 것을 포함할 수 있다. 예를 들면, 프로세서는 시간에 걸쳐서 동공(300)의 직경을 모니터할 수 있고, 그것은 예컨대 도 15E에 도시된 바와 같이 차트 형태로 표시되거나, 시간의 함수로서 메모리에 저장되거나, 및/또는 예컨대 실시간으로 눈의 영상들 상에 겹쳐질 수 있다.
예를 들면, 도 21A는 주위 상황 하에서 긴장 이완된 상태의, 예컨대, 직경 "d1"을 갖는 그래픽(306)에 대응하는 동공(301)을 보여줄 수 있다. 도 21B에 도시된 바와 같이, 사용자가 눈(300)을 깜박거리거나 감으면, 동공(301)이 팽창할 수 있고, 따라서 직경 "d2"를 갖는 그래픽(306)에 의해 묘사된 바와 같이, 눈(300)이 다시 떠질 때 동공(301)이 처음에는 팽창된다. 프로세서는 그래픽(306) 또는 동공(301) 자체의 직경 변화를 비교하여 깜박거림 또는 다른 눈 감김 후에 동공(301)이 직경 "d1"으로 되돌아가는 지연을 판정할 수 있다. 가시 또는 비가시 빛 번쩍임에 대한 이러한 지연 또는 반응성 상실은 적어도 부분적으로 졸음의 레벨, 결함(impairment), 예컨대, 중독의 레벨, 및/또는 저산소혈증, 저혈당, 뇌졸증(stroke), 심근경색, 독소, 독물 등으로 인한 뇌손상 또는 뇌사와 같은 치명적인 또는 말기증상의 사건을 포함한 의료 사건의 개시를 나타낸다.
부가적으로 또는 대안적으로, 프로세서는 예컨대 동공이 눈꺼풀(302)에 의해 부분적으로 덮힐 때 동공의 근사 편심(approximate eccentricity)을 판정할 수 있다. 예를 들면, 도 21C에 도시된 바와 같이, 눈꺼풀(302)이 부분적으로 닫힐 때, 영상들 상에 겹쳐진 헤일로(306)는 동공(301)의 노출된 부분의 폭 "w" 및 높이 "h"에 대응하는 타원 형상을 채택할 수 있다. 높이 "h"는 직경 "d1"에 관련될 수 있다. 즉, 직경 "d1"에 대한 높이 "h"의 비율은, 눈꺼풀(302)이 동공(301)을 덮는 정도의 지시자로서, 1 이하일 수 있다(h/d1 ≥ 1). 예를 들면, 이 비율은 1에서 동공(301)이 눈꺼풀(302)에 의해 완전히 덮혔을 때의 0으로 감소할 수 있다.
유사하게, 폭 "w"도 직경 "d1"에 관련될 수 있다(w/d1 ≥ 1). 예컨대, 눈꺼풀(302)이 동공(301)의 절반보다 많이 덮기 시작할 때 눈꺼풀(302)이 동공(301)을 덮는 정도의 지시자로서 관련될 수 있다. 부가적으로 또는 대안적으로, 높이와 폭의 비율(h/w ≥ 1)은 예컨대 눈꺼풀(302)에 의한 동공 가림에 기초하여 동공(301)의 편심에 관한 정보를 관련시킬 수 있다. 그러한 파라미터들은, 사용자의 장래 행동을 모니터하고, 분석하고, 및/또는 예상하기 위해, 개별적으로, 집합적으로, 및/또는 다른 눈측정 및/또는 생리측정 파라미터들과 함께 분석될 수 있다. 데이터는 프로세서에 의해 보유되거나 액세스되는 경험적 또는 다른 데이터와 비교되어, 본 명세서의 다른 곳에서 기술된 바와 같이, 사용자의 상태에 관한 정보, 예컨대, COFI 값을 제공하게 된다.
만일, 예를 들어, 사용자의 동공의 분석 결과 사용자의 경계 레벨이 소정의 레벨 아래로 떨어졌다고 판정되면, 본 명세서에 기술된 다른 실시예들과 유사하게, 사용자에게 및/또는 하나 이상의 제3의 사람들에게 경보가 제공될 수 있다. 그러한 방법들은 또한, 본 명세서의 다른 곳에 설명된 바와 같이, 사용자가 약물, 알코올, 및/또는 의학적 상태에 의해 영향을 받고 있는지를 판정하는 데도 유용할 수 있다.
또한, 임계치로서 및/또는 사용자의 경계력을 검사하기 위해, 본 명세서에 기술된 임의의 것들과 같은 장치 또는 시스템이 사용자의 동공 반응(pupillary response)을 검사할 수 있다. 그러한 검사는 장치를 착용하고 있는 동안 환자가 활동중인지, 즉, 잠들어 있지 않은지, 또는 심지어 죽었는지를 확인할 수 있다. 예를 들면, 광원이 소정의 지속 기간 동안 및/또는 펄스 주파수로 사용자의 눈을 향해 번쩍이면, 사용자의 동공은 사용자의 동공이 (주위 조명에 기초하여) 그것의 긴장 이완된 상태로부터 일시적으로(briefly) 팽창한 다음, 예상 가능한 시간 기간 내에 긴장 이완된 상태로 도로 수축할 수 있다.
도 22A를 참조하면, 본 명세서에 기술된 장치 및 시스템들의 임의의 것의 사용자의 경계력을 검사하기 위한 예시적인 방법이 도시되어 있다. 예를 들면, 사용자는 위에서 더 설명된 바와 같이 사용자의 한쪽 또는 양쪽 눈을 모니터하는 도 18에 도시된 장치(810)를 착용할 수 있다. 단계 2210에서는, 관련 상태 하에서 사용자의 눈(들)의 기본 또는 파라미터들이 결정될 수 있다. 예를 들면, 주위 상황 하에서 동공의 긴장 이완된 직경이 측정되거나 또는 다른 방법으로 모니터될 수 있다.
단계 2220에서는, 하나 이상의 광 펄스가 눈(들)을 향하여 방사될 수 있고, 그 광 펄스들은 예컨대 펄스식 빛 번쩍임들의 주파수와 실질적으로 동일한 주파수로 눈(들)을 긴장 이완된 상태로부터 팽창 및/또는 수축하게 할 수 있다. 예를 들면, 장치(810) 상의 하나 이상의 방사기들이 소정의 시퀀스로 작동되어 눈(들)을 팽창하게 할 수 있다. 그 후, 단계 2230에서는, 긴장 이완된 상태로 되돌아가는 눈의 반응 시간을 판정하기 위해 예컨대 카메라(830) 또는 센서들(822)을 이용하여 잠재의식적으로 또는 무의식적으로 사용자의 눈(들)이 모니터될 수 있다. 그 반응 시간을 경험적 데이터 또는 다른 데이터와 비교하여 사용자가 의식이 있는지, 깨어 있는지, 및/또는 살아 있는지를 확인할 수 있다. 원한다면, 예컨대 거짓 음성(false negative) 판정을 피하기 위해 단계 2220 및 2230을 1회 이상 반복하여 반응 시간을 확인하고 및/또는 원한다면 평균 반응 시간을 제공할 수 있다.
만일 광원이 가시광 범위 밖에, 예컨대, 적외선 범위 내에 있다면, 동공은 여전히 빛의 번쩍임들에 대해 이런 식으로 반응할 수 있다. 적외선 광을 이용하는 하나의 이점은 사용자가 그 광을 의식적으로 관찰할 수 없으므로 사용자를 혼란케 하거나 괴롭히지 않을 수 있다는 점이다. 그럼에도, 동공은 여전히, 눈을 모니터하는 시스템이 동공이 그러한 번쩍임들에 반응하여 팽창하고 수축하는 때를 식별할 수 있을 정도로 충분히 그러한 번쩍임들에 대해 반응할 수 있다.
예컨대, 임계치 검사 동안에, 단일 번쩍임의 빛을 발생시키고 동공의 반응을 모니터하는 것으로 충분할 수 있다. 대안적으로는, 시간에 걸친 동기의 반응을 모니터하기 위해, 예컨대, 동향(trends)을 연구하거나 단일 번쩍임으로부터 생길 수 있는 거짓 데이터를 제거하기 위해 일련의 번쩍임들이 이용될 수 있다. 일련의 번쩍임들에 대하여, 펄스 레이트는 동공이 빛의 번쩍임에 반응하여 팽창한 후에 자연히 그것의 긴장 이완된 상태로 되돌아가는 데 걸리는 시간, 예컨대, 적어도 약 50에서 100 밀리초 사이(50-100 ms)보다 더 길어야 한다. 대안적으로는, (약 640-700 나노미터 사이의 파장을 갖는) 광, 근적외선 광의 펄스들이 사용자의 눈(들)을 향해 지향될 수 있다. 시스템은 동공 반응에서의 리드미컬한 변동을 검출할 수 있다. 그러한 반응들은 아마도 야간시(night vision)에 관한, 예컨대, 어둠 속에서 "보거나" 어둠 속에서 적외선 광원들을 감지하는 것에 관한 원시적인 눈측정 반 응(primitive oculometric response)으로부터 생길 수 있다.
그러한 예컨대 동공 반응 검사는 또한 사용자가 죽었지만, 그럼에도 시스템이 어떠한 눈 감김 및/또는 움직임도 검출하지 못하는 때 거짓 양성들(false positives)을 식별하는 데 사용될 수도 있다. 유사하게, 동공 반응 검사는 또한 사용자가 잠들어 있는지 또는 의식이 없는지를 판정할 수도 있다. 또한, 동공 반응 검사는 사용자가, 동공이 빛의 번쩍임들에 반응하여 팽창한 후에 그것의 긴장 이완된 상태로 도로 수축하는 속도에 영향을 미칠 수 있는 알코올, 약물 등에 취해 있는지를 판정하는 데 사용될 수 있다. 부가적으로 또는 대안적으로, 동공 반응 검사는 또한 눈측정 측정치(oculometric measures)와 대응하는 과학적으로 결정된 혈액 수치(blood levels) 간의 상관도에 따라서 사용자의 신체 내의 약물 또는 알코올의 혈중 농도 또는 양을 판정하는 데 사용될 수도 있다.
도 22B를 참조하면, 임계 경계력(threshold vigilance)을 검사하기 위한 또 하나의 방법이 도시되어 있다. 이 방법은 일반적으로 단계 2240에서 사용자에게 그들의 눈(들)을 원하는 방식으로 신중히 움직이도록 지시하는 자극을 제공하는 것과, 단계 2250에서 예컨대 사용자가 그 지시를 따라 그들의 눈(들)을 원하는 방식으로 움직였는지를 확인하는 신중한 움직임을 찾아 눈을 모니터하는 것을 포함한다. 본 명세서에 기술된 임의의 장치가 하나 이상의 자극 디바이스, 예컨대, 스피커, 라이트, 진동성 또는 다른 촉각 디바이스를 포함할 수 있다. 대안적으로는, 그러한 디바이스들은 사용자로부터 멀리 떨어져서, 예컨대, 차량의 계기판, 비디오 디스플레이 등에 제공될 수 있다.
예를 들면, 사용자가 장치 상의 가시 라이트가 작동되면 그들의 눈(들)을 소정의 시간 동안 감도록 지시를 받을 수 있다. 일단 그 라이트가 작동되면, 시스템은 사용자가 소정의 시간 프레임 내에 및/또는 소정의 방식으로(예컨대, 소정의 시퀀스로 1회 이상 깜박거림) 반응하는지를 확인하기 위해 눈(들)을 모니터할 수 있다. 대안적으로는, 빛 번쩍임들 대신에, (장치 상에 있거나 장치와 따로 분리된) 디스플레이 상의 가시적 지시, 가청 신호(예컨대, 디바이스 상의 또는 그것의 가까이에 있는 스피커로부터의 구두 커맨드), 촉각 신호 등과 같은 다른 자극이 제공될 수도 있다. 이들 실시예에서, 사용자는 예컨대, 위 또는 아래로, 왼쪽 또는 오른쪽으로 바라보거나, 원하는 시퀀스로 눈을 깜박거리거나, 지시를 받을 때까지 눈을 감거나, 디스플레이 상의 포인터를 따라가거나 하는 등의 일련의 행동들을 행하도록 지시를 받을 수 있다. 그러한 검사는, 예를 들어, 피검사자가 일련의 검사 중에 또는 각종 활동들을 행하는 동안 깨어 있는지, 의식이 있는지, 및/또는 방심 않고 있는지를 확인하는 데 유용할 수 있다.
또 다른 실시예에서, 본 명세서에 기술된 것들과 같은 장치 및 시스템들은 예컨대, 컴퓨터 마우스, 조이스틱 등과 유사하게, 컴퓨터 시스템을 제어하기 위해 사용될 수 있다. 예를 들면, 도 13에 도시되고 그를 참조하여 기술된 장치(810)와 관련하여, 카메라(들)(830)는 사용자의 동공(들)의 위치를 모니터하여 컴퓨터 스크린 또는 다른 디스플레이 상의 마우스 포인터를 지향 및/또는 작동시키기 위해 사용될 수 있다. 카메라(922)로부터 영상 데이터를 수신한 프로세서는 그 영상 데이터를 분석하여 검출기(940)의 활성 영역(942) 내의 동공(들)의 상대적 위치를 판정 할 수 있다. 선택적으로, 하나 이상의 디스플레이들이 사용자의 한쪽 또는 양쪽 눈의 시야각 전방에 또는 그 안에 배치된 프레임(812)에 대하여 고정될 수 있다. 예를 들면, 평판 LCD 또는 다른 디스플레이(도시되지 않음)가 렌즈들 대신에 프레임(812)에 장착될 수 있다. 그러한 장치는, 예컨대, 의학 또는 다른 연구 시설 내에서 시뮬레이션용으로, 예컨대, 비디오 게임 콘솔로서 오락용으로 등등으로 사용될 수 있다.
도 23을 참조하면, 본 명세서에 기술된 장치 또는 시스템들을 이용하여 검출된 눈 움직임에 기초하여 컴퓨팅 디바이스를 제어하기 위한 예시적인 방법이 도시되어 있다. 예를 들면, 사용자의 한쪽 또는 양쪽 눈을 촬상하기 위한 광섬유 다발(924)을 포함하는 도 18A에 도시된 장치(910)가 사용될 수 있다. 선택적으로, 아래에서 더 설명되는 바와 같이, 장치는 또한 사용자의 전방 시야를 따라서 바깥쪽으로 지향될 수 있는, 예컨대, 사용자의 한쪽 또는 양쪽 눈에 인접하여 배치된 하나 이상의 엑소카메라들을 갖추고 있을 수 있다. 먼저, 단계 2310에서는, 그러한 장치를 포함하는 시스템을 초기화하는, 즉, 기본 또는 기준 위치와 같은 기준 프레임, 직교 성분들을 갖는 기준 프레임 등을 설정하는 것이 바람직할 수 있다. 예를 들면, 사용자는 디스플레이 상의 포인터 또는 다른 소정의 위치를 바라봄으로써, 사용자의 눈(들)을, 따라서 사용자의 동공(들)을 실질적으로 움직이지 않는 채로 유지하도록 지시를 받을 수 있다. 프로세서는 사용자의 눈(들)이 실질적으로 움직이지 않는 동안 카메라(830)로부터의 영상 데이터를 분석하여, 예컨대, 기준점 또는 "기본 위치(base location)"에 대응하는 영상들 상의 동공의 위치를 판정할 수 있다. 예를 들면, 포인터 또는 기본 위치는 사용자의 동공의 실질적으로 똑바로 전방에 위치할 수 있다. 선택적으로, 사용자는 디스플레이 상의 2 이상의 식별된 위치들을 순차적으로 바라봄으로써, 사용자의 눈의 상대적 움직임에 대한 스케일을 제공하도록 지시를 받을 수 있다. 이 대안에서는, 사용자에게 디스플레이의 정반대 코너들을 바라보게 하여, 예컨대, 디스플레이에 대한 적당한 눈 움직임의 한계를 식별하는 것이 바람직할 수 있다.
일단 초기화가 완료되면, 사용자는 그들의 눈(들)을, 예컨대, 디스플레이의 포인터 및/또는 나머지에 대하여, 예컨대, 왼쪽과 오른쪽으로, 위와 아래로 자유로이 움직일 수 있다. 단계 2320에서, 시스템은 눈의 그러한 움직임을 모니터할 수 있다. 즉, 프로세서는 영상 데이터를 분석하여 기본 위치(들)로부터 사용자의 동공(들)의 상대적 위치를 판정할 수 있다. 예를 들면, 사용자가 그의 눈(들)을 기본 위치로부터 위와 오른쪽으로, 즉 컴퓨터 스크린 상의 포인터에 대하여 위와 오른쪽으로 움직이면, 프로세서는 이 움직임을 판정할 수 있다. 그에 응답하여, 단계 2330에서, 프로세서는 포인터를 위와 오른쪽으로 움직임으로써, 즉, 사용자의 응시를 추적할 수 있다. 사용자가 그의 눈(들)의 움직임을 중지할 경우, 프로세서는 포인터가 사용자가 디스플레이 상에서 현재 바라보고 있는 위치에 도달하면 포인터를 정지시킬 수 있다.
선택적으로, 단계 2340에서, 사용자는, 예컨대, 마우스 상의 버튼을 작동시키는 것과 유사하게, 포인터가 디스플레이 상의 원하는 위치에 이동하면 커맨드를 실행할 수 있다. 예를 들면, 프로세서는 사용자로부터의 신호, 예컨대, 소정의 시 퀀스로 1회 이상의 깜박거림을 찾아 영상 데이터를 모니터할 수 있다. 이것은 소정의 지속 기간, 예컨대 수초 길이의 한 번의 깜박거림처럼 단순한 것에서, 예컨대, 사용자의 한쪽 또는 양쪽 눈을 포함하는 더 복잡한 일련의 깜박거림까지 있을 수 있다. 대안적으로는, 이 신호는 깜박거림이 없는 소정의 기간, 예컨대, 3초, 5초, 또는 그 이상의 기간일 수 있다. 프로세서가 신호를 식별하면, 프로세서는 커맨드를 활성화할 수 있다. 예를 들면, 사용자는 그들의 눈(들)이 디스플레이 상의 아이콘, 워드 커맨드(word command) 등에 도달하면 그들의 눈(들)의 움직임을 중지할 수 있고, 프로세서는 포인터가 그 아이콘 또는 커맨드 위에 놓이거나 또는 다른 방법으로 그 아이콘 또는 커맨드에 위치할 때까지 포인터를 움직일 수 있다. 그 후 사용자는 컴퓨터 마우스 상의 버튼을 "더블-클릭"하는 것과 유사하게, 위에서 설명된 바와 같이, 눈을 깜박거리거나 행동함으로써, 프로세서에게 선택된 커맨드를 완수하거나 선택된 커맨드를 원하는 목적지에 통신하도록 지시할 수 있다. 예를 들면, 선택된 커맨드는 컴퓨터 프로그램이 실행되거나, 장비의 부품 또는 다른 디바이스가 작동되거나, 작동 해제(deactivate)되거나, 또는 원하는 방식으로 다르게 제어되는 결과를 낼 수 있다. 따라서, 시스템은 프로세서 및/또는 디스플레이에 연결된 컴퓨터 디바이스를 제어하는 것에서부터, 라이트 스위치 또는 차량을 온 또는 오프시키는 것까지 각종의 작업을 완수하기 위해 사용될 수 있다. 그러한 장치 및/또는 시스템은 그에 의해 컴퓨터를 핸즈 프리(hands-free)로, 즉, 사용자의 눈(들)의 움직임만을 이용하여 사용하는 방법들을 제공한다.
예를 들면, 하나의 응용예에서, 시스템은 헬리콥터, 제트, 또는 다른 항공기 와 같은 탈것(vehicle)을 조작하여, 예컨대, 무기, 내비게이션(navigational), 또는 다른 온보드 시스템들을 작동시키거나 다른 방법으로 제어하는 데 사용될 수 있다. 다른 응용예에서, 시스템은 비디오 게임 또는 다른 시뮬레이션에서, 예컨대, 가상 현실 몰입을 향상시키는 데 사용될 수 있다. 예를 들면, 시스템은 사용자가 다수의 메뉴, 장면, 도는 다른 활동들을 통하여 신속히 내비게이트하는 것을 가능케 함과 동시에, 사용자의 손들을 자유롭게 하여, 다른 기능들을 수행하게, 예컨대, 눈으로 제어되는 기능들에 더하여 또는 그와 동시에 다른 활동들을 수행하게 할 수 있어, 더 많은 및/또는 더 복잡한 작업들을 동시에 가능하게 할 수 있다.
또한, 디스플레이 상의 포인터에 대한 눈 움직임의 추적을 향상시키고 및/또는 다른 방법으로 용이하게 하기 위해 하나 이상의 엑소카메라들이 사용될 수 있다. 예를 들면, 적어도 한쪽 눈에 인접하여, 예컨대, 그 눈으로부터 소정의 거리에 또는 다르게 관련하여, 디스플레이를 향하여 지향되는 엑소카메라가 제공될 수 있다. 따라서, 이 엑소카메라는, 예컨대, 엔도카메라로 모니터되는 눈의 움직임과 동기화될 수 있는 포인터의 움직임을 실시간으로 보여주는, 디스플레이의 영상들을 제공할 수 있다. 프로세서는 이 데이터를 삼각측량 또는 다른 알고리듬들을 이용하여 눈 움직임에 의한 포인터 추적의 정확도를 향상시키도록 관련시킬 수 있다. 이것은, 사용자가 커맨드 상의 포인터로 깜박거림으로써 그 커맨드를 실행하려고 의도할 경우, 예컨대, 디스플레이가 다수의 이용 가능한 커맨드들을 보여줄 때, 의도된 커맨드가 실제로 선택되는 정확도를 보장할 수 있다.
또한, 그러한 시스템들 및 방법들은 경계력 검사와 같은 의학적 또는 다른 진단 절차들에서 사용될 수 있다. 예를 들면, 프로세서는 엔도카메라들 및 엑소카메라들로부터의 데이터를 분석하여 디스플레이 상의 영상들에 대한 눈(들)의 움직임을 상관시켜, 느리게 구르는 눈 움직임, 열등한 눈 고정 및/또는 추적, 종잡을 수 없는 응시(wandering gaze), 눈 깜박거림의 증가, 최면성 응시, 연장되는 눈꺼풀 처짐 또는 깜박거림, 느린 속도의 눈꺼풀 열림 및 닫힘, 깜짝 놀라는 눈꺼풀 열림 속도, 장기간 동공 수축성 변화, 불안정한 동공 직경, 불명료한 시각-유발(visual-evoked) 동공 반응과 같은 각종 눈측정 파라미터들, 및/또는 본 명세서의 다른 곳에서 논의된 다른 파라미터들을 연구할 수 있다. 이들 절차들은 각종 환경의, 알코올 또는 약물-유발의, 및/또는 다른 상황에 처한 개인의 반응을 연구하는 데 사용될 수 있다.
도 24를 참조하면, 다른 실시예에서는, 장치(2410)를 착용한 사용자의 눈(300)을 경피적으로(transcutaneously) 조명하기 위한 장치(2410)가 제공될 수 있다. 이 장치(2410)는 도 13에 도시된 프레임(812)과 같은 본 명세서에 기술된 임의의 실시예들과 일반적으로 유사할 수 있다. 도시된 바와 같이, 장치(2410)는 사용자의 머리(308), 예컨대, 사용자의 한쪽 또는 양쪽 눈들(300)(간략화를 위해 하나만 도시됨)에 인접한 관자놀이(들)와 접촉하는 하나 이상의 방사기 또는 다른 광원(들)(2422)을 포함할 수 있다. 또한, 장치(2410)는, 예컨대, 사용자의 눈(300)의 영상들을 취득하기 위해 렌즈(2410)에서 종단하는, 광섬유 다발들(2430)과 같은, 하나 이상의 센서들을 포함할 수 있다.
하나의 예시적인 실시예에서는, 적외선 방사기(2422)가, 사용자의 피부와 접 촉하고 피부를 향하여 광을 투과시키도록, 프레임(2412)의 한쪽 또는 양쪽 이어 피스(ear pieces)(2422) 상에 고정되게 또는 조정 가능하게 장착될 수 있다. 예를 들면, 방사기(2422)는 시준된(collimated), 비간섭성의(non-coherent) 적외선 광을 방사할 수 있는 복수의 LED를 포함할 수 있다. 방사기(2422)로부터의 광이, 파선 화살표(2450)에 의해 묘사된 바와 같이, 사용자의 머리(308)를 통하여 또는 그를 따라서 눈(300) 안으로 전해질 수 있도록 방사기(2422)는 일반적으로 눈(300)을 향하여 지향될 수 있다. 예를 들면, 피부 및 다른 세포 조직은 적외선 광과 같은 어떤 정해진 주파수의 광에 대해 적어도 반투명(translucent)할 수 있다는 것이 밝혀졌다. 따라서, 방사기(들)(2422)로부터의 광의 적어도 일부는 눈(300)에 들어갈 때까지 사용자의 피부 및/또는 다른 세포 조직을 따라서 또는 그들 통하여 경피적으로 투과할 수 있다.
광은 눈(300) 내부의 망막(도시되지 않음)에서 반사할 수 있고, 따라서 광의 적어도 일부는 화살표(2452)에 의해 묘사된 바와 같이 동공(301) 밖으로 탈출한다. 렌즈(2434) 및 광섬유 다발(2430)은 눈의 영상들을 본 명세서에 기술된 다른 실시예들과 유사한 검출기(도시되지 않음)에 중계할 수 있고, 검출기는 광(2452)으로 인한 영상들 상의 빛나는 반점으로서 동공(301)을 식별할 수 있다. 검출기에 연결된 프로세서 또는 다른 디바이스가, 예컨대 본 명세서의 다른 곳에 기술된 "백색 동공" 또는 "어두운 동공" 기법들을 이용하여, 본 명세서에 기술된 다른 실시예들과 유사하게, 영상들 상의 동공의 상대적 위치, 사이즈, 및/또는 형상과 같은, 동공(301)을 모니터할 수 있다. 부가적으로 또는 대안적으로, 경피성 광은 전체 눈(300), 특히 망막을 조명할 수 있고, 그것은 사용자의 얼굴의 전방으로부터, 예컨대, 조광기 구(dimmer sphere) 또는 다른 형상으로서 관찰될 수 있고 동공(301)은 그 조광기 형상에 의해 둘러싸인 빛나는 반점으로서 나타난다.
방사기가 눈의 전방에 배치될 경우 사용자의 시야를 부분적으로 방해하거나 혼란케 할 수 있는데, 이 실시예는 하나 이상의 방사기들이 사용자의 눈의 전방에 배치되지 않아도 되는 이점을 가질 수 있다. 또한, 이 시스템은 입사하는 적외선 광의 각도와 무관하게 작동되는 적외선 감지 카메라 및/또는 검출기를 이용하기 때문에, 이 실시예는 검출기들에 대한 방사기들의 적당한 지향성의 상실로부터 발생하는 기술적 어려움들을 제거할 수 있다. 또한, 눈의 전방에 방사기(들)가 없으므로, 눈의 반짝임 또는 다른 반사가 제거될 수 있고, 이는 영상 데이터의 분석을 용이하게 할 수 있다.
특정 실시예들과 함께 기술된 각종 컴포넌트들 및 특징들은, 실시예들의 의도된 용도에 따라서, 부가되거나, 삭제되거나, 및/또는 다른 실시예들로 대체될 수 있다는 것을 알 수 있을 것이다. 예를 들면, 본 명세서에 참조로 통합된 가출원 일련 번호 60/559,135호의 부록 A 및 B는 본 명세서에서 기술된 장치 및 시스템들을 이용하는 가능한 구조적 특징들, 및/또는 방법들에 관한 추가적인 정보를 제공한다. 부록 A 및 B의 전체 개시 내용은 본 명세서에 참조로 명백히 통합된다.
본 발명은 각종 변형, 및 대안 형태들에 영향을 받기 쉽지만, 그 특정 예들이 도면들에 도시되었고 본 명세서에서 상세히 기술되어 있다. 본 발명은 개시된 특정 형태들 또는 방법들에 제한되어서는 안 되고, 그와 반대로, 본 발명은 첨부된 청구 범위 내에 드는 모든 변형들, 균등물들 및 대안들을 두루 포함한다는 것을 알아야 할 것이다.

Claims (42)

  1. 사람의 눈들의 움직임을 모니터하기 위한 장치로서,
    사람의 머리에 착용되도록 구성된 디바이스와;
    상기 디바이스가 착용되었을 때 상기 사람의 눈들을 향하여 광을 지향시키는 광원과;
    상기 디바이스 상에 고정된 제1 단부들을 포함하는 제1 및 제2 영상 도파관들(image guides) - 상기 제1 영상 도파관은 상기 디바이스를 착용한 사람의 제1 눈을 바라보도록 위치 지정(position)되고, 상기 제2 영상 도파관은 상기 디바이스를 착용한 사람의 제2 눈을 바라보도록 위치 지정됨 - 과;
    상기 제1 및 제2 눈들의 영상들을 취득하기 위해 상기 제1 및 제2 다발들에 연결된 카메라
    를 포함하는 장치.
  2. 제1항에 있어서, 상기 카메라는 CCD 또는 CMOS 검출기를 포함하고, 상기 제1 및 제2 영상 도파관들로부터의 영상들은 상기 검출기의 활성 영역 상에 동시에 수신되는 장치.
  3. 제1항에 있어서, 상기 광원은 적외선 광을 방사하도록 구성된 하나 이상의 적외선 방사기들(infrared emitters)을 포함하는 장치.
  4. 제1항에 있어서, 상기 광원은 상기 제1 및 제2 영상 도파관들에 의해 각각 운반(carry)되는 제1 및 제2 조명 섬유들을 포함하는 장치.
  5. 제1항에 있어서, 상기 제1 및 제2 눈들의 영상들을 나타내는 출력 신호들을 상기 장치로부터 다른 곳으로(away) 전달하기 위해 상기 카메라에 연결된 케이블을 더 포함하는 장치.
  6. 제1항에 있어서, 상기 카메라로부터의 출력 신호들을 원격지로 무선 송신하기 위한 상기 디바이스 상의 송신기를 더 포함하는 장치.
  7. 제1항에 있어서, 상기 제1 및 제2 눈들 상에 각각 집광(focus)시키기 위해, 상기 제1 및 제2 영상 도파관들의 상기 제1 단부들 상에 각각 있는 제1 및 제2 렌즈들을 더 포함하는 장치.
  8. 제1항에 있어서, 상기 디바이스는 안경 프레임, 모자, 헬멧, 챙(visor), 및 마스크 중 적어도 하나를 포함하는 장치.
  9. 제1항에 있어서, 상기 디바이스는 한 쌍의 보안경들(goggles)을 포함하는 헬멧을 포함하고, 상기 카메라는 상기 헬멧에 장착되고, 상기 제1 및 제2 영상 도파 관들의 상기 제1 단부들은 상기 보안경들에 부착되는 장치.
  10. 제1항에 있어서, 상기 사람으로부터 다른 방향으로(away) 상기 디바이스 상에 위치하는 제1 단부를 포함하는 제3 영상 도파관을 더 포함하고, 상기 제3 영상 도파관은 상기 사람의 주위 환경(surroundings)의 영상들을 취득하기 위해 상기 카메라에 연결된 장치.
  11. 제1항에 있어서, 상기 사용자의 하나 이상의 생리학적 특징들(physiological characteristics)을 측정하기 위한 상기 디바이스 상의 하나 이상의 센서들을 더 포함하는 장치.
  12. 제11항에 있어서, 상기 제1 및 제2 눈들의 영상들 및 상기 사용자의 상기 하나 이상의 생리학적 특징들을 동시에 표시하기 위해 상기 카메라 및 상기 하나 이상의 센서들에 연결된 디스플레이를 더 포함하는 장치.
  13. 제1항에 있어서, 상기 제1 및 제2 눈들의 영상들을 포함하는 신호들을 원격지에 송신하기 위해 상기 카메라에 연결된 송신기를 더 포함하는 장치.
  14. 사람의 눈들의 움직임을 모니터하기 위한 장치로서,
    사람의 머리에 착용되도록 구성된 디바이스와;
    상기 디바이스가 착용되었을 때 상기 사람의 눈들을 향하여 광을 지향시키는 광원과;
    상기 디바이스 상의 제1 및 제2 렌즈들 - 상기 제1 렌즈는 상기 디바이스를 착용한 상기 사람의 제1 눈을 향하여 지향되고, 상기 제2 렌즈는 상기 디바이스를 착용한 상기 사람의 제2 눈을 향하여 지향됨 - 과;
    상기 사람의 주위 환경의 영상들을 취득하기 위해 상기 디바이스를 착용한 상기 사람으로부터 다른 방향으로 지향된 상기 디바이스 상의 제3 렌즈와;
    상기 제1 및 제2 렌즈들로부터의 상기 제1 및 제2 눈들의 영상들 및 상기 제3 렌즈로부터의 영상들을 동시에 취득하기 위해 상기 제1, 제2 및 제3 렌즈들에 연결된 카메라
    를 포함하는 장치.
  15. 제14항에 있어서, 상기 카메라는 CCD 또는 CMOS 검출기를 포함하고, 상기 제1 및 제2 영상 도파관들로부터의 영상들은 상기 검출기의 활성 영역 상에 동시에 수신되는 장치.
  16. 제14항에 있어서, 상기 광원은 적외선 광을 방사하도록 구성된 하나 이상의 적외선 방사기들을 포함하는 장치.
  17. 제14항에 있어서, 상기 제1 및 제2 렌즈들은 제1 및 제2 영상 도파관들에 의 해 각각 상기 카메라에 연결되어 있는 장치.
  18. 제17항에 있어서, 상기 광원은 상기 제1 및 제2 영상 도파관들에 의해 각각 운반되는 제1 및 제2 조명 섬유들을 포함하는 장치.
  19. 사람의 눈들의 움직임을 모니터하기 위한 장치로서,
    사람의 머리에 착용되도록 구성된 디바이스와;
    상기 디바이스 상에 고정된 제1 단부들을 포함하는 제1 및 제2 광섬유 다발들 - 상기 제1 광섬유 다발은 상기 디바이스를 착용한 상기 사람의 제1 눈을 바라보도록 위치 지정되고, 상기 제2 광섬유 다발은 상기 디바이스를 착용한 상기 사람의 제2 눈을 바라보도록 위치 지정됨 - 과;
    상기 제1 및 제2 광섬유 다발들로부터 상기 제1 및 제2 눈들의 영상들을 동시에 취득하기 위해 상기 제1 및 제2 광섬유 다발들에 연결된 카메라
    를 포함하는 장치.
  20. 제19항에 있어서, 상기 사람의 주위 환경의 영상들을 취득하기 위해 상기 디바이스를 착용한 상기 사람으로부터 다른 방향으로 지향된 상기 디바이스 상의 엑소카메라(exocamera)를 더 포함하고, 상기 엑소카메라는 상기 엑소카메라로부터의 영상들을 상기 제1 및 제2 광섬유 다발들로부터의 영상들과 동시에 취득하기 위해 상기 카메라에 연결되어 있는 장치.
  21. 사람의 눈의 움직임을 모니터하기 위한 시스템으로서,
    사람의 머리에 착용되도록 구성된 디바이스와;
    상기 디바이스가 착용되었을 때 상기 사람의 눈을 향하여 광을 지향시키는 광원과;
    상기 눈의 움직임을 모니터하기 위한 상기 디바이스 상의 카메라 - 상기 카메라는 상기 눈의 상기 카메라에 의해 취득된 비디오 영상들을 나타내는 비디오 신호들을 생성하도록 구성됨 - 와;
    상기 비디오 신호들을 처리하고 상기 비디오 신호들로부터 상기 눈의 동공을 식별하기 위해 상기 카메라와 통신하는 프로세서와;
    상기 프로세서에 의해 처리된 상기 비디오 신호들로부터의 상기 눈의 비디오 영상들을 표시하기 위해 상기 프로세서에 연결된 디스플레이 - 상기 디스플레이는 상기 동공을 식별하기 위해 상기 비디오 영상들 상에 그래픽을 겹쳐 놓음 -
    를 포함하는 시스템.
  22. 제21항에 있어서, 상기 프로세서는 상기 프로세서에 의해 식별된 동공의 분석에 적어도 부분적으로 기초하여 상기 사람의 신체적 또는 정신적 상태를 판정하기 위해 상기 비디오 신호들을 상관시키도록 더 구성되어 있는 시스템.
  23. 제22항에 있어서, 상기 프로세서는 상기 동공의 상대적 위치, 상기 동공의 사이즈, 및 상기 동공의 편심(eccentricity) 중 적어도 하나를 모니터하기 위해 상기 비디오 신호들을 분석하도록 구성되어 있는 시스템.
  24. 제21항에 있어서, 상기 카메라는 CCD 또는 CMOS 검출기, 및 상기 디바이스에 장착된 제1 단부를 포함하는 적어도 하나의 광섬유 다발을 포함하고, 상기 제1 단부는 상기 디바이스가 착용되었을 때 상기 사람의 눈을 향하여 지향되게 되어 있는 시스템.
  25. 제24항에 있어서, 상기 광원은 상기 광섬유 다발에 의해 운반되는 적어도 하나의 조명 섬유를 포함하는 시스템.
  26. 제21항에 있어서, 상기 카메라로부터의 출력 신호들을 원격지로 무선 송신하기 위한 상기 디바이스 상의 송신기를 더 포함하는 시스템.
  27. 제26항에 있어서, 상기 프로세서는 상기 디바이스에 대해 원격의 위치에 위치하고, 상기 프로세서는 상기 송신기에 의해 송신된 출력 신호들을 수신하기 위한 수신기에 연결되어 있는 시스템.
  28. 제21항에 있어서, 상기 프로세서는 상기 디바이스 상에 제공되어 있는 시스템.
  29. 제21항에 있어서, 상기 사람의 하나 이상의 생리학적 특징들을 측정하기 위한 상기 디바이스 상의 하나 이상의 센서들을 더 포함하고, 상기 프로세서는 상기 하나 이상의 생리학적 특징들을 상기 비디오 신호들과 상관시켜 상기 사람의 신체적 또는 정신적 상태를 판정하기 위해 상기 하나 이상의 센서들에 연결되어 있는 시스템.
  30. 제21항에 있어서, 상기 사람의 하나 이상의 생리학적 특징들을 측정하기 위한 상기 디바이스 상의 하나 이상의 센서들을 더 포함하고, 상기 프로세서는 상기 비디오 영상들과 함께 상기 디스플레이 상에 상기 하나 이상의 생리학적 특징들을 표시하기 위해 상기 하나 이상의 센서들에 연결되어 있는 시스템.
  31. 바이오센서 어셈블리를 이용하여 사람의 눈의 움직임을 모니터하는 방법 - 상기 바이오센서 어셈블리는 그것이 착용되었을 때 상기 사람의 눈을 향하여 광을 지향시키는 광원과, 상기 눈을 향하여 지향된 카메라를 포함함 - 으로서,
    상기 광원으로부터의 광을 상기 눈을 향하여 방사하는 단계와;
    상기 눈의 비디오 영상들을 생성하기 위해 상기 카메라로 상기 눈의 움직임을 모니터하는 단계와;
    상기 카메라에 의해 모니터된 상기 움직임의 그래픽 출력을 생성하는 단계 - 상기 그래픽 출력은 상기 눈의 동공을 식별하기 위해 상기 눈의 비디오 영상들 상 에 겹쳐진 인공 영상(artificial image)을 포함함 -
    를 포함하는 방법.
  32. 사람의 눈을 향하여 광을 지향시키는 광원 및 상기 사람의 눈을 향하여 지향된 카메라를 포함하는 바이오센서 어셈블리를 이용하여 상기 사람의 눈을 모니터하는 방법으로서,
    상기 광원으로부터 하나 이상의 광 펄스들을 방사하여, 상기 눈이 그것의 긴장 이완된 상태(relaxed state)로부터 팽창(dilate)하게 하는 단계와;
    상기 눈이 그것의 긴장 이완된 상태로 되돌아가는 반응 시간을 판정하기 위해 상기 카메라로 상기 눈을 모니터하는 단계
    를 포함하는 방법.
  33. 컴퓨팅 디바이스를 제어하기 위한 시스템으로서,
    사람의 머리에 착용되도록 구성된 디바이스와;
    상기 사람의 적어도 한쪽 눈의 움직임을 모니터하기 위한 상기 디바이스 상의 카메라 - 상기 카메라는 상기 카메라에 의해 취득된 상기 눈의 비디오 영상들을 나타내는 신호들을 생성하도록 구성됨 - 와;
    상기 디바이스에 인접하여 배치된 디스플레이 - 상기 디스플레이 상의 포인터가 상기 디바이스를 착용한 상기 사람에 의해 관찰 가능하게 되어 있음 - 와;
    상기 신호들을 처리하여 상기 디스플레이 상의 기준 프레임에 대한 상기 눈 의 움직임을 모니터하기 위해 상기 카메라에 연결된 프로세서 - 상기 프로세서는 상기 기준 프레임에 대한 상기 눈의 움직임에 기초하여 상기 포인터가 상기 디스플레이 상에서 움직이게 하기 위해 상기 디스플레이에 연결됨 -
    를 포함하는 시스템.
  34. 제33항에 있어서, 상기 디스플레이는 상기 디스플레이가 상기 디바이스를 착용한 상기 사람의 눈의 전방에 소정의 거리에 배치되도록 상기 디바이스에 고착(secure)된 헤드업(heads-up) 디스플레이인 시스템.
  35. 제33항에 있어서, 상기 프로세서는 상기 디바이스를 착용한 상기 사람이 상기 디스플레이 상의 특정 위치를 바라보고 있음을 나타내는 비디오 영상들을 찾아 상기 신호들을 모니터하기 위해 상기 카메라에 연결되어 있고, 상기 프로세서는 상기 포인터를 상기 특정 위치로 움직이도록 구성되어 있는 시스템.
  36. 제35항에 있어서, 상기 프로세서는 상기 디바이스를 착용한 사람이 커맨드가 실행되도록 요구하기 위해 상기 특정 위치를 바라보면서 소정의 시퀀스로 눈을 깜박거렸음을 나타내는 비디오 영상들을 검출하기 위해 상기 신호들을 모니터하도록 구성되어 있고, 상기 프로세서는 상기 비디오 영상들을 검출한 것에 기초하여 상기 컴퓨팅 디바이스 상에서 상기 커맨드를 실행하도록 구성되어 있는 시스템.
  37. 제33항에 있어서, 상기 디바이스가 착용되었을 때 상기 사람의 눈을 향하여 광을 지향시키는 광원을 더 포함하는 시스템.
  38. 제37항에 있어서, 상기 광원은 상기 디바이스를 착용한 상기 사람의 눈 상에 상기 기준 프레임을 투영하도록 구성되어 있는 시스템.
  39. 제33항에 있어서, 상기 프로세서는 상기 디스플레이 상의 기본 위치(base location)에 영상을 표시하도록 구성되어 있고, 상기 프로세서는 상기 기본 위치에 대한 상기 눈의 후속 움직임을 위한 상기 기준 프레임을 제공하기 위해 상기 디바이스를 착용한 사람이 상기 기본 위치를 바라보고 있음을 나타내는 비디오 영상들을 검출하기 위해 상기 신호들을 모니터하도록 더 구성되어 있는 시스템.
  40. 사용자의 머리에 착용된 디바이스를 이용하여 컴퓨팅 디바이스를 제어하는 방법 - 상기 디바이스는 상기 사용자의 적어도 한쪽 눈을 향하여 지향된 대물 렌즈를 포함하는 카메라를 포함하고, 상기 컴퓨팅 디바이스는 디스플레이 상에 표시된 포인터를 포함하는 디스플레이를 포함함 - 으로서,
    상기 카메라를 이용하여 상기 적어도 한쪽 눈의 움직임을 모니터하는 단계와;
    상기 디스플레이 상의 상기 포인터에 대하여 상기 적어도 한쪽 눈의 움직임을 상관시켜 상기 포인터가 상기 적어도 한쪽 눈의 움직임을 따라가게 하는 단계
    를 포함하는 방법.
  41. 제40항에 있어서, 상기 적어도 한쪽 눈이 상기 포인터를 바라볼 때 상기 카메라의 활성 영역 상의 상기 적어도 한쪽 눈의 기본 위치를 판정하는 단계를 더 포함하고, 상기 적어도 한쪽 눈의 움직임은, 상기 기본 위치에 대한 상기 활성 영역 상의 상기 적어도 한쪽 눈의 위치의 변화를 판정하여 상기 포인터가 상기 위치의 변화에 응답하여 움직이게 함으로써 상관되는 방법.
  42. 제40항에 있어서, 소정의 시퀀스의 눈 움직임을 찾아 상기 적어도 한쪽 눈을 모니터하고, 상기 디스플레이 상의 상기 포인터에 의해 식별된 커맨드를 활성화(activate)하는 신호를 제공하는 단계를 더 포함하는 방법.
KR1020067022734A 2004-04-01 2005-04-01 눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및컨트롤러 및 그들의 사용 방법 KR101049605B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US55913504P 2004-04-01 2004-04-01
US60/559,135 2004-04-01
PCT/US2005/011104 WO2005094667A2 (en) 2004-04-01 2005-04-01 Biosensors, communicators, and controllers monitoring eye movement and methods for using them

Publications (2)

Publication Number Publication Date
KR20070027541A true KR20070027541A (ko) 2007-03-09
KR101049605B1 KR101049605B1 (ko) 2011-07-14

Family

ID=34972808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067022734A KR101049605B1 (ko) 2004-04-01 2005-04-01 눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및컨트롤러 및 그들의 사용 방법

Country Status (12)

Country Link
US (3) US7488294B2 (ko)
EP (1) EP1755441B1 (ko)
JP (4) JP2007531579A (ko)
KR (1) KR101049605B1 (ko)
CN (3) CN102670163B (ko)
AU (1) AU2005229076B2 (ko)
CA (2) CA2561287C (ko)
IL (3) IL178374A0 (ko)
MX (1) MXPA06011168A (ko)
RU (1) RU2395228C2 (ko)
WO (1) WO2005094667A2 (ko)
ZA (1) ZA200608191B (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101045776B1 (ko) * 2010-05-12 2011-07-04 김기문 카메라가 구비된 진동시트
KR101051433B1 (ko) * 2009-09-30 2011-07-22 전자부품연구원 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
KR101487802B1 (ko) * 2013-05-30 2015-02-05 여태운 졸음 검출 장치
KR20150126579A (ko) * 2015-10-26 2015-11-12 (주)미래컴퍼니 수술 로봇 시스템 및 그 복강경 조작 방법
KR20160105439A (ko) * 2013-12-31 2016-09-06 아이플루언스, 인크. 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
KR20160124058A (ko) * 2016-10-17 2016-10-26 (주)미래컴퍼니 수술 로봇 시스템 및 그 복강경 조작 방법
KR20160124057A (ko) * 2016-10-17 2016-10-26 (주)미래컴퍼니 수술 로봇 시스템 및 그 복강경 조작 방법
KR20160127709A (ko) * 2015-03-31 2016-11-04 시아오미 아이엔씨. 디스플레이 제어를 위한 방법 및 장치, 전자 디바이스
KR101725712B1 (ko) * 2016-01-04 2017-04-10 연세대학교 원주산학협력단 휴대용 안진 검사장치
KR20190090556A (ko) * 2018-01-25 2019-08-02 한국과학기술연구원 양안 경쟁을 이용한 뇌 기능 평가 장치, 그 방법, 및 이를 수록한 기록 매체
EP3549062A4 (en) * 2016-11-29 2020-01-01 Alibaba Group Holding Limited VIRTUAL REALITY DEVICE USING PHYSIOLOGICAL CHARACTERISTICS OF IT FOR AUTHENTICATION OF USER IDENTITY
KR20210079937A (ko) * 2019-12-20 2021-06-30 순천향대학교 산학협력단 뇌졸중 진단 시스템 및 방법
KR20210110753A (ko) * 2012-05-21 2021-09-08 루머스 리미티드 안구-추적기와 헤드-탑재 디스플레이 통합 시스템

Families Citing this family (624)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482488B2 (en) 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
US20120105740A1 (en) 2000-06-02 2012-05-03 Oakley, Inc. Eyewear with detachable adjustable electronics module
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US7013009B2 (en) 2001-06-21 2006-03-14 Oakley, Inc. Eyeglasses with wireless communication features
US7187960B2 (en) 2002-04-22 2007-03-06 Marcio Marc Abreu Apparatus and method for measuring biologic parameters
US9848815B2 (en) 2002-04-22 2017-12-26 Geelux Holdings, Ltd. Apparatus and method for measuring biologic parameters
US8328420B2 (en) 2003-04-22 2012-12-11 Marcio Marc Abreu Apparatus and method for measuring biologic parameters
US8109629B2 (en) 2003-10-09 2012-02-07 Ipventure, Inc. Eyewear supporting electrical components and apparatus therefor
US7612686B1 (en) * 2003-11-03 2009-11-03 Michael John Bustamante Emergency underwater notification device
US20080177197A1 (en) * 2007-01-22 2008-07-24 Lee Koohyoung Method and apparatus for quantitatively evaluating mental states based on brain wave signal processing system
US10227063B2 (en) 2004-02-26 2019-03-12 Geelux Holdings, Ltd. Method and apparatus for biological evaluation
CN102670163B (zh) * 2004-04-01 2016-04-13 威廉·C·托奇 控制计算装置的系统及方法
US11644693B2 (en) 2004-07-28 2023-05-09 Ingeniospec, Llc Wearable audio system supporting enhanced hearing support
US11829518B1 (en) 2004-07-28 2023-11-28 Ingeniospec, Llc Head-worn device with connection region
EP1853167A2 (en) * 2005-02-18 2007-11-14 Koninklijke Philips Electronics N.V. Automatic control of a medical device
JP4046121B2 (ja) * 2005-03-24 2008-02-13 セイコーエプソン株式会社 立体画像表示装置及び方法
US9943372B2 (en) 2005-04-18 2018-04-17 M.S.T. Medical Surgery Technologies Ltd. Device having a wearable interface for improving laparoscopic surgery and methods for use thereof
WO2007102053A2 (en) * 2005-09-16 2007-09-13 Imotions-Emotion Technology Aps System and method for determining human emotion by analyzing eye properties
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US12044901B2 (en) 2005-10-11 2024-07-23 Ingeniospec, Llc System for charging embedded battery in wireless head-worn personal electronic apparatus
US7733224B2 (en) 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
US7420472B2 (en) * 2005-10-16 2008-09-02 Bao Tran Patient monitoring apparatus
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
CA2627278A1 (en) 2005-10-24 2007-05-03 Marcio Marc Abreu Apparatus and method for measuring biologic parameters
JP4497081B2 (ja) * 2005-10-31 2010-07-07 トヨタ自動車株式会社 人の状態検出装置
US8083350B2 (en) 2005-11-21 2011-12-27 The Curators Of The University Of Missouri Light sensitivity meter and uses thereof
JP4795002B2 (ja) * 2005-11-25 2011-10-19 株式会社レクザム 眼科測定装置
US9248047B2 (en) * 2006-01-23 2016-02-02 Ziemer Holding Ag System for protecting tissue in the treatment of eyes
US8403480B2 (en) * 2006-01-24 2013-03-26 University Of Tennessee Research Foundation Adaptive photoscreening system
US7786977B2 (en) * 2006-01-30 2010-08-31 Wacom Co., Ltd. Position input device, remote control device, computer system and electronic equipment
BRPI0708414A2 (pt) * 2006-03-01 2011-05-31 Optalert Pty Ltd monitor de incapacidade
US20070255127A1 (en) * 2006-03-20 2007-11-01 Frederick Mintz Mobile electroencephalograph data collection and diagnosis system
JP5044237B2 (ja) * 2006-03-27 2012-10-10 富士フイルム株式会社 画像記録装置、画像記録方法、および画像記録プログラム
EP2020922A4 (en) * 2006-05-01 2009-09-16 Eye Diagnostics Pty Ltd PORTABLE OCULAR MONITORING DEVICE AND METHODS OF USE THEREOF
US8182267B2 (en) * 2006-07-18 2012-05-22 Barry Katz Response scoring system for verbal behavior within a behavioral stream with a remote central processing system and associated handheld communicating devices
EP2049196A2 (en) * 2006-07-28 2009-04-22 Second Sight Medical Products, Inc. Visual prosthesis
US7976380B2 (en) * 2006-08-10 2011-07-12 Avago Technologies General Ip (Singapore) Pte. Ltd. System and method for using wavelet analysis of a user interface signal for program control
US20080096643A1 (en) * 2006-08-10 2008-04-24 Shalini Venkatesh System and method for using image analysis of user interface signals for program control
US20080058681A1 (en) * 2006-08-30 2008-03-06 Casali Henry Eloy S Portable system for monitoring the position of a patient's head during videonystagmography tests (VNG) or electronystagmography (ENG)
US20080097176A1 (en) * 2006-09-29 2008-04-24 Doug Music User interface and identification in a medical device systems and methods
US8231543B2 (en) * 2006-10-13 2012-07-31 Rutgers, The State University Of New Jersey Methods and systems for screening and treatment of young infants demonstrating deficits in auditory processing
US8577446B2 (en) * 2006-11-06 2013-11-05 Bobby Kyle Stress detection device and methods of use thereof
US20100073202A1 (en) * 2008-09-25 2010-03-25 Mazed Mohammad A Portable internet appliance
WO2008073574A1 (en) * 2006-12-07 2008-06-19 Deborah Zelinsky Methods for diagnosis and treatment of processing difficulties, integration problems, imbalances and abnormal postures
WO2008076774A2 (en) 2006-12-14 2008-06-26 Oakley, Inc. Wearable high resolution audio visual interface
JP5056067B2 (ja) * 2007-02-26 2012-10-24 株式会社デンソー 居眠り警報装置
US7995794B2 (en) * 2007-03-02 2011-08-09 Sony Ericsson Mobile Communications Ab Remote control of an image capturing unit in a portable electronic device
US20080242947A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Configuring software for effective health monitoring or the like
US20080243543A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Effective response protocols for health monitoring or the like
US20080243005A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US20090005653A1 (en) * 2007-03-30 2009-01-01 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US20080242949A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US20080242948A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Effective low-profile health monitoring or the like
US20090005654A1 (en) * 2007-03-30 2009-01-01 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US20080242951A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Effective low-profile health monitoring or the like
US20090119154A1 (en) * 2007-11-07 2009-05-07 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Determining a demographic characteristic based on computational user-health testing of a user interaction with advertiser-specified content
US20080242952A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liablity Corporation Of The State Of Delaware Effective response protocols for health monitoring or the like
US20090118593A1 (en) * 2007-11-07 2009-05-07 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Determining a demographic characteristic based on computational user-health testing of a user interaction with advertiser-specified content
US20080319276A1 (en) * 2007-03-30 2008-12-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US20090024050A1 (en) * 2007-03-30 2009-01-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US20090018407A1 (en) * 2007-03-30 2009-01-15 Searete Llc, A Limited Corporation Of The State Of Delaware Computational user-health testing
ATE479468T1 (de) * 2007-04-18 2010-09-15 Valkee Oy Tragbare vorrichtung
TWI321227B (en) * 2007-04-18 2010-03-01 Univ Nat Yang Ming Sun glass type sleep detecting and preventing device
WO2008147914A2 (en) * 2007-05-26 2008-12-04 Andrew Peter Davis Binocular indirect ophthalmoscope fixation light
JP4883580B2 (ja) * 2007-06-05 2012-02-22 独立行政法人産業技術総合研究所 精神的疲労の検出方法、装置及びプログラム
US8156434B2 (en) * 2007-06-30 2012-04-10 Lenovo (Singapore) Pte. Ltd. Methods and arrangements for managing computer messages
DE102007030972B3 (de) * 2007-07-04 2009-01-29 Siemens Ag MR-kompatibles Videosystem
CA2698281C (en) 2007-07-30 2016-08-16 Twenty20, Inc. Components of a portable digital video camera
US20090054802A1 (en) * 2007-08-22 2009-02-26 National Yang-Ming University Sunglass type sleep detecting and preventing device
JP4650468B2 (ja) * 2007-09-26 2011-03-16 株式会社デンソー 経路探索装置
US8206325B1 (en) 2007-10-12 2012-06-26 Biosensics, L.L.C. Ambulatory system for measuring and monitoring physical activity and risk of falling and for automatic fall detection
JP2009134276A (ja) * 2007-11-05 2009-06-18 Panasonic Corp 表示装置、表示方法、表示プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、単眼鏡、及び据置型ディスプレイ
JP5832747B2 (ja) * 2007-11-09 2015-12-16 ジ・オーストラリアン・ナショナル・ユニバーシティー 感覚野の機能を評価するための装置の作動方法および装置
TW200924719A (en) * 2007-12-06 2009-06-16 Univ Nat Central Inspection device and method for irregular bone defects of dental implant
US8167614B2 (en) * 2007-12-06 2012-05-01 National Central University Apparatus and method of irregular bone defect detection of dental implant
US20100185113A1 (en) * 2009-01-21 2010-07-22 Teledyne Scientific & Imaging, Llc Coordinating System Responses Based on an Operator's Cognitive Response to a Relevant Stimulus and to the Position of the Stimulus in the Operator's Field of View
US9662977B2 (en) * 2008-01-02 2017-05-30 Hi Tech Robotic Systemz Ltd. Driver state monitoring system
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US8571643B2 (en) 2010-09-16 2013-10-29 Flint Hills Scientific, Llc Detecting or validating a detection of a state change from a template of heart rate derivative shape or heart beat wave complex
US11272874B2 (en) * 2008-01-25 2022-03-15 Flint Hills Scientific, Llc Contingent cardio-protection for epilepsy patients
US8382667B2 (en) * 2010-10-01 2013-02-26 Flint Hills Scientific, Llc Detecting, quantifying, and/or classifying seizures using multimodal data
US8337404B2 (en) 2010-10-01 2012-12-25 Flint Hills Scientific, Llc Detecting, quantifying, and/or classifying seizures using multimodal data
US20090238378A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Enhanced Immersive Soundscapes Production
WO2009134784A2 (en) * 2008-04-28 2009-11-05 University Of Southern California Real time system for readiness monitoring of dismounted soldiers
US8687844B2 (en) 2008-06-13 2014-04-01 Raytheon Company Visual detection system for identifying objects within region of interest
US8437825B2 (en) 2008-07-03 2013-05-07 Cercacor Laboratories, Inc. Contoured protrusion for improving spectroscopic measurement of blood constituents
US20100010370A1 (en) 2008-07-09 2010-01-14 De Lemos Jakob System and method for calibrating and normalizing eye data in emotional testing
US20100152565A1 (en) * 2008-07-15 2010-06-17 Thomas Gordon A Non-invasive tonometer
EP2303627A4 (en) * 2008-07-18 2015-07-29 Optalert Pty Ltd WACHSAMKEITSSENSORVORRICHTUNG
US8203704B2 (en) 2008-08-04 2012-06-19 Cercacor Laboratories, Inc. Multi-stream sensor for noninvasive measurement of blood constituents
US8679012B1 (en) * 2008-08-13 2014-03-25 Cleveland Medical Devices Inc. Medical device and method with improved biometric verification
WO2010018459A2 (en) 2008-08-15 2010-02-18 Imotions - Emotion Technology A/S System and method for identifying the existence and position of text in visual media content and for determining a subject's interactions with the text
JP4406705B1 (ja) * 2008-09-11 2010-02-03 独立行政法人産業技術総合研究所 精神的疲労の測定機能を有する携帯端末装置、そのプログラムおよびサーバコンピュータ
JP4561914B2 (ja) * 2008-09-22 2010-10-13 ソニー株式会社 操作入力装置、操作入力方法、プログラム
US8405610B1 (en) * 2008-10-24 2013-03-26 Sprint Communications Company L.P. Electrooculographical control for a mobile device
US9841811B2 (en) 2008-11-03 2017-12-12 Bruce Reiner Visually directed human-computer interaction for medical applications
CA2745638C (en) * 2008-12-02 2018-06-26 Purdue Research Foundation Radio transparent sensor implant package
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
CN102271757B (zh) * 2008-12-30 2015-11-25 皇家飞利浦电子股份有限公司 用于施予光疗的系统和方法
JP5259429B2 (ja) * 2009-01-05 2013-08-07 株式会社東芝 表示装置
US9782068B2 (en) * 2009-02-02 2017-10-10 The Johns Hopkins University System for diagnosis and therapy of gaze stability
CN105717989B (zh) * 2009-02-27 2020-02-21 艾卡姆有限公司 基于耳机的电信平台
WO2010100567A2 (en) 2009-03-06 2010-09-10 Imotions- Emotion Technology A/S System and method for determining emotional response to olfactory stimuli
JP4651720B2 (ja) * 2009-03-12 2011-03-16 尚治 北島 眼振記録装置及びこれを用いた眼振検査システム
CN102356371B (zh) 2009-03-16 2015-11-25 诺基亚公司 数据处理装置和相关联的用户接口和方法
GB2468731A (en) * 2009-06-26 2010-09-22 Nokia Corp Users gaze direction controlled antenna
FR2943901B1 (fr) 2009-04-01 2017-11-17 E(Ye)Brain Procede et systeme de detection d'anomalies oculomotrices.
US9173582B2 (en) * 2009-04-24 2015-11-03 Advanced Brain Monitoring, Inc. Adaptive performance trainer
US20100271497A1 (en) * 2009-04-28 2010-10-28 Monsive Jr Michael G Portable traffic monitoring system and methods for use
JP5399777B2 (ja) * 2009-05-27 2014-01-29 浜松ホトニクス株式会社 瞬目計測装置及び瞬目計測方法
WO2011002837A2 (en) * 2009-06-30 2011-01-06 University Of Pittsburgh - Of The Commonwealth System Of Higher Education System for at-home eye movement monitoring
US8434869B2 (en) 2009-07-03 2013-05-07 Andrew P. Davis Automated locking apparatus for a slit lamp
US8100532B2 (en) * 2009-07-09 2012-01-24 Nike, Inc. Eye and body movement tracking for testing and/or training
WO2011008793A1 (en) * 2009-07-13 2011-01-20 Emsense Corporation Systems and methods for generating bio-sensory metrics
FR2948205B1 (fr) * 2009-07-16 2011-08-05 Eric Clement Guitteaud Dispositif de montage d'une camera pour systeme de suivi du regard
US9728006B2 (en) * 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
US8025401B2 (en) * 2009-08-05 2011-09-27 Sis Ag, Surgical Instrument Systems Ophthalmological measuring device and measurement method
TWI397865B (zh) * 2009-08-12 2013-06-01 Utechzone Co Ltd Security personnel to monitor the degree of focus monitoring system
US20120139817A1 (en) * 2009-08-13 2012-06-07 Bae Systems Plc Head up display system
US8323216B2 (en) * 2009-09-29 2012-12-04 William Fabian System and method for applied kinesiology feedback
WO2011038457A1 (en) * 2009-09-30 2011-04-07 Lions Eye Institute Limited Imager, module for an imager, imaging system and method
US9610029B2 (en) * 2009-11-19 2017-04-04 The Cleveland Clinic Foundation System and method to facilitate analysis of brain injuries and disorders
JP5578603B2 (ja) * 2009-12-04 2014-08-27 国立大学法人佐賀大学 視線制御装置、視線制御方法、及びそのプログラム
US9373123B2 (en) * 2009-12-30 2016-06-21 Iheartmedia Management Services, Inc. Wearable advertising ratings methods and systems
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US20120194553A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with sensor and user action based control of external devices with feedback
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20120200601A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with state triggered eye control interaction with advertising facility
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8979665B1 (en) 2010-03-22 2015-03-17 Bijan Najafi Providing motion feedback based on user center of mass
US8908043B2 (en) * 2010-04-12 2014-12-09 Symbol Technologies, Inc. System and method for location-based operation of a head mounted display
US8649871B2 (en) 2010-04-29 2014-02-11 Cyberonics, Inc. Validity test adaptive constraint modification for cardiac data used for detection of state changes
US8831732B2 (en) 2010-04-29 2014-09-09 Cyberonics, Inc. Method, apparatus and system for validating and quantifying cardiac beat data quality
US8562536B2 (en) 2010-04-29 2013-10-22 Flint Hills Scientific, Llc Algorithm for detecting a seizure from cardiac data
US8690750B2 (en) 2010-05-14 2014-04-08 Wesley W. O. Krueger System and method for measuring and minimizing the effects of vertigo, motion sickness, motion intolerance, and/or spatial disorientation
US20110298912A1 (en) * 2010-06-02 2011-12-08 Honeywell International Inc. Wavefront sensing for biometric imaging
PL2405662T3 (pl) * 2010-07-08 2013-04-30 Advanced Digital Broadcast Sa System okularów interaktywnych
US8641646B2 (en) 2010-07-30 2014-02-04 Cyberonics, Inc. Seizure detection using coordinate data
US20120050142A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with eye state detection
US9030294B2 (en) * 2010-09-20 2015-05-12 Pulsar Informatics, Inc. Systems and methods for collecting biometrically verified actigraphy data
RU2444275C1 (ru) * 2010-09-30 2012-03-10 Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" Способ и устройство определения пространственного положения глаз для вычисления линии взгляда
US8684921B2 (en) 2010-10-01 2014-04-01 Flint Hills Scientific Llc Detecting, assessing and managing epilepsy using a multi-variate, metric-based classification analysis
WO2012055824A1 (en) * 2010-10-26 2012-05-03 Bae Systems Plc Display assembly, in particular a head-mounted display
WO2012078996A2 (en) * 2010-12-10 2012-06-14 Tk Holdings Inc. System for monitoring a vehicle driver
US9104909B2 (en) * 2010-12-15 2015-08-11 Canon Kabushiki Kaisha Image processing apparatus and method of processing image
JP2012139272A (ja) * 2010-12-28 2012-07-26 Tottori Univ 顔表面の運動機能の測定装置及び測定方法並びに測定用補助具
US9946334B2 (en) * 2010-12-30 2018-04-17 Denso International America, Inc. Method to determine driver workload function and usage of driver workload function for human-machine interface performance assessment
US8753275B2 (en) * 2011-01-13 2014-06-17 BioSensics LLC Intelligent device to monitor and remind patients with footwear, walking aids, braces, or orthotics
US20120212345A1 (en) * 2011-02-18 2012-08-23 Polly Harman Device for the treatment of sleep-related conditions
BR112013022115A2 (pt) * 2011-03-02 2016-12-06 Koninkl Philips Nv dispositivo para melhora cognitiva de um usuário, método para melhora cognitiva de um usuário e sistema para uso por um usuário
US9504390B2 (en) 2011-03-04 2016-11-29 Globalfoundries Inc. Detecting, assessing and managing a risk of death in epilepsy
CN102654644A (zh) * 2011-03-04 2012-09-05 中兴通讯股份有限公司 一种多功能投影眼镜及应用该眼镜的系统
ES2387782B1 (es) * 2011-03-04 2013-05-24 Davalor Consultoria Estrategica Y Tecnologica S.L. Equipo y procedimiento para exploracion, diagnostico o ayuda al diagnostico y terapia de problemas funcionales de la vision
US10895917B2 (en) * 2011-03-12 2021-01-19 Uday Parshionikar Multipurpose controllers and methods
WO2012125596A2 (en) * 2011-03-12 2012-09-20 Parshionikar Uday Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
EP2499964B1 (en) * 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
US9033502B2 (en) 2011-03-18 2015-05-19 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
US9081416B2 (en) 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
US8663125B2 (en) 2011-03-30 2014-03-04 Sharp Laboratories Of America, Inc. Dual path noise detection and isolation for acoustic ambulatory respiration monitoring system
US8663124B2 (en) 2011-03-30 2014-03-04 Sharp Laboratories Of America, Inc. Multistage method and system for estimating respiration parameters from acoustic signal
US8725239B2 (en) 2011-04-25 2014-05-13 Cyberonics, Inc. Identifying seizures using heart rate decrease
TWI446890B (zh) * 2011-04-28 2014-08-01 Crystalvue Medical Corp 攜帶式的眼底檢測裝置
US9402550B2 (en) 2011-04-29 2016-08-02 Cybertronics, Inc. Dynamic heart rate threshold for neurological event detection
WO2012154938A1 (en) 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
WO2012158984A1 (en) * 2011-05-17 2012-11-22 Massachusetts Institute Of Technology Methods and apparatus for assessment of atypical brain activity
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
CN103534739A (zh) * 2011-05-26 2014-01-22 费利切·欧金尼奥·阿格罗 防睡眠眼镜
JP5915000B2 (ja) 2011-06-13 2016-05-11 ソニー株式会社 情報処理装置及びプログラム
US20130012795A1 (en) * 2011-07-05 2013-01-10 Collar Id Llc Apparatus and methods for sensing a parameter with a restraint device
US10866783B2 (en) 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US9757206B2 (en) 2011-08-21 2017-09-12 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
US11561762B2 (en) * 2011-08-21 2023-01-24 Asensus Surgical Europe S.A.R.L. Vocally actuated surgical control system
US9204939B2 (en) 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
US9354445B1 (en) 2011-09-16 2016-05-31 Google Inc. Information processing on a head-mountable device
US9795282B2 (en) 2011-09-20 2017-10-24 M.S.T. Medical Surgery Technologies Ltd Device and method for maneuvering endoscope
US9549677B2 (en) 2011-10-14 2017-01-24 Flint Hills Scientific, L.L.C. Seizure detection methods, apparatus, and systems using a wavelet transform maximum modulus algorithm
US8976110B2 (en) 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
RU2621633C2 (ru) 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR101258025B1 (ko) 2011-11-21 2013-04-25 동아대학교 산학협력단 자동 안약 투여장치
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
CN102496005A (zh) * 2011-12-03 2012-06-13 辽宁科锐科技有限公司 基于眼球特征的审讯辅助研判分析系统
TW201330827A (zh) * 2012-01-19 2013-08-01 Utechzone Co Ltd 依據駕駛反射動作之注意力偵測裝置及其方法
US20130194389A1 (en) * 2012-01-31 2013-08-01 Ben Vaught Head-mounted display device to measure attentiveness
US9076368B2 (en) * 2012-02-06 2015-07-07 Battelle Memorial Institute Image generation systems and image generation methods
WO2014150076A1 (en) 2013-03-14 2014-09-25 N2 Imaging Systems, LLC Intrapersonal data communication system
US9705605B2 (en) 2012-02-09 2017-07-11 N2 Imaging Systems, LLC Intrapersonal data communication system
US9042736B2 (en) 2012-02-09 2015-05-26 N2 Imaging Systems, LLC Intrapersonal data communication systems
EP2815266B1 (en) 2012-02-17 2020-08-19 Oakley, Inc. Systems and methods for removably coupling an electronic device to eyewear
JP6114495B2 (ja) 2012-02-20 2017-04-12 キヤノン株式会社 画像表示装置及び画像表示方法、撮影システム
KR101919009B1 (ko) * 2012-03-06 2018-11-16 삼성전자주식회사 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
US8988519B2 (en) * 2012-03-20 2015-03-24 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
US9116545B1 (en) 2012-03-21 2015-08-25 Hayes Solos Raffle Input detection
CN104780828B (zh) 2012-03-26 2017-10-27 纽约大学 用于评估中枢神经系统完整性的方法和试剂盒
US9201512B1 (en) 2012-04-02 2015-12-01 Google Inc. Proximity sensing for input detection
US9128522B2 (en) 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
US9171198B1 (en) 2012-04-02 2015-10-27 Google Inc. Image capture technique
US9072465B2 (en) * 2012-04-03 2015-07-07 Johnson & Johnson Vision Care, Inc. Blink detection system for electronic ophthalmic lens
US9659336B2 (en) 2012-04-10 2017-05-23 Bags, Inc. Mobile baggage dispatch system and method
HK1160574A2 (en) * 2012-04-13 2012-07-13 King Hei Francis Kwong Secure electronic payment system and process
US10448839B2 (en) 2012-04-23 2019-10-22 Livanova Usa, Inc. Methods, systems and apparatuses for detecting increased risk of sudden death
US9681836B2 (en) 2012-04-23 2017-06-20 Cyberonics, Inc. Methods, systems and apparatuses for detecting seizure and non-seizure states
US9545197B2 (en) 2012-05-04 2017-01-17 Tearscience, Inc. Apparatuses and methods for determining tear film break-up time and/or for detecting lid margin contact and blink rates, particulary for diagnosing, measuring, and/or analyzing dry eye conditions and symptoms
JP5661067B2 (ja) * 2012-05-29 2015-01-28 株式会社ジェイアイエヌ アイウエア
TWI482610B (zh) * 2012-06-05 2015-05-01 Utechzone Co Ltd Two - way communication system
DE102012209667A1 (de) * 2012-06-08 2013-12-12 Oculus Optikgeräte GmbH Verfahren und Analysegerät zur Messung einer Hornhaut
US8724662B2 (en) * 2012-06-25 2014-05-13 Johnson & Johnson Vision Care, Inc. Wireless communication protocol for low power receivers
EP2690838A1 (en) * 2012-07-23 2014-01-29 Alcatel Lucent Authentification system preserving secret data confidentiality
US9298020B1 (en) * 2012-07-26 2016-03-29 Verily Life Sciences Llc Input system
CN103576340A (zh) * 2012-08-03 2014-02-12 刘淼 一种具有鼠标功能的眼镜
US10010270B2 (en) 2012-09-17 2018-07-03 Verily Life Sciences Llc Sensing system
EP2709060B1 (en) 2012-09-17 2020-02-26 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
CN103654715B (zh) * 2012-09-24 2016-04-06 荣晶生物科技股份有限公司 图像检测装置及图像检测方法
KR101273461B1 (ko) * 2012-09-25 2013-06-11 아이피티앤드에이 주식회사 집중력 향상 안경, 단말 및 방법
JP5888205B2 (ja) * 2012-11-02 2016-03-16 ソニー株式会社 画像表示装置並びに情報入力装置
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
US9039179B2 (en) 2012-12-11 2015-05-26 Elwha Llc Unobtrusive active eye interrogation
US20140163329A1 (en) * 2012-12-11 2014-06-12 Elwha Llc Unobtrusive Active Eye Interrogation with Gaze Attractor
US9101297B2 (en) 2012-12-11 2015-08-11 Elwha Llc Time-based unobtrusive active eye interrogation
US9039180B2 (en) 2012-12-11 2015-05-26 Elwah LLC Self-aligning unobtrusive active eye interrogation
CN103699213A (zh) * 2012-12-19 2014-04-02 苏州贝腾特电子科技有限公司 虚拟鼠标双击的控制方法
KR101465020B1 (ko) 2012-12-20 2014-11-27 한국과학기술연구원 인공 의수 제어 장치
CN103902024A (zh) * 2012-12-25 2014-07-02 苏州薇思雨软件科技有限公司 一种基于视觉的新型鼠标
CN103908293B (zh) * 2012-12-28 2018-03-27 通用电气公司 用于测量医学图像的医学成像系统和方法
CN103914130A (zh) * 2013-01-05 2014-07-09 鸿富锦精密工业(武汉)有限公司 显示装置及调整显示装置观测距离的方法
US9625251B2 (en) 2013-01-14 2017-04-18 Massachusetts Eye & Ear Infirmary Facial movement and expression detection and stimulation
US20140204334A1 (en) * 2013-01-18 2014-07-24 William Anthony Stoll Bio-sensors in eyeglasses
US10220211B2 (en) 2013-01-22 2019-03-05 Livanova Usa, Inc. Methods and systems to diagnose depression
US9576316B2 (en) * 2013-02-09 2017-02-21 Todd Christopher Adelmann Dynamic menus
CN103110462B (zh) * 2013-02-21 2014-10-08 河海大学常州校区 自然环境下视觉调节及生物电与行为记录的装置与方法
US9778492B2 (en) * 2013-02-28 2017-10-03 Johnson & Johnson Vision Care, Inc. Electronic ophthalmic lens with lid position sensor
US9035874B1 (en) * 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9418617B1 (en) 2013-03-13 2016-08-16 Google Inc. Methods and systems for receiving input controls
JP2016517325A (ja) * 2013-03-15 2016-06-16 サイモン、アダム、ジェイ. 多面的生理的刺激を行うシステムおよびシグネチャ、および脳の健康評価
WO2014149631A2 (en) 2013-03-15 2014-09-25 Oakley, Inc. Electronic ornamentation for eyewear
EP3981320A1 (en) * 2013-03-15 2022-04-13 Percept Technologies, Inc. Enhanced optical and perceptual digital eyewear
US9213403B1 (en) 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
US9311789B1 (en) 2013-04-09 2016-04-12 BioSensics LLC Systems and methods for sensorimotor rehabilitation
US9226707B2 (en) * 2013-04-26 2016-01-05 Chiming Huang Device and system to reduce traumatic brain injury
US8961440B2 (en) * 2013-04-26 2015-02-24 Chiming Huang Device and system to reduce traumatic brain injury
WO2014179507A1 (en) * 2013-04-30 2014-11-06 White Chester Body impact bracing apparatus
CA2909785C (en) 2013-05-01 2023-09-26 Musc Foundation For Research Development Monitoring neurological functional status
KR102187837B1 (ko) * 2013-05-16 2020-12-07 삼성전자 주식회사 컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템
CN103293673B (zh) * 2013-06-03 2015-04-01 卫荣杰 集成显示器和眼动仪和虹膜识别仪的帽子
DE102013210588A1 (de) * 2013-06-07 2014-12-11 Bayerische Motoren Werke Aktiengesellschaft Anzeigensystem mit Datenbrille
GB201310379D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
CN205691887U (zh) 2013-06-12 2016-11-16 奥克利有限公司 模块化通信系统和眼镜通信系统
JP6676522B2 (ja) 2013-06-17 2020-04-08 ニューヨーク ユニバーシティ 対象における眼球運動を追跡するためのデバイスの作動方法、および当該デバイスによって追跡された眼球運動のデータの中枢神経系病変を位置特定するための使用方法
CN104238726B (zh) * 2013-06-17 2017-07-18 腾讯科技(深圳)有限公司 智能眼镜控制方法、装置及一种智能眼镜
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US9146618B2 (en) 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
US9668646B2 (en) 2013-06-28 2017-06-06 Verily Life Sciences Llc Devices and methods for a contact lens with an inward facing light source
CN103356164B (zh) * 2013-07-12 2016-07-27 北京阳明智道光电科技有限公司 一种视觉健康舒适度的测量系统及测量方法
US9996151B2 (en) * 2013-07-19 2018-06-12 Sony Corporation Detecting eye movement based on a wearable detection apparatus
TWI505260B (zh) * 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
US9286726B2 (en) 2013-08-20 2016-03-15 Ricoh Company, Ltd. Mobile information gateway for service provider cooperation
US10089684B2 (en) 2013-08-20 2018-10-02 Ricoh Company, Ltd. Mobile information gateway for customer identification and assignment
US9665901B2 (en) 2013-08-20 2017-05-30 Ricoh Company, Ltd. Mobile information gateway for private customer interaction
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US10095833B2 (en) 2013-09-22 2018-10-09 Ricoh Co., Ltd. Mobile information gateway for use by medical personnel
US9763071B2 (en) 2013-09-22 2017-09-12 Ricoh Company, Ltd. Mobile information gateway for use in emergency situations or with special equipment
KR20150037251A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법
EP3056939B1 (en) * 2013-10-08 2023-12-20 Tokai Optical Co., Ltd. Evaluation method for evaluating an eyeglass lens, design method for designing an eyeglass lens using the evaluation method
US9226705B2 (en) * 2013-10-11 2016-01-05 David G. Austin Human performance enhancement method and apparatus
WO2015054679A1 (en) 2013-10-11 2015-04-16 Marcio Marc Abreu Method and apparatus for biological evaluation
US11089984B2 (en) * 2013-10-11 2021-08-17 David G. Austin Human performance enhancement method and apparatus using wave of electrical stimuli
US9736373B2 (en) * 2013-10-25 2017-08-15 Intel Corporation Dynamic optimization of light source power
WO2015069477A1 (en) * 2013-11-08 2015-05-14 The Curators Of The University Of Missouri Device to measure pupillary light reflex in infants and toddlers
WO2015073664A2 (en) * 2013-11-15 2015-05-21 Tearscience, Inc. Apparatuses and methods for detecting lid margin contact and blink rates, particularly for diagnosing, measuring, and/or analyzing dry eye conditions and symptoms
US20150139486A1 (en) * 2013-11-21 2015-05-21 Ziad Ali Hassan Darawi Electronic eyeglasses and method of manufacture thereto
JP6462209B2 (ja) * 2013-12-03 2019-01-30 浜松ホトニクス株式会社 計測装置及び計測方法
RU2572749C2 (ru) * 2013-12-09 2016-01-20 Общество с ограниченной ответственностью "Восприятие"-центр исследования и коррекции зрения Устройство для исследования, установления, восстановления, развития функций бинокулярного зрения и повышения остроты зрения
JP6227996B2 (ja) * 2013-12-18 2017-11-08 浜松ホトニクス株式会社 計測装置及び計測方法
US10335040B2 (en) 2014-01-10 2019-07-02 Geelux Holdings, Ltd. Device for measuring the infrared output of the Abreu brain thermal tunnel
US9867563B2 (en) * 2014-01-10 2018-01-16 Carleton Life Support Systems Inc. Reduced cognitive function detection and alleviation system for a pilot
CA2936235A1 (en) 2014-01-10 2015-07-16 Marcio Marc Abreu Devices to monitor and provide treatment at an abreu brain tunnel
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
WO2015107681A1 (ja) 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US12105281B2 (en) 2014-01-21 2024-10-01 Mentor Acquisition One, Llc See-through computer display systems
US9811153B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9615742B2 (en) * 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9746676B2 (en) 2014-01-21 2017-08-29 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
JP2017503604A (ja) 2014-01-22 2017-02-02 マーシオ マーク アブリュー Abreu脳熱トンネルでの治療を提供するように構成されたデバイス
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20160018654A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US12112089B2 (en) 2014-02-11 2024-10-08 Mentor Acquisition One, Llc Spatial location presentation in head worn computing
US9237847B2 (en) 2014-02-11 2016-01-19 Welch Allyn, Inc. Ophthalmoscope device
US9211064B2 (en) 2014-02-11 2015-12-15 Welch Allyn, Inc. Fundus imaging system
CN103777759A (zh) * 2014-02-18 2014-05-07 马根昌 电子眼镜动作识别系统
CN104850217A (zh) * 2014-02-19 2015-08-19 联想(北京)有限公司 一种人眼动作监测装置、方法及设备
EP3110308B1 (en) 2014-02-28 2023-09-06 Board of Regents, The University of Texas System System for traumatic brain injury detection using oculomotor tests
US9895099B2 (en) 2014-02-28 2018-02-20 Board Of Regents, The University Of Texas System System for acceleration measurements and traumatic brain injury detection
KR101567194B1 (ko) 2014-03-04 2015-11-06 현대자동차주식회사 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
DE102014206626A1 (de) * 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Müdigkeitserkennung mithilfe von Datenbrillen (HMD)
RU2551799C1 (ru) * 2014-04-09 2015-05-27 Алексей Леонидович УШАКОВ Составное носимое устройство электросвязи
KR20150119636A (ko) * 2014-04-16 2015-10-26 엘지전자 주식회사 노티피케이션을 제공하는 hmd 디바이스 및 그 제어 방법
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
AU2015255652B2 (en) 2014-05-09 2018-03-29 Google Llc Systems and methods for using eye signals with secure mobile communications
WO2015189839A1 (en) * 2014-06-08 2015-12-17 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery utilizing a touch screen
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
CN106687037B (zh) * 2014-06-20 2019-11-19 弗劳恩霍夫应用研究促进协会 用于检测瞬时睡眠的设备、方法和计算机程序
US9411456B2 (en) * 2014-06-25 2016-08-09 Google Technology Holdings LLC Embedded light-sensing component
US9961307B1 (en) * 2014-06-30 2018-05-01 Lee S. Weinblatt Eyeglass recorder with multiple scene cameras and saccadic motion detection
CN104079972B (zh) * 2014-06-30 2018-12-07 惠州Tcl移动通信有限公司 一种检测用户在睡眠状态下自动关闭电视的方法及系统
GB2544906B (en) * 2014-07-04 2020-11-11 Libra At Home Ltd Devices for treating vestibular and other medical impairments.
AU2015301370B2 (en) 2014-08-04 2020-04-30 New York University Methods and kits for diagnosing, assessing or quantitating drug use, drug abuse and narcosis, internuclear ophthalmoplegia, attention deficit hyperactivity disorder (ADHD), chronic traumatic encephalopathy, schizophrenia spectrum disorders and alcohol consumption
US11974847B2 (en) 2014-08-07 2024-05-07 Nintendo Co., Ltd. Information processing system, information processing device, storage medium storing information processing program, and information processing method
WO2016028877A1 (en) * 2014-08-22 2016-02-25 Brien Holden Vision Diagnostics Systems, methods and devices for monitoring eye movement to test a visual field
KR102367550B1 (ko) * 2014-09-02 2022-02-28 삼성전자 주식회사 생체 신호를 이용한 카메라 모듈의 제어
US10448867B2 (en) 2014-09-05 2019-10-22 Vision Service Plan Wearable gait monitoring apparatus, systems, and related methods
US11918375B2 (en) 2014-09-05 2024-03-05 Beijing Zitiao Network Technology Co., Ltd. Wearable environmental pollution monitor computer apparatus, systems, and related methods
US10617342B2 (en) 2014-09-05 2020-04-14 Vision Service Plan Systems, apparatus, and methods for using a wearable device to monitor operator alertness
FR3025711B1 (fr) * 2014-09-15 2020-12-25 Acep France Dispositif de mesure des caracteristiques physiologiques de l'oeil, pour un patient porteur de lunettes a verres teintes
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
ES2632494T3 (es) * 2014-10-13 2017-09-13 MY E.G. Services Berhad Procedimiento y sistema para mejorar la seguridad vial
DE102014222355A1 (de) * 2014-11-03 2016-05-04 Bayerische Motoren Werke Aktiengesellschaft Müdigkeitserkennung mit Sensoren einer Datenbrille
CN105617504A (zh) * 2014-11-07 2016-06-01 英业达科技有限公司 助眠系统及其助眠方法
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US10188311B2 (en) * 2015-12-04 2019-01-29 Chiming Huang Device to reduce traumatic brain injury
US11298040B2 (en) * 2014-12-05 2022-04-12 Chiming Huang Device to reduce traumatic brain injury
US10729370B2 (en) * 2014-12-10 2020-08-04 Rosalind Franklin University Of Medicine And Science Mobile sensor system and methods for use
WO2016092563A2 (en) * 2014-12-11 2016-06-16 Indian Institute Of Technology Gandhinagar Smart eye system for visuomotor dysfuntion diagnosis and its operant conditioning
CN104539932B (zh) * 2014-12-18 2017-10-10 青岛歌尔声学科技有限公司 一种3d眼镜相机
WO2016103877A1 (ja) * 2014-12-26 2016-06-30 ソニー株式会社 制御装置
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US9489817B2 (en) * 2015-01-29 2016-11-08 Vigo Technologies, Inc. Infrared sensing of eye and eyelid movements to detect drowsiness
US10215568B2 (en) 2015-01-30 2019-02-26 Vision Service Plan Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US11045088B2 (en) 2015-02-27 2021-06-29 Welch Allyn, Inc. Through focus retinal image capturing
US10799115B2 (en) 2015-02-27 2020-10-13 Welch Allyn, Inc. Through focus retinal image capturing
AU2016228998A1 (en) 2015-03-10 2017-09-28 Marcio Marc Abreu Devices, apparatuses, systems, and methods for measuring temperature of an ABTT terminus
IL303037A (en) 2015-03-10 2023-07-01 Eyefree Assisting Communication Ltd A system and method of communication through visual feedback
NZ773844A (en) * 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
CN104794438A (zh) * 2015-04-08 2015-07-22 天脉聚源(北京)教育科技有限公司 一种人物状态监测方法及装置
DE102015207337B4 (de) * 2015-04-22 2024-06-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Unterhaltung mindestens eines Insassen eines Kraftfahrzeugs
US9848075B1 (en) * 2015-05-14 2017-12-19 Invoy Technologies, Llc Communication system for pairing user devices with medical devices
NZ737402A (en) 2015-05-19 2023-06-30 Magic Leap Inc Dual composite light field device
JP7043262B2 (ja) 2015-06-30 2022-03-29 スリーエム イノベイティブ プロパティズ カンパニー 照明器
EP3113134B1 (en) * 2015-07-01 2019-03-06 Essilor International A user fatigue level analysis component
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10413182B2 (en) * 2015-07-24 2019-09-17 Johnson & Johnson Vision Care, Inc. Biomedical devices for biometric based information communication
US10136804B2 (en) 2015-07-24 2018-11-27 Welch Allyn, Inc. Automatic fundus image capture system
MX2018001537A (es) * 2015-08-07 2018-04-24 Koninklijke Philips Nv Dispositivo y sistema para monitorear un ojo de un sujeto.
CN105093919A (zh) * 2015-08-13 2015-11-25 小米科技有限责任公司 闹钟管理方法及装置、电子设备
CN108700933B (zh) * 2015-09-24 2021-11-30 托比股份公司 能够进行眼睛追踪的可穿戴设备
CN105380590B (zh) * 2015-10-27 2017-11-07 杭州镜之镜科技有限公司 一种具有眼位检测功能的设备及其实现方法
US10506165B2 (en) 2015-10-29 2019-12-10 Welch Allyn, Inc. Concussion screening system
US9676395B2 (en) 2015-10-30 2017-06-13 Ford Global Technologies, Llc Incapacitated driving detection and prevention
US10772495B2 (en) 2015-11-02 2020-09-15 Welch Allyn, Inc. Retinal image capturing
US10113837B2 (en) 2015-11-03 2018-10-30 N2 Imaging Systems, LLC Non-contact optical connections for firearm accessories
JP6796642B2 (ja) 2015-11-10 2020-12-09 ダイアグノーシス・エルエルシー 電気生理学的信号を評価するための方法および装置
IL294038A (en) * 2015-12-04 2022-08-01 Univ Iowa Res Found Device, systems and methods for prediction, screening and monitoring of encephalopathy / delirium
CN106900824B (zh) * 2015-12-23 2021-02-26 迈因食品加工有限公司 家禽检验及从其中分离内脏包的流水线和方法
US10413179B2 (en) 2016-01-07 2019-09-17 Welch Allyn, Inc. Infrared fundus imaging system
CN105640488B (zh) * 2016-01-28 2017-12-08 北京爱生科贸有限公司 一种用于眼球运动监测的虚拟目镜装置
CN106214118A (zh) * 2016-01-28 2016-12-14 北京爱生科贸有限公司 一种基于虚拟现实的眼球运动监测系统
CN105748250B (zh) * 2016-01-29 2019-05-21 上海威炫医疗器械有限公司 人体晕眩治疗装置
US10367927B2 (en) * 2016-02-01 2019-07-30 Logitech Europe, S.A. Wearable device with an antenna system
US10169560B2 (en) * 2016-02-04 2019-01-01 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Stimuli-based authentication
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10172517B2 (en) 2016-02-25 2019-01-08 Samsung Electronics Co., Ltd Image-analysis for assessing heart failure
CN105607284A (zh) * 2016-02-25 2016-05-25 侯绪华 一种液晶眼镜
US11164596B2 (en) 2016-02-25 2021-11-02 Samsung Electronics Co., Ltd. Sensor assisted evaluation of health and rehabilitation
US10420514B2 (en) 2016-02-25 2019-09-24 Samsung Electronics Co., Ltd. Detection of chronotropic incompetence
US10362998B2 (en) 2016-02-25 2019-07-30 Samsung Electronics Co., Ltd. Sensor-based detection of changes in health and ventilation threshold
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
KR102358677B1 (ko) * 2016-03-07 2022-02-03 매직 립, 인코포레이티드 생체 인증 보안을 위한 청색 광 조정
CN109155837A (zh) 2016-03-18 2019-01-04 南澳大利亚大学 一种情绪感知的可穿戴的电话会议系统
US10206620B2 (en) * 2016-03-23 2019-02-19 Intel Corporation User's physiological context measurement method and apparatus
JP6728863B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 情報処理システム
US10582908B2 (en) * 2016-04-01 2020-03-10 Intel Corporation Sleep management device and methods for operation
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
RU171527U1 (ru) * 2016-05-17 2017-06-05 Ярослав Валерьевич Голуб Устройство для обнаружения признаков засыпания водителей транспортных средств
CN105934028B (zh) * 2016-05-25 2017-11-10 北京易迈医疗科技有限公司 一种自适应照明调节系统以及医用头盔
TWI597049B (zh) * 2016-06-01 2017-09-01 清弘生醫股份有限公司 可穿戴式眼溫監測裝置及其系統
WO2017216800A1 (en) * 2016-06-16 2017-12-21 Hadasit Medical Research Services And Development Ltd. Device and method for determination of pupil size in a subject having closed eyelids
US10430746B2 (en) 2016-06-17 2019-10-01 Predictive Safety Srp, Inc. Area access control system and method
KR102491130B1 (ko) * 2016-06-20 2023-01-19 매직 립, 인코포레이티드 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
US9736810B1 (en) * 2016-06-24 2017-08-15 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Systems and methods for managing user notifications based on user interaction with a computing device
JP6753173B2 (ja) * 2016-06-30 2020-09-09 オムロン株式会社 異常処理システム
CN106027988A (zh) * 2016-07-05 2016-10-12 珠海爱司马特数码科技有限公司 一种无线监控系统
AU2017305321B2 (en) 2016-08-02 2022-12-22 New York University Methods and kits for assessing neurological function and localizing neurological lesions
CN106419832B (zh) * 2016-08-22 2018-03-02 宁波远志立方能源科技有限公司 智能眼疾检测眼镜
US10602926B2 (en) 2016-09-29 2020-03-31 Welch Allyn, Inc. Through focus retinal image capturing
US10067565B2 (en) * 2016-09-29 2018-09-04 Intel Corporation Methods and apparatus for identifying potentially seizure-inducing virtual reality content
US10285589B2 (en) 2016-09-30 2019-05-14 Welch Allyn, Inc. Fundus image capture system
EP3305176A1 (en) * 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
CN109804422B (zh) * 2016-10-11 2021-11-02 东海光学株式会社 眼球运动测量装置和眼球运动分析系统
US10925479B2 (en) * 2016-10-13 2021-02-23 Ronald Michael Kurtz Networked system of mobile communication platforms for nonpharmacologic constriction of a pupil
GB2598245B (en) * 2016-10-14 2022-09-28 Facense Ltd Clip-on device with inward-facing visible-light camera
US20180125405A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Mental state estimation using feature of eye movement
US20180125406A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Mental state estimation using relationship of pupil dynamics between eyes
US10660517B2 (en) 2016-11-08 2020-05-26 International Business Machines Corporation Age estimation using feature of eye movement
CN108078570B (zh) * 2016-11-21 2024-06-25 南通九诺医疗科技有限公司 一种内置加速度传感器的动态血糖监测电路及其控制方法
US10757328B2 (en) 2016-12-23 2020-08-25 Microsoft Technology Licensing, Llc Eye tracking using video information and electrooculography information
CA2953752A1 (en) 2017-01-06 2018-07-06 Libra At Home Ltd Virtual reality apparatus and methods therefor
US10182755B2 (en) 2017-01-06 2019-01-22 Jacques Ohayon Pupil distortion measurement and psychiatric diagnosis method
CN106901692A (zh) * 2017-01-11 2017-06-30 广东小天才科技有限公司 虚拟现实设备
EP3574360B1 (en) 2017-01-28 2024-07-10 Lumus Ltd. Augmented reality imaging system
JP7113599B2 (ja) * 2017-02-16 2022-08-05 住友重機械工業株式会社 ショベル
DE102017202659A1 (de) 2017-02-20 2018-08-23 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur Erkennung der Müdigkeit eines Fahrzeugführers
EP3397998A4 (en) 2017-02-22 2019-04-17 Lumus Ltd. OPTICAL LIGHT GUIDE ASSEMBLY
GB2604076B (en) * 2017-02-27 2022-12-28 Emteq Ltd Optical flow sensor muscle detection
GB2561537B (en) 2017-02-27 2022-10-12 Emteq Ltd Optical expression detection
KR102451702B1 (ko) 2017-03-30 2022-10-05 매직 립, 인코포레이티드 비차단 이중 드라이버 이어폰들
US10977858B2 (en) 2017-03-30 2021-04-13 Magic Leap, Inc. Centralized rendering
US11452444B2 (en) * 2017-04-03 2022-09-27 Hewlett-Packard Development Company, L.P. Moving image rendering using eye-tracking sensor signal
RU181997U1 (ru) * 2017-04-03 2018-07-31 Евгения Анатольевна Филиппова Коммуникатор для людей с нарушениями речи
CN113721368A (zh) * 2017-04-04 2021-11-30 国立大学法人福井大学 影像生成装置
IL269861B2 (en) 2017-04-14 2023-11-01 Magic Leap Inc Multimodal eye tracking
US9910298B1 (en) 2017-04-17 2018-03-06 Vision Service Plan Systems and methods for a computerized temple for use with eyewear
US10765380B2 (en) * 2017-04-20 2020-09-08 Bradford R Everman Systems and methods for measuring physiological parameters
US11559252B2 (en) 2017-05-08 2023-01-24 Starkey Laboratories, Inc. Hearing assistance device incorporating virtual audio interface for therapy guidance
US11079522B1 (en) 2017-05-31 2021-08-03 Magic Leap, Inc. Fiducial design
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
JP7252438B2 (ja) * 2017-08-17 2023-04-05 テイ・エス テック株式会社 異常検知装置及びシート
US11607142B2 (en) 2017-08-15 2023-03-21 Ts Tech Co., Ltd. Biosensor arrangement structure
WO2019060298A1 (en) 2017-09-19 2019-03-28 Neuroenhancement Lab, LLC METHOD AND APPARATUS FOR NEURO-ACTIVATION
US10809796B2 (en) 2017-09-29 2020-10-20 Apple Inc. Monitoring a user of a head-wearable electronic device
CN107518871A (zh) * 2017-10-09 2017-12-29 中山大学中山眼科中心 眼组织测量装置及系统
WO2019079523A1 (en) 2017-10-17 2019-04-25 Magic Leap, Inc. SPACE AUDIO WITH MIXED REALITY
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
JP2021506052A (ja) 2017-12-07 2021-02-18 アイフリー アシスティング コミュニケ−ション リミテッドEyeFree Assisting Communication Ltd. コミュニケーション方法及びシステム
CN108245748A (zh) * 2017-12-21 2018-07-06 北京怡和嘉业医疗科技股份有限公司 面罩、呼吸机系统及该呼吸机系统执行的方法
EP3731749A4 (en) 2017-12-31 2022-07-27 Neuroenhancement Lab, LLC NEURO-ACTIVATION SYSTEM AND METHOD FOR ENHANCING EMOTIONAL RESPONSE
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3749172B1 (en) 2018-02-09 2022-03-30 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
EP3524135A1 (en) * 2018-02-13 2019-08-14 Essilor International (Compagnie Generale D'optique) Wearable binocular optoelectronic device for measuring light sensitivity threshold of a user
JP7313361B2 (ja) 2018-02-15 2023-07-24 マジック リープ, インコーポレイテッド 複合現実楽器
CN116781827A (zh) 2018-02-15 2023-09-19 奇跃公司 混合现实虚拟混响
CA3090281A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Dual listener positions for mixed reality
DE102018103879B4 (de) * 2018-02-21 2021-01-21 Stellar Data Broadcast Services Gmbh Fahrtüchtigkeitstestgerät
FR3078410B1 (fr) * 2018-02-28 2020-03-13 Universite De Lorraine Dispositif d'exploration du systeme visuel
JP7395489B2 (ja) * 2018-03-09 2023-12-11 チルドレンズ ホスピタル アンド リサーチ センター アット オークランド 発作を検出および/または予測する方法
CN108549838B (zh) * 2018-03-13 2022-01-14 心科(上海)网络科技有限公司 一种基于视觉系统的辅助监督方法
US11240057B2 (en) * 2018-03-15 2022-02-01 Lenovo (Singapore) Pte. Ltd. Alternative output response based on context
WO2019190174A1 (en) 2018-03-26 2019-10-03 Samsung Electronics Co., Ltd. Electronic device for monitoring health of eyes of user and method for operating the same
US11237639B2 (en) 2018-03-27 2022-02-01 Iowa Adaptive Technologies, Inc. Method and system for electronic communication by persons with disabilities
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
JP2021522552A (ja) 2018-04-24 2021-08-30 メンター アクイジション ワン, エルエルシー 視覚補正および増加されたコンテンツ密度を有するシースルーコンピュータディスプレイシステム
US10367931B1 (en) 2018-05-09 2019-07-30 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive communication assistant for enhancing ability and efficiency of users communicating comprehension
US10753709B2 (en) 2018-05-17 2020-08-25 Sensors Unlimited, Inc. Tactical rails, tactical rail systems, and firearm assemblies having tactical rails
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US11096574B2 (en) 2018-05-24 2021-08-24 Welch Allyn, Inc. Retinal image capturing
US10958830B2 (en) 2018-05-24 2021-03-23 Magna Electronics Inc. Vehicle vision system with infrared LED synchronization
US10667072B2 (en) 2018-06-12 2020-05-26 Magic Leap, Inc. Efficient rendering of virtual soundfields
DE102018209440A1 (de) * 2018-06-13 2019-12-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Beeinflussung von Systemen zur Aufmerksamkeitsüberwachung
WO2019241754A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Reverberation gain normalization
WO2019241760A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Methods and systems for audio signal filtering
CN112567767B (zh) 2018-06-18 2023-01-03 奇跃公司 用于交互式音频环境的空间音频
CN112513983A (zh) 2018-06-21 2021-03-16 奇跃公司 可穿戴系统语音处理
US20210259621A1 (en) * 2018-06-27 2021-08-26 Cortexxus Inc. Wearable system for brain health monitoring and seizure detection and prediction
US10645348B2 (en) 2018-07-07 2020-05-05 Sensors Unlimited, Inc. Data communication between image sensors and image displays
US11079202B2 (en) 2018-07-07 2021-08-03 Sensors Unlimited, Inc. Boresighting peripherals to digital weapon sights
EP4366337A3 (en) 2018-07-24 2024-07-10 Magic Leap, Inc. Application sharing
US10722128B2 (en) 2018-08-01 2020-07-28 Vision Service Plan Heart rate detection system and method
CN109192275A (zh) * 2018-08-06 2019-01-11 百度在线网络技术(北京)有限公司 人物精神状态的确定方法、装置及服务器
US10742913B2 (en) 2018-08-08 2020-08-11 N2 Imaging Systems, LLC Shutterless calibration
IL280934B2 (en) 2018-08-26 2023-10-01 Lumus Ltd Suppression of reflection in displays close to the eyes
CN110603513B (zh) * 2018-08-27 2023-08-29 深圳市汇顶科技股份有限公司 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法
WO2020042843A1 (en) 2018-08-27 2020-03-05 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light
US10719127B1 (en) * 2018-08-29 2020-07-21 Rockwell Collins, Inc. Extended life display by utilizing eye tracking
US10921578B2 (en) 2018-09-07 2021-02-16 Sensors Unlimited, Inc. Eyecups for optics
WO2020056418A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
CA3112932A1 (en) * 2018-09-19 2020-03-26 Avedro, Inc. Systems and methods for eye tracking during eye treatment
WO2020056526A1 (en) * 2018-09-21 2020-03-26 R.F. Wireless Systems Inc. Wireless camera system
EP3857291A4 (en) 2018-09-25 2021-11-24 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR EXTENDED REALITY
JP7194271B2 (ja) 2018-10-05 2022-12-21 マジック リープ, インコーポレイテッド 近接場オーディオレンダリング
JP7545960B2 (ja) 2018-10-05 2024-09-05 マジック リープ, インコーポレイテッド オーディオ空間化のための強調
EP3864575A4 (en) 2018-10-09 2021-12-01 Magic Leap, Inc. VIRTUAL AND AUGMENTED REALITY SYSTEMS AND PROCESSES
CN109350005B (zh) * 2018-10-23 2023-11-24 中国科学院苏州生物医学工程技术研究所 用于双目疲劳度测量装置的光学系统
WO2020086760A2 (en) 2018-10-24 2020-04-30 Magic Leap, Inc. Asynchronous asic
US11122698B2 (en) 2018-11-06 2021-09-14 N2 Imaging Systems, LLC Low stress electronic board retainers and assemblies
US10801813B2 (en) 2018-11-07 2020-10-13 N2 Imaging Systems, LLC Adjustable-power data rail on a digital weapon sight
TWM642752U (zh) 2018-11-08 2023-06-21 以色列商魯姆斯有限公司 用於將圖像顯示到觀察者的眼睛中的顯示器
US10796860B2 (en) 2018-12-12 2020-10-06 N2 Imaging Systems, LLC Hermetically sealed over-molded button assembly
US11277697B2 (en) 2018-12-15 2022-03-15 Starkey Laboratories, Inc. Hearing assistance system with enhanced fall detection features
CN109646784A (zh) * 2018-12-21 2019-04-19 华东计算技术研究所(中国电子科技集团公司第三十二研究所) 基于沉浸式vr的失眠障碍心理治疗系统和方法
US11638563B2 (en) 2018-12-27 2023-05-02 Starkey Laboratories, Inc. Predictive fall event management system and method of using same
US11221814B2 (en) 2018-12-27 2022-01-11 Magic Leap, Inc. Systems and methods for virtual and augmented reality
CN111387933B (zh) * 2019-01-02 2023-05-05 见臻科技股份有限公司 监控视觉疲劳的方法和光学系统
US11143838B2 (en) 2019-01-08 2021-10-12 N2 Imaging Systems, LLC Optical element retainers
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
TWI683132B (zh) * 2019-01-31 2020-01-21 創新服務股份有限公司 人臉眼睛定位系統在顯微鏡的應用
CN113748462A (zh) 2019-03-01 2021-12-03 奇跃公司 确定用于语音处理引擎的输入
CN109965843B (zh) * 2019-03-14 2022-05-24 华南师范大学 一种基于滤波传像的眼动系统
CN110101387A (zh) * 2019-04-30 2019-08-09 华南师范大学 一种护目镜控制器
US11600109B2 (en) * 2019-05-20 2023-03-07 Barry Katz Smart eyeglasses for special needs children and adults
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
JP7336266B2 (ja) * 2019-06-04 2023-08-31 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
WO2020244752A1 (en) 2019-06-05 2020-12-10 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2020247863A1 (en) 2019-06-06 2020-12-10 Magic Leap, Inc. Photoreal character configurations for spatial computing
US11443570B2 (en) * 2019-06-11 2022-09-13 Raytheon Technologies Corporation Data storage in a helmet system
EP3987380B1 (en) * 2019-06-18 2024-10-16 Pupil Labs GmbH Systems and methods for determining one or more parameters of a user's eye
US12095940B2 (en) 2019-07-19 2024-09-17 Starkey Laboratories, Inc. Hearing devices using proxy devices for emergency communication
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
IL268575B2 (en) * 2019-08-07 2023-02-01 Eyefree Assisting Communication Ltd A system and method for monitoring a patient
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
US10821886B1 (en) 2019-08-13 2020-11-03 International Business Machines Corporation Sensor-based acknowledgments between road traffic participants
KR20220054827A (ko) * 2019-08-28 2022-05-03 바이오트릴리언, 인크. 동공 반응을 평가하기 위한 시스템 및 방법
CN114830182A (zh) 2019-10-18 2022-07-29 奇跃公司 视觉惯性里程计的重力估计和光束法平差
US11304017B2 (en) 2019-10-25 2022-04-12 Magic Leap, Inc. Reverberation fingerprint estimation
WO2021081442A1 (en) 2019-10-25 2021-04-29 Magic Leap, Inc. Non-uniform stereo rendering
US11959997B2 (en) 2019-11-22 2024-04-16 Magic Leap, Inc. System and method for tracking a wearable device
CN115698847A (zh) 2019-12-04 2023-02-03 奇跃公司 可变间距彩色发射显示器
EP4070284A4 (en) 2019-12-06 2023-05-24 Magic Leap, Inc. ENVIRONMENTAL ACOUSTIC PERSISTENCE
EP4073689A4 (en) 2019-12-09 2022-12-14 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR THE OPERATION OF A USER IDENTIFICATION-BASED HEAD-MOUNTED DISPLAY
JP7330507B2 (ja) * 2019-12-13 2023-08-22 株式会社Agama-X 情報処理装置、プログラム、及び、方法
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
CN115066203A (zh) 2020-01-13 2022-09-16 梅西莫股份有限公司 具有生理参数监测的可穿戴设备
WO2021163224A1 (en) 2020-02-10 2021-08-19 Magic Leap, Inc. Dynamic colocation of virtual content
CN115698818B (zh) 2020-02-14 2024-01-23 奇跃公司 会话管理器
US11763559B2 (en) 2020-02-14 2023-09-19 Magic Leap, Inc. 3D object annotation
EP4104456A4 (en) 2020-02-14 2023-07-19 Magic Leap, Inc. AUDIO PLAYBACK WITH MULTIPLE APPLICATIONS
EP4104000A4 (en) 2020-02-14 2023-07-12 Magic Leap, Inc. TOOL BRIDGE
US11778410B2 (en) 2020-02-14 2023-10-03 Magic Leap, Inc. Delayed audio following
JP2023515886A (ja) 2020-03-02 2023-04-14 マジック リープ, インコーポレイテッド 没入型のオーディオプラットフォーム
US12020583B2 (en) * 2020-03-10 2024-06-25 Honeywell International Inc. Systems and methods providing assist-to-land and emergency land functions
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
AU2020100831B4 (en) * 2020-05-24 2020-10-01 Gao, Jianqun MR A wearable pair of glasses for detecting Parkinson’s disease
JP2023527561A (ja) 2020-05-29 2023-06-29 マジック リープ, インコーポレイテッド 表面の適切な衝突
EP4158615A4 (en) 2020-05-29 2023-11-15 Magic Leap, Inc. DETERMINATION OF ANGULAR ACCELERATION
DE102020206822A1 (de) * 2020-06-02 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben einer Datenbrille
DE102020208459A1 (de) 2020-07-07 2022-01-13 Attila Kis Vorrichtung zur Benetzung des menschlichen Auges mit einer Flüssigkeit sowie ein Verfahren zum Betrieb einer solchen Vorrichtung
TWI746066B (zh) * 2020-07-20 2021-11-11 陳皓雲 以近接感測器檢測眨眼之方法及系統
WO2022027030A1 (en) * 2020-07-27 2022-02-03 Cognito Therapeutics, Inc. Sensory gamma stimulation therapy improves sleep quality and maintains functional ability in alzheimers disease patients
CN112102831A (zh) * 2020-09-15 2020-12-18 海南大学 跨数据、信息、知识模态的内容编解码方法及组件
WO2022093247A1 (en) * 2020-10-29 2022-05-05 Hewlett-Packard Development Company, L.P. Facial gesture mask
US11803237B2 (en) 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
WO2022109858A1 (zh) * 2020-11-25 2022-06-02 中国科学院深圳先进技术研究院 一种眼动追踪装置及方法
CN112766050B (zh) * 2020-12-29 2024-04-16 富泰华工业(深圳)有限公司 着装及作业检查方法、计算机装置及存储介质
WO2022162424A1 (en) * 2021-01-29 2022-08-04 Davari Mohammad Mehdi Headgear for biometric study
EP4071545A1 (en) * 2021-04-07 2022-10-12 Essilor International Eyewear device with photosensitive sensors arranged on temples
US12118825B2 (en) * 2021-05-03 2024-10-15 NeuraLight Ltd. Obtaining high-resolution oculometric parameters
JPWO2022234383A1 (ko) * 2021-05-07 2022-11-10
KR102406823B1 (ko) * 2021-05-27 2022-06-10 성균관대학교산학협력단 망막 질환 및 치매 진단용 스마트 리모컨 장치 및 이를 이용한 자가 진단 방법
EP4373388A1 (en) * 2021-07-22 2024-05-29 Eyefree Assisting Communication Ltd. A system for communication with a patient based on the determined sedation state
WO2023023226A2 (en) * 2021-08-18 2023-02-23 Diagnosys LLC System comprising integrated dichoptic flash and pupillometry monitoring, and method for using the same
WO2023037348A1 (en) * 2021-09-13 2023-03-16 Benjamin Simon Thompson System and method for monitoring human-device interactions
CN113925716B (zh) * 2021-10-22 2023-08-04 河南省中医院(河南中医药大学第二附属医院) 中医神经内科用多功能护理架及控制方法
US20230218207A1 (en) * 2022-01-13 2023-07-13 Pixart Imaging Inc. Substance concentration measuring device, substance concentration measuring method and human condition monitoring system
US20230284974A1 (en) * 2022-03-09 2023-09-14 Weneuro Inc. Systems and methods for diagnosing, assessing, and quantifying sedative effects
WO2023187819A1 (en) * 2022-03-26 2023-10-05 Tvs Motor Company Limited A headgear
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system
CN118121154B (zh) * 2024-02-07 2024-09-10 中国海洋大学 一种潜水员氮醉状态检测方法及检测系统
CN118507013A (zh) * 2024-04-30 2024-08-16 南京鼓楼医院 一种基于眼动追踪技术的远程探视系统

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3689135A (en) * 1971-01-26 1972-09-05 Laurence R Young Method for monitoring movement of a subject{40 s eyes
US3863243A (en) * 1972-01-19 1975-01-28 Max Skolnick Sleep inhibiting alarm
US3798599A (en) * 1972-02-24 1974-03-19 H Kafafian Single input controller for a communication system
US3966310A (en) * 1974-02-15 1976-06-29 Larson Merlin D Pupillometer and method of use thereof
US4102564A (en) * 1975-04-18 1978-07-25 Michael Henry L Portable device for the accurate measurement of eye movements both in light and obscurity
US4359724A (en) * 1980-04-28 1982-11-16 Ronald R. Zimmerman Eyelid movement detector
JPS6332624A (ja) * 1986-07-28 1988-02-12 Canon Inc 情報処理装置
US4953111A (en) * 1987-02-12 1990-08-28 Omron Tateisi Electronics Co. Doze detector
US4850691A (en) * 1987-03-18 1989-07-25 University Of Illinois Method and apparatus for determining pupillary response parameters
US4815839A (en) * 1987-08-03 1989-03-28 Waldorf Ronald A Infrared/video electronystagmographic apparatus
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
JPH01312902A (ja) * 1988-06-13 1989-12-18 Konan Camera Kenkyusho:Kk 眼球運動検査装置
US4852988A (en) * 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
JPH02164335A (ja) * 1988-12-16 1990-06-25 Konan Camera Kenkyusho:Kk 眼球運動解析装置
JPH02309925A (ja) * 1989-05-26 1990-12-25 Natsuku:Kk 眼球検査装置
US5231674A (en) * 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
GB8916206D0 (en) * 1989-07-14 1989-11-08 Marconi Gec Ltd Helmet systems
US4967186A (en) * 1989-08-18 1990-10-30 Ariold Ludmirsky Method and apparatus for fatigue detection
US5778893A (en) * 1991-04-01 1998-07-14 President And Fellows Of Harvard College Method of diagnosing and monitoring a treatment for Alzheimer's disease
US5189512A (en) * 1991-07-01 1993-02-23 Camair Research, Inc. Helmet integrated display system
US5183512A (en) * 1991-08-29 1993-02-02 Aquotech, Inc. Method of cleaning semiconductor wafer and computer disks by purified water treated with electric AC signal
WO1995018565A1 (en) * 1991-09-26 1995-07-13 Sam Technology, Inc. Non-invasive neurocognitive testing method and system
US5214456A (en) * 1991-10-09 1993-05-25 Computed Anatomy Incorporated Mapping of corneal topography with display of pupil perimeter
US5293187A (en) * 1992-02-05 1994-03-08 Biocontrol Systems, Inc. Method and apparatus for eye tracking for convergence and strabismus measurement
US5468239A (en) * 1992-04-13 1995-11-21 Sorenson Laboratories, Inc. Apparatus and methods for using a circumferential light-emitting surgical laser probe
US5341181A (en) * 1992-11-20 1994-08-23 Godard Roger R Systems and methods for capturing and presentng visual information
US5345281A (en) 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
US5402109A (en) 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers
US5478239A (en) * 1993-12-21 1995-12-26 Maximum Performance, Inc. Dynamic visual acuity training method and apparatus
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
JP3293308B2 (ja) * 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US5617872A (en) * 1994-07-25 1997-04-08 Beth Israel Hospitcal Assoc. Inc. Hypersensitive constriction velocity method for diagnosing Alzheimer's disease in a living human
US5469143A (en) 1995-01-10 1995-11-21 Cooper; David E. Sleep awakening device for drivers of motor vehicles
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US5566067A (en) * 1995-03-23 1996-10-15 The President And Fellows Of Harvard College Eyelid vigilance detector system
US5689241A (en) * 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5570698A (en) 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
SE506303C2 (sv) * 1995-06-13 1997-12-01 Ericsson Telefon Ab L M Anordning och förfarande avseende avstämbara anordningar
US5682144A (en) * 1995-11-20 1997-10-28 Mannik; Kallis Hans Eye actuated sleep prevention devices and other eye controlled devices
JPH09163192A (ja) * 1995-12-08 1997-06-20 Sony Corp 遠隔監視装置
US6003991A (en) * 1996-02-17 1999-12-21 Erik Scott Viirre Eye examination apparatus and method for remote examination of a patient by a health professional
US6373961B1 (en) * 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
US5726916A (en) * 1996-06-27 1998-03-10 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for determining ocular gaze point of regard and fixation duration
US5861936A (en) * 1996-07-26 1999-01-19 Gillan Holdings Limited Regulating focus in accordance with relationship of features of a person's eyes
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US6163281A (en) 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
US6246344B1 (en) 1996-08-19 2001-06-12 William C. Torch Method and apparatus for voluntary communication
US5748113A (en) * 1996-08-19 1998-05-05 Torch; William C. Method and apparatus for communication
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
JP3651204B2 (ja) * 1996-12-18 2005-05-25 トヨタ自動車株式会社 立体画像表示装置、立体画像表示方法及び記録媒体
US5790235A (en) * 1997-03-26 1998-08-04 Carl Zeiss, Inc. Method and apparatus to measure pupil size and position
US5867587A (en) * 1997-05-19 1999-02-02 Northrop Grumman Corporation Impaired operator detection and warning system employing eyeblink analysis
AU8259498A (en) * 1997-06-19 1999-01-04 Bioprobes, Inc. System and method for screening for dementia
US6007202A (en) 1997-10-23 1999-12-28 Lasersight Technologies, Inc. Eye illumination system and method
EP1027627B1 (en) * 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
US6088470A (en) * 1998-01-27 2000-07-11 Sensar, Inc. Method and apparatus for removal of bright or dark spots by the fusion of multiple images
DE19803158C1 (de) 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
JPH11225964A (ja) * 1998-02-16 1999-08-24 Canon Inc 眼科検査装置
JPH11282617A (ja) * 1998-03-27 1999-10-15 Shimadzu Corp 視線入力装置
US6091378A (en) * 1998-06-17 2000-07-18 Eye Control Technologies, Inc. Video processing methods and apparatus for gaze point tracking
JP2000347596A (ja) * 1998-08-31 2000-12-15 Semiconductor Energy Lab Co Ltd 携帯情報処理システム
US6867752B1 (en) * 1998-08-31 2005-03-15 Semiconductor Energy Laboratory Co., Ltd. Portable information processing system
US6087941A (en) * 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
JP2000194490A (ja) * 1998-12-24 2000-07-14 Canon Inc 視線検出装置
JP2000201289A (ja) * 1999-01-07 2000-07-18 Sony Corp 映像入出力装置及び映像取得方法
US7120880B1 (en) * 1999-02-25 2006-10-10 International Business Machines Corporation Method and system for real-time determination of a subject's interest level to media content
US6090051A (en) * 1999-03-03 2000-07-18 Marshall; Sandra P. Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity
US6299308B1 (en) * 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US20020024633A1 (en) * 1999-04-09 2002-02-28 Daehoon Kim Pupil evaluation system
US6247813B1 (en) * 1999-04-09 2001-06-19 Iritech, Inc. Iris identification system and method of identifying a person through iris recognition
US6820979B1 (en) * 1999-04-23 2004-11-23 Neuroptics, Inc. Pupilometer with pupil irregularity detection, pupil tracking, and pupil response detection capability, glaucoma screening capability, intracranial pressure detection capability, and ocular aberration measurement capability
US6116736A (en) * 1999-04-23 2000-09-12 Neuroptics, Inc. Pupilometer with pupil irregularity detection capability
JP2001004906A (ja) * 1999-06-17 2001-01-12 Canon Inc 視線検出機能付き光学機器及びカメラ
KR20030014348A (ko) * 1999-12-21 2003-02-17 스크램 테크놀러지스 인코포레이티드 디스플레이 패널용 옵티칼 시스템
GB2360603A (en) * 2000-03-20 2001-09-26 Cambridge 3D Display Ltd Planar optical waveguide and float glass process
JP2002007053A (ja) * 2000-06-22 2002-01-11 Canon Inc 視線検出機能付き装置
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
CN1197517C (zh) * 2001-09-07 2005-04-20 昆明利普机器视觉工程有限公司 数字视频眼动分析仪
US6997556B2 (en) * 2001-10-01 2006-02-14 Ernst Pfleger Method for detecting, evaluating, and analyzing look sequences
AUPR872301A0 (en) * 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
JP2003279882A (ja) * 2002-03-22 2003-10-02 Victor Co Of Japan Ltd ヘッドマウントディスプレイ装置
US20040061680A1 (en) 2002-07-10 2004-04-01 John Taboada Method and apparatus for computer control
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
US7347551B2 (en) * 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US6842670B2 (en) * 2003-05-02 2005-01-11 Chung Shan Institute Of Science And Technology Eye-tracking driving system
US7731360B2 (en) * 2003-11-07 2010-06-08 Neuro Kinetics Portable video oculography system
CN102670163B (zh) * 2004-04-01 2016-04-13 威廉·C·托奇 控制计算装置的系统及方法
CN101132729A (zh) 2005-03-04 2008-02-27 睡眠诊断学公司 警觉性的测量

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051433B1 (ko) * 2009-09-30 2011-07-22 전자부품연구원 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
KR101045776B1 (ko) * 2010-05-12 2011-07-04 김기문 카메라가 구비된 진동시트
KR20210110753A (ko) * 2012-05-21 2021-09-08 루머스 리미티드 안구-추적기와 헤드-탑재 디스플레이 통합 시스템
KR101487802B1 (ko) * 2013-05-30 2015-02-05 여태운 졸음 검출 장치
KR20200133392A (ko) * 2013-12-31 2020-11-27 아이플루언스, 인크. 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
KR20160105439A (ko) * 2013-12-31 2016-09-06 아이플루언스, 인크. 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
KR20160127709A (ko) * 2015-03-31 2016-11-04 시아오미 아이엔씨. 디스플레이 제어를 위한 방법 및 장치, 전자 디바이스
KR20150126579A (ko) * 2015-10-26 2015-11-12 (주)미래컴퍼니 수술 로봇 시스템 및 그 복강경 조작 방법
KR101725712B1 (ko) * 2016-01-04 2017-04-10 연세대학교 원주산학협력단 휴대용 안진 검사장치
WO2017119659A1 (ko) * 2016-01-04 2017-07-13 연세대학교 원주산학협력단 휴대용 안진 검사장치
US11129567B2 (en) 2016-01-04 2021-09-28 University Industry Foundation, Yonsei University Wonju Campus Portable nystagmus examination device
KR20160124058A (ko) * 2016-10-17 2016-10-26 (주)미래컴퍼니 수술 로봇 시스템 및 그 복강경 조작 방법
KR20160124057A (ko) * 2016-10-17 2016-10-26 (주)미래컴퍼니 수술 로봇 시스템 및 그 복강경 조작 방법
EP3549062A4 (en) * 2016-11-29 2020-01-01 Alibaba Group Holding Limited VIRTUAL REALITY DEVICE USING PHYSIOLOGICAL CHARACTERISTICS OF IT FOR AUTHENTICATION OF USER IDENTITY
KR20190090556A (ko) * 2018-01-25 2019-08-02 한국과학기술연구원 양안 경쟁을 이용한 뇌 기능 평가 장치, 그 방법, 및 이를 수록한 기록 매체
KR20210079937A (ko) * 2019-12-20 2021-06-30 순천향대학교 산학협력단 뇌졸중 진단 시스템 및 방법

Also Published As

Publication number Publication date
JP2007531579A (ja) 2007-11-08
MXPA06011168A (es) 2007-04-16
CA2561287C (en) 2017-07-11
US7515054B2 (en) 2009-04-07
IL207804A0 (en) 2010-12-30
ZA200608191B (en) 2008-07-30
JP2015109984A (ja) 2015-06-18
JP2013027718A (ja) 2013-02-07
CN1960670B (zh) 2011-02-23
AU2005229076A1 (en) 2005-10-13
CN102670163A (zh) 2012-09-19
JP2012050837A (ja) 2012-03-15
KR101049605B1 (ko) 2011-07-14
US7488294B2 (en) 2009-02-10
AU2005229076B2 (en) 2011-09-15
JP6184989B2 (ja) 2017-08-23
CA2967756A1 (en) 2005-10-13
CN102068237A (zh) 2011-05-25
WO2005094667A2 (en) 2005-10-13
EP1755441B1 (en) 2015-11-04
IL207805A0 (en) 2010-12-30
US20070273611A1 (en) 2007-11-29
EP1755441A2 (en) 2007-02-28
CA2967756C (en) 2018-08-28
WO2005094667A3 (en) 2006-06-01
CN102670163B (zh) 2016-04-13
RU2395228C2 (ru) 2010-07-27
CN1960670A (zh) 2007-05-09
RU2006138622A (ru) 2008-05-10
CA2561287A1 (en) 2005-10-13
US20090058660A1 (en) 2009-03-05
US20090018419A1 (en) 2009-01-15
IL178374A0 (en) 2007-02-11

Similar Documents

Publication Publication Date Title
KR101049605B1 (ko) 눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및컨트롤러 및 그들의 사용 방법
US10039445B1 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US6542081B2 (en) System and method for monitoring eye movement
USRE39539E1 (en) System and method for monitoring eye movement
US20110077548A1 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US6163281A (en) System and method for communication using eye movement
US9994228B2 (en) Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US9870060B2 (en) Systems and methods for gaze-based media selection and editing
EP2710515B1 (en) Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US11272870B2 (en) Non-invasive systems and methods for detecting mental impairment
Mabry et al. Commercial motor vehicle operator fatigue detection technology catalog and review

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150706

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160621

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170628

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 9