KR20160105439A - 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들 - Google Patents
시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR20160105439A KR20160105439A KR1020167020195A KR20167020195A KR20160105439A KR 20160105439 A KR20160105439 A KR 20160105439A KR 1020167020195 A KR1020167020195 A KR 1020167020195A KR 20167020195 A KR20167020195 A KR 20167020195A KR 20160105439 A KR20160105439 A KR 20160105439A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- eye
- images
- media images
- eye tracking
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000011093 media selection Methods 0.000 title 1
- 230000006870 function Effects 0.000 claims abstract description 15
- 210000001747 pupil Anatomy 0.000 claims description 53
- 230000033001 locomotion Effects 0.000 claims description 30
- 238000012544 monitoring process Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 18
- 230000004424 eye movement Effects 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 238000001125 extrusion Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000004091 panning Methods 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 230000002996 emotional effect Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 2
- 210000000887 face Anatomy 0.000 claims description 2
- 230000001711 saccadic effect Effects 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 1
- 230000005236 sound signal Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 31
- 239000013307 optical fiber Substances 0.000 description 27
- 210000000744 eyelid Anatomy 0.000 description 23
- 238000012545 processing Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 16
- 210000003128 head Anatomy 0.000 description 15
- 239000000835 fiber Substances 0.000 description 14
- 230000004044 response Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000004397 blinking Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000000537 electroencephalography Methods 0.000 description 5
- 230000000193 eyeblink Effects 0.000 description 5
- 206010041349 Somnolence Diseases 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000004439 pupillary reactions Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000001681 protective effect Effects 0.000 description 3
- 230000035484 reaction time Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 208000029028 brain injury Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009189 diving Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000004399 eye closure Effects 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000010344 pupil dilation Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000037321 sleepiness Effects 0.000 description 2
- 235000014214 soft drink Nutrition 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 206010012335 Dependence Diseases 0.000 description 1
- 208000013016 Hypoglycemia Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 241001362551 Samba Species 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 241000385223 Villosa iris Species 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036765 blood level Effects 0.000 description 1
- 230000006931 brain damage Effects 0.000 description 1
- 231100000874 brain damage Toxicity 0.000 description 1
- 229910052793 cadmium Inorganic materials 0.000 description 1
- BDOSMKKIYDKNTQ-UHFFFAOYSA-N cadmium atom Chemical compound [Cd] BDOSMKKIYDKNTQ-UHFFFAOYSA-N 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- IWEDIXLBFLAXBO-UHFFFAOYSA-N dicamba Chemical compound COC1=C(Cl)C=CC(Cl)=C1C(O)=O IWEDIXLBFLAXBO-UHFFFAOYSA-N 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000002218 hypoglycaemic effect Effects 0.000 description 1
- 208000018875 hypoxemia Diseases 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 235000015205 orange juice Nutrition 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001869 rapid Effects 0.000 description 1
- 230000009257 reactivity Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000003053 toxin Substances 0.000 description 1
- 231100000765 toxin Toxicity 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
Abstract
본 출원에 웨어러블 디바이스로 구현될 수 있는 시스템들이 제공된다. 시스템은 사용자가 웨어러블 디바이스로 캡처되는 미디어 이미지들을 편집하게 하도록 설계된다. 시스템은 캡처 시간 이전이든, 캡처 시간 동안이든, 또는 캡처 시간 이후이든, 다양한 편집 기능을 제어하기 위해 눈 추적 데이터를 이용한다. 또한 어떤 미디어 이미지들의 섹션들 또는 영역들이 사용자 또는 조회자에게 보다 큰 관심을 끌 수 있는지를 결정하기 위한 방법들이 제공된다. 방법은 캡처된 미디어에 돌출을 부여하기 위해 눈 추적 데이터를 이용한다. 시스템 및 방법 양자에서, 눈 추적 데이터는 작동을 향상시키기 위해 추가적인 센서들로부터의 데이터와 조합될 수 있다.
Description
본 발명은 일반적으로 사람의 눈을 모니터링하기 위한, 예를 들어, 피로, 효과적인 커뮤니케이션을 모니터링하기 위한, 그리고/또는 개인의 눈, 눈꺼풀, 및/또는 눈의 다른 요소들의 운동에 따라 디바이스들을 제어하기 위한 장치, 시스템들, 및 방법들에 관한 것이다. 또한, 본 발명은 보다 구체적으로 사용자가 웨어러블 디바이스로 캡처된 미디어 이미지를 편집하게 하는 시스템들 및 방법들에 관한 것이다. 캡처 시간 이전이든, 캡처 시간 동안이든, 또는 캡처 시간 이후이든, 기준 프레임을 눈에 투영시키고 투영된 기준 프레임을 다양한 편집 기능을 제어하기 위해 사용자의 적어도 한쪽 눈의 눈 추적 데이터를 캡처하기 위한 디스플레이의 제2 기준 프레임과 연관시키는 눈 추적 서브시스템를 이용한다.
휴대용 전자 디바이스들은 급증하고 있고 점점 더 강력해지고 기능이 강화되고 있으며, 그것들이 상용되는 피처들이 달라지고 있다. 포켓-크기의 디바이스들이 순수하게 통신 디바이스들에서, 컨텐츠-중심 디바이스들로, 컨텐츠-생산 디바이스들로 변화되어 옴에 따라, 사용자들 또한 엄청난 컨텐츠-생산자들로 변하고 있다. 이제껏 캡처된 모든 사진의 10퍼센트가 2012년에 찍힌 것으로 추정된다. 유사한 생산율이 비디오 영상에 적용된다. 헤드-장착 비디오 캡처 디바이스들 이를테면 고-프로(Go-Pro) 카메라 및 구글 글래스(Google Glass)의 도래가 사용자들의 일반 시야에서 캡처되는 비디오를 가속화하고 있다. 유감스럽게도, 이미지 캡처의 이러한 과잉은 생산된 컨텐츠의 질은 높이지 않았다. 특히 비디오 영상에 관해, 관심 클립들을 검토, 처리, 편집, 및/또는 보내는데 소요되는 시간이 녹화되는 영상의 양에 비례한다. 따라서, 캡처된 영상의 양이 증가하는 경우, 가치 있는 컨텐츠를 발췌하는데 소요되는 시간의 양이 거의 선형적 형태로 증가한다.
본 출원 내 모든 개시내용 및 청구항에 대해, "미디어 이미지"는 비디오 이미지 및 스틸 이미지(still image) 중 적어도 하나로 정의된다.
임의의 유형의 미디어 이미지들에 관해, 컨텐츠 생산자를 위한 전형적인 목적은 특정한 대상 그룹에 바람직한 컨텐츠를 제작하는 것이다. "바람직한"의 정의는 대상 그룹에 기초하여 변경될 수 있다. 특히 비디오 이미지들에 대해, 비디오 이미지들을 선택 및 편집하기 위한 하나의 방법 또는 기준 설정이 하나의 대상 그룹에 적절하나 다른 대상 그룹에는 그렇지 않을 수 있다. 뿐만 아니라, 다른 이미지들과 가까운 시간에 캡처되는 이미지들은 상이한 이유들로 인해 바람직할 수 있다. 바람직함 및 적합성의 이러한 다양한 형태가 간단히 "돌출(saliency)"로 지칭될 수 있다.
미디어 이미지는 다음 많은 이유로 인해 돌출로 고려될 수 있다: 그것은 주목할 만한 이벤트를 포함할 수 있다, 그것은 특정한 친구 또는 친척을 포함할 수 있다, 그것은 다른 이들이 소셜 미디어 수단에 관심이 있다는 것을 고려하는 일을 포함할 수 있다, 그것은 특정한 장소에서 캡처되었을 수 있다, 그리고/또는 그것은 사용자가 캡처하기 원하는 감정을 포함할 수 있다. 다른 센서들에의 눈 추적의 부가는 사용자가 눈 추적의 출현 없이 이용가능할 수 없었을 이러한 프로세스 중에 분석 및 제어 수준을 가능하게 한다는 것이 추정된다.
단어 "편집(editing)"에 의해 의도되는 범위를 논의할 때 충분한 고려가 요구된다. 전형적인 사진 및 비디오 애플리케이션들에서, "편집"은 전형적으로 이미지들에 대한 조작을 함축하거나, 또는, 비디오의 경우, 또한 트리밍된 이미지들을 보다 바람직한 순으로 재배열하는 프로세스를 포함한다. 추가 단계들이 수행될 이미지들을 선택 또는 태그하는 단계들이 편집 프로세스의 부분으로 형식상 고려되어야 하더라도, 여러 번 "편집"하는 것은 그러한 단계들을 배제한다. 그러나, 본 출원 내 본 개시내용 및 청구항들을 위해, "편집"은 선택 및 태그 단계들을 포함할 것이다. 뿐만 아니라, 디지털 미디어 생산 전 시대에서, 모든 편집(선택 및 태그를 포함하여)이 반드시 캡처 시간 상당히 후에 발생하지는 않았다. 그러나, 이제 편집 프로세스가 캡처 시간 직후, 또는 "비공개(in-camera)"로 발생하게 하는 피처들이 비디오 및 스틸 카메라들에 포함된다. 본 발명은 본 출원에 편집 프로세스가 캡처 동안 또는 그 훨씬 전 시간을 포함하도록 바뀔 수 있는 방법을 설명한다. 그러나, 본 출원에 설명된 시스템들 및 방법들이 구현될 때까지 그렇게 하는 것은 사실상 실행가능하지 않았었다.
유감스럽게도, 많은 사용자에게, 캡처된 대로의 비디오 이미지들을 소모가능한 완성 비디오로 변환하는데 소요되는 시간은 프로세스의 구제불능의 장애물이다.
이러한 장애를 접한 후 두 가지 공통적인 결과가 존재한다. 첫째는 전체 프로세스가 폐기된다는 것, 및 어떠한 비디오 이미지도 대상 그룹과 공유되지 않는다는 것이다. 두 번째 공통적인 결과는 모든 편집이 삼가지고 매우 저 품질 및 관련성의 이미지들이 대상 그룹과 공유된다는 것이다. 생산자에게 그리고 대상 그룹에게, 이러한 결과들 중 어떤 것도 바람직하지 않다. 그것을 남 앞에 내놓을 만한 형태로 편집하는 것이 매우 어렵다는 것을 안, 생산자에게, 이는 그 또는 그녀가 비디오를 녹화할 의지를 낮출 수 있다. 소비자가, 열악한 비디오 이미지들을 시청하는 것은 그들에게 부정적 강화 효과를 제공하고 그들이 앞으로 비디오 이미지들을 시청하는 것을 원치 않게 할 수 있다.
기술이 발전함에 따라, 사용자가 컨텐츠를 생산하기 위해 휴대할 수 있는 디바이스들의 폼 팩터도 바뀌어왔다. 컨텐츠-생산 디바이스들은 다른 기술이 없는 것을 사용했다. 그 후 스마트 폰 및 태블릿이 비디오를 캡처할 수 있게 되면서, 이전에 상상도 할 수 없었던 소형화의 시대에 들어서게 되었다. 이제, 그것이 단지 센서들 또는 기타로부터 데이터를 기록하는 대신 컨텐츠를 생산하게 하는 웨어러블 기술의 변화에 주목하여, 헤드-장착 디스플레이들이 소비자 디바이스들로 실행가능하게 되기 시작하고 있다. 또한, 콘택트 렌즈 및 인공 망막은 사람의 시각계에 대해 효과적인 기능을 하는 향상이다. 본 출원에서의 시스템들 및 방법들은 비디오를 캡처하고, 눈 방향을 추적하며, 돌출 비디오를 편집하는 이러한 모드들에도 적용가능하고, 본 발명의 부분으로 고려된다. 눈 추적을 통해 사용자의 시선을 결정하는데 필요한 기술이 이제 웨어러블 및 주입형 디바이스들 내로 통합될 수 있기 때문에, 눈이 디바이스 입력 및 편집을 위해 실행가능한 도구가 된다.
아래에 제공된 명세서 및 청구항들을 철저히 판독함으로써 본 발명을 가장 잘 이해하게 될 것이나, 이러한 발명의 내용은 본 출원에 설명된 시스템들 및 방법들의 신규한 그리고 유용한 피처들 중 일부를 독자에게 숙지시키기 위해 제공된다. 물론, 이러한 발명의 내용은 본 출원에서의 시스템들 및 방법들의 피처들의 전부에 대한 완전한 설명인 것으로 의도되지 않고, 또한 본 출원의 상세한 설명의 마지막에 제공되는, 청구항들의 효과를 어떤 식으로든 제한하는 것으로 의도되지도 않는다.
본 발명은 웨어러블 디바이스로 구현될 수 있는 시스템들 및 방법들을 제공한다. 시스템은 사용자가 웨어러블 디바이스로 캡처되는 미디어 이미지들을 편집하게 하도록 설계된다. 시스템들은 캡처 시간 이전이든, 캡처 시간 동안이든, 또는 캡처 시간 이후이든, 다양한 편집 기능을 제어하기 위해 눈 추적 데이터를 이용할 수 있다. 또한 어떤 미디어 이미지들의 섹션들 또는 영역들이 사용자 또는 조회자에게 보다 큰 관심을 끌 수 있는지를 결정하기 위한 방법들이 제공된다. 방법들은 캡처된 미디어에 돌출을 부여하기 위해 눈 추적 데이터를 이용할 수 있다. 시스템들 및 방법들에서, 눈 추적 데이터는 작동을 향상시키기 위해 추가적인 센서들로부터의 데이터와 조합될 수 있다.
앞서 말한 내용을 고려하여, 본 출원은 미디어 이미지들을 편집하기 위한 장치, 시스템들, 및 방법들로서, 웨어러블 디바이스, 씬 카메라가 사용자의 환경의 미디어 이미지들을 캡처하도록 상기 디바이스 상에 장착되는 상기 씬 카메라, 기준 프레임을 눈 상에 투영시키고 투영된 상기 기준 프레임을 사용자의 적어도 한쪽 눈의 눈 추적 데이터를 캡처하기 위한 디스플레이의 제2 기준 프레임과 연관시키는 눈 추적 서브시스템, 및 상기 눈 추적 데이터에 적어도 부분적으로 기초하여 상기 씬 카메라에 의해 캡처되는 미디어 이미지들을 태그하기 위해 상기 씬 카메라 및 눈 추적 서브시스템과 통신하는 하나 이상의 프로세서를 포함하는, 장치, 시스템들, 및 방법들을 설명한다.
다른 실시예에서, 장치, 시스템들, 및 방법들은 개인 사용자들에 의해 착용되도록 구성되는 복수의 웨어러블 디바이스로서, 각 웨어러블 디바이스는 씬 카메라가 상기 개인 사용자의 환경의 미디어 이미지들을 캡처하도록 디바이스 상에 장착되는 상기 씬 카메라, 하나 이상의 센서, 및 통신 인터페이스; 각 웨어러블 디바이스의 통신 인터페이스를 통해 상기 웨어러블 디바이스들과 통신하기 위한 서버를 포함하여, 상이한 시점들에서 관련 이벤트들을 레코딩할 목적으로 근접하게-위치된 웨어러블 디바이스들에 의해 결정되는 바와 같이 비디오 이미지들에서의 비교상 돌출을 정량적으로 평가할 수 있다.
또 다른 실시예에서, 사용자에 의해 착용되는 웨어러블 디바이스로부터 미디어 이미지들을 선택 또는 편집하기 위한 방법으로서, 상기 웨어러블 디바이스 상의 씬 카메라를 사용하여, 상기 사용자의 환경의 미디어 이미지들을 캡처하는 단계; 상기 웨어러블 디바이스 상의 눈 추적 서브시스템을 사용하여, 상기 사용자의 적어도 한쪽 눈의 눈 추적 데이터를 캡처하는 단계; 및 상기 눈 추적 데이터로부터 식별되는 적어도 하나의 눈 이벤트들의 액션들에 적어도 부분적으로 기초하여 상기 미디어 이미지들을 선택하는 단계 및 편집하는 단계 중 적어도 하나의 단계를 포함하는, 방법이 제공된다.
여기에 제공되는 본 발명의 측면들 및 출원들은 본 발명의 도면 및 상세한 설명에서 아래에 설명된다. 구체적으로 언급되지 않는 한, 명세서 및 청구항들에서의 단어들 및 구들은 적용가능한 기술분야에서의 통상의 기술자들에게 분명한, 보통의, 그리고 익숙한 의미로 제공된다. 발명자들은 바람직한 경우 그들이 그들 고유의 사전 편찬자들이 될 수 있다는 것을 숙지한다. 발명자들은 그들 고유의 사전 편찬자들로서, 그들이 명백히 다르게 언급하고 그 다음 또한, 해당 용어의 "특수한" 정의를 제시하며 그것이 분명한 그리고 보통의 의미와 어떻게 상이한지를 설명하지 않는 명세서 및 청구항들에서 용어들의 단지 분명한 그리고 보통의 의미를 사용하도록 명확히 결정한다. "특수한" 정의를 적용할 의도의 그러한 명확한 진술이 없으면, 용어들에 대한 단순한, 분명한 그리고 보통의 의미가 명세서 및 청구항들의 해석에 적용되는 것이 발명자들의 의도 및 바람이다.
본 발명의 보다 완전한 이해가 다음 예시적인 도면들과 관련되어 고려될 때 상세한 설명을 참조함으로써 얻어질 수 있다. 도면들에서, 동일한-참조 부호들은 동일한-요소들을 나타내거나 도면들 전체에 걸쳐 작용한다. 본 발명의 현재 대표적인 실시예들이 첨부 도면들로 예시되며, 상기 도면들에서:
도 1은 환자의 눈 및/또는 눈꺼풀의 운동에 기초하여 환자를 모니터링하기 위한 실시예의 장치를 착용하는 병원에서의 환자의 사시도이다.
도 2는 검출 디바이스 및 프로세싱 박스를 포함하는, 도 1의 실시예의 확장된 사시도이다.
도 3은 사람의 눈 및/또는 눈꺼풀의 운동에 기초하여 사람을 모니터링하기 위한 다른 시스템의 사시도이다.
도 4는 도 3의 프레임 상의 카메라의 상세도이다.
도 5a 내지 도 5i는 도 3의 시스템으로 모니터링될 수 있는 몇몇 파라미터의 그래픽 디스플레이들이다.
도 6은 도 3의 프레임 상의 카메라로부터의 비디오 출력의 상세도이다.
도 7은 5-요소 센서 어레이로부터의 신호들을 프로세싱하기 위한 회로의 대표적인 실시예를 도시하는 개략도이다.
도 8a 및 도 8b는 비행사 헬멧 내로 통합되는 눈 움직임을 모니터링하기 위한 장치의 다른 실시예를 도시한다.
도 9는 도 8a 및 도 8b의 장치에 포함될 수 있는 카메라의 개략도이다.
도 10a 및 도 10b는 각각, 사람의 눈의 개폐를 도시하는, 다수의 카메라로부터의 동시발생 출력들을 도시하는, 그래픽 이미지들이다.
도 11a 내지 도 11c는 눈 움직임 모니터링을 용이하게 하기 위해 동공의 직경을 식별하기 위해 생성되는 타원형 그래픽을 도시하는, 그래픽 디스플레이들이다.
도 12a 및 도 12b는 사람의 눈의 운동을 모니터링하기 위한 장치를 착용하는 사람을 경계 검사(vigilance test)하기 위한 방법을 도시하는, 흐름도들이다.
도 13은 눈의 운동에 기초하여 컴퓨팅 디바이스를 제어하기 위한 방법을 도시하는, 흐름도이다.
도 14는 광을 경피적으로 눈에 통과시키고 눈의 동공으로부터 나오는 방사된 광을 검출하기 위한 장치의 정면도이다.
도 15는 사람의 눈 및/또는 눈꺼풀의 운동에 기초하여 사람을 모니터링하기 위한 장치의 또 다른 실시예의 사시도이다.
도 16은 장치를 착용하는 사람의 눈의 이미지들을 획득하는 도 15의 장치를 도시하는 상세도이다.
도 17은 본 출원에서의 시스템을 및 방법들에 포함될 수 있는 시스템 아키텍처의 대표적인 실시예를 도시한다.
도 18은 본 출원에서의 시스템들 및 방법들을 위한 아키텍처의 대표적인 실시예를 도시한다.
도 19는 미디어 이미지들을 선택 및/또는 편집하기 위해 사용될 수 있는 대표적인 팩터들을 도시하는 흐름도이다.
도 20은 미디어 이미지들을 공유하기 위한 대표적인 프로세스를 도시하는 흐름도이다.
도 1은 환자의 눈 및/또는 눈꺼풀의 운동에 기초하여 환자를 모니터링하기 위한 실시예의 장치를 착용하는 병원에서의 환자의 사시도이다.
도 2는 검출 디바이스 및 프로세싱 박스를 포함하는, 도 1의 실시예의 확장된 사시도이다.
도 3은 사람의 눈 및/또는 눈꺼풀의 운동에 기초하여 사람을 모니터링하기 위한 다른 시스템의 사시도이다.
도 4는 도 3의 프레임 상의 카메라의 상세도이다.
도 5a 내지 도 5i는 도 3의 시스템으로 모니터링될 수 있는 몇몇 파라미터의 그래픽 디스플레이들이다.
도 6은 도 3의 프레임 상의 카메라로부터의 비디오 출력의 상세도이다.
도 7은 5-요소 센서 어레이로부터의 신호들을 프로세싱하기 위한 회로의 대표적인 실시예를 도시하는 개략도이다.
도 8a 및 도 8b는 비행사 헬멧 내로 통합되는 눈 움직임을 모니터링하기 위한 장치의 다른 실시예를 도시한다.
도 9는 도 8a 및 도 8b의 장치에 포함될 수 있는 카메라의 개략도이다.
도 10a 및 도 10b는 각각, 사람의 눈의 개폐를 도시하는, 다수의 카메라로부터의 동시발생 출력들을 도시하는, 그래픽 이미지들이다.
도 11a 내지 도 11c는 눈 움직임 모니터링을 용이하게 하기 위해 동공의 직경을 식별하기 위해 생성되는 타원형 그래픽을 도시하는, 그래픽 디스플레이들이다.
도 12a 및 도 12b는 사람의 눈의 운동을 모니터링하기 위한 장치를 착용하는 사람을 경계 검사(vigilance test)하기 위한 방법을 도시하는, 흐름도들이다.
도 13은 눈의 운동에 기초하여 컴퓨팅 디바이스를 제어하기 위한 방법을 도시하는, 흐름도이다.
도 14는 광을 경피적으로 눈에 통과시키고 눈의 동공으로부터 나오는 방사된 광을 검출하기 위한 장치의 정면도이다.
도 15는 사람의 눈 및/또는 눈꺼풀의 운동에 기초하여 사람을 모니터링하기 위한 장치의 또 다른 실시예의 사시도이다.
도 16은 장치를 착용하는 사람의 눈의 이미지들을 획득하는 도 15의 장치를 도시하는 상세도이다.
도 17은 본 출원에서의 시스템을 및 방법들에 포함될 수 있는 시스템 아키텍처의 대표적인 실시예를 도시한다.
도 18은 본 출원에서의 시스템들 및 방법들을 위한 아키텍처의 대표적인 실시예를 도시한다.
도 19는 미디어 이미지들을 선택 및/또는 편집하기 위해 사용될 수 있는 대표적인 팩터들을 도시하는 흐름도이다.
도 20은 미디어 이미지들을 공유하기 위한 대표적인 프로세스를 도시하는 흐름도이다.
도면들을 참조하여, 도 1은 환자(10)의 눈 및/또는 눈꺼풀 운동을 검출하기 위한 검출 디바이스(30)를 착용하는 베드(12)에서의 환자(10)를 도시한다. 검출 디바이스(30)는 예를 들어, 효과적인 커뮤니케이션에 대한, 자발적 눈 움직임을 모니터링하기 위해, 비자발적 눈 움직임, 예를 들어, 졸림 또는 다른 상태들을 모니터링하기 위해, 그리고/또는 하나 이상의 전자 디바이스(미도시)를 제어하기 위해 사용될 수 있는, 본 출원에 설명된 임의의 생체 센서 디바이스들을 포함할 수 있다. 검출 디바이스(30)는 검출된 눈 및/또는 눈꺼풀 움직임을 데이터 스트림으로, 이해가능한 메시지, 및/또는 예를 들어, 비디오 디스플레이(50)를 사용하여, 의료진(40)에게 전달될 수 있는, 다른 정보로 변환하는 프로세싱 박스(130)에 결합될 수 있다.
도 2를 참조하면, 종래 안경(20) 한 개에 부착가능한, 조준-가능한 그리고 초점을 맞출 수 있는 검출 디바이스(30)를 포함하는 장치 또는 시스템(14)의 대표적인 실시예가 도시된다. 안경(20)은 렌즈들(21) 사이에 연장되는 브리지워크(bridgework)(24)를 포함하는, 프레임(22)에 부착되는 렌즈(21) 쌍, 및 이어 피스들(26)을 지니는 사이드 부재들 또는 안경 다리 피스들(25)을 포함하며, 이들 전부는 종래의 것들이다. 대안적으로, 렌즈들(21)이 필수적이지는 않을 수 있기 때문에, 프레임(22)은 또한 렌즈들(21) 없이 제공될 수 있다.
검출 디바이스(30)는 하나 이상의 이미터(emitter)(32) 및 센서(33)(하나만 도시됨)가 장착되는 조절가능한 아암(31) 및 사이드 부재들(25) 중 하나에 부착하기 위한 클램프 또는 다른 메커니즘(27)을 포함한다. 이미터(32) 및 센서(33)는 이미터(32)가 안경(20)을 착용하는 사람의 눈(300)을 향해 신호를 방사할 수 있도록 그리고 센서(33)가 눈(300) 및 눈꺼풀(302)의 표면으로부터 반사되는 신호를 검출할 수 있도록, 미리 결정된 관계로 장착된다. 대안적으로, 이미터(32) 및 센서(33)는 서로 인접하게 장착될 수 있다.
일 실시예에서, 이미터(32) 및 센서(33)는 착용자의 정상 시력의 방해 또는 주의를 산만하게 하는 것을 최소화하기 위해 예를 들어, 적외선 범위 내, 각각, 연속적 또는 펄싱된 광을 생성 및 검출한다. 이미터(32)는 미리 결정된 주파수의 펄스들로 광을 방사할 수 있고, 센서(33)는 미리 결정된 주파수의 광 펄스들을 검출하도록 구성된다. 이러한 펄싱된 작동은 이미터(32)에 의한 에너지 소비를 감소시킬 수 있고/있거나 다른 광원들의 방해를 최소화할 수 있다.
대안적으로, 가시 스펙트럼을 너머 또는 그 내의 광의 다른 미리 결정된 주파수 범위들, 이를테면 자외선 광, 또는 에너지의 다른 형태들, 이를테면 무선파들, 음파들 등이 사용될 수 있다.
프로세싱 박스(130)는 그 안의 하나 이상의 와이어(미도시)를 포함하여 케이블(34)에 의해 검출 디바이스(30)에 결합된다. 프로세싱 박스(130)는 중앙 처리 장치(CPU) 및/또는 다른 회로를 포함할 수 있다. 프로세싱 박스(130)는 또한 이미터(32) 및/또는 센서(33)를 제어하기 위한 제어 회로를 포함할 수 있거나, 또는 CPU는 내부 제어 회로를 포함할 수 있다.
예를 들어, 일 실시예에서, 제어 회로는 초당 수천 펄스들만큼 높은 내지 초당 약 4-5 펄스, 예를 들어, 초당 적어도 약 5-20 펄스만큼 낮고, 그렇게 함으로써 눈 깜박임마다 약 200밀리초만큼 짧은 효과적인 또는 비효과적인 눈 깜박임들의 검출을 용이하게 하는, 미리 결정된 주파수로 펄싱되는 명멸 적외선 신호를 생성하도록 이미터(32)를 제어할 수 있다. 센서(33)는 단지 이미터(32)의 명멸 주파수에 특유한 미리 결정된 주파수의 광 펄스들을 검출하도록 제어될 수 있다. 그에 따라, 이미터(32) 및 센서(33)를 미리 결정된 주파수로 동기화함으로써, 시스템(10)은 출력 신호가 예를 들어, 밝은 햇빛, 암흑, 주위 적외선 광 배경들, 또는 상이한 명멸 주파수들로 작동하는 다른 이미터들에 의해 실질적으로 영향을 받지 않고, 다양한 주위 환경 하에서 사용될 수 있다. 명멸 주파수는 전력 소비를 최소로 유지하면서, 단위 시간당 눈 깜빡임들의 수(예를 들어, 분당 약 10번 내지 약 20번의 눈 깜빡임), 각 눈 깜빡임의 지속기간(예를 들어, 약 200밀리초 내지 약 300밀리초), 및/또는 PERCLOS(즉, 눈꺼풀이 완전히 또는 부분적으로 닫히는 시간의 퍼센테이지)의 효율적인 측정을 최대화하도록, 또는 시스템의 효율을 최대화하도록 조절될 수 있다.
제어 회로 및/또는 프로세싱 박스(130)는 해당 기술분야의 통상의 기술자들에 의해 인식될 바와 같이, 이미터(32)에 의해 방사되는 광의 주파수, 초점, 또는 세기를 조절하기 위해, 이미터(32)를 턴 오프 및 턴 온하기 위해, 센서(33)의 임계 감도를 조절하기 위해, 그리고/또는 닫힌 눈꺼풀의 최대 적외선 반사를 갖는 자동-초점을 가능하게 하기 위해 수동 및/또는 소프트웨어 제어부들(미도시)을 포함할 수 있다.
또한, 프로세싱 박스(130)는 또한 이미터(32), 센서(33), CPU, 및/또는 프로세싱 박스(130) 내 다른 구성요소들에 전력을 제공하기 위한 전원을 포함할 수 있다. 프로세서 박스(130)는 종래 DC 배터리, 예를 들어, 9볼트 배터리 또는 재충전가능한 리튬, 카드뮴, 또는 수소-발전 배터리에 의해, 그리고/또는 시스템(14)에 부착되거나 이에 내장되는 태양광 전지들에 의해 전력을 공급받을 수 있다. 대안적으로, 어댑터(미도시), 이를테면 종래 AC 어댑터 또는 12볼트 자동차용 조명 어댑터가 프로세서 박스(130)에 연결될 수 있다.
대안적으로, 수신기(156)는 사람 및 디바이스들 간에 직접 연결을 제공하기 위해, 다양한 디바이스(미도시), 이를테면 라디오 또는 텔레비전 제어장치들, 램프들, 팬들, 히터들, 모터들, 진동-촉각을 이용한 시트들, 원격 제어 운송 수단들, 운송 수단 모니터링 또는 제어 디바이스들, 컴퓨터들, 프린터들, 전화들, 라이프라인 유닛들, 전자 장난감들, 또는 보완 의사소통 시스템들에 직접적으로 결합될 수 있다.
추가적인 대안예들에서, 생체 센서 디바이스, 개별적인 이미터, 및/또는 검출기에 의해 방사되고/되거나 검출되는 광을 제어하기 위한 하나 이상의 렌즈 또는 필터가 제공될 수 있다. 예를 들어, 방사되는 광의 각도는 프리즘 또는 다른 렌즈에 따라 달라질 수 있거나, 또는 광은 눈으로 향하는 미리 결정된 형상의 광 빔을 생성하기 위한 또는 센서에 의해 반사된 광을 수용하기 위한 슬릿을 통해 컬럼화(columnate)되거나 집속될 수 있다. 방사되는 광 빔의, 형상, 예를 들어, 폭 등을 제어하도록 또는 센서의 감도를 조절하도록 조절가능한 렌즈들의 어레이가 제공될 수 있다. 렌즈들은 해당 기술분야의 통상의 기술자들에 의해 이해될 바와 같이, 플라스틱 등으로 이미터와 함께 둘러싸이거나, 또는 별도의 부착으로서 제공될 수 있다.
도 3을 참조하면, 눈 움직임을 모니터링하기 위한 시스템(810)의 또 다른 실시예가 도시된다. 일반적으로, 시스템(810)은 브리지 피스(814) 및 이어 지지체들(ear supports)(816)의 쌍을 포함할 수 있는 프레임(812), 하나 이상의 이미터(820), 하나 이상의 센서(822), 및/또는 하나 이상의 카메라(830, 840)를 포함한다. 프레임(812)이 생략될 수 있으나, 그것들은 렌즈들(미도시), 이를테면 주문형 렌즈, 색조, 보호형 렌즈 쌍을 포함할 수 있다. 대안적으로, 시스템은 사용자의 머리 상에 착용될 수 있는 다른 디바이스들, 이를테면 파일럿의 산소 마스크, 보호용 귀 장비, 환자의 산소 호흡기, 스쿠버 또는 잠수 마스크, 헬멧, 모자, 머리 밴드, 머리 가리개, 보호용 머리 장비 상에, 또는 머리 및/또는 얼굴 등을 보호하는 봉입된 수트들 내에(미도시) 제공될 수 있다. 시스템의 구성요소들은 일반적으로 사용자의 시력 및/또는 디바이스의 정상 사용의 방해를 최소화하는 디바이스 상의 다양한 위치에 제공될 수 있다.
도시된 바와 같이, 이미터들의 어레이(820)는 예를 들어, 수직 어레이(820a) 및 수평 어레이(820b)로, 프레임(812) 상에 제공된다. 추가 또는 대안적으로, 이미터들(820)은 다른 형태들, 이를테면 원형 어레이(미도시)로 제공될 수 있고, 광 필터들 및/또는 확산기들(또한 미도시)을 포함할 수 있거나 포함하지 않을 수 있다. 대표적인 실시예에서, 이미터들(820)은 본 출원에서의 다른 곳에서 설명된 다른 실시예들과 유사하게, 미리 결정된 주파수의 펄스들을 방사하도록 구성되는 적외선 이미터들이다. 이미터들(820)은 그것들이 기준 프레임(850)을 사용자의 눈 중 한쪽을 포함하여 사용자의 얼굴의 영역 상에 투영시키도록 프레임 상에 배열될 수 있다. 도시된 바와 같이, 기준 프레임은 영역이 네 개의 사분면으로 분할되는 교차된 밴드들(850a, 850b)의 쌍을 포함한다. 대표적인 실시예에서, 교차된 밴드들의 교차 지점은 기본적인 응시 동안, 즉, 사용자가 일반적으로 직시하고 있을 때, 눈의 동공에 실질적으로 대응하는 위치에 배치될 수 있다. 대안적으로, 다르 기준 프레임들은 예를 들어, 수직적 및 수평적 구성요소들, 각진 및 방사상 구성요소들, 또는 다른 직교적 구성요소들을 포함하여, 제공될 수 있다. 임의로, 실질적으로 정적 상태를 유지하는 하나 또는 두 개의 기준 프레임 지점들은 아래에 더 설명된 바와 같이, 눈의 상대적 운동을 결정하기에 충분한 기준 프레임을 제공할 수 있다.
센서들의 어레이(822)는 또한 사용자의 눈꺼풀에서 반사되는 이미터들(820)로부터 광을 검출하기 위한 프레임(812) 상에 제공될 수 있다. 센서들(822)은 본 출원에서의 다른 곳에서 설명된 다른 실시예들과 유사하게, 눈꺼풀이 개폐되는지 여부를 식별하는 세기를 갖는 출력 신호들을 생성할 수 있다. 센서들(822)은 눈꺼풀의 각각의 부분들에서 반사되는 광을 검출하기 위한 각각의 이미터들(820)에 인접하게 배치될 수 있다. 대안적으로, 센서들(822)은 본 출원에서의 다른 곳에서 설명된 다른 실시예들과 유사하게, 단지 눈꺼풀 폐쇄의 양을 모니터링하기 위해, 수직적 어레이로, 예를 들어 브리지 피스(814)를 따라 제공될 수 있다. 추가 대안예에서, 이미터들(820) 및 센서들(822)은 단일 디바이스에 방사 및 감지 기능들 양자를 제공하는 고체 상태 생체 인식 센서들(미도시)일 수 있다. 임의로, 이미터들(820) 및/또는 센서들(822)은 아래에 더 설명된 바와 같이, 예를 들어, 카메라들(830, 840)이 충분한 정보를 제공하는 경우, 제거될 수 있다.
회로 및/또는 소프트웨어는 센서들의 어레이에 의해 생성되는 신호들을 사용하여 PERCLOS 또는 다른 파라미터들을 측정하기 위해 제공될 수 있다. 예를 들어, 도 7은 5 요소 어레이로부터의 신호들을 하기 위해, 예를 들어, PERCLOS 측정치들 또는 다른 각성도 파라미터들을 획득하기 위해 사용될 수 있는 대표적인 개략도이다.
도 3으로 돌아가, 시스템(810)은 또한 일반적으로 사용자의 눈 중 한쪽 또는 두쪽 모두를 향해 배향되는 하나 이상의 카메라(830)를 포함한다. 각 카메라(830)는 브리지 피스(814)에 또는 이에 인접하게(또는 프레임(812) 상의 다른 곳에, 예를 들어, 사용자의 시각의 방해를 최소화하는 위치에) 장착되는 제1 종단, 및 검출기(838), 예를 들어, CCD 또는 CMOS 센서에 결합되는 제2 종단(837)을 포함하는 광 섬유 번들(832)을 포함할 수 있으며, 이는 이미지들을 디지털 비디오 신호들로 변환할 수 있다. 대물 렌즈(834)는 예를 들어, 이미지들을 광 섬유 번들(832) 상으로 포커싱하기 위해, 도 4에 도시된 바와 같이, 광 섬유 번들(832)의 제1 종단 상에 제공될 수 있다. 임의로, 광 섬유 번들(832)은 또한 도 4에 도시된 바와 같이, 이미터들(836)을 제공하기 위해 렌즈(834)에 인접하여 종단될 수 있는 하나 이상의 조명 섬유를 포함할 수 있다. 조명 섬유(들)은 예를 들어, 도 9에 도시되고 아래에 더 설명된 실시예와 유사하게, 광원(미도시)에 결합될 수 있다. 단지 하나의 카메라(830)가 도 3에 도시되지만(예를 들어, 사용나의 왼쪽 눈을 모니터링하기 위해), 다른 카메라(미도시)가 유사한 구성요소들, 예를 들어, 광 섬유 번들, 렌즈, 이미터(들) 및/또는 검출기(임의로, 카메라들이 아래에 더 설명된 바와 같이, 공통 검출기를 공유할 수 있으나)를 포함하여, 사용자의 눈의 다른 쪽(예를 들어, 오른쪽 눈)을 모니터링하기 위해 대칭적 형태로 제공될 수 있다.
임의로, 각 눈을 향해 예를 들어, 눈(들)을 마주보는 다양한 각도들에서 지향되는 다수의 카메라(미도시)를 갖는 것이 바람직할 수 있다. 임의로, 이러한 카메라(들)는 광 섬유 연장부들, 프리즘형 렌즈들, 및/또는 반사 미러들(예를 들어, 적외선 광을 반사하는), 눈을 마주보는 렌즈들의 측부 상의 관통불가능한 또는 블로킹 미러링된 표면들 등을 포함할 수 있다. 그러한 악세사리들은 원하는 방식으로 카메라(들)에 전송되는 눈의 이미지들을 굴절, 회전, 반사, 또는 반전시키기 위해 제공될 수 있다.
카메라(들)(830)는 이미터들(820 및/또는 836)에 의해 방사되는 광 예를 들어, 적외선 광 또는 가시 범위를 넘어선 다른 광의 주파수를 검출하기 위해 구성될 수 있다. 임의로, 광 섬유 번들(들)(832)이 이미터들(836)을 위한 하나 이상의 조명 섬유를 포함하는 경우, 프레임(812) 상의 이미터들(820)이 제거될 수 있다. 이러한 실시예에서, 예를 들어, 아래에 더 설명된 바와 같이, 센서들(822)을 제거하고, 사용자의 눈(들)의 운동을 모니터링하기 위해 카메라(들)(830)를 사용하는 것이 또한 가능할 수 있다. 임의로, 시스템(810)은 예를 들어, 사용자의 환경, 이를테면 사용자의 얼굴 바로 앞의 영역을 모니터링하기 위해, 사용자의 머리로부터 떨어져 배향되는 제2 카메라(840)를 포함할 수 있다. 카메라(840)는 카메라(830)와 유사한 구성요소들, 예를 들어, 광 섬유 번들(841), 렌즈(미도시), 및/또는 이미터(들)(또한 미도시)을 포함할 수 있다. 임의로, 카메라(830)는 주위 조명 조건 하에서 이미지들을 생성하기에 충분히 민감할 수 있고, 이미터들은 생략될 수 있다. 카메라(840)는 도 3에 도시된 바와 같이, 별개의 검출기(839)에 결합될 수 있거나, 또는 아래에 더 설명된 바와 같이, 카메라(들)(830)과 검출기(838)를 공유할 수 있다.
이어 지지체들(816) 중 하나 또는 양자는 하나 이상의 구성요소, 예를 들어, 제어기 또는 프로세서, 이를테면 프로세서(842), 전송기(844), 안테나(845), 검출기(들)(838, 839), 및/또는 배터리(846)를 장착하기 위한 패널(818)을 포함할 수 있다. 프로세서(840)는 이들의 작동을 제어하기 위해 이미터들(820), 센서들(822), 및/또는 카메라들(830, 840)에(예를 들어, 검출기(들)(838, 839)에) 결합될 수 있다. 전송기(844)는 아래에 설명된 바와 같이, 센서들(822) 및/또는 카메라들(830, 840)로부터의 출력 신호들을 수신하기 위해, 예를 들어, 신호들을 원격 위치로 전송하기 위해 프로세서(842) 및/또는 검출기(들)(838, 839)에 결합될 수 있다. 대안적으로, 전송기(844)는 센서들(822) 및/또는 카메라들(830, 840)로부터의 출력선들에 직접적으로 결합될 수 있다. 프레임(812)은 또한 예를 들어, 전력을 턴 오프 및 턴 온하기 위해, 또는 이미터들(820), 센서들(822), 및/또는 카메라들(830, 840)의 세기 및/또는 임계를 조절하기 위해, 예를 들어, 이어 지지체(816) 상에, 수동 제어부들(미도시)을 포함할 수 있다.
원하는 경우, 시스템(810)은 또한 예를 들어, 사용자의 인지, 감정, 및/또는 거동 상태와 관련된 추가적인 생체- 또는 신경-생리학적 데이터를 통합시키고 상호-상관관계를 보여주기 위해, 프레임(812) 상에 하나 이상의 추가적인 센서, 예를 들어, 생리학적 센서들을 포함할 수 있다. 센서들은 센서들로부터의 신호들이 모니터링, 레코딩, 및/또는 원격 위치에 전송될 수 있도록 프로세서(842) 및/또는 전송기(844)에 결합될 수 있다. 예를 들어, 하나 이상의 위치 센서들(852a, 852b)이 예를 들어, 프레임(812), 및 결과적으로 사용자의 머리의 공간적 방향을 결정하기 위해, 제공될 수 있다. 예를 들어, 활동 기록 센서들이 머리의 기울기 또는 운동을 측정하기 위해, 예를 들어, 사용자의 머리가 전방으로 숙이고 있는지 또는 측방으로 기울이고 있는지를 모니터링하기 위해 제공될 수 있다. 음향 센서들, 예를 들어, 마이크로폰(854)이 환경 소음 또는 사용자에 의해 생성되는 소리를 검출하기 위해 제공될 수 있다.
또한, 시스템(810)은 프레임(812) 상에 또는 피드백 디바이스를 포함할 수 있다. 이러한 디바이스들은 미리 결정된 조건, 예를 들어, 졸음 또는 위식 부족 상태가 검출될 때, 예를 들어, 사용자에게 경보하고/하거나 사용자를 깨우기 위해, 사용자에게 피드백을 제공할 수 있다. 피드백 디바이스들은 이들의 활동을 제어할 수 있는, 프로세서(842)에 결합될 수 있다. 예를 들어, 기계적 진동자 디바이스(860)가 사용자에 접촉할 수 있는 위치에, 예를 들어, 이어 지지체(816) 상에 제공될 수 있으며, 이는 피부 접촉을 통한 촉각적 진동 자극을 제공할 수 있다. 상대적으로 저 전력 전기 자극을 생성할 수 있는 전극(미도시)이 제공될 수 있다. 가시성 백색광 또는 유색광 이미터, 이를테면 하나 이상의 LED가 원하는 위치들에, 예를 들어, 브리지 피스(814) 위에 제공될 수 있다. 대안적으로, 본 출원에서의 다른 곳에서 설명된 다른 실시예들과 유사하게, 오디오 디바이스들(862), 이를테면 버저 또는 다른 알람이 제공될 수 있다. 추가 대안예에서, 아로마-이미터들이 프레임(810) 상에, 예를 들어, 브리지 피스(814) 상에 또는 이에 인접하게 제공될 수 있다.
추가 또는 대안적으로, 하나 이상의 피드백 디바이스가 프레임(812)과 별개로, 그러나 사용자에 피드백 응답을 제공할 수 있는 방식으로 위치하여 제공될 수 있다. 예를 들어, 청각적, 시각적, 촉각적(예를 들어, 진동 시트), 또는 후각적 이미터들이 본 출원에서의 다른 곳에서 설명된 임의의 디바이스들과 같이, 사용자에 근접하게 제공될 수 있다. 추가 대안예에서, 사용자에게 열적 자극을 생성할 수 있는 발열 또는 냉방 디바이스들 예를 들어, 원격 제어 팬 또는 공기 조화 유닛이 제공될 수 있다.
시스템(810)은 또한 본 출원에서의 다른 곳에서 설명된 다른 실시예들과 유사하게, 프레임(812)로부터 원격에 있는 구성요소들을 포함할 수 있다. 예를 들어, 시스템(810)은 프레임(812)으로부터 원격인 위치에, 예를 들어, 동일한 공간에, 모니터링 스테이션 근처에, 또는 보다 별개의 위치에 수신기, 프로세서, 및/또는 디스플레이(미도시)를 포함할 수 있다. 수신기는 센서들(822), 카메라들(830, 840), 또는 프레임(812) 상에 제공되는 임의의 다른 센서들로부터의 출력 신호들을 포함하여, 전송기(842)에 의해 전송되는 신호들을 수신할 수 있다.
프로세서는 예를 들어, 그래픽 디스플레이를 위한 신호들을 준비하기 위해, 프레임(812) 상의 구성요소들로부터의 신호들을 분석하기 위해 수신기에 결합될 수 있다. 예를 들어, 프로세서는 모니터 상에 디스플레이를 위해 센서들(822) 및/또는 카메라들(830, 840)로부터의 신호들을 준비하고, 그렇게 함으로써 사용자가 다른 자들에 의해 모니터링되게 할 수 있다. 동시에, 다른 파라미터들이 단일 또는 별개 중 어느 하나의 디스플레이(들) 상에, 디스플레이될 수 있다. 예를 들어, 도 5a 내지 도 5i는 프레임(812) 상에 있을 수 있는 다양한 센서의 출력을 나타내는 신호들을 도시하며, 이는 공통 시간축에 따라 디스플레이되거나 예를 들어, 사용자의 눈의 운동 및/또는 졸음도와 상관관계를 다른 방법으로 보일 수 있다. 프로세서는 의사 또는 다른 개인이 모니터링하고 이러한 파라미터들을 사용자의 거동과 개인적으로 상관관계를 보이게 하기 위해 다른 감지된 파라미터들과 함께 비디오 신호들을 중첩 또는 다른 방법으로 동시에 디스플레이할 수 있다.
카메라(830)로부터의 비디오 신호들이 다양한 눈 파라미터들, 이를테면 동공 크기, 위치(예를 들어, 교차된 밴드들(850)에 의해 규정되는 네 개의 사분면 내의), 눈 추적 운동, 눈의 주시 거리 등을 모니터링하기 위해 프로세싱될 수 있다. 예를 들어, 카메라(들)(830)가 이미터들(822)에 의해 방사되는 광을 검출할 수 있을 수 있기 때문에, 카메라(들)(830)은 이미터들에 의해 사용자의 눈의 영역 상에 투영되는 기준 프레임을 검출할 수 있다. 도 6은 수직적 배열로 배치되는 20개의 이미터를 갖는 시스템에 포함되는 카메라로부터의 대표적인 비디오 출력을 도시한다.
카메라는 수직적 밴드로서 배열되는 광의 20개의 별개의 영역을 검출할 수 있다. 카메라는 또한 "반짝이는(glint)" 지점(G), 및/또는 이동하는 밝은 동공(P)을 검출할 수 있다. 그에 따라, 동공의 운동이 반짝이는 지점(G)에 관하여, 그리고/또는 수직적 밴드(1-20)에 관하여 모니터링될 수 있다.
이미터들(822)이 프레임(812)에 고정되기 때문에, 기준 프레임(850)은 사용자에 관하여 실질적으로 정적 상태를 유지할 수 있다. 그에 따라, 프로세서는 기준 프레임(850)에 관하여 직교 좌표(예를 들어, x-y 또는 각-반경) 면에서 동공의 위치를 결정할 수 있다. 대안적으로, 기준 프레임이 제거되는 경우, 동공의 위치는 사용자의 눈 상의 임의의 정적 상태의 "반짝이는" 지점 또는 다른 미리 결정된 기준 지점에 관하여 결정될 수 있다. 예를 들어, 카메라(830) 그 자체가 카메라에 의해 반사 및 검출될 수 있는 눈 상으로 광점을 투영시킬 수 있다. 이러한 "반짝이는" 지점은 카메라(830)가 프레임(812)에 고정되기 때문에 실질적으로 정적 상태를 유지하고, 그렇게 함으로써 눈의 후속 상대적 운동이 결정될 수 있는 원하는 기준점을 제공할 수 있다.
도 3으로 돌아가, 대안적인 실시예에서, 카메라들(832, 840)은 도 9에 도시된 형태와 유사하게, 단일 검출기(미도시)에 결합될 수 있다. 광 섬유 번들들(832, 841)은 카메라들(830, 840)로부터의 이미지들을 검출기의 각각의 영역들 상에 전달 및/또는 포커싱하기 위해 하나 이상의 렌즈에 결합될 수 있다. 검출기는 예를 들어, 단면도에서 약 5 내지 10 밀리미터(5-10 mm)인 활성 이미징 영역을 갖는 CCD 또는 CMOS 칩일 수 있다. 대표적인 실시예들에서, 검출기의 활성 이미징 영역은 카메라(830) 및 카메라(840) 양자로부터 동시발생 이미지들을 수신하기에 충분한 영역이 존재하는 한, 사각형, 직사각형, 원형, 또는 타원형일 수 있다. 카메라들(830, 840)로부터의 동시발생 비디오 이미지들을 디스플레이하는 대표적인 출력들이 도 10a 및 도 10b에 도시되고, 아래에서 더 설명된다. 대안예에서, 충분한 해상도 및 프로세싱을 이용하여, 시스템(810)에서 이미터들(820) 및/또는 센서들(822)을 제거하는 것이 가능할 수 있다.
도 8a 및 도 8b를 참조하면, 장치(910)를 착용하는 개인의 눈꺼풀 운동을 모니터링하기 위한 장치(910)의 다른 실시예가 도시된다. 본 출원에서의 다른 곳에서 설명된 바와 같이, 장치(910)는 생체 센서, 커뮤니케이터, 및/또는 제어기로서 사용될 수 있고/거나, 예를 들어, 사용자의 눈 중 한쪽 또는 양쪽의 자발적-효과적인 그리고/또는 비자발절-비-효과적인 운동을 모니터링하기 위해 시스템에 포함될 수 있다.
도시된 바와 같이, 장치(910)는 사용자의 머리에 착용될 수 있는 헬멧(912), 및 생체 센서 어셈블리(920)를 포함한다. 헬멧(912)은 예를 들어, 그 위에 장착되는 야간 투시경 튜브들 또는 다른 고글들(914)을 포함하는, 표준 비행사의 헬멧, 이를테면 헬리콥터 또는 제트 항공기 파일럿들에 의해 사용되는 것들일 수 있다. 임의로, 헬멧(912)은 하나 이상의 헤드-업 디스플레이, 예를 들어, 한쪽 또는 양쪽 눈(미도시) 앞에 또는 이에 인접하게 장착되는 소형 플랫-패널 LCD를 포함할 수 있다.
대안적으로, 헬멧(912)은 사용자의 머리에 착용되도록 구성되는 프레임 또는 다른 디바이스로 대체될 수 있다. 예를 들어, 도 15는 본 출원에서의 다른 곳에 더 설명된 바와 같이, 프레임(1012) 생체 센서 어셈블리(1020)를 포함하는 장치(1010)의 대표적인 실시예를 도시한다. 일반적으로, 프레임(1012)은 본 출원에 설명된 다른 실시예와 유사하게, 브리지 피스(1012a), 개구(1012c)를 형성하는 각 눈 위 또는 주위에 연장되는 테(1012b), 및/또는 이어 지지부재(1012d)의 쌍을 포함한다. 프레임(1012)은 그것들이 장치(1010)의 작동에 필수적이지 않으나, 개구들(1012c) 내에 또는 이들에 걸쳐 장착되는 렌즈의 쌍(미도시), 이를테면 처방용, 색조, 및/또는 보호형 렌즈들을 포함할 수 있다. 예를 들어, 렌즈들은 청색 또는 회식 필터들, 편광 렌즈들 등을 포함할 수 있다. 대표적인 실시예에서, 렌즈들은 예를 들어, 과포화, 반짝임 등이 카메라들(1024)에 의해 획득되는 이미지들에 발생하는 것을 감소시키기 위해, 카메라들(1024)에 의해 검출되는 대역폭에 대응하는 광의 미리 결정된 대역폭을 필터링하도록 선택될 수 있다.
대안적으로, 한쪽 또는 양쪽 렌즈는 디스플레이들, 예를 들어, 상대적으로 소형인 플랫 패널 LCD들로 대체될 수 있거나, 또는 아래에 더 설명된 바와 같이, 시뮬레이터 및/또는 레크리에이션 디바이스로서 사용될 수 있는, 예를 들어, 헤드-업 디스플레이(미도시)와 유사하게, 이미지들이 투영될 수 있는 영역들을 포함할 수 있다. 추가 대안예들에서, 본 출원에서의 장치는 사용자의 머리에 사용될 수 있는 다른 디바이스들, 이를테면, 모자, 머리 밴드, 머리 가리개, 보호용 눈 및 머리 장비, 얼굴 마스크, 산소 마스크, 산소 호흡기 마스크, 스쿠버 또는 잠수 마스크 등(미도시)을 포함할 수 있다.
장치(910 또는 1010)의 구성요소들은 본 출원에서의 다른 곳에 더 설명된 바와 같이, 예를 들어, 일반적으로 장치(910 또는 1010)를 착용하면서 사용자의 시야 및/또는 정상 활동의 방해를 최소화하기 위해, 헬멧(912) 또는 프레임(1012)(또는 다른 헤드-착용 디바이스) 상의 다양한 위치에 제공될 수 있다.
도 8a 및 도 8b에 도시된 바와 같이, 생체 센서 어셈블리(920)는 예를 들어, 벨크로, 끈들, 및/또는 다른 일시적 또는 착탈가능한 연결기들(미도시)을 사용하여, 헬멧(912)의 상부에 장착되는 카메라(922)를 포함한다. 이는 카메라(922)가 사용하지 않을 때 제거되게 할 수 있다. 대안적으로, 카메라(922)는 본 출원에 설명된 다른 실시예들과 유사하게, 헬멧(912)에 실질적으로 영구적으로 연결되거나, 헬멧(912)(또는 다른 프레임) 내로 직접적으로 통합되거나, 헤드-장착 텔레비전, LCD 모니터 또는 다른 디지털 디스플레이등에 연결될 수 있다.
생체 센서 어셈블리(920)는 또한 사용자의 눈(들)을 이미징하기 위한 하나 이상의 "엔도-카메라(endo-camera)"를 제공하기 위해 카메라(922)에서 헬멧(912) 앞까지 연장되는 하나 이상의 광 섬유 번들들(924)을 포함한다. 카메라(922)에서 고글들(914)의 각각의 튜브들까지 연장되는 광 섬유 번들(924)의 쌍이 도시된다. 대표적인 실시예에서, 광 섬유 번들들(924)은 카메라(922)에서 고글들(914)까지 연장되기에 충분한 길이, 예를 들어, 약 12 내지 18 인치일 수 있으나, 대안적으로, 광 섬유 번들들(924)은 헬멧(910) 상의 카메라(922)의 위치에 따라(또는 카메라(922)가 헬멧(910)과 별개로 제공되는 경우), 보다 긴 길이, 예를 들어, 약 2 내지 4 피트 길이, 또는 보다 짤은 길이일 수 있다.
광 섬유 번들들(924)의 종단들(926)은 고글들(914)에, 예를 들어, 고그들(914)에 연결되거나 이들에서 다른 방법으로 연장되는 브래킷들(916)에 영구적으로 또는 착탈가능하게 부착될 수 있다. 대안적으로, 광 섬유 번들들(924)은 클립들, 파스너들, 접착제 등(미도시)을 사용하여 고글들(914) 상에 일시적으로 또는 실질적으로 영구적으로 고정될 수 있다. 도시된 바와 같이, 광 섬유 번들들(924)의 종단들(926)은 고글들(914) 아래에 그리고 사용나의 눈을 향해 상향으로 각지게 장착된다. 종단들(926)의 각도는 예를 들어, 약 15도 초과 또는 약 45도의 기준각 미만으로, 조절가능할 수 있다. 대안적으로, 광 섬유 번들들(924)의 종단들(926)은 헬멧(912) 및/또는 고글들(914) 상의 다른 위치들에 제공되나, 사용나의 눈을 향해 지향될 수 있다.
도 9를 추가로 참조하면, 각 광 섬유 번들(924)은 광 섬유 이미지 가이드(928), 즉, 광 이미징 섬유들의 번들, 및 예를 들어, 카메라(922) 및 광 섬유 번들(924)의 종단들(926) 사이에 연장되는, 수축 튜브(미도시)에 봉입되는, 조명 섬유 번들(930)을 포함할 수 있다. 각 조명 섬유 번들(930)은 예를 들어, 카메라(922) 내, 광원에 결합되는 하나 이상의 광 섬유를 포함할 수 있다. 예를 들어, 카메라(922)는 하나 이상의 LED(934)(단순화를 위해 하나만 도시)를 포함하는 발광 다이오드(LED) 하우징(932)을 포함할 수 있고, 조명 섬유 번들(들)(930)은 광을 종단(들)(926)에 전달하기 위해 LED 하우징(932)에 결합될 수 있다.
광원(934)에 의해 방사되는 광은 방사되는 광이 사용자의 정상 시야를 실질적으로 방해하지 않도록, 정상적인 사람의 시야의 범위 밖, 예를 들어, 적외선 범위 내, 예를 들어, 약 840 내지 880 나노미터(840-880 nm)의 정상 출력 파장을 가질 수 있다. 광원은 본 출원에서의 다른 곳에서 설명된 실시예들과 유사하게, 실질적으로 연속적인 광 또는 원하는 주파수의 광 펄스들을 생성할 수 있다. 예를 들어, 제어기(미도시)는 원하는 경우, 방사되는 펄스들의 주파수, 지속기간, 및/또는 진폭 중 하나 이상을 조절하기 위해 광원(들)(934)에 결합될 수 있다.
대안적으로, 사용자의 얼굴 및/또는 한쪽 또는 양쪽 눈을 조명하기 위한 다른 광원들이 조명 섬유 번들(930) 대신 제공될 수 있다. 예를 들어, 본 출원에서의 다른 곳에서 설명된 실시예들과 유사하게, 하나 이상의 이미터(미도시), 예를 들어, 헬멧(912) 및/또는 고글들(914)의 하나 이상의 영역을 따라 배치되는 이미터들의 어레이가 제공될 수 있다.
각 광 섬유 번들(924)의 종단(926)은 예를 들어, 사용자의 눈을 향해, 원하는 방식으로 이미지 가이드(928)에 포커싱할 수 있는 하나 이상의 렌즈, 예를 들어, 대물 렌즈(936)(도 8a에 도시)를 포함할 수 있다. 각 이미지 가이드(928)는 전방 가시선(0도(0°) 시야)을 가질 수 있고 대물 렌즈(936)은 예를 들어, 약 45도(45°)의 보다 넓은 시야를 제공할 수 있다. 임의로, 가시선은 대물 렌즈(936)을 조절함으로써 예를 들어, 약 30 내지 60도(30-60°)로 조절가능할 수 있다. 또한, 대물 렌즈(936)는 약 2인치(2in.)로 가시 거리를 최적화하고,그렇게 함으로써 사용자의 눈(들) 상의 포커스를 향상시킬 수 있다. 그에 따라, 이미지 가이드(들)(928)은 사용자의 눈(들)의 이미지들을 광 섬유 번들(들)(924)을 통해 카메라(922)로 전달할 수 있다.
도 9에 도시된 바와 같이, 카메라(922)는 이미지 가이드(들)(928)(및/또는 카메라(944)로부터의 이미지들을 이미징 디바이스(940)의 활성 영역(942) 상에 전달 및/또는 포커싱하기 위해, 하나 이상의 렌즈, 예를 들어, 확대부(938)를 포함할 수 있다. 이미징 디바이스(940)는 이미지들을 수신하기 위한 2-차원 활성 영역을 제공하는 다양한 알려진 디바이스, 예를 들어, CMOS 또는 CCD 검출기일 수 있다. 대표적인 실시예에서, 이미징 디바이스(940)는 CMOS 디바이스, 이를테면 Sensovation에 의해 제조된 디바이스, Model cmos SamBa HR-130, 또는 Micron Imaging에 의해 제조된 Fast Camera 13, Model MI-MV13일 수 있다. 확대부(938)는 C-마운트 또는 다른 연결(미도시)을 통해 카메라(922)와 기계적으로 짝지어질 수 있다.
대표적인 실시예에서, 각 이미지 가이드(928)는 이미징 디바이스(940)의 활성 영역(942) 상에 투영될 수 있는, 예를 들어, 본 출원에서의 다른 곳에서 설명된 광 섬유 번들들과 유사하게, 이미지 데이터의 1만 내지 5만(10,000 내지 50,000) 픽셀만큼을 제공할 수 있을 수 있다. 도 8a 및 도 8b에 도시된 장치(910)에 대해, 광 섬유 번들들(924) 양자로부터의 이미지들이 도 9에 도시된 바와 같이, 즉, 각각의 사용자의 눈으로부터의 이미지들이 활성 영역(942)의 절반 미만을 차지하도록, 단일 이미징 디바이스(940) 상에 투영된다.
임의로, 장치(910)는 본 출원에서의 다른 곳에서 설명된 실시예들과 유사하게, 예를 들어, 사용자의 환경을 모니터링하기 위해, 사용자의 머리에서 떨어져 배향되는 "엑소-카메라(exo-camera)"(944)를 포함할 수 있다.
예를 들어, 도 8a에 도시된 바와 같이, 카메라(922)에서 연장되는 다른 광 섬유 번들(945)이 제공될 수 있다. 도시된 바와 같이, 광 섬유 번들(945)는 "전방으로", 즉, 일반적으로 사용자가 직선 앞을 볼 때와 같은 방향으로 배향되고, 마이크로 렌즈(946)에서 종료된다. 광 섬유 번들(945)은 이의 시야가 헬멧(912)에 관하여 실질적으로 고정되도록 상대적으로 짧고/거나 실질적으로 강성일 수 있다. 대안적으로, 엑소-카메라(944)는 위에서 설명된 엑소-카메라(840)와 유사하게, 예를 들어, 광 섬유 번들을 포함하여, 헬멧(912) 및/또는 고글들(914) 상의 다른 위치들에 제공될 수 있다. 그에 따라, 엑소-카메라(944)는 사용자에서 떨어져, 예를 들어, 사용자의 얼굴 직선 앞에 이미지들 제공할 수 있다.
엑소-카메라(944)는 하나 이상의 조명 섬유를 포함할 수 있거나 포함하지 않을 수 있으나, 예를 들어, 확대부(938)를 통해 또는 별도로, 이미징 디바이스(940)에 결합될 수 있는 이미지 가이드를 포함할 수 있다. 그에 따라, 엑소-카메라(944)로부터의 이미지들이 본 출원에 설명된 다른 실시예들과 유사하게, 이미지 가이드들(928)로부터 수신되는 각각의 사용자의 눈의 이미지들과 동일한 활성 영역(942) 상에 전달될 수 있다. 이러한 구성은 시간 및/또는 공간 동기화를 가능하게 하거나 용이하게 하여, 사용자의 눈이 사용자의 머리 방향 위치에 관해 "어디를", "무엇을", 그리고/또는 "얼마나 오래"(시선의 지속기간) 보고 있는지를 식별할 눈 추적 목적들을 위해 "삼각 측량법" 또는 다른 알고리즘들을 통해, 또는 엑소-카메라 이미지들 위에 엔도-카메라 이미지(들)을 오버레이 또는 중첩하게 할 수 있다.
그에 따라, 카메라(922)는 하나 이상의 "엔도-카메라"로부터, 즉, 광 섬유 번들들(924)로부터 그리고 엑소-카메라(944)로부터 이미지들을 동시에 캡처할 수 있다. 이는 각 디바이스에 의해 캡처되는 이미지들이 서로 동기화된다는 것, 즉, 한쪽 눈의 이미지가 실질적으로 동시에 찍힌 다른 쪽 눈의 이미지에 특정한 시간에 대응하도록 시간이 함께 링크된다는 것을 보장할 수 있다. 또한, 이러한 이미지들은 다른 센서들, 예를 들어, 하나 이상의 생리학적 센서들로부터의 데이터와 실질적으로 동기화될 수 있으며, 이는 사용자를 모니터링 및/또는 진단하는 그리고/또는 사용자의 거동을 예측하는 능력을 향상시킬 수 있다. 동기화로 인해, 이미지 데이터가 상대적으로 높은 속도로, 예를 들어, 약 500 내지 750의 초당 프레임 또는 헤르츠(500-750 Hz)으로 캡처될 수 있다. 대안적으로, 예를 들어, 데이터를 수신하는 프로세서에 의해 동기화될 수 있는 이미지 데이터를 캡처하는 별개의 검출기들이 제공될 수 있다. 이러한 대안예에서, 캡처에 후속하여 프로세서 또는 다른 디바이스에 의한 동기화를 용이하게 하기 위해, 보다 느린 캡처 속도, 예를 들어, 30 내지 60 헤르츠(30-60 Hz)가 사용될 수 있다. 임의로, 카메라(922) 및/또는 관련 프로세서가 상대적으로 느린 생체 측정 측량, 예를 들어, 약 15 내지 60(15-60)의 초당 프레임의 속도로 캡처할 수 있다.
도 10a 및 도 10b는 두 개의 엔도-카메라(2010) 및 엑소-카메라(2020)로부터(또는 별개의 카메라들 및/또는 검출기들로부터의 이미지들을 엮는 디바이스로부터) 동시발생 이미지 신호들을 수신하는 카메라로부터의 대표적인 출력들을 예시한다. 도시된 바와 같이, 엔도-카메라는 각각의 사용자의 눈을 향해 지향되고, 엑소-카메라는 사용자의 환경에서 밖(즉, 일반적으로 사용자의 얼굴 직선 앞)을 향해 지향된다. 도 10a에서, 사용자의 양쪽 눈(2010L, 2010R)이 개방되고 엑소-카메라 이미지(2020)는 사용자 앞에 있는 방의 수평적 뷰를 도시한다. 그에 반해, 도 10b에서, 사용자의 한쪽 눈(2010L)은 완전히 폐쇄되고, 다른 눈(2010R)은 눈꺼풀이 동공의 대부분을 가리도록 부분적으로 폐쇄된다. 엑소-카메라(2020)는 사용자의 머리가 좌측으로 기울어지고 전방으로 숙여지기 시작했다는 것을 도시한다.
도 8a, 도 8b 및 도 9로 돌아가, 카메라(922)(및/또는 카메라(944))로부터의 이미지들은 케이블(948)을 통해 장치(910)로부터 전송될 수 있다(도 8a에 가장 잘 도시됨). 예를 들어, 이미징 디바이스(940)는 본 출원에서의 다른 곳에서 설명된 다른 실시예들과 유사하게, 활성 영역(942)으로부터의 광학 이미지들을 케이블(948)을 통해 하나 이상의 프로세서 및/또는 제어기(미도시)로 전달될 수 있는 전기 신호들로 변환할 수 있다. 대안적으로, 광 섬유 번들들(942) 및/또는 엑소-카메라(944)로부터의 이미지들이 본 출원에 설명된 다른 실시예들과 유사하게, 장치(910)에서 하나 이상의 원격 디바이스, 예를 들어, 카메라, 검출기, 및/또는 프로세서(미도시)로 전달될 수 있다. 이러한 대안예에서, 번들들(924)은 예를 들어, 사용자가 정상적으로 이동하게 하나 원격 디바이스(들)에 결합되게 유지하기에 충분한 길이를 제공하는, 약 2 내지 6 피트 길이일 수 있다.
대안적으로 또는 추가로, 장치(910)는 카메라(922)에 결합될 수 있는, 무선 전송기(미도시), 이를테면 예를 들어, 블루투스 또는 다른 프로토콜들을 사용하는, 단 또는 장 범위 무선 주파수(RF) 전송기를 포함할 수 있다. 전송기는 카메라(922)에 또는 헬멧(912) 상의 다른 곳에 위치될 수 있다. 전송기는 본 출원에서의 다른 곳에서 설명된 다른 실시예들과 유사하게, 이미지 데이터를 나타내는 이미지 신호들을 원격 위치에 있는 수신기로 전송할 수 있다. 또 다른 대안예에서, 장치(910)는 전송기 및/또는 케이블(948) 대신 또는 이에 추가하여, 이미지 데이터를 저장하기 위한 메모리(또한 미도시)를 포함할 수 있다. 예를 들어, 데이터는 예를 들어, 항공기에서 사용되는 "블랙 박스" 레코더와 유사한, 레코더 디바이스에 저장될 수 있고, 따라서 예를 들어, 레코더가 운송 수단 사고, 의료 사고 이후 분석을 위해, 나중에 검색될 수 있다.
임의로, 장치(910)는 장치(910)의 다양한 구성요소를 제어하기 위해 예를 들어, 카메라(922) 내에, 그리고/또는 헬멧(912) 상에 또는 이 내에, 하나 이상의 제어기(미도시)를 포함할 수 있다. 예를 들어, 제어기는 LED들(934)이 예를 들어, 장치(910)의 에너지 소비를 감소시키기 위해, 펄스들의 주파수, 지속기간, 및/또는 진폭 중 하나 이상을 달리하는, 미리 결정된 펄스들 또는 가변 펄스들로 광을 방사하도록, 하나 이상의 LED(934)에 결합될 수 있다. 또한, 장치(910)는 장치(910)의 하나 이상의 구성요소에 전력을 제공하기 위해, 하나 이상의 전원, 예를 들어, 배터리 및/또는 케이블을 포함할 수 있다. 예를 들어, 하나 이상의 배터리(미도시)가 이미징 디바이스(940) 및/또는 LED(들)(934)에 전력을 제공하기 위해 카메라(922)에 제공될 수 있다.
도 15를 참조하면, 본 출원에 설명된 임의의 다른 실시예들 상에 제공될 수 있고/거나 임의로, 본 출원에 설명된 다른 실시예들의 임의의 구성요소들을 포함할 수 있는, 대안적인 생체 센서 어셈블리(1020)가 도시된다. 어셈블리(920)와 달리, 프레임(1012) 상의 여러 위치에 복수의 광원(1030)이 제공된다. 예를 들어, 각 광원(1030)은 상대적으로 좁은 또는 넓은 대역폭의 광, 예를 들어, 하나 이상의 약 640-700 나노미터 파장의 적외선, 광대역 가시광, 예를 들어, 백색 광 등을 방사하기 위해 구성되는 발광 다이오드를 포함할 수 있다. 광원들(1030)은 본 출원에서의 다른 실시예들과 유사하게, 예를 들어, 사용자의 눈 및/또는 얼굴에 광을 비추기 위해, 렌즈들, 확산기들, 또는 다른 피처들(미도시)를 포함할 수 있다. 광원들(1030)은 프레임(1012) 내 각각의 개구들(1012c) 주위에 위치되게 예를 들어, 하나 이상의 수직 어레이로 또는 다른 어레이로, 서로 이격될 수 있다.
또한, 사용자의 눈의 한쪽 또는 두쪽을 모니터링하기 위한, 그리고, 임의로, 사용자의 환경을 모니터링하기 위한 개별적인 마이크로-카메라(1024, 1046)가 제공될 수 있다. 예를 들어, 도시된 바와 같이, CMOS, CCD, 또는 다른 검출기(1024)가 프레임(1012) 상에, 예를 들어, 각 개구(1012c) 아래에 제공될 수 있고, 따라서 검출기(1024)는 장치(1010)를 착용하는 사용자의 각각의 눈을 향해 배향된다. 도 16에 도시된 바와 같이, 각 검출기(1024)는 예를 들어, 프레임을 착용하는 사람의 일반적 시야에서 떨어져 검출기(1024)를 배치하기 위해, 프레임(1012) 내 각각의 개구(1012c)로부터 오프셋될 수 있다. 예를 들어, 도시된 바와 같이, 프레임은 일반적으로 개구(1012c)를 통해 연장되는, 예를 들어, 프레임(1012)에 의해 일반적으로 형성되는 평면에 직교하게, 눈-시선축(1013)을 형성할 수 있다. 눈-시선축(1013)은 사람이 개구(1012c)를 통해 직선 앞을 볼 때 프레임을 착용하는 사람이 보는 방향에 대응할 수 있다. 검출기(1024)는 예를 들어, 검출기(1024)의 활성 영역의 시야의 중심을 식별하는, 검출기(1024)의 중심선 이미징 축(1025)이 눈-시선축(1013)으로부터 오프셋되도록, 프레임(1012)에 장착될 수 있다. 일 실시예에서, 눈-시선축(1013) 및 중심선 이미징 축(1025)은 예를 들어, 검출기(1024)의 방향을 조절하기 전에 또는 조절한 후에, 서로 교차하여, 축들 간 정확한 각도를 형성할 수 있다.
예를 들어, 각 검출기(1024)는 검출기(1024)의 방향의 조절을 가능하게 할 수 있는 스위블 마운트(swivel mount)(1026)에 제공될 수 있다. 하나 이상의 렌즈, 필터 등(미도시)이 또한 카메라(922)와 유사하게, 검출기(1024) 위 스위블 마운트(1026)에 고정되거나 검출기(1024)에, 예를 들어, 이의 활성 영역 위에 직접적으로 고정될 수 있다.
스위블 마운트(들)(1026)는 하나 이상의 축에 대해 조절가능, 예를 들어, 사용자의 눈 또는 얼굴을 향해, 예를 들어, 프레임(1012)에서 떨어져 그리고 대각선 상향으로 배향되는 회전축, 이를테면 중심선 이미징 축(1025)에 대해 회전가능할 수 있다. 스위블 마운트(1026)는 예를 들어, 검출기(1024)의 활성 영역 내에 개별적인 사용자의 눈의 중심을 두기 위해, 검출기(1024)의 방향의 조절을 가능하게 할 수 있다. 스위블 마운트(1026)는 원하는 방향으로 스위블 마운트(1026)(그리고 결과적으로 검출기(1024))를 선택적으로 잠금하나, 스위블 마운트(1026)이 필요할 때, 해제 및 조절되게 하기 위해 고정 나사들, 짝을 이루는 스레드들, 칼라, 및/또는 다른 피처들(미도시)을 포함할 수 있다.
검출기(1024)는 검출기(1024)의 활성 영역 상에 이미지들을 포커싱하기 위해 렌즈(미도시)를 포함할 수 있다. 임의로, 필터(미도시)가 예를 들어, 검출기(1024)에 의해 획득되는 이미지들로부터 원치 않는 파장들의 광을 필터링하기 위해, 검출기(1024) 상에 제공될 수 있다. 예를 들어, 필터는 세기를 감소시키거나, 또는 그렇지 않으면 이미지들 상에 반짝임 또는 다른 원치 않는 결함들을 생성할 수 있고, 검출기(1024)를 포화 상태로 만들 수 있는 등의, 검출기(1024)의 활성 영역 상에 그렇지 않으면 수용되는 가시광 및/또는 자외선 광을 완전히 제거할 수 있다.
추가 또는 대안적으로, 기울어진 렌즈들이 본 출원에서의 다른 곳에서 설명된 바와 같이, 눈의 이미지들 상에 반짝임 또는 다른 결함들을 생성할 수 있는 원치 않는 대역폭의 외부 광을 필터링하기 위해 프레임(1012) 상에 제공될 수 있다. 예를 들어, 렌즈들은 정적으로 또는 동적으로 광 세기를 감소시키거나, 또는 사용 동안 그렇지 않으면 모니터링되는 눈의 동공, 눈꺼풀, 또는 다른 구조에 의한 원치 않는 반응을 야기할 수 있는, 원치 않는 파장들의 광을 제거할 수 있다. 추가 대안예에서, 검출기(1024)는 단지 원하는 대역폭의 광, 예를 들어, 약 640-700 나노미터 파장들의 적외선 광 내에서 이미지들을 캡처하기 위해 구성될 수 있다.
또한, 하나 이상의 엑소-카메라(1046, 1047)가 장치(1010)를 착용하는 사람의 환경의 이미지들을 획득하기 위해 프레임(1012) 상에 제공될 수 있다. 도시된 바와 같이, 제1 검출기(1046)는 이전 실시예들과 유사하게, 프레임(1012)의 브리지 피스(1012a)에 장착되고 사용자에서 떨어져 배향된다. 검출기(1046)는 본 출원에서의 다른 검출기들 또는 카메라들과 유사하게, 프레임(1012)에 고정되게 장착될 수 있거나, 또는 예를 들어, 스위블 마운트, 구부릴 수 있는 팁 등을 포함하여, 조절가능할 수 있다.
임의로, 검출기들(1047)의 예를 들어, 쌍이 검출기(1046)에 추가하여 또는 그 대신, 예를 들어, 테(1012b)의 좌측 및 우측 상에 제공될 수 있다. 예를 들어, 좌측 및 우측 검출기들(1047)이 검출기들(1047)에 의해 3차원으로 획득되는 이미지들 내 대상물들의 삼각측량 또는 다른 식별을 용이하게 할 수 있다.
엑소-카메라들(1046, 1047)은 원하는 바와 같이, 유사하거나 상이한 시야, 해상도, 초점 길이, 또는 다른 피처들을 가질 수 있다. 예를 들어, 상이한 엑소-카메라들은 상대적으로 보다 넓거나 보다 좁은 시야를 가질 수 있고/거나, 프레임을 착용하는 사람을 둘러싸는 상이한 영역들의 이미지들을 획득하기 위해 상이한 축들에 따라 연장될 수 있고/거나, 보다 높고 낮은 상대적인 해상도, 초점 길이 등을 포함할 수 있다. 예를 들어, 상대적으로 저 해상도, 광각의 제1 검출기가 상대적으로 고 해상도, 협각의 제2 검출기와 함께 사용될 수 있고, 따라서 예를 들어, 제1 검출기로부터의 이미지들은 일반적 분석을 위해 사용될 수 있는 한편, 제2 검출기로부터의 이미지들은 보다 세분화가 요구될 때 사용될 수 있다. 추가 또는 대안적으로, 제1 및 제2 검출기들은 상이한 초점 길이를 가질 수 있고, 따라서 예를 들어, 하나의 검출기가 다른 검출기보다 근접한 대상물들 또는 씬들의 이미지들을 획득한다.
각 검출기(1024, 1046)는 개별적인 케이블, 와이어들의 세트 등에 결합될 수 있고, 따라서 각각의 검출기(1024, 1046)에 의해 생성되는, 즉, 검출기(1024, 1046)의 활성 영역 상에 수신되는 이미지들에 대응하는 신호들이 검출기(1024, 1046)에서 떨어져 전달된다. 예를 들어, 도 15에 도시된 바와 같이, 케이블(1048)은 검출기들(1024, 1046)에 결합되는 개별적인 케이블들 또는 와이어들의 세트들을 포함하는 프레임(1012)에서 연장될 수 있다. 케이블(1048)은 각각의 광원들(1030)에 결합되는 개별적인 케이블들 셋팅 와이어들의 세트들을 포함할 수 있다. 개별적인 케이블들 셋팅 와이어들의 세트들은 예를 들어, 원하는 경우, 장치(1010)의 전체 프로필을 감소시키기 위해, 케이블(1048) 내에 캡처될 때까지 예를 들어, 각각의 검출기(1024, 1046) 또는 광원(1030)으로부터 테(1012b)를 따라 프레임(1012)에 내장될수 있다.
케이블(1048)은 예를 들어, 본 출원에서의 다른 실시예들과 유사하게, 프레임(1012)과 별개인 프로세서 박스(1050)에 연장될 수 있다. 예를 들어, 프로세서 박스(1050)는 광원들(1030), 검출기들(1024, 1046)로부터의 이미지 신호들을 저장하기 위한 메모리 등을 제어하기 위해 하나 이상의 제어기 또는 프로세서를 포함할 수 있다. 또한, 프로세서 박스(1050)는 예를 들어, 장치(1010)의 구성요소들을 작동시키기 위해, 하나 이상의 전원을 포함할 수 있다. 대안적으로, 하나 이상의 프로세서, 전원 등이 본 출원에서의 다른 실시예들과 유사하게, 프레임(1012) 상에 제공될 수 있다. 임의로, 프레임(1012)은 또한 본 출원에서의 다른 실시예들과 유사하게, 데이터를 전송하고, 지시들을 수신하는 등을 위한 하나 이상의 전송기 및/또는 수신기(미도시), 하나 이상의 센서(또한 미도시), 및/또는 다른 구성요소들을 포함할 수 있다.
장치(910)(또는 1010)를 포함하는 시스템은 본 출원에서의 다른 곳에서 설명된 다른 실시예들과 유사하게, 장치(910)로부터 원격에 있는 구성요소들을 포함할 수 있다. 예를 들어, 도 8a 및 도 8b의 장치(910)(그러나 장치(1010)와 동일한 애플리케이션을 갖는)를 참조하면, 시스템은 장치(910)로부터 원격 위치에, 예를 들어, 동일한 공간에, 근처 모니터링 스테이션에, 또는 보다 먼 거리에 하나 이상의 수신기, 프로세서, 및/또는 디스플레이(미도시)를 포함할 수 있다. 수신기는 카메라(922)로부터의 이미지 신호들 및/또는 장치(910) 상의 다른 센서들로부터의 신호들을 포함하여, 장치(910) 상의 전송기에 의해 전송되는 신호들을 수신할 수 있다.
프로세서는 예를 들어, 그래픽 디스플레이를 위한 신호들을 준비하기 위해, 장치(910)로부터의 신호들을 분석하기 위해 수신기에 결합될 수 있다. 예를 들어, 프로세서는 도 10a 및 도 10b에 도시된 이미지들과 유사하게, 모니터 상의 디스플레이를 위해 카메라(922)로부터의 비디오 신호들을 준비하고, 그렇게 함으로써 사용자가 제3자들, 예를 들어, 전문 의료진들, 관리자들 또는 다른 동료들 등에 의해 모니터링되게 할 수 있다. 동시에, 다른 파라미터들이 본 출원에서의 다른 곳에서 설명된 다른 실시예들과 유사하게, 단일 모니터 상에 또는 별개의 디스플레이들 상에, 디스플레이될 수 있다. 프로세서는 의사 또는 다른 개인이 이러한 파라미터들을 모니터링하고 이들을 사용자의 거동과 개인적으로 상관관계를 보이게 하기 위해, 단독으로 또는 다른 감지된 파라미터들과 함께, 사용자의 눈의 비디오 신호들 및/또는 엑소-카메라 이미지들을 중첩 또는 다른 방법으로 동시에 디스플레이할 수 있다.
또한, 도 11a 내지 도 11c를 참조하면, 프로세서는 눈(300)의 동공(301)을 식별 및/또는 모니터링하는 것을 용이하게 하기 위해 디스플레이 상에 예를 들어, 비디오 이미지들 상에 그래픽을 중첩할 수 있다. 도시된 바와 같이, 동공(301) 및 주변 홍채(304)의 가장자리 간 차이로 인해, 프로세서는 이의 경계의 근사치를 내고, 한쪽 또는 양쪽 눈(단순화를 위해 도 11a 내지 도 11c에서 단지 하나의 눈(300)이 도시됨)의 이미지 데이터 상에 중첩될 수 있는 그래픽 광륜, 타원, 또는 다른 그래픽(306)을 생성할 수 있다. 관측자는 장치(910)의 사용자를 모니터링하는 것을 용이하게 하기 위해 이러한 그래픽(306)을 사용할 수 있다.
추가 또는 대안적으로, 프로세서는 디스플레이 상에 광륜을 실제로 디스플레이하지 않고 사용자를 모니터링하는 것을 용이하게 하기 위해 가상으로 광륜의 크기 및/또는 형상을 결정할 수 있다. 예를 들어, 프로세서는 광륜을 실제로 디스플레이하지 않고 동공(301)의 가장자리를 식별하고 식별된 가장자리에 기초하여 동공(301)의 크기 및 형상을 결정할 수 있다. 그에 따라, 프로세서는 실시간으로 광륜(306) 및/또는 동공(301)의 단면적 또는 직경을 결정할 수 있다. 추가 또는 대안적으로, 프로세서는 광륜(306) 또는동공(301)의 중심을 식별하고, 그렇게 함으로써 예를 들어, x-y 좌표계에서, 광륜(306) 또는 동공(301)의 중심의 좌표들을 결정하기 위해 크기 및/또는 형상을 사용할 수 있다.
추가 또는 대안적으로, 프로세서는 동공(301)(또는그래픽(306))의 크기 및/또는 형상에 관한 정보를 자동으로 분석하고, 그렇게 함으로써 사람의 졸림의 정도 또는 신체적 및/또는 정신 상태를 결정하기 위해 비디오 신호들의 상관관계를 보일 수 있다. 이러한 분석은 예를 들어, 시간 경과에 따른, 동공의 상대적 위치, 동공의 크기, 및/또는 동공의 이심률을 모니터링하는 것을 포함할 수 있다. 예를 들어, 프로세서는 시간 경과에 따른 동공(300)의 직경을 모니터링할 수 있으며, 이는 예를 들어, 실시간으로, 차트 형태로 디스플레이되고/거나, 시간의 함수로서 메모리에 저장되고/거나, 눈의 이미지들 상에 중첩될 수 있다.
예를 들어, 도 11a는 주위 조건 하 예를 들어, 직경 "d1"을 갖는 그래픽(306)에 대응하는, 이완 상태의 동공(301)을 도시할 수 있다. 도 11b에 도시된 바와 같이, 사용자가 눈을 깜빡이거나 눈(300)을 감는 경우, 동공(301)은 확장될 수 있고, 따라서 동공(301)은 눈(300)이 다시 떠질 때, 직경 "d2"를 갖는 그래픽(306)에 의해 표현되는 바와 같이, 초기에 확장된다. 프로세서는 동공(301)이 눈 깜빡임 또는 다른 눈 폐쇄 이후 직경 "d1"으로 복귀하는데 걸리는 지연을 측정하기 위해 그래픽(306) 또는 동공(301)의 직경의 변화를 비교할 수 있다. 이러한 가시 또는 비가시 광 플래시에 대한 지연 또는 반응도의 상실은 치사 또는 불치의 이벤트들 이를테면 저산소혈증, 저혈당, 충격, 심근경색, 독소, 독극물질 등으로 인한 뇌 손상 또는 뇌사를 포함하여, 졸림의 정도, 기능 장애, 예를 들어, 중독의 정도, 및/또는 의료 이벤트의 시작을 적어도 부분적으로 나타낼 수 있다.
추가 또는 대안적으로, 프로세서는 예를 들어, 그것이 눈꺼풀(302)에 의해 부분적으로 가려질 때, 동공의 근사 이심률을 결정할 수 있다. 예를 들어, 도 11c에 도시된 바와 같이, 눈꺼풀(302)이 부분적으로 감길 때, 이미지들 상에 중첩되는(또는 그렇지 않으면 실제로 디스플레이되지 않고 프로세서에 의해 가장으로 결정되는) 광륜(306)은, 동공(301)의 노출된 부분의 폭 "w" 및 높이 "h"에 대응하는 타원 형상을 채택할 수 있다. 높이 "h"는 직경 "d1"과 관련이 있을 수 있다, 즉, 높이 "h" 대 직경 "d1"의 비가 눈꺼풀(302)이 동공(301)을 가리는 정도의 지표로서, 1 이하일 수 있다(h/d1 ≥ 1). 예를 들어, 이러한 비는 동공(301)이 눈꺼풀(302)에 의해 완전히 가려지면 1에서 0으로 감소될 수 있다.
유사하게, 폭 "w"는 또한 예를 들어, 눈꺼풀(302)이 동공(301)의 절반보다 많이 가리기 시작할 때, 눈꺼풀(302)이 동공(301)을 가리는 정도의 지표로서, 직경 "d1"과 관련이 있을 수 있다(w// di ≥ 1). 추가 또는 대안적으로, 높이 대 폭의 비(h/w ≥ 1)는 예를 들어, 눈꺼풀(302)에 의해 가려지는 범위에 기초하여, 동공(301)의 이심률에 대한 정보와 관련이 있을 수 있다. 유사하게, (예를 들어, 광륜(306) 내) 동공(301)의 면적이 산출 및 모니터링될 수 있다. 그러한 파라미터들은 사용자의 추가 거동을 모니터링, 분석 및/또는 예측하기 위해 개별적으로, 총괄적으로, 그리고/또는 다른 생체 측정 측량 및/또는 생리학적 파라미터들과 함께 분석될 수 있다.
도 12a를 참조하면, 본 출원에 설명된 임의의 장치 및 시스템들의 사용자의 경계를 검사하기 위한 대표적인 방법이 도시된다. 예를 들어, 사용자는 위에서 더 설명된 바와 같이, 사용자의 눈 중 한쪽 또는 양쪽을 모니터링하는 도 8에 도시된 장치(810)를 착용할 수 있다. 단계(2210)에서, 사용자의 눈(들)의 기저 또는 파라미터들이 이완된 상태 하에서 결정될 수 있다. 예를 들어, 동공의 이완된 직격이 주위 조건 하에서 측정 또는 다른 방법으로 모니터링될 수 있다.
단계(2220)에서, 광의 하나 이상의 펄스가 눈(들)을 향해 방사될 수 있으며, 이는 눈(들)이 예를 들어, 펄싱된 광 플래시의 주파수와 실질적으로 동일한 주파수에서, 이완된 상태에서 확장 및/또는 수축되게 할 수 있다. 예를 들어, 장치(810) 상의 하나 이상의의 이미터가 눈(들)이 확장되게 하기 위해 미리 결정된 시퀀스로 활성화될 수 있다. 그 후에, 단계(2230)에서, 사용자의 눈(들)이 이완된 상태로 복귀하기 위한 눈의 반응 시간을 측정하기 위해, 예를 들어, 카메라(830) 또는 센서들(822)을 이용하여 잠재적으로 또는 무의식적으로, 모니터링 될 수 있다. 반응 시간은 사용자가 의식이 있고/거나, 깨어 있고/거나, 살아 있음을 확인하기 위해 경험적 데이터베이스 또는 다른 데이터와 비교될 수 있다. 원하는 경우, 단계들(2220 및 2230)이 반응 시간을 확인하기 위해 그리고/또는 원하는 경우, 예를 들어, 부정 오류 측정을 방지하기 위해, 평균 반응 시간을 제공하기 위해, 다수 회 반복될 수 있다.
예를 들어, 역치 검사 동안, 단일 플래시의 광을 생성하는 것 및 동공의 반응을 모니터링하는 것이 충분할 수 있다. 대안적으로, 일련의 플래시가 예를 들어, 단일 플래시로부터 발생할 수 있는 부정 데이터를 제거하거나 경향을 연구하기 위해, 시간 경과에 따른 동공 반응을 모니터링하는데 사용될 수 있다. 일련의 플래시에 대해, 펄스율은 동공이 광의 플래시에 반응하여 확장된 후 이의 이완된 상태로 자연적으로 복귀하는데 걸리는 시간보다 길어야 한다, 예를 들어, 적어도 약 50 내지 100 밀리초(50-100 ms)이어야 한다. 대안적으로, 광, 예를 들어, 근-적외선 광(약 640-700 나노미터의 파장들을 갖는)의 펄스들이 사용자의 눈(들)에 지향될 수 있다. 시스템은 동공 반응의 율동적인 변동을 검출할 수 있다. 그러한 응답들은 야간 시력, 예를 들어, 어둠에서 "보는 것" 또는 어둠에서 적외선 광원들을 감지하는 것과 관련이 있을 수 있는, 초기 생체 측정 측량 반응으로부터 기인할 수 있다.
그러한 동공 반응 검사는 또한 예를 들어, 사용자가 사망했으나, 시스템이 임의의 눈 폐쇄 및/또는 움직임를 검출하는데 실패할 때, 긍정 오류를 식별하기 위해 사용될 수 있다. 유사하게, 동공 반응 검사는 또한 사용자가 잠 들었거나 의식을 잃었는지를 결정할 수 있을 수 있다. 또한, 동공 반응 검사는 동공이 광의 플래시에 반응하여 확장된 후 이의 완화된 상태로 다시 수축되는 속도에 영향을 미칠 수 있는, 사용자가 알코올, 약물 등의 영향 하에 있는지를 결정하기 위해 사용될 수 있다. 추가 또는 대안적으로, 동공 반응 검사는 또한 생체 측정 측량 및 대응하는 과학적으로-결정된 혈액 수준 간 상관관계에 따라 사용자의 신체 내 약물 또는 알코올의 양 또는 혈액 농도를 측정하기 위해 사용될 수 있다.
도 12B를 참조하면, 임계 경계를 검사하기 위한 다른 방법이 도시된다. 이러한 방법은 일반적으로 단계(2240)에서, 원하는 방식으로, 사용자가 그들의 눈(들)을 의도적으로 움직이도록 지시하는 자극을 제공하는 단계, 및 원하는 방식으로 사용자가 지시들을 따랐는지 그리고 그들의 눈(들)을 움직였는지를 확인하는 예를 들어, 의도적인 움직임에 대해, 단계(2250)에서 눈을 모니터링하는 단계를 수반한다. 본 출원에 설명된 임의의 장치는 하나 이상의 자극 디바이스들, 예를 들어, 스피커들, 광, 진동식 또는 다른 촉각적 디바이스들을 포함할 수 있다. 대안적으로, 그러한 디바이스들은 사용자로부터 원격으로, 예를 들어, 운송 수단의 대시보드, 비디오 디스플레이 등 상에 제공될 수 있다.
예를 들어, 사용자는 장치 상의 가시광이 활성화되는 경우 미리 결정된 시간 동안 그들의 눈(들)을 감도록 지시될 수 있다. 광이 활성화되면, 시스템은 사용자가 미리 결정된 시간 프레임 내에 그리고/또는 미리 결정된 방식(미리 결정된 시퀀스로 예를 들어, 한 번 이상 눈을 깜빡임이는 것)으로 반응한다는 것을 확인하기 위해 눈(들)을 모니터링할 수 있다. 대안적으로, 다른 자극, 이를테면 디스플레이 상의(장치 상의 또는 이와 별개의) 시각적 지시들, 청각적 신호들(예를 들어, 디바이스 상의 또는 그 근처 스피커로부터의 음성 명령들), 촉각적 신호들 등이 광 플래시 대신 제공될 수 있다. 이러한 실시예들에서, 사용자는 일련의 행동, 예를 들어, 위아래로, 좌우로 보는 것, 원하는 시퀀스로 눈을 깜빡이는 것, 지시될 때까지 그들의 눈을 감고 있는 것, 디스플레이 상의 포인터를 따라가는 것을 수행하도록 지시될 수 있다. 그러한 검사는 예를 들어, 검사 주체가 일련의 검사 동안 또는 다양한 활동을 수행하면서 깨어 있는지, 의식하고 있는지, 그리고/또는 기민한지를 확인하는데 유용할 수 있다.
다른 실시예에서, 장치 및 시스템들, 이를테면 본 출원에서의 다른 곳에서 설명된 것들이 예를 들어, 컴퓨터 마우스, 조이스틱 등과 유사한, 컴퓨터 시스템을 제어하기 위해 사용될 수 있다. 예를 들어, 도 3을 참조하여 도시되고 설명된 장치(810)를 참조하면, 카메라(들)(830)는 컴퓨터 스크린 또는 다른 디스플레이 상에 마우스 포인터를 지향 및/또는 활성화시키기 위해 사용자의 동공(들)을 모니터링하는데 사용될 수 있다. 카메라(922)로부터의 이미지 데이터를 수신하는 프로세서는 검출기(940)의 활성 영역(942) 내 동공(들)의 상대적 위치를 결정하기 위해 이미지 데이터를 분석할 수 있다. 임의로, 하나 이상의 디스플레이는 사용자의 눈 중 한쪽 또는 양쪽의 시야 앞 또는 내에 배치되는 프레임(812)에 관해 고정될 수 있다. 예를 들어, 플랫 패널 LCD 또는 다른 디스플레이(미도시)가 렌즈들을 대신해서 프레임(812)에 장착될 수 있다. 그러한 장치는 예를 들어, 의료 또는 다른 연구 설비 내에서, 자극용으로, 예를 들어, 비디오 게임 콘솔으로서, 레크리에이션용으로, 그리고 기타 용도로 사용될 수 있다.
도 13을 참조하면, 본 출원에 설명된 임의의 장치 또는 시스템들을 사용하여 검출된 눈 움직임에 기초하여 컴퓨팅 디바이스를 제어하기 위한 대표적인 방법이 도시된다. 예를 들어, 사용자의 한쪽 또는 양쪽 눈을 이미징하기 위해 광-섬유 번들(924)를 포함하는 도 8a에 도시된 장치(910)가 사용될 수 있다. 임의로, 아래에 더 설명된 바와 같이, 장치는 또한 사용자의 전방 뷰를 따라 밖을 향해 배향될 수 있는 예를 들어, 사용자의 한쪽 또는 양쪽 눈에 인접하게 배치되는, 하나 이상의 엑소-카메라를 지닐 수 있다. 먼저, 단계(2310)에서, 그러한 장치를 포함하는 시스템을 초기화하는 것, 즉, 기준 프레임, 이를테면 기저 또는 기준 위치, 직교 성분들을 갖는 기준 프레임 등을 설정하는 것이 바람직할 수 있다. 예를 들어, 사용자는 디스플레이 상의 포인터 또는 다른 미리 결정된 위치를 보도록, 그렇게 함으로써 사용자의 눈(들), 그리고 결과적으로 실질적으로 정적 상태인 사용자의 동공(들)을 유지하도록 지시될 수 있다. 프로세서는 사용자의 예를 들어, 눈(들)이 기준 지점 또는 "기저 위치"에 대응하는 이미지들 상에서 동공의 위치를 결정하기 위해, 사용자의 눈(들)이 실질적으로 정적 상태에 있는 동안 카메라(830)로부터의 이미지 데이터를 분석할 수 있다. 예를 들어, 포인터 또는 기저 위치가 사용자의 동공의 실질적으로 직선 앞에 위치될 수 있다. 임의로, 사용자는 디스플레이 상의 두 개 이상의 식별된 위치를 순차적으로 보도록, 그렇게 함으로써 사용자의 눈의 상대적 움직임에 대한 스케일을 제공하도록 지시될 수 있다. 이러한 대안예에서, 사용자가 예를 들어, 디스플레이에 관한 적절한 눈 움직임의 한계들을 식별하기 위해, 디스플레이의 반대쪽 모서리들을 보게 하는 것이 바람직할 수 있다.
초기화가 완료되면, 사용자는 예를 들어, 포인터 및/또는 디스플레이의 나머지에 관해, 예를 들어, 좌우로, 위아래로, 그들의 눈(들)을 움직이는 것이 자유로울 수 있다. 단계(2320)에서, 시스템은 눈의 그러한 움직임을 모니터링할 수 있다, 즉, 프로세서는 기저 위치(들)로부터의 사용자의 동공(들)의 상대적 위치를 결정하기 위해 이미지 데이터를 분석할 수 있다. 예를 들어, 사용자가 그/그녀의 눈(들)을 기저 위치로부터 위로 그리고 우측으로, 즉, 컴퓨터 스크린 상의 포인터에 관해 위로 그리고 우측으로 움직이는 경우, 프로세서가 이러한 움직임을 측정할 수 있다. 이에 대응하여, 단계(2330)에서, 프로세서가 포인터를 위로 그리고 우측으로 이동시키고, 즉, 그렇게 함으로써 사용자의 시선을 추적할 수 있다. 사용자가 그/그녀의 눈(들)을 움직이는 것을 정지할 때, 프로세서가 포인터가 사용자가 디스플레이 상에서 현재 보고 있는 위치에 도달하면 그것을 정지시킬 수 있다.
임의로, 단계(2340)에서, 사용자는 포인터가 예를 들어, 마우스 상의 버튼을 작동시키는 것과 유사하게, 디스플레이 상의 원하는 위치로 이동하면, 명령을 실행할 수 있을 수 있다. 예를 들어, 프로세서는 사용자로부터의 신호, 예를 들어, 미리 결정된 시퀀스로 한 번 이상 효과적으로 눈을 깜빡이는 것에 대한 이미지 데이터를 모니터링할 수 있다. 이는 예를 들어, 사용자의 눈 중 한쪽 또는 양쪽을 포함하여, 보다 복잡한 일련의 눈 깜빡임에 대해, 미리 결정된 지속 기간, 예를 들어, 수 초 길이의 한 번의 눈 깜빡임만큼 단순할 수 있다. 대안적으로, 신호는 아무런 눈 깜빡임이 없는 미리 결정된 기간, 예를 들어, 3, 5초 이상 길이일 수 있다. 프로세서가 신호를 식별할 때, 프로세서는 명령을 활성화할 수 있다. 예를 들어, 사용자는 그것이 디스플레이 상의 아이콘, 단어 명령 등에 도달할 때 그들의 눈(들)을 움직이는 것을 정지시킬 수 있고, 프로세서는 지점이 아이콘 또는 명령 위에 오버레이되거나 또는 다르게 위치될 때까지 그것을 이동시킬 수 있다. 그 다음 사용자는 컴퓨터 마우스상의 버튼의 "더블-클릭"과 유사하게, 위에서 설명된 바와 같이, 눈을 깜빡이거나 행동하고, 그렇게 함으로써 프로세서에게 선택된 명령을 완료하거나 원하는 목적지까지 선택된 명령을 전달하도록 지시할 수 있다. 예를 들어, 선택된 명령은 컴퓨터 프로그램이 실행되게, 또는 장비 또는 다른 디바이스의 피스가 원하는 방식으로 활성화, 비활성화, 또는 다른 방법으로 제어되게 야기할 수 있다. 그에 따라, 시스템은 광 스위치 또는 운송 수단을 턴 온 또는 턴 오프 하기 위해, 프로세서 및/또는 디스플레이에 결합되는 컴퓨터 디바이스를 제거하는 것으로부터, 다양한 작업을 완료하기 위해 사용될 수 있다. 그렇게 함으로써 그러한 장치 및/또는 시스템들은 핸즈-프리 컴퓨터를 사용하기 위한 즉, 단지 사용자의 눈(들)의 움직임을 사용하기 위한 방법들을 제공할 수 있다.
예를 들어, 하나의 적용예에서, 시스템은 운송 수단, 이를테면, 헬리곱터, 제트, 또는 다른 항공기를 작동시키기 위해, 예를 들어, 무기들, 항해, 또는 다른 온보드 시스템들을 활성화 또는 다르게 제거하기 위해 사용될 수 있다. 다른 적용예에서, 시스템은 예를 들어, 가상 현실 몰입을 향상시키기 위해, 비디오 게임 또는 다른 시뮬레이션에 사용될 수 있다. 예를 들어, 시스템은 다른 기능들을 수행하기 위해, 예를 들어, 동시에 보다 및/또는 보다 복잡한 작업들을 가능하게 할 수 있는, 눈-제어 기능들에 추가로 또는 동시에 다른 활동들을 수행하기 위해 사용자의 손을 자유롭게 남기면서, 사용자가 다중 메뉴를 통해, 씬, 또는 다른 활동을 빠르게 처리하게 할 수 있다.
또한, 하나 이상의 엑소-카메라가 디스플레이 상의 포인터에 관한 눈 움직임을 추적하는 것을 향상시키고/거나 다르게 용이하게 하기 위해 사용될 수 있다. 예를 들어, 엑소-카메라는 적어도 한쪽 눈에 인접하게, 예를 들어, 디스플레이를 향해 배향되는, 눈으로부터의 미리 결정된 거리 또는 다른 관계에 제공될 수 있다. 그에 따라, 엑소-카메라는 예를 들어, 엔도-카메라로 모니터링되는 눈의 움직임과 동기화될 수 있는 실시간 포인터의 움직임을 도시하는, 디스플레이의 이미지들을 제공할 수 있다. 프로세서는 눈 움직임에 따라 포인터를 추적하는 정확도를 향상시키기 위해 삼각측량 또는 다른 알고리즘을 사용하여 이러한 데이터를 관련시킬 수 있다. 이는 사용자가 명령에 따라 포인터를 따라 눈을 깜빡임으로써 명령을 수행하도록 의도할 때, 의도된 명령이 예를 들어, 디스플레이가 다수의 이용가능한 명령을 제시할 때, 실제로 선택된다는 정확도를 보장할 수 있다.
대안적인 실시예에서, 프로세서는 엔도-카메라 이미지들에 기초하여 눈의 동공의 가장자리를 식별하기 위해, 그리고 식별된 가장자리를 엔도-카메라 이미지들의 기준 프레임에 관한 동공의 좌표들의 근사치를 내는데 사용하기 위해, 엔도-카메라로부터의 비디오 신호들을 수신 및 프로세싱할 수 있다. 예를 들어, 프로세서는 x-y 좌표계를 엔도-카메라 이미들에 부여하고 이러한 좌표계 내에서 동공의 중심을 식별하기 위해 동공의 가장자리를 사용할 수 있다. 프로세서는 또한 엔도-카메라로부터의 이미지들을 수신 및 프로세싱하고 디바이스를 착용하는 사람이 사람의 환경에 관해 보고 있는 위치의 근사치를 내기 위해 사람의 환경의 엑소-카메라 이미지들과 엔도-카메라 이미지들로부터 획득되는 좌표들의 상관관계를 보일 수 있다.
예를 들어, 디스플레이(미도시)는 엑소-카메라 이미지들을 디스플레이 하기 위해 프로세서에 결합될 수 있고, 사람이 보고 있는 근사화된 위치를 식별하기 위해 디스플레이 상에 도시되는 엑소-카메라 이미지들 상에, 그래픽, 예를 들어, 십자선들의 세트, 커서 등을 중첩시킬 수 있다. 디스플레이가 장치를 착용하는 사람에게 제시되는, 예를 들어, 장치 외부에 있는 또는 프레임 내로 통합되는 컴퓨터 디스플레이인 경우, 사람은 디스플레이 상에서 항해하기 위해 그래픽을 사용할 수 있다. 예를 들어, 사람은 액션을 요청하기 위해, 이를테면 객체에 관한 식별 또는 추가적인 정보를 요청하기 위해, 예를 들어, 미리 결정된 지속 기간 동안 눈을 깜빡이거나 응시함으로써, 커서를 디스플레이 상에 제시된 객체로 이동시키고 객체를 "클릭"할 수 있다.
도 14를 참조하면, 다른 실시예에서, 장치(2410)는 장치(2410)를 착용하는 사용자의 눈(300)에 경피적으로 광을 비추기 위해 제공될 수 있다. 장치(2410)는 일반적으로 본 출원에 설명된 임의의 실시예들, 이를테면 일반적으로 도 3에 도시된 프레임(812)과 유사할 수 있다.
도 17을 참조하면, 본 출원에 설명된 임의의 기능들을 수행하기 위해 사용될 수 있는, 전체 시스템 아키텍처의 대표적인 실시예가 도시된다. 도시된 바와 같이, 시스템 아키텍처는 일반적으로 프로세서(1035) 및 메모리(1040), 하드웨어 추상 계층(HAL)(1030) 및 외부 하드웨어로의 물리적 연결부들(1235), 운영 체제(1025), 이하에서 EF-EyeP라 칭해지는, 헤드 장착 디바이스에 미들웨어 서비스들을 처리하는 제어부(1000)를 포함한다. 상기 미들웨어 서비스는 제3 애플리케이션을 이용하여 EF-EyeP 객체의 소프트웨어 통합을 용이하게 하기 위한 소프트웨어를 포함하는 소프트웨어 계층(1015)이다. 또한 상기 미들웨어 서비스는 IEEE 1149.1 스탠다드 테스트 액세스 포트 및 바운더리-스캔 아키텍처에 의해 지원되는 - 연합 검사 수행 그룹(JTAG)을 통해 동작들 이를테면 싱글 스테핑 및 브레이크-포인팅을 포함하여, 제3 하드웨어 통합 및 디버깅을 위해 사용되는 소프트웨어 도구들(1020)의 세트이다. 상기 도구들 및 통합 계층은 애플리케이션들(1005)이 뒤따르는, API(1010)이다.
도 18은 상단의 애플리케이션들(1100, 1105, 1110 1115 및 1116)이 소프트웨어 객체 블록(1000) 내에서 실행되는 다양한 유틸리티를 도시하는, 객체(1000)의 중단을 도시한다. EyeC 라 명명된 블록(1110)은 EyeClips 또는 EC로 지칭되는 비디오 이미지 양상들을 나타내며, 이는 일반적으로 예를 들어, 미디어 이미지들을 획득, 편집, 조작, 및/또는 프로세싱하기 위해, 본 출원에 설명된 시스템들을 사용하여 수행될 수 있는 방법들을 나타내기 위해 사용된다.
본 출원 내 모든 개시내용 및 청구항에 대해, "미디어 이미지"는 비디오 이미지 및 스틸 이미지 중 적어도 하나로 정의된다. 임의의 유형의 미디어 이미지들에 관해, 컨텐츠 생산자를 위한 전형적인 목적은 특정한 대상 그룹에 바람직한 컨텐츠를 제작하는 것이다. "바람직한"의 정의는 대상 그룹에 기초하여 변경될 수 있다. 특히 비디오 이미지들에 대해, 비디오 이미지들을 선택 및 편집하기 위한 하나의 방법 또는 기준 설정이 하나의 대상 그룹에 적절하나 다른 대상 그룹에는 그렇지 않을 수 있다. 뿐만 아니라, 다른 이미지들과 가까운 시간에 캡처되는 이미지들은 상이한 이유들로 인해 바람직할 수 있다. 바람직함 및 적합성의 이러한 다양한 형태가 간단히 "돌출"로 지칭될 수 있다.
미디어 이미지는 다음 많은 이유로 인해 돌출로 고려될 수 있다: 그것은 주목할 만한 이벤트를 포함할 수 있다, 그것은 특정한 친구 또는 친척을 포함할 수 있다, 그것은 다른 이들이 소셜 미디어 수단에 관심이 있다는 것을 고려하는 일을 포함할 수 있다, 그것은 특정한 장소에서 캡처되었을 수 있다, 그리고/또는 그것은 사용자가 캡처하기 원하는 감정을 포함할 수 있다. 다른 센서들에의 눈 추적의 부가는 사용자가 눈 추적의 출현 없이 이용가능할 수 없었을 이러한 프로세스 중에 분석 및 제어 수준을 가능하게 한다는 것이 추정된다.
단어 "편집"에 의해 의도되는 범위를 논의할 때 충분한 고려가 요구된다. 전형적인 사진 및 비디오 애플리케이션들에서, "편집"은 전형적으로 이미지들에 대한 조작을 함축하거나, 또는, 비디오의 경우, 또한 트리밍된 이미지들을 보다 바람직한 순으로 재배열하는 프로세스를 포함한다. 추가 단계들이 수행될 이미지들을 선택 또는 태그하는 단계들이 편집 프로세스의 부분으로 형식상 고려되어야 하더라도, "편집"하는 행동은 보통 그러한 단계들을 배제한다. 그러나, 본 출원 내 본 개시내용 및 청구항들을 위해, "편집"은 선택 및 태그 단계들을 포함할 것이다. 뿐만 아니라, 디지털 미디어 생산 전 시대에서, 모든 편집(선택 및 태그를 포함하여)이 반드시 캡처 시간 상당히 후에 발생하지는 않았다. 그러나, 이제 편집 프로세스가 캡처 시간 직후, 또는 "비공개"로 발생하게 하는 피처들이 비디오 및 스틸 카메라들에 포함된다. 본 발명은 본 출원에 편집 프로세스가 캡처 동안 또는 그 훨씬 전 시간을 포함하도록 바뀔 수 있는 방법을 설명한다. 그러나, 본 출원에 설명된 시스템들 및 방법들이 구현될 때까지 그렇게 하는 것은 사실상 실행가능하지 않았었다.
유감스럽게도, 많은 사용자에게, 캡처된 대로의 비디오 이미지들을 소모가능한 완성 비디오로 변환하는데 소요되는 시간은 프로세스의 구제불능의 장애물이다. 이러한 장애를 접한 후 두 가지 공통적인 결과가 존재한다. 첫째는 전체 프로세스가 폐기된다는 것, 및 어떠한 비디오 이미지도 대상 그룹과 공유되지 않는다는 것이다. 두 번째 공통적인 결과는 모든 편집이 삼가지고 매우 저 품질 및 낮은 관련성의 이미지들이 대상 그룹과 공유된다는 것이다. 생산자에게 그리고 대상 그룹에게, 이러한 결과들 중 어떤 것도 바람직하지 않다. 그것을 남 앞에 내놓을 만한 형태로 편집하는 것이 매우 어렵다는 것을 안, 생산자에게, 이는 그 또는 그녀가 비디오를 녹화할 의지를 낮출 수 있다. 소비자가, 열악한 비디오 이미지들을 시청하는 것은 그들에게 부정적 강화 효과를 제공하고 그들이 앞으로 비디오 이미지들을 시청하는 것을 원치 않게 할 수 있다.
기술이 발전함에 따라, 사용자가 컨텐츠를 생산하기 위해 휴대할 수 있는 디바이스들의 폼 팩터도 바뀌어왔다. 컨텐츠-생산 디바이스들은 다른 기술이 없는 것을 사용했다. 스마트 폰 및 태블릿이 비디오를 캡처할 수 있게 되고, 그렇게 함으로써 이전에 상상도 할 수 없었던 소형화의 시대에 들어서게 되었다. 이제, 그것이 단지 센서들 또는 기타로부터 데이터를 기록하는 대신 컨텐츠를 생산하게 하는 웨어러블 기술의 변화에 주목하여, 헤드-장착 디스플레이들이 소비자 디바이스들로 실행가능하게 되기 시작하고 있다. 또한, 콘택트 렌즈 및 인공 망막은 사람의 시각계에 대해 효과적인 기능을 하는 향상이다. 본 출원에서의 시스템들 및 방법들은 비디오를 캡처하고, 눈 방향을 추적하며, 돌출 비디오를 편집하는 이러한 모드들에도 적용가능하고, 본 발명의 부분으로 고려된다. 눈 추적을 통해 사용자의 시선을 결정하는데 필요한 기술이 이제 웨어러블 및 주입형 디바이스들 내로 통합될 수 있기 때문에, 눈이 디바이스 입력 및 편집을 위해 실행가능한 도구가 된다.
대상 그룹에 보다 양호한 비디오 클립들의 궁극적인 전달을 보장하기 위해 극복할 제1 장애물은 관심 있는 이미지들을선택 또는 "태그"하는 것이다. 전형적으로, 이는 제1 편집 단계들 동안 실현된다. 그러나, 이미지들의 온-더-플라이 평가를 가능하게 하는 성능들이 최근 스틸 카메라들에 추가되었다. 웨어러블 디바이스에서 이러한 성능을 가능하게 하기 위한 사고 전환은 상이한 태그 방법을 필요로 하나, 또한 하나 이상의 센서로부터의 입력을 사용하는 태그를 가능하게 한다.
입력을 태그하기 위한 하나의 그러한 센서가 눈 추적 시스템이다. 비디오는 눈으로 볼 수 있는 무언가를 캡처할 목적으로 레코딩되고, 따라서 태그 프로세스에 유용할 수 있는 레코딩 프로세스 동안 사용자의 시선에 대해 해당 정보를 추론하는 것이 정상적이다. 메트릭스, 이를테면 사용자의 시선 방향, 시선 지속 기간("체류"), 동공 직경, 및 비약 움직임(saccadic activity)은 레코딩 이벤트 동안 사용자의 의도에 대한 가치 있는 정보의 단지 몇몇 예이다.
본 출원에서의 시스템들 및 방법들의 몇몇 실시예는 단안(한-눈)용의 눈 추적 기술들에 따라 설계되는 눈 추적 서브시스템을 채용할 수 있고, 시스템의 다른 실시예들은 양안(두-눈)용의 눈 추적 기술들에 따라 설계되는 눈 추적 서브시스템을 채용할 수 있다. 이러한 실시예들은 웨어러블 디바이스의 설계 및 의도된 사용에 특유하다. 웨어러블 디바이스의 몇몇 실시예는 사용자에게 제공되는 단일 디스플레이를 이용할 수 있는 한편,다른 실시예들은 사용자에게 제공되는 두 개의 디스플레이를 이용할 수 있다. 눈 추적 서브시스템의 실시예는 반드시 디스플레이 구성의 실시예에 매칭시킬 필요는 없을 수 있다.
본 출원에서의 눈 추적 서브시스템의 몇몇 실시예는 서브시스템용 일차 입력으로서 이미지 센서들을 이용할 수 있는 한편, 추가 실시예들은 사용자의 시선의 방향을 결정하기에 적합한 데이터를 생성할 수 있는 대안적인 센서들을 이용할 수 있다.
다른 센서들이 눈 추적 데이터와 협력하여 사용될 수 있다는 결론에 이른다. 예를 들어, 사용자는 단어 "저장" 또는 이후 용이한 검색을 위한 보다 복잡한 구두 신호 이를테면 친구의 이름(또는 이미지 내 개인들의 다른 식별자들)를 진술하는 것 만큼 간단한 태그를 구두로 배치시킬 수 있다. 다수의 센서로부터의 입력을 조합하는 보다 복잡한 방법들은 가속도계 데이터, 위치 및/또는 방향 데이터, 카메라 센서로부터의 윈도잉 데이터, 마이크로폰 데이터 등을 포함할 수 있고, 그러한 방법들은 그러한 센서들 중 하나 이상으로부터의 데이터의 해석을 포함할 수 있다.
예를 들어, 사용자가 응시하고 있는 위치에 대응하는, 씬을 마주보는 카메라의 센서의 영역에서의 포화도의 급속한 변화는, 저장될 평균 초과의 가능성을 가질 수 있는 비디오의 섹션에 대한 명백한 인스턴스이다. 추가적으로, 디바이스의 마이크로폰의 급격한 그리고 지속적인 변화는 크게 환호하는 군중에 대응할 수 있고, 이는 비디오 이미지가 바람직할 가능성이 높다는 것에 대응할 수 있다.
명백한 그리고 단순한 사례는 사용자가 막 레코딩된 비디오가 특히 중요하다는 것을 의식적으로 결정하는 것을 수반한다. 사용자는 특히 특정한 사건이 얼마나 많이 태그되어야 하는지에 관해 시스템의 작동을 돕기 위해 추가적인 정보를 제공할 수 있다; 예를 들어, a) 비디오의 마지막 십(10)초, b) 특정인이 미디어 이미지들에 얼마나 오래 나타났는지, 그리고/또는 c) 사용자가 클립의 종료점(또는 중간점)을 태그하기 바로 직전에 사용자의 시선이 동일한 사람 또는 위치에 얼마나 오래 지향되었는지. 보다 복잡한 사례는 사용자가 중요하게 생각할 수 있는 이벤트들 그 자체로 분석할 보다 복잡한 휴리스틱스를 갖는 시스템을 수반한다. 예를 들어, 사용자는 특정 얼굴이 나오는 임의의 비디오를 태그하도록, 또는 가속도계 레코드들이 >0.5G, 또는 심지어 다수의 센서 데이터에 대한 휴리스틱스의 조합인 동안 임의의 비디오를 태그하도록 시스템을 미리 지정할 수 있다.
모든 이러한 설명된 시스템 피처는 편집 프로세스에서의 단지 제1 단계인, 태그 프로세스를 돕도록 설계된다. 편집 프로세스를 더 개선하기 위한 방법들이 아래에 설명되고/되거나 도 19 및 도 20에 도시된다.
웨어러블 디바이스들 상에서 일반적으로 행해지는 광시야각 카메라들에 관해, 사용자가 그 또는 그녀의 최종 비디오 영상이 보다 타이트한 윈도우로 크로핑되기를 바랄 수 있는 절호의 기회가 존재한다. 임의의 주어진 인스턴스에서, 사용자가 보고 있는 씬에서의 위치("주의점")가 그 또는 그녀가 편집 동안 그롭하기를 원할 수 있는 요소들을 포함할 보다 높은 가능성을 가진다. 그에 따라, 기본 비디오 레코딩 동안 또는 단순한 또는 복잡한 태그 절차들 동안 주의점 정보를 캡처하는 것은 편집 프로세스에 가치를 추가한다.
양안용 눈-추적에 관해, 시야 내 평면 (x-y) 위치를 결정하는 것에 추가하여, 깊이(z) 위치가 시선에 대해 산출될 수 있다. 이는 카메라가 비디오 프레임 샷들이든 스틸 프레임 샷들이든, 보다 전문적인 레코딩을 위해 조정될 필드의 목표가 된 거리, 또는 피사계 심도로 포커싱되게 한다.
또한, 레코딩된 비디오의 인스턴스 동안 비약 움직임은 사용자의 부분에 대한 상이한 수준의 관심을 나타낼 수 있다. 응시 목표들의 급격한 변화는 목표로 된 상이한 관심 영역을 나타낼 수 있을 뿐만 아니라, 사용자의 태도의 또는 레코딩되는 씬의 요소들의 속성들을 나타내기 위한 메타데이터로서의 역할을 할 수 있다. 추가적으로, 출원인은 사용자의 비약들의 정도가 편집 프로세스 동안 크로핑할 영역의 경계들을 나타낼 수 있다는 것을 발견할 수 있다.
다른 공통적인 비디오 편집 기능은 느린- 또는 빠른-모션 클립들을 생성하는 것, 프레임의 상이한 영역들 사이를 패닝(panning)하는 것, 및 흔들리는 영상을 안정화하는 것을 포함한다. 모든 이러한 피처는 눈 추적 단독으로, 또는 위에서 논의된 바와 같이 외부를 향하는 카메라와 조합될 때 하나 이상의 다른 센서로부터의 데이터와 눈 추적 데이터를 조합함으로써 향상될 수 있다.
예를 들어, 흔들리는 비디오를 안정화하는 것은 보통 프레임들 간 유사한 피처들을 식별함으로써 그리고 그러한 피처들을 정적 상태로 유지하기 위해 인접한 프레임을 정규화함으로써 실현된다. 유감스럽게도, 정규화 프로세스가 프레임의 가장자리로부터 픽셀들을 제거하기 때문에, 이는 또한 비디오를 크로핑하는 것을 필요로 한다. 눈 추적 데이터를 조합하는 것은 안정화의 용인가능한 양을 결정하는 것을 도울 수 있다, 예를 들어, 사용자가 전체 프레임에 관심이 있는 경우, 최소 수준의 안정화가 가능한 많은 픽셀을 보존하기 위해 적용될 수 있다. 그러나, 사용자가 단지 프레임의 특정한 영역에만 관심이 있는 경우, 최대 안정화가 완전한 이미지를 야기하기 위해 적용될 수 있다.
임의로, 동공 확장 및 수축이 예를 들어, 특정한 클립이 느린-모션 클립으로 늘어져야 하는지를 결정하기 위해, 사용자 흥분의 측정으로서 이용될 수 있다. 추가적으로, 추가 센서 데이터가 사용자의 감정 상태를 결정하기 위해 확장 데이터와 조합될 수 있으며, 이의 확대는 관심 영역들에 대해 분석할 때 비디오에 적용할 기준들의 상이한 세트일 수 있다.
시스템은 전형적으로 관심이 있는 사건들, 이를테면 무지개, 일출, 일몰, 및 월출을 인식하도록 구성될 수 있다. 이들은 디바이스에서의 나침반(또는 다른 방향 센서)으로부터의 입력이 또한 비디오 이미지를 태그하는 결정의 부분일 수 있다는 인스턴스들에 대응한다.
이들은 군중 속 다수의 웨어러블 디바이스가 법률 집행 조직들을 위한 사용일 수 있다는 인스턴스들이다. 폭탄이 폭발하고 극심한 공포가 뒤따르는 인스턴스를 고려하자. 군중 속 복수의 사람이 본 시스템을 구비한 디바이스를 착용하고 있는 경우, 모든 디바이스가 그것들의 마이크로폰을 이용하여 폭발 소리를 동시에 인식하고/하거나, 주위 광 및/또는 픽셀 포화의 크고 급속한 변화를 동시에 인식할 수 있다. 이러한 광범위한 센서 입력 및 분석은 모든 디바이스가 사고("카메라 고장(crash camera)")에 이르는 비디오 이미지들을 저장하게 프롬프트하고/하거나 그것들이 사고 이후 시간에 비디오 이미지들을 계속해서 저장하게 프로프트할 수 있다. 모든 디바이스로부터의 이러한 비디오 이미지들의 수집은 법률 집행관에세 증거 및 용의자들을 찾기 위해 스캐닝할 다각도를 제공할 수 있다. 뿐만 아니라, 사고 시점의 마이크로폰 및 카메라 데이터의 공간적 분석은 법률 집행관이 사고 이전, 사고 동안, 그리고 사고 이후 시점들을 재구성하게 할 수 있다.
공통적인 시선 데이터는 카메라-장착된 웨어러블 디바이스들을 구비한 눈 추적 장비를 착용하는 다수의 사람에 대해 캡처된 비디오와 조합될 수 있다. 카메라들이 공통적인 목표들을 관찰하고 있는지를 결정하기 위해 다수의 웨어러블 카메라에 의해 캡처된 비디오를 프로세싱하는 것은 다량의 이미지 프로세싱을 수반한다. 눈-추적 데이터의 포함은, 공통적인 요소들을 관찰하기 위해 조회자들의 경향을 고려해 볼 때, 정렬 프로세스를 극적으로 감소시키고 프로세싱 전력을 감소시킬 수 있다. 또한, 의도가 목표들을 관측한 공통적인 군중을 추출하는 것인 경우, 눈-추적 데이터의 사용은 알려진 퍼센테이지의 군중이 공통적인 목표를 관측하고 있음을 선언하기 위해 보다 넓은 시야의 이미지들을 오버레이하는 것과 연관된 추측에 근거한 개연론에 의거한 프로세싱을 제거한다.
눈 추적 서브시스템이 사용자의 시선이 눈을 향해 지향되는 카메라(들)에 관해 특정한 영역을 향에 지향될 때 보다 높은 시선 정확도를, 또는 시선이 다른 곳으로 이동할 때 보다 낮은 정확도를 생성할 수 있는 인스턴스들이 존재할 수 있다. 예를 들어, 눈을 추적하는 카메라가 눈의 앞에 직접적으로 위치되는 경우, 사용자의 눈이 아래를 봄에 따라, 속눈썹, 또는 눈꺼풀이 눈-추적시 사용되는 눈의 중요한 피처들을 부분적으로 가려, 산출된 시선의 정확도를 감소시킬 수 있다. 눈이 특정한 시선 위치들로 움직임에 따른 이러한 감소된 정확도가 이하에서 "우아한 성능 저하(graceful degradation)"로서 지칭되고, 완전히 작동이 안 되는 것은 아니나, 눈-추적 시스템 성능이 저하됨에 따라, 이와 같이 저하된 정보가 표시될 수 있다는 것, 및 편집 시스템에 제공될 때 감소된 정확도에 따라 위태롭게 된 데이터로서 처리될 수 있다는 것을 나타낸다.
그러한 경우, 눈 추적 데이터는 다수의 센서로부터의 돌출을 컴퓨팅하면서 중요하거나 유효한 가치를 달리하여 처리될 수 있다. 눈 추적 데이터가 돌출로 고려되는 유일한 센서 데이터인 경우, 마진이 보다 낮은 정확도의 (저하된) 데이터가 시스템으로부터 원치 않는 성능을 야기하지 않도록 정의될 수 있다. 정확도가 감소됨에 따라, 사용자의 경험은 예측가능하고 일관되어야 하고, 이러한 우아한 성능 저하으로부터 이행불능이 발생하지 않아야 한다.
눈 추적 서브시스템의 정확도가 최고치인 영역은, 눈 및 디스플레이를 향하는 센서의 기하학적 구조에 따라, 시스템의 디스플레이에 의해 차지되는 사용자의 시야의 영역에 대응할 수 있다. 그러나, 디스플레이의 크기 및/또는 위치가 시스템의 상이한 실시예들에서 변화됨에 따라, 해당 영역에서의 눈 추적 서브시스템의 정밀도가 변할 수 있다. 뿐만 아니라, 눈 추적 서브시스템은 디스플레이에 의해 차지되는 사용자의 시야의 보다 큰 영역에 대해 보다 높은 정밀도를 갖도록 설계될 수 있으나, 눈 추적 서브시스템의 정밀도가 저하될 영역들이 존재할 수 있다는 것을 추정하는 것은 여전히 자연적이다. 이러한 경우, 해당 저하는 또한 우아해야 하고 사용자에게 불필요하게 관심을 끌지 않아야 한다.
시스템은 오디어 센서로부터의 웃음 소리와 조합되는(또는 조합되지 않는), 기쁨 또는 미소의 표시로서 가늘게 뜬 눈을 해석하도록 구성될 수 있다. 이는 시스템이 비디오 이미지에 돌출을 부여하는 메트릭으로서 구성될 수 있다. 뿐만 아니라, 비디오 이미지는 가늘게 뜬 눈의 시작 및 종료에 의해 경계가 정해지는 시간 기간에 따라, 또는 웃음 소리의 시작 및 종료에 의해 경계가 정해지는 시간 기간에 따라 트리밍될 수 있다. EEG 센서에 의해 측정되는, 뇌파 활동이 또한 사용될 수 있다.
많은 웨어러블 전자 디바이스는 배터리 수명을 보호하기 위해 공격적인 전력-관리 기법에 의존적이다. 이러한 디바이스들에서의 실질적인 전력 인출 중 하나는 디스플레이이고, 이러한 기법들은 보통 디스플레이의 작동 상태의 공격적인 관리를 포함한다. 이와 같이, 디바이스의 디스플레이는 미디어 이미지들을 캡처하는 프로세스 동안 전력을 낮출 수 있다. 시스템 설계의 몇몇 측면이 원하는 제어를 보장하기 위해 디바이스의 디스플레이와의 상호작용을 반드시 포함할 수 있으나, 모든 시스템 기능이 적절하게 작동하기 위해 디바이스의 디스플레이에 전력을 인가하는 것에 의존할 필요는 없다. 디바이스의 디스플레이가 전력을 인가할 필요가 없는 상황의 하나의 그러한 예는 오디오 센서로부터의 입력에 기초하여 비디오 이미지를 돌출로서 태그하는 것일 수 있다. 사용자가 시스템이 설계된 대로 작동하고 있다는 피드백을 받는 것이 여전히 바람직할 수 있고, 따라서 디바이스의 스피커(구비한 경우)가 사용자에 의해 인식가능한 독특한 톤(tone) 또는 다른 오디오를 출력하도록 시스템에 의해 지시될 수 있다.
다른 실시예에서, 시스템은 "특별한 순간들(magic moments)", 또는 사용자가 예상하고 있을 수 있는 것을 넘는 돌출을 갖는 미디어 이미지들을 자동으로 인식하도록 구성될 수 있다. 이러한 특별한 순간들은 제3 자들, 이를테면 제품이 비디오 이미지의 결정적인 시간에 나타날 수 있는 회사에 관심이 있을 수 있다. 이러한 예는 산맥의 외딴 정상으로 하이킹하는 친구들의 그룹일 수 있다. 이러한 친구들 중 한 명 이상이 본 시스템을 구비한 디바이스를 착용하고 있음에 따라, 그룹이 정상에 있는 동안 비디오 이미지들이 캡처되고 있다. 그룹 중 한 멤버가 다른 사람들을 웃게 하는 농담을 말한다; 동시 발생적으로 동일한 순간에 그룹 중 다른 멤버가 그의 가방에서 상표명 청량 음료를 꺼내고 그것을 연다. 그렇지 않으면 해당 청량 음료 회사는 광고 대행사를 통해 해당 순간을 창작하기 위해 수 십만 달러를 소비해야 할 수 있고, 따라서 그들은 대신 이러한 사용자에게 그의 "특별한 순간"을 보상하는 것에 관심이 있을 수 있다.
또 다른 실시예에서, 시스템은 미디어 이미지를 크로핑하기 위해 사용자의 손 제스처를 인식하도록 구성될 수 있다. 사용자는 그 또는 그녀의 손 및 손가락들을 이용하여, 시스템이 미디어 이미지가 크로핑되어야 하는 직사각형 영역으로서 해석할, 픽처 프레임을 생성하는 옵션을 가질 수 있다. 이러한 가상의 픽처 프레임은 사용자에 의해 임의의 방향으로 이동될 수 있고, 시스템은 출력 비디오 이미지를 연속적으로 조절기 위해 프레임의 크기 및/또는 위치 양자를 추적할 수 있다.
또 다른 실시예에서, 시스템은 디바이스 상에 물리적으로 위치되거나 이에 연결되지 않는, 센서들로부터의 입력을 수신하도록 구성될 수 있다. 이러한 센서들의 예들은 심박수 모니터들, EEG, 펄스 옥시미터들, 또는 피트니스 디바이스들 이를테면 자전거 역률계들을 포함할 수 있다. 예를 들어, 시스템은 자전거를 타는 사람의 출력이 미리 결정된 수준을 초과하는 임의의 시간에, 이러한 순간들이 레이스의 흥미진진한 구간들에 대응할 수 있기 때문에, 그에 대응하는 임의의 비디오 크립들을 자동으로 태그하도록 프로그래밍될 수 있다.
다른 실시예에서, 시스템은 개별 지도 또는 교육 비디오들을 용이하게 생산하기를 원하는 사용자들의 영합하도록 구성될 수 있다. 이는 시선-기반 크로핑을 미리 구성된 절들 이를테면 "다음 단계로", 또는 "우리가 여기서 참조하는 것", 또는 "이것에 집중하시오"의 인식에 의해 실현되는 태그와 조합함으로써 실현될 수 있다. 이러한 인스턴스들에서, 사용자의 대상 그룹은 해당 씬에서 보고 있었던 것을 정확히 아는 것에 관심이 있을 수 있고, 따라서 사용자의 주의점이 자동으로 오버레이될 수 있거나, 또는 편집 프로세스에서 나중에 오버레이되게 별도로 저장될 수 있다.
또 다른 실시예에서, 시스템은 소셜 미디어 애플리케이션들과 인터페이싱하도록 구성되어, 사용자가 인식할 수 있는 동적인 돌출을 가능하게 할 수 있다. 예를 들어, 특정한 장소가 주목할 만한 그리고 뉴스 가치가 있는 이벤트로 인해 트위터 상에서 유행하고 있는 경우, 시스템은 사용자가 가까이 있을 수 있는 임의의 그러한 장소들에 기초하여 돌출에 대한 이의 메트릭스 및 휴리스틱스를 주기적으로 업데이트할 수 있다. 그 다음, 사용자가 임의의 그러한 장소를 입력하는 경우, 거기서 캡처되는 미디어 이미지이 이들이 그 외 있었을 것보다 높은 돌출이 부여될 수 있다. 이러한 프로세스는 사용자에 의해 거절 또는 조장되도록 구성될 수 있고, 이러한 피처의 동작은 사용자에게 분명하거나 사용자가 인식할 수 있다.
다른 실시예에서, 미디어 이미지들을 선택 및 편집하기 위한 방법이 사용자의 특정한 요구를 맞추기 위해 맞춤화될 수 있다. 그러나, 여러 번, 사용자는 시스템 내에 통합되거나 이에 원격으로 위치되는 센서 또는 센서들로부터의 입력에 기초하여 복수의 메트릭스 및 휴리스틱스를 포함하는 미리 정의된 템플릿을 간단히 선택하기를 원할 수 있다.
다른 실시예에서, 착용자, 예를 들어, Mary가 또한 디스플레이를 갖는 눈-추적 장비 디바이스를 착용하고 있는 원격에 위치한 개인, 예를 들어, John에게 비디오를 방송할 수 있다. John은 디스플레이로 비디오를 관측함에 따라, 그의 시선 정보가 Mary의 주의 미치 비디오 캡처를 유도하기 위해, 네트워크(예를 들어, 전화통신 네트워크, 인터넷 등)를 통해, 방송될 수 있다. 또한, John은 Mary의 비디오 캡처를 명시된 방향으로 이동시키거나, Mary를 전방 또는 후방 또는 위아래로 이동시키기 바라는 그의 바람을 나타내는, 관련 의미를 이용하여 그의 디스플레이 상의 아이콘들을 바라봄으로써, Mary가 그녀의 머리를 돌리게 유도할 수 있다. 예를 들어, Mary는 John에게 간접적인 뷰를 제공하기 위해 어드벤처 비디오를 레코딩하고 있을 수 있거나, 또는 그녀는 뉴스 또는 엔터테인먼트 비디오를 레코딩하고 있을 수 있다. Mary에게 제공되는 지시는 집계된 원하는 방향이 Mary에게 제공될 수 있는 다수의 원격 조회자들/제어자에 의해 집계될 수 있다.
다른 대표적인 실시예에서, 본 출원에서의 시스템이 시선-제어, 헤드-장착 또는 신체 장착 카메라 줌, 포커싱, 회전, 및/또는 패닝(panning)을 위해 사용될 수 있다. 예를 들어, 많은 HMD가 외부에 마주보는 카메라들을 갖는다. 몇몇은 높은 해상도 카메라들 및 렌즈들을 갖는다. 다른 실시예들에 따라, 어떤 식으로든 사용자의 시선을 따라 추적하고, 그에 의해 제어되거나, 또는 이에 반응할 수 있는 전자 제어 기계적 또는 전기적/광학적 줌, 포커싱, 또는 패팅 성능을 갖는 통합 또는 부착가능한 악세사리를 결합하기 위한 시스템 및 방법이 제공될 수 있다.
제어는 목표로 된 또는 바람직한 광을 캡처하기 위해 카메라 칩, 및/또는 다른 수단 내에서 사용될 픽셀들의 전자 선택 및/또는 광학 요소들의 물리적 움직임을 야기할 수 있다. 그러한 시스템은 사용자의 환경의 미디어 이미지들을 캡처하기 위해 장착되는 씬 카메라를 갖는 웨어러블 디바이스; 카메라의 렌즈 또는 카메라 시스템을 포커싱, 줌, 패닝 또는 다른 방법으로 제어하도록 디지털 방식으로 제어가능한 통합 또는 부착가능한 메커니즘; 사용자의 적어도 한쪽 눈의 눈 추적 데이터를 캡처하는 눈-추적 시스템; 및 디지털 방식으로 (전자적으로) 제어가능한 메커니즘과 통신하는 하나 이상의 프로세서를 포함할 수 있고, 씬 카메라, 및 눈 추적 서브시스템은 제어 메커니즘에 눈-추적 데이터에 적어도 부분적으로 기초하여 씬에 대해 줌, 포커싱, 또는 패닝하도록 지시하기 위한 것이다.
시스템은 사용자의 눈의 시선 움직임에 기초하여, 이미지 캡처의 다양한 모드(스틸 또는 비디오)를 수행하기 위해 눈-추적 데이터를 해석할 수 있다. 카메라의 제어는 2d 또는 3d 공간에서의 사용자의 시선 지점들(한 눈 또는 양 눈에 의해 결정되는), 시선 지속 기간, 일반적인 비약 움직임의 패턴들, 보이는 개체들 또는 상황들의 맥락에서의 비약 움직임의 패턴들(텍스트, 얼굴들, 씬들, 콘텐츠를 담은 디스플레이 스크린들, 영화들, 스토어 디스플레이들, 수술들, 군사 훈련들, 보안 업체들에 의한 보안 활동들, 스포츠 활동들에 걸친 눈-움직임), 비약들의 주파수, 신체 부위들(상호간의 눈-상호작용을 갖는 눈), 의류 등에 따른 시선을 포함하는 개인-특정 시선, 눈 깜빡임 수 및 지속 기간, 동공 확장, 가늘게 뜬 눈, 윙크들(의도적인 눈 깜빡임들), 상기 요소들의 예측가능한 미리 정의된 조합을 포함하는 다른 생체 측량 측정, 사용자의 눈에 대해 수집되는 데이터를 사용하여 결정되는 돌축의 활동들을 매치하기 위해 결정되는 조합된 활동들 중 하나 이상을 포함하여 시스템에 의해 캡처되는 개별 또는 복합 데이터에 의해 결정될 수 있다.
시스템은 의도적인 활동(예를 들어, 줌, 포커싱, 또는 패닝을 제어하기 위해 착용자에 의해 명백하게 의도되는 눈-제스처들) 또는 의도치 않은 활동(예를 들어, 카메라 줌, 패팅 및 포커싱 메커니즘의 바람직한 제어 및 씬 이미지화의 돌출 캡처과 그러한 패턴들의 연관 및/또는 해석)의 패턴들을 식별 및 추출하기 위한 다수의 사용자를 포함하여, 다수의 사용자에 걸쳐 데이터(빅 데이터)를 수집할 수 있다.
눈 움직임에 관해 캡처된 이미지 데이터에 메타데이터를 더한 출력에 결합되는 편집 시스템이 고려된다. 편집 시스템을 이용하여 사용자들에 의해 수행되는 움직임들이 분류 및/또는 저장될 수 있다. 임의로, 다른 센서들이 카메라 제어 및 상기 시스템의 수행, 분석, 및 향상에 기여하는 데이터를 캡처하기 위해 포함될 수 있다. 이들은 본 출원에서의 다른 곳에서 설명된 바와 같이, 하나 이상의 관성, 오디오, 생체 인식 및/또는 다른 센서들을 포함할 수 있다.
렌즈 제어 메커니즘이 헤드 장착 디바이스(HMD; Head Mounted Device)에 부착가능한 악세사리로서 제공될 수 있거나, 또는 HMD 내 통합 하드웨어 및 소프트웨어 솔루션으로서 제공될 수 있다. 악세사리로서 제공될 때, 하드웨어는 추가적인 추가 대체가능한 구성요소들 이를테면 가변 광출력을 갖는 렌즈들을 가질 수 있다. 시스템은 설치 프로세스 동안 사용자의 시선으로 캘리브레이트될 수 있다. 이러한 캘리브레이션은 씬 카메라 및/또는 디스플레이를 통합할 수 있고, 그에 따라 씬 카메라에 대한 악세사리 카메라의 상대적 위치가 결정된다. 캘리브레이션은 진행 중인 자동 업데이팅을 수반할 수 있다.
데이터 템플릿들은 클립의 시작 및/또는 종료점들을 구체화하기 위해 조회자의 눈, 씬, 소리, 및/또는 다른 입력들의 이전 지식을 사용하여 예측가능한 비디오 클립들의 인스턴스들을 최적으로 추출하도록 생성될 수 있다. 그러한 이전 지식은 이론적으로 정의되고, 그 다음 비디오 레코딩 상황의 범위 내의 사용자들 중에서 수집 및 세분화될 수 있다. 이는 사용자가, 충분한 배터리 전력을 이용하여, 전체 이벤트들; 예를 들어, 농구 게임을 위해 이들의 카메라를 턴 온할 수 있다는 것을 의미한다. 주요한 히트들, 실행들, 출력들, 및 다른 재생들이 눈을 뗄 수 없는 비디오들로 클리핑 및 구성될 수 있다. 그러한 비디오들은 소셜 미디어를 통해, 수동으로 또는 자동으로 개인적으로 공유될 수 있거나, 또는 심지어 구매자들에게 판매되거나 라이프-블로그 라이브러리 요소들로서 유지될 수 있다. 다른 템플릿-가능한 비디오들은 다음을 포함할 수 있다:
● 생일 파티: 초들을 끄며 생일 축하 노래를 부름;
● 트랙/크로스 컨트리 레이스: 부모(HMD 구비)에 의해 달리거나 결승선을 통과하는 딸/아들
● 축구 게임: 볼을 잡고 터치다운으로 달리는 리시버에 축구공을 던지는 쿼터;
● 야구 게임: 홈런 - 및 다른 이벤트들 - 을 치는 타자에게 투구하는 투수, 따라서 사용자는 전체 게임을 레코딩할 수 있고 사용자의 물리적 관점에서의 돌출 이벤트들이 추출될 수 있다. 또한 클립들은 본 출원에서의 다른 곳에서 설명된 바와 같이, 적절히 제어된 카메라 장비를 이용한 자동 줌, 포커싱, 피사계 심도, 및 패닝에 의해 향상될 수 있다;
● 디너 테이블에서 사람들을 스캐닝하는 디너 파티 : 착용자는 손님들 주위를 본다. 사용자 스캔의 끝에서 다시 처음으로, 또는 그 반대로 눈으로 클리핑되는 비디오. 예를 들어, 축배 동안, 추가로 부분-선택될 수 있다;
● 휴가 중 풍경 앞 가족/ 그룹 비디오: 가장 관심을 끄는 그룹 집회에 대해 추출되는 비디오 또는 이미지들;
● 휴일들;
● 구체적인 업무 기능들:
● 어워드 이벤트들;
● 기념 행사.
추가적인 데이터와 맥락화될 때, 이러한 비디오 템플릿들은 시간, 장소, 사람들, 이벤트, 서브-이벤트, 성과 정보 이상에 관한 보충 텍스트로 자동으로 향상될 수 있다.
다른 실시예에서, 다수의 사용자의 씬은 공공 장소에서 다수의 사용자를 위해 레코딩되는, 위에서 설명된 바와 같은 템플릿들에 의해 통지되는, 그리고 그 다음 - 실시간으로 또는 비-실시간으로 - 주목하지 않을 수 없는 비디오 제작을 형성하기 위해 씬 샷들의 복합 세트로 만들어지는 클립들을 포함할 수 있다. 이들은 템플릿들, 시선 데이터, 및 다른 센서의 입력에 의해 유도되는 고-품질 전자 제어 카메라들을 이용하여, HMD들을 착용하는 많은 사용자들 가질 수 있을 것이다. 비디오 공급물 및 클립들은 고 품질 실-시간 또는 비-실시간 "크라우드-소싱된(crowd-sourced)" 비디오를 제작하기 위해 시선-동기화, 지리-동기화 및/또는 시간-동기화될 수 있다. 또한, 비디오 캡처와 조합되는 유명 인사들, 전문직 종사자들, 또는 전문가의 시선 데이터로부터의 인증된 시선-증강된 비디오가 실-시간 또는 비-실시간 용으로 캡처되고 판매될 수 있다. 다른 씬은 씬 카메라를 이용하여 플레이어의 관점에서의 시선 데이터를 방송하는 볼 게임이다. 플레이어의 시선(위에서 강조된 바와 같이) 및/또는 다른 센서들에 의해 유도되어, 비디오는 플레이어의 시선 방향의 표시자(십자선)와 오버레이될 수 있거나, 또는 비디오가 줌 등으로 향상될 수 있다. 십자선-오버레이된 비디오 또는 시선-증강된(줌된+) 비디오가 실시간으로 게임의 조회자들에게, 훈련 평가를 위한 플레이어의 코치에게, 장차 취학-연령의 스포츠 플레이어들에게, 또는 비디오 게임 제작자들에게 제공/판매될 수 있다. 그러한 증강된 비디오의 가치는 스포츠 및 엔터테인먼트로부터, 군사 훈련, 수술 등까지의 광범위한 활동으로 확장될수 있다.
EyeClips에 대한 다른실시예는 광고주들을 위한 비디오 클리핑이다. 광고주는 제품 샷들을 포함하거나, 또는 제품 샷들과 관련 있을 수 있는 리얼-라이프, 주목하지 않을 수 없는, 감정적 상황들을 생산하기 위해 거금을 지출한다. HMD 착용자들은 이들의 카메라들이 광고주들에게 가치 있는 품질 비디오(; 예를 들어, 코카 콜라(Coca Cola) 캔들을 포함하는 클립들)를 레코딩할 의도로 특정한 활동들(급류 타기, 산악 자전거 타기, 스키 타기, 스카이 다이빙)을 위해 실행하게(충분한 전력이 공급될 때) 하도록 동기를 부여 받을 수 있다. 광고주들에게 선택 클립들을 전송하기 위한, 그리고 광고주들이 가치 있는 클립들의 대금을 지불하기 위한 시스템이 제공될 수 있다.
집합 의식(Collective Consciousness)이라 칭해지는 다른 실시예는 사람의 관찰, 센서의 입력, 및 관련 측정가능한 사람의 반응에 기초하여 어떤 방식으로든 예측가능한 개별 종목들, 주식 시장 동향, 국제적인 이벤트들, 정치적인 결과들, 실-시간 스포츠-이벤트 예측, 건강 상의 위협 ?? 다른 사건들을 예측하기 위한 시스템 및 방법을 포함한다.
본 출원에 설명된 바와 같은 센서의 캡처 데이터를 갖는 웨어러블 컴퓨터는 이전에는 존재하지 않았던 예측 데이터 생산을 가능하게 한다. 데이터들의 착용자들은 특정한 데이터를 캡처하도록 요청되고 이미지들, 소리, 사람의 반응들, 및/또는 다른 센서의 입력이 요구되는 특정한 장소들을 가능하게 찾아낼 수 있다. 또는, 착용자들은 데이터가 개인적으로 캡처되게 하기 위해 이들의 허가를 요청 받을 수 있거나, 또는 이들의 개입 없이, 집계되고 익명으로 이루어지게 될 수 있다. 관련 눈-추적 데이터, 생체 측정 측량, 생체 인식, 및 다른 센서들를 이용하는 비디오 캡처의 급증에 관해, 장래 이벤트들 및 결과물들을 예측하기 위해 집합 의식 또는 집합 잠재 의식을 이용하기 위한 시스템이 제공될 수 있다. 예를 들어, 플로리다 오렌지 농장의 노동자들이 카메라들 및 디스플레이들을 갖는 눈-추적-가능한 웨어러블 컴퓨터를 구비할 수 있다. 다가오는 오렌지 쥬스 선물을 예측하기 위해 그들의 수확 거동 및 관찰에 관한 거동 데이터가 수집될 수 있다. 때로는, 개인 작업자들이 디스플레이 정보를 통해, 보다 유용한 데이터, 이를테면 보다 근접하게 오렌지를 검사하는 데이터, 또는 작물 또는 다른 정보에 관한 그들의 의견을 묻는 질문에 대응하는 데이터를 캡처하는 특정한 액션들을 취하도록 지시될 수 있다. 카메라들 및 디스플레이들을 갖는 눈-추적 가능한 웨어러블 컴퓨터들을 착용하는 사무직 직원들은 이들의 텔레비전 시청, 라디오 청취, 또는 웹 브라우징 취미들 및/또는 텔레비전 방송(휴대용, 센서-캡처-구비, Neilson 모니터링 디바이스), 라디오 쇼들, 및/또는 웹 컨텐츠에 대한 이들의 반응에 대해 모니터링될 수 있다. 그러나 데이터로부터 유도가능한 집합 의식이 또한 해석될 수 있고 실-시간으로 또는 비-실시간으로 착용자들에게 다시 전달될 수 있는 질문들, 지시들, 및/또는 액션들을 유도할 수 있다.
다른 실시예는 UI, UX 및/또는 다른 증강 현실 양안/단안 추적에 3D 증강을 제공하기 위해 단안 디스플레이로 양안 눈-추적을 사용하는 것을 포함한다. 3차원(3D) 시선 데이터(z-축을 이용하여, 한 눈으로부터 제공되는 평면 x-y 축 데이터에 추가하여)를 캡처하기 위해 두 개의 카메라를 이용하는 추적은 3차원 주의점을 제공한다. 시스템은 디스플레이를 구비하지 않거나 다양한 방식으로 양안 추적 데이터를 사용하기 위해 한 눈에 대한 하나의 디스플레이, 양 눈에 대한 하나의 디스플레이, 또는 각 눈에 대한 하나의 디스플레이를 구비할 수 있다.
디스플레이들에 대한 옵션들은, 두 개의 디스플레이가 제공될 때, 부분적인 시야에서든, 정보의 디스플레이들 및 증강 현실 오버레이를 통해 투명성을 갖는 전체 시야에서든, 또는 외부 세계의 모든 이미지로 인해 가려지는 모든 시야에서든, 각 눈에 대해 하나, 및 다른 불투명한 디스플레이들 상에 제시되는 임의의 증강 현실 오버레이를 포함할 수 있다.
양안 시선 정보를 획득하기 위해 눈을 향해 지향되는 두 개의 카메라를 사용하면, 프로세서 산출 시선 정보는 정보를, 한 눈에 의해 시청가능한 단일 모노 디스플레이, 양 눈에 의해 시청가능한 단일 모노 디스플레이, 또는 양 눈에 의해 별도로 시청가능한 두 개의 모노 디스플레이 상에 일정량의 시뮬레이트된 스테레오 이미지를 생성하기 위한 UI 정보 또는 "증강 현실"(또는 "AR") 정보/이미지의 3차원 오버레이된 이미지를 제공하기 위해 디스플레이 데이터를 제어하는 프로세서들에 송신할 수 있다. 이러한 방식으로, 양안 추적은 단일 디스플레이 스크린 상의 효과적인 3차원 디스플레이 또는 3차원 대화를 가능하게 할 수 있다. 사용자가 그들의 눈을 수렴 또는 발산함함에 따라, 디스플레이는 차원 감각을 생성하기 위해 변할 수 있다. 사용자의 양 눈이 거리(Z)의 아이템들로 초점을 맞출 때, 이들은 사용자가 아마도 지배적인 눈으로, 제시된 씬을 보기 위해 단지 한 눈을 사용하고 있을 때에도, 켤레근을 통해 동시에 움직일 수 있다. 차원수를 에뮬레이트하기 위해 정보를 제공하기 위한 시스템은 눈 지배성에 민감할 수 있다.
UI는 디스플레이상의 초점 밖에 있는 요소에 이미지를 제공하여, 사용자가 그들의 눈을 발산 또는 수렴함으로써 초점을 맞추게 동기를 부여한다. 예를 들어, 이미지가 표면상으로 더 가까이 있고, 사용자가 이미지에 초점을 맞추도록 선택하는 경우, 사용자가 그의 눈을 수렴(양안 눈-추적 카메라들에 의해 측정될 수 있는 바와 같이, 더 가까이 보기 위해) 또는 발산(더 멀리 보기 위해)함에 따라 적절한 피드백과 함께, 이미지들은 서로에 관해 이동되고, 초점이 맞춰지거나 초점이 흐려질 수 있다. 사용자가 어렴풋한 이미지에 부자연스럽게 제시될 수 있는, 더 가까운 무언가를 보기를 원할 때, 사용자의 눈이 수렴/발산하는 경우, 이미지들은 한 눈 또는 양 눈에 의해 보여질 수 있는 바와 같이 변형될 수 있다.
추가로, 또는 대안적으로, 동공 확산이 또한 씬 뷰 내 지각된 차원수를 변경할 때를 결정하기 위해 추적될 수 있다. 예를 들어, 단일 지배적 눈을 이용하여 먼 대상물을 볼 때, 전경에 보일 대상물이 초점이 맞지 않게 보여질 수 있다. 사용자가 이러한 지배적인 초점이 흐려진 전경 이미지를 응시하기 위해 훨씬 소량(예를 들어, 0.5도) 눈을 움직일 때, , 이미지는 사용자의 동공이 반응하게 할 뿐만 아니라, 새로운 목표물이 더 가깝다는 감각을 불러일으켜, 초점에 맞춰질 수 있다. 동시에, 먼 이미지는 거리에 대한 보다 높은 지각을 불러일으키도록 변형될 수 있다.
의도적/잠재적 태그 또는 편집은 다양한 방식으로 디스플레이와 상호작용함으로써 가치 있게 될 가능성이 있는 클립의 시작 및/또는 종료의 실-시간 의도적 사용자 태그를 가능하게 한다. 이러한 태그는 디스플레이를 이용하여 또는 디스플레이를 이용하지 않고 상호작용을 통해 발생할 수 있다. 디스플레이는 이용하여 상호작용할 때, 사용자가 응시하는 시각적 메뉴를 통합하는, 디스플레이 및 사용자 간 대화가 존재하여, 제어, 주시, 체류, 비약들, 스크린-상의, 스크린-밖의, 스크린 상의/밖의 액션들을 이용하여 디스플레이를 제어할 수 있다. 디스플레이는 불투명, 반투명, 또는 투명할 수 있다. 부분적 시야의 디스플레이 또는 전체 시야의 디스플레이일 수 있다. 대화는 사용자가 태그 활동을 더 신속히 처리하는 것, 태그할지 열부를 결정하는 것, 무엇을 태그할 지 결정하는 것, 클립이 얼마나 길어야 하는지에 관한 정보를 획득하는 것, 시야 내 돌출 영역들에 초점을 맞추는 것, 텍스트, 음성 주석, 특수 효과들을 이용하여 클립을 향상시키는 것, 메타데이터로서 이용가능한 또는 가시적일 수 있는 다른 센서의 입력을 통합하는 것을 도울 수 있다. 미디어 이미지들을 태그하기 위한 추가적인 옵션들은 다음 중 하나 이상을 포함할 수 있다:
● 태그는 클립이 레코딩되기 전 또는 된 후 비-실시간일 수 있다;
● 태그는 디스플레이를 사용하지 않고 다른 입력들 또는 제어로 수행될 수 있다;
● 태그는 시스템이 눈-추적 및/또는 디스플레이 성능을 통합할 수 있는 콘택트 렌즈의 사용자를 통합할 때 발생할 수 있다.
태그 및 편집을 제어하기 위한 사용자 및 프로세서 간 대화는 EEG 또는 다른 생체 인식 소스들로부터의 데이터 집합을 통합할 수 있고, 뇌파 자극 또는 센서의 피드백을 통해 사용자에게 피드백을 제공할 수 있다. 편집 클립들, 오버레이들, 효과들, 및 향상을 산출하기 위한 프로세싱은 국부적으로 수행되거나, 분산된 사용자 프로세서들 간에 공유될 수 있거나, 또는 원격 서버 상에서 수행될 수 있다.
본 발명은 디스플레이가 사용자의 부분적 시야, 다수의 부분적 시야, 또는 사용자의 전체에 이르는 시야 내에서 관찰가능한 작동을 지원한다. 디스플레이는 그 범위가 완전히 투명한 것에서 디스플레이 및 세계의 사용자의 뷰를 증강하기 위해 디스플레이를 통해 보는 실세계 이미지 상에 오버레이되는 임의의 이미지의 임의의 휘도 수준에 이를 수 있다. 또한, 이의 이미지가 완전히 전자적으로 생성되는(전형적으로 가상 현실 디스플레이로서 지칭되는), 비-투명한 디스플레이를 통합하는 형태는 위에서 언급된 바와 같이 오버레이되는 피드백 및 시각적 제어 또는 보충 이미지와 함께 사용되고, 이의 종료점이 사용자의 명백한 액션에 의해 태그되는 비디오 클립의 시작점의 휴리스틱스 선택을 지원 및 확실히 증명할 수 있다.
편리함을 위해, 본 출원에 제시되고 설명된 작동들이 다양한 인터커넥트된 기능 블록들 또는 별개의 소프트웨어 모듈들로서 설명된다. 이는 반드시는 아니나, 이러한 기능 블록들 또는 모듈들이 확실한 경계들 없이 단일 로직 디바이스, 프로그램 또는 작동으로 동등하게 가져오는 경우들이 존재할 수 있다. 임의의 이벤트에서, 기능 블록들 및 소프트웨어 모듈들 또는 설명된 피처들은 그것들 자체로, 또는 하드웨어 또는 소프트웨어 중 어느 하나로 다른 작동들과 함께 구현될 수 있다. 이러한 기능 블록들은 망막, 통합된, 투영된, 또는 다른 디스플레이들을 갖는 웨어러블 콘택트 렌즈들, 및 통합된 눈 추적 성능들을 갖는 웨어러블 콘택트 렌즈들 상에 이미지들을 투영하는 것을 포함하는 웨어러블 디스플레이 기술들의 사용을 분명히 지원한다.
본 출원에서의 임의의 실시예와 함께 도시된 요소들 또는 구성요소들이 특정한 실시예에 대해 대표적인 것이고 본 출원에 개시된 다른 실시예들 상에서 또는 이들과 조합하여 사용될 수 있다는 것이 이해될 것이다. 본 발명은 다양한 변형예들, 및 대안적인 형태들에 영향을 받기 쉬우나, 이들의 특정한 예들이 도면들에 도시되었고 본 출원에서 상세하게 설명되었다. 그러나, 본 발명이 개시된 특정한 형태들 또는 방법들로 제한되지 않을 것이라는 것, 본 발명이 모든 변형예들, 균등물들을 포함할 것이라는 것 및 대얀예들이 첨부된 청구항들의 범위 내에 들어간다는 것이 이해되어야 한다.
Claims (39)
- 미디어 이미지들(media images)을 편집하기 위한 시스템으로서,
웨어러블 디바이스(wearable device);
씬 카메라(scene camera)가 사용자의 환경의 미디어 이미지들을 캡처하도록 상기 디바이스 상에 장착되는 상기 씬 카메라;
기준 프레임을 눈에 투영시키고 투영된 상기 기준 프레임을 사용자의 적어도 한쪽 눈의 눈 추적 데이터(eye tracking data)를 캡처하기 위한 디스플레이의 제2 기준 프레임과 연관시키는 눈 추적 서브시스템; 및
상기 눈 추적 데이터에 적어도 부분적으로 기초하여 상기 씬 카메라에 의해 캡처되는 미디어 이미지들을 태그(tag)하기 위해 상기 씬 카메라 및 눈 추적 서브시스템과 통신하는 하나 이상의 프로세서를 포함하는, 시스템. - 청구항 1에 있어서, 상기 하나 이상의 프로세서가 상기 씬 카메라로부터의 하나 이상의 미디어 이미지를 태그하기 위해 상기 눈 추적 데이터에서 식별되는 상기 사용자의 의도적 또는 잠재적 눈 움직임을 이용하도록 구성되는, 시스템.
- 청구항 2에 있어서, 상기 하나 이상의 프로세서가 상기 미디어 이미지들 내 비디오 클립(video clip)의 시작점 및 종료점 중 적어도 하나를 규정하기 위해 상기 씬 카메라로부터의 미디어 이미지들과 태그를 연관시키기 위해 구성되는, 시스템.
- 청구항 2에 있어서, 상기 하나 이상의 프로세서가 눈 추적 이미지들에서 식별되는 상기 사용자의 눈 움직임에 적어도 부분적으로 기초하여 상기 씬 카메라로부터의 미디어 이미지들의 돌출(saliency) 값을 결정하기 위해 구성되는, 시스템.
- 청구항 1에 있어서, 상기 웨어러블 디바이스 상에 하나 이상의 센서를 더 포함하고, 상기 하나 이상의 프로세서가 상기 하나 이상의 센서로부터의 센서 신호들에 적어도 부분적으로 기초하여 상기 씬 카메라에 의해 캡처되는 미디어 이미지들을 태그하기 위해 상기 하나 이상의 센서와 통신하는, 시스템.
- 청구항 5에 있어서, 상기 하나 이상의 센서가 관성 센서, 이미지 센서, 오디오 센서, 위치 센서, 방향 센서, 광 센서, 생체 인식 센서, 제스처 센서, EEG 센서 중 적어도 하나를 포함하되, 그러한 센서들이 국부적으로 또는 원격으로 결합될 수 있는, 시스템.
- 청구항 5에 있어서, 상기 하나 이상의 프로세서가 상기 센서 신호들 및 상기 눈 추적 데이터 양자에 적어도 부분적으로 기초하여 상기 씬 카메라에 의해 캡처되는 미디어 이미지들의 태그 또는 돌출을 통지하도록 구성되는, 시스템.
- 청구항 5에 있어서, 상기 하나 이상의 프로세서가 상기 데이터 및 상기 이미지들의 상관관계를 보여주기 위해 상기 미디어 이미지들 및 상기 눈 추적 데이터 중 하나 또는 양자와 상기 하나 이상의 센서로부터의 데이터를 동기화하도록 구성되는, 시스템.
- 청구항 1에 있어서, 디스플레이가 상기 사용자에게 가시적이도록 상기 웨어러블 디바이스 상에 장착되는 상기 디스플레이를 더 포함하는, 시스템.
- 청구항 9에 있어서, 상기 하나 이상의 프로세서가 상기 디스플레이를 활성화하지 않고 상기 눈 추적 데이터에 적어도 부분적으로 기초하여 상기 씬 카메라에 의해 캡처되는 미디어 이미지들을 태그하기 위해 구성되는, 시스템.
- 청구항 9에 있어서, 상기 디스플레이 상의 또는 이에 인접한 하나 이상의 영역 또는 표시자를 더 포함하고, 상기 하나 이상의 프로세서가 상기 미디어 이미지들과 태그를 연관시키기 위해 상기 사용자가 상기 하나 이상의 영역 또는 표시자를 향해 응시할 때를 식별하기 위해 상기 눈 추적 데이터를 분석하도록 구성되는, 시스템.
- 청구항 1에 있어서, 상기 하나 이상의 프로세서가 상기 사용자와 관련된 상기 미디어 이미지들의 섹션들을 선택하도록 그리고 원하는 순서로 상기 섹션들을 트리밍(trimming), 크로핑(cropping), 회전, 패닝(panning), 줌(zoom), 및 배열하는 것 중 적어도 하나에 의해 상기 미디어 이미지들의 상기 섹션들을 편집하도록 구성되는, 시스템.
- 청구항 1에 있어서, 상기 하나 이상의 프로세서가 복수의 작동 모드에 대응하도록 상기 눈 추적 서브시스템의 작동 주파수를 조절하기 위해 상기 눈 추적 서브시스템에 결합되는, 시스템.
- 청구항 1에 있어서, 미디어 이미지의 돌출을 태그 또는 결정하기 위해 사용자로부터의 입력 또는 프로세싱된 데이터 중 하나 또는 양자를 수용하도록 설계되는, 시스템.
- 청구항 1에 있어서, 원래의 미디어 이미지들을 저장하기 위한 메모리를 더 포함하고, 상기 하나 이상의 프로세서가 상기 원래의 미디어 이미지들이 하나 이상의 프로세서에 의해 상기 메모리로부터 나중에 복원가능하도록 상기 미디어 이미지들을 비-파괴적으로 편집하도록 구성되는, 시스템.
- 청구항 1에 있어서, 상기 하나 이상의 프로세서가 상기 눈 추적 데이터에 대해 눈 추적 정밀도의 우아한 성능 저하(graceful degradation)를 이용하도록 구성되는, 시스템.
- 청구항 1에 있어서, 상기 미디어 이미지들을 원격 위치로 전송하기 위해 상기 하나 이상의 프로세서와 통신하는 트랜스시버 또는 다른 무선 통신 인터페이스를 더 포함하는, 시스템.
- 청구항 1에 있어서, 상기 웨어러블 디바이스로부터 원격인 하나 이상의 센서로부터 데이터를 수신하기 위해 상기 하나 이상의 프로세서와 통신하는 트랜스시버 또는 다른 무선 통신 인터페이스를 더 포함하는, 시스템.
- 상이한 시점들에서 관련 이벤트들을 레코딩할 목적으로 근접하게-위치된 웨어러블 디바이스들에 의해 결정되는 바와 같이 비디오 이미지들에서의 비교상 돌출을 정량적으로 평가하기 위한 시스템으로서,
개인 사용자들에 의해 착용되도록 구성되는 복수의 웨어러블 디바이스로서, 각 웨어러블 디바이스는 씬 카메라가 상기 개인 사용자의 환경의 미디어 이미지들을 캡처하도록 디바이스 상에 장착되는 상기 씬 카메라, 하나 이상의 센서, 통신 인터페이스, 및 기준 프레임을 상기 사용자의 눈 상에 투영시키고 투영된 상기 기준 프레임을 상기 사용자의 눈의 눈 추적 데이터를 캡처하기 위한 디스플레이의 제2 기준 프레임과 연관시키는 눈 추적 서브시스템을 포함하는, 상기 복수의 웨어러블 디바이스; 및
각 웨어러블 디바이스의 통신 인터페이스를 통해 상기 웨어러블 디바이스들과 통신하기 위한 서버를 포함하는, 시스템. - 청구항 19에 있어서, 임계 이벤트를 식별하기 위해 상기 하나 이상의 센서를 모니터링하기 위해 각 웨어러블 디바이스 상에 하나 이상의 프로세서를 더 포함하되, 상기 하나 이상의 프로세서는 다음 중 적어도 하나를 위해 다른 웨어러블 디바이스들과 상기 통신 인터페이스를 통해 통신하는 시스템:
상기 임계 이벤트가 발생했는지를 확인하는 것, 및
상기 임계 이벤트와 관련 있는 미디어 이미지들을 공유하는 것. - 청구항 19에 있어서, 임계 이벤트를 식별하기 위해 상기 하나 이상의 센서를 모니터링하기 위해 각 웨어러블 디바이스 상에 하나 이상의 프로세서를 더 포함하되, 상기 하나 이상의 프로세서는 다음 중 적어도 하나를 위해 상기 서버와 상기 통신 인터페이스를 통해 통신하는 시스템: a) 상기 임계 이벤트가 발생했는지를 확인하는 것, 및 b) 상기 임계 이벤트와 관련 있는 미디어 이미지들을 공유하는 것.
- 청구항 19에 있어서, 임계 이벤트를 식별하기 위해 상기 하나 이상의 센서를 모니터링하기 위해 각 웨어러블 디바이스 상에 하나 이상의 프로세서를 더 포함하되, 상기 하나 이상의 프로세서는 다음 중 적어도 하나를 위해 상기 다른 웨어러블 디바이스들과 그리고 상기 서버와 상기 통신 인터페이스를 통해 통신하는 시스템:
상기 임계 이벤트가 발생했는지를 확인하는 것, 및
상기 임계 이벤트와 관련 있는 미디어 이미지들을 공유하는 것. - 청구항 19에 있어서, 각 눈 추적 서브시스템이 상기 사용자의 눈의 눈 추적 데이터를 캡처하고; 각 웨어러블 디바이스가 눈 추적 데이터를 상기 돌출의 평가 및 이미지 선택으로 통합시키기 위해 상기 다른 웨어러블 디바이스들과 그리고 상기 서버와 상기 통신 인터페이스로 통신하기 위해 상기 씬 카메라 및 눈 추적 서브시스템과 통신하는 하나 이상의 프로세서를 포함하는, 시스템.
- 사용자에 의해 웨어러블 디바이스로부터 미디어 이미지들을 선택 또는 편집하기 위한 방법으로서,
상기 웨어러블 디바이스 상의 씬 카메라를 사용하여, 상기 사용자의 환경의 미디어 이미지들을 캡처하는 단계;
기준 프레임을 눈 상에 투영시키고 투영된 상기 기준 프레임을 사용자의 적어도 한쪽 눈의 눈 추적 데이터를 캡처하기 위한 디스플레이의 제2 기준 프레임과 연관시키는 눈 추적 서브시스템 눈 추적 서브시스템을 사용하여, 눈 추적 데이터를 캡처하는 단계; 및
상기 눈 추적 데이터로부터 식별되는 적어도 하나의 눈 이벤트의 액션들에 적어도 부분적으로 기초하여 상기 미디어 이미지들을 선택하는 단계 및 편집하는 단계 중 적어도 하나의 단계를 포함하는, 방법. - 청구항 23에 있어서,
상기 웨어러블 디바이스 상의 가속도계에 기초하여 사고를 포함하여 임계 이벤트를 검출하는 단계를 더 포함하되;
상기 미디어 이미지들을 선택하는 단계 및 편집하는 단계 중 적어도 하나의 단계가 상기 임계 이벤트의 결정 직전 미리 결정된 시간 동안 상기 미디어 이미지들을 자동으로 태그하는 단계를 포함하는, 방법. - 청구항 25에 있어서, 상기 임계 이벤트 기능의 상기 결정은, 사용자의 주시가 상기 시스템이 상기 미디어 이미지들을 크로핑하도록 다른 방법으로 프롬프트할 수 있었더라도, 전체 시야 미디어 이미지들을 보호하기 위해 사고 재구성 활동을 돕기 위해 다른 돌출 결정들을 오버라이드할 수 있는, 시스템.
- 청구항 23에 있어서, 상기 웨어러블 디바이스가 미디어 이미지들 내 미리 결정된 얼굴들을 인식하는, 시스템.
- 청구항 23에 있어서, 상기 웨어러블 디바이스가 관성, 이미지, 오디오, 위치, 방향, 광, 생체 인식, 또는 제스처 센서 중 하나 이상으로부터 사용자 또는 시스템-결정 임계 측정치들을 인식하는, 방법.
- 청구항 23에 있어서,
상기 웨어러블 디바이스 상의 통신 인터페이스를 사용하여, 원격 위치로부터 메트릭스(metrics) 또는 휴리스틱스(heuristics)를 수신하는 단계를 더 포함하되;
상기 미디어 이미지들을 선택하는 단계 및 편집하는 단계 중 적어도 하나의 단계가 상기 메트릭스 또는 휴리스틱스에 기초하여 상기 미디어 이미지들의 하나 이상의 세그먼트에 돌출을 부여하는 단계를 포함하는, 방법. - 청구항 23에 있어서, 사용자의 미디어 이미지들에서의 돌출의 부분적 결정시 입력으로서 소셜 미디어 애플리케이션들로부터의 데이터를 사용하는 단계를 더 포함하는 방법.
- 청구항 23에 있어서, 픽처 프레임을 생성하기 위해 사용자의 손 모션들에 의해 제시되는 경계들에 대해 미디어 이미지들을 크로핑하는 단계를 더 포함하는, 방법.
- 청구항 23에 있어서, 다수의 센서로부터의 입력, 이를테면 웃음의 소리와 조합되는 웃음, 미소, 또는 가늘게 뜬 눈에 적어도 부분적으로 기초하여 미디어 이미지들에 돌출을 부여하는 단계를 더 포함하는, 방법.
- 청구항 23에 있어서, 상기 사용자가 상기 웨어러블 디바이스 상에서 재생하는 동안 그리고 별개의 디바이스 상에서 상기 미디어 이미지들을 편집하기 전에 미디어 이미지들을 태그하도록 선택할 수 있는, 방법.
- 청구항 23에 있어서, 미디어 이미지들을 사용자가 주시하고 있는 영역에 대해 또는 상기 사용자가 주시하고 있는 영역 밖의 이미지들에 대해 자동으로 크로핑하는 단계를 더 포함하는, 방법.
- 청구항 23에 있어서, 미디어 이미지들을 사용자의 비약 움직임들(saccadic movements)에 의해 경계가 정해지는 영역에 대해 자동으로 크로핑하는 단계를 더 포함하는, 방법.
- 청구항 23에 있어서, 사용자의 동공 직경에 적어도 부분적으로 기초하여 비디오 이미지들의 재생 속도를 자동으로 조절하는 단계를 더 포함하는, 방법.
- 청구항 23에 있어서, 상기 사용자의 감정 상태가 추론될 수 있는 추가적인 센서들로부터의 데이터에 적어도 부분적으로 기초하여 비디오 이미지들의 재생 속도를 자동으로 조절하는 단계를 더 포함하는, 방법.
- 청구항 23에 있어서, 상기 웨어러블 디바이스가 오디오 신호들의 인식을 통해 개별 지도 또는 교육 컨텐츠의 생산을 단순화하도록 구성되는, 방법.
- 청구항 23에 있어서, 상기 웨어러블 디바이스가 미디어 이미지 데이터와 사용자의 시선 데이터를 저장 및 오버레이 중 적어도 하나를 행하도록 구성되는, 방법.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361922724P | 2013-12-31 | 2013-12-31 | |
| US61/922,724 | 2013-12-31 | ||
| US201461991435P | 2014-05-09 | 2014-05-09 | |
| US61/991,435 | 2014-05-09 | ||
| US201462074920P | 2014-11-04 | 2014-11-04 | |
| US201462074927P | 2014-11-04 | 2014-11-04 | |
| US62/074,927 | 2014-11-04 | ||
| US62/074,920 | 2014-11-04 | ||
| PCT/US2014/073094 WO2015103444A1 (en) | 2013-12-31 | 2014-12-31 | Systems and methods for gaze-based media selection and editing |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207033096A Division KR102246310B1 (ko) | 2013-12-31 | 2014-12-31 | 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160105439A true KR20160105439A (ko) | 2016-09-06 |
| KR102182605B1 KR102182605B1 (ko) | 2020-11-24 |
Family
ID=53494037
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167020195A KR102182605B1 (ko) | 2013-12-31 | 2014-12-31 | 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들 |
| KR1020207033096A KR102246310B1 (ko) | 2013-12-31 | 2014-12-31 | 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207033096A KR102246310B1 (ko) | 2013-12-31 | 2014-12-31 | 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들 |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US9870060B2 (ko) |
| EP (1) | EP3090322A4 (ko) |
| JP (1) | JP6929644B2 (ko) |
| KR (2) | KR102182605B1 (ko) |
| CN (1) | CN106030458B (ko) |
| WO (1) | WO2015103444A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200082176A1 (en) * | 2018-09-12 | 2020-03-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for extending detachable automobile sensor capabilities for identification of selected object types |
Families Citing this family (103)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140218281A1 (en) | 2012-12-06 | 2014-08-07 | Eyefluence, Inc. | Systems and methods for eye gaze determination |
| EP3041400A1 (en) * | 2013-09-03 | 2016-07-13 | Tobii AB | Portable eye tracking device |
| CN104681048A (zh) * | 2013-11-28 | 2015-06-03 | 索尼公司 | 多媒体读取控制装置、曲线获取装置、电子设备、曲线提供装置及方法 |
| WO2015103444A1 (en) * | 2013-12-31 | 2015-07-09 | Eyefluence, Inc. | Systems and methods for gaze-based media selection and editing |
| JP6644699B2 (ja) * | 2014-03-19 | 2020-02-12 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 視線追跡を使用する医療装置、システム、及び方法 |
| JP6326901B2 (ja) * | 2014-03-26 | 2018-05-23 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
| US10564714B2 (en) | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| WO2016018488A2 (en) | 2014-05-09 | 2016-02-04 | Eyefluence, Inc. | Systems and methods for discerning eye signals and continuous biometric identification |
| KR102240632B1 (ko) * | 2014-06-10 | 2021-04-16 | 삼성디스플레이 주식회사 | 생체 효과 영상을 제공하는 전자 기기의 구동 방법 |
| US10852838B2 (en) * | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| KR102253444B1 (ko) | 2014-07-08 | 2021-05-20 | 삼성디스플레이 주식회사 | 사용자의 눈 깜빡임을 유도하는 유도 영상 표시 방법, 장치, 및 컴퓨터 판독 가능한 기록매체 |
| US10282057B1 (en) * | 2014-07-29 | 2019-05-07 | Google Llc | Image editing on a wearable device |
| US9720259B2 (en) * | 2014-10-13 | 2017-08-01 | William Hart | Eyewear pupilometer |
| US10567641B1 (en) * | 2015-01-19 | 2020-02-18 | Devon Rueckner | Gaze-directed photography |
| US10921896B2 (en) * | 2015-03-16 | 2021-02-16 | Facebook Technologies, Llc | Device interaction in augmented reality |
| CN104834446B (zh) * | 2015-05-04 | 2018-10-26 | 惠州Tcl移动通信有限公司 | 一种基于眼球追踪技术的显示屏多屏控制方法及系统 |
| US9939644B2 (en) * | 2015-06-25 | 2018-04-10 | Intel Corporation | Technologies for controlling vision correction of a wearable computing device |
| US10222619B2 (en) * | 2015-07-12 | 2019-03-05 | Steven Sounyoung Yu | Head-worn image display apparatus for stereoscopic microsurgery |
| US9852329B2 (en) * | 2015-07-24 | 2017-12-26 | International Business Machines Corporation | Calculation of a characteristic of a hotspot in an event |
| CN105635561A (zh) * | 2015-07-31 | 2016-06-01 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取系统及方法 |
| US20170102697A1 (en) * | 2015-10-08 | 2017-04-13 | General Motors Llc | Selecting a vehicle function to control using a wearable electronic device |
| US10338677B2 (en) | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
| US10137777B2 (en) | 2015-11-03 | 2018-11-27 | GM Global Technology Operations LLC | Systems and methods for vehicle system control based on physiological traits |
| CN105245660A (zh) * | 2015-11-05 | 2016-01-13 | 天津大学 | 一种基于手环的手机防盗追踪方法 |
| US10444972B2 (en) | 2015-11-28 | 2019-10-15 | International Business Machines Corporation | Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries |
| JP6705206B2 (ja) * | 2016-02-25 | 2020-06-03 | セイコーエプソン株式会社 | 電子機器の制御装置および電子機器の制御プログラム |
| US9864431B2 (en) * | 2016-05-11 | 2018-01-09 | Microsoft Technology Licensing, Llc | Changing an application state using neurological data |
| US10395428B2 (en) | 2016-06-13 | 2019-08-27 | Sony Interactive Entertainment Inc. | HMD transitions for focusing on specific content in virtual-reality environments |
| CN106200901B (zh) * | 2016-06-24 | 2019-03-29 | 联想(北京)有限公司 | 一种头戴式眼追踪装置的校正方法及头戴式眼追踪装置 |
| US10223067B2 (en) | 2016-07-15 | 2019-03-05 | Microsoft Technology Licensing, Llc | Leveraging environmental context for enhanced communication throughput |
| EP3488282A4 (en) * | 2016-07-19 | 2019-08-07 | Supereye, Inc. | SYSTEMS AND METHODS FOR PREDICTIVE VISUAL RENDERING |
| US11086473B2 (en) * | 2016-07-28 | 2021-08-10 | Tata Consultancy Services Limited | System and method for aiding communication |
| KR102548199B1 (ko) | 2016-08-03 | 2023-06-28 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 시선 추적 방법 |
| CN106339668A (zh) * | 2016-08-16 | 2017-01-18 | 信利光电股份有限公司 | 一种虹膜识别方法及虹膜识别系统 |
| CN107957774B (zh) * | 2016-10-18 | 2021-08-31 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
| US10540491B1 (en) | 2016-10-25 | 2020-01-21 | Wells Fargo Bank, N.A. | Virtual and augmented reality signatures |
| WO2018085426A1 (en) * | 2016-11-01 | 2018-05-11 | Snap Inc. | Systems and methods for fast video capture and sensor adjustment |
| JP2020513253A (ja) * | 2016-11-10 | 2020-05-14 | ニューロトラック テクノロジーズ，インク． | 認識能力の分析のために、画像取得デバイスを人間のユーザーに関連付けるための方法およびシステム |
| US10591731B2 (en) * | 2016-12-06 | 2020-03-17 | Google Llc | Ocular video stabilization |
| US10484623B2 (en) * | 2016-12-20 | 2019-11-19 | Microsoft Technology Licensing, Llc | Sensor with alternating visible and infrared sensitive pixels |
| US10088911B2 (en) | 2016-12-30 | 2018-10-02 | Manuel Saez | Programmable electronic helmet |
| FR3061583B1 (fr) * | 2017-01-04 | 2020-12-04 | Oreal | Dispositif d'acquisition d'une video d'alterations cutanees, systeme de caracterisation et procede de caracterisation associes |
| EP3381351A1 (en) * | 2017-03-29 | 2018-10-03 | Vivior AG | System for assessing a health condition of a user |
| US10609025B2 (en) * | 2017-04-06 | 2020-03-31 | Htc Corporation | System and method for providing simulated environment |
| US10401954B2 (en) | 2017-04-17 | 2019-09-03 | Intel Corporation | Sensory enhanced augmented reality and virtual reality device |
| DE102017108371B4 (de) * | 2017-04-20 | 2020-08-27 | Carl Zeiss Meditec Ag | Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben |
| US10671160B2 (en) * | 2017-05-31 | 2020-06-02 | Magic Leap, Inc. | Eye tracking calibration techniques |
| US20180357670A1 (en) * | 2017-06-07 | 2018-12-13 | International Business Machines Corporation | Dynamically capturing, transmitting and displaying images based on real-time visual identification of object |
| US10460527B2 (en) * | 2017-06-30 | 2019-10-29 | Tobii Ab | Systems and methods for displaying images in a virtual world environment |
| CN107169338A (zh) * | 2017-07-25 | 2017-09-15 | 上海闻泰电子科技有限公司 | 解锁方法及装置 |
| KR102481884B1 (ko) | 2017-09-22 | 2022-12-28 | 삼성전자주식회사 | 가상 영상을 표시하는 방법 및 장치 |
| US10254832B1 (en) | 2017-09-28 | 2019-04-09 | Microsoft Technology Licensing, Llc | Multi-item selection using eye gaze |
| WO2019069812A1 (ja) * | 2017-10-05 | 2019-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイの視線検出システム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイの視線検出方法 |
| US10586360B2 (en) | 2017-11-21 | 2020-03-10 | International Business Machines Corporation | Changing view order of augmented reality objects based on user gaze |
| US11282133B2 (en) | 2017-11-21 | 2022-03-22 | International Business Machines Corporation | Augmented reality product comparison |
| KR102483781B1 (ko) * | 2017-12-18 | 2023-01-03 | 광주과학기술원 | 도슨트 서비스를 제공하는 증강 현실 글래스의 동작 방법 |
| US20190235621A1 (en) * | 2018-01-26 | 2019-08-01 | Snail Innovation Institute | Method and apparatus for showing an expression of how an object has been stared at in a displayed video |
| US20190235246A1 (en) * | 2018-01-26 | 2019-08-01 | Snail Innovation Institute | Method and apparatus for showing emoji on display glasses |
| CN110095866B (zh) * | 2018-01-29 | 2020-07-28 | 京东方科技集团股份有限公司 | 增强现实装置、增强现实系统及其信息提示方法 |
| CN110115842B (zh) * | 2018-02-06 | 2023-01-13 | 日本聚逸株式会社 | 应用处理系统、应用处理方法以及应用处理程序 |
| US10481403B2 (en) * | 2018-02-15 | 2019-11-19 | Tectus Corporation | Contact lens with retinal camera |
| KR102495796B1 (ko) | 2018-02-23 | 2023-02-06 | 삼성전자주식회사 | 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치 |
| US10521013B2 (en) * | 2018-03-01 | 2019-12-31 | Samsung Electronics Co., Ltd. | High-speed staggered binocular eye tracking systems |
| US10949969B1 (en) * | 2018-03-20 | 2021-03-16 | Welch Allyn, Inc. | Pupil edge region removal in digital imaging |
| US10747500B2 (en) * | 2018-04-03 | 2020-08-18 | International Business Machines Corporation | Aural delivery of environmental visual information |
| US10853014B2 (en) * | 2018-04-17 | 2020-12-01 | Rockwell Collins, Inc. | Head wearable device, system, and method |
| US11568166B1 (en) * | 2018-07-27 | 2023-01-31 | Verily Life Sciences Llc | Suggesting behavioral adjustments based on physiological responses to stimuli on electronic devices |
| CN109189222B (zh) * | 2018-08-28 | 2022-01-11 | 广东工业大学 | 一种基于检测瞳孔直径变化的人机交互方法及装置 |
| US10833945B2 (en) * | 2018-11-13 | 2020-11-10 | International Business Machines Corporation | Managing downloading of content |
| CN109451236A (zh) * | 2018-11-13 | 2019-03-08 | 深圳龙图腾创新设计有限公司 | 一种基于瞳位跟踪的相机聚焦方法 |
| US11282259B2 (en) | 2018-11-26 | 2022-03-22 | International Business Machines Corporation | Non-visual environment mapping |
| CN109711286B (zh) * | 2018-12-11 | 2022-11-11 | 中国科学院深圳先进技术研究院 | 一种基于人工视网膜空间感知的控制方法及装置 |
| US10786729B1 (en) * | 2019-03-08 | 2020-09-29 | Sony Interactive Entertainment Inc. | Thermopile array fusion tracking |
| WO2020185219A1 (en) * | 2019-03-13 | 2020-09-17 | Hewlett-Packard Development Company, L.P. | Detecting eye tracking calibration errors |
| US10928647B2 (en) * | 2019-04-01 | 2021-02-23 | Heidi Kershaw | Therapeutic training device for autism |
| US10832733B1 (en) | 2019-05-15 | 2020-11-10 | International Business Machines Corporation | Verbal command video editing |
| US10812771B1 (en) * | 2019-06-12 | 2020-10-20 | At&T Intellectual Property I, L.P. | Methods, systems, and devices for adjusting image content for streaming panoramic video content |
| US12042240B2 (en) * | 2019-07-16 | 2024-07-23 | Asensus Surgical Us, Inc. | Augmented reality using eye tracking in a robot assisted surgical system |
| JP7375373B2 (ja) * | 2019-08-28 | 2023-11-08 | セイコーエプソン株式会社 | 光学装置及び装着型表示装置 |
| US11297224B2 (en) * | 2019-09-30 | 2022-04-05 | Snap Inc. | Automated eyewear device sharing system |
| KR20220116238A (ko) * | 2019-12-18 | 2022-08-22 | 콜러스, 인코포레이티드 | 디스플레이의 응시-기반 조명을 위한 시스템 및 방법 |
| CN111158492B (zh) * | 2019-12-31 | 2021-08-06 | 维沃移动通信有限公司 | 视频剪辑方法及头戴式设备 |
| CN113079311B (zh) * | 2020-01-06 | 2023-06-27 | 北京小米移动软件有限公司 | 图像获取方法及装置、电子设备、存储介质 |
| MX2022009714A (es) | 2020-02-06 | 2022-11-30 | Austin Star Detonator Co | Sensores de detonador integrados. |
| US11176751B2 (en) * | 2020-03-17 | 2021-11-16 | Snap Inc. | Geospatial image surfacing and selection |
| RU2744548C1 (ru) * | 2020-04-29 | 2021-03-11 | федеральное государственное бюджетное образовательное учреждение высшего образования "Алтайский государственный университет" | Устройство определения зрачковых реакций на визуальный стимул |
| CN111552076B (zh) * | 2020-05-13 | 2022-05-06 | 歌尔科技有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
| US20230336826A1 (en) * | 2020-05-22 | 2023-10-19 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for controlling video playing, electronic device and storage medium |
| WO2021243313A1 (en) | 2020-05-29 | 2021-12-02 | Medtronic, Inc. | Extended reality (xr) applications for cardiac blood flow procedures |
| WO2022055588A1 (en) | 2020-09-08 | 2022-03-17 | Medtronic, Inc. | Imaging discovery utility for augmenting clinical image management |
| WO2022066476A1 (en) * | 2020-09-23 | 2022-03-31 | Sterling Labs Llc | Detecting unexpected user interface behavior using physiological data |
| WO2022075983A1 (en) * | 2020-10-07 | 2022-04-14 | Hewlett-Packard Development Company, L.P. | Operation of a configurable end-point device based on accessibility settings |
| US11908208B2 (en) * | 2020-10-20 | 2024-02-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Interface sharpness distraction mitigation method and system |
| EP4260492A4 (en) * | 2020-12-14 | 2024-01-10 | Funai Electric Co., Ltd. | REAL-TIME MULTIPLE USER MERSION |
| US20220344057A1 (en) * | 2021-04-27 | 2022-10-27 | Oura Health Oy | Method and system for supplemental sleep detection |
| CN113509141A (zh) * | 2021-06-29 | 2021-10-19 | 昆明依利科特科技有限公司 | 一种眼镜式涉毒行为瞳孔检测仪及检测方法 |
| US20230119935A1 (en) * | 2021-10-18 | 2023-04-20 | Meta Platforms Technologies, Llc | Gaze-guided image capture |
| US11592899B1 (en) | 2021-10-28 | 2023-02-28 | Tectus Corporation | Button activation within an eye-controlled user interface |
| WO2023081297A1 (en) * | 2021-11-05 | 2023-05-11 | Zinn Labs, Inc. | Eye tracking system for determining user activity |
| US11619994B1 (en) | 2022-01-14 | 2023-04-04 | Tectus Corporation | Control of an electronic contact lens using pitch-based eye gestures |
| US12118138B2 (en) | 2022-02-14 | 2024-10-15 | Tectus Corporation | Vergence authentication |
| US11874961B2 (en) | 2022-05-09 | 2024-01-16 | Tectus Corporation | Managing display of an icon in an eye tracking augmented reality device |
| WO2023244247A1 (en) * | 2022-06-17 | 2023-12-21 | Hewlett-Packard Development Company, L.P. | Image portion combination signals |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180298A (ja) * | 2002-11-25 | 2004-06-24 | Eastman Kodak Co | アイモニタリング機能を備えるカメラシステム |
| KR20070027541A (ko) * | 2004-04-01 | 2007-03-09 | 윌리엄 씨. 토치 | 눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및컨트롤러 및 그들의 사용 방법 |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE39539E1 (en) * | 1996-08-19 | 2007-04-03 | Torch William C | System and method for monitoring eye movement |
| US6542081B2 (en) * | 1996-08-19 | 2003-04-01 | William C. Torch | System and method for monitoring eye movement |
| EP2204118B1 (en) * | 2002-10-15 | 2014-07-23 | Volvo Technology Corporation | Method for interpreting a drivers head and eye activity |
| US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| JP2005252734A (ja) | 2004-03-04 | 2005-09-15 | Olympus Corp | 頭部装着型カメラ |
| US9269322B2 (en) * | 2006-01-09 | 2016-02-23 | Ignis Innovation Inc. | Method and system for driving an active matrix display circuit |
| US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
| CN102057418B (zh) * | 2008-04-18 | 2014-11-12 | 伊格尼斯创新公司 | 用于发光器件显示器的系统和驱动方法 |
| JP5318503B2 (ja) * | 2008-09-02 | 2013-10-16 | ヤフー株式会社 | 画像検索装置 |
| US20100128118A1 (en) * | 2008-11-26 | 2010-05-27 | Locarna Systems, Inc. | Identification of visual fixations in a video stream |
| EP2389095B1 (en) * | 2009-01-26 | 2014-10-01 | Tobii Technology AB | Detection of gaze point assisted by optical reference signals |
| EP2237237B1 (en) * | 2009-03-30 | 2013-03-20 | Tobii Technology AB | Eye closure detection using structured illumination |
| US20110044512A1 (en) * | 2009-03-31 | 2011-02-24 | Myspace Inc. | Automatic Image Tagging |
| JP5613025B2 (ja) * | 2009-11-18 | 2014-10-22 | パナソニック株式会社 | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
| US9373123B2 (en) * | 2009-12-30 | 2016-06-21 | Iheartmedia Management Services, Inc. | Wearable advertising ratings methods and systems |
| WO2011115783A1 (en) | 2010-03-15 | 2011-09-22 | Oregon Health & Science University | Methods for assessing the risk of cardiovascular disease |
| WO2012021967A1 (en) * | 2010-08-16 | 2012-02-23 | Tandemlaunch Technologies Inc. | System and method for analyzing three-dimensional (3d) media content |
| US9690099B2 (en) * | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
| EP2499963A1 (en) * | 2011-03-18 | 2012-09-19 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Method and apparatus for gaze point mapping |
| US8510166B2 (en) * | 2011-05-11 | 2013-08-13 | Google Inc. | Gaze tracking system |
| US20130021374A1 (en) * | 2011-07-20 | 2013-01-24 | Google Inc. | Manipulating And Displaying An Image On A Wearable Computing System |
| US9342610B2 (en) | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
| US9128520B2 (en) * | 2011-09-30 | 2015-09-08 | Microsoft Technology Licensing, Llc | Service provision using personal audio/visual system |
| EP2774353A4 (en) * | 2011-11-03 | 2015-11-18 | Intel Corp | PICTURES BASED ON EYE PERSONALIZATION |
| US20130238747A1 (en) * | 2012-03-06 | 2013-09-12 | Apple Inc. | Image beaming for a media editing application |
| US9096920B1 (en) * | 2012-03-22 | 2015-08-04 | Google Inc. | User interface method |
| US9201512B1 (en) * | 2012-04-02 | 2015-12-01 | Google Inc. | Proximity sensing for input detection |
| US20140328570A1 (en) * | 2013-01-09 | 2014-11-06 | Sri International | Identifying, describing, and sharing salient events in images and videos |
| US20130328925A1 (en) * | 2012-06-12 | 2013-12-12 | Stephen G. Latta | Object focus in a mixed reality environment |
| US20140176591A1 (en) * | 2012-12-26 | 2014-06-26 | Georg Klein | Low-latency fusing of color image data |
| WO2014138925A1 (en) * | 2013-03-15 | 2014-09-18 | Interaxon Inc. | Wearable computing apparatus and method |
| US9213403B1 (en) * | 2013-03-27 | 2015-12-15 | Google Inc. | Methods to pan, zoom, crop, and proportionally move on a head mountable display |
| US20140354533A1 (en) * | 2013-06-03 | 2014-12-04 | Shivkumar Swaminathan | Tagging using eye gaze detection |
| US10089786B2 (en) * | 2013-08-19 | 2018-10-02 | Qualcomm Incorporated | Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking |
| US10114532B2 (en) * | 2013-12-06 | 2018-10-30 | Google Llc | Editing options for image regions |
| WO2015103444A1 (en) * | 2013-12-31 | 2015-07-09 | Eyefluence, Inc. | Systems and methods for gaze-based media selection and editing |
| WO2016018488A2 (en) * | 2014-05-09 | 2016-02-04 | Eyefluence, Inc. | Systems and methods for discerning eye signals and continuous biometric identification |
-
2014
- 2014-12-31 WO PCT/US2014/073094 patent/WO2015103444A1/en active Application Filing
- 2014-12-31 CN CN201480075406.4A patent/CN106030458B/zh active Active
- 2014-12-31 KR KR1020167020195A patent/KR102182605B1/ko active IP Right Grant
- 2014-12-31 JP JP2016544612A patent/JP6929644B2/ja active Active
- 2014-12-31 US US14/588,371 patent/US9870060B2/en active Active
- 2014-12-31 EP EP14876031.7A patent/EP3090322A4/en not_active Ceased
- 2014-12-31 KR KR1020207033096A patent/KR102246310B1/ko active IP Right Grant
-
2017
- 2017-12-08 US US15/835,891 patent/US20180173319A1/en not_active Abandoned
-
2018
- 2018-07-06 US US16/028,505 patent/US10915180B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180298A (ja) * | 2002-11-25 | 2004-06-24 | Eastman Kodak Co | アイモニタリング機能を備えるカメラシステム |
| KR20070027541A (ko) * | 2004-04-01 | 2007-03-09 | 윌리엄 씨. 토치 | 눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및컨트롤러 및 그들의 사용 방법 |
| JP2007531579A (ja) * | 2004-04-01 | 2007-11-08 | ウィリアム・シー・トーチ | 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200082176A1 (en) * | 2018-09-12 | 2020-03-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for extending detachable automobile sensor capabilities for identification of selected object types |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150220157A1 (en) | 2015-08-06 |
| WO2015103444A1 (en) | 2015-07-09 |
| JP2017507400A (ja) | 2017-03-16 |
| US20180173319A1 (en) | 2018-06-21 |
| US20200387226A9 (en) | 2020-12-10 |
| EP3090322A1 (en) | 2016-11-09 |
| US10915180B2 (en) | 2021-02-09 |
| CN106030458A (zh) | 2016-10-12 |
| US9870060B2 (en) | 2018-01-16 |
| US20190179418A1 (en) | 2019-06-13 |
| EP3090322A4 (en) | 2017-07-19 |
| JP6929644B2 (ja) | 2021-09-01 |
| KR20200133392A (ko) | 2020-11-27 |
| KR102182605B1 (ko) | 2020-11-24 |
| CN106030458B (zh) | 2020-05-08 |
| KR102246310B1 (ko) | 2021-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10915180B2 (en) | Systems and methods for monitoring a user's eye | |
| EP3392739B1 (en) | Eye-brain interface (ebi) system and method for controlling same | |
| US10831268B1 (en) | Systems and methods for using eye tracking to improve user interactions with objects in artificial reality | |
| US20170115742A1 (en) | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command | |
| US9807291B1 (en) | Augmented video processing | |
| JPWO2018016464A1 (ja) | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム | |
| US20120113209A1 (en) | Non-Interference Field-of-view Support Apparatus for a Panoramic Facial Sensor | |
| CN112181152A (zh) | 基于mr眼镜的广告推送管理方法、设备及应用 | |
| US12093457B2 (en) | Creation of optimal working, learning, and resting environments on electronic devices | |
| JP2013258555A (ja) | ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法 | |
| EP4161387B1 (en) | Sound-based attentive state assessment | |
| US20240164677A1 (en) | Attention detection | |
| US20240115831A1 (en) | Enhanced meditation experience based on bio-feedback | |
| US20230259203A1 (en) | Eye-gaze based biofeedback | |
| US20240296002A1 (en) | Head-Mounted Device With Publicly Viewable Display | |
| US20230351676A1 (en) | Transitioning content in views of three-dimensional environments using alternative positional constraints | |
| US20240212272A1 (en) | Interactions based on mirror detection and context awareness | |
| US20240319789A1 (en) | User interactions and eye tracking with text embedded elements | |
| WO2024006107A1 (en) | Gaze behavior detection | |
| WO2024058986A1 (en) | User feedback based on retention prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |