KR20210058964A - 전자 시각 보조기들에서의 향상된 자율적 핸즈-프리 제어 - Google Patents
전자 시각 보조기들에서의 향상된 자율적 핸즈-프리 제어 Download PDFInfo
- Publication number
- KR20210058964A KR20210058964A KR1020217012102A KR20217012102A KR20210058964A KR 20210058964 A KR20210058964 A KR 20210058964A KR 1020217012102 A KR1020217012102 A KR 1020217012102A KR 20217012102 A KR20217012102 A KR 20217012102A KR 20210058964 A KR20210058964 A KR 20210058964A
- Authority
- KR
- South Korea
- Prior art keywords
- visual
- user
- real
- motion
- interest
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims description 247
- 238000000034 method Methods 0.000 claims abstract description 195
- 230000004438 eyesight Effects 0.000 claims abstract description 74
- 230000033001 locomotion Effects 0.000 claims description 228
- 238000004458 analytical method Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 47
- 230000008859 change Effects 0.000 claims description 30
- 208000010415 Low Vision Diseases 0.000 claims description 27
- 230000004303 low vision Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 24
- 230000006399 behavior Effects 0.000 claims description 22
- 230000009471 action Effects 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 13
- 230000001965 increasing effect Effects 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 6
- 230000004424 eye movement Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 abstract description 5
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 230000015654 memory Effects 0.000 description 46
- 230000008569 process Effects 0.000 description 24
- 210000003128 head Anatomy 0.000 description 22
- 238000004891 communication Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 20
- 238000001514 detection method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 17
- 238000010191 image analysis Methods 0.000 description 16
- 238000005259 measurement Methods 0.000 description 16
- 230000008901 benefit Effects 0.000 description 15
- 239000011521 glass Substances 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 206010064930 age-related macular degeneration Diseases 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 230000001413 cellular effect Effects 0.000 description 6
- 208000002780 macular degeneration Diseases 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 210000000887 face Anatomy 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000004393 visual impairment Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000005043 peripheral vision Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 239000010409 thin film Substances 0.000 description 3
- 208000029257 vision disease Diseases 0.000 description 3
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 2
- 208000017442 Retinal disease Diseases 0.000 description 2
- 230000002567 autonomic effect Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004270 retinal projection Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 208000015592 Involuntary movements Diseases 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 206010061296 Motor dysfunction Diseases 0.000 description 1
- 241000935974 Paralichthys dentatus Species 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 244000141353 Prunus domestica Species 0.000 description 1
- 201000007737 Retinal degeneration Diseases 0.000 description 1
- 208000003028 Stuttering Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004377 improving vision Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 208000019899 phobic disease Diseases 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009023 proprioceptive sensation Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Ophthalmology & Optometry (AREA)
- Vascular Medicine (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
사용자 선호도들 및 환경 조건들에 따라 튜닝 가능한 인공 지능과 통합된 자율 핸즈프리 제어를 포함하는, 웨어러블, 핸드헬드 또는 고정 마운트일 수 있는 전자 시각 보조기를 위한 적응형 제어 시스템들 및 방법들이 제공된다.
Description
관련 출원들의 상호 참조
[0001]
본 특허 출원은, "Novel Enhanced Autonomous Hands-free Control in Electronic Visual Aids"라는 명칭으로 2018년 9월 24일자로 출원된 미국 특허 가출원 제62/735,643호를 우선권으로 주장하며, 이는 그 전체가 인용에 의해 본원에 포함된다.
[0002]
본 출원은 2017년 11월 17일자로 출원된 PCT 특허 출원 번호 PCT/US2017/062421호, 2017년 11월 17일자로 출원된 미국 시리즈 번호 제15/817,117호, 2018년 3월 12일자로 출원된 미국 시리즈 번호 제15/918,884호, 2018년 7월 9일자로 출원된 미국 시리즈 번호 제16/030,788호, 2018년 10월 31일자로 출원된 미국 시리즈 번호 제16,177,333호, 2019년 3월 6일자로 출원된 미국 시리즈 번호 16/294,601호, 및 2019년 5월 29일자로 출원된 PCT 특허 출원 번호 PCT/US2019/034443호와 관련되며, 이 출원들의 내용들은 그 전체가 인용에 의해 본원에 포함된다.
[0003]
본 명세서에서 언급된 모든 공보들 및 특허 출원들은, 각각의 개별 공보 또는 특허 출원이 인용에 의해 포함되는 것으로 구체적으로 그리고 개별적으로 표시된 것과 동일한 정도로, 그 전체가 인용에 의해 본원에 포함된다.
[0004]
시각 보조기들은 수백 년 동안 사용되어 왔으며, 과거와 같이 일반적으로 안경과 같은 광학 기반 솔루션들이다. 프로그래밍 가능한 머리 장착 전자 기반 시각 보조기들을 이용한 개념화 및 초기 실험은 NASA가 자금을 지원한 연구로 1980년대 후반에 시작되었다. 설명된 기본 기능은 착용자의 눈에 제시되는 이미지를 조작하기 위해 픽셀들의 리맵핑을 포함했다. 동시에, 개인용 컴퓨터 및 모바일 기술은 저시력 애플리케이션들을 포함하는 다양한 다른 작업들에 대해 널리 프로그래밍 가능하고 대세가 되고 있었다.
[0005]
전자 시각 보조기들의 현재 하드웨어 구현들은, 많은 형태들, 이를테면, e-리더들, 저시력 접근성 피처들을 갖는 컴퓨터 플러그-인들, 모바일 디바이스들, 이를테면 셀룰러 스마트폰들, 전용 전자 돋보기들, 가상 현실(VR) 헤드셋들, 및 증강 현실(AR) 안경들을 포함한다. 이들 플랫폼들은 게이밍, 텔레프레전스, 및 매우 다양한 기업 애플리케이션들과 같은 다수의 애플리케이션들에 사용하도록 설계되고 의도된다.
[0006]
본원에서 설명되는 예들은, 일반적으로, 다양한 시각 장애들(예컨대, 연령-관련 황반 변성 -AMD- 및 다른 시야 결손들)로 고생하는 저시력 사용자들에 대한 부가적인 특정 이익들과 함께 일반적으로, 개인용 컴퓨터 및 모바일 기술, 전자 e-리더들, 및 웨어러블 전자 증강 현실(AR) 및 가상 현실(VR) 안경들을 포함하는 광범위한 전자 시각 보조기들에 대한 개선된 하드웨어 및 통합 소프트웨어 및 알고리즘들에 관한 것이다. 본 명세서에서 설명되는 전자 시각 보조기들은 기존 시각 보조기들의 유용성 및 다목적성을 궁극적으로 감소시키는 부르트-포스(brute-force) 방법들에 의해 이전에 해결되었던 문제를 해결한다. 본원에서 설명된 업데이트된 접근법들은 표준 설계의 주요 이점들을 희생시키지 않으면서 저시력 사용자들의 경험을 추가로 향상시킨다. 이는 사용 습관들 및 환경 패턴들을 고려한 자율 제어 특징들을 포함한다. 특정 애플리케이션들에서, 정상 시력의 사용자들은 또한 이러한 변화들로부터 이익을 얻을 것이다.
[0007]
본원에서 설명되는 실시예들은, 웨어러블, 핸드-헬드, 또는 장착된 개인용 전자 시각 보조기에 대한 제어들의 자동 설정 및 조정에 관한 것으로, 이는 다양한 시각 장애들(예컨대, 연령-관련 황반 변성 -AMD- 및 다른 시야 장애들)을 겪는 사용자들이 그들의 주변을 인식하고 해석하는 능력을 향상시켜 줌으로써 사용자들을 보조할 수 있다. 이는 또한, 정상 시력의 사용자들이 보기 어려운 객체들을 찾아내고 보는 것을 도울 수 있다. 그러한 디바이스들은 환경 이미지들의 연속적인 스트림을 캡처하기 위한 하나 이상의 카메라들(즉, 이미지 센서들 및 지원 광학기들), 사용자의 요구들에 적합한 방식들로 이미지들을 결합, 조정, 증강 또는 향상시키기 위한 어떤 형태의 저-레이턴시 프로세싱, 및 실시간 뷰잉을 위해 수정된 이미지들을 제시하기 위한 하나 이상의 디스플레이들을 통함한다.
[0008]
효과적인 시각 보조기는 사용자의 시각 능력 또는 질병 상태(만약 존재하다면)뿐만 아니라 사용자의 개인 선호도들, 현재 환경, 및 원하는 관심 포커스를 고려하는 정교한 이미지 프로세싱 동작들을 수행해야 한다. 질병 상태 및 선호도들의 세부 사항들이 저장된 디바이스 설정들로서 효과적으로 캡처될 수 있지만, 초기 사용자-의존적 기술 구성 파라미터들의 수동 최적화는 일반적으로 훈련되지 않은 사람들의 능력들을 넘어서는 힘든 프로세스이며; 시각 장애가 있거나 기술 공포증이 있는 사람들의 경우, 그것은 도움 없이는 완전히 실현 불가능하다. 유사하게, 일시적인 상황들에 대한 상세한 제어들의 시기 적절한 조작은 또한, 특히 손재주가 감소된 노년층 사용자들에게 난제일 수 있다. 심지어 신체 건강한 사용자들조차도, 뷰잉 태스크에 집중하는 대신에, 조정을 위한 제어들을 위해 더듬거리는 고민을 피하는 것을 선호할 것이다.
[0009]
이러한 우려들을 해결하기 위한 하나의 방법은 시각 보조기에 어느 정도의 자율성을 통합하여, 시각 보조기가 사용자의 즉각적인 요구들 또는 의도들을 추론하고 사용자를 대신하여 선제적으로 작동할 수 있게 하는 것이다. 이상적으로, 결정들은 유사한 상황들 하에서 이미지 콘텐츠들, 보조 센서 데이터 및 이력 사용자 액션들의 분석을 통한 상황의 평가에 근거를 둘 것이다.
[0010]
신뢰할 수 있는 자율성 및 핸즈-프리 동작을 갖는 시각 보조 시스템들 및 방법들이 본원에서 제공된다. 본원에서 설명된 시스템들 및 방법들은 더 작은 기본 구조들(예컨대, 개별 글자들 또는 히스토그램들을 포함하는 단어들, 라인들 또는 단락들, 글리프형 형상들의 행들, 또는 픽토그램들의 열들)의 조직적이거나 계층적 패턴들을 포함하는 입력 이미지 내의 영역들을 식별하고, 의미있는 콘텐츠가 더 쉽게 식별되거나 인식되도록 뷰잉 디바이스를 조정하도록(또는 그러한 조정을 가능하게 하도록) 구성된다. 본원에서 설명되는 시스템들 및 방법들은 제공된 확대 정도에 대한 제어를 행할 뿐만 아니라, 시야의 크기 및 성질을 조작한다. 이는 또한, 자율적으로 선택된 특징들에 대한 통지를 능동적으로 끌어냄으로써 관심 포커스에 영향을 미칠 수 있다. 이러한 프로세스들은 머리 및/또는 눈 움직임의 측정들로부터 추론되는 착용자의 목표들 및 의도들에 관한 부가적인 비-비디오 정보에 의해 안내된다. 후속적으로, 뷰에 대한 조정들은 변화들이 산만하거나 혼란스러워지기보다는 도움이 될 때로 제한될 수 있다.
[0011]
본원에 제시된 시스템들 및 방법들은 제한된 배터리 용량 및 엄격하게 제약된 컴퓨팅 자원들을 소유하는 독립형 휴대용 디바이스들 상에서의 연속적인 실시간 동작에 적합하다. 가장 경제적인 구현들은 엄격하게 사용자-독립적이지만, 더 복잡한 인식들 또는 특정 사용자들에 맞춰진 더 높은 품질의 결정들을 위한 기계 학습 기술들을 통합함으로써, 더 유능한 플랫폼들로 설계가 쉽게 확장된다.
[0012]
또한, 디스플레이된 이미지들의 콘트라스트를 자율적으로 향상시키거나 조정하는 상보적인 시스템들 및 방법들이 제시된다. 이 기법은 개별적으로 구현될 때 경제적인 실시간 구현에 대해 낮은 복잡성의 동일한 이점들을 공유하고, 배율 및/또는 시야 특성들을 제어하는 자율 시스템에 커플링될 때 공유된 컴포넌트들로부터 추가로 이익을 얻는다.
[0013]
휴대되거나, 고정되거나, 또는 사용자의 머리에 착용되도록 구성된 프레임, 프레임 상에 또는 프레임 내에 배치되고 비디오 이미지들을 디스플레이하도록 구성된 적어도 하나의 디스플레이, 프레임 상에 또는 프레임 내에 배치되고 적어도 하나의 디스플레이 상에 디스플레이되는 향상된 비디오 스트림을 생성하기 위해 비디오를 프로세싱하도록 구성된 프로세서를 포함하는 전자 시각 보조 디바이스가 제공된다. 일부 실시예들에서, 전자 시각 보조 디바이스는 프레임 상에 또는 프레임 내에 배치되고 프로세싱되지 않은 실시간 비디오 이미지들을 생성하도록 구성된 카메라를 포함할 수 있다. 이 예에서, 적어도 하나의 디스플레이는 실시간 비디오 이미지들을 디스플레이하도록 구성될 수 있고, 프로세서는 실시간 비디오 이미지들로부터 향상된 비디오 스트림을 생성하도록 구성될 수 있다.
[0014]
일 예에서, 디바이스는 프로세싱되지 않은 실시간 비디오 이미지들에 적용할 향상의 양 및/또는 타입에 관한 입력을 사용자로부터 수신하도록 구성된 입력 디바이스를 더 포함한다. 일부 예들에서, 입력 디바이스는 물리적 메커니즘을 포함한다. 다른 예들에서, 입력 디바이스는 사용자로부터 음성 커맨드들을 수신하도록 구성된 하우징 상에 또는 하우징 내에 배치된 마이크로폰을 포함한다.
[0015]
일부 예들에서, 디바이스는 디바이스 및 사용자의 모션을 캡처하기 위한 하나 이상의 관성 측정 유닛들을 포함한다. 이러한 센서들은 개선된 자율 제어를 위해 사용 패턴들을 설정, 개발 및 개선하기 위해 모션을 감지 및 수집하는 데 추가로 사용된다.
[0016]
카메라로 프로세싱되지 않은 실시간 비디오 이미지들을 생성 및/또는 수신하는 단계, 향상된 비디오 스트림을 생성하기 위해 프로세싱되지 않은 실시간 비디오 이미지들을 프로세싱하는 단계, 및 사용자의 제1 눈에 들어가도록 디스플레이 상에 향상된 비디오 스트림을 디스플레이하는 단계를 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법이 또한 제공된다.
[0017]
다른 예들에서, 방법은, 프로세싱되지 않은 실시간 비디오 이미지들과 비교할 때 비디오 스트림이 향상되도록 프로세싱되지 않은 실시간 비디오 이미지들을 프로세싱하는 단계를 더 포함한다. 일 예에서, 개선된 비디오 스트림은 프로세싱되지 않은 실시간 비디오 이미지들과 비교할 때 적어도 부분적으로 확대된다. 다른 예에서, 향상된 비디오 스트림은 비디오 스트림의 중앙 부분에서 확대된다. 일 예에서, 중앙 부분 외부의 비디오 스트림의 부분은 중앙 부분보다 덜 확대되지만 프로세싱되지 않은 실시간 비디오 이미지들보다 더 많이 확대된다.
[0018]
시각 보조 디바이스로 장면의 실시간 이미지들을 획득하는 단계, 시각 보조 디바이스의 모션 컴포넌트를 평가하는 단계, 모션 컴포넌트에 기초하여 시각 보조 디바이스의 모션 상태를 결정하는 단계, 모션 상태가, 시각 보조 디바이스의 사용자가 애니메이팅된 움직임 상태에 관여한다고 나타내면, 실시간 이미지들에 적용되는 부가적인 향상들 또는 조정들 없이 시각 보조 디바이스의 디스플레이 상에 제1 비디오 이미지들을 제시하는 단계, 모션 상태가, 시각 보조 디바이스의 사용자가 포커싱된 관심 상태에 관여한다고 나타내면, 시각 보조 디바이스의 사용자의 관심 포커스에 대응하는 실시간 이미지들의 서브세트를 식별하는 단계, 실시간 이미지들의 서브세트로부터 흥미있는 구조들을 로케이팅하는 단계, 적어도 흥미있는 구조들에 시각적 향상들을 적용하는 단계, 및 시각 보조 디바이스의 디스플레이 상에 시각적으로 향상된 흥미있는 구조들을 포함하는 제2 비디오 이미지들을 제시하는 단계를 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법이 제공된다.
[0019]
일부 실시예들에서, 모션 컴포넌트는 시각 보조 디바이스의 각속도를 포함함다. 다른 예에서, 모션 컴포넌트는 시각 보조 디바이스의 요(yaw) 축 및 피치(pitch) 축 상의 각속도를 포함한다. 부가적으로, 모션 컴포넌트는 시각 보조 디바이스의 병진 모션을 포함할 수 있다.
[0020]
일 실시예에서, 애니메이팅된 움직임 상태는, 시각 보조 디바이스의 사용자가 애니메이팅된 움직임에 관여하고, 따라서 사용자의 시야 내의 어떤 것에 포커싱하기 위한 의도적인 집중 또는 시도에 관여하지 하지 않는다고 나타낸다.
[0021]
다른 실시예에서, 포커싱된 관심 상태는, 시각 보조 디바이스의 사용자가 시야 내의 어떤 것에 의도적으로 집중하고 있다고 나타낸다.
[0022]
일부 실시예들에서, 높은 각속도는 사용자의 관심 포커스의 갑작스러운 변화를 나타낸다. 다른 실시예들에서, 시각 보조 디바이스의 작은 각속도들은, 모션 상태가 포커싱된 관심 상태를 포함한다고 결정하는 데 사용된다. 일부 실시예들에서, 시각 보조 디바이스의 중간 각속도들은, 모션 상태가 포커싱된 관심 상태를 포함한다고 결정하는 데 사용된다. 또한, 판독, 스캐닝, 또는 검색 거동과 연관된 각속도들이, 모션 상태가 포커싱된 관심 상태를 포함한다고 결정하는 데 사용된다.
[0023]
일부 실시예들에서, 제1 비디오 이미지들은 최소의 프로세싱 및/또는 배율을 갖는 명목상의 비강화 뷰를 포함한다.
[0024]
일 실시예에서, 흥미있는 구조들은 텍스트형 구조들을 포함한다. 부가적으로, 흥미있는 구조들은 얼굴 피처들을 포함할 수 있다. 추가의 실시예들에서, 흥미있는 구조들은 문자들, 숫자들, 픽토그램들, 글리프들 및 아이콘들로 구성된 그룹으로부터 선택된다.
[0025]
일부 실시예들에서, 시각적 향상들은 적어도 흥미있는 구조들의 배율을 조정하는 것을 포함한다. 다른 예들에서, 시각적 향상들은 적어도 흥미있는 구조들의 콘트라스트 컴포넌트를 조정하는 것을 포함한다.
[0026]
일 실시예에서, 시각 보조 디바이스의 모션 상태를 결정하는 단계는, 시각 보조 디바이스의 사용자의 단기 움직임을 카테고리화하기 위해, 실시간 이미지들의 몇몇 최근 프레임들과 연관된 모션 컴포넌트를 평가하는 단계, 및 시각 보조 디바이스의 사용자의 특정 액션 상태를 식별하기 위해, 실시간 이미지들의 몇몇 최근 프레임들보다 더 많은 프레임들의 모션 컴포넌트를 평가하는 단계를 포함한다.
[0027]
일부 실시예들에서, 방법은, 특정 액션 상태를 식별하기 위해 머신 러닝 알고리즘을 적용하는 단계를 더 포함한다.
[0028]
저시력 사용자에게 향상된 비전을 제공하는 방법이 또한 제공되며, 이 방법은, 시각 보조 디바이스로 실시간 비디오 이미지들을 수신하는 단계, 시각 보조 디바이스로, 저시력 사용자의 관심 포커스에 대응하는 실시간 비디오 이미지들 각각의 서브세트를 식별하는 단계, 시각 보조 디바이스로, 실시간 비디오 이미지들 각각의 서브세트 내의 흥미있는 구조들을 추출하는 단계, 시각 보조 디바이스로, 행 또는 열로 구조화된 흥미있는 구조들의 적어도 하나의 그룹을 식별하는 단계, 시각 보조 디바이스로, 흥미있는 구조들의 적어도 하나의 그룹의 디멘션을 결정하는 단계, 시각 보조 디바이스로, 선호되는 구조 디멘션과 매칭하도록 흥미있는 구조들의 적어도 하나의 그룹의 배율을 조정하는 단계, 시각 보조 디바이스로, 조정된 배율로 실시간 이미지들 및 흥미있는 구조들의 적어도 하나의 그룹을 포함하는 향상된 비디오 스트림을 형성하는 단계, 및 시각 보조 디바이스의 디스플레이 상에 향상된 비디오 스트림을 디스플레이하는 단계를 포함한다.
[0029]
일부 실시예들에서, 서브세트는 실시간 비디오 이미지들 각각 내의 픽셀들의 고정된 영역을 포함한다. 다른 실시예에서, 픽셀들의 고정 영역은 실시간 비디오 이미지들 각각의 중앙 부분에 있다.
[0030]
일 실시예에서, 흥미있는 구조들은 텍스트형 구조들을 포함한다. 부가적으로, 흥미있는 구조들은 얼굴 피처들을 포함할 수 있다. 추가의 실시예들에서, 흥미있는 구조들은 문자들, 숫자들, 픽토그램들, 글리프들 및 아이콘들로 구성된 그룹으로부터 선택된다.
[0031]
일 실시예에서, 시각 보조 디바이스는 시각 보조 디바이스의 사용자의 거동 트렌드들에 기반하여 실시간 비디오 이미지들 각각의 서브세트를 자동으로 식별한다. 일부 예들에서, 사용자의 거동 트렌드들은 입력 제어 시퀀스들의 사용자 이력 및 이들 입력 제어 시퀀스들의 타이밍을 포함한다. 일부 실시예들에서, 시각 보조 디바이스는 이전에 프로세싱된 비디오 이미지들의 콘텐츠들에 기반하여 실시간 비디오 이미지들 각각의 서브세트를 자동으로 식별한다.
[0032]
일 실시예에서, 방법은, 시각 보조 디바이스로 저시력 사용자의 시선을 추적하는 단계를 더 포함하고, 시각 보조 디바이스는 저시력 사용자의 시선에 기반하여 실시간 비디오 이미지들 각각의 서브세트를 자동으로 식별한다.
[0033]
일부 실시예들에서, 잡음을 감소시키거나 다른 원치 않는 간섭 패턴들을 수용하기 위해 실시간 비디오 이미지들의 서브세트를 전처리하는 단계를 더 포함한다. 일 예에서, 전처리하는 단계는 실시간 비디오 이미지들의 서브세트의 콘트라스트 컴포넌트를 향상시키는 단계를 포함한다. 다른 예에서, 전처리하는 단계는 실시간 비디오 이미지들의 서브세트의 선명도 컴포넌트를 증가시키는 단계를 포함한다. 또 다른 예에서, 전처리하는 단계는 실시간 비디오 이미지들의 서브세트의 상세(detail) 컴포넌트를 증가시키는 단계를 포함한다.
[0034]
일부 실시예들에서, 추출하는 단계는 실시간 비디오 이미지들의 서브세트로부터 최대로 안정적인 극치 영역들을 추출하는 단계를 더 포함한다.
[0035]
일 실시예에서, 방법은, 시각 보조 디바이스로 추출된 흥미있는 구조들을 조사하는 단계, 및 미리 선택된 경계들 밖에 있는 파라미터들을 포함하는 관심 구조들을 폐기하는 단계를 더 포함한다. 일부 실시예들에서, 미리 선택된 경계들은 길이 임계치 파라미터, 폭 임계치 파라미터, 픽셀-카운트 임계치 파라미터, 또는 종횡비 임계치 파라미터를 포함할 수 있다.
[0036]
일부 실시예들에서, 방법은, 저시력 사용자의 관심 포커스의 경계와 교차하는 흥미있는 구조들을 폐기하는 단계를 더 포함한다. 다른 실시예에서, 방법은, 저시력 사용자의 관심 포커스의 최상부 또는 최하부 경계와 교차하는 흥미있는 구조들을 폐기하는 단계를 포함한다.
[0037]
일 실시예에서, 행 또는 열로 구조화된 흥미있는 구조들의 적어도 하나의 그룹을 식별하는 단계는, 흥미있는 구조들에 대한 수직 중심들의 확률 밀도 함수를 모델링하는 단계 ― 확률 밀도 함수는 하나 이상의 pdf 피크들을 포함함 ―, 확률 밀도 함수들의 pdf 피크들로부터 최대 피크를 식별하는 단계, 및 통계적으로 최대 피크와 연관될 가능성이 있는 관심 구조들만을 유지하는 단계를 더 포함한다. 최대 피크와 통계적으로 연관될 가능성이 있는 흥미있는 구조들은 크기가 일정한 흥미있는 구조들을 포함할 수 있다.
[0038]
일 실시예에서, 방법은, 시각 보조 디바이스로, 흥미있는 구조들의 적어도 하나의 그룹이 행 또는 열로 구조화된다는 통계적 신뢰도를 결정하는 단계를 더 포함한다.
[0039]
일부 예들에서, 흥미있는 구조들의 적어도 하나의 그룹의 배율을 조정하는 단계는, 통계적 신뢰도가 신뢰도 임계치를 초과할 때 선호되는 구조 크기와 매칭하도록 흥미있는 구조들의 적어도 하나의 그룹의 배율을 조정하는 단계를 더 포함한다.
[0040]
다른 실시예에서, 수신하는 단계는, 시각 보조 디바이스의 카메라로 실시간 비디오 이미지들을 획득하는 단계, 및 시각 보조 디바이스로 카메라로부터 실시간 비디오 이미지들을 수신하는 단계를 더 포함한다.
[0041]
일부 예들에서, 방법은, 시각 보조 디바이스가 실시간 비디오 이미지들을 획득할 때, 시각 보조 디바이스의 모션 컴포넌트를 감지하는 단계, 및 감지된 모션 컴포넌트에 기초하여 시각 보조 디바이스의 모션 상태를 결정하는 단계를 더 포함하며, 여기서 배율을 조정하는 단계, 향상된 비디오 스트림을 형성하는 단계, 및 향상된 비디오 스트림을 디스플레이하는 단계는, 모션 상태가 포커싱된 관심 상태를 포함하는 경우에만 수행된다.
[0042] 일 예에서, 방법은, 시각 보조 디바이스의 자이로스코프로 카메라의 모션 컴포넌트를 감지하는 단계, 또는 시각 보조 디바이스의 가속도계로 카메라의 모션 컴포넌트를 감지하는 단계를 더 포함한다.
[0043]
다른 실시예에서, 방법은, 향상된 비디오 스트림을 제2 디스플레이 상에 디스플레이하는 단계를 더 포함한다. 이 예에서, 디스플레이는 사용자의 제1 눈의 전방에 포지셔닝되고, 제2 디스플레이는 사용자의 제2 눈의 전방에 포지셔닝된다.
[0044]
시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법이 또한 제공되며, 이 방법은, 시각 보조 디바이스로 장면의 실시간 이미지들을 획득하는 단계, 시각 보조 디바이스의 유지된 모션 모델을 업데이트하는 단계, 유지된 모션 모델이, 시각 보조 디바이스의 사용자가 포커싱된 관심 상태에 관여한다고 나타내면, 시각 보조 디바이스의 사용자의 관심 포커스에 대응하는 실시간 이미지들의 서브세트를 식별하는 단계, 실시간 이미지들의 서브세트만을 분석하는 단계, 및 자율적 시각적 향상들이 실시간 이미지들의 서브세트에 적용될지 여부를 결정하는 단계를 포함한다.
[0045]
일 실시예에서, 자율적 시각적 향상들이 실시간 이미지들의 서브세트에 적용될 경우, 방법은, 자율적 시각적 향상들이 적어도 실시간 이미지들의 서브세트에 적용된 향상된 비디오 스트림을 형성하는 단계, 및 향상된 비디오 스트림을 사용자에게 디스플레이하는 단계를 더 포함한다.
[0046]
일부 실시예들에서, 자율적 시각적 향상들은 적어도 실시간 이미지들의 서브세트의 배율을 조정하는 것을 포함한다. 다른 실시예들에서, 자율적 시각적 향상들은 실시간 이미지들의 서브세트의 콘트라스트 컴포넌트를 조정하는 것을 포함한다.
[0047]
일 실시예에서, 모션 모델을 업데이트하는 단계는, 시각 보조 디바이스의 사용자의 단기 움직임을 카테고리화하기 위해, 실시간 이미지들의 몇몇 최근 프레임들과 연관된 모션 컴포넌트를 평가하는 단계, 및 시각 보조 디바이스의 사용자의 특정 액션 상태를 식별하기 위해, 실시간 이미지들의 몇몇 최근 프레임들보다 더 많은 프레임들의 모션 컴포넌트를 평가하는 단계를 더 포함한다.
[0048]
일부 실시예들에서, 모션 컴포넌트는 시각 보조 디바이스의 각속도를 포함하거나, 시각 보조 디바이스의 요(yaw) 축 및 피치(pitch) 축 상의 각속도를 포함하거나, 시각 보조 디바이스의 병진 모션을 포함하거나, 시각 보조 디바이스의 눈 추적 엘리먼트로 측정된 눈 움직임의 양을 포함한다.
[0049]
일 실시예에서, 사용자의 관심 포커스의 갑작스러운 변화를 나타내기 위해 높은 각속도가 모션 모델에 의해 사용된다. 다른 실시예에서, 사용자가 포커싱된 관심 상태에 있다고 나타내기 위해 시각 보조 디바이스의 작은 각속도가 모션 모델에 의해 사용된다. 또 다른 실시예에서, 사용자가 포커싱된 관심 상태에 있다고 나타내기 위해 시각 보조 디바이스의 중간 각속도가 모션 모델에 의해 사용된다.
[0050]
일부 실시예들에서, 사용자가 포커싱된 관심 상태에 있다고 나타내기 위해, 판독, 스캐닝, 또는 검색 거동과 연관된 각속도들이 모션 모델에 의해 사용된다.
[0051]
일 예에서, 모션 모델을 업데이트하는 단계는 예측된 모션들에 기반하여 시각 보조 디바이스의 사용자의 특정 액션 상태를 식별하는 단계를 더 포함한다. 다른 실시예에서, 모션 모델을 업데이트하는 단계는 유사한 상황들에서의 이력 모션들에 기반하여 시각 보조 디바이스의 사용자의 특정 액션 상태를 식별하는 단계를 더 포함한다.
[0052]
일부 예들에서, 방법은, 모션 상태가, 시각 보조 디바이스의 사용자가 애니메이팅된 움직임 상태에 관여한다고 나타내면, 실시간 이미지들에 어떠한 부가적인 분석 또는 프로세싱도 적용하지 않는 단계를 더 포함한다.
[0053]
일 실시예에서, 포커싱된 관심 상태는, 시각 보조 디바이스의 사용자가 시야 내의 어떤 것에 의도적으로 집중하고 있다고 나타낸다.
[0054]
다른 실시예에서, 방법은, 수동 시각적 향상들이 실시간 이미지들에 적용되는 것을 요청하는 사용자 입력들을 식별하는 단계, 수동 시각적 향상들이 자율적 시각적 향상들을 무시하는지 여부를 결정하는 단계, 및 적절한 수동 시각적 향상들 또는 자율적 시각적 향상들을 실시간 비디오 이미지들에 적용하는 단계를 더 포함한다.
[0055]
시각 보조 디바이스가 제공되며, 이 시각 디바이스는, 실시간 비디오 이미지들을 생성하도록 구성된 카메라, 시각 보조 디바이스의 적어도 하나의 모션 컴포넌트를 측정하도록 구성된 센서, 디스플레이, 및 적어도 하나의 모션 컴포넌트에 기초하여 시각 보조 디바이스의 모션 상태를 결정하도록 구성된 프로세서를 포함하며, 모션 상태가, 시각 보조 디바이스의 사용자가 애니메이팅된 움직임 상태에 관여한다고 나타내면, 프로세서는, 실시간 이미지들에 적용되는 추가적인 향상들 또는 조정들 없이 제1 비디오 이미지들을 디스플레이 상에 제시하도록 추가로 구성되고, 모션 상태가, 시각 보조 디바이스의 사용자가 포커싱된 관심 상태에 관여한다고 나타내면, 프로세서는 시각 보조 디바이스의 사용자의 관심 포커스에 대응하는 실시간 이미지들의 서브세트를 식별하도록 추가로 구성되고, 프로세서는 실시간 이미지들의 서브세트로부터 흥미있는 구조들을 로케이팅하도록 구성되고, 프로세서는 적어도 흥미있는 구조들에 시각적 향상들을 적용하도록 구성되고, 그리고 프로세서는 디스플레이 상에 시각적으로 향상된 흥미있는 구조들을 포함하는 제2 비디오 이미지들을 제시하도록 구성된다.
[0056]
일부 실시예들에서, 센서는 적어도 하나의 가속도계를 포함하거나, 적어도 하나의 자이로스코프를 포함한다.
[0057]
일 실시예에서, 모션 컴포넌트는 시각 보조 디바이스의 각속도, 시각 보조 디바이스의 요(yaw) 축 및 피치(pitch) 축 상의 각속도, 또는 시각 보조 디바이스의 병진 모션을 포함한다.
[0058]
일부 실시예들에서, 애니메이팅된 움직임 상태는, 시각 보조 디바이스의 사용자가 애니메이팅된 움직임에 관여하고, 따라서 사용자의 시야 내의 어떤 것에 포커싱하기 위한 의도적인 집중 또는 시도에 관여하지 하지 않는다고 나타낸다.
[0059]
다른 실시예들에서, 포커싱된 관심 상태는, 시각 보조 디바이스의 사용자가 시야 내의 어떤 것에 의도적으로 집중하고 있다고 나타낸다.
[0060]
일부 실시예들에서, 프로세서는, 모션 상태가 포커싱된 관심 상태를 포함한다고 결정하기 위해 시각 보조 디바이스의 작은 각속도들은 사용한다. 일부 실시예들에서, 프로세서는, 모션 상태가 포커싱된 관심 상태를 포함한다고 결정하기 위해 시각 보조 디바이스의 중간 각속도들은 사용한다. 추가의 실시예들에서, 프로세서는, 모션 상태가 포커싱된 관심 상태를 포함한다고 결정하기 위해, 판독, 스캐닝, 또는 검색 거동과 연관된 각속도들을 사용한다.
[0061]
일 실시예에서, 제1 비디오 이미지들은 최소의 프로세싱 및/또는 배율을 갖는 명목상의 비향상 뷰를 포함한다.
[0062]
일부 실시예들에서, 흥미있는 구조들은 텍스트형 구조들 또는 얼굴 피처들을 포함한다. 추가의 실시예들에서, 흥미있는 구조들은 문자들, 숫자들, 픽토그램들, 글리프들 및 아이콘들로 구성된 그룹으로부터 선택된다.
[0063]
일부 실시예들에서, 시각적 향상들은 적어도 흥미있는 구조들의 조정된 배율, 또는 시각적 향상들은 적어도 흥미있는 구조들의 조정된 콘트라스트 컴포넌트를 포함한다.
[0064]
프로세서에 의해 실행 가능한 명령들이 저장된 비-일시적 컴퓨팅 디바이스 판독 가능 매체로서, 명령들은 컴퓨팅 디바이스로 하여금, 시각 보조 디바이스로 장면의 실시간 이미지들을 획득하게 하고, 시각 보조 디바이스의 모션 컴포넌트를 평가하게 하고, 모션 컴포넌트에 기초하여 시각 보조 디바이스의 모션 상태를 결정하게 하며, 여기서, 모션 상태가, 시각 보조 디바이스의 사용자가 애니메이팅된 움직임 상태에 관여한다고 나타내면, 명령들은 프로세서에 의해 실행되어, 컴퓨팅 디바이스로 하여금, 실시간 이미지들에 적용되는 추가적인 향상들 또는 조정들 없이 제1 비디오 이미지들을 시각 보조 디바이스의 디스플레이 상에 제시하게 하고, 그리고 모션 상태가, 시각 보조 디바이스의 사용자가 포커싱된 관심 상태에 관여한다고 나타내면, 명령들은 프로세서에 의해 실행되어 컴퓨팅 디바이스로 하여금, 시각 보조 디바이스의 사용자의 관심 포커스에 대응하는 실시간 이미지들의 서브세트를 식별하게 하고, 실시간 이미지들의 서브세트로부터 흥미있는 구조들을 로케이팅하게 하고, 적어도 흥미있는 구조들에 시각적 향상들을 적용하게 하고, 그리고 시각 보조 디바이스의 디스플레이 상에 시각적으로 향상된 흥미있는 구조들을 포함하는 제2 비디오 이미지들을 제시하게 한다.
[0065]
본 발명의 신규한 특징들은 다음의 청구항들에서 구체적으로 제시된다. 본 발명의 특징들 및 이점들의 더 양호한 이해는, 본 발명의 원리들이 활용되는 예시적인 실시예들을 기술하는 다음의 상세한 설명, 및 실시예들의 첨부된 도면들을 참조하여 획득될 것이다:
[0066] 도 1a는 본 개시 내용에 따른 전자 시각 보조 디바이스의 일 예이다.
[0067] 도 1b는 본 개시 내용에 따른 전자 시각 보조 디바이스의 일 예이다.
[0068] 도 1c는 본 개시 내용에 따른 전자 시각 보조 디바이스의 일 예이다.
[0069] 도 1d는 본 개시 내용에 따른 전자 시각 보조 디바이스의 일 예이다.
[0070] 도 1e는 본 개시 내용에 따른, 상세 컴포넌트들 중 일부를 포함하는 전자 시각 보조 디바이스의 일 예이다.
[0071] 도 1f는 본 개시 내용에 따른, 상세 컴포넌트들 및 특징들의 다양한 엘리먼트들의 상호 관계를 예시하는 전자 시각 보조 디바이스의 일 예이다.
[0072] 도 2는 전자 시각 보조 디바이스에서 저시력 사용자들을 위한 자율 제어 시스템을 위한 주요 컴포넌트들, 프로세스들, 데이터 흐름 및 상호 작용들을 도시하는 고-레벨 블록도이다.
[0073] 도 3은 웨어러블 전자 시각 보조 디바이스에서 배율 및 시야의 자율 제어를 수행하는 코디네이터 블록의, 특히 저전력 애플리케이션들에 매우 적합한 하나의 가능한 실현을 도시하는 고-레벨 흐름도이다.
[0074] 도 4a는 소스 카메라로부터 직접 촬영되고 디스플레이 상에서 사용자에게 보여지는, 텍스트만을 포함하는 장면의 프로세싱되지 않은 카메라 이미지의 예이다.
[0075] 도 4b는 도 4a의 대응적으로 확대된 버전이다.
[0076] 도 4c는 상이한 FOA(Focus of Attention:관심 포커스)를 갖는 도 4a의 추가로 확대된 버전이다.
[0077] 도 5a는 밝은 배경 상의 어두운 텍스트의 이미지로 샘플 검출된 형상들을 예시한다.
[0078] 도 5b는 도 5a에서 검출된 형상들이, 검출된 객체들의 향상된 뷰잉을 위해 콘트라스트 제어 신호들을 컴퓨팅하기에 충분한 정보를 포함하면서 비교적 적은 픽셀들을 갖는 간단한 1차원 선형 구역들의 선택을 어떻게 가능하게 하는지를 보여준다.
[0079] 도 5c는 도 5a에서 검출된 형상들이, 복잡도를 크게 증가시키지 않으면서 도 5b의 더 작은 선형 구역들에 비해 개선된 결과들을 제공하는, 분석될 픽셀들의 단순한 2차원 영역들의 선택을 어떻게 가능하게 하는지를 보여준다.
[0080] 도 5d는 도 5a에서 검출된 형상들이 콘트라스트 제어 신호들을 컴퓨팅하기 위해 분석될 픽셀들의 포괄적이지만 최소의 2차원 영역의 선택을 어떻게 가능하게 하는지를 보여준다.
[0081] 도 6은 웨어러블 전자 시각 보조 디바이스에서 콘트라스트의 자율 제어를 수행하는 코디네이터 블록의, 특히 저전력 애플리케이션들에 매우 적합한 하나의 가능한 실현을 도시하는 고-레벨 흐름도이다.
[0082] 다양한 바람직한 실시예들이 단지 예시적인 뷰들이 고려를 위해 제공되는 도면들을 참조하여 본원에서 설명된다.
[0083] 대응하는 참조 문자들은 도면들의 몇몇 뷰들에 걸쳐 대응하는 컴포넌트들을 나타낸다. 당업자들은 도면들의 엘리먼트들이 단순성 및 명확성을 위해 예시되며, 반드시 실척대로 그려진 것은 아니라는 것을 인지할 것이다. 예컨대, 도면들에서의 엘리먼트들 중 일부의 치수들은 본 발명의 다양한 실시예들의 이해를 개선하는 것을 돕기 위해 다른 엘리먼트들에 비해 과장될 수 있다. 또한, 상업적으로 실현 가능한 실시예에서 유용하거나 필요한, 일반적이지만 잘 이해된 엘리먼트들은, 대개 본 발명의 이러한 다양한 실시예들의 덜 방해받는 뷰를 가능하게 하기 위해 도시되지 않는다.
[0066] 도 1a는 본 개시 내용에 따른 전자 시각 보조 디바이스의 일 예이다.
[0067] 도 1b는 본 개시 내용에 따른 전자 시각 보조 디바이스의 일 예이다.
[0068] 도 1c는 본 개시 내용에 따른 전자 시각 보조 디바이스의 일 예이다.
[0069] 도 1d는 본 개시 내용에 따른 전자 시각 보조 디바이스의 일 예이다.
[0070] 도 1e는 본 개시 내용에 따른, 상세 컴포넌트들 중 일부를 포함하는 전자 시각 보조 디바이스의 일 예이다.
[0071] 도 1f는 본 개시 내용에 따른, 상세 컴포넌트들 및 특징들의 다양한 엘리먼트들의 상호 관계를 예시하는 전자 시각 보조 디바이스의 일 예이다.
[0072] 도 2는 전자 시각 보조 디바이스에서 저시력 사용자들을 위한 자율 제어 시스템을 위한 주요 컴포넌트들, 프로세스들, 데이터 흐름 및 상호 작용들을 도시하는 고-레벨 블록도이다.
[0073] 도 3은 웨어러블 전자 시각 보조 디바이스에서 배율 및 시야의 자율 제어를 수행하는 코디네이터 블록의, 특히 저전력 애플리케이션들에 매우 적합한 하나의 가능한 실현을 도시하는 고-레벨 흐름도이다.
[0074] 도 4a는 소스 카메라로부터 직접 촬영되고 디스플레이 상에서 사용자에게 보여지는, 텍스트만을 포함하는 장면의 프로세싱되지 않은 카메라 이미지의 예이다.
[0075] 도 4b는 도 4a의 대응적으로 확대된 버전이다.
[0076] 도 4c는 상이한 FOA(Focus of Attention:관심 포커스)를 갖는 도 4a의 추가로 확대된 버전이다.
[0077] 도 5a는 밝은 배경 상의 어두운 텍스트의 이미지로 샘플 검출된 형상들을 예시한다.
[0078] 도 5b는 도 5a에서 검출된 형상들이, 검출된 객체들의 향상된 뷰잉을 위해 콘트라스트 제어 신호들을 컴퓨팅하기에 충분한 정보를 포함하면서 비교적 적은 픽셀들을 갖는 간단한 1차원 선형 구역들의 선택을 어떻게 가능하게 하는지를 보여준다.
[0079] 도 5c는 도 5a에서 검출된 형상들이, 복잡도를 크게 증가시키지 않으면서 도 5b의 더 작은 선형 구역들에 비해 개선된 결과들을 제공하는, 분석될 픽셀들의 단순한 2차원 영역들의 선택을 어떻게 가능하게 하는지를 보여준다.
[0080] 도 5d는 도 5a에서 검출된 형상들이 콘트라스트 제어 신호들을 컴퓨팅하기 위해 분석될 픽셀들의 포괄적이지만 최소의 2차원 영역의 선택을 어떻게 가능하게 하는지를 보여준다.
[0081] 도 6은 웨어러블 전자 시각 보조 디바이스에서 콘트라스트의 자율 제어를 수행하는 코디네이터 블록의, 특히 저전력 애플리케이션들에 매우 적합한 하나의 가능한 실현을 도시하는 고-레벨 흐름도이다.
[0082] 다양한 바람직한 실시예들이 단지 예시적인 뷰들이 고려를 위해 제공되는 도면들을 참조하여 본원에서 설명된다.
[0083] 대응하는 참조 문자들은 도면들의 몇몇 뷰들에 걸쳐 대응하는 컴포넌트들을 나타낸다. 당업자들은 도면들의 엘리먼트들이 단순성 및 명확성을 위해 예시되며, 반드시 실척대로 그려진 것은 아니라는 것을 인지할 것이다. 예컨대, 도면들에서의 엘리먼트들 중 일부의 치수들은 본 발명의 다양한 실시예들의 이해를 개선하는 것을 돕기 위해 다른 엘리먼트들에 비해 과장될 수 있다. 또한, 상업적으로 실현 가능한 실시예에서 유용하거나 필요한, 일반적이지만 잘 이해된 엘리먼트들은, 대개 본 발명의 이러한 다양한 실시예들의 덜 방해받는 뷰를 가능하게 하기 위해 도시되지 않는다.
[0084]
본 개시 내용은, 사람들, 사용자들, 또는 저시력, 특히 사용자의 시야(FOV)의 중심에서 저시력을 갖는 환자들에게 향상된 시력을 제공하기 위한 시스템들, 방법들, 컴퓨팅 디바이스 판독 가능 매체들, 및 디바이스들에 관한 것이다.
[0085]
망막 질환들을 가진 사람들에게, 시력 상실에 대한 적응은 생활 방식이 된다. 이는, 판독 능력의 상실, 수입의 상실, 이동성의 상실, 및 전반적인 삶의 질 저하를 포함하는 많은 방식들로 그들의 생활에 영향을 미친다. 예로서, 이들 질병 상태들은 연령-관련 황반 변성, 망막 색소 변성, 당뇨 성 망막증, 스타가르트병, 및 망막의 일부에 대한 손상이 시력을 손상시키는 다른 질병들의 형태를 취할 수 있다. 만연한 망막 질환들, 이를 테면, AMD(Age-related Macular Degeneration)의 경우, 모든 시력이 상실되는 것은 아니며, 이 경우, 중심 시력만이 황반의 퇴행에 의해 영향을 받기 때문에 주변 시력은 온전하게 유지된다. 주변 시력이 온전하게 유지되는 것을 고려하면, FOV를 지각적으로 유지하면서 주변 시력을 향상시키고 최적화함으로써 중심외 주시를 이용하는 것이 가능한데, FOV는 중심외 주시를 이용하지 않았다면 증가된 배율에 따라 감소되었을 것이다. 본원에서 설명된 본 개시 내용은 시력을 향상시키기 위한 신규한 시스템들 및 방법들을 제공하며, 또한 증강 이미지들과 함께 더 자연스러운 시야를 제공하기 위해 진보된 소프트웨어와 함께 작동하는 간단하지만 강력한 하드웨어 향상들을 제공한다.
[0086]
본원에서 설명되는 바와 같은 전자 시각 보조 디바이스들은, LCD, OLED, 또는 직접 망막 투사를 포함하는 다양한 통합 디스플레이 기술들 중 임의의 것을 이용하는 비-침습성, 웨어러블 전자-기반 AR 안경 시스템(도 1a-1e 참조)으로 구성될 수 있다. 재료들은 또한 전자 엘리먼트들이 내부에 내장된 "유리"를 대체할 수 있어서, "안경들"은 예컨대 카메라 및 렌즈들의 시트들을 포함하는 재료들, IOL들, 콘택트 렌즈들 및 유사한 기능 유닛들을 포함하는 것으로 이해될 수 있다. 이들 디스플레이들은 눈들로 관찰될 때 수정된 또는 증강된 이미지를 용이하게 디스플레이 또는 투사하기 위해 눈들의 전방에 배치된다. 이는 일반적으로 각각의 눈에 대한 디스플레이로서 구현되지만, 양 눈들에 의해 볼 수 있는 연속적인 대형 디스플레이뿐만 아니라 오직 하나의 디스플레이에 대해서도 또한 작동할 수 있다.
[0087]
이제 도 1a-1d를 참조하면, 웨어러블 전자 시각 보조 디바이스(99)가, 당업자에게 알려져 있는 프로세서(101), 충전 및 데이터 포트(103), 이중 디스플레이(111), 제어 버튼들(106), 가속도계 자이로스코프 마그네트로미터(112), 블루투스/Wi-Fi(108), 자동 포커스 카메라(113), 플래시 라이트(125), 및 스피커/마이크로폰 조합들(120)에 대해 상호 교환 가능한 배치의 피처들 및 구역들 둘 모두를 포함하는 안경 프레임 모델에 하우징된다. 예컨대, 도면에 도시된 리튬-이온 배터리들을 포함하는 배터리들(107), 또는 배터리로서 기능하는 임의의 알려진 또는 개발된 다른 버전들이 있다. 전력 관리 회로는 전력 소비를 관리하고, 배터리 충전을 제어하고, 그리고 상이한 전력 요건들을 요구할 수 있는 다양한 디바이스들에 공급 전압들을 제공하기 위해 배터리 내에 포함되거나 배터리와 인터페이싱하거나 배터리를 모니터링한다.
[0088]
도 1a - 1e에 도시된 바와 같이, 임의의 기본 하드웨어는 LCD, OLED, 또는 직접 망막 투사를 포함하는 다양한 통합 디스플레이 기술들 중 임의의 것을 이용하는 비-침습성, 웨어러블 전자-기반 AR 안경 시스템(도 1a-1e 참조)으로 구성될 수 있다. 재료들은 또한 내부에 전자 엘리먼트들이 내장된 "유리"를 대체할 수 있어서, "안경들"은 예컨대 카메라 및 렌즈들의 시트들을 포함하는 재료들, IOL들, 콘택트 렌즈들 및 유사한 기능 유닛들을 포함하는 것으로 이해될 수 있다.
[0089]
안경 상에 또는 안경 내에 장착된 하나 이상의 카메라들(스틸, 비디오, 또는 둘 모두)(113)은, 안경이 가리키는 뷰를 계속해서 모니터링하고, 웨어러블 전자 시각 보조 디바이스에서 대화식으로 저장, 조작 및 사용되는 이미지들을 계속해서 캡처하도록 구성된다. 게다가, 이들 카메라들 중 하나 이상은 다양한 조명 조건들에서 관찰 및 모니터링하기 위한 IR(적외선) 카메라들일 수 있다. 전자 시각 보조 디바이스는 또한, 이미지들이 카메라(들)에 의해 캡처될 때 이미지들을 수정하도록 구성된 실시간 알고리즘들을 구현하는 임베디드 소프트웨어와 함께 통합 프로세서 또는 제어기 및 메모리 저장소(안경에 임베딩되거나 케이블에 의해 테더링됨)를 포함할 수 있다. 그런 다음, 이러한 수정된 또는 보정된 이미지들은 디스플레이들을 통해 사용자의 눈들에 연속적으로 제시된다.
[0090]
본원에서 설명되는 프로세스들은, 비디오의 실시간 스트림 또는 이미지를 사용자에게 제공하도록 구성된 전자 시각 보조 디바이스에서 구현된다. 프로세스들은, 프로그램 가능 프로세서에 대한 기계 명령들을 포함하는 컴퓨터 프로그램들(프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 또는 코드로 또한 알려짐)로 구현될 수 있고, 고레벨 절차적 및/또는 객체-지향 프로그래밍 언어로 구현될 수 있고, 그리고/또는 메모리 상에 저장되고 프로세서에 의해 실행되는 기계 판독 가능 코드 또는 기계 실행 가능 코드와 같은 어셈블리/기계 언어로 구현될 수 있다. 사용자, 카메라들, 검출기들 또는 임의의 다른 디바이스로부터의 입력 신호들 또는 데이터가 유닛에 의해 수신된다. 사용자와의 상호 작용을 제공하기 위해 다른 종류들의 디바이스들이 또한 사용될 수 있다; 예컨대, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예컨대, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백) 일 수 있고; 사용자로부터의 입력은 음향, 스피치 또는 촉각적 입력을 포함하는 임의의 형태로 수신될 수 있다. 출력은 스크린 디스플레이 또는 헤드셋 디스플레이를 포함하는 임의의 방식으로 사용자에게 제시된다. 프로세서 및 메모리는 도 1a - 1d에 도시된 전자 시각 보조 디바이스의 통합 컴포넌트 들일 수 있거나, 또는 전자 시각 보조 디바이스에 링크된 별개의 컴포넌트들일 수 있다. 다른 디바이스들, 이를테면 디스플레이들을 갖는 모바일 플랫폼들(셀룰러 폰들, 태블릿들 등) 전자 확대기들 및 전자적으로 인에이블되는 콘택트 렌즈들이 또한 사용될 수 있다.
[0091]
도 1e는 본 명세서에서 설명되는 방법들을 구현하고 장치로서 기능하는 데 사용될 수 있는 예시적인 또는 대표적인 컴퓨팅 디바이스들 및 연관된 엘리먼트들을 도시하는 블록도이다. 도 1e는 여기서 설명되는 기술들과 함께 사용될 수 있는 일반 컴퓨팅 디바이스(200A) 및 일반 모바일 컴퓨팅 디바이스(250A)의 예를 도시한다. 컴퓨팅 디바이스(200A)는 랩톱들, 데스크톱들, 워크스테이션들, 개인 휴대 정보 단말들, 서버들, 블레이드 서버들, 메인 프레임들 및 다른 적절한 컴퓨터들과 같은 다양한 형태들의 디지털 컴퓨터들을 표현하도록 의도된다. 컴퓨팅 디바이스(250A)는 다양한 형태들의 모바일 디바이스들, 이를테면, 개인 휴대 정보 단말들, 셀룰러 전화들, 스마트폰들, 및 동작할 수 있고 전자 시각 보조기들을 위해 특별히 만들어진 다른 유사한 컴퓨팅 디바이스들을 표현하도록 의도된다. 본원에 도시된 컴포넌트들, 이들의 연결들 및 관계들, 및 이들의 기능들은, 단지 예시적인 것으로 의도되며, 본 문서에서 설명 및/또는 청구된 발명들의 구현들을 제한하는 것으로 의도되지 않는다.
[0092]
본원에 설명된 시스템들 및 기술들은 (예컨대, 데이터 서버로서) 백 엔드 컴포넌트를 포함하거나, 미들웨어 컴포넌트(예컨대, 애플리케이션 서버)를 포함하거나, 또는 프론트 엔드 컴포넌트(예컨대, 사용자가 여기서 설명된 시스템들 및 기술들의 구현과 상호 작용할 수 있게 하는 그래픽 사용자인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터)를 포함하는 컴퓨팅 시스템(예컨대, 컴퓨팅 디바이스(200A 및/또는 250A)) 또는 또는 그러한 백 엔드, 미들웨어 또는 프론트 엔드 컴포넌트의 임의의 조합에서 구현될 수 있다. 시스템의 컴포넌트들은 임의의 형태 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크들의 예들은 로컬 영역 네트워크("LAN"), 광역 네트워크(Wide area network)("WAN") 및 인터넷을 포함한다.
[0093]
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 원격이며, 통상적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터들 상에서 실행되고 서로에 대한 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다.
[0094]
사용자와의 상호 작용을 제공하기 위해, 본원에 설명된 시스템들 및 기법들은 사용자에게 정보를 디스플레이 하기 위한 디스플레이 디바이스(예컨대, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터) 및 사용자가 컴퓨터에 입력을 제공할 수 있게 하는 키보드 및 포인팅 디바이스(예컨대, 마우스 또는 트랙볼)를 갖는 컴퓨터 상에서 구현될 수 있다. 사용자와의 상호 작용을 제공하기 위해 다른 종류들의 디바이스들이 또한 사용될 수 있다; 예컨대, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예컨대, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백) 일 수 있고; 사용자로부터의 입력은 음향, 스피치 또는 촉각적 입력을 포함하는 임의의 형태로 수신될 수 있다.
[0095]
예시적인 실시예에서, 컴퓨팅 디바이스들(200A 및 250A)은 통신 네트워크를 통해 컴퓨팅 디바이스들(200A 및 250A)에 연결된 다양한 다른 컴퓨팅 디바이스들로부터 전자 문서들을 수신 및/또는 리트리브하고, 이러한 전자 문서들을 메모리(204A), 저장 디바이스(206A) 및 메모리(264A) 중 적어도 하나 내에 저장하도록 구성된다. 컴퓨팅 디바이스들(200A 및 250A)은 추가로, 본원에 설명된 기술들을 사용하여, 모두가 전자 시각 보조 디바이스(99)와 결합되거나, 이에 내장되거나, 또는 다른 방식으로 이와 통신할 수 있는 메모리(204A), 저장 디바이스(206A) 및 메모리(264A) 중 적어도 하나 내에서 이러한 전자 문서들을 관리 및 구조화하도록 구성된다.
[0096]
메모리(204A)는 컴퓨팅 디바이스(200A) 내에 정보를 저장한다. 일 구현에서, 메모리(204A)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현에서, 메모리(204A)는 비-휘발성 메모리 유닛 또는 유닛들이다. 다른 구현에서, 메모리(204A)는 비-휘발성 메모리 유닛 또는 유닛들이다. 메모리(204A)는 또한 자기 또는 광학 디스크와 같은 다른 형태의 컴퓨터-판독 가능 매체일 수 있다.
[0097]
저장 디바이스(206A)는 컴퓨팅 디바이스(200A)에 대한 대용량 저장소를 제공할 수 있다. 일 구현에서, 저장 디바이스(206A)는 컴퓨터(200A)일 수 있거나 이를 포함할 수 있다. 일 구현에서, 저장 디바이스(206A)는, 저장 영역 네트워크 또는 다른 구성들의 디바이스들을 포함하여, 컴퓨터-판독 매체, 이를테면 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스, 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 솔리드 스테이트 메모리 디바이스, 또는 디바이스들의 어레이일 수 있거나 이들을 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 구현될 수 있다. 컴퓨터 프로그램 제품은 또한, 실행될 때, 위에서 설명된 것들과 같은 하나 이상의 방법들을 수행하는 명령들을 포함할 수 있다. 정보 캐리어는 메모리(204A), 저장 디바이스(206A), 또는 프로세서(202A)상의 메모리와 같은 컴퓨터- 또는 머신-판독 가능 매체이다.
[0098]
고속 제어기(208A)는 컴퓨팅 디바이스(200A)에 대한 대역폭-집약적 동작들을 관리하는 한편, 저속-제어기(212A)는 더 낮은 대역폭-집약적 동작들을 관리한다. 이러한 기능들의 할당은 단지 예시적이다. 일 구현에서, 고속-제어기(208A)는 (예를 들어, 그래픽 프로세서 또는 가속기를 통해) 메모리(204A), 디스플레이(216A)에, 그리고 다양한 확장 카드들(미도시)을 수용할 수 있는 고속-확장 포트들(210A)에 커플링된다. 구현에서, 저속-제어기(212A)는 저장 디바이스(206A) 및 저속-버스(214A)에 커플링된다. 다양한 통신 포트들(예컨대, USB, 블루투스, 이더넷, 무선 이더넷)을 포함할 수 있는 저속 버스(214A)는, 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입력/출력 디바이스들, 또는 예컨대, 네트워크 어댑터를 통해 네트워킹 디바이스, 이를테면 스위치 또는 라우터에 커플링될 수 있다.
[0099]
컴퓨팅 디바이스(200A)는 도면에 도시된 바와 같이 다수의 상이한 형태들로 구현될 수 있다. 예컨대, 이는 표준 서버(220A)로서 또는 그러한 서버들의 그룹에서 다수의 튠(tune)들로서 구현될 수 있다. 이는 또한 랙 서버 시스템(224A)의 일부로서 구현될 수 있다. 부가하여, 이는 개인용 컴퓨터(221A)에서 또는 랩톱 컴퓨터(222A)로서 구현될 수 있다. 대안적으로, 컴퓨팅 디바이스(200A)로부터의 컴포넌트들은 디바이스(250A)와 같은 모바일 디바이스(도시되지 않음)의 다른 컴포넌트들과 결합될 수 있다. 그러한 디바이스들 각각은 컴퓨팅 디바이스(200A, 250A) 중 하나 이상을 포함할 수 있고, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들(200A, 250A)로 구성될 수 있다.
[0100]
컴퓨팅 디바이스(250A)는 도면에 도시된 바와 같이 다수의 상이한 형태들로 구현될 수 있다. 예컨대, 이는 전자 시각 보조 디바이스(99) 또는 임의의 스마트/셀룰러 전화(280A)의 일부로서 구현될 수 있다. 이는 또한 스마트폰(282A), 개인 휴대 정보 단말, 컴퓨터 태블릿, 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수 있다. 또한, 이는 핸드 헬드 형태(290A) 또는 웨어러블 전자 시각 보조 디바이스(99)에 전용 전자 시각 보조 장치로서 구현될 수 있다.
[0101]
전자 시각 보조 디바이스(99)는 다른 컴포넌트들과 함께, 프로세서(252A), 메모리(264A), 입력/출력 디바이스, 이를테면 디스플레이(254A), 통신인터페이스(266A) 및 트랜시버(268A)를 포함한다. 디바이스(99)에는 또한, 추가 스토리지를 제공하기 위해 마이크로드라이브 또는 다른 디바이스와 같은 저장 디바이스가 제공될 수 있다. 전자 시각 보조 디바이스(99, 252A, 264A, 254A, 266A, 및 268A)의 컴포넌트들 각각은 다양한 버스들을 사용하여 상호 연결되고, 컴포넌트들 중 몇몇은 공통 메인보드 상에 또는 적절하게 다른 방식들로 장착될 수 있다.
[0102]
프로세서(252A)는 메모리(264A)에 저장된 명령들을 포함하는 명령들을 전자 시각 보조 디바이스(99) 내에서 실행할 수 있다. 프로세서는 별개의 그리고 다수의 아날로그 및 디지털 프로세서들을 포함하는 칩들의 칩셋으로서 구현될 수 있다. 프로세서는, 예컨대, 디바이스(99)의 다른 컴포넌트들의 조정, 이를테면, 사용자 인터페이스들의 제어, 디바이스(99)에 의해 실행되는 애플리케이션들, 및 디바이스(99)에 의한 무선 통신을 제공할 수 있다.
[0103]
프로세서(252A)는 디스플레이(254A)에 커플링된 제어 인터페이스(258A) 및 디스플레이 인터페이스(256A)를 통해 사용자와 통신할 수 있다. 디스플레이(254A)는, 예컨대, TFT LCD(Thin-Film-Transistor Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diode) 디스플레이, 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(256A)는 그래픽, 비디오 및 다른 정보를 사용자에게 제시하도록 디스플레이(254A)를 구동시키기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(258A)는 사용자로부터 커맨드들을 수신하고, 이들을 프로세서(252A)로의 제출을 위해 변환할 수 있다. 부가하여, 다른 디바이스들과의 디바이스(99)의 근거리 통신을 가능하게 하도록 외부 인터페이스(262A)가 프로세서(252A)와 통신하게 제공될 수 있다. 외부 인터페이스(262A)는 예컨대, 일부 구현들에서 유선 통신을 제공할 수 있거나, 또는 다른 구현들에서 무선 통신을 제공할 수 있고, 다수의 인터페이스들이 또한 사용될 수 있다.
[0104]
메모리(264A)는 전자 시각 보조 디바이스(99) 내에 정보를 저장한다. 메모리(264A)는 컴퓨터-판독 가능 매체 또는 매체들, 휘발성 메모리 유닛 또는 유닛들, 또는 비-휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로서 구현될 수 있다. 확장 메모리(274A)는 또한, 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장인터페이스(272A)를 통해 디바이스(99)에 제공 및 연결될 수 있다. 이러한 확장 메모리(274A)는 디바이스(99)를 위한 여분의 저장 공간을 제공할 수 있거나, 전자 시각 보조 디바이스(99)에 대한 애플리케이션들 또는 다른 정보를 또한 저장할 수 있다. 구체적으로, 확장 메모리(274A)는 위에서 설명된 프로세스들을 수행 또는 보충하기 위한 명령들을 포함할 수 있고, 보안 정보를 또한 포함할 수 있다. 따라서, 예컨대, 확장 메모리(274A)는 디바이스(99)에 대한 보안 모듈로서 제공될 수 있고, 디바이스(99)의 안전한 사용을 허용하는 명령들로 프로그래밍될 수 있다. 부가하여, 보안 애플리케이션들은 부가적인 정보, 이를테면, 비-백업 가능(non-backable) 방식으로 SIMM 카드 상에 식별 정보를 배치하는 것과 함께, SIMM 카드들을 통해 제공될 수 있다. 메모리는, 예컨대, 아래에서 논의되는 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현에서, 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 구현될 수 있다. 컴퓨터 프로그램 제품은, 실행될 때, 위에서 설명된 것들과 같은 하나 이상의 방법들을 수행하는 명령들을 포함한다. 정보 캐리어는, 예컨대, 트랜시버(268A) 또는 외부 인터페이스(262A)를 통해 수신될 수 있는, 메모리(264A), 확장 메모리(274A), 또는 프로세서(252A) 상의 메모리와 같은 컴퓨터- 또는 머신-판독 가능 매체이다.
[0105]
전자 시각 보조 디바이스(99)는 필요한 경우 디지털 신호 프로세싱 회로를 포함할 수 있는 통신 인터페이스(266A)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(266A)는, 특히 다양한 모드들 또는 프로토콜들, 이를테면 GSM 음성 콜들, SMS, EMS, 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000, GPRS, EDGE, 3G, 4G, 5G, AMPS, FRS, GMRS, 시민 밴드 라디오(citizen band radio), VHF, AM, FM 및 무선 USB 하에서 통신들을 제공할 수 있다. 그러한 통신은, 예컨대 무선 주파수 트랜시버(268A)를 통해 발생할 수 있다. 부가하여, 단거리 통신이, 블루투스, Wi-Fi, 또는 다른 그러한 트랜시버 이를테면, 무선 LAN, WMAN, 광대역 고정 액세스 또는 WiMAX를 사용하여 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(270A)은 디바이스(99)에 부가적인 내비게이션- 및 위치-관련 무선 데이터를 제공할 수 있고, 위성들 또는 다른 트랜스폰더들로부터의 신호들을 수신 및 프로세싱하여 위치, 이동 방향 및 속력에 관한 위치 데이터를 생성할 수 있으며, 이는 전자 시각 보조 디바이스(99) 상에서 실행되는 애플리케이션들에 의해 적절하게 사용될 수 있다.
[0106]
전자 시각 보조 디바이스(99)는 또한 사용자로부터 발화된 정보를 수신하고 이를 사용 가능한 디지털 정보로 변환할 수 있는 오디오 코덱(260A)을 사용하여 가청적으로 통신할 수 있다. 오디오 코덱(260A)은 마찬가지로, 이를테면, 예컨대, 디바이스(99)의 핸드셋의 스피커를 통해 사용자에 대한 가청 사운드를 생성할 수 있다. 그러한 사운드는 음성 전화 콜들로부터의 사운드를 포함할 수 있고, 기록된 사운드(예컨대, 음성 메시지들, 음악 파일들 등)를 포함할 수 있고, 또한 디바이스(99)상에서 동작하는 애플리케이션들에 의해 생성된 사운드를 포함할 수 있다. 전자 시각 보조 디바이스의 일부는 스피커 및 마이크로폰(120)이다. 스피커 및 마이크로폰은 프로세서(252A)에 의해 제어될 수 있고, 프로세서 제어에 기반하여, 마이크로폰의 경우, 오디오 신호들을 수신, 생성 및 전기 신호들로 변환하도록 구성된다.
[0107]
IMU(inertial measurement unit)(280A)는 버스에 연결되거나, 또는 다른 컴포넌트들과 통합되고, 전자 시각 보조 디바이스(99)의 배향에 관한 데이터를 생성 및 제공한다. 이 IMU는 방향 데이터, 임팩트 및 충격 데이터, 또는 전자 시각 보조 디바이스에 의해 경험되는 충격들 또는 힘들에 관한 다른 정보 또는 데이터를 제공하기 위해, 자력계, 가속도계 및/또는 자이로와 같은 컴퍼스를 포함할 수 있다.
[0108]
플래셔 및/또는 플래쉬라이트(125)가 제공되며, 프로세서 제어 가능하다. 플래셔 또는 플래시 라이트는 스트로브 또는 종래의 플래시 라이트로서 기능할 수 있고, LED를 포함할 수 있다.
[0109]
이제 도 1f를 또한 참조하면, 전자 시각 보조 디바이스(99) 및/또는 모바일 디바이스(200B)(본원에서 상호 교환 가능하게 사용됨)의 예시적인 실시예를 예시하는 다른 개략도가 도시된다. 이는 단지 하나의 가능한 디바이스 구성이며, 따라서 당업자가 모바일 디바이스를 상이하게 구성할 수 있다는 것이 고려된다. 도 1f에 도시된 엘리먼트들 중 다수는 선택적이며 모든 실시예에 대해 요구되는 것은 아닐 수 있다. 부가하여, 디바이스의 구성은 임의의 형상 또는 설계일 수 있거나, 착용 가능할 수 있거나, 또는 상이한 엘리먼트들 및 컴포넌트들로 분리될 수 있다. 전자 시각 보조 디바이스(99) 및/또는 디바이스(200B)는 아래에서 설명되는 바와 같은 기능을 하는 방식으로 구성될 수 있는 임의의 타입의 고정식 또는 모바일 통신 디바이스를 포함할 수 있다. 모바일 디바이스는 PDA, 셀룰러 전화, 스마트폰, 태블릿 PC, 무선 전자 패드, 또는 임의의 다른 컴퓨팅 디바이스를 포함할 수 있다.
[0110]
이 예시적인 실시예에서, 전자 시각 보조 디바이스(99) 및/또는 모바일 디바이스(200B)는 아래에서 설명되는 컴포넌트들을 보호하고 포함하는 외부 하우징(204B)으로 구성된다. 하우징(204B) 내에는 프로세서(208B) 및 제1 및 제2 버스(212B1, 212B2)(일괄적으로 212B)가 있다. 프로세서(208B)는 버스들(212B)을 통해 모바일 디바이스(200B)의 다른 컴포넌트들과 통신한다. 프로세서(208B)는 본원에 설명된 바와 같이 수행할 수 있는 임의의 타입의 프로세서 또는 제어기를 포함할 수 있다. 프로세서(208B)는 범용 프로세서, ASIC, ARM, DSP, 제어기, 또는 임의의 다른 타입의 프로세싱 디바이스를 포함할 수 있다.
[0111]
프로세서(208B) 및 전자 시각 보조 디바이스(99) 및/또는 모바일 디바이스(200B)의 다른 엘리먼트들은 배터리(220B) 또는 다른 전력 소스로부터 전력을 수신한다. 전기 인터페이스(224B)는 모바일 디바이스(200B), 이를테면, 제2 전자 디바이스, 컴퓨터, 의료 디바이스 또는 전력 공급/충전 디바이스와 전기적으로 인터페이스하기 위한 하나 이상의 전기 포트들을 제공한다. 인터페이스(224B)는 임의의 타입의 전기 인터페이스 또는 커넥터 포맷을 포함할 수 있다.
[0112]
하나 이상의 메모리들(210B)은, 프로세서(208B) 상에서의 실행을 위한 기계 판독 가능 코드의 저장을 위한 그리고 이미지 데이터, 오디오 데이터, 사용자 데이터, 의료 데이터, 위치 데이터, 충격 데이터, 또는 임의의 다른 타입의 데이터와 같은 데이터의 저장을 위한, 전자 시각 보조 디바이스(99) 및/또는 모바일 디바이스(200B)의 일부이다. 메모리는 메시징 애플리케이션(app)을 저장할 수 있다. 메모리는 RAM, ROM, 플래시 메모리, 광학 메모리, 또는 마이크로-드라이브 메모리를 포함할 수 있다. 본원에서 설명되는 바와 같은 머신-판독 가능 코드는 비-일시적이다.
[0113]
이 실시예의 일부로서, 프로세서(208B)는 사용자인터페이스(216B)에 연결된다. 사용자 인터페이스(216B)는 모바일 디바이스를 제어하기 위해 사용자 입력을 수락하도록 구성된 임의의 시스템 또는 디바이스를 포함할 수 있다. 사용자 인터페이스(216B)는 키보드, 롤러 볼, 버튼들, 휠들, 포인터 키, 터치 패드, 및 터치스크린 중 하나 이상을 포함할 수 있다. 버스(212B)를 통해 인터페이싱하고 디스플레이(228B)에 연결되는 터치스크린 제어기(230B)가 또한 제공된다.
[0114]
디스플레이는 시각적 정보를 사용자에게 디스플레이하도록 구성된 임의의 타입의 디스플레이 스크린을 포함한다. 스크린은 LED, LCD, 박막 트랜지스터 스크린, OEL, CSTN(color super twisted nematic), TFT(thin film transistor), TFD(thin film diode), OLED(organic light-emitting diode), AMOLED(active-matrix organic light-emitting diode) 디스플레이, 망막 디스플레이, 전자 콘택트 렌즈, 용량성 터치스크린, 저항성 터치스크린 또는 이들 기술들의 임의의 조합을 포함할 수 있다. 디스플레이(228B)는 프로세서(208B)로부터 신호들을 수신하고, 이러한 신호들은 본 기술 분야에서 이해되는 바와 같이 디스플레이에 의해 텍스트 및 이미지들로 해석된다. 디스플레이(228B)는 프로세서(208B)와 인터페이싱하는 디스플레이 프로세서(도시되지 않음) 또는 제어기를 더 포함할 수 있다. 터치스크린 제어기(230B)는 디스플레이(228B) 상에 오버레이되는 터치스크린으로부터 신호들을 수신하도록 구성된 모듈을 포함할 수 있다. 메시지들은 터치스크린(230B) 상에 입력될 수 있거나, 또는 사용자 인터페이스(216B)는 키보드 또는 다른 데이터 입력 디바이스를 포함할 수 있다.
[0115]
일부 실시예들에서, 디바이스는 스피커(234B) 및 마이크로폰(238B)을 포함할 수 있다. 스피커(234B) 및 마이크로폰(238B)은 프로세서(208B)에 의해 제어될 수 있고, 프로세서 제어에 기반하여, 마이크로폰의 경우, 오디오 신호들을 수신 및 전기 신호들로 변환하도록 구성된다. 이는 또한 부가적인 사용자 인터페이스 모드들에 대한 이익을 제공한다. 마찬가지로, 프로세서(208B)는 오디오 신호들을 생성하기 위해 스피커(234B)를 활성화시킬 수 있다. 이들 디바이스들은 당해 기술 분야에서 이해되는 바와 같이 동작하며, 따라서 본원에서 상세히 설명되지 않는다.
[0116]
제1 무선 트랜시버(240B) 및 제2 무선 트랜시버(244B)는 또한 버스들(212B) 중 하나 이상에 연결되며, 이들 각각은 각각의 안테나(248B, 252B)에 연결된다. 제1 및 제2 트랜시버(240B, 244B)는 원격 송신기로부터 인입 신호들을 수신하고 신호들에 대해 아날로그 프론트 엔드 프로세싱을 수행하여 아날로그 기저 대역 신호들을 생성하도록 구성된다. 인입 신호는 프로세서(208B)에 의한 후속 프로세싱을 위해, 이를테면 아날로그-디지털 변환기에 의해 디지털 포맷으로의 변환에 의해 추가로 프로세싱될 수 있다. 마찬가지로, 제1 및 제2 트랜시버(240B, 244B)는 프로세서(208B) 또는 모바일 디바이스(208B)의 다른 컴포넌트로부터 발신 신호들을 수신하고, 개개의 안테나(248B, 252B)를 통한 송신을 위해 이들 신호들을 기저 대역으로부터 RF 주파수로 상향 변환하도록 구성된다. 제1 무선 트랜시버(240B) 및 제2 무선 트랜시버(244B)로 도시되었지만, 모바일 디바이스(200B)는 단지 하나의 그러한 시스템 또는 2개 이상의 트랜시버들을 가질 수 있다는 것이 고려된다. 예컨대, 일부 디바이스들은 트라이-대역 또는 쿼드-대역 성능이 있거나, 블루투스 및 NFC 통신 능력을 갖는다.
[0117]
전자 시각 보조 디바이스(99) 및/또는 모바일 디바이스, 그리고 이에 따라 제1 무선 트랜시버(240B) 및 제2 무선 트랜시버(244B)는, 블루투스, Wi-Fi, 이를테면 IEEE 802.11a, b, g, n, 무선 LAN, WMAN, 광대역 고정 액세스, WiMAX, 임의의 셀룰러 기술, 예컨대, CDMA, GSM, EDGE, 3G, 4G, 5G, TDMA, AMPS, FRS, 시민 대역 라디오, VHF, AM, FM 및 무선 USB(그러나 이에 제한되지 않음)를 포함하는 임의의 현재 존재하는 또는 미래에 개발되는 무선 표준에 따라 동작하도록 구성될 수 있는 것으로 고려된다.
[0118]
또한, 전자 시각 보조 디바이스(99) 및/또는 모바일 디바이스의 일부는 프로세서(208B)와 또한 인터페이싱하는 제2 버스(212B)에 연결된 하나 이상의 시스템들이다. 이들 시스템들은 연관된 안테나(262B)를 갖는 GPS(global positioning system) 모듈(260B)을 포함할 수 있다. GPS 모듈(260B)은 GPS 모듈(260B)의 위치, 이동 방향 및 속력에 관한 위치 데이터를 생성하기 위해 위성들 또는 다른 트랜스폰더들로부터 신호들을 수신 및 프로세싱할 수 있다. GPS는 일반적으로 당해 기술 분야에서 이해되며, 따라서 본원에서 상세히 설명되지 않는다.
[0119]
일부 예들에서, 자이로 또는 가속도계(264B)는 모바일 디바이스(204B)의 배향에 관한 포지션, 움직임, 속도, 속력 및/또는 배향 데이터를 생성 및 제공하기 위해 버스(212B)에 연결될 수 있다. 자력계와 같은 컴퍼스(268B)는 모바일 디바이스(204B)에 방향 정보를 제공하도록 구성될 수 있다. 가속도계를 포함할 수 있는 충격 검출기(264B)는 모바일 디바이스에 의해 경험되는 충격들 또는 힘들에 관한 정보 또는 데이터를 제공하기 위해 버스(212B)에 연결될 수 있다. 일 구성에서, 충격 검출기(264B)는 모바일 디바이스가 미리 결정된 임계치보다 큰 충격 또는 힘을 경험할 때 데이터를 생성하여 프로세서(208B)에 제공하도록 구성된다. 이는, 예컨대 낙상 또는 사고를 표시할 수 있다. 압력 센서(272B)는 또한, 모션 검출을 돕기 위해 고도를 결정하도록 활용될 수 있다.
[0120]
하나 이상의 카메라들(스틸, 비디오, 또는 둘 모두)(276B)은, 메모리(210B)에 저장하기 위해 그리고/또는 무선 또는 유선 링크를 통한 가능한 송신을 위해 또는 나중에 보기 위해 이미지 데이터를 캡처하도록 제공될 수 있다. 저조도 상황들에서의 이미지 캡처를 위해, 휘도 센서(282B) 및 위치 및 장면 감지를 위한 부가적인 근접도 센서와 함께 부가적인 적외선 카메라(278B)가 또한 포함될 수 있다. 프로세서(208B)는 본원에서 설명되는 단계들을 수행하기 위해 이미지 데이터를 프로세싱할 수 있다. 플래셔 및/또는 플래쉬라이트(280B)가 제공되며, 프로세서 제어 가능하다. 플래셔 또는 플래시 라이트(280B)는 스트로브 또는 종래의 플래시 라이트로서 기능할 수 있고, LED를 포함할 수 있다. 전력 관리 모듈(284B)은 전력 소비를 관리하고, 배터리 충전을 제어하고, 그리고 상이한 전력 요건들을 요구할 수 있는 다양한 디바이스들에 공급 전압들을 제공하기 위해 배터리(220B)와 인터페이싱하거나 배터리(220B)를 모니터링한다.
[0121]
따라서, 본원에 설명된 시스템 및 기법들의 다양한 구현들은, 디지털 전자 회로, 집적 회로, 특수하게 설계된 ASIC(application specific integrated circuit)들, 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합들로 실현될 수 있다. 이러한 다양한 구현들은, 특수 목적 또는 범용일 수 있고, 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하도록 커플링되고, 그리고 이들에 데이터 및 명령들을 송신하도록 커플링된 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템 상에서 실행 가능하고 그리고/또는 해석 가능한 하나 이상의 컴퓨터 프로그램들로 구현하는 것을 포함할 수 있다.
[0122]
본원에서 사용되는 바와 같이, "머신-판독 가능 매체" "컴퓨터-판독 가능 매체"라는 용어들은, 기계-판독 가능 신호로서 기계 명령들을 수신하는 기계-판독 가능 매체를 포함하는 프로그램 가능 프로세서에 기계 명령들 및/또는 데이터를 제공하기 위해 사용되는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예컨대, 자기 디스크들, 광 디스크들, 메모리, 프로그래머블 로직 디바이스(PLD)들)를 지칭한다. "머신-판독 가능 신호"라는 용어는, 프로그램 가능 프로세서에 머신 명령들 및/또는 데이터를 제공하기 위해 사용되는 임의의 신호를 지칭한다.
[0123]
위의 논의로부터 명백한 바와 같이 달리 구체적으로 언급되지 않는 한, 설명 전반에 걸쳐, "프로세싱" 또는 "컴퓨팅" 또는 "계산" 또는 "결정" 또는 "식별" 또는 "디스플레잉" 또는 "제공" 등과 같은 용어들을 활용하는 논의들은, 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보 저장, 송신 또는 디스플레이 디바이스들 내에서 물리적(전자) 양들로서 표현된 데이터를 조작 및 변환하는, 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 동작 및 프로세스들을 지칭한다고 이해된다.
[0124]
전술한 명세서에 기초하여, 본 발명의 위에서 논의된 실시예들은 컴퓨터 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합 또는 그 서브세트를 포함하는 컴퓨터 프로그래밍 또는 엔지니어링 기술들을 사용하여 구현될 수 있다. 컴퓨터-판독 가능 및/또는 컴퓨터-실행 가능 명령들을 갖는 임의의 그러한 결과적인 프로그램은, 하나 이상의 컴퓨터-판독 가능 매체 내에서 구현 또는 제공될 수 있으며, 이로써 본 발명의 논의된 실시예들에 따라 컴퓨터 프로그램 제품, 즉, 제조 물품을 제조할 수 있다. 컴퓨터 판독 가능 매체는, 예컨대, 고정(하드) 드라이브, 디스켓, 광 디스크, 자기 테이프, 반도체 메모리, 이를테면, 판독-전용 메모리(ROM) 또는 플래시 메모리 등, 또는 임의의 송신/수신 매체 이를테면 인터넷 또는 다른 통신 네트워크 또는 링크일 수 있다. 컴퓨터 코드를 포함하는 제조 물품은, 하나의 매체로부터 직접 명령들을 실행함으로써, 하나의 매체로부터 다른 매체로 코드를 복사함으로써, 또는 네트워크를 통해 코드를 송신함으로써 제조 및/또는 사용될 수 있다.
[0125]
도 2는 자율 제어 시스템(550)이 사용자 및 전자 시각 보조 디바이스(510)의 나머지와 상호 작용할 때의 자율 제어 시스템(550)의 주요 컴포넌트들을 도시하는 고레벨 블록도이다. 명확성을 유지하기 위해, 주 데이터 및 제어 경로들만이 도면에 표시된다; 예컨대, 코디네이터 블록(560)과 자율 제어 시스템(550)의 경계 내에 묘사된 모든 다른 엔티티들 사이에 묵시적 양방향 연결이 존재 한다는 것이 이해되어야 한다. 유사하게, 여기서 도시된 컴포넌트들은 반드시 실제 실현의 토폴로지를 제한하지는 않는 논리적 파티셔닝을 표현하며; 통상적인 실시에 따르면, 이들 블록들 중 임의의 블록은, 동일한 어그리게이트 기능을 여전히 제공하면서, 다수의 방식들로 추가로 세분되고, 재배열되고, 재결합될 수 있다.
[0126]
도 2의 블록도는 하나 이상의 "블록들", "엔진들", "모듈들" 등을 지칭할 수 있다. 본 명세서에서 사용되는 바와 같이, 임의의 "엔진", "블록" 또는 "모듈"은 하나 이상의 프로세서들 또는 그 일부를 포함할 수 있다. 하나 이상의 프로세서들의 일부는, 임의의 주어진 하나 이상의 프로세서들을 포함하는 하드웨어의 전부보다 적은 하드웨어의 일부 부분, 이를테면 레지스터들의 서브세트, 멀티-스레딩된 프로세서의 하나 이상의 스레드들에 전용되는 프로세서의 일부, 프로세서가 엔진의 기능의 일부를 수행하는 데 전적으로 또는 부분적으로 전용되는 타임 슬라이스 등을 포함할 수 있다. 따라서, 제1 엔진 및 제2 엔진은 하나 이상의 전용 프로세서들가질 수 있거나, 제1 엔진 및 제2 엔진은 하나 이상의 프로세서들을 서로 또는 다른 엔진들과 공유할 수 있다. 구현-특정 또는 다른 고려 사항들에 따라, 엔진은 중앙 집중화되거나 그 기능이 분산될 수 있다. 엔진은 프로세서에 의한 실행을 위해 컴퓨터 판독 가능 매체에 구현된 하드웨어, 펌웨어 또는 소프트웨어를 포함할 수 있다. 프로세서는, 이를테면, 본원의 도면들을 참조하여 설명된 바와 같이, 구현된 데이터 구조들 및 방법들을 사용하여 데이터를 새로운 데이터로 변환한다.
[0127]
본원에서 설명된 엔진들, 또는 본원에서 설명된 시스템들 및 디바이스들이 구현될 수 있게 하는 엔진들은 클라우드-기반 엔진들일 수 있다. 본원에서 사용되는 바와 같이, 클라우드-기반 엔진은 클라우드-기반 컴퓨팅 시스템을 사용하여 애플리케이션들 및/또는 기능들을 실행할 수 있는 엔진이다. 애플리케이션들 및/또는 기능들의 일부 또는 전부는, 다수의 컴퓨팅 디바이스들에 걸쳐 분산될 수 있으며, 오직 하나의 컴퓨팅 디바이스로만 제한될 필요는 없다. 일부 실시예들에서, 클라우드-기반 엔진들은, 최종 사용자들의 컴퓨팅 디바이스들 상에 로컬로 설치된 기능들 및/또는 모듈들을 갖지 않으면서, 최종 사용자들이 웹 브라우저 또는 컨테이너 애플리케이션을 통해 액세스하는 기능들 및/또는 모듈들을 실행할 수 있다.
[0128]
이 블록도는 웨어러블이거나, 핸드헬드(hand-held)(예컨대, 스마트폰, 태블릿 또는 PC)이거나 고정-장착된 시각 보조 디바이스들에 광범위하게 적용 가능하다. 파선 직사각형 내에 둘러싸인 도면의 가장 왼쪽 부분은 본 발명들에 의해 가능하게 되는 자율 제어가 없는 개념적 디바이스(510)의 일 예를 도시한다. 모든 후속 텍스트에서, 이는 개시될 시스템들 및 방법들에 의해 확장될 표준 기능성만을 보유하기 때문에 레퍼런스(510)로 알려질 것이다. 여기서, 레퍼런스는 매우 단순화된 형태로 표현되며, 레퍼런스의 거의 모든 기능은 모놀리식 이미지 프로세싱 블록(515)으로 추상화된다. 구현 세부 사항들 및 특징 세트들에 관계 없이, 임의의 기준 전자 시각 보조기는, 입력으로서 카메라(들)(517)로부터 미가공 이미지 스트림(540)을 연속적으로 수용하고, 수동 사용자 입력들(514)(예컨대, 버튼들, 제스처들 또는 음성)에 의해 지시된 대로 부가적인 센서들(512)(예컨대, 이미지 안정화를 위한 자이로스코프들)에 의한 가능한 중개로 착신 이미지들에 다양한 계산들 및 조작들을 적용하고, 하나 이상의 디스플레이 디바이스들(516) 상에 완전히-프로세싱된 이미지들을 궁극적으로 제시하는 불투명 프로세서로 간주될 수 있다.
[0129]
제2 파선 직사각형에 의해 캡슐화된 도 2의 최우측 섹션은, 본원에서 설명되는 전자 시각 보조 디바이스들의 이미지 프로세싱 기능을 제공하는 "ACS(Autonomous Control System)(550)"를 포함한다. 이미지 프로세싱 체인에 대한 모든 입력들(카메라 이미지들(540), 센서 데이터(530), 및 사용자 제어들(520))은, 현재 상태(527) ― 이미지 프로세싱 거동을 직접적으로 제어하는 설정들 및 파라미터들의 집합과 함께 액세스 가능해야 한다. 다양한 분석 블록들은 이러한 입력들에 대해 동작하여 장면 콘텐츠 및 착용자 머리 모션의 추상 모델들을 구성하며, 그런 다음, 이들은 사용자 의도들, 활동 및 관심 포커스를 예상하는 추가 모델들을 구축하는 데 사용된다. 이들 모델들로부터 수집된 트렌드들에 의존하여, 조정기(560)는, 만약 존재하다면, 착용자의 추론된 욕구들을 충족시키기 위해 디바이스 상태에 대해 어떤 변화들이 이루어져야 하는지를 결정하도록 구성된다. 출력들은 현재 상태(527)를 업데이트하는 컴퓨팅된 제어들로서 개념적 디바이스의 코어로 다시 송신될 수 있다. 이러한 컴퓨팅된 제어들은 사용자 입력들과 다소 유사하지만, 자율 제어 시스템이 적은(존재하는 경우) 제한들로 최종 이미지를 조정하기 위해 로우-레벨 파라미터들을 자유롭게 조작할 수 있기 때문에, 컴퓨팅된 제어들은 상당히 더 강력하다.
[0130]
교시적인 연속성을 위해, 설명은 초기에, 본원에서 설명된 시스템들의 웨어러블 양상들에 초점을 맞추고, 가장 간단한 구성들로 시작하여 범위를 점진적으로 확장시킨다. 일단 이런 기준이 확고히 설정되면, 이는 대안들의 설명 및 이해를 용이하게 하는 기준점으로서 역할을 할 것이다.
웨어러블 전자 시각 보조기들
[0131]
웨어러블 시각 보조기들은 일반적으로, 눈(들)을 향해 직접 시각 정보를 제시하는 내장 디스플레이들, 및 코, 눈 또는 관자놀이 근처의 프레임에 부착된 전향 카메라들을 갖는 안경형 또는 다른 방식의 머리-장착 프레임 상에서 이용 가능하다. 이들은 단일 자립식 유닛들일 수 있거나, 머리-장착 컴포넌트는 외부 배터리 또는 컴퓨팅 리소스들에 테더링될 수 있다. 카메라들을 프레임과 함께 위치시키거나 머리에 대해 고정된 배향을 유지할 필요는 없지만, 그러한 관습들을 준수하는 것은 웨어러블 디바이스들에 대한 구현 및 유용성을 크게 단순화한다.
[0132]
증가된 크기 및 무게가 웨어러블 디바이스들에서 바람직하지 않은 특성 들이기 때문에, 완전-포터블 디바이스들에서 배터리 수명과 하드웨어 능력 사이에 항상 충돌이 존재하며; 이러한 트레이드 오프에서 공평한 균형을 제공하기 위해서는 저전력, 저복잡성 솔루션들이 필요하다. 본원에서 설명되는 ACS(550)는 기본적인 서비스들만을 제공하는 간단한 웨어러블 기준 플랫폼(510)을 사용하여 이 목표를 달성할 수 있다: 고정된 마운트 상의 단일 카메라(517) ― 단일 카메라(517)의 FOV(field of view)는 정상 시력의 착용자의 FOV와 대략 일치하도록 배향됨 ―, 적어도 착용자의 머리의 요 및 피치 축들 상에서 각속도 측정들의 연속적인 실시간 스트림을 생성하는 자이로스코픽 센서들(512), 적어도 하나의 디스플레이 디바이스(516), 및 시각 보조 디바이스의 상태를 조작하기 위해 이들 데이터를 인터셉트하고 프로세싱하는 능력. 능력들 및 달성 가능한 성능을 향상시키기 위한 부가적인 카메라들 및 센서들이 보여질 것이다.
이미지 분석
[0133]
이미지 분석 블록(580)은 단일 순간에 대응하는 카메라 이미지들을 취하고, 사용자가 조사하기를 원하는 이들 내에 구조들을 로케이팅하는 것을 담당한다. 가장 간단하고 가장 일반적인 구성들에서, 단일 카메라가 존재하므로 하나의 이미지만이 이용 가능하다. 일반적으로, 이 입력 이미지의 비교적 작은 서브세트만이 프로세싱되어야 한다; 이 서브세트는 사용자의 시선이 능동적으로 중심에 오는 사용자의 FOA(focus-of-attention)를 표현한다. FOA는 일반적으로 이미지 중심의 고정된 영역일 것인데, 그 이유는 고정된 카메라가 사용자의 머리와 함께 회전할 때, 사용자의 자연스러운 시선과 매우 자주 일치하기 때문이다. 그러나, 이는 또한, 편심으로(eccentrically) 장착된 또는 그렇지 않으면 착용자의 자연스러운 전방 시선과 매칭하지 않는 카메라로, 중심 시야 결손들을 수반하는 경우들에 대해 사용자-특정 편심(off-center) 섹션에 속할 수 있다. 일부 애플리케이션들에서, 이는 또한 사용자 행동 트렌드들 또는 이전 및 현재 이미지들의 콘텐츠들에 기반하여, 또는 시선 방향을 직접적으로 캡처하는 눈-추적에 기반하여 (조정자(560) 또는 장면 분석(582)에 의해) 선택된 구역일 수 있다. 관심 구역들이 효과적으로 자율적으로 선택되는 경우들에서, 모든 가능한 그러한 구역들을 로케이팅 및 그레이딩하기 위해 전체 입력 이미지가 또한 검색될 수 있거나, 또는 선택된 구역들이 생략될 수 있다. 충분히 넓은 FOV(광각 또는 어안 렌즈에서와 같이 일반인간 FOV보다 더 큼)를 갖는 카메라 또는 사용자의 자연스러운 시선으로부터 멀어지게 배향된 카메라의 경우, FOA는 심지어 사용자가 물리적으로 지각할 수 없을 장면(locale)들을 통합할 수 있다. 그러나, 이미지 분석은 통상적으로 계산 집약적인 활동이기 때문에, 가능한 경우 조사되는 서브-이미지의 크기를 제한하는 것이 바람직하다.
[0134]
FOA가 입력 이미지(들)에서 식별되면, 관심있는 것으로 간주되는 특징들을 발견하기 위해 FOA의 콘텐츠가 ACS(550)에 의해 조사된다. 이용되는 특정 분석 방법들에 관계 없이, 이러한 탐색은 열악한 또는 비균일한 조명, 전자 잡음 및 다른 교란 팩터들의 존재 시에 검출 신뢰성을 증가시키기 위해 이미지 분석(580)을 사용하여 소스 데이터를 전처리함으로써 가능하게 될 수 있다. 개별 이미지들로부터의 FOA 구역들은, 노이즈를 감소시키거나 또는 다른 원치 않는 간섭 패턴들을 제거하거나, 이미지 선명도 또는 세부 사항을 증가시키거나, 콘트라스트를 증가시키기 위해 필터링될 수 있다. 대부분의 상황들에서 이점들을 산출하는 저전력, 저복잡성 방법은, 글로벌 이미지 콘트라스트를 증가시키기 위해 표준 이미지 프로세싱 기술들을 적용하는 것이다. 특정 FOA 이미지 콘텐츠에 기반한 적응형 콘트라스트 향상에 의해 더 많은 이득들이 획득될 수 있으며; 충분한 프로세싱 능력이 주어지면, 이미지 프로세싱 커뮤니티 내에서 이용 가능한 정교한 적응형 알고리즘들이 로컬 콘트라스트를 증가시키기 위해 적용될 수 있다. 데이터-의존적 전처리는 또한, 시간의 경과에 따라 이미지가 변함에 따라 이미지의 통계와의 일관성을 추적하고 유지하도록 제한될 수 있다. 모든 전처리는 검출 알고리즘의 이익을 위해 수행되며, 사용자에게 직접 디스플레이될 이미지 데이터에 적용되는 임의의 동작들과 별개임이 주목된다.
[0135]
다수의 카메라들이 이용 가능할 때, FOA의 다수의 커버리지를 제공하는 이미지들은, (이미징 기하학적 구조의 차이들을 보상하기 위해) 잘 알려진 대수 변환들 및 (코히어런트하게(coherently) 또는 비례적으로(commensurately) 샘플링되지 않는 픽셀들을 결합하기 위해) 신호 프로세싱 기술들을 사용하여 이미지 품질을 개선하도록 결합될 수 있다. 유사하게 문서에 의해 충분히 입증된 데이터 융합 기술들은 이미지 센서들로부터의 데이터를 이질적인 양상들과 병합하거나(예컨대, 표준 가시광 카메라와 근적외선 또는 열 이미저를 결합함), 또는 더 이색적인 양상이 단순히 FOA 선택을 보조할 수 있다. 대안적으로, 일부 이미지들 또는 양상들(그러나 전부는 아님)은, 그들의 기여가 유익하지 않을 것이 명백할 때, 상대적인 품질 또는 환경 조건들에 기반하여 거부되고 생략될 수 있다.
[0136]
이미지에서 흥미있는 객체들을 검출하기 위한 이미지 프로세싱 및 컴퓨터 시각 커뮤니티들 내에서 광범위한 기술들이 이용 가능하다. 일 예에서, 이미지 분석들에 의해 추구되는 흥미있는 피처들은, 텍스트 ― 문자들, 숫자들, 및 단어들, 라인들, 열들 또는 단락들로 구조화되는 픽토그램들 ― 및 텍스트형 구조, 예컨대, 별개 행들의 유사한 크기의 글리프(gliph)들, 이를테면 컴퓨터 스크린 상의 아이콘들을 공유하는 형상들이다. 이러한 구조들을 격리하기 위한 방법들은, 스트로크 폭 변환(SWT, 이는 텍스트와 연관될 가능성이 있는 일관된 폭을 갖는 라인들을 로케이팅 함), 광학 문자 인식(OCR, 해석이 아닌 인식 및 측정만이 필요하기 때문에 잠재적으로 단순화 됨), 및 머신 러닝에 기반한 형태들을 포함하는 다른 형태들의 컴퓨터 시각을 포함한다. 이들 모두가 이 애플리케이션에서 사용하기 위해 실행 가능하지만, 이들은 또한 계산 집약적이며, 그리고/또는 이들이 뛰어난 좁은-드로잉 도메인들(구체적으로는 텍스트, 얼굴들, 또는 객체 타입들의 고정된 메뉴)로 제한되는 경향이 있다. 모두 병렬로 동작하는 다수의 특징 검출기 타입들은, 증가된 시스템 복잡성, 예컨대 텍스트 인식과 함께 얼굴 검출 알고리즘들을 댓가로 이용 및 결합될 수 있다.
[0137]
대신에, ACS(550)의 이미지 분석은, 입력 이미지들 또는 이미지 섹션들로부터 MSER(Maximally Stable Extremal region)들을 추출하기 위한 저레벨 기술의 능력을 레버리지한다. MSER은 임의의 포괄적인 이미지 프로세싱 또는 컴퓨터 시각 툴박스에서 발견되는 표준 기기로서, 이미지 크기가 증가함에 따라 낮은 계산 복잡성 및 우수한 스케일링 특성들을 과시한다. 자신의 제어 메타-파라미터들 및 효율적인 소프트웨어 구현을 위한 신중하게 선택된 값들의 세트가 주어지면, MSER은 입력 이미지 그 자체로부터 계산/추출될 수 있는 이미지의 광도 컴포넌트가 제공될 때, 특히, 위에서 설명된 콘트라스트-향상 전처리와 커플링될 때, 위에서 설명된 텍스트형 구조들을 신뢰 가능하게 격리시킨다. MSER은 초기의 특징 검출기이기 때문에, 문자들 또는 텍스트를 실제로 인식하지 않고 이들을 아이콘들 또는 형상들과 구별하지 않는다 ― 추출은 전적으로 연결성, 컬러 및 로컬 콘트라스트에 기반한다. 이러한 단순성은, 기록된 통신을 반드시 표현할 필요는 없는 필기체 서체(cursive handwriting)뿐만 아니라 다른 규칙적인 구조들을 포함하는 임의의 폰트 또는 언어의 심볼들에 대해 동등하게 잘 수행하면서 MSER이 빠르게 실행될 수 있게 하는 이점이다.
장면 분석
[0138]
이미지 분석(580)의 출력은 FOA 이미지에서 발견되는 미가공 피처들의 리스트이며, 여기서 각각의 피처는 문자 그대로 연결된 픽셀들의 리스트이며, 연결된 픽셀들은 시각적으로 유사하지만 MSER 피처 검출을 구동하는 메타-파라미터들에 의해 결정된 연결된 픽셀들의 환경들로부터 어떻게든 분리 가능하다. 장면 분석(582)의 임무는, 스퓨리어스 피처들이 텍스트 및 다른 의미 있는 구조들과 구별될 수 있도록, 이러한 구조화되지 않은 리스트를 이미지의 구조 및 콘텐츠에 통찰력을 부여하는 코히어런트 데이터 구조로 변환하는 것이다. 유사한 데이터 구조들로부터 그러한 패턴들을 발견하는 방법들에 수십 년간의 연구 노력에 걸친 방대한 공개 문헌들이 바쳐지고 있다 - 이러한 통계적 패턴 인식, 패턴 분류, 신경망 및 기계 학습 기술들은 매우 효과적인 것으로 입증되었지만 준비(예컨대, 데이터 수집), 프로세싱 복잡성 또는 둘 모두에 높은 비용이 든다. 본 개시 내용에서, 훨씬 더 간단하고 더 직관적인 계층적 분석 프로세스가 마찬가지로 잘 작동한다.
[0139]
이 프로세스의 제1 단계는 장면 분석(582) 블록에 의한 스퓨리어스 피처들, 이상치들 및 모호한 검출들의 제거이다. 개별 검출된 형상들이 길이, 폭, 픽셀 카운트 또는 종횡비에 대해 신중하게 튜닝된 경계 밖에 있는 경우, 검사되고 폐기된다. 이러한 억제들 중 일부는 MSER에 의해 자동으로 수행될 수 있지만, 장면 분석은 더 복잡한 기준들을 허용한다. 예컨대, 하나의 유용한 휴리스틱(heuristic)은 FOA의 최상부 또는 최하부 에지와 교차하는 모든 형상들을 거부하는 것이지만(그들의 진정한 수직 범위가 측정되지 않았기 때문에), 형상들이 충분히 넓지만 양측과 교차하는 것을 피하는 한 단지 형상들이 우측 또는 좌측을 터치하기 때문에 형상들을 거부하는 것은 아니다. 부가적으로, FOA의 수직 중심으로부터 너무 멀리 떨어져 있는 수직 중심(그들의 수직 상한과 수직 하한의 중간)을 갖는 피처들이 또한 거부된다. 수용 및 거부를 위한 임계치들 및 한계들의 정확한 선택은, 다소 "텍스트형"인 특징들에 응답하는 쪽으로 자율 시스템을 바이어싱하는 핵심이다; 예컨대, 디바이스가 인쇄된 텍스트를 명확하게 포함하지 않는 모든 것을 신뢰 가능하게 무시하도록, 의도적인 조정들이 이루어질 수 있다.
[0140]
초기 컬(cull)에 후속하여, 나머지 피처들은 동일한 행에 있는 것으로 나타나는 아이템들을 포함하는 그룹들로 분할된다. 이는, 각각의 특징에 행을 명시적으로 할당함으로써(불분명한 절차) 수행되는 것이 아니라, 오히려 묵시적으로, 종래의 커널-밀도 추정 절차를 통해 형상들에 대한 수직 중심들의 확률 밀도 함수(pdf)에 대한 모델의 구성으로 시작하는 다수의 단계들로 수행된다. 다수의 검출된 객체들이 코히어런트 행들로 조직화될 때 ― 심지어 몇 개의 캐릭터형 형상들을 포함하는 단일 행이고, 심지어 수평 정렬로부터 약간의 회전 편차가 존재하는 때에도 ― 각각의 행의 수직 위치에서 별개의 pdf 피크들이 발생하는데, 피크의 폭 및 높이가 "객체들의 수평 행들(horizontal rows of objects)" 가설의 통계적 품질에 통찰력을 제공한다. 동양 문화에서 발견되는 것과 같은 수직-배향 텍스트를 검출하기 위해, 열들이 행 대신에 고려될 수 있다.
[0141]
다시 한번, 복잡한 휴리스틱 또는 기계-학습 모델은, 검출된 형상들의 세트가 진정으로 행-형, 열-형, 또는 단락형 구조를 갖는지를 결정하는 데 사용될 수 있다. 그러나, 실제로는, 더 낮은 복잡도의 기법이 충분한 것으로 증명된다. 장면 분석(582)은 검출된 가장 높은 피크를 선택하고 그 피크와 연관된 피처들만을 유지한다. 이는 추정된 pdf 값이 너무 작은, 전형적으로는 피크 값의 90% 미만인 피처들을 추가로 프루닝(prune)한다. 최종 컬은 임의의 완전히 밀폐된 형상들(즉, MSER에 의해 발견되는 내부 토폴로지 "홀들"을 제거하기 위한 형상들 내의 형상들)을 제거하며, 이어서 (이상치들을 제거하기 위해) 평균 높이와 상당히 상이한 수직 높이를 갖는 임의의 나머지 피처들을 제거한다. 최적의 거부 임계치들을 선택하는 데 있어 상당한 기술이 사용되어야 하는데, 왜냐하면, 충분한 잔여 샘플들이 거의 없을 때 표준 편차가 평균을 쉽게 초과할 수 있기 때문이다; 그러나, 포커스 모델(아래)을 개선할 때 취해진 액션들은 차선의 설정의 부정적인 영향을 개선하는 역할을 한다.
[0142]
이러한 필터링 동작들의 결과로서, 나머지 형상들의 통계는 pdf에서 원래 검출된 피크의 통계와 상이하다. 그러나, 후보 피처들의 풀은 이제 높이 및 포지션의 관점에서 자기-일관적(self-consistent)이다. 카메라 센서 평면과의 수평 정렬로부터 큰 편차들을 갖는 장면들은, 수직 중심들이 회전에 의해 확산될 때 발생하는 pdf의 스미어링으로 인해, 위에서 설명된 프로세스에서 자동으로 프루닝된다는 것이 주목된다.
장면 모델
[0143]
장면 분석(582)의 최종 출력은 주로 2개의 숫자들: 풀에 남아 있는 객체들의 추정된 높이(이는 물론, 있다면, 필요한 줌의 양을 결정함) 및 이러한 객체들이 실제로 텍스트 또는 텍스트형 구조들의 행을 표현하고 통계적 플루크 및 랜덤 잡음의 결과가 아닌 통계적 신뢰도의 일부 측정치이다. 이 값들의 쌍은 단일 이미지에 기초한 통계적 스냅 샷인 장면 모델(583)을 포함한다. (이러한 2개의 수들에 기여한 특징들의 최종 세트는 또한 모델의 일부로 간주될 수 있지만, 추가 분석 또는 결정들이 아닌 디스플레이 목적들만을 위한 것이다.)
[0144]
궁극적으로, 단일 장면 분석(582) 시도들로부터의 결과들은 광범위한 조건들에 걸쳐 반복 가능한 성능을 획득하기에 충분히 확고하지 않으며 ― 따라서, 포커스 모델(563)이 도입되며, 이는 아래에서 상세히 설명될 것이다. 그러나, 견고하고 직관적으로 합리적인 시작점은 프루닝 프로세스에서 잔존한 임의의 나머지 객체들의 총 폭에 비례하는 품질 스코어를 할당한다. 대안적인 메트릭은 최종 잔존 특징들에만 기인한 모든 pdf 피크들의 총 높이이다(그러나 이 메트릭은 프레임들에 걸쳐 비교될 수 있기 전에 신중하게 정규화되어야 함). 평행한 행들 또는 열들(또는 단락들)과 같은 고차 구조들이 직접적으로 고려되는 더 복잡한 버전의 장면 분석의 경우, pdf의 구조 및 일관성의 더 깊은 분석에 의해 유사한 통계 쌍이 유도될 수 있다(즉, 피크 위치들, 이들의 높이들 및 이들의 폭들 사이의 관계들).
모션 분석
[0145]
모션 분석 블록(570)은 전자 시각 보조 디바이스(510)의 모션을 측정하고 모션 모델(572)을 구성하는 다양한 센서들로부터 입력들을 취한다. 최소한, 갑작스러운 그리고/또는 총체적인 배향 변화들이 신속하게 검출될 수 있도록 센서 데이터 스트림은 사용자의 머리의 요(yaw) 및 피치(pitch) 축들 상의 각속도를 포함해야 한다. 가속도계 측정들은 또한 의미 있는 병진 모션의 유용한 표시자이지만, 선택적이다.
[0146]
이용 가능할 때, 눈 움직임을 보고하는 눈-추적 센서는 사용자의 진정한 FOA를 결정하는 데 있어서 명백히 대단히 가치가 있을 것이다. 이 데이터는 이러한 목적을 위해 조정자(560) 및 이미지 분석 블록들(580)에 포워딩될 수 있지만, 아래에서 설명되는 바와 같이 모션 모델(572)을 구축하는 데 또한 사용될 수 있다.
모션 모델
[0147]
적어도, 모션 모델(572)은 단순히, 웨어러블 케이스에서 카메라 및 착용자의 머리의 안정의 표시자이다. 이는 물론, 머리 배향의 변화들을 주목함으로써 결정될 수 있지만, 현대의 상용 센서 하드웨어는 (자이로스코프 측정들 이상의) 부가적인 하드웨어 및 비교적 고가의 프로세싱(예컨대, 확장된 ― 따라서 비선형적인 ― 칼만 필터)에 의해 증강될 때만 정확한 배향 측정들을 산출한다. 다행스럽게도, 유비쿼터스 고체-상태 자이로스코프들에 의해 생성된 각속도 판독들은 이들의 고유한 좋지 못한 장기 드리프트 특성들에도 불구하고 이러한 목적에 충분하다.
[0148]
충분히 높은 각속도가 나타날 때, 그것은 FOA의 갑작스러운 변화를 표시하는 날카로운 머리 모션을 항상 동반한다. 시각 보조 디바이스의 사용자에 의한 이러한 높은 각속도 움직임들 또는 FOA의 갑작스러운 변화들은, 시각 보조 디바이스의 사용자가 애니메이팅된 움직임에 관여하고, 따라서 시야 내의 어떤 것에 그들의 관심을 집중시키려고 의도적인 집중 또는 시도에 관여되지 않음을 결정하기 위해 또는 나타내기 위해 모션 모델에 의해 사용될 수 있다. 통상적으로, 자율 시스템은, 사용자가 애니메이팅된 움직임에 관여하는 동안, 비용 소모적인 계산들을 수행하거나 또는 프로세싱 또는 이미지 향상들(특히, 시야)에 대해 시각적으로 산만한 변화들을 행하기를 원하지 않는다. 반대로, 지각 가능한 간격에 걸쳐 유지되는 매우 작은 각속도 값들은 사용자에 의한 의도적인 집중, 또는 시야 내의 어떤 것에 집중된 관심에 관여하려는 사용자에 의한 시도로서 모션 모델에 의해 합리적으로 해석될 수 있다. 중간 각속도 값들은 판독, 스캐닝 또는 탐색 거동과 연관될 수 있다. 이들 거동들과 연관된 각속도들은 애니메이팅된 움직임 상태와 연관된 것들보다 낮지만, 시각 보조 디바이스의 사용자가 매우 정지되어 있는 포커싱된 관심 상태와 연관된 각속도들보다 더 높을 수 있다. 그럼에도 불구하고, 이러한 중간 각속도 값들, 이를테면, 판독, 스캐닝 또는 탐색 거동과 연관된 것들은, 사용자가 의도적으로 시야 내의 어떤 것에 집중하고 있는 포커싱된 관심 상태에 있음을 나타내는 것으로서 모션 모델에 의해 여전히 해석될 수 있다. 애니메이팅된 움직임 상태와 대조적으로, 자율 시스템은 전형적으로, 사용자가 포커싱된 관심 상태, 이를테면 시야 내의 텍스트형 구조들, 얼굴들, 또는 흥미있는 다른 객체들을 자동으로 줌잉하거나 콘트라스트 향상을 적용하는 것에 관여할 때, 프로세싱 및/또는 이미지 향상들을 적용하기를 원하지 않는다. 아래에 도시된 바와 같이(도 2 및 첨부된 텍스트), 이 3-상태 모션 모델(572)은 그 단순성에도 불구하고 실질적인 자율 제어를 실현할 수 있다.
[0149]
가속도계 데이터가 이용 가능할 때, 모션 모델은 정지된 사용자 또는 움직이는 사용자를 신뢰성 있게 구별함으로써 추가로 개선될 수 있다. 이는, 특히 신속하게 이동하거나 계단 및 다른 장애물들을 지나갈 때, 움직이고 있는 개인의 시각적 특징들에 대해 극적인 요구되지 않은 변화들을 행하는 것이 바람직하지 않기 때문에, 유용한 구별이다. 가속도계들은 또한 균일한 모션과 가속된(불규칙적인) 모션 사이의 구별을 가능하게 하며, 따라서, 디바이스는 빠른 병진이 검출되더라도 차량에 타고 있는 승객에 대한 비전 변화들을 허용할 수 있다.
[0150]
눈 추적 정보(530)는, 이용 가능한 경우, 직접적으로 모션 모델의 일부가 아니라, 모션 모델과 동일한 목적을 제공하기 때문에 포함된다: 사용자가 현재 무엇을 하고 있는지에 대한 높은 수준의 설명인 활동 모델에 대해 기여한다. 큰 각속도 또는 가속도 측정들이 사용자가 아직 자신의 FOA를 안정화시키지 않았다는 것을 표시할 수 있는 것과 꼭 마찬가지로, 눈 움직임들은 또한, 디바이스가 전력을 절약하고 이미지 분석을 수행하는 것을 피할 수 있을 때를 알려준다.
[0151]
활동 모델
[0152]
모션 모델(572)이 단기 움직임의 스냅 샷인 반면(통상적으로, 수 개의 비디오 프레임들 또는 대략 50-250 밀리초 이하의 인터벌에 걸침), 활동 모델(562)은 의도를 수집하고 미래의 움직임을 예상하기 위해 긴 기간에 걸쳐 사용자의 모션들을 따르려는 시도를 나타낸다.
[0153]
가장 간단한 경우, 퇴보된 활동 모델(562)은 순간 모션 모델(572)을 포함한다; 이는 여전히, 복잡한 거동(도 3및 그의 첨부된 설명에서 예시됨) 및 만족스러운 사용자 경험을 산출할 정도로 충분히 강력하다. 그러나, 더 많은 계산 자원들의 소비는 상당히 더 정교함이 실현될 수 있게 한다. 예컨대, HMM(Hidden Markov Model)과 같은 머신 러닝을 적용하는 것은 시각 보조 디바이스의 사용자가 의도적인 집중 상태 또는 포커싱된 관심 상태에 관여하는 상황들과 연관된 다수의 상태들을 구별한다. 예컨대, (머리 및/또는 눈의) 좌우로의 움직임 또는 스캐닝과 같은 판독 모션들은, 사용자가 끊임없이 좌측으로부터 우측으로 판독하거나, 되돌아가거나, 다음 라인을 위해 하향 및 좌측으로 탐색하거나, 다음 대향 페이지로 이동하거나, 비-판독 거동으로 전환하는 것을 활동 모델(562)이 인식할 수 있게 한다. HMM들은 관측 이력과 잠정적으로 감지된 상태 전환 가능성을 고려하는 가능한 각 상태에 대한 통계 모델을 지속적으로 업데이트하여 높은 신뢰성을 달성한다. 이러한 방식으로 태스크들 및 서브태스크들 내외로의 병진들을 추적하는 것은, 사용자가 텍스트를 판독할 때와 다른 비-텍스트 구조들을 검사할 때 ACS(550)가 상이하게 반응할 수 있게 한다; 예컨대, 폰트 사이즈 측정에서의 노이즈로 인한 줌 레벨의 작은 변화들은, 퀀텀 립(quantum Leap)들을 제외하고는, 단락들로 조직화된 텍스트가 전형적으로 크기가 변화하지 않기 때문에, 완전히 억제될 수 있다.
[0154]
부가적인 공통 활동들 또는 거동들은 HMM들을 사용하여 인식 및 추적될 수 있다. 더욱이, 일반 HMM은, 특이한 사용자 특성들을 캡처하거나 또는 무시하기 위해 새로운 측정들로 ― 오프라인으로 또는 연속적으로 실시간으로 ― 업데이트되고 적응될 수 있다; 예는 불안정성(파킨슨 병 또는 다른 불수의적 움직임들)을 수용하거나 제한된 범위의 모션을 인식하는 것이다. 자율적인 변경 직후에 요청된 즉각적인 증분적 변경들과 같은 수동 사용 피드백은 또한 HMM들의 적응을 유도할 수 있다.
포커스 모델
[0155]
위에서 설명된 장면 모델(583)은 단일 이미지 프레임에 기반하는 2-파라미터 통계 모델이다. 포커스 모델(563)은 장면 모델(583)이 순간적으로 변할 때에도 점진적으로 유지되는 FOA의 콘텐츠들의 더 신뢰할 수 있는 표현이다. 포커스 모델의 가장 간단한 형태에서, 이는 여전히 오직 2개의 파라미터들: 추정된 크기 및 통계적 신뢰 수준을 포함한다. 그러나, 이들 값들은 연속적인 이미지 프레임들에 대해 업데이트되어, 시계열의 장면 모델 값들에 의해 드러난 트렌드들을 통합한다.
[0156]
장면 모델(583)이 (그 크기 추정에서) 극적으로 변할 때, 포커스 모델(563)은 리셋되고 후속하여 낮은 통계적 유의성을 갖는다. 장면 모델 크기 추정치가 비교적 낮은 신뢰도로도 일관되게 유지되면, 포커스 모델은 계속해서 신뢰도를 축적한다. 사이즈 추정치들의 약간의 변동들은, 모델을 수용하기 전에 모델을 업데이트하면서 더 오래된 추정치들보다 최근의 장면 모델들을 더 많이 가중하는 필터에 의해 수용된다.
조정기
[0157]
조정기(560)는 ACS(550)의 다른 모든 블록들을 함께 연결하여, 그들의 활동들을 조정하고, 그들의 자원들을 관리한다. 다양한 분석 및 모델 블록들에 의해 제공되는 정보를 결합하여, 조정기(560)는 사용자의 활동의 자신의 모델에 충분한 통계적 신뢰도가 존재할 때를 결정하고, 그것에 집중하여 디바이스의 상태의 변화를 개시하도록 구성된다. 그렇게 하면서, 조정기는 변경을 스케줄링하거나 실행하기 전에 임의의 액션의 바람직함과 안전성 둘 모두를 신중하게 측정한다. 조정기는 또한 사용자-개시 디바이스 제어들을 계속해서 추적하는데, 왜냐하면 특정 의도적인 사용자 입력들이 자율적인 결정들을 무시하고(override) 잠재적으로 지연시킬 수 있기 때문이다. 특히, 디폴트 뷰(아래에서 정의 됨)를 복원하거나 이미지 분석 및 자동 뷰 조정을 트리거하기 위해 수동 제어들이 제공된다. 이러한 입력들을 추적하는 것은 또한 중요한데, 왜냐하면 자율적 변경(autonomously-directed change) 후 즉시 요청되는 증분 수동 변경들은 자율적 결정에 대해 어느 정도의 사용자 불만족을 나타내는 수정 피드백을 제공하기 때문이며; 이러한 입력들은 자율 응답 특성들을 훈련시키고 업데이트하는 데 사용될 수 있다. 다수의 분석 타입들이 동시에 동작할 때, 조정기는, 전체 디바이스 상태가 일관되게 유지되는 것을 보장하기 위해, 각각 변경들을 요청하는 다수의 프로세스들(및 사용자) 사이에서 중재를 제공한다. 사용자 입력들과 자율 프로세스들 사이의 중재는, 별개로 개별적인 조정들보다는 관련된 변경들의 그룹들을 고려하고 거부(또는 수용)한다.
[0158]
도 3은 저전력 애플리케이션들에 특히 적합한 조정기(560)의 바람직한 하나의 실현을 위한 고레벨 흐름도이다. 이 흐름도는 자신의 알고리즘을 구현하는 디바이스를 동작시키는 인간의 거동에 대한 예측 모델을 구성하여, 디바이스가 착용자의 요구들을 예상하고 그에 따라 응답할 수 있게 한다. 이를 달성하기 위해, 디바이스는 머리-유도 카메라 회전의 저-정밀 자이로스코프 센서 측정들만을 필요로 하며, 절대 포지션/각도 추정치들, 장기 자이로스코프 안정성, 또는 진보된 데이터 융합 알고리즘들에 의존하지 않는다. 흐름도 및 수반되는 설명(아래)은 수치적 양들을 표현하기 위해 "큰(LARGE)", "작은(SMALL)", "높은(HIGH)", "낮은(LOW)", 및 "임계치(Threshold)"와 같은 정성적 또는 비-특정 라벨들을 일관되게 사용한다는 것이 주목되는데; 이들 파라미터들의 정확한 값들은 애플리케이션-특정 성능 트레이드 오프 목표들에 따라 선택되어야 하지만, 이들의 상세한 규격은 알고리즘의 이해를 위해 필수적이지는 않다.
[0159]
본원에 제시된 알고리즘(들)은 모든 프레임상에서 실행될 정도로 충분히 가볍다. 따라서, 흐름도에 따른 프로세싱은 새로운 비디오 프레임이 이용 가능하게 될 때마다 시작 블록(600)으로 시작할 수 있다. 그런 다음, 지연 타이머 상태 블록(601)은 (완료 블록(620)에서) 계산들을 즉시 종료할지 또는 프로세싱을 계속할지를 결정한다. 그것의 결정은 흐름도 구조에 내재된 상태 머신에 의해 유지되는 지연 타이머의 상태에 기반한다. 이 타이머는 이벤트들을 페이싱하고 전력 소비를 감소시키기 위해 의도적으로 설정되는데, 이는 지연 타이머가 만료를 향해 하향 카운트하는 동안 모든 계산들이 중단되기 때문이다. 지연 타이머가 만료되었거나 달리 비활성일 때, 계산은 CURRENT STATE 블록(602)으로 계속된다.
[0160]
현재 상태 블록(602)은 현재 동작 상태에 기초하여 2개의 경로들 중 하나를 선택한다. 2개의 가능한 상태들은 이동(MOVING) 또는 정지(STILL)이다. 일반적으로 말하면, 이동은 시작 시에 또는 전자 시각 보조 디바이스(510)에서 상당한 모션이 검출되었을 때 획득되고, 높은 신뢰도로 자동 뷰 업데이트 결정이 이루어지는 것과 동시에 전자 시각 보조 디바이스(510)가 충분히 정지 상태로 유지될 때까지 유효하게 유지된다. 정지 상태는, 일단 그러한 높은 신뢰도의 자동 뷰 변경 결정이 이루어질 때에만 진입하고, 전자 시각 보조 디바이스(510)의 충분히 크거나 확연한 움직임에 직면할 때까지 매끄러운 모션들(이를테면, 판독과 연관된 규칙적인 스캐닝)의 존재 시에도 지속된다. 현재 상태 블록(602)은 이동일 때 최근 모션 블록(603)으로, 또는 정지일 때 증가 모션 카운트 블록(610)으로 분기된다.
[0161]
블록들(603-609)은 모두 이동 상태와 연관된다. 최근 모션 블록(603)은 최근 과거에 걸친 각속도의 트렌드들을 고려하여, 모션 모델을 사용하여 단지 몇 개의 프레임들을 소급하여 보고, 검출된 움직임 패턴에 기반하여 3개의 웨이들 중 하나로 분기시킨다.
[0162]
큰 각속도의 경우, 머리 배향 및 수반되는 관심의 재배향의 갑작스러운 변화가 추론된다 ―리셋 줌 블록(604)은 뷰 특성을 공칭 설정(일반적으로 최소한의 처리와 거의 또는 전혀 확대하지 않은 광각)으로 재설정함으로써 이를 처리하여 사용자가 새로운 관심 포커스를 찾는 데 사용할 수 있는 가장 큰 시야를 제공한다. 지연 타이머는 또한 큰 값(통상적으로 1-2초)으로 설정되는데, 이는 사용자가 재배향하는 데 적어도 이 시간이 걸릴 것이기 때문이다. 뷰 특성들이 이미 이 공칭 포지션으로 세팅되어 있는 동안, 이 모든 것이 발생하는 것이 가능하다는 것이 주목된다; 이러한 조건은 알고리즘의 동작에 대해 투명하며, 문제를 야기하지 않는데, 블록(604)의 액션은 단순히 가시적인 변화를 생성하지 않는다.
[0163]
다른 한편으로, 모션 모델로부터의 매우 작은 각속도들은, 아마도 텍스트를 판독하거나 작은 특징들을 식별하려는 시도에서, 사용자가 안정된 포커스 또는 집중된 관심을 유지하려고 시도하고 있음을 나타낼 수 있다. 비디오 분석 블록(606)은 입력 비디오 프레임을 분석하고, 전처리를 적용하고, 그리고 도 2로부터의 이미지 및 장면 분석 동작들을 사용함으로써 이 가설을 확인하도록 구성된다. 이 프로세스는 사용자가 명백하게 포커스를 맞추고 있는 검출된 객체들 또는 구역들의 크기, 형상 및 분포의 완전한 특성화를 수행하여, 편안한 뷰잉에 필요한 최적의 배율의 크기를 추정하는 장면 모델을 생성한다. 장면 모델의 트렌드들은, 사용자가 시간이 지남에 따라 일관된 외관을 유지하는 객체에 의도적으로 포커스를 맞추고 있다는 높은 통계적 신뢰를 전개할 때까지 유휴로 대기하는 포커스 모델에 의해 캡처될 수 있다. 검출 신뢰도 레벨이 아직 충분하지 않으면, 검출 신뢰도 블록(607)은 계산을 종료한다. 신뢰도가 필요한 임계치를 위반하면, 줌 공급 블록(608)은 배율을 조정함으로써 추론된 줌 레벨을 적용하고 임의의 다른 관련된 뷰 변화들을 트리거링하는데; 이는 또한 현재 기준 배향으로서 현재 회전 상태(이는 임의의 절대 좌표계에 대해 알려질 필요는 없음)를 캐시한다. 모든 통계 리셋 블록(609)은 모든 통계들을 리셋하고 상태를 정지로 변경함으로써 임박한 배율의 변화를 준비한다; 이는 또한 지연 타이머를 큰 값, 통상적으로 2-4초로 설정하며 이 동안 계산들이 생략될 수 있는데, 왜냐하면 또 다른 갑작스러운 배율 변화가 일반적으로 바람직하지 않기 때문이다.
[0164]
검출 통계 리셋 블록(605)은, 최근의 각속도들이 매우 크지도 작지도 않았던 나머지 가능성을 처리한다. 이 경우, 사용자가 즉시 매우 정지 상태를 유지하더라도 추가 분석이 발생할 수 있기 전에 짧은 다루기 힘든 지연이 강제되도록, 모든 검출 통계들이 리셋되고, 지연 타이머가 보통의 값(통상적으로는 대략 1/2초)으로 설정된다.
[0165]
블록들(610-619)은 정지 상태와 연관된다. 블록(609)에 의해 트리거되는 이동으로부터 정지로의 전환을 제외하고, 지연 타이머는 과도 모션들의 누락된 검출들을 회피하기 위해 STILL 동안 결코 활성화되지 않음이 주목된다. 대신에, 연속적인 스틸 프레임들을 집계하고 자원 소모적인 계산들의 빈도를 제한하기 위해 모션 카운트가 유지된다. 모션 카운트 증가 블록(610)은 이 모션 카운트를 증가시킨다. 그 다음, 모션 카운트 임계치 블록(611)은 최신 모션 카운트를 임계치(전형적으로 0.25 내지 0.75초의 시간에 대응함)와 비교한다.
[0166]
모션 카운트가 충분히 크지 않으면, 비디오 분석이 발생하지 않을 것이다. 대신에, 활동 모델로부터의 최근의 과거(전형적으로 수 프레임 이하)에 걸친 최근의 회전 모션 경향들이 최근 모션 블록(612)에서 조사된다. 그러한 모션들이 충분히 작으면, 프로세싱은 완료 블록(620)으로 종료된다. 그렇지 않으면, 크거나 빠른 머리 모션이 검출되고 관심의 재배향이 추론된다; 그 다음, 줌 리셋 블록(613)은 뷰를 자신의 공칭 값으로 (블록(604)에서와 같이 정확하게) 리셋하고, 지연 타이머를 비교적 긴 지연(다시 블록(604)에서와 같이 일반적으로 1 내지 2초)으로 설정하고, 동작 상태를 이동 블록(614)으로 변경한다.
[0167]
반면에, 모션 카운트가 자신의 임계치를 초과하면, 기준 배향으로부터의 변경 블록(615)에 진입한다. 이 블록은 현재 디바이스 배향(즉, 기준 배향이 마지막으로 설정된 시간 이후 모든 자이로스코프 측정들로부터 누적된 회전 상태)을 기준 배향과 비교한다. 배향의 차이가 충분히 크면(전형적으로 요에서 10-12도 또는 피치에서 5-8도), 착용자의 관심 포커스가 마지막 기준 배향으로부터 (비록 매끄럽고 느려도) 상당히 표류되었기 때문에 정지=이동 블록(616)에 진입하여 동작 상태를 이동으로 변경한다. 그렇지 않으면, 비디오 분석 블록(617)은 모션 카운트를 리셋하고 최신 비디오 프레임의 이미지 및 장면 분석을 수행하여, 사용자의 관심 포커스 및 적절한 수반되는 뷰 설정을 결정하기 위한 시도로 모든 내부 모델들을 업데이트한다. 어떠한 변화도 아직 타당성이 없다면, 알고리즘은 완료 블록(620)에서 종료된다. 그렇지 않으면, 줌 업데이트 블록(619)은 뷰 설정을 업데이트하고 기준 배향을 현재 배향으로 리셋한다.
[0168]
유사한 이동-상태 블록들(606-608)에 대해 존재하지 않는 중요한 고려 사항은, 블록들(617-619)에서 더 일관되고 심미적으로 만족스러운 거동을 획득하기 위해, 줌 변경 블록(618)에 의해 행해지는 GO/NO-GO 결정에 내재되어 있다. 관찰되는 피처들의 크기의 추정치들은, 최적의 배율 레벨의 계산된 추정치로 후속적으로 전파되는 적당한 양의 랜덤 잡음 또는 체계적 에러를 항상 포함한다. 예측된 양이 현재 설정에 충분히 근접할 때(그러나 동일하지는 않음), 줌 설정을 너무 심하게 또는 자주 변경하는 것은 알고리즘이 실제 피처 크기 변경보다는 통계적 에러들에 응답하기 때문에 시각적으로 불쾌한 "호흡" 현상을 초래한다; 이는 작은 객체들(예컨대, 높이가 15-20 픽셀 미만이고, 여기서 단일 픽셀은 상당한 백분율 오차를 나타냄)을 측정할 때 빈번하게 발생한다. 눈에 띄는 레이턴시 패널티들을 발생시키지 않으면서 스퓨리어스 측정들로부터 실제 트렌드들을 분리하기 위해 휴리스틱스(heuristics)가 이용되어야 한다. 이는, 작은 변화들을 수용하기 위해 더 높은 통계적 신뢰도를 요구함으로써, 그리고 증분들 대 감소들에 대해 상이한 신뢰도 임계치들을 강제함으로써(예컨대, 작은 감소들보다 작은 증가들을 더 용이하게 수용함) 달성된다.
웨어러블 프래그머틱스(pragmatics)
[0169]
지금까지, 논의는 ACS가 사용자 FOA를 추론할 수 있는 방법 및 변경들을 개시하는 것이 적절한 때를 결정하기에 충분한 의도에 초점을 맞추었다. 필요한 배율의 크기를 계산할 필요성을 언급하는 것 외에 이러한 변화들의 특정 성질에 대해서는 거의 언급되지 않았다. 이는, 웨어러블 시각 보조기에서, 배율이 흥미있는 지배적인 파라미터이기 때문이다. 카메라가 머리와 록스텝(lockstep)으로 이동하기 때문에, 눈-추적 없이 FOA를 이미지의 작은 중앙 또는 다른 고정된 위치로 제한하는 것은 자연스럽고; 눈-추적을 이용하더라도, 추론되고 분석된 FOA는 작을 수 있다.
[0170]
필요한 배율의 크기는 선호되는 크기(통상적으로 판독이 편안해지는 크기)에 대한 사용자-의존적 설정을 유지함으로써 쉽게 결정된다. 검출된 피처 사이즈가 이 선호도보다 더 작을 때, 확대가 적용되어야 한다. 전형적으로, 그것이 선호도보다 더 클 때, 디스플레이되는 크기를 감소시킬 필요가 없다. 그러나, 일부 사용자들의 경우, 큰 텍스트가 또한 문제가 되고, 강제되어야 하는 최적의 크기가 있다. FOA 내의 객체들이 추가로 구별될 수 있다면, 상이한 선호되는 사이즈가 텍스트 대 다른 콘텐츠에 할당될 수 있다. 사용자가 자율적인 변경 후에 배율을 추가로 조정하도록 일관되게 통지되면, 저장된 선호도는 (이미지 품질이 또한 그 원래 크기에 의존할 수 있기 때문에) 잠재적으로 특정한 원래의 소스 크기에 대해서만 조건부로 자동으로 업데이트될 수 있다. 도 4a, 도 4b 및 도 4c는 전자 시각 보조 디바이스에서 선호되는 타겟 사이즈를 이용한 자율 확대의 동작을 보여준다. 교시의 목적들을 위해, 추가의 단순화된 가정은 관심 포커스가 항상 카메라 이미지의 중심을 향해 지향된다는 것이다.
[0171]
도 4a는 소스 카메라로부터 직접 취하여 디스플레이 상에서 사용자에게 보여지는, 텍스트만을 포함하는 장면의 프로세싱되지 않은 카메라 이미지의 예이다. 이 도면은 전자 시각 보조기의 임의의 수동 또는 자동 조정의 적용 이전의 장면의 디스플레이된 뷰를 예시한다. 여기서 예시된 텍스트는 폰트 크기들이 상이한 부분들을 갖는다. 특히, 텍스트 라인(801)은 특정 폰트 높이를 갖는 반면, 텍스트 라인(802)은 상이하고 약간 더 큰 높이를 갖는다. 논의의 목적들을 위해, 라인들(801및 802) 둘 모두 상의, 도 4a의 텍스트 모두가 사용자가 판독하기에 너무 작으며, 따라서 확대를 필요로 한다고 가정된다.
[0172]
예시적인 목적들을 위해, 자율 제어 시스템이 802로 라벨링된 디스플레이 상의 텍스트보다 50% 더 크고 801로 라벨링된 것보다 114% 더 큰 선호되는 타겟 사이즈로 이전에 구성되었다고 또한 가정한다. 그 다음, 확대를 위한 자율 제어 시스템이 체결되고 캡처된 카메라 이미지가 도 4a에 도시된 바와 같이 나타날 때, 자율 시스템은 디스플레이가 도 4b에서와 같이 나타나도록 배율을 자동으로 증가시킬 것이다. 여기서, 텍스트(804)의 출력 라인은 텍스트(802)의 입력 라인의 확대된 버전인 반면, 라인(803)은 소스 이미지로부터 라인(801)의 대응하게 확대된 버전이다. 라인(804)은 이제 선호되는 타겟 사이즈와 매칭하는 높이를 갖는다(즉, 적용된 총 배율은 50% 크기 증가를 위해 1.5배임). 만약 사용자가 보고 있는 텍스트 바로 근처로 카메라를 이동하려고 하면, 자율 시스템은 배율을 더 증가시킴으로써 응답하여 라인(804)을 선호되는 타겟 크기로 유지하도록 작동할 때 도 4b의 외관을 유지한다는 것이 주목된다.
[0173]
도 4a를 다시 참조하면, 라인(801)이 관심 포커스가 되도록 사용자가 카메라를 위로 패닝할 때, 자율 시스템은 부가적인 배율로 응답하여, 도 4c와 유사한 디스플레이를 초래할 것이다. 여기서, 텍스트(805)의 출력 라인은 라인(801)의 확대된 버전인 반면, 라인(806)은 소스 이미지로부터의 라인(802)의 확대된 버전이다; 이제, 총 적용된 배율은 114%의 크기 증가를 위해 2.14 배이다. 라인(805)은 도 4c의 디스플레이 상에서, 도 4b의 라인(804)이 갖는 것과 동일한 높이를 갖는데, 그 이유는 관심 포커스에서 검출된 구조들(예컨대,이 예에서는 텍스트)이 선호되는 타겟 크기를 충족시키도록 조정되기 때문이다. 수정되지 않은 이미지의 라인(802)이 라인(801)보다 더 크기 때문에, 라인(806)에서의 그 확대된 이미지는 실제로 타겟 크기를 초과한다.
[0174]
만약 사용자가 관심 포커스에서 뷰잉 라인들(801및 802) 사이에서 교번하기 위해 카메라를 반복적으로 패닝하면, 자율 제어 시스템은 도 4b 및 도 4c와 각각 유사한 디스플레이들이 결과적으로 발생하도록 배율을 조정함으로써 응답하도록 구성될 수 있다.
[0175]
이 문서에 대한 서론 요약에서, ACS는 확대 정도뿐만 아니라 FOV의 크기 및 성질을 제어할 수 있다는 것이 주목되었다. 2019년 5월 29일에 출원된 PCT 특허 출원 번호 제 PCT/US2019/034443호는, 뷰가 균일한 배율을 갖는 중앙 영역(원형, 타원형 또는 직사각형)으로 분할되고, 줌의 양이 가장자리에서 고정된 수준 (대부분 1 또는 배율 없음)으로 점차 감소하는 전환 영역으로 분할되고, 그리고 이 최종 고정 배율을 유지하는 주변으로 분할되는 방법을 설명했다; 이 분할된 구성은 전반적인 FOV를 손상시키지 않고 중앙에서 보다 쉽게 뷰잉을 위해 증가된 세부 사항을 제공하여 환경 및 상황 인식을 유지한다.
[0176]
여기서 상황은 상당히 더 유연하다: 이러한 파티셔닝의 파라미터들(즉, 감소된 배율로 전이 구역을 한정하는 내측 및 외측 형상들의 크기들)은, 이들이 정적으로 유지되거나 또는 몇 개의 이산 설정들을 갖는 것보다는 연속체에 걸쳐 변화되도록, 배율의 크기에 링크될 수 있다. 이러한 여분의 자유도는 자연스럽고 직관적인 뷰들을 가능하게 한다: 많은 양의 줌으로, 확대된 피사체를 보여주기 위해 더 많은 영역이 요구되고, 주변부의 콘텐츠들은 중요성이 감소된다. FOA 내의 객체들이 추가로 구별될 수 있다면, 예컨대, 텍스트 대 얼굴들 또는 다른 이미지 콘텐츠를 판독하기 위해 상이한 연속적으로 변하는 프로파일들을 적용함으로써, 뷰가 특정 태스크에 맞춤화될 수 있다.
[0177]
대안적으로, 확대된 구역의 사이즈는, 적어도 어떤 특정 사이즈 제한까지, 지배적인 검출된 피처들을 완전히 포함하도록 조정될 수 있다. 물론, (파티션들이 없는) 순수 확대 체제로의 폴백은 또한 궁극적인 저전력 옵션으로서 여전히 실행 가능하다.
[0178]
또한, 위에서 언급된 것은 "공칭 뷰(nominal view)"의 존재이다. 이러한 사용자-특정 구성은 그와 연관된 임의의 프로세싱을 갖거나 어떠한 프로세싱도 갖지 않을 수 있다; 선호도에 따라, 그것은 카메라 이미지의 수정되지 않은 사본을 초래하거나 또는 확대된 선택적 파티션 프로파일을 적용할 수 있다. 예컨대, 공칭 뷰에서 또는 공칭 설정들로 사용자에게 제시되는 비디오 이미지들은 실시간 이미지들에 적용된 실질적인 향상들 또는 조정들 없이 제시될 수 있다. 이러한 논의의 목적들을 위해, "실질적인 향상들"은 조정된 배율, 조정된 콘트라스트, 흥미있는 구조들의 확대, 흥미있는 피사체들에 대한 콘트라스트 향상들, 식별된 얼굴들의 배율 등과 같은 실시간 이미지들에 대한 현저한 향상들로서 해석될 수 있다. 실질적이지 않은 향상들은 컬러 보정, 밝기 보정, 노이즈 감소 등과 같은 사소한 또는 일반적인 이미지 프로세싱 개선들로 간주될 수 있다.
[0179]
본 개시 내용의 웨어러블 양상에서의 중요한 프래그머틱 양상은 타이밍에 관한 것이다. 지연들은, 디바이스가 피처 사이즈 또는 모션의 변화들에 신속하게 반응하도록 주의 깊게 튜닝되어야 하지만, 스퓨리어스 변화들이 산만하거나 혼동스러운 시각 효과들을 생성할 정도로 너무 빠르지는 않다. 가장 중요하게, 가시적인 양상들을 갖는 설정들이 순간적으로 변경되지 않아야 하는데, 이는 신속하게 구현된 시각 효과들이 사용자를 혼란스럽게할 수 있기 때문이다. 대신에, 배율, 파티션 반경들, 또는 다른 기하학적 파라미터들에 대한 변화들이 수 초의 기간에 걸쳐 점진적으로 완료되도록 애니메이팅될 수 있다; 이러한 느린 왜곡 프로세스에 내재된 호모 토피의 감각은 사용자가 일어나고 있는 것을 등록하고, 시각적 변화들의 최종 결과를 완전히 인식하고 예상하며, 잠재적으로 이를 취소할 수 있게 한다. 활성 애니메이션 타임스케일들은 또한 도 3의 흐름도 및 상태 다이어그램에 대해 설명된 다루기 힘든 기간들과 잘 맞물리도록 선택된다.
[0180]
마지막으로, 디스플레이된 이미지가 있으며, 이는 물론, 전자 시각 보조기의 비-자율 서브세트에 의해 제공되는 정상 프로세싱 및 ACS에 의해 선택된 관점들(확대 및 FOV) 둘 모두를 겪는다. 검출된 특징들 또는 이들을 요약하는 일부 간단한 구조들(이를 테면, 바운딩 박스)을 강조하는 시각적 표시자들을 (요청될 때 또는 그렇지 않으면 사용자 제어 하에서) 디스플레이하는 것이 유리할 수 있다. 이는 최신 장면 모델에 기여한 단지 최종 지배적인 특징들 이상으로 확장되며, 짧은 간격 동안 또는 (장면 콘텐츠가 변할 때 주기적인 업데이트들로) 지속적으로 (특히, FOA가 매우 크거나 전체 디스플레이를 포함할 때) FOA의 다른 특징들을 시각적으로 강조하는 것은 사용자의 눈(그리고 후속적으로 FOA의 중심)을 다른 관심 영역들로 안내할 수 있다.
보조 판독
[0181]
웨어러블 전자 시각 보조기들의 경우, 어떤 시각 결함이 존재하든 그렇지 않든, 카메라가 눈에 대한 프록시로서 작용한다고 위에서 가정되었다. 따라서, ACS는 FOA를 능동적으로 선택하거나 조향하지 않는데, 이는 착용자가 의도된 타겟을 향해 인조 눈을 향하게 하기 위한 (눈-추적의 부재시에) 자연스러운 경사를 갖기 때문이다.
[0182]
약간의 수정이 이 사용 모델과 호환 가능하게 유지되지만, 판독할 때 부가적인 레벨의 보조를 제공한다. 위에서 설명된 바와 같이, 은닉 마르코프 모델(Hidden Markov Model)이 판독의 활동을 인식하고 연관된 좌측에서 우측으로 그리고 우측에서 좌측으로 스캐닝 단계들을 추가로 구별하는 데 사용되면, 회전 모션 센서들은 평활화와 이러한 머리-스캐닝 모션들에 대한 증폭의 조합을 제공하는 데 사용될 수 있다.
분리된 카메라
[0183]
웨어러블 전자 시각 보조기들의 모든 이전의 처리는 포커스-추종-머리 패러다임에 등록되어 있다. 그러나 여전히 직관적으로 사용하기 쉬운 다른 실행 가능한 사용 모델이 있다. 이 대안적인 모드에서, 이미지 소스는 사용자의 눈들에 대해 견고하게 고정되지 않은 핸드헬드 카메라이고; 대신에, 사용자는 단순히 머리를 이동시킴으로써 편안하게 볼 수 없는 방향들 또는 로케일들의 이미지들을 캡처하도록 카메라를 포인팅함으로써 FOA를 직접 조작할 수 있다. 원격 이미지 소스는 시각 보조기에 사용하도록 특별히 의도된 전용 카메라 또는 디바이스, 마침 근처의 액세스 가능한 컴퓨터에 부착된 웹캠, 또는 무선 네트워크 연결을 통해 원격 스트리밍 비디오를 제공하는 애플리케이션을 실행하는 일반 모바일 폰 또는 태블릿일 수 있다(또는 대안적으로, 원격 디바이스는 웨어러블 전자 시각 보조기에 전체 또는 부분 제어를 다시 위임할 수 있음).
[0184]
이러한 양상은 원격-제어 항공기에 대한 "1인칭 뷰잉" 애플리케이션들과 다소 유사한데, 중요한 차이가 있다: 카메라가 타고난 운동 감각 및 고유 수용 감각들이 세계에 대한 배향을 유지하는 사용자에게 항상 견고하게 부착된다. 또한, 사용자는 결과적인 관점 시프트가 (사용자-요청되고 따라서 예상되기 때문에) 결코 너무 극적이거나 방향을 잃지 않을 것이라고 확신하면서 항상 표준 머리-구동 체제로 다시 스위칭할 수 있다. 원격 카메라의 추가적인 양상들에 대해서는 아래의 핸드헬드 디바이스들에 대한 섹션을 또한 참조하기 바란다.
[0185]
한편, 사용자는 검출된 피처들의 이미지 향상 및 자동 확대를 포함하여, 전자 시각 보조기에 의해 제공되는 프로세싱 및 분석 능력들의 전체 범위를 레버리지할 수 있다. 대안적으로, 그러한 특징들은 또한 원격 카메라의 프로세서 및 GPU 상에서 직접 달성될 수 있다. 부가적으로, 이제 사용자는 추가적인 조명, 이미지 센서, 및 렌즈 옵션들의 이익을 얻는다. 매우 일반적인 사용 사례는, 미세한 세부 사항들의 면밀한 검사를 수반하며, 이는 일반적으로 타겟의 인치들 내에 배치된 확대경을 사용하여 수행될 것이다: 이러한 상황에서 머리 장착 카메라가 제대로 작동하지 않는다 ― 매크로 렌즈 없이는 가까운 거리에서 포커싱하기가 어렵고, 머리 섀도잉으로 인해 피사체 상의 조명이 약해진다. 그러나 거의 모든 모바일 폰은 근접 포커스 매크로 능력들 및 광원을 제공한다.
[0186]
원격 카메라 소스를 사용하는 동안, (예컨대, HMM들을 통해) 특정 활동을 추론할 목적으로 머리 움직임들의 모션 센서 측정들이 무시되어야 하지만, 사용자가 자율적인 변화를 수용하는지 여부를 여전히 표시할 수 있음이 주목된다.
핸드-헬드 전자 시각 보조기들
[0187]
핸드-헬드 전자 시각 보조기는 본질적으로 웨어러블 디바이스와 동일한 하드웨어 및 소프트웨어를 포함하는 휴대용 디바이스이다 ― 따라서 이는 도 2 및 도 3에 도시된 속성과 이전에 논의된 성능을 공유함 ― 그러나 사용자의 머리 또는 눈들에 대한 고정된 포지션에 장착된 디스플레이들 또는 카메라들을 갖고 있지 않다(예컨대, 스마트폰 또는 태블릿의 디스플레이들 및/또는 카메라들은 사용자의 머리 또는 시선에 대해 고정된 포지션에 있는 경우가 거의 없음). 따라서, 그것의 사용 모델은 웨어러블들에 대해 선택적인 것으로 위에서 설명된 디커플링된 카메라 모드와 매우 유사한 것처럼 보일 것이다. 그러나, 폼 팩터의 변화는 이용될 새로운 자유도들 및 뉘앙스들을 도입한다.
[0188]
통상적인 폼 팩터는 핸드-헬드되거나 스탠드를 사용하여 즉석에서 지지되는 평평한 디스플레이 표면을 갖는 모바일 전화, 컴퓨팅 태블릿, 또는 태블릿형 디바이스이다. 이러한 논의의 목적들을 위해, 관절형 아암 상에 장착된 그러한 디바이스는, 그것의 달리 고정된 장착 지점에도 불구하고 손으로 포지셔닝되도록 의도되기 때문에 "핸드-헬드" 카테고리에 포함된다. 카메라(전형적으로는 단지 하나이지만, 위에서 설명된 바와 같이 더 많이 수용될 수 있음)는 디스플레이 표면으로부터 반대 방향을 향한다. 사용자의 머리 또는 눈들에 대해 고정된 관계가 없기 때문에, 디바이스를 머리 모션에 링크된 인조 눈으로서 취급하려는 자연스러운 경향이 더 이상 존재하지 않으며; 실제로, 디커플링된 카메라 모드에서와 같이, 그것의 FOA가 독립적으로 지향될 수 있다는 모든 예상들이 있다. 대신에, 디스플레이 및 카메라의 상대적인 위치들은, 디스플레이의 후방이 피사체를 향하게 하고 디스플레이를 직접 바라 봄으로써, 디바이스가 핸드헬드 돋보기처럼 취급되어야 함을 암시한다. 그것이 적절한 은유이지만, 이 구성은 실제로 자율 확대경 렌즈보다 훨씬 더 유연하다.
[0189]
웨어러블들의 경우, 연장된 연속적인 사용 동안 사용자를 혼란스럽게 하는 것을 방지하기 위해, 인간 눈의 정상 범위와 매칭하도록 디스플레이된 FOV를 제한하라는 압력이 있다. 핸드-헬드 디바이스들의 경우, 이는 더 이상 고려 사항이 아니며, 사용자 또는 디바이스가 FOA를 선택할 수 있는 가능한 가장 넓은 시야를 제공하는 디바이스로부터 사용자가 이익을 얻는다. 넓은 시야는 광각 또는 어안 렌즈에 의해 제공된다. 시각 보조기들이 되도록 특별히 설계되지 않은 상업용 태블릿들의 경우, 카메라는 특히 넓은 시야각을 갖지 않을 수 있다(대부분은 인간 FOV보다 상당히 넓음); 이러한 경우들에서, 사전 프로그래밍된 또는 적응적으로 계산된 렌즈 왜곡 특성들에 대한 보상(모든 컴퓨터 비전 툴박스들에서 발견되는 표준 절차)과 함께, 자석들 또는 클램프들에 의해 부착될 수 있는 저렴한 렌즈들이 쉽게 이용 가능하다. 디폴트 구성이 다루기 힘들거나 불편한 것으로 판명되면, 유사한 부착물들은 미러들을 사용하여 디스플레이에 대하여 카메라의 유효 시선 방향을 재지향시킨다.
[0190]
낮은 무게에 대한 감소된 필요성과 함께, 이러한 더 넓은 시야 및 웨어러블 디바이스의 것보다 물리적으로 훨씬 더 큰 디스플레이에 있어서, 더 큰 영역, 잠재적으로 전체 디스플레이에 대해 이미지 분석을 적용하는 데 필요한 추가 계산들을 수행하는 것은 경제적이게 된다. 완전한 모델들(장면, 활동 및 포커스 모델들)은 정의에 의해 사용자의 관심을 지배하는 단일의 선택된 FOA에 대해서만 유지될 필요가 있지만, 이미지 분석(또는 이의 감소된 버전)의 결과들은 스크린 상의 다른 곳의 다수의 잠재적인 흥미있는 영역들(텍스트 또는 다른 방식)을 강조하거나 이들에 관심을 끌 수 있다. 여기서, 감소되는 배율을 갖는 파티셔닝된 구역들의 포털형 효과는 더 큰 디스플레이와 상승적으로 결합된다: 사용자는 이제, 웨어러블 디바이스로 가능했던 것보다 더 많은 콘텍스트가 여전히 제공되면서, 확대된 영역을 편안하게 보는 능력을 갖는다. 이제, FOA의 크기가 또한 측정될 수 있고, 확대된 구역의 크기는 여전히 콘텍스트를 유지하면서, FOA를 더 많이 또는 전부 포함하도록 확장된다. ACS는 여전히 FOA 내에서 자율적으로 동작하지만, 그 FOA는 더 이상 중심이 되도록 제한되지 않는다. FOA를 변경하는 것은 수동 사용자-개시 작업이 되지만, 모든 다른 ACS 작업들은 새로운 활동: FOA가 변할 때마다 카메라를 자동으로 포커스를 맞추는 것과 함께, 개입 없이 계속된다.
[0191]
사용자 시선 방향을 카메라에 링크시키는 직접적인 연결 없이, 모션 모델은 상세한 사용자 의도를 캡처(예컨대, 판독하는 동안 하위-상태들을 추적함)하는 데 덜 중요해 지지만, 총 음직임을 검출하고 부적절한 시간에 컴퓨테이션들을 수행하거나 변경하는 것을 방지하기 위해 여전히 사용된다.
[0192]
디바이스가 손들에 의해 조작되도록 의도되기 때문에, 디바이스를 작동시키기 위한 버튼들 및 터치-스크린 시퀀스들의 사용은 자연스럽고 눈에 거슬리지 않으며; 그러한 제어들은 새로운 FOA를 선택하거나, 파티션들의 크기(예컨대, 테이퍼 프로파일 또는 확대된 영역의 폭)를 조정하거나, 또는 다른 조정들을 행하는 데 사용된다. 카메라들을 제어하거나 또는 태블릿들 또는 모바일 폰들 상에서 캡처된 사진들을 검사하는 것과 관련된 유사하거나 비슷한 조작들을 수행하기 위해, 직관적인 터치-기반 인터페이스들이 이미 널리 사용되고 있다.
[0193]
이전에 디스플레이의 주변부에 위치되었던 새로운 FOA를 향해 카메라를 배향시키는 것이 일반적으로 가능할지라도, 카메라와 디스플레이 사이의 고정된 관계는 종종 사용자가 디바이스를 편안하게 보기 위해 디바이스를 기울일 것을 요구할 것이다. 이는 변함 없이 눈 또는 카메라에 의해 직각으로 보이는 피사체에 대해 명백하지 않은 원근 왜곡을 초래한다. 선택적인 특징은 이미지 분석 태스크가 오프-축 뷰잉과 연관된 기하학적 트렌드들을 검출하고 보상 조정을 적용할 수 있게 한다. 유사한 능력이 폰-기반 문서 스캐너들에서 발견되지만, 그 기술은 텍스트의 라인들 및 단어들과 같은 더 미세한-스케일 피처들보다는 견고한 통계를 산출하는 대형 외부 형상들(예컨대, 종이) 상에서 동작한다. 게다가, 문서 스캐너들은 그 외부 형상 및 그의 정제된 콘텐츠들을 그들의 최종 제품으로서 취급하는 반면, 시각 보조 디바이스는 국부적으로-정제된 콘텐츠를 반드시 변환될 필요는 없는 더 큰 게슈탈트(gestalt)로 병합한다.
[0194]
기하학적 재투영은 또한, 태블릿으로 동시에 포인팅하고 보는 것을 더 편안하게 하기 위해 상이한 카메라 틸트를 시뮬레이팅하는 데 사용될 수 있다; 여기서, 카메라 이미지와 연관된 고정된 비-중앙 FOA는 디스플레이의 중앙에 도시되고, 시뮬레이팅된 카메라 각도와 실제 카메라 각도 사이의 기하학적 구조의 차이를 보상하기 위해 변환된다.
[0195]
마지막으로, 폰 또는 태블릿 플랫폼 상에 구축된 시각 보조 디바이스 상에 포함시킬 다른 특징은, 동일한 디바이스 상에서의 추후의 "플레이백" 및 검사를 위해 카메라 이미지로부터 촬영된 스냅 샷들을 기록하는 능력이다. 이는 단순히 캡처된 디지털 사진들을 보는 것과 또는 가상 현실 안경 또는 다른 웨어러블 시각 보조기들에서 발견되는 "고정 및 조사" 모드들과 구별될 수 있는데, 왜냐하면 ACS 능력들을 포함하는 전체 범위의 분석 제어들이 이미지에 적용될 수 있기 때문이다 ― 차이는, 입력이 더 이상 라이브 비디오가 아니기 때문에 모션 입력들이 무시되어야 한다는 것이다.
장착된 전자 시각 보조기들
[0196]
여기서, "장착된"은 반드시 완전히 움직이지 않는 것을 의미하는 것은 아니며, 단지 디스플레이가 일반적으로 통상적인 사용 과정 동안 이동되도록 의도되지 않는다는 것을 의미한다. 통상적인 폼 팩터는 터치스크린을 갖는 컴퓨터 모니터와 유사할 것이며, 여기서 디스플레이 표면은 편안한 뷰잉을 위해 사용자를 향하도록 조정될 수 있지만, 디스플레이 표면이 피사체 또는 장면을 향해 운반되거나 지향될 것이라는 예외는 없다. 이 폼 팩터에서, 컴퓨팅 파워, 디스플레이 크기 및 해상도는 저렴한 자원들이다. 유사하게, 배터리 용량 및 전력 소비는 중요하지 않은 요인들이다.
[0197]
일부 주요 변화들 및 새로운 기회들은 고정된 동작으로부터 비롯된다. 첫째, 모션 센서들은 더 이상 필요하지 않거나 유용하지 않다. 대신에, 터치스크린-기반 제어인터페이스만이 FOA의 선택을 드라이빙한다. 카메라는 디스플레이의 후방에 장착될 필요가 없다 ― 카메라는 완전히 별개이거나, 완전히 휴대 가능하거나 또는 재배치 가능한 마운트 상에 있을 수 있다. 다수의 사용자들이 카메라를 공유하거나 다수의 카메라들 중에서 선택할 수 있는 교실 설정들 또는 다른 상황들에서, 이미지 소스들은 벽 상에 또는 원격 위치에 장착될 수 있다. 이제, 상이한 카메라 위치를 시뮬레이팅하기 위한 고해상도 카메라, 교정된 광각 또는 어안 렌즈, 및 풀-프레임 원근 보정의 사용이 가장 중요하다. FOA를 선택하기 위한 터치스크린 제어들은 사용자가 (더 넓은 센서 당 FOV를 위해 그것을 교환하는 대신에 고해상도를 유지하기 위한 방법으로서) 부분적으로 겹치는 뷰들을 갖는 다수의 카메라들로부터 잠재적으로 어셈블링되는 넓은 영역에 걸쳐 가상으로 패닝할 수 있게 한다. 이러한 능력들의 추가로, 룸 내의 상이한 위치들에 있는 사용자들의 그룹은 소수의 카메라들을 공유하고, 그들의 고정-장착 디스플레이들만을 사용하여 휴대용 핸드헬드 전자 시각 보조기의 동작을 시뮬레이팅할 수 있다.
[0198]
이러한 변화들 중에서, 텍스트 또는 다른 흥미로운 콘텐츠를 포함하는 잠재적인 FOA들에 관심을 기울이고, 선택된 1차 FOA에 대한 배율 및 다른 뷰 특성들의 자동 설정을 제공하기 위해, 위에서 설명된 (모션 검출 및 모델링 이외의) 동일한 ACS 알고리즘들 및 동작들이 계속 적용가능하다.
향상된 감지
[0199]
MSER-기반 피처 검출은 매우 낮은 자원 비용으로 우수한 성능을 제공한다. 적절한 자원들이 이용 가능할 때, 더 정교한 장면-분석 기법들에 대한 입력으로서 미가공 MSER 출력들을 사용함으로써 위에서 설명된 프레임 워크를 활용하거나 또는 부가적인 분석 방식들을 소스 이미지들에 직접 적용하는 것은 간단하다. 병렬 분석들의 결과들은 조정자에 의해 결합될 수 있고, 결정을 내리기 전에 더 복잡한 모션 큐들과 융합될 수 있다. 이러한 방식으로, 시각 보조기는 근본적으로 상이한 상황들(예컨대, 텍스트 대 인간 얼굴들)에 대해 질적으로 상이한 방식들로 자동으로 반응할 수 있다. 더 중요하게, 기계 학습 기반 인식의 도입은 상호 작용하는 사용자 피드백에 기반한 사용자 선호도들 및 특이성들에 적응할 가능성을 가져온다.
자율 콘트라스트 제어
[0200]
이 문서의 이전 섹션들은 자율 제어를 위한 일반적인 프레임워크를 설명했지만, 주로, 확대 및 시야의 자율 조작에 대한 특정 애플리케이션에 초점을 맞추었다. 동일한 프레임 워크 상에 구축된 콘트라스트를 향상시키기 위한 대응하는 자율 시스템이 본원에 제시된다. 그것은 독립형으로 또는 확대를 위해 이전에 설명된 자율 시스템과 상승적으로 동작할 수 있다.
[0201]
이미지에 실시간 콘트라스트 향상을 적용하기 위한 많은 방법들이 있다. 잘 확립된 기법들 중에는, 단순 콘트라스트 스케일링(이는 중성 회색으로부터 더 멀리 비례적으로 각각의 이미지 픽셀의 휘도를 선형적으로 조정함), 휘도에 단조 함수를 적용하는 선형 및 비선형 콘트라스트 스트레칭(임의의 감마 프로파일 조정을 포함함), 언샤프 마스킹 및 유사한 형태들의 에지 향상이 있다. 이들 방법들 모두는 한 번에 단일 타겟 픽셀에 대해 동작하거나 타겟 픽셀을 둘러싸는 작은 이웃의 픽셀들을 사용하는 것으로 이들의 계산들을 제한하는 비교적 복잡도가 낮은 효율적인 GPU-기반 구현들을 갖는다. 각각은 콘트라스트 향상의 양 또는 다른 특성(들)을 변화시키는 파라미터들에 의해 제어되는 하나 이상의 자유도들을 갖는다. 콘트라스트 향상 방법의 파라미터들이 시간이 지남에 따라 변하거나 단일 이미지 내에서 공간적으로 변하게 하는 것은 구현 복잡성에 크게 영향을 미치지 않는다. 그러나 각각의 타겟 픽셀에 또는 심지어 전체 이미지에 전체적으로 적용할 최적의 양의 콘트라스트 향상을 결정하기 위해 이미지를 분석하는 것은, 본질적으로 사실상 순차적인 프로세스를 통해 이미지 통계들, 이를테면 히스토그램들의 수집을 일반적으로 요구하기 때문에, 컴퓨터 자원 소모적이고, 따라서 현대의 병렬 GPU 아키텍처들에 적합하지 않다.
[0202]
그러나, 확대의 자율 제어를 실행하기 위한 위에서 설명된 시스템들이 이용 가능할 때, 인터랙티브 사용자들을 위한 적절한 레벨의 콘트라스트 향상을 자동으로 선택하는 부가적인 태스크가 단순화되는데, 그 이유는 줌하기 위한 go/no-go 결정은 물론 필요한 배율의 크기의 결정을 초래하는 중간 분석 제품들이 추가 분석들에서 사용하기 위해 이용 가능하기 때문이다. 이들 중간 컴퓨테이션들은 FOA의 콘텐츠들 및 착용자가 검사하고 있는 오브젝트들의 구조에 관한 상당한 정보를 제공한다. 위에서 설명된 바와 같이, 이는 개별적인 픽토그램들 또는 단어들의 위치들 또는 바운딩 박스(bounding-box)들을 포함할 뿐만 아니라, 임시 단어들 또는 인접한 형상들을 별개의 행들로 그룹화하고, 시끄러운 또는 일관되지 않은 데이터를 거부하고, 시간의 경과에 따라 그리고 본 장면의 콘텐츠가 변함에 따라 그 결정들의 신뢰성을 평가하는 추가적인 프로세싱을 포함한다.
[0203]
텍스트 또는 텍스트형 구조들이 FOA 내에서 검출될 때, 배율이 또한 조정될지 여부에 관계 없이, 사용자가 이러한 구조들을 조사할 의도가 있고 그 구조들에 콘트라스트 개선이 우선적으로 적용되기를 원한다고 가정하는 것이 합리적이다. 콘트라스트 향상 또는 조정의 타입 및/또는 크기를 결정하는 데 고려될 팩터들은, 향상될 이미지의 타입(예컨대, 에지 향상에 매우 적합한 텍스트 또는 라인 드로잉들과 같은 선명하게 묘사된 광도 변화들을 갖는 미세 패턴들 대 실제 로컬 콘트라스트 조정을 통해 더 양호하게 향상되는 더욱 점진적으로 변화하는 자연 패턴들), 향상될 피처들의 크기(자율 확대 시스템에 의해 잠재적으로 측정됨), 적용되는 배율의 크기(자율적이든, 수동적이든), 우세한 전경과 배경 광도들 사이의 기존 콘트라스트, 밝은 배경에 대해 어두운 전경이 있는지 또는 그 반대인지, 그리고 배경이 단순한 지(예컨대, 단일 솔리드 컬러) 또는 복잡한 지(예컨대, 텍스트가 패턴 또는 자연 이미지를 오버레이할 때)를 포함한다. 존재하는 모션(예컨대, 머리 모션)의 양 및 타입은 또한 원하는 팩터일 수 있다.
[0204]
FOA 내의 잘 적격화되고 신뢰성 있게 식별된 구조들의 범위에 걸쳐서만 이들 팩터들을 정량화함으로써 컴퓨팅 복잡성은 크게 감소된다. 달성 가능한 복잡성의 감소는 일련의 도 5a, 5b, 5c 및 5d에 예시된다.
[0205]
도 5a는 확대의 자율 제어를 목적으로 밝은 배경에 대한 일부 어두운 텍스트의 이미지의 분석의 가능한 결과를 도시한다. 직사각형들(900-906)은 본질적으로 텍스트 또는 텍스트형인 것으로 결정된 구역들을 나타낸다. 이 예에서, 직사각형들은 개별 단어들을 호출하지만, 실제로는 밀접하게 이격된 단어들이 종종 병합되고, 개별적인 문자들이 때때로 개별적으로 검출되거나 생략된다 ― 이러한 세부 사항들은 이 논의의 성질 또는 결과들을 실질적으로 변경하지 않는다; 중요한 점은, 이미지 분석이 이미 뷰어가 흥미를 가질 가능성이 있는 특징들을 식별하여, 행-형 형성들에서 발견되는 일관된 크기들을 갖는 형상들을 유지하면서 잡음 및 이상치들을 폐기한다는 것이다. 이들 직사각형들은 높이가 균일하지 않다는 것이 주목된다; 직사각형들(900)은 최소 높이를 갖는 한편, 직사각형들(901및 904)은 텍스트의 어센더(ascender)들로 인해 더 크다. 유사하게, 직사각형들(902및 903)은 폰트베이스 라인 아래로 연장되는 디센더(descender)들 및/또는 구두점을 포함하기 때문에 더 높고 하향으로 시프트된다. 형상(905)은 그 높이를 연장하는 대문자를 포함하고, 단어(806)에 대한 직사각형은 어센더들 및 디센더들 둘 모두의 효과들을 결합한다.
[0206]
도 5b는, 형상 검출의 결과들에 의해 통지될 때, 이미지의 최소 수의 픽셀들만을 조사하면서, 검출된 객체들에 대한 콘트라스트 세팅들을 최적화하는 데 필요한 모든 정보가 어떻게 획득될 수 있는지를 도시한다. 파선들(911및 912) 각각은 그들 각각의 행들에 포함된 모든 직사각형을 통과한다. 그러한 라인을 따라 나뉘는 픽셀들만을 분석하는 것은, 검출된 텍스트의 뷰잉을 향상시킬 콘트라스트 스트레치 또는 다른 콘트라스트 조정을 지원하기 위해 배경 및 텍스트 사이의 이미지 광도의 분포에 관한 충분한 통계 정보를 제공한다. 단일 검출된 행(예컨대, 가장 중앙 또는 가장 큰 수평 범위를 갖는 행), 또는 모든 검출된 행들의 임의의 서브세트에 대한 결합된 통계가 이러한 목적을 위해 사용될 수 있다. 검출된 형상들 근처에 위치되지만 어떠한 검출된 형상들도 포함하지 않는 라인들, 이를테면, 913, 914, 또는 915 상의 픽셀들을 조사함으로써 (라이트-온-다크 대 다크-온-라이트를 결정하기 위해) 전경 및 배경이 구별될 수 있다.
[0207]
도 5b에 도시된 바와 같이, 검출된 형상들이 진정으로 평범한 배경에 대해 텍스트를 포함할 때, 작은 수의 라인들을 따르는 픽셀들만의 사용은 신뢰할 수 있을 것이다. 도 5c 및 5d에서 입증된 바와 같이, 더 많은 픽셀들을 조사하는 것은 계산 비용의 단지 적당한 증가로 개선된 결과들을 제공할 것이다. 예컨대, 923, 924및/또는 925와 같은 작은 직사각형 영역들(이들은 검출된 콘텐츠에 대한 이들의 근접성으로 인해 "배경"만을 포함하는 것으로 합리적으로 가정됨)의 스펙트럼 콘텐츠 및/또는 웨이블릿 분해를 분석함으로써, (이를테면, 텍스트가 실외 세계로부터의 이미지를 오버레이할 때 발생할) 복잡한 배경의 존재 및 성질이 검출될 수 있다. 직사각형 영역들의 유사한 분석, 이를테면, 921(행의 모든 형상들에 공통인 수직 영역들만을 포함함), 922(행 내의 임의의 형상이 차지하는 모든 수직 영역들의 결합을 통합함), 또는 931(모든 검출된 형상들의 제한들의 결합을 포함함)은 텍스트와 비-텍스트 콘텐츠(이를테면, 멀티 컬러 아이콘들 또는 버튼들)를 신뢰성 있게 구별하기 위해 설명되었다. 1차원 전경 라인(이를테면, 911 또는 912)을 따르는 픽셀들의 스펙트럼 또는 웨이블릿 분석은 또한 텍스트를 비-텍스트와 구별하는 데 사용될 수 있지만, 광범위한 장면 조건들에 걸쳐 일관된 결과들을 산출할 가능성이 없다.
[0208]
제한된 영역의 분석은 그 제한된 영역에 대해 최적이거나 거의 최적이며, 아마도 전체 이미지가 아니라면 인근 영역들에 적합한 콘트라스트 설정들 또는 조정들의 신속한 계산을 가능하게 한다. 그러한 설정들은 (전체 디스플레이된 이미지에) 전체적으로 적용될 수 있거나, 분석된 영역 및 FOA의 일부 또는 전부를 포함하는 일부 영역으로 제한될 수 있거나, 또는 최적의 컴퓨팅된 설정들이 주변 영역들에서 지정된 디폴트 또는 중립 설정을 향해 점진적으로 트렌딩하면서 FOA의 일부 또는 전부에 적용되도록 테이퍼링된 프로파일을 나타낼 수 있다. 콘트라스트 설정이 위치에만 기반하여 계산되고 영향을 받는 픽셀들의 콘텐츠들 또는 통계들에 의존하지 않기 때문에, 이러한 공간적으로 동적인 프로파일과 연관된 상당한 부가적인 계산 부하가 없다.
[0209]
수반되는 자율 확대 시스템의 분석 제품들을 레버리지하는 자율 콘트라스트 제어 시스템은 자율 확대를 위해 여기서 이전에 설명된 동일한 도 2의 프레임 워크 내에 피팅된다. 둘 모두가 존재할 때, 거의 모든 이들의 기능이 공유될 것이다. 예외는, 아래에서 설명되는 바와 같이 (자율적 콘트라스트가 시스템에 존재하는지 여부에 따라) 증강되거나 대체될 조정자 블록(560)이다.
[0210]
다른 한편으로, 자율 배율이 전혀 존재하지 않으면(또는 디스에이블되면), 도 2와 동일한 블록도를 갖는 효율적이고 복잡도가 낮은 자율 제어 시스템을 실현하는 것이 여전히 가능하다. 자율 확대에 의해 제공되는 진보된 분석 없이, 이미지 분석(580), 장면 분석(582) 및 장면 모델(583)에 대한 새로운 구현들이 제공되어야 한다. 하나의 간단한 구현은 지정된 FOA 내의 픽셀들만을 조사한다. 위에서 설명된 바와 같이, 이 FOA는 고정되거나, 사용자에게 맞춤화되거나, 콘텍스트-의존적이거나(예컨대, 모션, 배율 및/또는 최근 활동에 기반하여 조정됨), 또는 심지어 (예컨대, 눈-추적을 이용하여) 실시간으로 재배치될 수 있다. 디스플레이된 FOA에서 팩터 M만큼 확대된 것으로 도시된 가시적 이미지가 실제로 분석할 M2배 더 적은 픽셀들을 포함하기 때문에, 기존의 배율의 고려는 복잡성을 감소시키는 데 특히 유용하다. 단순화된 자율 콘트라스트 제어 시스템은 (예컨대, 스펙트럼 또는 웨이블릿 분석을 통해) FOA가 잘 정의된 에지들(이를테면, 텍스트 또는 라인 드로잉들)을 갖는 상당한 고주파 콘텐츠를 포함하는지, 아니면 매끄럽게 변하는 이미저리를 포함하는지만을 결정하려고 시도할 것이다; 이는 장면 모델링 노력의 정도이다. 텍스트가 표시되면, FOA 히스토그램 통계의 추가 분석은 컴퓨팅된 콘트라스트 설정들의 미세-튜닝 및 라이트-온-다크 대 다크-온-라이트 렌더링의 검출을 허용할 것이다.
[0211]
따라서, 자율 확대가 존재하는지 여부에 관계 없이, 위에서 그리고 도 2에서 설명된 프레임워크는 자율 콘트라스트 조정에 적용될 수 있고, 나머지 논의는 두 경우들을 투명하게 포함한다. 도 6은, 자율 확대가 이용 가능하든 아니든, 그리고 또한 자율 확대가 이용 가능하지만 디스에이블될 때 작동하는 자율 콘트라스트 제어를 위한 저-복잡성 조정기(560)의 고레벨 동작을 도시하는 흐름도의 일 예를 도시한다. 자율 시스템들 둘 모두가 존재하면, 이 흐름도는 도 3의 흐름도에 의해 표현된 프로세스와 병렬로 동작하는 조정자 프로세스를 나타낸다.
[0212]
도 3에서와 같이, 도 6의 흐름은 각각의 새로운 비디오 프레임의 시작에서 블록(700)으로 시작한다. 블록(701)은 현재 배율 레벨이 단위 레벨보다 큰지 여부에 따라 2개의 프로세싱 경로들 사이에서 결정을 내린다. 배율이 있을 때, 블록(730)으로의 좌측 분기가 취해진다; 그렇지 않으면, 현재 어떠한 배율도 존재하지 않으며(즉, 단위 배율이 우세함), 블록(710)에 대한 우측 분기가 취해진다.
[0213]
비 배율에 대응하는 이 우측 브랜치에 대해, 블록(710)은 자율 확대 시스템이 현재 비디오 프레임에 대한 배율의 변화를 요청했는지 여부를 알기 위해 체크한다. 시스템에 자율 확대 능력이 없거나, 시스템이 존재하지만 디스에이블되거나 또는 그러한 요청을 하지 않았다면, 동작은 블록(720)으로 계속된다. 그렇지 않으면, 블록(712)은 자율 확대 시스템에 의해 생성된 중간 생성물들의 결과들을 조사하고, 콘트라스트 조정을 위해 분석될 이미지의 FOA 내의 관련 픽셀들의 세트를 결정하기 위해 사전-적격화된 구조들(검출된 형상들 및 행들 또는 열들)을 사용한다. 그런 다음, 블록(714)은 (예컨대, 통계적, 스펙트럼 및/또는 웨이블릿 기술들을 사용하여) 이들 픽셀들의 분석을 수행하고, 블록(716)은 뷰잉에 최적인 것으로 결정된 새로운 콘트라스트 세팅들을 컴퓨팅한다. 그런 다음, 이러한 설정들은 블록(770)으로 전달되며, 블록(770)은 아래에서 설명되는 바와 같이 가장 최근의 콘트라스트 설정을 적용한다.
[0214]
관련 픽셀들을 결정하기 위한 특정 프로세스가 임의의 주어진 경로를 선택하게 된 상황 및 콘텍스트에 따라 상이할 수 있기 때문에, 블록(712)은 대안적인 프로세싱 경로들 상의 유사한 블록들(722, 732, 및 742)과 구별된다는 점이 주목된다. 마찬가지로, 유사한 블록들(714, 724, 734, 및 744)은 분리되는데, 그 이유는 수행되는 분석의 타입이 (예컨대, 자율 배율로부터의) 사전-적격화된 분석 제품들이 이용 가능한지 여부, 임의의 확대가 활성인지 여부, 및 다른 맥락적 단서들에 의존하기 때문이다. 마지막으로, 아날로그들(716, 726, 736및 746)은 또한 구별되는데, 그 이유는 콘트라스트 향상 타입들에 대한 이용 가능한 선택들 및 이들의 파라미터들을 컴퓨팅하는 방법이 또한 콘텍스트-의존적일 수 있기 때문이다.
[0215]
블록(720)은 현재 배율이 없고 배율을 증가시키기 위한 자율 배율 시스템으로부터의 요청이 없을 때 프로세싱을 계속한다. 이 경우, (디바이스 상의 모션 센서들에 의해 , 이미지 분석에 의해, 또는 다른 부차 정보에 의해 결정되는 바와 같이) 최근 측정된 모션에 기반하여 결정이 이루어진다. 큰 또는 갑작스러운 모션들이 존재할 때, 사용자는 디스플레이된 이미지에 의도적으로 포커스를 맞추지 않는 것으로 가정되고, 따라서 자율 콘트라스트 시스템은 블록(766)에서 지정된 중립 또는 디폴트 콘트라스트 설정들을 선택함으로써 효과적으로 리셋된다. 모션이 매우 작으면, 사용자는 디스플레이를 보는 데 집중하는 것으로 가정된다; 그런 다음, 블록(722)은 FOA의 관련 픽셀들을 (자율적 배율 분석 제품들의 이익 없이) 결정하고, 블록(724)은 (예컨대, 통계적, 스펙트럼 및/또는 웨이블릿 기술들을 사용하여) 그러한 픽셀들을 분석하며, 블록(726)은 그 분석의 결과들은 물론 적절한 업데이트된 콘트라스트 세팅들을 계산하기 위한 현재 콘트라스트 세팅들에 대한 지식을 사용한다. 큰 모션과 중간 모션 둘 모두에 대해, 계산된 설정들은 아래에서 설명되는 바와 같이 가장 최근의 콘트라스트 설정을 적용하는 블록(770)으로 전달된다. 블록(720)에 대해 제3 경우가 존재한다: 고정된 관심 또는 의도적인 움직임들 중 어느 것도 결정적으로 내포하지 않는 중간 최근 모션들은 판독 또는 스캐닝 거동과 연관되는 것으로 가정되고, 콘트라스트 설정들에 어떠한 변화도 초래하지 않으며; 이어서, 다음 비디오 프레임이 도달할 때까지 프로세싱은 블록(780)에서 종료된다. 최근의 모션을 "큰", "작은", 또는 "보통"(중간)으로 분류하는 것은, 이들이 모션 모델 블록(도 2의 572)의 출력을 고려할 수 있기 때문에, 임의적으로 복잡할 수 있음이 주목된다.
[0216]
블록(701)을 떠나는 좌측 브랜치에 대해, 배율의 존재에 대응하여, 블록(730)은 자율 배율이 인에이블되는지 여부를 체크한다. 그것이 디스에이블되거나 존재하지 않을 때, 프로세싱은 블록(740)으로 계속될 것이다. 그것이 인에이블되면, 블록(731)은 자율 배율 시스템이 현재 프레임 상에서 자신의 분석 결과들을 업데이트했는지 여부를 체크한다. 그렇지 않다면, 다음 비디오 프레임이 도달할 때까지 프로세싱은 블록(780)에서 종료된다. 새로운 정보가 이용 가능할 때, 블록(732)은, 바람직하게는 도 5a 내지 도 5d에 예시된 효율적인 기술들의 조합을 이용하여, 분석할 소스 이미지로부터 픽셀들의 관련 서브세트를 결정하기 위해 연관된 형상들 및 데이터 구조들을 사용한다. 그런 다음, 블록(734)은 (예컨대, 통계적, 스펙트럼 및/또는 웨이블릿 기술들을 사용하여) 픽셀들의 이 세트를 분석하고, 블록(736)은 뷰잉에 최적인 것으로 결정된 새로운 콘트라스트 세팅들을 컴퓨팅한다. 그런 다음, 이러한 설정들은 블록(770)으로 전달되며, 블록(770)은 아래에서 설명되는 바와 같이 가장 최근의 콘트라스트 설정을 적용한다.
[0217]
블록(730)이 자율 배율이 디스에이블되거나 존재하지 않음을 발견할 때, 블록(740)은 (디바이스 상의 모션 센서들에 의해, 이미지 분석에 의해, 또는 다른 부가 정보에 의해 결정된 바와 같이) 최근 측정된 모션에 기초하여 결정을 내린다. 큰 또는 갑작스러운 모션들이 존재할 때, 사용자는 디스플레이된 이미지에 의도적으로 포커스를 맞추지 않는 것으로 가정되고, 따라서 자율 콘트라스트 시스템은 블록(756)에서 지정된 중립 또는 디폴트 콘트라스트 설정들을 선택함으로써 효과적으로 리셋된다. 모션이 매우 작으면, 사용자는 디스플레이를 보는 데 집중하는 것으로 가정된다; 그런 다음, 블록(742)은 FOA의 관련 픽셀들을 (자율적 배율 분석 제품들의 이익 없이) 결정하고, 블록(744)은 (예컨대, 통계적, 스펙트럼 및/또는 웨이블릿 기술들을 사용하여) 그러한 픽셀들을 분석하며, 블록(746)은 그 분석의 결과들은 물론 적절한 업데이트된 콘트라스트 세팅들을 계산하기 위한 현재 콘트라스트 세팅들에 대한 지식을 사용한다. 큰 모션과 중간 모션 둘 모두에 대해, 계산된 설정들은 아래에서 설명되는 바와 같이 가장 최근의 콘트라스트 설정을 적용하는 블록(770)으로 전달된다. 블록(730)에 대해 제3 경우가 존재한다: 고정된 관심 또는 의도적인 움직임들 중 어느 것도 결정적으로 내포하지 않는 중간 최근 모션들은 판독 또는 스캐닝 거동과 연관되는 것으로 가정되고, 콘트라스트 설정들에 어떠한 변화도 초래하지 않으며; 이어서, 다음 비디오 프레임이 도달할 때까지 프로세싱은 블록(780)에서 종료된다. 최근의 모션을 "큰", "작은", 또는 "보통"(중간)으로 분류하는 것은, 모션 모델 블록(도 2의 572)의 출력을 고려하면, 임의적으로 복잡할 수 있음이 주목된다; 블록(720)에 의해 사용되는 모션 기준들을 반드시 미러링할 필요가 있는 것은 아니다.
[0218]
블록(770)은 도 6의 모든 6개의 경로들에 대한 공통 집결 포인트로서의 역할을 한다. 이는 자율 콘트라스트 설정에 대한 가장 최근의 요청을 추적하고, 이러한 변화들을 행하게 하는 디바이스 상태를 변화시킨다. 변화의 크기 및 타입에 의존하여, 이 블록은 새로운 설정들이 점진적으로 효력을 발생하게 하는 애니메이션을 스케줄링할 수 있으며; 애니메이션은 그 자체로 (도 6의 흐름도와는 독립적으로) 완료되거나 또는 블록(770)의 다음 체결 시에 오버라이딩/재스케줄링될 것이다. 예컨대, 의도적인 큰 스케일의 모션들에 의해 야기되거나 또는 (시각적으로 파괴적인 이벤트인) 배율의 상당한 변화를 수반하는 변화들은 사용자를 혼란스럽게 하지 않으면서 갑자기 이루어질 수 있다. 다른 한편으로, 판독 및 스캐닝 동안 콘트라스트의 전환들은 더 점진적이어야 한다; 어쨌든, 설정들의 가시적인 "플리커링"은 회피되어야 하며, 블록(770)은 더 편안한 사용자 경험을 제공하기 위해 요청된 설정들 대 작동된 설정들의 진행을 필터링하는 것을 담당한다. 자율 제어 요청들이 일관되지 않거나 신뢰할 수 없다고, 예컨대, 확장된 시간 스케일에 걸쳐 격렬하게 또는 신속하게 변화되는 것으로, 이 블록이 결정할 때, 이는 요청을 무시하거나 또는 중립 설정 쪽으로 디바이스를 바이어싱할 수 있다. 일단 블록(770)이 자신의 활동들로 완료되면, 다음 비디오 프레임이 도달할 때까지 프로세싱은 블록(780)에서 종료된다.
[0219]
본 개시 내용의 바람직한 실시예들이 본원에서 도시되고 설명되었지만, 당업자에게 그러한 실시예들은 단지 예로서 제공된다. 본 발명을 벗어나지 않으면서, 다수의 변형들, 변화들 및 치환들이 이제 당업자들에게 발생할 것이다. 본원에서 설명된 본 발명의 실시예들에 대한 다양한 대안들이 본 발명을 실시하는 데 이용될 수 있다는 것이 이해되어야 한다. 본원에서 설명되는 실시예들의 다수의 상이한 조합들이 가능하며, 그러한 조합들은 본 개시 내용의 일부로 간주된다. 부가하여, 본원의 임의의 일 실시예와 관련하여 논의된 모든 특징들은 본원의 다른 실시예들에서의 사용을 위해 용이하게 적응될 수 있다. 다음의 청구항들이 본 발명의 범위를 정의하고, 이들 청구항들의 범위 내의 방법들 및 구조들 및 이들의 등가물들이 이로써 커버되는 것으로 의도된다.
[0220]
피처 또는 엘리먼트가 본원에서 다른 피처 또는 엘리먼트 "상에" 있는 것으로 지칭될 때, 이는 다른 피처 또는 엘리먼트 상에 바로 있을 수 있거나 또는 개재된 피처들 및/또는 엘리먼트들이 또한 존재할 수 있다. 대조적으로, 특징 또는 엘리먼트가 다른 특징 또는 엘리먼트 "상에 바로" 있는 것으로 지칭될 때, 어떠한 개재 특징들 또는 엘리먼트들도 존재하지 않는다. 피처 또는 엘리먼트가 다른 피처 또는 엘리먼트에 "연결된", "부착된" 또는 "커플링되는" 것으로 지칭될 때, 이는 다른 피처 또는 엘리먼트에 직접 연결되거나, 부착되거나, 커플링되거나, 또는 개재 피처들 또는 엘리먼트들이 존재할 수 있다는 것이 또한 이해될 것이다. 대조적으로, 특징 또는 엘리먼트가 다른 특징 또는 엘리먼트에 "직접 연결"되거나, "직접 부착"되거나, "직접 커플링"되는 것으로 지칭될 때, 개재하는 특징들 또는 엘리먼트들이 존재하지 않는다. 일 실시예에 대해 설명되거나 도시되지만, 그렇게 설명되거나 도시된 특징들 및 엘리먼트들은 다른 실시예들에 적용될 수 있다. 다른 피처에 "인접"하게 배치된 구조 또는 피처에 대한 언급은 인접한 피처와 겹치거나 아래에 놓이는 부분들을 가질 수 있다는 것이 당업자들에 의해 또한 인식될 것이다.
[0221]
본 명세서에서 사용되는 용어는 단지 특정 실시예들을 설명하기 위한 것이며, 본 발명을 제한하는 것으로 의도되지 않는다. 예컨대, 본원에서 사용되는 바와 같이, 단수 형태들은, 문맥상 명확하게 달리 표시되지 않는 한, 복수 형태들을 또한 포함하도록 의도된다. 본 명세서에서 사용될 때, "포함하다" 및/또는 "포함하는"이라는 용어들은, 언급된 특징들, 단계들, 동작들, 엘리먼트들 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 단계들, 동작들, 엘리먼트들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 부가를 배제하지는 않는다는 것이 추가로 이해될 것이다. 본원에서 사용되는 바와 같이, "및/또는"이라는 용어는 연관된 열거된 항목들 중 하나 이상의 임의의 그리고 모든 조합들을 포함하며, "/"로 축약될 수 있다.
[0222]
"하부에", "아래에", "아래쪽의", "위에", "위쪽의"등과 같은 공간적으로 상대적인 용어들은, 도면들에 예시된 바와 같이 다른 엘리먼트(들) 또는 특징(들)에 대한 하나의 엘리먼트 또는 특징의 관계를 묘사하기 위한 설명의 편의를 위해 본원에서 사용될 수 있다. 공간적으로 상대적인 용어들은 도면들에 도시된 배향에 부가하여, 사용 또는 동작 시 디바이스의 상이한 배향들을 포함하도록 의도된다는 것이 이해될 것이다. 예컨대, 도면들의 디바이스가 반전되면, 다른 엘리먼트들 또는 피처들 "하부에" 또는 "아래에"로서 설명된 엘리먼트들은 다른 엘리먼트들 또는 피처들 "위에" 배향될 것이다. 따라서, 예시적인 용어 "하부에"는 위 및 하부의 배향 둘 모두를 포괄할 수 있다. 디바이스는 달리 배향될 수 있고(90도 또는 다른 배향들로 회전), 본원에서 사용되는 공간적으로 상대적인 기술어들은 그에 따라 해석된다. 유사하게, "상향", "하향", "수직", "수평" 등의 용어들은, 달리 구체적으로 표시되지 않는 한, 설명의 목적으로만 본원에서 사용된다.
[0223]
다양한 특징들/엘리먼트들(단계들을 포함함)을 설명하기 위해 본원에서 "제1" 및 "제2"라는 용어들이 사용될 수 있지만, 이러한 특징들/엘리먼트들은, 문맥상 달리 표시되지 않는 한, 이들 용어들에 의해 제한되지 않아야 한다. 이러한 용어들은 하나의 특징/엘리먼트를 다른 특징/엘리먼트와 구별하기 위해 사용될 수 있다. 따라서, 아래에서 논의되는 제1 피처/엘리먼트는 제2 피처/엘리먼트로 지칭될 수 있고, 유사하게, 아래에서 논의되는 제2 피처/엘리먼트는 본 발명의 교시들로부터 벗어나지 않으면서 제1 피처/엘리먼트로 지칭될 수 있다.
[0224]
본 명세서 및 다음의 청구항들 전반에 걸쳐, 문맥이 달리 요구하지 않는 한, "포함한다"라는 단어, 그리고 "포함" 및 "포함하는"과 같은 변형들은 다양한 컴포넌트들이 방법들 및 아티클들(예컨대, 방법들 및 디바이스를 포함하는 장치들 및 조성물들)에서 공동으로 사용될 수 있음을 의미한다. 예컨대, "포함하는"이라는 용어는, 임의의 언급된 엘리먼트들 또는 단계들의 포함을 의미하지만, 임의의 다른 엘리먼트들 또는 단계들의 배제를 의미하지는 않는 것으로 이해될 것이다.
[0225]
일반적으로, 본원에 설명된 장치들 및 방법들 중 임의의 것은 포괄적인 것으로 이해되어야 하지만, 컴포넌트들 및/또는 단계들의 전부 또는 서브-세트는 대안적으로 배타적일 수 있고, 다양한 컴포넌트들, 단계들, 서브-컴포넌트들 또는 서브-단계들로 "구성되는" 또는 대안적으로 이들을 "필수구성으로 포함하는" 것으로 표현될 수 있다
[0226]
예들에서 사용된 것을 포함하고 그리고 달리 명시적으로 특정되지 않는 한, 본 명세서 및 청구항들에서 사용되는 바와 같이, 모든 숫자들은, 용어가 명시적으로 나타나지 않더라도, "약" 또는 "대략"이라는 단어가 서두에 있는 것으로 이해될 수 있다. "약"또는 "대략"이라는 문구는, 설명된 값 및/또는 포지션이 값들 및/또는 포지션들의 합리적인 예상 범위 내에 있음을 나타내기 위해 크기 및/또는 포지션을 설명할 때 사용될 수 있다. 예를 들어, 숫자 값은 명시된 값(또는 값들의 범위)의 +/- 0.1%, 명시된 값(또는 값들의 범위)의 +/- 1%, 명시된 값(또는 값들의 범위)의 +/- 2%, 명시된 값(또는 값들의 범위)의 +/- 5%, 명시된 값(또는 값들의 범위)의 +/- 10% 등인 값을 가질 수 있다. 본원에서 주어진 임의의 수치들은 또한, 문맥상 달리 표시되지 않는 한, 약 또는 대략 그 값을 포함하는 것으로 이해되어야 한다. 예컨대, 값 "10"이 개시되면, "약 10"이 또한 개시된다. 본원에서 언급된 임의의 수치 범위는 그 범위 내에 포함된 모든 하위 범위들을 포함하도록 의도된다. 당업자에 의해 적절하게 이해되는 바와 같이, 값이 "값보다 작거나 같음", "값보다 크거나 같음"이라고 개시될 때, 값들 사이의 가능한 범위들이 또한 개시되는 것으로 이해된다. 예컨대, 값 "X"가 개시되면, "X보다 작거나 같음"뿐만 아니라 "X보다 크거나 같음"(예컨대, 여기서 X는 수치 값임)이 또한 개시된다. 출원 전반에 걸쳐, 데이터는 다수의 상이한 포맷들로 제공되며,이 데이터는 엔드 포인트들 및 시작점들, 및 데이터 포인트들의 임의의 조합에 대한 범위들을 나타낸다는 것이 또한 이해된다. 예를 들어, 특정 데이터 포인트 "10" 및 특정 데이터 포인트 "15"가 개시되면, 10 내지 15는 물론 10 및 15 초과, 이상, 미만, 이하 그리고 10 및 15인 것이 고려된다고 이해된다. 또한, 2개의 특정 유닛들 사이의 각각의 유닛이 또한 개시된다는 것이 이해된다. 예컨대, 10 및 15가 개시되면, 11, 12, 13, 및 14가 또한 개시된다.
[0227]
다양한 예시적인 실시예들이 위에서 설명되었지만, 청구항들에 의해 설명된 바와 같은 본 발명의 범위를 벗어나지 않으면서 다양한 실시예들에 대해 임의의 다수의 변경들이 이루어질 수 있다. 예컨대, 다양한 설명된 방법 단계들이 수행되는 순서는 대개 대안적인 실시예들에서 변경될 수 있고, 다른 대안적인 실시예들에서는 하나 이상의 방법 단계들이 완전히 생략될 수 있다. 다양한 디바이스 및 시스템 실시예들의 선택적인 특징들은 일부 실시예들에는 포함될 수 있고 다른 실시예들에는 포함되지 않을 수 없다.
[0228]
따라서, 전술한 설명은 주로 예시적인 목적들을 위해 제공되며, 청구항들에 기술된 바와 같이 본 발명의 범위를 제한하는 것으로 해석되지 않아야 한다.
[0229]
본원에 포함된 예들 및 예시들은, 청구 대상이 실시될 수 있는 특정 실시예들을 제한이 아닌 예시로서 도시한다. 언급된 바와 같이, 다른 실시예들이 활용되고 그로부터 유도될 수 있어서, 본 개시 내용의 범위를 벗어나지 않으면서 구조적 및 논리적 치환들 및 변경들이 이루어질 수 있다. 본 발명의 청구 대상의 그러한 실시예들은, 단지 편의를 위해 그리고 본 출원의 범위를, 실제로 둘 이상의 발명이 개시된 경우, 임의의 단일 발명 또는 본 발명의 개념으로 자발적으로 제한하려는 의도 없이, "발명"이라는 용어로 개별적으로 또는 집합적으로 본원에서 지칭될 수 있다. 따라서, 특정 실시예들이 본원에서 예시되고 설명되었지만, 동일한 목적을 달성하기 위해 계산된 임의의 어레인지먼트가 도시된 특정 실시예들을 대체할 수 있다. 본 개시 내용은 다양한 실시예들의 임의의 그리고 모든 적응들 또는 변형들을 커버하도록 의도된다. 위의 실시예들 및 본원에서 구체적으로 설명되지 않은 다른 실시예들의 조합들은 위의 설명을 검토할 때 당업자들에게 명백할 것이다. 부가하여, 도면들에 묘사된 로직 흐름들은 바람직한 결과들을 달성하기 위해 도시된 특정 순서 또는 순차적인 순서를 요구하지 않는다.
[0230]
게다가, 설명된 흐름들로부터 다른 단계들이 제공될 수 있거나 단계들이 제거될 수 있고, 다른 컴포넌트들이 설명된 시스템들에 추가되거나 또는 설명된 시스템들로부터 제거될 수 있다. 따라서, 다른 실시예들은 다음의 청구항들의 범위 내에 있다.
Claims (86)
- 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법으로서:
상기 시각 보조 디바이스로 장면의 실시간 이미지들을 획득하는 단계;
상기 시각 보조 디바이스의 모션 컴포넌트를 평가하는 단계;
상기 모션 컴포넌트에 기초하여 상기 시각 보조 디바이스의 모션 상태를 결정하는 단계;
상기 모션 상태가, 상기 시각 보조 디바이스의 사용자가 애니메이팅된 움직임 상태에 관여한다고 나타내면:
상기 실시간 이미지들에 적용되는 부가적인 향상들 또는 조정들 없이 상기 시각 보조 디바이스의 디스플레이 상에 제1 비디오 이미지들을 제시하는 단계;
상기 모션 상태가, 상기 시각 보조 디바이스의 상기 사용자가 포커싱된 관심 상태에 관여한다고 나타내면:
상기 시각 보조 디바이스의 사용자의 관심 포커스(focus-of-attention)에 대응하는 상기 실시간 이미지들의 서브세트를 식별하는 단계;
상기 실시간 이미지들의 서브세트로부터 흥미있는 구조들을 로케이팅하는 단계;
적어도 상기 흥미있는 구조들에 시각적 향상들을 적용하는 단계; 및
상기 시각 보조 디바이스의 상기 디스플레이 상에 시각적으로 향상된 상기 흥미있는 구조들을 포함하는 제2 비디오 이미지들을 제시하는 단계를 포함하는,
시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 모션 컴포넌트는 상기 시각 보조 디바이스의 각속도를 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 모션 컴포넌트는 상기 시각 보조 디바이스의 요(yaw) 축 및 피치(pitch) 축 상의 각속도를 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 모션 컴포넌트는 상기 시각 보조 디바이스의 병진 모션을 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제2항에 있어서,
높은 각속도는 상기 사용자의 상기 관심 포커스의 갑작스러운 변화를 나타내는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 애니메이팅된 움직임 상태는, 상기 시각 보조 디바이스의 사용자가 애니메이팅된 움직임에 관여하고, 따라서 상기 사용자의 시야 내의 어떤 것에 포커싱하기 위한 의도적인 집중 또는 시도에 관여하지 하지 않는다고 나타내는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 포커싱된 관심 상태는, 상기 시각 보조 디바이스의 상기 사용자가 상기 시야 내의 어떤 것에 의도적으로 집중하고 있다고 나타내는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 시각 보조 디바이스의 작은 각속도들은, 상기 모션 상태가 상기 포커싱된 관심 상태를 포함한다고 결정하는 데 사용되는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 시각 보조 디바이스의 중간 각속도들은, 상기 모션 상태가 상기 포커싱된 관심 상태를 포함한다고 결정하는 데 사용되는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
판독, 스캐닝, 또는 검색 거동과 연관된 각속도들이, 상기 모션 상태가 상기 포커싱된 관심 상태를 포함한다고 결정하는 데 사용되는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 제1 비디오 이미지들은 최소의 프로세싱 및/또는 배율을 갖는 명목상의 비강화 뷰를 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 흥미있는 구조들은 텍스트형 구조들을 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 흥미있는 구조들은 얼굴 피처들을 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 흥미있는 구조들은 문자들, 숫자들, 픽토그램들, 글리프들 및 아이콘들로 구성된 그룹으로부터 선택되는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 시각적 향상들은 적어도 상기 흥미있는 구조들의 배율을 조정하는 것을 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 시각적 향상들은 적어도 상기 흥미있는 구조들의 콘트라스트 컴포넌트를 조정하는 것을 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제1항에 있어서,
상기 시각 보조 디바이스의 모션 상태를 결정하는 단계는:
상기 시각 보조 디바이스의 상기 사용자의 단기 움직임을 카테고리화하기 위해, 상기 실시간 이미지들의 몇몇 최근 프레임들과 연관된 상기 모션 컴포넌트를 평가하는 단계; 및
상기 시각 보조 디바이스의 상기 사용자의 특정 액션 상태를 식별하기 위해, 상기 실시간 이미지들의 몇몇 최근 프레임들보다 더 많은 프레임들의 상기 모션 컴포넌트를 평가하는 단계를 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제17항에 있어서,
상기 특정 액션 상태를 식별하기 위해 머신 러닝 알고리즘을 적용하는 단계를 더 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 저시력 사용자에게 향상된 비전을 제공하는 방법으로서:
시각 보조 디바이스로 실시간 비디오 이미지들을 수신하는 단계;
상기 시각 보조 디바이스로, 상기 저시력 사용자의 관심 포커스에 대응하는 상기 실시간 비디오 이미지들 각각의 서브세트를 식별하는 단계;
상기 시각 보조 디바이스로, 상기 실시간 비디오 이미지들 각각의 서브세트 내의 흥미있는 구조들을 추출하는 단계;
상기 시각 보조 디바이스로, 행 또는 열로 구조화된 흥미있는 구조들의 적어도 하나의 그룹을 식별하는 단계;
상기 시각 보조 디바이스로, 상기 흥미있는 구조들의 적어도 하나의 그룹의 디멘션을 결정하는 단계;
상기 시각 보조 디바이스로, 선호되는 구조 디멘션과 매칭하도록 상기 흥미있는 구조들의 적어도 하나의 그룹의 배율을 조정하는 단계;
상기 시각 보조 디바이스로, 조정된 배율로 상기 실시간 이미지들 및 상기 흥미있는 구조들의 적어도 하나의 그룹을 포함하는 향상된 비디오 스트림을 형성하는 단계; 및
상기 시각 보조 디바이스의 디스플레이 상에 상기 향상된 비디오 스트림을 디스플레이하는 단계를 포함하는,
저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 서브세트는 상기 실시간 비디오 이미지들 각각 내의 픽셀들의 고정된 영역을 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제20항에 있어서,
상기 픽셀들의 고정 영역은 상기 실시간 비디오 이미지들 각각의 중앙 부분에 있는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 흥미있는 구조들은 텍스트형 구조들을 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 흥미있는 구조들은 얼굴 구조들을 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 흥미있는 구조들은 문자들, 숫자들, 픽토그램들, 글리프들 및 아이콘들로 구성된 그룹으로부터 선택되는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 시각 보조 디바이스는 상기 시각 보조 디바이스의 사용자의 거동 트렌드들에 기반하여 상기 실시간 비디오 이미지들 각각의 상기 서브세트를 자동으로 식별하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제21항에 있어서,
상기 사용자의 거동 트렌드들은 입력 제어 시퀀스들의 사용자 이력 및 이들 입력 제어 시퀀스들의 타이밍을 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 시각 보조 디바이스는 이전에 프로세싱된 비디오 이미지들의 상기 콘텐츠들에 기반하여 상기 실시간 비디오 이미지들 각각의 상기 서브세트를 자동으로 식별하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 시각 보조 디바이스로 상기 저시력 사용자의 시선을 추적하는 단계를 더 포함하고,
상기 시각 보조 디바이스는 상기 저시력 사용자의 상기 시선에 기반하여 상기 실시간 비디오 이미지들 각각의 상기 서브세트를 자동으로 식별하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
잡음을 감소시키거나 다른 원치 않는 간섭 패턴들을 수용하기 위해 상기 실시간 비디오 이미지들의 서브세트를 전처리하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제29항에 있어서,
상기 전처리하는 단계는 상기 실시간 비디오 이미지들의 서브세트의 콘트라스트 컴포넌트를 향상시키는 단계를 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제29항에 있어서,
상기 전처리하는 단계는 상기 실시간 비디오 이미지들의 서브세트의 선명도 컴포넌트를 증가시키는 단계를 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제29항에 있어서,
상기 전처리하는 단계는 상기 실시간 비디오 이미지들의 서브세트의 상세(detail) 컴포넌트를 증가시키는 단계를 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 추출하는 단계는 상기 실시간 비디오 이미지들의 서브세트로부터 최대로 안정적인 극치 영역들을 추출하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 시각 보조 디바이스로 추출된 흥미있는 구조들을 조사하는 단계; 및
미리 선택된 경계들 밖에 있는 파라미터들을 포함하는 관심 구조들을 폐기하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제34항에 있어서,
상기 미리 선택된 경계들은 길이 임계치 파라미터를 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제34항에 있어서,
상기 미리 선택된 경계들은 폭 임계치 파라미터를 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제34항에 있어서,
상기 미리 선택된 경계들은 픽셀-카운트 임계치 파라미터를 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제34항에 있어서,
상기 미리 선택된 경계들은 종횡비 임계치 파라미터를 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제34항에 있어서,
상기 저시력 사용자의 상기 관심 포커스의 경계와 교차하는 흥미있는 구조들을 폐기하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제30항에 있어서,
상기 저시력 사용자의 상기 관심 포커스의 최상부 또는 최하부 경계와 교차하는 흥미있는 구조들을 폐기하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 행 또는 열로 구조화된 흥미있는 구조들의 적어도 하나의 그룹을 식별하는 단계는:
상기 흥미있는 구조들에 대한 수직 중심들의 확률 밀도 함수를 모델링하는 단계 ― 상기 확률 밀도 함수는 하나 이상의 pdf 피크들을 포함함 ―;
상기 확률 밀도 함수들의 상기 pdf 피크들로부터 최대 피크를 식별하는 단계; 및
통계적으로 상기 최대 피크와 연관될 가능성이 있는 관심 구조들만을 유지하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제41항에 있어서,
상기 최대 피크와 통계적으로 연관될 가능성이 있는 흥미있는 구조들은 크기가 일정한 흥미있는 구조들을 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 시각 보조 디바이스로, 상기 흥미있는 구조들의 적어도 하나의 그룹이 행 또는 열로 구조화된다는 통계적 신뢰도를 결정하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제43항에 있어서,
상기 흥미있는 구조들의 적어도 하나의 그룹의 배율을 조정하는 단계는, 상기 통계적 신뢰도가 신뢰도 임계치를 초과할 때 선호되는 구조 크기와 매칭하도록 상기 흥미있는 구조들의 적어도 하나의 그룹의 배율을 조정하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 수신하는 단계는:
상기 시각 보조 디바이스의 카메라로 실시간 비디오 이미지들을 획득하는 단계; 및
상기 시각 보조 디바이스로 상기 카메라로부터 상기 실시간 비디오 이미지들을 수신하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제45항에 있어서,
상기 시각 보조 디바이스가 상기 실시간 비디오 이미지들을 획득할 때, 상기 시각 보조 디바이스의 모션 컴포넌트를 감지하는 단계;
감지된 모션 컴포넌트에 기초하여 상기 시각 보조 디바이스의 모션 상태를 결정하는 단계를 더 포함하며,
상기 배율을 조정하는 단계, 상기 향상된 비디오 스트림을 형성하는 단계, 및 상기 향상된 비디오 스트림을 디스플레이하는 단계는, 상기 모션 상태가 포커싱된 관심 상태를 포함하는 경우에만 수행되는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제46항에 있어서,
상기 시각 보조 디바이스의 자이로스코프로 상기 카메라의 상기 모션 컴포넌트를 감지하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제46항에 있어서,
상기 시각 보조 디바이스의 가속도계로 상기 카메라의 상기 모션 컴포넌트를 감지하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 향상된 비디오 스트림을 제2 디스플레이 상에 디스플레이하는 단계를 더 포함하는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 제19항에 있어서,
상기 디스플레이는 상기 사용자의 제1 눈의 전방에 포지셔닝되고, 제2 디스플레이는 상기 사용자의 제2 눈의 전방에 포지셔닝되는, 저시력 사용자에게 향상된 비전을 제공하는 방법. - 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법으로서:
상기 시각 보조 디바이스로 장면의 실시간 이미지들을 획득하는 단계;
상기 시각 보조 디바이스의 유지된 모션 모델을 업데이트하는 단계;
상기 유지된 모션 모델이, 상기 시각 보조 디바이스의 사용자가 포커싱된 관심 상태에 관여한다고 나타내면:
상기 시각 보조 디바이스의 상기 사용자의 관심 포커스에 대응하는 상기 실시간 이미지들의 서브세트를 식별하는 단계;
상기 실시간 이미지들의 서브세트만을 분석하는 단계; 및
자율적 시각적 향상들이 상기 실시간 이미지들의 서브세트에 적용될지 여부를 결정하는 단계를 포함하는,
시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제51항에 있어서,
자율적 시각적 향상들이 상기 실시간 이미지들의 서브세트에 적용될 경우,
자율적 시각적 향상들이 적어도 상기 실시간 이미지들의 서브세트에 적용된 향상된 비디오 스트림을 형성하는 단계; 및
상기 향상된 비디오 스트림을 상기 사용자에게 디스플레이하는 단계를 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제51항에 있어서,
상기 자율적 시각적 향상들은 적어도 상기 실시간 이미지들의 서브세트의 배율을 조정하는 것을 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제51항에 있어서,
상기 자율적 시각적 향상들은 상기 실시간 이미지들의 서브세트의 콘트라스트 컴포넌트를 조정하는 것을 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제51항에 있어서,
상기 모션 모델을 업데이트하는 단계는:
상기 시각 보조 디바이스의 사용자의 단기 움직임을 카테고리화하기 위해, 상기 실시간 이미지들의 몇몇 최근 프레임들과 연관된 모션 컴포넌트를 평가하는 단계; 및
상기 시각 보조 디바이스의 상기 사용자의 특정 액션 상태를 식별하기 위해, 상기 실시간 이미지들의 몇몇 최근 프레임들보다 더 많은 프레임들의 상기 모션 컴포넌트를 평가하는 단계를 더 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제55항에 있어서,
상기 모션 컴포넌트는 상기 시각 보조 디바이스의 각속도를 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제55항에 있어서,
상기 모션 컴포넌트는 상기 시각 보조 디바이스의 요(yaw) 축 및 피치(pitch) 축 상의 각속도를 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제55항에 있어서,
상기 모션 컴포넌트는 상기 시각 보조 디바이스의 병진 모션을 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제55항에 있어서,
상기 모션 컴포넌트는 상기 시각 보조 디바이스의 눈 추적 엘리먼트로 측정된 눈 움직임의 양을 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제56항에 있어서,
상기 사용자의 상기 관심 포커스의 갑작스러운 변화를 나타내기 위해 높은 각속도가 상기 모션 모델에 의해 사용되는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제56항에 있어서,
상기 사용자가 상기 포커싱된 관심 상태에 있다고 나타내기 위해 상기 시각 보조 디바이스의 작은 각속도가 상기 모션 모델에 의해 사용되는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제56항에 있어서,
상기 사용자가 상기 포커싱된 관심 상태에 있다고 나타내기 위해 상기 시각 보조 디바이스의 중간 각속도가 상기 모션 모델에 의해 사용되는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제51항에 있어서,
상기 사용자가 상기 포커싱된 관심 상태에 있다고 나타내기 위해, 판독, 스캐닝, 또는 검색 거동과 연관된 각속도들이 상기 모션 모델에 의해 사용되는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제51항에 있어서,
상기 모션 모델을 업데이트하는 단계는 예측된 모션들에 기반하여 상기 시각 보조 디바이스의 상기 사용자의 특정 액션 상태를 식별하는 단계를 더 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제51항에 있어서,
상기 모션 모델을 업데이트하는 단계는 유사한 상황들에서의 이력 모션들에 기반하여 상기 시각 보조 디바이스의 상기 사용자의 특정 액션 상태를 식별하는 단계를 더 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제51항에 있어서,
상기 모션 상태가, 상기 시각 보조 디바이스의 사용자가 애니메이팅된 움직임 상태에 관여한다고 나타내면:
상기 실시간 이미지들에 어떠한 부가적인 분석 또는 프로세싱도 적용하지 않는 단계를 더 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제51항에 있어서,
상기 포커싱된 관심 상태는, 상기 시각 보조 디바이스의 상기 사용자가 시야 내의 어떤 것에 의도적으로 집중하고 있다고 나타내는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 제51항에 있어서,
수동 시각적 향상들이 상기 실시간 이미지들에 적용되는 것을 요청하는 사용자 입력들을 식별하는 단계;
상기 수동 시각적 향상들이 자율적 시각적 향상들을 무시하는지 여부를 결정하는 단계; 및
적절한 수동 시각적 향상들 또는 자율적 시각적 향상들을 상기 실시간 비디오 이미지들에 적용하는 단계를 더 포함하는, 시각 보조 디바이스의 비디오 출력에 자율적 향상들을 제공하는 방법. - 시각 보조 디바이스로서:
실시간 비디오 이미지들을 생성하도록 구성된 카메라;
상기 시각 보조 디바이스의 적어도 하나의 모션 컴포넌트를 측정하도록 구성된 센서;
디스플레이; 및
적어도 하나의 모션 컴포넌트에 기초하여 상기 시각 보조 디바이스의 모션 상태를 결정하도록 구성된 프로세서를 포함하며,
상기 모션 상태가, 상기 시각 보조 디바이스의 사용자가 애니메이팅된 움직임 상태에 관여한다고 나타내면,
상기 프로세서는, 상기 실시간 이미지들에 적용되는 추가적인 향상들 또는 조정들 없이 제1 비디오 이미지들을 상기 디스플레이 상에 제시하도록 추가로 구성되고,
상기 모션 상태가, 상기 시각 보조 디바이스의 상기 사용자가 포커싱된 관심 상태에 관여한다고 나타내면,
상기 프로세서는 상기 시각 보조 디바이스의 상기 사용자의 관심 포커스에 대응하는 실시간 이미지들의 서브세트를 식별하도록 추가로 구성되고, 상기 프로세서는 상기 실시간 이미지들의 상기 서브세트로부터 흥미있는 구조들을 로케이팅하도록 구성되고, 상기 프로세서는 적어도 상기 흥미있는 구조들에 시각적 향상들을 적용하도록 구성되고, 그리고 상기 프로세서는 상기 디스플레이 상에 시각적으로 향상된 상기 흥미있는 구조들을 포함하는 제2 비디오 이미지들을 제시하도록 구성되는,
시각 보조 디바이스. - 제69항에 있어서,
상기 센서는 적어도 하나의 가속도계를 포함하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 센서는 적어도 하나의 자이로스코프를 포함하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 모션 컴포넌트는 상기 시각 보조 디바이스의 각속도를 포함하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 모션 컴포넌트는 상기 시각 보조 디바이스의 요(yaw) 축 및 피치(pitch) 축 상의 각속도를 포함하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 모션 컴포넌트는 상기 시각 보조 디바이스의 병진 모션을 포함하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 애니메이팅된 움직임 상태는, 상기 시각 보조 디바이스의 상기 사용자가 애니메이팅된 움직임에 관여하고, 따라서 상기 사용자의 시야 내의 어떤 것에 포커싱하기 위한 의도적인 집중 또는 시도에 관여하지 하지 않는다고 나타내는, 시각 보조 디바이스. - 제69항에 있어서,
상기 포커싱된 관심 상태는, 상기 시각 보조 디바이스의 상기 사용자가 시야 내의 어떤 것에 의도적으로 집중하고 있다고 나타내는, 시각 보조 디바이스. - 제69항에 있어서,
상기 프로세서는, 상기 모션 상태가 상기 포커싱된 관심 상태를 포함한다고 결정하기 위해 상기 시각 보조 디바이스의 작은 각속도들은 사용하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 프로세서는, 상기 모션 상태가 상기 포커싱된 관심 상태를 포함한다고 결정하기 위해 상기 시각 보조 디바이스의 중간 각속도들은 사용하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 프로세서는, 상기 모션 상태가 상기 포커싱된 관심 상태를 포함한다고 결정하기 위해, 판독, 스캐닝, 또는 검색 거동과 연관된 각속도들을 사용하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 제1 비디오 이미지들은 최소의 프로세싱 및/또는 배율을 갖는 명목상의 비향상 뷰를 포함하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 흥미있는 구조들은 텍스트형 구조들을 포함하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 흥미있는 구조들은 얼굴 피처들을 포함하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 흥미있는 구조들은 문자들, 숫자들, 픽토그램들, 글리프들 및 아이콘들로 구성된 그룹으로부터 선택되는, 시각 보조 디바이스. - 제69항에 있어서,
상기 시각적 향상들은 적어도 상기 흥미있는 구조들의 조정된 배율을 포함하는, 시각 보조 디바이스. - 제69항에 있어서,
상기 시각적 향상들은 적어도 상기 흥미있는 구조들의 조정된 콘트라스트 컴포넌트를 포함하는, 시각 보조 디바이스. - 프로세서에 의해 실행 가능한 명령들이 저장된 비-일시적 컴퓨팅 디바이스 판독 가능 매체로서, 상기 명령들은 컴퓨팅 디바이스로 하여금:
시각 보조 디바이스로 장면의 실시간 이미지들을 획득하게 하고, 상기 시각 보조 디바이스의 모션 컴포넌트를 평가하게 하고, 상기 모션 컴포넌트에 기초하여 상기 시각 보조 디바이스의 모션 상태를 결정하게 하며,
상기 모션 상태가, 상기 시각 보조 디바이스의 사용자가 애니메이팅된 움직임 상태에 관여한다고 나타내면,
상기 명령들은 상기 프로세서에 의해 실행되어, 상기 컴퓨팅 디바이스로 하여금, 상기 실시간 이미지들에 적용되는 추가적인 향상들 또는 조정들 없이 제1 비디오 이미지들을 상기 시각 보조 디바이스의 디스플레이 상에 제시하게 하고, 그리고
상기 모션 상태가, 상기 시각 보조 디바이스의 상기 사용자가 포커싱된 관심 상태에 관여한다고 나타내면,
상기 명령들은 상기 프로세서에 의해 실행되어 상기 컴퓨팅 디바이스로 하여금, 상기 시각 보조 디바이스의 상기 사용자의 관심 포커스에 대응하는 상기 실시간 이미지들의 서브세트를 식별하게 하고, 상기 실시간 이미지들의 상기 서브세트로부터 흥미있는 구조들을 로케이팅하게 하고, 적어도 상기 흥미있는 구조들에 시각적 향상들을 적용하게 하고, 그리고 상기 시각 보조 디바이스의 상기 디스플레이 상에 시각적으로 향상된 상기 흥미있는 구조들을 포함하는 제2 비디오 이미지들을 제시하게 하는,
비-일시적 컴퓨팅 디바이스 판독 가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862735643P | 2018-09-24 | 2018-09-24 | |
| US62/735,643 | 2018-09-24 | ||
| PCT/US2019/052685 WO2020068819A1 (en) | 2018-09-24 | 2019-09-24 | Enhanced autonomous hands-free control in electronic visual aids |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210058964A true KR20210058964A (ko) | 2021-05-24 |
Family
ID=69953546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217012102A KR20210058964A (ko) | 2018-09-24 | 2019-09-24 | 전자 시각 보조기들에서의 향상된 자율적 핸즈-프리 제어 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11726561B2 (ko) |
| EP (1) | EP3856098A4 (ko) |
| JP (1) | JP2022502798A (ko) |
| KR (1) | KR20210058964A (ko) |
| CN (1) | CN112969436B (ko) |
| WO (1) | WO2020068819A1 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11546527B2 (en) * | 2018-07-05 | 2023-01-03 | Irisvision, Inc. | Methods and apparatuses for compensating for retinitis pigmentosa |
| US20180144554A1 (en) | 2016-11-18 | 2018-05-24 | Eyedaptic, LLC | Systems for augmented reality visual aids and tools |
| US20190012841A1 (en) | 2017-07-09 | 2019-01-10 | Eyedaptic, Inc. | Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids |
| US10984508B2 (en) | 2017-10-31 | 2021-04-20 | Eyedaptic, Inc. | Demonstration devices and methods for enhancement for low vision users and systems improvements |
| CN112534467A (zh) | 2018-02-13 | 2021-03-19 | 弗兰克.沃布林 | 对比度敏感度补偿的方法和装置 |
| US11563885B2 (en) | 2018-03-06 | 2023-01-24 | Eyedaptic, Inc. | Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids |
| KR20210043500A (ko) | 2018-05-29 | 2021-04-21 | 아이답틱 인코포레이티드 | 저시력 사용자들을 위한 하이브리드 투시형 증강 현실 시스템들 및 방법들 |
| CN111832253A (zh) * | 2020-07-03 | 2020-10-27 | Oppo广东移动通信有限公司 | 字体调节方法、装置、存储介质及电子设备 |
| US20220224843A1 (en) * | 2021-01-11 | 2022-07-14 | MGK Innovations, LLC | Smart eyeglasses for improving visual impairment and facilitating visual field tests |
| CN113238700B (zh) | 2021-06-03 | 2024-04-05 | 艾视雅健康科技(苏州)有限公司 | 一种头戴式电子辅助视觉设备及其图像自动放大方法 |
Family Cites Families (113)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5546099A (en) | 1993-08-02 | 1996-08-13 | Virtual Vision | Head mounted display system with light blocking structure |
| US5777715A (en) | 1997-01-21 | 1998-07-07 | Allen Vision Systems, Inc. | Low vision rehabilitation system |
| US6418122B1 (en) * | 1997-03-21 | 2002-07-09 | Scientific-Atlanta, Inc. | Method and apparatus for assuring sufficient bandwidth of a statistical multiplexer |
| US5892570A (en) | 1997-11-24 | 1999-04-06 | State Of Oregon Acting By And Through The State Board Of Higher Education On Behalf Of The University Of Oregon | Method and apparatus for measuring and correcting metamorphopsia |
| US8668334B2 (en) | 2006-02-27 | 2014-03-11 | Vital Art And Science Incorporated | Vision measurement and training system and method of operation thereof |
| AU2007269234A1 (en) | 2006-06-30 | 2008-01-10 | Novavision, Inc. | Diagnostic and therapeutic system for eccentric viewing |
| JP4961914B2 (ja) * | 2006-09-08 | 2012-06-27 | ソニー株式会社 | 撮像表示装置、撮像表示方法 |
| EP3515063A1 (en) | 2007-04-02 | 2019-07-24 | Esight Corp. | A method for augmenting sight |
| US20080309878A1 (en) | 2007-06-13 | 2008-12-18 | Rahim Hirji | Near eye opthalmic device |
| US8066376B2 (en) | 2008-05-01 | 2011-11-29 | Vital Art & Science Incorporated | Dynamic shape discrimination vision test |
| US8821350B2 (en) | 2009-07-02 | 2014-09-02 | Richard J. Maertz | Exercise and communications system and associated methods |
| US7926943B1 (en) | 2009-11-10 | 2011-04-19 | Nike, Inc. | Peripheral vision training and/or testing during central vision fixation |
| EP3611555A1 (en) | 2009-11-19 | 2020-02-19 | eSight Corporation | Image magnification on a head mounted display |
| JP2011172216A (ja) | 2010-01-25 | 2011-09-01 | Panasonic Corp | 再生装置 |
| US8964298B2 (en) | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
| JP2013521576A (ja) | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
| US8708495B2 (en) | 2010-05-23 | 2014-04-29 | The Regents Fo The University Of California | Characterization and correction of macular distortion |
| US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
| US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
| US8976086B2 (en) | 2010-12-03 | 2015-03-10 | Esight Corp. | Apparatus and method for a bioptic real time video system |
| US20160187654A1 (en) | 2011-02-28 | 2016-06-30 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
| US8743244B2 (en) | 2011-03-21 | 2014-06-03 | HJ Laboratories, LLC | Providing augmented reality based on third party information |
| US8376849B2 (en) * | 2011-06-03 | 2013-02-19 | Nintendo Co., Ltd. | Apparatus and method for controlling objects on a stereoscopic display |
| AU2011204946C1 (en) * | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
| WO2013049248A2 (en) | 2011-09-26 | 2013-04-04 | Osterhout Group, Inc. | Video display modification based on sensor input for a see-through near-to-eye display |
| CN108014002A (zh) * | 2011-11-04 | 2018-05-11 | 马萨诸塞眼科耳科诊所 | 自适应视觉辅助装置 |
| US8384999B1 (en) | 2012-01-09 | 2013-02-26 | Cerr Limited | Optical modules |
| US20130215147A1 (en) | 2012-02-17 | 2013-08-22 | Esight Corp. | Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System |
| CA2875261C (en) | 2012-06-01 | 2019-05-21 | Esight Corp. | Apparatus and method for a bioptic real time video system |
| CA2820241C (en) | 2012-06-13 | 2020-01-14 | Robert G. Hilkes | An apparatus and method for enhancing human visual performance in a head worn video system |
| KR101502782B1 (ko) | 2012-06-27 | 2015-03-16 | 삼성전자 주식회사 | 영상 왜곡 보정 장치, 이를 포함하는 의료 영상 장치 및 영상 왜곡 보정 방법 |
| US10223831B2 (en) | 2012-08-30 | 2019-03-05 | Atheer, Inc. | Method and apparatus for selectively presenting content |
| US20140152530A1 (en) * | 2012-12-03 | 2014-06-05 | Honeywell International Inc. | Multimedia near to eye display system |
| EP2939065A4 (en) | 2012-12-31 | 2016-08-10 | Esight Corp | APPARATUS AND METHOD FOR ATTACHING VISION FIELD INCREASE VISIOCASQUE SYSTEMS |
| US9076257B2 (en) | 2013-01-03 | 2015-07-07 | Qualcomm Incorporated | Rendering augmented reality based on foreground object |
| US9180053B2 (en) | 2013-01-29 | 2015-11-10 | Xerox Corporation | Central vision impairment compensation |
| JP6449236B2 (ja) | 2013-03-25 | 2019-01-09 | インテル コーポレイション | 多射出瞳頭部装着型ディスプレイのための方法および装置 |
| WO2014156033A1 (en) | 2013-03-26 | 2014-10-02 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
| WO2015030099A1 (ja) | 2013-08-30 | 2015-03-05 | ブラザー工業株式会社 | 画像表示装置及びヘッドマウントディスプレイ |
| JP6675312B2 (ja) | 2013-09-04 | 2020-04-01 | エシロール・アンテルナシオナル | 拡張現実感のための方法とシステム |
| FR3012627B1 (fr) | 2013-10-25 | 2018-06-15 | Essilor International | Dispositif et procede de correction de posture |
| CN105684074B (zh) | 2014-01-20 | 2020-01-07 | 索尼公司 | 图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统 |
| US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
| WO2015127146A1 (en) * | 2014-02-19 | 2015-08-27 | Evergaze, Inc. | Apparatus and method for improving, augmenting or enhancing vision |
| US20170084203A1 (en) | 2014-03-07 | 2017-03-23 | D.R.I. Systems LLC | Stereo 3d head mounted display applied as a low vision aid |
| EP3140780B1 (en) | 2014-05-09 | 2020-11-04 | Google LLC | Systems and methods for discerning eye signals and continuous biometric identification |
| US10564714B2 (en) | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| US9635222B2 (en) | 2014-08-03 | 2017-04-25 | PogoTec, Inc. | Wearable camera systems and apparatus for aligning an eyewear camera |
| JP2016036390A (ja) | 2014-08-05 | 2016-03-22 | 富士通株式会社 | 情報処理装置、焦点検出方法、および焦点検出プログラム |
| US20180218642A1 (en) | 2014-09-02 | 2018-08-02 | Baylor College Of Medicine | Altered Vision Via Streamed Optical Remapping |
| CN104306102B (zh) | 2014-10-10 | 2017-10-24 | 上海交通大学 | 针对视觉障碍患者的头戴式视觉辅助系统 |
| US11546527B2 (en) | 2018-07-05 | 2023-01-03 | Irisvision, Inc. | Methods and apparatuses for compensating for retinitis pigmentosa |
| AU2015346507A1 (en) | 2014-11-10 | 2017-06-29 | Irisvision, Inc. | Methods and apparatus for vision enhancement |
| US11372479B2 (en) | 2014-11-10 | 2022-06-28 | Irisvision, Inc. | Multi-modal vision enhancement system |
| US20220171456A1 (en) | 2014-11-10 | 2022-06-02 | Irisvision, Inc. | Method and System for Remote Clinician Management of Head-Mounted Vision Assist Devices |
| US10073516B2 (en) | 2014-12-29 | 2018-09-11 | Sony Interactive Entertainment Inc. | Methods and systems for user interaction within virtual reality scene using head mounted display |
| US10591735B2 (en) | 2015-01-15 | 2020-03-17 | Sony Interactive Entertainment Inc. | Head-mounted display device and image display system |
| US20160235291A1 (en) | 2015-02-13 | 2016-08-18 | Dennis Choohan Goh | Systems and Methods for Mapping and Evaluating Visual Distortions |
| US20160264051A1 (en) | 2015-03-12 | 2016-09-15 | Visionize Corp. | Night Driving System and Method |
| NZ773844A (en) | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
| US11016302B2 (en) | 2015-03-17 | 2021-05-25 | Raytrx, Llc | Wearable image manipulation and control system with high resolution micro-displays and dynamic opacity augmentation in augmented reality glasses |
| US20220005587A1 (en) | 2015-03-17 | 2022-01-06 | Raytrx, Llc | System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display |
| US20210257084A1 (en) | 2015-03-17 | 2021-08-19 | Raytrx, Llc | Ar/xr headset for military medical telemedicine and target acquisition |
| US11819273B2 (en) | 2015-03-17 | 2023-11-21 | Raytrx, Llc | Augmented and extended reality glasses for use in surgery visualization and telesurgery |
| US9955862B2 (en) | 2015-03-17 | 2018-05-01 | Raytrx, Llc | System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display |
| US11956414B2 (en) | 2015-03-17 | 2024-04-09 | Raytrx, Llc | Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing |
| US11461936B2 (en) | 2015-03-17 | 2022-10-04 | Raytrx, Llc | Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses |
| US9836828B2 (en) | 2015-04-22 | 2017-12-05 | Esight Corp. | Methods and devices for optical aberration correction |
| JP2016212177A (ja) | 2015-05-01 | 2016-12-15 | セイコーエプソン株式会社 | 透過型表示装置 |
| WO2016182974A1 (en) | 2015-05-08 | 2016-11-17 | Ngoggle | Head-mounted display eeg device |
| US20180104106A1 (en) | 2015-05-12 | 2018-04-19 | Agency For Science, Technology And Research | A system and method for displaying a video image |
| US20160349509A1 (en) | 2015-05-26 | 2016-12-01 | Microsoft Technology Licensing, Llc | Mixed-reality headset |
| WO2016204433A1 (en) | 2015-06-15 | 2016-12-22 | Samsung Electronics Co., Ltd. | Head mounted display apparatus |
| KR20160147636A (ko) | 2015-06-15 | 2016-12-23 | 삼성전자주식회사 | 헤드 마운티드 디스플레이 장치 |
| JP2018528483A (ja) | 2015-06-18 | 2018-09-27 | デジサイト テクノロジーズ インク．Ｄｉｇｉｓｉｇｈｔ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｉｎｃ． | ハンドヘルドコンピュータを使用する網膜撮像用アダプタ |
| US10712573B2 (en) | 2015-07-06 | 2020-07-14 | Frank Jones | Methods and devices for demountable head mounted displays |
| CA164180S (en) | 2015-09-08 | 2016-09-02 | Esight Corp | Combined vision apparatus comprising eyewear frame and demountable display |
| WO2017059522A1 (en) | 2015-10-05 | 2017-04-13 | Esight Corp. | Methods for near-to-eye displays exploiting optical focus and depth information extraction |
| US20170185723A1 (en) | 2015-12-28 | 2017-06-29 | Integer Health Technologies, LLC | Machine Learning System for Creating and Utilizing an Assessment Metric Based on Outcomes |
| JP6798106B2 (ja) * | 2015-12-28 | 2020-12-09 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| WO2017120660A1 (en) | 2016-01-12 | 2017-07-20 | Esight Corp. | Language element vision augmentation methods and devices |
| US10229541B2 (en) | 2016-01-28 | 2019-03-12 | Sony Interactive Entertainment America Llc | Methods and systems for navigation within virtual reality space using head mounted display |
| US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
| US10568502B2 (en) | 2016-03-23 | 2020-02-25 | The Chinese University Of Hong Kong | Visual disability detection system using virtual reality |
| US10643390B2 (en) | 2016-03-30 | 2020-05-05 | Seiko Epson Corporation | Head mounted display, method for controlling head mounted display, and computer program |
| US20170343810A1 (en) | 2016-05-24 | 2017-11-30 | Osterhout Group, Inc. | Pre-assembled solid optical assembly for head worn computers |
| CN105930819B (zh) * | 2016-05-06 | 2019-04-12 | 西安交通大学 | 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统 |
| JP6717377B2 (ja) | 2016-07-04 | 2020-07-01 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2018036993A (ja) * | 2016-09-02 | 2018-03-08 | オリンパス株式会社 | 表示システム、携帯情報機器、ウエラブル型端末、情報表示方法およびプログラム |
| KR20180028796A (ko) * | 2016-09-09 | 2018-03-19 | 삼성전자주식회사 | 이미지 표시 방법, 저장 매체 및 전자 장치 |
| US10950049B1 (en) | 2016-09-30 | 2021-03-16 | Amazon Technologies, Inc. | Augmenting transmitted video data |
| US20180144554A1 (en) | 2016-11-18 | 2018-05-24 | Eyedaptic, LLC | Systems for augmented reality visual aids and tools |
| US10869026B2 (en) | 2016-11-18 | 2020-12-15 | Amitabha Gupta | Apparatus for augmenting vision |
| AU2017362507A1 (en) | 2016-11-18 | 2018-11-22 | Eyedaptic, Inc. | Improved systems for augmented reality visual aids and tools |
| WO2018097632A1 (en) | 2016-11-25 | 2018-05-31 | Samsung Electronics Co., Ltd. | Method and device for providing an image |
| US20180203231A1 (en) | 2017-01-13 | 2018-07-19 | Microsoft Technology Licensing, Llc | Lenslet near-eye display device |
| US20180365877A1 (en) | 2017-03-12 | 2018-12-20 | Eyedaptic, LLC | Systems for adaptive control driven ar/vr visual aids |
| EP3602170A1 (en) | 2017-03-31 | 2020-02-05 | Greget, Mark | System for using augmented reality for vision |
| AU2018258242A1 (en) | 2017-04-25 | 2019-11-07 | Raytrx, Llc | Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing |
| CN107121070B (zh) | 2017-06-30 | 2023-03-21 | 易视智瞳科技（深圳）有限公司 | 一种胶阀针头标定系统及标定方法 |
| US20190012841A1 (en) | 2017-07-09 | 2019-01-10 | Eyedaptic, Inc. | Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids |
| US10969584B2 (en) | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
| US10984508B2 (en) | 2017-10-31 | 2021-04-20 | Eyedaptic, Inc. | Demonstration devices and methods for enhancement for low vision users and systems improvements |
| WO2019104413A1 (en) | 2017-12-03 | 2019-06-06 | Frank Jones | Enhancing the performance of near-to-eye vision systems |
| JP7297318B2 (ja) | 2017-12-03 | 2023-06-26 | ルムス エルティーディー． | 光学デバイスの位置合わせ方法 |
| CN112534467A (zh) | 2018-02-13 | 2021-03-19 | 弗兰克.沃布林 | 对比度敏感度补偿的方法和装置 |
| US11563885B2 (en) | 2018-03-06 | 2023-01-24 | Eyedaptic, Inc. | Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids |
| US11145096B2 (en) | 2018-03-07 | 2021-10-12 | Samsung Electronics Co., Ltd. | System and method for augmented reality interaction |
| KR20210043500A (ko) | 2018-05-29 | 2021-04-21 | 아이답틱 인코포레이티드 | 저시력 사용자들을 위한 하이브리드 투시형 증강 현실 시스템들 및 방법들 |
| EP3830630A4 (en) | 2018-07-13 | 2023-01-11 | Raytrx, LLC | WEARABLE IMAGE MANIPULATION AND CONTROL SYSTEM FEATURING HIGH-RESOLUTION MICRO DISPLAY DEVICES AND DYNAMIC OPACITY ENHANCEMENT IN AUGMENTED REALITY GLASSES |
| WO2020014707A1 (en) | 2018-07-13 | 2020-01-16 | Raytrx, Llc | Wearable image manipulation and control system with high resolution micro-displays and dynamic opacity augmentation in augmented reality glasses |
| WO2020014705A1 (en) | 2018-07-13 | 2020-01-16 | Raytrx, Llc | Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses |
| CN110311351B (zh) | 2019-07-17 | 2022-05-03 | 易视智瞳科技（深圳）有限公司 | 过流保护电路以及负载回路 |
-
2019
- 2019-09-24 US US17/278,350 patent/US11726561B2/en active Active
- 2019-09-24 EP EP19865015.2A patent/EP3856098A4/en active Pending
- 2019-09-24 CN CN201980073464.6A patent/CN112969436B/zh active Active
- 2019-09-24 KR KR1020217012102A patent/KR20210058964A/ko unknown
- 2019-09-24 JP JP2021540385A patent/JP2022502798A/ja active Pending
- 2019-09-24 WO PCT/US2019/052685 patent/WO2020068819A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US11726561B2 (en) | 2023-08-15 |
| EP3856098A4 (en) | 2022-05-25 |
| EP3856098A1 (en) | 2021-08-04 |
| JP2022502798A (ja) | 2022-01-11 |
| WO2020068819A1 (en) | 2020-04-02 |
| CN112969436A (zh) | 2021-06-15 |
| US20210373656A1 (en) | 2021-12-02 |
| CN112969436B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11726561B2 (en) | Enhanced autonomous hands-free control in electronic visual aids | |
| CN112507799B (zh) | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 | |
| CN110647865B (zh) | 人脸姿态的识别方法、装置、设备及存储介质 | |
| US20220076468A1 (en) | Language element vision augmentation methods and devices | |
| US10579141B2 (en) | Dynamic calibration methods for eye tracking systems of wearable heads-up displays | |
| US9774780B1 (en) | Cues for capturing images | |
| US11756168B2 (en) | Demonstration devices and methods for enhancement for low vision users and systems improvements | |
| CN109739361B (zh) | 基于眼睛跟踪的可见度提高方法和电子装置 | |
| US8913004B1 (en) | Action based device control | |
| US8624927B2 (en) | Display apparatus, display control method, and display control program | |
| US8379059B2 (en) | Portable electronic device and method for adjusting display orientation of the portable electronic device | |
| US10360876B1 (en) | Displaying instances of visual content on a curved display | |
| DE112015002673T5 (de) | Anzeige zur Informationsverwaltung | |
| US9298980B1 (en) | Image preprocessing for character recognition | |
| US20210117048A1 (en) | Adaptive assistive technology techniques for computing devices | |
| US11915671B2 (en) | Eye gaze control of magnification user interface | |
| CN108369451B (zh) | 信息处理装置、信息处理方法及计算机可读存储介质 | |
| US9350918B1 (en) | Gesture control for managing an image view display | |
| US20240126366A1 (en) | Enhanced autonomous hands-free control in electronic visual aids | |
| CN118105238A (zh) | 电子视觉辅助设备中自主增强的免手动控制 | |
| KR101720607B1 (ko) | 영상 촬영 장치 및 그 동작 방법 | |
| KR20140139743A (ko) | 영상 제어 방법 및 이를 이용한 영상 표시 장치 | |
| CN118113141A (zh) | 交互方法、装置、电子设备及存储介质 |