RU2672502C1 - Устройство и способ для формирования изображения роговицы - Google Patents
Устройство и способ для формирования изображения роговицы Download PDFInfo
- Publication number
- RU2672502C1 RU2672502C1 RU2017122746A RU2017122746A RU2672502C1 RU 2672502 C1 RU2672502 C1 RU 2672502C1 RU 2017122746 A RU2017122746 A RU 2017122746A RU 2017122746 A RU2017122746 A RU 2017122746A RU 2672502 C1 RU2672502 C1 RU 2672502C1
- Authority
- RU
- Russia
- Prior art keywords
- reflection
- optical
- image
- eyes
- cornea
- Prior art date
Links
- 210000004087 cornea Anatomy 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims description 39
- 230000003287 optical effect Effects 0.000 claims abstract description 384
- 238000006243 chemical reaction Methods 0.000 claims abstract description 221
- 210000001508 eye Anatomy 0.000 claims abstract description 147
- 238000012545 processing Methods 0.000 claims abstract description 62
- 230000009466 transformation Effects 0.000 claims description 31
- 239000011521 glass Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 239000005336 safety glass Substances 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 34
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 9
- 238000000576 coating method Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 238000000844 transformation Methods 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 239000011248 coating agent Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003796 beauty Effects 0.000 description 3
- 230000004313 glare Effects 0.000 description 3
- 230000004304 visual acuity Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002159 anterior chamber Anatomy 0.000 description 1
- 239000006117 anti-reflective coating Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001817 pituitary effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000011253 protective coating Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
- A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B17/00—Systems with reflecting surfaces, with or without refracting elements
- G02B17/08—Catadioptric systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Устройство для формирования изображения зеркальных отражений от роговицы пользователя устройства и от оптического приспособления для глаз, носимого пользователем, содержит первую камеру, выполненную с возможностью захвата изображения роговицы и оптического приспособления для глаз, средство обработки, выполненное с возможностью получения первого изображения от первой камеры, идентификации, путем анализа первого изображения, отражения от роговицы и отражения от отражающей поверхности оптического приспособления для глаз, и определения оптического преобразования, представляющего собой отражение от роговицы, и оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз. Технический результат - обеспечение улучшенного решения для формирования изображения роговицы для вычислительных устройств и, в частности, портативных устройств, таких как мобильные телефоны, смартфоны, планшеты, портативные компьютеры и т.п. 3 н. и 18 з.п. ф-лы, 7 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к устройству для формирования изображения роговицы, способу формирования изображения роговицы, выполняемому устройством, соответствующей компьютерной программе и соответствующему компьютерному программному продукту.
УРОВЕНЬ ТЕХНИКИ
Использование формирования изображения роговицы с помощью переносных и других устройств, таких как мобильные телефоны, смартфоны, планшеты, портативные компьютеры и т.п., требует, чтобы интерфейс, основанный на формировании изображения роговицы, работал надежно во всем диапазоне различных условий эксплуатации, в том числе когда пользователь, эксплуатирующий устройство, носит оптическое приспособление для глаз, такое как защитные очки, диоптрийные очки, солнцезащитные щитки, закрытые защитные очки или контактные линзы.
Формирование изображения роговицы является методикой, которая использует камеру для формирования изображения роговицы человека, в частности роговицы пользователя устройства, для сбора информации о том, что находится перед человеком, а также, вследствие сферичности глазного яблока человека, для сбора информации об объектах в поле обзора, которое является более широким, чем поле обзора, видимое человеком. Такие объекты потенциально могут быть вне поля обзора камеры и даже могут быть расположены позади камеры. Это методика возможна благодаря высокой отражательной способности роговицы человека, а также доступности камер высокого разрешения в устройствах, таких как смартфоны и планшеты. Анализ характеристик системы формирования изображения роговицы был дан K. Nishino и S. K. Nayar, ʺEyes for relightingʺ, в ACM SIGGRAPH 2004 Papers (SIGGRAPH '04), ACM, New York, 2004, страницы 704-711.
В работе «Оценка объекта в фокусе с использованием изображения поверхности роговицы для взаимодействия с помощью глаз» (сентябрь 2013) K. Takemura, T. Yamakawa, J. Takamatsu и T. Ogasawara предлагают способ для оценки объекта, на котором пользователь сфокусировал взгляд, путем использования камеры для съемки глаз, которая захватывает отражение на поверхности роговицы, что позволяет одновременно извлекать информацию о глазах и об окружении из изображения поверхности роговицы.
US 2014/062868 A1 раскрывает дисплей, который включает в себя скрытые опорные осветители, которые выполнены с возможностью излучения невидимого света для создания роговично-склеральных отражений на глазе, смотрящем на поверхность экрана дисплея. Отслеживание таких отражений и центра зрачка обеспечивает входные данные для отслеживания взгляда.
US 2014/002349 A1 раскрывает способ фильтрации бликов путем обработки изображения роговицы пользователя для получения координат желаемых бликов от конфигурации источников света. Способ основан на геометрической гомографии, он является полезным для надежной оценки направления взгляда применительно, например, к отслеживанию движений глаз.
US 2011/085139 A1 раскрывает способ определения точки взгляда глаза, смотрящего на дисплей, который управляется с помощью сигнала дисплея. Способ содержит генерацию сигнала дисплея для дисплея для создания шаблона на экране, прием сигнала, кодирующего изображение глаза, включающее роговично-склеральное отражение шаблона на экране, и определение, частично на основании геометрии упомянутого отражения, точки взгляда глаза. Могут использоваться опорные осветители, и шаблон на экране может чередоваться с отличительным эталонным шаблоном.
Очки могут носить для коррекции зрения, для красоты, чтобы избежать бликов или для защиты, и они могут производиться с различными покрытиями поверхности, которые варьируются от покрытий, которые имеют целью предотвратить поверхностные отражения, до высокоотражающих покрытий, и с различной кривизной линз.
Использование оптического приспособления для глаз, в частности такого как корректирующие очки или солнцезащитные очки, с высокой вероятностью будет генерировать дополнительные зеркальные отражения, возникающие и от роговицы глаза пользователя, и от очков, или, в случае очков с высокоотражающим покрытием, только от одних очков. Это может приводить к предоставлению ошибочных результатов системой формирования изображения роговицы.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Задачей изобретения является обеспечение улучшенной альтернативы вышеупомянутым методикам и предшествующему уровню техники.
Более конкретно, задачей изобретения является обеспечение улучшенного решения для формирования изображения роговицы для вычислительных устройств и, в частности, портативных устройств, таких как мобильные телефоны, смартфоны, планшеты, портативные компьютеры и т.п.
Эти и другие задачи изобретения решаются с помощью различных аспектов изобретения, определенных в независимых пунктах формулы изобретения. Варианты осуществления изобретения характеризуются зависимыми пунктами формулы изобретения.
В соответствии с первым аспектом изобретения обеспечено устройство для формирования изображения роговицы. Устройство содержит первую камеру и средство обработки. Первая камера выполнена с возможностью формирования изображения роговицы пользователя устройства, оптического приспособления для глаз, которое носит пользователь, или их обоих. Средство обработки выполнено с возможностью получения первого изображения от первой камеры, идентификации первого отражения от роговицы и/или второго отражения от отражающей поверхности оптического приспособления для глаз и определения первого оптического преобразования, представляющего собой первое отражение, и/или второго оптического преобразования, представляющего собой второе отражение. Средство обработки выполнено с возможностью идентификации первого отражения и/или второго отражения путем анализа первого изображения, то есть посредством обработки изображения.
В соответствии со вторым аспектом изобретения обеспечен способ формирования изображения роговицы. Способ выполняется устройством и содержит этап, на котором получают первое изображение от первой камеры. Первая камера выполнена с возможностью формирования изображения роговицы пользователя устройства, оптического приспособления для глаз, которое носит пользователь, или их обоих. Способ дополнительно содержит этапы, на которых идентифицируют первое отражение роговицей и/или второе отражение отражающей поверхностью оптического приспособления для глаз и определяют первое оптическое преобразование, представляющее собой первое отражение, и/или второе оптическое преобразование, представляющее собой второе отражение. Первое отражение и/или второе отражение идентифицируются путем анализа первого изображения, то есть посредством обработки изображения.
В соответствии с третьим аспектом изобретения обеспечена компьютерная программа. Компьютерная программа содержит исполнимые компьютером инструкции, заставляющие устройство выполнять способ в соответствии с вариантом осуществления второго аспекта изобретения, когда исполнимые компьютером инструкции исполняются в блоке обработки, содержащемся в устройстве.
В соответствии с четвертым аспектом изобретения обеспечен компьютерный программный продукт. Компьютерный программный продукт содержит машиночитаемый носитель данных, который имеет воплощенную на нем компьютерную программу в соответствии с третьим аспектом изобретения.
Изобретение использует понимание того, что улучшенное решение для формирования изображения роговицы для пользователя, эксплуатирующего вычислительные устройства, в частности портативные устройства, такие как мобильные телефоны, смартфоны, планшеты, портативные компьютеры и т.п., может быть достигнуто путем учета зеркальных отражений оптическим приспособлением для глаз, которое носит пользователь. Такие отражения могут возникать от одной или нескольких отражающих поверхностей оптического приспособления для глаз, например, поверхности линзы очков. Зеркальное отражение является зеркальноподобным отражением света от такой отражающей поверхности. В некоторых случаях, если оптическое приспособление для глаз обеспечено высокоотражающим покрытием поверхности, например, определенные типы солнцезащитных очков, отражение от оптического приспособления для глаз может быть единственным отражением, которое обнаружено интерфейсом формирования изображения роговицы, отражение роговицей при этом заслонено отражением от оптического приспособления для глаз и затемненными стеклами.
Вообще, оптическое приспособление для глаз состоит из элементов и аксессуаров, носимых на или поверх глаз пользователя для красоты или в качестве украшения, для защиты от окружающей среды или для улучшения или увеличения остроты зрения. Обычные формы оптического приспособления для глаз включают в себя очки, также называемые защитными очками или диоптрийными очками, солнцезащитные очки и контактные линзы, но также могут включать в себя другие формы защиты глаз, такие как закрытые защитные очки.
Известные системы формирования изображения роговицы не идентифицируют отражения, создаваемые оптическим приспособлением для глаз, которое носит пользователь, и не способны делать поправку на получающиеся несколько зеркальных отражений и от роговицы пользователя, и от оптического приспособления для глаз, что приводит к ошибочным результатам.
Настоящее раскрытие обеспечивает решение, посредством которого идентифицируются дополнительные отражающие поверхности, которые имеются между роговицей пользователя и устройством формирования изображения, например, смартфоном, который обеспечен фронтальной камерой, выполненной с возможностью формирования изображения роговицы пользователя устройства и/или оптического приспособления для глаз, которое носит пользователь, и это решение отличается тем, что зеркальные изображения отражения от роговицы и/или очков могут использоваться либо независимо, либо вместе.
Путем идентификации одного или нескольких отражений на первом изображении, захваченном первой камерой, такой как фронтальная камера, которой обеспечено устройство, могут быть получены оптические преобразования, которые представляют собой отражение от роговицы пользователя или оптического приспособления для глаз, которое носит пользователь. На протяжении всего этого раскрытия отражение от роговицы глаза пользователя называется первым отражением, тогда как отражение, возникающее от отражающей поверхности оптического приспособления для глаз, называется вторым отражением. Следует понимать, что некоторые типы оптических приспособлений для глаз, в частности очки с толстыми линзами, могут давать более чем одно отражение, но для простоты ниже предполагается, что заметным является только одно из этих отражений на первом изображении. Варианты осуществления изобретения, которые учитывают многократные отражения от оптического приспособления для глаз, могут быть легко предусмотрены.
В настоящем контексте оптическое преобразование является преобразованием, которое преобразует изображение объекта сцены в пределах поля обзора роговицы или оптического приспособления для глаз в отражение, которое захватывается первой камерой. Из-за неплоской геометрии отражающих поверхностей роговицы человека, а также типичных форм оптических приспособлений для глаз, отраженное изображение искажено в степени, зависящей от кривизны отражающей поверхности.
Для каждого из идентифицированных отражений может быть получено оптическое преобразование, описывающее отражение, на основании множества альтернатив, как объясняется ниже. Полученные оптические преобразования могут впоследствии использоваться для корректировки изображений роговицы или для корректирующей информации, извлеченной из изображений роговицы, например, геометрической информации, относящейся к сцене, захваченной в изображении роговицы. Следует понимать, что на протяжении всего этого раскрытия понятие формирования изображения роговицы включает в себя изображения, которые захватывают отражения не только от роговицы пользователя, но также и от оптического приспособления для глаз, которое носит пользователь.
В качестве альтернативы или в дополнение к получению одного или нескольких оптических преобразований, представляющих собой отражение от роговицы пользователя или оптического приспособления для глаз, которое носит пользователь, варианты осуществления изобретения могут получать геометрическую модель отражающей поверхности, вызывающей отражение. Для роговицы взрослого человека, например, геометрия ее отражающей поверхности может быть аппроксимирована эллипсоидом с параметрами, которые не слишком сильно варьируются от человека к человеку. Ситуация, однако, отличается для оптических приспособлений для глаз, которые производятся с различной кривизной отражающих поверхностей, например, линзы.
Варианты осуществления изобретения выгодны тем, что они работают более надежно, чем традиционные устройства, основанные на формировании изображения роговицы, которые не учитывают дополнительные отражения оптическим приспособлением для глаз, которое носит пользователь.
В соответствии с вариантом осуществления изобретения определяется информация, описывающая первое оптическое преобразование и/или второе оптическое преобразование. Информация, описывающая первое оптическое преобразование и/или второе оптическое преобразование, может, например, содержать первую кривизну роговицы и/или вторую кривизну отражающей поверхности оптического приспособления для глаз. Для произвольной отражающей поверхности кривизна, в общем, является нескалярной величиной, которая, например, может быть представлена с помощью различных параметров, таких как скалярная кривизна или радиус и эксцентриситет. Альтернативно, информация может быть, например, подходящим математическим описанием первого и/или второго оптического преобразования и может быть основана на одном или нескольких геометрических параметрах или одной или нескольких матрицах. Определение информации, описывающей первое оптическое преобразование и/или второе оптическое преобразование, выгодно тем, что впоследствии она может использоваться для корректировки изображений роговицы или информации, извлеченной из изображений роговицы, например, геометрической информации, относящейся к сцене, захваченной в изображении роговицы. Опционально, информация может быть предоставлена приложению, исполняемому на устройстве, такому как приложение, использующее формирование изображения роговицы.
В соответствии с одним вариантом осуществления изобретения первое оптическое преобразование является универсальным оптическим преобразованием, представляющим собой отражение роговицей человека. То есть вместо определения первого оптического преобразования на основании анализа изображения, оно может быть получено из известной геометрии роговицы человека, которая, по меньшей мере для взрослых людей, не слишком сильно варьируется от человека к человеку. К выгоде, определенное первое оптическое преобразование может использоваться в определении второго оптического преобразования, как описывается в настоящем описании.
В соответствии с одним вариантом осуществления изобретения информация, описывающая второе оптическое преобразование, извлекается из базы данных на основании идентификации, такой как марка и модель оптического приспособления для глаз. К выгоде, информация, описывающая второе оптическое преобразование, получается из базы данных, которая может быть обеспечена на устройстве или вне устройства. В последнем случае устройство может осуществить запрос к базе данных через коммуникационную сеть, например, сеть радиодоступа и/или Интернет. Альтернативно, вместо извлечения информации, описывающей второе оптическое преобразование, также возможны варианты осуществления, извлекающие второе оптическое преобразование или геометрическую модель отражающей поверхности оптического приспособления для глаз. К выгоде, определенное второе оптическое преобразование может использоваться в определении первого оптического преобразования, как описывается в настоящем описании.
В соответствии с другим вариантом осуществления изобретения первое оптическое преобразование и/или второе оптическое преобразование может быть определено путем идентификации отражения устройства в первом отражении и/или втором отражении и определения первого оптического преобразования и/или второго оптического преобразования на основании формы устройства. Этот вариант осуществления позволяет определять любое из: первое и второе оптическое преобразование отдельно на основании формы устройства. Это достигается путем идентификации отражения устройства на первом изображении либо в первом отражении от роговицы, либо втором отражении от оптического приспособления для глаз и получения первого или второго оптического преобразования в качестве оптического преобразования, которое преобразует известную форму устройства, как правило близкую к прямоугольнику известного размера, в искаженную форму захваченного отражения устройства. Опционально, устройство может дополнительно содержать экран, используемый как устройство вывода для этого устройства, и отражение устройства является отражением экрана. Как правило, экран обеспечен на той же самой стороне, что и первая камера. Определении первого и/или второго оптического преобразования на основании отражения экрана выгодно тем, что отражения экрана являются заметными и легко идентифицируемыми.
В соответствии с одним вариантом осуществления изобретения первое оптическое преобразование и/или второе оптическое преобразование определяются путем определения одного из: первого оптического преобразования или второго оптического преобразования, идентификации по меньшей мере одного объекта, который является видимым и в первом отражении, и во втором отражении, определения третьего оптического преобразования между этим по меньшей мере одним объектом в первом отражении и этим по меньшей мере одним объектом во втором отражении и определения другого оптического преобразования первого оптического преобразования и второго оптического преобразования на основании определенного оптического преобразования и третьего оптического преобразования. Этот вариант осуществления выгоден, если объект сцены захвачен в обоих отражениях, то есть в первом отражении и втором отражении. Он основан на понимании того, что если одно из: первое оптическое преобразование или второе оптическое преобразование известно или может быть определено с помощью одной из альтернатив, раскрытых в настоящем описании, другое оптическое преобразование, которое еще должно быть определено, может быть определено на основании оптического преобразования, которое преобразует объект, захваченный в первом отражении, в объект, захваченный во втором отражении, или наоборот. Это решение может использоваться с выгодой, если и первое отражение, и второе отражение являются заметными на захваченном первом изображении и могут быть разделены, так что может быть получено оптическое преобразование, называемое третьим оптическим отражением, между объектом в первом отражении и объектом во втором отражении. Следует понимать, что третье оптическое преобразование не представляет собой отражение от реальной отражающей поверхности, а является средством описания и количественной оценки разницы в отражении от роговицы и от оптического приспособления для глаз.
В соответствии с одним вариантом осуществления изобретения устройство дополнительно содержит вторую камеру, которая имеет поле обзора, которое, по существу, является противоположным полю обзора первой камеры. Такая камера обычно обеспечивается на стороне устройства, которая является противоположной стороне, которая содержит экран, и часто называется задней камерой. Первое оптическое преобразование и/или второе оптическое преобразование определяются путем получения второго изображения от второй камеры, идентификации по меньшей мере одного объекта, который присутствует и на первом изображении, и на втором изображении, определения четвертого оптического преобразования между этим по меньшей мере одним объектом на первом изображении и этим по меньшей мере одним объектом на втором изображении и определения первого оптического преобразования и/или второго оптического преобразования на основании четвертого оптического преобразования. Этот вариант осуществления основан на понимании того, что второе изображение, захваченное задней камерой, не страдает от искажений из-за отражения от роговицы или оптического приспособления для глаз. Соответственно, путем установления оптического преобразования, в настоящем описании называемого четвертым оптическим преобразованием, между объектом, захваченным на первом изображении, и тем же самым объектом, захваченным на втором изображении, может быть определено первое или второе оптическое преобразование. Этот вариант осуществления выгоден в ситуациях, когда устройство размещено таким образом, чтобы захватывать один и тот же объект первой камерой через отражение роговицей и/или оптическим приспособлением для глаз и второй камерой прямым образом, то есть не через отражение.
В соответствии с одним вариантом осуществления изобретения обеспечены изображение первого отражения, изображение второго отражения, или они оба. То есть вместо того, чтобы предоставлять информацию, описывающую первое и/или второе оптическое преобразование приложению, исполняемому на устройстве, для использования этой информации с целями формирования изображения роговицы, альтернативно или дополнительно приложению могут быть обеспечены изображения первого и/или второго отражения. Опционально, изображение первого отражения и/или изображение второго отражения могут быть скорректированы на основании первого оптического преобразования и/или второго оптического преобразования соответственно, чтобы обратить искажение, возникающее при отражении от неплоской поверхности, такой как роговица или оптическое приспособление для глаз.
В соответствии с одним вариантом осуществления изобретения обеспечивается объединенное изображение первого отражения и второго отражения. То есть вместо обеспечения только одного изображения или двух отдельных изображений первого отражения и второго отражения, обеспечивается изображение, которое является комбинацией скорректированного изображения первого отражения и скорректированного изображения второго отражения. Корректировку изображения следует понимать как выполнение оптического преобразования, которое является обратным первому оптическому преобразованию или второму оптическому преобразованию, тем самым обращающему искажение, возникающее при отражении от неплоской поверхности. Это выгодно тем, что может быть получено изображение улучшенного качества.
В соответствии с одним вариантом осуществления изобретения одна или несколько метрик, связанных с требованиями к изображению отражения, определяются для каждого из: изображения первого отражения и изображения второго отражения, и обеспеченное изображение выбирается на основании определенной одной или нескольких метрик. Эти метрики могут, например, относиться к любому из или комбинации из: качеству изображения, разрешению изображения, видимости или присутствию некоторого объекта, такого как экран устройства, и т.д. К выгоде, на основании определенной метрики одно из изображений первого и второго отражения могут быть выбраны для последующего использования приложением формирования изображения роговицы. Тем самым приложение обеспечивается изображением достаточного качества, разрешения, захватывающим некоторый объект и т.п.
В соответствии с одним вариантом осуществления изобретения устройство дополнительно содержит экран, используемый как устройство вывода для этого устройства, и на экране отображается графическое содержание, чтобы заставить пользователя переместить устройство относительно головы пользователя. При определенных обстоятельствах первое изображение и, возможно, также второе изображение могут иметь низкое качество или могут не захватывать желаемый объект, то есть объект, который должен быть захвачен, с целью выполнения формирования изображения роговицы. Например, пользователь может держать устройство так, что отражение желаемого объекта, например, экрана, не захватывается первой камерой. Путем отображения содержания на экране так, чтобы заставить пользователя переместить его/ее голову и/или устройство, может быть достигнута ориентация устройства относительно головы пользователя, которая позволяет захватить изображения с улучшенными свойствами. Это может быть достигнуто, например, путем отображения размытого графического содержания или путем уменьшения размера отображаемого графического содержания, например, текста, чтобы заставить пользователя переместить устройство ближе к его/ее глазам.
Хотя преимущества изобретения в некоторых случаях были описаны со ссылкой на варианты осуществления первого аспекта изобретения, соответствующие рассуждения применимы к вариантам осуществления других аспектов изобретения.
Дополнительные цели, признаки и преимущества изобретения будут очевидны после изучения следующего ниже подробного раскрытия, чертежей и прилагаемой формулы изобретения. Специалистам в области техники будет понятно, что различные признаки изобретения могут комбинироваться для создания вариантов осуществления помимо описанных ниже.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Упомянутые выше, а также дополнительные задачи, признаки и преимущества изобретения можно лучше понять с помощью следующего иллюстративного и неограничивающего подробного описания вариантов осуществления изобретения со ссылкой на прилагаемые чертежи, на которых:
фиг. 1a и 1b изображают устройство для формирования изображения роговицы в соответствии с вариантом осуществления изобретения.
Фиг. 2a и 2b изображают устройство для формирования изображения роговицы в соответствии с другим вариантом осуществления изобретения.
Фиг. 3 показывает блок обработки устройства для формирования изображения роговицы в соответствии с вариантом осуществления изобретения.
Фиг. 4 показывает способ формирования изображения роговицы в соответствии с вариантом осуществления изобретения.
Фиг. 5 показывает блок обработки устройства для формирования изображения роговицы в соответствии с другим вариантом осуществления изобретения.
Все фигуры являются схематичными, они не обязательно выполнены в масштабе, и, как правило, они показывают только части, которые необходимы для объяснения изобретения, при этом другие части могут быть опущены или просто предполагаться.
ПОДРОБНОЕ ОПИСАНИЕ
Далее в настоящем описании будет более полно описано изобретение со ссылкой на прилагаемые чертежи, на которых показаны некоторые варианты осуществления изобретения. Это изобретение, однако, может быть воплощено во многих различных формах и не должно рассматриваться как ограниченное вариантами осуществления, изложенными в настоящем описании. Скорее эти варианты осуществления обеспечены в качестве примера, чтобы это раскрытие было полным и завершенным, и полностью передавало объем изобретения для специалистов в области техники.
На фиг. 1a показано устройство 100 в соответствии с вариантом осуществления изобретения. Устройство 100 на фиг. 1a, изображенное как смартфон, содержит средство 101 обработки, экран 110 и первую камеру 121. Экран 110 используется как устройство вывода для этого устройства 100, то есть для отображения графического содержания, такого как элементы пользовательского интерфейса, например, изображения, части текста, поля для ввода или редактирования текста (такие как текстовое поле 111), унифицированные указатели ресурсов (URL) или другие ссылки, виртуальные кнопки или клавиши (такие как виртуальная клавиатура 112) и т.п. Средство 101 обработки, например, операционная система или приложение, исполняемое на средстве 101 обработки, управляет экраном 110 и графическими объектами, отображенными на нем. Экран 110 может быть традиционным экраном не сенсорного типа или сенсорным экраном, как известно в области техники. Как изображено, устройство 100 эксплуатируется пользователем 130, и оно может быть вычислительным устройством любого типа, подходящим для формирования изображения роговицы, таким как мобильный телефон, смартфон, планшет, портативный компьютер и т.п.
На протяжении этого раскрытия предполагается, что пользователь устройства является человеком, располагающимся так, чтобы иметь возможность эксплуатировать устройство, например, держащим устройство, сидящим перед столом, на которой размещено устройство, или сидящим рядом с человеком, держащим устройство. Также следует понимать, что пользователь может управлять устройством и/или вводить информацию, например, путем касания элементов пользовательского интерфейса, отображенных на сенсорном экране устройства.
Первая камера 121 имеет поле обзора, которое направлено в том же самом направлении, что и направление просмотра экрана 110. Первая камера 121 и экран 110 предпочтительно обеспечены на одной и той же стороне устройства 100, то есть камера 121 является фронтальной камерой. Опционально, устройство 100 может содержать несколько фронтальных камер, а также заднюю камеру 122 на стороне устройства 100, которое противоположно стороне, на которой обеспечены экран 110 и камера 121.
Фронтальная камера 121 выполнена с возможностью формирования изображения роговицы 162 глаза 160 пользователя 130 устройства 100 и/или оптического приспособления 170 для глаз, которое носит пользователь 130, изображенное на фиг. 1a как очки 170. Вообще, оптическое приспособление для глаз состоит из элементов и аксессуаров, носимых на или поверх глаз для красоты или украшения, защиты от окружающей среды и улучшения или увеличения остроты зрения. В настоящем контексте оптическое приспособление для глаз может включать в себя обычные формы оптических приспособлений для глаз, такие как очки, также называемые защитными очками или диоптрийными очками, солнцезащитные очки и контактные линзы, и более утилитарные формы защиты глаз, такие как закрытые защитные очки.
Со ссылкой на фиг. 1b, показывающей увеличенное изображение глаза 160 пользователя 130 и оптического приспособления 170 для глаз, носимого пользователем 130, средство 101 обработки устройства 100 выполнено с возможностью получения первого изображения от фронтальной камеры 121, идентификации первого отражения 163 от роговицы 162 и, дополнительно или альтернативно, второго отражения 173 от отражающей поверхности 172 оптического приспособления 170 для глаз. Первое отражение 163 и/или второе отражение 173 идентифицируются путем анализа первого изображения, то есть путем обработки изображения, как известно в данной области техники.
Алгоритм обработки изображений для разделения первого отражения 163 и второго отражения 173 может быть основан, например, на эффекте параллакса. Поскольку роговица 162 и линза 172 находятся на различном расстоянии от фронтальной камеры 121, любое боковое движение будет приводить к большему смещению для второго отражения 173, потому что линза 172, предположительно, находится ближе к фронтальной камере 121 по сравнению с первым отражением 163, так как роговица 162, предположительно, находится дальше от фронтальной камеры 121. Путем отслеживания движения объектов, например, полных объектов, частичных объектов или участков цвета по мере сдвига относительного бокового положения первой камеры 121 и роговицы 162 или линзы 172, может быть определено, что эти объекты принадлежат либо первому отражению 163, либо второму отражению 173. Следует понимать, что боковой сдвиг во взаимном положении может происходить из-за естественного движения руки и/или головы пользователя 130, или может быть стимулированным путем отображения визуальных стимулов на экране 110, изменения графического содержания, отображенного на экране 110, или путем осязательного сигнала, стимулирующего пользователя 130 переместить и/или повернуть устройство 100. Такой сдвиг взаимного положения также может использоваться для захвата нескольких изображений линзы 172 и последующего объединения этих нескольких изображений в 3D изображение, из которого может быть получена геометрическая модель или кривизна линзы 172.
Сдвиг первого отражения 163 и/или второго отражения 173 в первом изображении также может быть обнаружен посредством Эйлерового видео увеличения, как описано в H. Wu, M. Rubinstein, E. Shih, J. Guttag, F. Durand, and W. T. Freeman, ʺEulerian Video Magnification for Revealing Subtle Changes in the World", в ACM Transactions on Graphics (Proc. SIGGRAPH 2012), 2012, т. 31.
Кроме того, в случае, если фронтальная камера 121 способна к фокусировке первого изображения в результате захвата, первое изображение может быть скорректировано так, что первое отражение 163 и второе отражение 173 могут быть в фокусе в разные моменты времени, тем самым облегчая идентификацию отдельно первого отражения 163 и второго отражения 173 в первом изображении.
Относительно первого отражения 163, возникающего от роговицы 162 пользователя 130, следует отметить, что свет отражается главным образом роговицей человеческого глаза, и что легче обнаружить отражения в темной области радужной оболочки глаза по сравнению с белой белочной оболочкой глаза, окружающей радужную оболочку. Методика формирования изображения роговицы возможна благодаря сферичности глазного яблока человека, что позволяет собирать информацию об объектах в поле обзора 161, которое может быть более широким, чем поля обзора, видимое пользователем 130. Формирование изображения роговицы может использоваться, например, для захвата изображений окружения пользователя 130 или для обеспечения сенсорного пользовательского интерфейса, который использует фронтальную камеру 121 для захвата вида сверху вниз устройства 100 и, в частности, пальца 151, касающегося экрана 110 и отображаемых элементов пользовательского интерфейса. Путем анализа изображения, захватывающего отражения устройства 100 и пальца 151, может быть получена информация о взаимодействии пользователя 130, использующего его/ее палец 151, с устройством 100. Например, устройство 100 может быть выполнено с возможностью предсказания, какой элемент пользовательского интерфейса, отображенный на экране 110, пользователь 130 намеревается коснуться пальцем 151, в дополнение или вместо обнаружения места касания с помощью сенсорного экрана 110, как известно в данной области техники.
Пользовательские интерфейсы и другие решения, которые основаны на формировании изображения роговицы, могут страдать от зеркальных отражений, которые возникают от оптического приспособления 170 для глаз, которые носит пользователь 130. Второе отражение 173, который изображено на фиг. 1b, может возникать от отражающей поверхности оптического приспособления 170 для глаз, например, наружной поверхности линзы 172 очков 170 или контактной линзы. Вообще, может возникать несколько отражений от оптического приспособления 170 для глаз, например, от двух поверхностей линзы 172. Для простоты здесь предполагается, что только одно из этих нескольких отражений является заметным на первом изображении, полученном от камеры 121. Число отражений от оптического приспособления 170 для глаз, которые являются заметными на первом изображении, также может зависеть от типа оптического приспособления для глаз и любого защитного покрытия, примененного к оптическому приспособлению для глаз, такого как отражающие покрытия, которые популярны в солнцезащитных очках, или антибликовые покрытия, которые часто применяются к линзам, используемым для увеличения остроты зрения.
Также понятно, что только одно из первого отражения 163 и второго отражения 173 может быть заметным на первом изображении. Например, если линза 172 обеспечена антибликовым покрытием, только первое отражение 163 может быть заметным на первом изображении, тогда как только второе отражение 173 может быть заметным на первом изображении, если линза 172 обеспечена высокоотражающим покрытием.
Средство 101 обработки дополнительно выполнено с возможностью определения первого оптического преобразования, представляющего собой первое отражение 163, и, дополнительно или альтернативно, второго оптического преобразования, представляющего собой второе отражение 173. В настоящем контексте оптическое преобразование следует понимать как преобразование, которое описывает отображение окружения, например, одного или нескольких объектов в окружении пользователя 130, в плоскость изображения первой камеры 121. Это отображение зависит от геометрии отражающей поверхности, роговицы 162 или отражающей поверхности 172 оптического приспособления 170 для глаз соответственно и его положения относительно первой камеры 121. Такое оптическое преобразование может быть выражено в математических терминах, например, используя матричное представление. Например, если 
представляет собой неискаженное изображение, захваченное первой камерой 121, то есть изображение окружения пользователя 130, которое подверглось отражению фиктивной плоской отражающей поверхностью в местоположении роговицы 162, искажение, возникающее у после отражения роговицей 162, а не фиктивной плоской отражающей поверхностью, может быть описано матрицей 
, первым оптическим преобразованием, таким, что
где 
представляет собой изображение первого отражения 163.
Соответственно, второе оптическое преобразование 
может быть задано как
где 
представляет собой изображение второго отражения 173, захваченное первой камерой 121. описывает искажение, возникающее у после отражения линзой 172, а не фиктивной плоской отражающей поверхность, которое подверглось отражению фиктивной плоской отражающей поверхностью в местоположении линзы 172.
Вообще, первое изображение, захваченное первой камерой 121, может содержать оба отражения и , но одно из отражений может быть более заметным в зависимости от отражающих свойств отражающей поверхности 172 оптического приспособления 170 для глаз. Следует отметить, что вследствие поля обзора первой камеры 121, первое отражение 163 и второе отражение 173, представленные и соответственно, обычно составляют только небольшую часть первого изображения.
Первое изображение, захваченное первой камерой 121, обычно является побитовым изображением или пиксельным изображением, то есть двухмерным массивом пикселей, содержащих информацию об интенсивности и/или цвете. Соответственно, каждое отражение из первого отражения 163 и второго отражения 173, представленных и соответственно, составляет участок побитового изображения или пиксельного изображения, представляющего собой первое изображение. Эти участки могут быть идентифицированы с помощью обработки первого изображения, как известно в данной области техники. Например, первое отражение 163 и/или второе отражение 173 могут быть идентифицированы в первом изображении сначала путем идентификации лица пользователя 130, а затем идентификации оптического приспособления 170 для глаз, которое носит пользователь 130, и/или глаза 160 или роговицы 162 пользователя 130. Идентифицированное первое отражение 163 и/или второе отражение 173 опционально могут быть извлечены из первого изображения, например, путем обрезки первого изображения, для дальнейшей обработки.
Средство 101 обработки дополнительно выполнено с возможностью определения информации, которая описывает первое оптическое преобразование и/или второе оптическое преобразование. Информация может, например, содержать матрицы и/или соответственно, описывающие искажение, возникающее при отражении от роговицы 162 или отражающей поверхности 172, а не фиктивной плоской отражающей поверхности. Альтернативно, информация, описывающая первое и/или второе оптическое преобразование, может также описывать геометрию роговицы 162 и/или отражающей поверхности 172. Такая информация может быть получена, например, на основании первого и второго оптических преобразований, представленных матрицами и . Например, информация, описывающая первое оптическое преобразование и/или второе оптическое преобразование, может содержать первую кривизну роговицы и/или вторую кривизну отражающей поверхности оптического приспособления для глаз. Опционально, информация может дополнительно содержать эксцентриситет, если отражающая поверхность роговицы или оптического приспособления для глаз может быть аппроксимирована эллипсоидом. В качестве еще одной альтернативы информация может быть основана на матричном представлении, описывающем геометрию отражающей поверхности роговицы 162 или отражающей поверхность 172.
Ниже описаны решения для определения первого оптического преобразования и/или второго оптического преобразования в соответствии с вариантами осуществления изобретения.
Например, варианты осуществления изобретения могут использовать универсальное оптическое преобразование, представляющее собой отражение роговицей человека, в качестве первого оптического преобразования , представляющего собой отражение роговицей 162. Первое оптическое преобразование может затем использоваться для определения второго оптического преобразования , представляющего собой отражение отражающей поверхностью 172 оптического приспособления 170 для глаз, как описано ниже. Использование универсального оптического преобразования является выгодным, так как это уменьшает использование ресурсов, связанных с обработкой изображений. Оно основано на понимании того, что роговица взрослого человека может быть смоделирована эллипсоидом с параметрами, которые не слишком сильно варьируются от человека к человеку. Информация, описывающая универсальное оптическое преобразование, может быть основана на матричном представлении, соответствующем , задаваемому уравнением (1), или может содержать параметры, описывающие эллипсоид, который используется для аппроксимации роговицы взрослого человека, такие как радиус, кривизна, эксцентриситет и т.п.
В соответствии с одним вариантом осуществления изобретения средство 101 обработки дополнительно может быть выполнено с возможностью извлечения информации, описывающей второе оптическое преобразование , из базы данных на основании идентификации оптического приспособления для глаз. База данных может быть обеспечена либо в устройстве 100, либо доступна для устройства 100 через коммуникационную сеть. Например, устройство 100 может быть выполнено с возможностью получения доступа к базе данных через сеть радиодоступа (RAN), такую как сотовая мобильная сеть или беспроводная локальная сеть (WLAN), как описано ниже со ссылкой на фиг. 3 и 5, и Интернет. Информация, описывающая второе оптическое преобразование, получается путем запроса к базе данных, то есть, путем отправки запроса, содержащего информацию, идентифицирующую марку и модель оптического приспособления 170 для глаз. Это может быть достигнуто, например, путем идентификации марки и модели оптического приспособления для глаз путем обработки первого изображения и передачи марки и модели с запросом. Альтернативно, первое изображение или обрезанная часть первого изображения, захватывающая оптическое приспособление 170 для глаз или по меньшей мере характерные признаки оптического приспособления 170 для глаз, может быть передана с запросом. Опционально, первое изображение или обрезанная часть первого изображения могут быть обработаны перед передачей запроса, например, для уменьшения размера изображения. Затем может быть использовано второе оптическое преобразование для определения первого оптического преобразования , представляющего собой отражение роговицей 162, как описано ниже.
В качестве еще одной альтернативы, средство 101 обработки может быть выполнено с возможностью определения первого оптического преобразования, или второго оптического преобразования, или их обоих путем идентификации отражения устройства 100 в первом отражении 163 или втором отражении 173, представленных 
и 
соответственно, и определения первого оптического преобразования 
и/или второго оптического преобразования 
на основании формы устройства 100. Это выгодно тем, что что любое из оптических преобразований и может быть определено независимо друг от друга и не полагаясь на идентификацию оптического приспособления для глаз и запрос информации из базы данных или полагаясь на универсальное оптическое преобразование для роговицы человека. С этой целью средство обработки выполнено с возможностью идентификации устройства 100 или любых характерных признаков устройства 100, таких как его экран 110, и определения первого и/или второго оптического преобразования на основании первого 163 и/или второго отражения 173, захваченных в первом изображении, и известной формы устройства 100 или экрана 110. Использование экрана 110 особенно выгодно, так как он, как правило, имеет прямоугольную область, которая четко видна на первом изображении.
В соответствии с вариантом осуществления изобретения средство 101 обработки может быть выполнено с возможностью определения одного из оптических преобразований, то есть либо первого оптического преобразования , либо второго оптического преобразования . Средство 101 обработки дополнительно выполнено с возможностью идентификации по меньшей мере одного объекта, который видно и в первом отражении 163, и во втором отражении 173, представленных и , и определения третьего оптического преобразования 
между этим по меньшей мере одним объектом в первом отражении и этим по меньшей мере одним объектом во втором отражении 173, например,
Средство 101 обработки дополнительно выполнено с возможностью определения другого оптического преобразования первого оптического преобразования и второго оптического преобразования, то есть, оптического преобразования, которое еще предстоит определить на основании уже определенного оптического преобразования и третьего оптического преобразования.
Например, если первое оптическое преобразование определено первым, в соответствии с одним из решений, описанных в настоящем описании, например, с использованием универсального оптического преобразования для роговицы взрослого человека, может быть определено второе оптическое преобразование , так как комбинируя уравнения (2) and (3)
из чего следует, что
Соответственно, если второе оптическое преобразование определено первым, например, путем извлечения информации, описывающей второе оптическое преобразование, из базы данных, первое оптическое преобразование может быть определено как
где 
является преобразованием, обратным .
Таким образом, если одно из оптических преобразований известно, другое оптическое преобразование может быть установлено на основании одного или нескольких объектов, которые захвачены и в первом отражении 163, и во втором отражении 173.
Ниже со ссылкой на фиг. 2a, изображающей вид сбоку, описывается другой вариант осуществления устройства 100.
В дополнение к тому, что было описано выше, устройство 100 может дополнительно содержать вторую камеру 122, имеющую поле обзора 124, которое, по существу, противоположно полю обзора 122 первой камеры 121, обычно называемую задней камерой. Кроме того, средство 101 обработки выполнено с возможностью определения первого оптического преобразования , или второго оптического преобразования , или их обоих путем получения второго изображения от второй камеры 122 и идентификации по меньшей мере одного объекта 201 (на фиг. 2a изображен как картина на стене перед пользователем 130; для ясности картина 201 показана в не перспективе), который присутствует и на первом изображении 210, и на втором изображении 220. Это изображено на фиг. 2b, которая показывает первое изображение 210, захваченное фронтальной камерой 121, содержащее искаженное отражение 211 объекта 201 вследствие отражения роговицей 162 или отражающей поверхностью 172, и второе изображение 220, захваченное задней камерой 122, представляющей собой неискаженное изображение 221 объекта 201. Следует отметить, что отражение 211 может быть либо первым отражением 163, либо вторым отражением 173, в зависимости от того, определено первое оптическое преобразование или второе оптическое преобразование .
Средство 101 обработки дополнительно выполнено с возможностью определения четвертого оптического преобразования 
между этим по меньшей мере одним объектом на первом изображении (211 на фиг. 2b) и этим по меньшей мере одним объектом на втором изображении (221 на фиг. 2b) и определения первого оптического преобразования и/или второго оптического преобразования на основании четвертого оптического преобразования . А именно, если объект 201, представленный на втором изображении 220, представлен 
(221 на фиг. 2b), то из этого следует, что
так как изображение 221 объекта 201, захваченное задней камерой 122, не страдает от каких-либо искажений, вызванных отражением от неплоской поверхности. Соответственно, первое оптическое преобразование может быть установлено на основании уравнения (1) из уравнения
Соответственно, второе оптическое преобразование может быть установлено на основании уравнения (2) из уравнения
Определение первого и/или второго оптического преобразования путем использования изображений, захваченных задней камерой 122, полезно тем, что эти изображения не страдают от искажения из-за отражения от неплоских поверхностей, таких как роговица 162 или отражающая поверхность 172, например, линза. В частности, первое оптическое преобразование может быть установлено как оптическое преобразование, которое преобразует в , а второе оптическое преобразование может быть установлено как оптическое преобразование, которое преобразует в . Следует отметить, что первое оптическое преобразование и второе оптическое преобразование могут быть установлены независимо друг от друга.
Опционально, средство 101 обработки может быть выполнено с возможностью предоставления информации, описывающей первое оптическое преобразование и/или второе оптическое преобразование, приложению, исполняемому на устройстве 100, например, на средстве 101 обработки. В частности, это может быть приложение, использующее формирование изображения роговицы. Таким образом, приложение может выполнять задачи, основанные на формировании изображения роговицы, которые оно реализует улучшенным образом. Например, приложение для захвата изображений окружения пользователя 130, использующее формирование изображения роговицы, может использовать информацию, описывающую первое оптическое преобразование и/или второе оптическое преобразование для обработки первого изображения, полученного фронтальной камерой 121, для коррекции искажения, возникающего при отражении от роговицы 162 или отражающей поверхности 172, что приводит к улучшенному изображению.
Способы для корректировки искажения, возникающего при отражении от роговицы 162, то есть для реконструкции сцены, захваченной посредством формирования изображения роговицы, описаны в K. Nishino и S. K. Nayar, ʺCorneal Imaging System: Environment from the Eyesʺ, в International Journal of Computer Vision, 2006, т. 70, стр. 23-40 и C. Nitschke, A. Nakazawa и H. Takemura, ʺCorneal Imaging Revisited: An Overview of Corneal Reflection Analysis and Applicationsʺ, в IPSJ Transactions on Computer Vision and Applications, 2013, т. 5, стр. 1-18. Следует понимать, что такие способы также могут быть применены, с соответствующими модификациями, для корректировки искажений, возникающих при отражении от линзы 172.
Опционально, средство 101 обработки дополнительно может быть выполнено с возможностью обеспечения изображения первого отражения 163, то есть изображения, содержащего , и/или изображения второго отражения 173, то есть изображения, содержащего . Например, приложение может генерировать скорректированное изображение первого отражения 163 и/или второго отражения 173 на основании изображения первого отражения 163 и/или изображения второго отражения 173 в комбинации с информацией, описывающей первое оптическое преобразование и/или второе оптическое преобразование. Приложение может, например, быть приложением для захвата изображений окружения пользователя 130, использующим формирование изображения роговицы. Также следует понимать, что средство 101 обработки дополнительно может быть выполнено с возможностью корректировки изображения первого отражения 163, то есть изображения, содержащего , и/или изображения второго отражения 173, 
, на основании первого оптического преобразования и/или второго оптического преобразования соответственно. Таким образом, вместо того, чтобы обеспечивать изображения окружения пользователя 130, которые по меньшей мере частично искажены в результате отражения от неплоской поверхности, такой как роговица 162 или отражающая поверхность 172, вариант осуществления устройства 100 может быть выполнен с возможностью корректировки изображения отражений 163 и 173 на основании уравнений (1) и (2), результатом чего является скорректированные изображения, представляющие собой . А именно, скорректированное изображение первого отражения 163 может быть получено с помощью выражения
а скорректированное изображение второго отражения 173 может соответственно быть получено с помощью выражения
Следует отметить, что если и первое отражение 163, и второе отражение 173 захвачены на первом изображении, скорректированное изображение может быть получено для каждого из них. Два скорректированных изображения, 
и 
, могут отличаться, например, по качеству, но также и в отношении того, какую часть окружения пользователя 130 они захватывают, вследствие различного поля обзора комбинации первой камеры 121 и роговицы 162 (то есть ), а также первой камеры 121 и отражающей поверхности 172 (то есть ) соответственно.
Кроме того, опционально, средство 101 обработки может быть выполнено с возможностью обеспечения объединенного изображения первого отражения 163 и второго отражения 173. Это может быть достигнуто путем сначала корректировки захваченных изображений первого отражения 163 и второго отражения 173, и , и впоследствии объединения или наложения скорректированных изображений и . К выгоде, объединенное изображение может иметь более высокое качество, чем два скорректированных изображения и .
Дополнительно, средство 101 обработки опционально может быть выполнено с возможностью определения для каждого из: изображения первого отражения и изображения второго отражения одной или нескольких метрик, связанных с требованиями к изображению отражения. Это определение может быть выполнено либо для захваченных изображений и , либо для скорректированных изображений и . Метрики могут относиться к любому из: качеству изображения, разрешению изображения, видимости некоторого объекта на изображении, такого как экран 110, и т.д. Средство 101 обработки дополнительно выполнено с возможностью выбора изображения для дальнейшего использования или обработки на основании определенных метрик или комбинации определенных метрик. Например, вариант осуществления устройства 100 может быть выполнен с возможностью выбора изображения из захваченных изображений и , которое является наиболее подходящим для установления одного из оптических преобразований и на основании известной формы устройства 100 или экрана 110, как было описано выше.
Опционально, средство 101 обработки может быть выполнено с возможностью обеспечения одного или нескольких изображений, описанных выше, то есть одного или нескольких из , , , и объединенного изображения, приложению, исполняемому на устройстве и, в частности, приложению на основе формирования изображения роговицы.
В одном варианте осуществления устройства 100, содержащего экран 110, который используется как устройство вывода для устройства 100, средство 101 обработки дополнительно может быть выполнено с возможностью отображения такого графического содержания на экране 110, чтобы заставить пользователя 130 переместить устройство 100 относительно головы пользователя 130. Это может быть достигнуто, например, путем уменьшения размера отображаемого графического содержания или путем отображения размытого графического содержания, так что пользователь 130 вынужден переместить устройство 100 ближе к его/ее глазам 160. Это полезно тем, что изображения, захваченные фронтальной камерой 121, могут быть улучшены, например, в ответ на определение, что одна или несколько определенных метрик, связанных с требованиями к изображению отражения, не удовлетворяют требованиям, накладываемым приложением формирования изображения роговицы. Например, если требуется изображение отражения устройства 100 или экрана 110 для установления первого и/или второго оптического преобразования, требование к первому изображению, захваченному фронтальной камерой 121, может касаться присутствия или видимости устройства 100 или экрана 110 на первом изображении. Если определено, что такое требование не удовлетворяется захваченным первым изображением, то есть устройство 100 или экран 110 не видны, на экране 110 может быть отображено такое графическое содержание, чтобы заставить пользователя 130 переместить устройство 100 для улучшения видимости устройства 100 или экрана 110 в отражении, захваченном фронтальной камерой 121.
Далее со ссылкой на фиг. 3 описывается один вариант 300 осуществления средства 101 обработки. Средство 300 обработки содержит процессор 301, например, универсальный процессор или цифровой сигнальный процессор (DPS), память 302, содержащую инструкции, то есть компьютерную программу 303, и один или несколько интерфейсов 304 ("ввод-вывод (I/O)" на фиг. 3) для приема информации и управления экраном 110, первой (фронтальной) камерой 121 и, опционально, второй (задней) камерой 122. Компьютерная программа 303 является исполнимой процессором 301, посредством чего устройство 100 выполнено с возможностью работы в соответствии с вариантами осуществления изобретения, как описано выше со ссылкой на фиг. 1 и 2. Средство 300 обработки может дополнительно содержать сетевой интерфейс 306, который выполнен с возможностью получения доступа к базе 310 данных, хранящей информацию, описывающую второе оптическое преобразование для различных типов, марок и моделей оптического приспособления для глаз. Средство 300 обработки может извлечь информацию, описывающую второе оптическое преобразование, для конкретного оптического приспособления для глаз, такого как оптическое приспособление 170 для глаз, изображенное на фиг. 1 и 2, путем отправки запроса, содержащего информацию, идентифицирующую оптическое приспособление для глаз, такую как марка и модель оптического приспособления для глаз, или участок изображения, полученный от первой камеры 121, который содержит оптическое приспособление для глаз, базе 310 данных. Альтернативно, вместо извлечения информации, описывающей второе оптическое преобразование для конкретного оптического приспособления для глаз, из внешней базы 310 данных варианты осуществления изобретения могут извлекать такую информацию из локальной базы данных, которой обеспечено устройство 100, например, базы 305 данных, сохраненной в памяти 302.
На фиг. 4 показана блок-схема последовательности операций, изображающая вариант 400 осуществления способа формирования изображения роговицы, выполняемого устройством, таким как мобильный телефон, смартфон, планшет, портативный компьютер и т.п. Способ 400 содержит получение 401 первого изображения от первой камеры, выполненной с возможностью формирования изображения роговицы пользователя устройства, оптического приспособление для глаз, которое носит пользователь, или их обоих, и идентификации 402 первого отражения от роговицы, второго отражения от отражающей поверхности оптического приспособления для глаз, или их обоих. Оптическое приспособление для глаз может быть, например, защитными очками, диоптрийными очками, солнцезащитными очками, закрытыми защитными очками или контактными линзами. Первое отражение и/или второе отражение идентифицируются путем анализа первого изображения, то есть, путем обработки изображения. Способ 400 дополнительно содержит определение 403 первого оптического преобразования, представляющего собой первое отражение, второго оптического преобразования, представляющего собой второе отражение, или их обоих, как было описано выше со ссылкой на фиг. 1 и 2.
Например, определение 403 первого оптического преобразования и/или второго оптического преобразования может содержать идентификацию отражения устройства в первом отражении и/или втором отражении и определение первого оптического преобразования и/или второго оптического преобразования на основании формы устройства. Отражение устройства может быть, например, отражением экрана устройства.
В качестве другого примера, определение 403 первого оптического преобразования и/или второго оптического преобразования может содержать определение одного из: первого оптического преобразования или второго оптического преобразования, идентификацию по меньшей мере одного объекта, который является видимый и в первом отражении, и во втором отражении, определение третьего оптического преобразования между этим по меньшей мере одним объектом в первом отражении и этим по меньшей мере одним объектом во втором отражении и определение другого оптического преобразования первого оптического преобразования и второго оптического преобразования на основании определенного оптического преобразования и третьего оптического преобразования.
В качестве еще одного примера, определение 403 первого оптического преобразования и/или второго оптического преобразования может содержать получение второго изображения от второй камеры, имеющей поле обзора, которое, по существу, противоположно полю обзора первой камеры, идентификацию по меньшей мере одного объекта, который присутствует и на первом изображении, и на втором изображении, определение четвертого оптического преобразования между этим по меньшей мере одним объектом на первом изображении и этим по меньшей мере одним объектом на втором изображении и определение первого оптического преобразования и/или второго оптического преобразования на основании четвертого оптического преобразования.
Опционально способ 400 может дополнительно содержать определение 404 информации, описывающей первое оптическое преобразование, второе оптическое преобразование или их оба. Например, информация, описывающая второе оптическое преобразование, может быть извлечена 405 из базы данных на основании идентификации оптического приспособления для глаз.
Опционально, способ 400 может дополнительно содержать определение 406 для каждого из: изображения первого отражения и изображения второго отражения, одной или нескольких метрик, связанных с требованиями к изображению отражения, и выбор 407 изображения первого отражения и изображения второго отражения на основании определенной одной или нескольких метрик.
Опционально, способ 400 может дополнительно содержать обеспечение 408 информации, описывающей первое оптическое преобразование и/или второе оптическое преобразование, или одного или нескольких изображений первого отражения и/или второго отражения приложению, исполняемому на устройстве. Изображение первого отражения и/или изображение второго отражения опционально могут быть скорректированы на основании первого оптического преобразования и/или второго оптического преобразования соответственно и, опционально, объединены.
Опционально, способ 400 может дополнительно содержать отображение 409 графического содержания на экране, используемом как устройство вывода для этого устройства, чтобы заставить пользователя переместить устройство относительно головы пользователя.
Следует понимать, что способ 400 может содержать дополнительные или модифицированные этапы в соответствии с тем, что описано выше. Вариант осуществления способа 400 может быть реализован как программное обеспечение, такое как компьютерная программа 303 для исполнения процессором, содержащимся в устройстве (таким как процессор 301, описанный со ссылкой на фиг. 3), посредством чего устройство выполнено с возможностью работы в соответствии с вариантами осуществления изобретения.
На фиг. 5 показан альтернативный вариант 500 осуществления средства 101 обработки. Средство 500 обработки содержит один или несколько интерфейсных модулей 507 ("ввод-вывод (I/O)" на фиг. 5) для приема информации и управления экраном 110, первой (фронтальной) камерой 121 и, опционально, второй (задней) камерой 122. Средство 500 обработки дополнительно содержит модуль 501 получения изображений, выполненный с возможностью получения первого изображения от первой камеры 121, модуль 502 анализа изображений, выполненный с возможностью идентификации, путем анализа первого изображения, первого отражения от роговицы и/или второго отражения от отражающей поверхности оптического приспособления для глаз, и модуль 503 оптического преобразования, выполненный с возможностью определения первого оптического преобразования, представляющего собой первое отражение, и/или второго оптического преобразования, представляющего собой второе отражение.
Модуль 503 оптического преобразования дополнительно может быть выполнен с возможностью определения информации, описывающей первое оптическое преобразование и/или второе оптическое преобразование.
Средство 500 обработки может дополнительно содержать сетевой интерфейс 506, который выполнен с возможностью получения доступа к базе 510 данных, хранящей информацию, описывающую второе оптическое преобразование для различных типов, марок и моделей оптического приспособления для глаз. Модуль 503 оптического преобразования может извлекать информацию, описывающую второе оптическое преобразование, для конкретного оптического приспособления для глаз, такого как оптическое приспособление 170 для глаз, изображенное на фиг. 1 и 2, путем отправки запроса, содержащего информацию, идентифицирующую оптическое приспособление для глаз, такую как марка и модель оптического приспособления для глаз, или участок изображения, полученного от первой камеры 121, с оптическим приспособлением для глаз базе 510 данных. Альтернативно, вместо извлечения информации, описывающей второе оптическое преобразование, для конкретного оптического приспособления для глаз из внешней базы 510 данных варианты осуществления изобретения могут извлекать такую информацию из модуля базы данных, которым обеспечено устройство 100 (не показано на фиг. 5).
В качестве одного пример, модуль 502 анализа изображений и модуль 503 оптического преобразования могут быть выполнены с возможностью определения первого оптического преобразования и/или второго оптического преобразования путем идентификации отражения устройства в первом отражении и/или втором отражении и определения первого оптического преобразования и/или второго оптического преобразования на основании формы устройства соответственно. Отражение устройства может быть отражением экрана.
В качестве дополнительного примера модуль 502 анализа изображений и модуль 503 оптического преобразования могут быть выполнены с возможностью определения первого оптического преобразования и/или второго оптического преобразования путем определения одного из: первого оптического преобразования или второго оптического преобразования, идентификации по меньшей мере одного объекта, который является видимым и в первом отражении, и во втором отражении, определения третьего оптического преобразования между этим по меньшей мере одним объектом в первом отражении и этим по меньшей мере одним объектом во втором отражении и определения другого оптического преобразования первого оптического преобразования и второго оптического преобразования на основании определенного оптического преобразования и третьего оптического преобразования.
В качестве еще одной альтернативы, модуль 502 анализа изображений и модуль оптического преобразования 503 могут быть выполнены с возможностью определения первого оптического преобразования и/или второго оптического преобразования путем получения второго изображения от второй камеры, идентификации по меньшей мере одного объекта, который присутствует и на первом изображении, и на втором изображении, определения четвертого оптического преобразования между этим по меньшей мере одним объектом на первом изображении и этим по меньшей мере одним объектом на втором изображении и определения первого оптического преобразования и/или второго оптического преобразования на основании четвертого оптического преобразования.
Средство 400 обработки может дополнительно содержать модуль 504 приложения, выполненный с возможностью обеспечения информации, описывающей первое оптическое преобразование и/или второе оптическое преобразование, или одно или несколько изображений первого отражения и/или второго отражения приложению, исполняемому на устройстве. Изображение первого отражения и/или изображение второго отражения опционально могут быть скорректированы на основании первого оптического преобразования и/или второго оптического преобразования соответственно и, опционально, объединены.
Модуль 504 приложения дополнительно может быть выполнен с возможностью определения, для каждого из: изображения первого отражения и изображения второго отражения, одной или нескольких метрик, связанных с требованиями к изображению отражения, и выбора изображения на основании определенной одной или нескольких метрик.
Средство 500 обработки дополнительно может содержать модуль 505 отображения, выполненный с возможностью отображения графического содержания на экране, чтобы заставить пользователя переместить устройство относительно головы пользователя.
Следует понимать, что модули 501-510 и любые дополнительные модули, входящие в состав средства 500 обработки, могут быть реализованы с помощью любого типа электронных схем, например, одной или комбинации аналоговых электронных схем, цифровых электронных схем и средства обработки, исполняющего подходящую компьютерную программу.
Специалисту в области техники будет понятно, что изобретение никоим образом не ограничивается вариантами осуществления, описанными выше. Напротив, возможно множество модификаций и вариаций в рамках прилагаемой формулы изобретения.
Claims (57)
1. Устройство (100) для формирования изображения зеркальных отражений от роговицы (162) пользователя (130) устройства и от оптического приспособления (170) для глаз, носимого пользователем, причем устройство содержит:
первую камеру (121), выполненную с возможностью захвата изображения роговицы (162) и оптического приспособления (170) для глаз,
средство (101; 300; 500) обработки, выполненное с возможностью:
получения первого изображения от первой камеры,
идентификации, путем анализа первого изображения, отражения (163) от роговицы и отражения (173) от отражающей поверхности (172) оптического приспособления для глаз, и
определения оптического преобразования, представляющего собой отражение от роговицы, и оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз.
2. Устройство по п. 1, в котором оптическое преобразование, представляющее собой отражение от роговицы, является универсальным оптическим преобразованием, представляющим собой отражение роговицей человека.
3. Устройство по п. 1, в котором средство обработки дополнительно выполнено с возможностью извлечения информации, описывающей оптическое преобразование, представляющее собой отражение от отражающей поверхности оптического приспособления для глаз, из базы (310; 510) данных на основании идентификации оптического приспособления для глаз.
4. Устройство по п. 1, дополнительно содержащее экран (110), используемый как устройство вывода для данного устройства, причем средство обработки выполнено с возможностью определения по меньшей мере одного из оптического преобразования, представляющего собой отражение от роговицы, и оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз, путем:
идентификации отражения экрана по меньшей мере в одном из отражении от роговицы и отражении от отражающей поверхности оптического приспособления для глаз, соответственно, и
определения по меньшей мере одного оптического преобразования на основании формы экрана.
5. Устройство по п. 1, в котором средство обработки выполнено с возможностью определения оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз, и оптического преобразования, представляющего собой отражение от роговицы, путем:
определения одного из оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз, и оптического преобразования, представляющего собой отражение от роговицы,
идентификации по меньшей мере одного объекта, который является видимым и в отражении от отражающей поверхности оптического приспособления для глаз, и в отражении от роговицы,
определения третьего оптического преобразования между упомянутым по меньшей мере одним объектом в отражении от отражающей поверхности оптического приспособления для глаз и упомянутым по меньшей мере одним объектом в отражении от роговицы, и
определения другого оптического преобразования из оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз, и оптического преобразования, представляющего собой отражение от роговицы, на основании определенного оптического преобразования и третьего оптического преобразования.
6. Устройство по п. 1, дополнительно содержащее вторую камеру (122), имеющую поле (124) обзора, которое, по существу, является противоположным полю (123) обзора первой камеры (121), причем средство обработки выполнено с возможностью определения по меньшей мере одного из оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз, и оптического преобразования, представляющего собой отражение от роговицы, путем:
получения второго изображения от второй камеры,
идентификации по меньшей мере одного объекта (201), который присутствует и на первом изображении, и на втором изображении,
определения четвертого оптического преобразования между упомянутым по меньшей мере одним объектом (211) на первом изображении (210) и упомянутым по меньшей мере одним объектом (221) на втором изображении (220), и
определения по меньшей мере одного оптического преобразования на основании четвертого оптического преобразования.
7. Устройство по п. 1, в котором средство обработки дополнительно выполнено с возможностью:
корректировки изображения отражения от отражающей поверхности оптического приспособления для глаз и изображения отражения от роговицы на основании оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз, и оптического преобразования, представляющего собой отражение от роговицы, соответственно, и
обеспечения объединенного изображения отражения от отражающей поверхности оптического приспособления для глаз и отражения от роговицы.
8. Устройство по п. 1, в котором средство обработки дополнительно выполнено с возможностью:
определения для каждого из изображения отражения от отражающей поверхности оптического приспособления для глаз и изображения отражения от роговицы одной или нескольких метрик, связанных с требованиями к изображению отражения, и
обеспечения одного из изображения отражения от отражающей поверхности оптического приспособления для глаз и изображения отражения от роговицы на основании определенной одной или нескольких метрик.
9. Устройство по п. 1, дополнительно содержащее экран (110), используемый как устройство вывода для этого устройства, причем средство обработки дополнительно выполнено с возможностью уменьшения размера графического содержания, отображаемого на экране, или отображения размытого графического содержания на экране, чтобы заставить пользователя переместить устройство ближе к глазам (160) пользователя.
10. Устройство по любому из пп. 1-9, в котором оптическое приспособление для глаз является любым из защитных очков, диоптрийных очков, солнцезащитных очков, закрытых защитных очков или контактных линз.
11. Способ (400) формирования изображения зеркальных отражений от роговицы (162) пользователя (130) устройства (100) и от оптического приспособления (170) для глаз, носимого пользователем, причем способ выполняется устройством (100) и содержит этапы, на которых:
получают (401) первое изображение от первой камеры (121), выполненной с возможностью захвата изображения роговицы (162) и оптического приспособления (170) для глаз,
идентифицируют (402), путем анализа первого изображения, отражение (163) от роговицы и отражение (173) от отражающей поверхности (172) оптического приспособления для глаз, и
определяют (403) оптическое преобразование, представляющее собой отражение от роговицы, и оптическое преобразование, представляющее собой отражение от отражающей поверхности оптического приспособления для глаз.
12. Способ по п. 11, в котором оптическое преобразование, представляющее собой отражение от роговицы, является универсальным оптическим преобразованием, представляющим собой отражение роговицей человека.
13. Способ по п. 11, дополнительно содержащий этап, на котором извлекают (405) информацию, описывающую оптическое преобразование, представляющее собой отражение от отражающей поверхности оптического приспособления для глаз, из базы (310; 510) данных на основании идентификации оптического приспособления для глаз.
14. Способ по п. 11, в котором этап, на котором определяют по меньшей мере одно из оптического преобразования, представляющего собой отражение от роговицы, и оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз, содержит этапы, на которых:
идентифицируют отражение экрана устройства по меньшей мере в одном из отражении от роговицы и отражении от отражающей поверхности оптического приспособления для глаз, соответственно, и
определяют по меньшей мере одно оптическое преобразование на основании формы экрана.
15. Способ по п. 11, в котором этап, на котором определяют оптическое преобразование, представляющее собой отражение от отражающей поверхности оптического приспособления для глаз, и оптическое преобразование, представляющее собой отражение от роговицы, содержит этапы, на которых:
определяют одно из оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз, и оптического преобразования, представляющего собой отражение от роговицы,
идентифицируют по меньшей мере один объект, который является видимым и в отражении от отражающей поверхности оптического приспособления для глаз, и в отражении от роговицы,
определяют третье оптическое преобразование между упомянутым по меньшей мере одним объектом в отражении от отражающей поверхности оптического приспособления для глаз и упомянутым по меньшей мере одним объектом в отражении от роговицы, и
определяют другое оптическое преобразование из оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз, и оптического преобразования, представляющего собой отражение от роговицы, на основании определенного оптического преобразования и третьего оптического преобразования.
16. Способ по п. 11, в котором по меньшей мере одно из оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз, и оптического преобразования, представляющего собой отражение от роговицы, определяется путем выполнения этапов, на которых:
получают второе изображение от второй камеры (122), имеющей поле (124) обзора, которое, по существу, является противоположным полю (123) обзора первой камеры (121),
идентифицируют по меньшей мере один объект (201), который присутствует и на первом изображении, и на втором изображении,
определяют четвертое оптическое преобразование между упомянутым по меньшей мере одним объектом (211) на первом изображении (210) и упомянутым по меньшей мере одним объектом (221) на втором изображении (220), и
определяют по меньшей мере одно оптическое преобразование на основании четвертого оптического преобразования.
17. Способ по п. 11, дополнительно содержащий этапы, на которых:
корректируют изображение отражения от отражающей поверхности оптического приспособления для глаз и изображение отражения от роговицы на основании оптического преобразования, представляющего собой отражение от отражающей поверхности оптического приспособления для глаз, и оптического преобразования, представляющего собой отражение от роговицы, соответственно, и
обеспечивают (408) объединенное изображение отражения от отражающей поверхности оптического приспособления для глаз и отражения от роговицы.
18. Способ по п. 11, дополнительно содержащий этапы, на которых:
определяют (406) для каждого из изображения отражения от отражающей поверхности оптического приспособления для глаз и изображения отражения от роговицы одну или несколько метрик, связанных с требованиями к изображению отражения, и
обеспечивают одно из изображения отражения от отражающей поверхности оптического приспособления для глаз и изображения отражения от роговицы на основании (407) определенной одной или нескольких метрик.
19. Способ по п. 11, дополнительно содержащий этап, на котором уменьшают размер графического содержания, отображаемого на экране, используемом как устройство вывода для этого устройства, или отображают размытое графическое содержание на экране, чтобы заставить (409) пользователя переместить устройство ближе к глазам (160) пользователя.
20. Способ по любому из пп. 11-19, в котором оптическое приспособление для глаз является любым из защитных очков, диоптрийных очков, солнцезащитных очков, закрытых защитных очков или контактных линз.
21. Компьютерно-читаемый носитель (302), содержащий сохраненную на нем компьютерную программу (303), содержащую компьютерно-исполняемые инструкции, предписывающие устройству выполнять способ по любому из пп. 11-20, когда компьютерно-исполняемые инструкции исполняются на блоке (301) обработки, содержащемся в устройстве.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/SE2014/051476 WO2016093750A1 (en) | 2014-12-10 | 2014-12-10 | Device for and method of corneal imaging |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2672502C1 true RU2672502C1 (ru) | 2018-11-15 |
Family
ID=52302289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017122746A RU2672502C1 (ru) | 2014-12-10 | 2014-12-10 | Устройство и способ для формирования изображения роговицы |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US9622654B2 (ru) |
| EP (1) | EP3230825B1 (ru) |
| CN (1) | CN107111863B (ru) |
| ES (1) | ES2742416T3 (ru) |
| RU (1) | RU2672502C1 (ru) |
| WO (1) | WO2016093750A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11328508B2 (en) | 2019-10-03 | 2022-05-10 | Nokia Technologies Oy | Alerts based on corneal reflections |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013211152A1 (de) * | 2013-06-14 | 2014-12-18 | Continental Automotive Gmbh | Verfahren und Vorrichtung zum Lokalisieren von Rädern eines Fahrzeugs sowie Reifendruckkontrollsystem |
| JP2017169803A (ja) * | 2016-03-23 | 2017-09-28 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP6717377B2 (ja) | 2016-07-04 | 2020-07-01 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| EP3532962B1 (en) * | 2016-10-28 | 2023-06-28 | Verily Life Sciences LLC | Predictive models for visually classifying insects |
| MX2020006407A (es) | 2017-12-19 | 2020-09-07 | Ericsson Telefon Ab L M | Dispositivo de presentacion visual montado en la cabeza y metodo del mismo. |
| US10321820B1 (en) * | 2017-12-21 | 2019-06-18 | Facebook Technologies, Llc | Measuring optical properties of an eyewear device |
| JP7048339B2 (ja) * | 2018-02-08 | 2022-04-05 | Ｎｅｃプラットフォームズ株式会社 | 携帯端末、携帯端末の制御方法、および携帯端末のプログラム |
| US11335079B2 (en) * | 2018-03-05 | 2022-05-17 | Intel Corporation | Method and system of reflection suppression for image processing |
| CN109460202A (zh) * | 2018-09-29 | 2019-03-12 | 努比亚技术有限公司 | 一种显示控制方法、终端及计算机可读存储介质 |
| KR102694171B1 (ko) * | 2019-06-17 | 2024-08-12 | 삼성전자 주식회사 | 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법 |
| US10952605B1 (en) * | 2020-06-30 | 2021-03-23 | Sharp Vision Plan Inc. | Visual acuity testing system |
| EP4053682A1 (en) | 2021-03-01 | 2022-09-07 | Nokia Technologies Oy | User device screen |
| EP4309333B1 (en) * | 2021-03-18 | 2024-05-22 | Telefonaktiebolaget LM Ericsson (publ) | First device, communication server, second device and methods in a communications network |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07248216A (ja) * | 1994-03-11 | 1995-09-26 | Nissan Motor Co Ltd | 車両用視線方向計測装置 |
| US5621457A (en) * | 1994-09-26 | 1997-04-15 | Nissan Motor Co., Ltd. | Sighting direction detecting device for vehicle |
| US5983030A (en) * | 1994-06-15 | 1999-11-09 | Canon Kabushiki Kaisha | Optical apparatus having a visual axis detector |
| US20130002846A1 (en) * | 2010-03-22 | 2013-01-03 | Koninklijke Philips Electronics N.V. | System and method for tracking the point of gaze of an observer |
| US20140002349A1 (en) * | 2010-10-29 | 2014-01-02 | IT-Universitetet i København | Method of Determining Reflections of Light |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4692003A (en) * | 1983-11-07 | 1987-09-08 | Adachi Iwao P | Real-time analysis keratometer |
| US6099522A (en) * | 1989-02-06 | 2000-08-08 | Visx Inc. | Automated laser workstation for high precision surgical and industrial interventions |
| US5418714A (en) * | 1993-04-08 | 1995-05-23 | Eyesys Laboratories, Inc. | Method and apparatus for variable block size interpolative coding of images |
| US6296358B1 (en) * | 2000-07-14 | 2001-10-02 | Visual Pathways, Inc. | Ocular fundus auto imager |
| US7360895B2 (en) * | 2000-07-14 | 2008-04-22 | Visual Pathways, Inc. | Simplified ocular fundus auto imager |
| US7025459B2 (en) * | 2000-07-14 | 2006-04-11 | Visual Pathways, Inc. | Ocular fundus auto imager |
| JP4916255B2 (ja) * | 2006-08-31 | 2012-04-11 | 株式会社トーメーコーポレーション | 角膜撮影装置 |
| WO2010009447A2 (en) * | 2008-07-18 | 2010-01-21 | Doheny Eye Institute | Optical coherence tomography - based ophthalmic testing methods, devices and systems |
| WO2010019515A2 (en) * | 2008-08-10 | 2010-02-18 | Board Of Regents, The University Of Texas System | Digital light processing hyperspectral imaging apparatus |
| CN201379553Y (zh) * | 2009-02-27 | 2010-01-13 | 苏州六六视觉科技股份有限公司 | 用于眼底相机的精密瞳孔定位装置 |
| EP2236074B1 (en) * | 2009-04-01 | 2021-05-26 | Tobii AB | Visual display with illuminators for gaze tracking |
| EP2309307B1 (en) * | 2009-10-08 | 2020-12-09 | Tobii Technology AB | Eye tracking using a GPU |
| US8770753B2 (en) * | 2010-12-03 | 2014-07-08 | Optovue, Inc. | Scanning and processing using optical coherence tomography |
| EP2490065A1 (en) * | 2011-02-18 | 2012-08-22 | ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) | A method for determining target optical functions |
| JP5907250B2 (ja) * | 2012-03-22 | 2016-04-26 | ソニー株式会社 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
| KR20130121303A (ko) * | 2012-04-27 | 2013-11-06 | 한국전자통신연구원 | 원거리 시선 추적 시스템 및 방법 |
| US20150015478A1 (en) * | 2013-07-11 | 2015-01-15 | Samsung Display Co., Ltd. | Ir emissive display facilitating remote eye tracking |
| KR20150067608A (ko) * | 2013-12-10 | 2015-06-18 | 한국전자통신연구원 | 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법 |
| GB201322873D0 (en) * | 2013-12-23 | 2014-02-12 | Tobii Technology Ab | Eye gaze determination |
| US9330302B2 (en) * | 2014-02-26 | 2016-05-03 | Microsoft Technology Licensing, Llc | Polarized gaze tracking |
| US9411417B2 (en) * | 2014-07-07 | 2016-08-09 | Logitech Europe S.A. | Eye gaze tracking system and method |
| US9465991B2 (en) * | 2014-08-11 | 2016-10-11 | Microsoft Technology Licensing, Llc | Determining lens characteristics |
| US9946339B2 (en) * | 2014-10-08 | 2018-04-17 | Microsoft Technology Licensing, Llc | Gaze tracking through eyewear |
| WO2016064311A1 (en) | 2014-10-22 | 2016-04-28 | Telefonaktiebolaget L M Ericsson (Publ) | Method and device for providing a touch-based user interface |
| KR101673701B1 (ko) * | 2014-11-24 | 2016-11-07 | 현대자동차주식회사 | 눈 검출장치 및 방법 |
| KR101619661B1 (ko) * | 2014-12-08 | 2016-05-10 | 현대자동차주식회사 | 운전자의 얼굴 방향 검출 방법 |
-
2014
- 2014-12-10 EP EP14824943.6A patent/EP3230825B1/en active Active
- 2014-12-10 RU RU2017122746A patent/RU2672502C1/ru active
- 2014-12-10 US US14/434,051 patent/US9622654B2/en active Active
- 2014-12-10 CN CN201480083723.0A patent/CN107111863B/zh active Active
- 2014-12-10 WO PCT/SE2014/051476 patent/WO2016093750A1/en active Application Filing
- 2014-12-10 ES ES14824943T patent/ES2742416T3/es active Active
-
2017
- 2017-04-25 US US15/496,274 patent/US10284817B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07248216A (ja) * | 1994-03-11 | 1995-09-26 | Nissan Motor Co Ltd | 車両用視線方向計測装置 |
| US5983030A (en) * | 1994-06-15 | 1999-11-09 | Canon Kabushiki Kaisha | Optical apparatus having a visual axis detector |
| US5621457A (en) * | 1994-09-26 | 1997-04-15 | Nissan Motor Co., Ltd. | Sighting direction detecting device for vehicle |
| US20130002846A1 (en) * | 2010-03-22 | 2013-01-03 | Koninklijke Philips Electronics N.V. | System and method for tracking the point of gaze of an observer |
| US20140002349A1 (en) * | 2010-10-29 | 2014-01-02 | IT-Universitetet i København | Method of Determining Reflections of Light |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11328508B2 (en) | 2019-10-03 | 2022-05-10 | Nokia Technologies Oy | Alerts based on corneal reflections |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2742416T3 (es) | 2020-02-14 |
| US9622654B2 (en) | 2017-04-18 |
| US20170230621A1 (en) | 2017-08-10 |
| WO2016093750A1 (en) | 2016-06-16 |
| EP3230825B1 (en) | 2019-05-29 |
| US20160166140A1 (en) | 2016-06-16 |
| CN107111863A (zh) | 2017-08-29 |
| EP3230825A1 (en) | 2017-10-18 |
| CN107111863B (zh) | 2020-11-17 |
| US10284817B2 (en) | 2019-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2672502C1 (ru) | Устройство и способ для формирования изображения роговицы | |
| US10593088B2 (en) | System and method for enabling mirror video chat using a wearable display device | |
| US9720238B2 (en) | Method and apparatus for a dynamic “region of interest” in a display system | |
| WO2020015468A1 (zh) | 一种图像传输方法、装置、终端设备及存储介质 | |
| US11825103B2 (en) | Gaze-driven recording of video | |
| US20180240213A1 (en) | Information processing system, information processing method, and program | |
| EP3557376A2 (en) | Training of a neural network for three dimensional (3d) gaze prediction | |
| US20190297271A1 (en) | Virtual makeup device, and virtual makeup method | |
| US9594488B2 (en) | Interactive display of high dynamic range images | |
| KR20160146037A (ko) | 카메라의 초점을 변경하는 방법 및 장치 | |
| US9934583B2 (en) | Expectation maximization to determine position of ambient glints | |
| US20160189341A1 (en) | Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear | |
| US20230309824A1 (en) | Accommodation tracking based on retinal-imaging | |
| CN108919957A (zh) | 一种图像传输方法、装置、终端设备及存储介质 | |
| CN116489500A (zh) | 图像处理方法及其装置 | |
| US20240212343A1 (en) | Contextualized visual search | |
| US20240212291A1 (en) | Attention control in multi-user environments | |
| CN115802143A (zh) | 基于设备位置调整图像的显示 | |
| CN116452430A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN113519154A (zh) | 检测眼睛跟踪校准误差 |