RU2019142857A - Способ и система обеспечения точного соответствия между внешней обстановкой и виртуальным изображением - Google Patents

Способ и система обеспечения точного соответствия между внешней обстановкой и виртуальным изображением Download PDF

Info

Publication number
RU2019142857A
RU2019142857A RU2019142857A RU2019142857A RU2019142857A RU 2019142857 A RU2019142857 A RU 2019142857A RU 2019142857 A RU2019142857 A RU 2019142857A RU 2019142857 A RU2019142857 A RU 2019142857A RU 2019142857 A RU2019142857 A RU 2019142857A
Authority
RU
Russia
Prior art keywords
light beam
eye
image
external environment
user
Prior art date
Application number
RU2019142857A
Other languages
English (en)
Inventor
Борис ГРИНБЕРГ
Original Assignee
Айвэй Вижн Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Айвэй Вижн Лтд. filed Critical Айвэй Вижн Лтд.
Publication of RU2019142857A publication Critical patent/RU2019142857A/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Claims (37)

1. Система проецирования на глаз, используемая с глазами пользователя, воспринимающего внешнюю обстановку, содержащая:
датчик, расположенный на траектории светового луча, отраженного от каждого глаза пользователя, выполненный с возможностью и выполняющий функции приема части светового луча, отраженной от сетчатки пользователя, и получения изображения указанной отраженной части светового луча, которая показывает изображение внешней обстановки, чтобы таким образом генерировать воссозданное изображение внешней обстановки;
генератор изображений, выполненный с возможностью получения данных, показывающих виртуальное изображение, создания множества частей светового луча, соответствующих пикселам указанного виртуального изображения, и направления указанных частей светового луча, распространяемых вдоль общей траектории распространения светового луча;
оптический модуль проецирования на глаз, расположенный на указанной общей траектории распространения светового луча, содержащий отражатель, выполненный с возможностью и выполняющий функции отклонения общей траектории распространения частей светового луча по направлению к глазу пользователя, таким образом, проецирующий указанное виртуальное изображение непосредственно на сетчатку глаза; при этом указанная общая траектория распространения светового луча отклоняется таким образом, что части светового луча, падающие на зрачок с различными углами падения на зрачок, направлены по разным направлениям взгляда относительно оптической оси глаза, связанной с определенным направлением взгляда; и
блок управления, выполненный с возможностью функции приема данных трехмерного изображения внешней обстановки; причем указанный блок управления соединен с указанным датчиком, выполнен с возможностью и выполняет функции приема данных, показывающих указанное воссозданное изображение, сравнения указанных данных с указанными данными трехмерного изображения; обеспечения точного соответствия между по меньшей мере одним параметром внешней обстановки и указанного виртуального изображения относительно оптической оси глаза, тем самым обеспечивая возможность проецирования указанного виртуального изображения на сетчатку в точном соответствии с внешней обстановкой
2. Система проецирования на глаз по п. 1, отличающаяся тем, что указанный по меньшей мере один параметр внешней обстановки и указанного виртуального изображения включает по меньшей мере один элемент из положения и ориентации.
3. Система проецирования на глаз по п. 1 или п. 2, отличающаяся тем, что указанный датчик встроен внутрь указанного оптического модуля проецирования на глаз.
4. Система проецирования на глаз по любому из пп. 1-3, дополнительно содержащая блок формирования изображений, выполненный с возможностью передачи света по направлению к по меньшей мере рассматриваемому участку внешней обстановки, сбора отраженного от него света и обработки собранного света для генерирования данных его трехмерного изображения.
5. Система проецирования на глаз по любому из пп. 1-4, отличающаяся тем, что указанный генератор изображений содержит по меньшей мере один источник света, выполненный с возможностью и выполняющий функции генерирования по меньшей мере одной части светового луча в определенном диапазоне длины волны.
6. Система проецирования на глаз по любому из пп. 1-5, отличающаяся тем, что указанный оптический модуль проецирования на глаз содержит сканер изображений; причем указанный сканер выполнен с возможностью и выполняет функции выполнения сканирования изображений так, чтобы датчик последовательно получал части отраженного светового луча, соответствующие различным точкам на сетчатке.
7. Система проецирования на глаз по любому из пп. 1-6, дополнительно содержащая устройство разделения/совмещения лучей, выполненное с возможностью передачи света от оптического модуля проецирования на глаз по направлению к зрачку глаза пользователя и отражения части светового луча, отраженной от сетчатки, по направлению к указанному датчику.
8. Система проецирования на глаз по п. 7, отличающаяся тем, что указанное устройство разделения/совмещения лучей выполнено в виде узкополосного или полосового фильтра, выполненного с возможностью передачи одной или большего количества спектральных полос по направлению к зрачку пользователя.
9. Система проецирования на глаз по любому из пп. 1-8, отличающаяся тем, что указанный датчик содержит инфракрасный (ИК) датчик, выполненный с возможностью и выполняющий функции обнаружения отражения по меньшей мере одного ИК светового луча от глаза.
10. Система проецирования на глаз по любому из пп. 1-9, отличающаяся тем, что указанный отражатель выполнен в виде сканера изображений, выполненного с возможностью и выполняющего функции выполнения сканирования изображений, во время которого части светового луча отклоняются так, чтобы части светового луча падали на зрачок с различными углами падения на зрачок, соответствующими различным точкам на сетчатке.
11. Система проецирования на глаз по любому из пп. 1-10, дополнительно содержащая устройство отслеживания направления взгляда, выполненное с возможностью определения направления взгляда глаза пользователя.
12. Система проецирования на глаз по любому из пп. 1-11, отличающаяся тем, что указанный оптический модуль проецирования на глаз содержит регулируемый элемент фокусировки для изменения расхождения частей светового луча по направлению к зрачку глаза пользователя.
13. Способ обеспечения точного соответствия между внешней обстановкой, воспринимаемой глазами пользователя, и виртуальным изображением, включающий следующие этапы:
получение данных трехмерного изображения, показывающего внешнюю обстановку и данных, показывающих виртуальное изображение;
получение части светового луча, отраженной от сетчатки, и получение изображения отраженного множества частей светового луча, показывающих внешнюю обстановку, для получения воссозданного изображения;
сравнение указанного воссозданного изображения с указанными данными трехмерного изображения;
обеспечение точного соответствия между по меньшей мере одним параметром внешней обстановки и указанного виртуального изображения относительно глаза пользователя, позволяющее, таким образом, проецировать указанное виртуальное изображение на сетчатку в точном соответствии с внешней обстановкой;
создание множества частей светового луча, соответствующих пикселам указанного виртуального изображения, и направление указанных частей светового луча, распространяемых вдоль общей траектории распространения светового луча; и
отклонение общей траектории распространения частей светового луча по направлению к зрачку каждого из глаз пользователя согласно точному соответствию.
14. Способ по п. 13, отличающийся тем, что указанный по меньшей мере один параметр внешней обстановки и указанного виртуального изображения включает по меньшей мере один элемент из положения и ориентации.
15. Способ по п. 13 или 14, дополнительно включающий передачу света по направлению к внешней обстановке, сбор отраженного от нее света и обработку собранного света для генерирования данных ее трехмерного изображения.
16. Способ по любому из пп. 13-15, отличающийся тем, что указанное создание множества частей светового луча включает генерирование по меньшей мере одной части светового луча в определенном диапазоне длины волны.
17. Способ по любому из пп. 13-16, отличающийся тем, что указанное получение части светового луча, отраженной от сетчатки, включает выполнение сканирования изображений так, чтобы последовательно получать части отраженного светового луча, соответствующие различным точкам на сетчатке.
18. Способ по любому из пп. 13-17, отличающийся тем, что указанное отклонение общей траектории распространения частей светового луча по направлению к зрачку глаза пользователя включает выполнение сканирования изображений, во время которого части светового луча отклоняются так, чтобы части светового луча падали на зрачок с различными углами падения на зрачок, соответствующими различным точкам на сетчатке.
19. Способ по любому из пп. 13-18, отличающийся тем, что указанное отклонение общей траектории распространения частей светового луча по направлению к зрачку глаза пользователя включает передачу одной или большего количества спектральных полос частей светового луча по направлению к зрачку пользователя.
20. Способ по любому из пп. 13-19, отличающийся тем, что указанное получение части светового луча, отраженной от сетчатки, включает обнаружение отражения ИК или видимой части светового луча.
21. Система обеспечения точного соответствия, используемая с системой дополненной реальности, содержащая:
датчик, выполненный с возможностью и выполняющий функции приема части светового луча, отраженной от сетчатки глаза пользователя, и получения изображения отраженной части светового луча, показывающего изображение внешней обстановки, воспринимаемой глазом пользователя, для генерирования, таким образом, воссозданного изображения; и
блок управления, соединенный с указанным датчиком, выполненный с возможностью и выполняющий функции приема данных трехмерного изображения внешней обстановки, сравнения указанного воссозданного изображения с указанными данными трехмерного изображения; и обеспечения точного соответствия между по меньшей мере одним параметром внешней обстановки и виртуального изображения относительно глаза, тем самым позволяющий проецировать указанное виртуальное изображение на сетчатку в точном соответствии с внешней обстановкой.
22. Система обеспечения точного соответствия по п. 21, отличающаяся тем, что указанный по меньшей мере один параметр внешней обстановки и указанного виртуального изображения включает по меньшей мере один элемент из положения и ориентации.
23. Система обеспечения точного соответствия по п. 21 или 22, дополнительно содержащая генератор изображений, выполненный с возможностью получения данных, показывающих указанное виртуальное изображение, создания множества частей светового луча, соответствующих пикселам указанного виртуального изображения, и направления указанных частей светового луча, распространяемых вдоль общей траектории распространения светового луча.
24. Система обеспечения точного соответствия по любому из пп. 21-23, дополнительно содержащая оптический модуль проецирования на глаз, содержащий отражатель, выполненный с возможностью и выполняющий функции отклонения общей траектории распространения частей светового луча по направлению к зрачку глаза пользователя, таким образом, проецирующий указанное виртуальное изображение непосредственно на сетчатку глаза.
25. Система обеспечения точного соответствия по любому из пп. 21-24, дополнительно содержащая блок формирования изображений, выполненный с возможностью передачи света по направлению к внешней обстановке, сбора отраженного от нее света и обработки собранного света для генерирования ее захваченного трехмерного изображения.
RU2019142857A 2017-05-29 2018-05-29 Способ и система обеспечения точного соответствия между внешней обстановкой и виртуальным изображением RU2019142857A (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL252582 2017-05-29
IL252582A IL252582A0 (en) 2017-05-29 2017-05-29 A method and system for registration between the outside world and a virtual image
PCT/IL2018/050589 WO2018220631A1 (en) 2017-05-29 2018-05-29 A method and system for registering between an external scene and a virtual image

Publications (1)

Publication Number Publication Date
RU2019142857A true RU2019142857A (ru) 2021-07-01

Family

ID=62452826

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019142857A RU2019142857A (ru) 2017-05-29 2018-05-29 Способ и система обеспечения точного соответствия между внешней обстановкой и виртуальным изображением

Country Status (11)

Country Link
US (1) US20200081530A1 (ru)
EP (1) EP3631603A4 (ru)
JP (1) JP2020522738A (ru)
KR (1) KR20200023305A (ru)
CN (1) CN110914786A (ru)
AU (1) AU2018277268A1 (ru)
CA (1) CA3062558A1 (ru)
IL (1) IL252582A0 (ru)
RU (1) RU2019142857A (ru)
TW (1) TW201907204A (ru)
WO (1) WO2018220631A1 (ru)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958482B (zh) * 2016-10-17 2021-06-18 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
EP3729378B1 (en) 2017-12-19 2021-07-21 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof
KR20200050689A (ko) * 2018-11-02 2020-05-12 삼성전자주식회사 광의 경로를 변경하는 광학부재들을 포함하는 전자 장치
US11189061B2 (en) * 2019-06-25 2021-11-30 Universal City Studios Llc Systems and methods for virtual feature development
IL271129B (en) * 2019-12-02 2021-12-01 Elbit Systems Ltd Method and system for optical vision through a head-mounted display of virtual objects precisely aligned with external objects
TWI790430B (zh) * 2020-04-13 2023-01-21 宏碁股份有限公司 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法
US20220050527A1 (en) * 2020-08-12 2022-02-17 Himax Technologies Limited Simulated system and method with an input interface
US11783550B2 (en) 2020-09-17 2023-10-10 Apple Inc. Image composition for extended reality systems
WO2022159912A1 (en) * 2021-01-25 2022-07-28 Quantum Radius Corporation Retinal foveation system and method
KR20220137428A (ko) * 2021-04-02 2022-10-12 삼성전자주식회사 전자 장치 및 그 동작 방법
WO2022229943A1 (en) * 2021-04-27 2022-11-03 Elbit Systems Ltd Optical see through (ost) head mounted display (hmd) system and method for precise alignment of virtual objects with outwardly viewed objects
CN113171913B (zh) * 2021-04-30 2022-04-22 哈尔滨工业大学 一种基于座椅类家具三维点云的喷涂路径生成方法
EP4355876A1 (en) * 2021-08-02 2024-04-24 HES IP Holdings, LLC Augmented reality system for real space navigation and surgical system using the same
WO2023144189A1 (de) * 2022-01-25 2023-08-03 Ams-Osram International Gmbh Optische baugruppe zur detektion einer vom auge reflektierten strahlung eines retinaprojektors und verfahren
CN114624883B (zh) * 2022-03-08 2022-10-04 常山县亿思达电子有限公司 一种基于柔性曲面透明微显示屏的混合现实眼镜系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3425818B2 (ja) * 1995-01-23 2003-07-14 キンセキ株式会社 網膜直接表示装置及びそれを用いたテレビジョン受信機
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
DE19728890A1 (de) * 1997-07-07 1999-02-04 Daimler Benz Ag Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes
US6327341B1 (en) * 1997-12-17 2001-12-04 Siemens Aktiengesellschaft Scattered-ray grid
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6867753B2 (en) * 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
IL172797A (en) * 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
JP2010139575A (ja) * 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置
US20160210785A1 (en) * 2013-10-03 2016-07-21 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
CN104749777B (zh) * 2013-12-27 2017-09-26 中芯国际集成电路制造(上海)有限公司 可穿戴智能设备的互动方法
CN112203067A (zh) * 2014-03-03 2021-01-08 埃韦视觉有限公司 眼睛投影系统和眼睛投影方法
US9759918B2 (en) * 2014-05-01 2017-09-12 Microsoft Technology Licensing, Llc 3D mapping with flexible camera rig
KR20160059406A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법

Also Published As

Publication number Publication date
TW201907204A (zh) 2019-02-16
KR20200023305A (ko) 2020-03-04
EP3631603A1 (en) 2020-04-08
EP3631603A4 (en) 2020-06-24
JP2020522738A (ja) 2020-07-30
US20200081530A1 (en) 2020-03-12
IL252582A0 (en) 2017-08-31
CA3062558A1 (en) 2018-12-06
WO2018220631A1 (en) 2018-12-06
AU2018277268A1 (en) 2020-01-23
CN110914786A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
RU2019142857A (ru) Способ и система обеспечения точного соответствия между внешней обстановкой и виртуальным изображением
EP3148403B1 (en) Optical equipment for observation of the iridocorneal zone
EP2856922B1 (en) Stereoscopic endoscope device
JP6978165B2 (ja) 眼球画像撮影装置
CA2979336C (en) Tracking system for surgical optical coherence tomography
EP3746837B1 (en) Gaze-tracking system using illuminators emitting different wavelengths
US20220155599A1 (en) Eye accommodation distance measuring device and method for head-mounted display, and head-mounted display
US10452911B2 (en) Gaze-tracking system using curved photo-sensitive chip
CN111163684B (zh) 眼科设备
JP7178160B2 (ja) 顕微鏡及び機能拡張ユニット
JP7165474B2 (ja) 眼科用顕微鏡
KR102336501B1 (ko) 안과용 장치
JPWO2018088338A1 (ja) 走査型眼底撮影装置
US11166631B2 (en) Ophthalmologic microscope and function expansion unit
RU2724442C1 (ru) Устройство и способ определения расстояния фокусировки глаза для наголовного устройства отображения, наголовное устройство отображения
JP6651747B2 (ja) 走査型レーザ検眼鏡
JP2023048007A (ja) 視線検出装置及び撮像装置
WO2021079504A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP2020036836A (ja) 走査型眼科撮影装置および眼科装置
JP2019198468A (ja) 画像処理装置およびその制御方法