KR102095330B1 - 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 - Google Patents

능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 Download PDF

Info

Publication number
KR102095330B1
KR102095330B1 KR1020197028502A KR20197028502A KR102095330B1 KR 102095330 B1 KR102095330 B1 KR 102095330B1 KR 1020197028502 A KR1020197028502 A KR 1020197028502A KR 20197028502 A KR20197028502 A KR 20197028502A KR 102095330 B1 KR102095330 B1 KR 102095330B1
Authority
KR
South Korea
Prior art keywords
forbidden
imaging
beam splitter
wide
field
Prior art date
Application number
KR1020197028502A
Other languages
English (en)
Other versions
KR20190112218A (ko
Inventor
춘유 가오
홍 후아
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20190112218A publication Critical patent/KR20190112218A/ko
Application granted granted Critical
Publication of KR102095330B1 publication Critical patent/KR102095330B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • H04N5/23238—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00—Eyepieces; Magnifying glasses
    • G02B25/001—Eyepieces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/144—Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/2258—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0145—Head-up displays characterised by optical features creating an intermediate image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/015—Head-up displays characterised by mechanical features involving arrangement aiming to get less bulky devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

본 발명은 와이드 필드 오브 뷰 이미지 및 포비에이팅된 이미지를 캡처할 수 있는 포비에이팅된 이미징 시스템을 포함하며, 여기서 포비에이팅된 이미지는 와이드 필드 오브 뷰 이미지의 관심의 영역을 제어할 수 있다.

Description

능동 포비에이션 능력을 갖는 와이드-FOV(FIELD OF VIEW) 이미지 디바이스들{WIDE-FIELD OF VIEW (FOV) IMAGING DEVICES WITH ACTIVE FOVEATION CAPABILITY}
관련된 출원들
[0001] 본 출원은 2012년 4월 5일 출원된 미국 가출원 번호 제61/620,581호 및 2012년 4월 5일 출원된 미국 가출원 번호 제61/620,574호를 우선권으로 주장하며, 상기 가출원들은 그 전체가 인용에 의해 본원에 포함된다.
발명의 분야
[0002] 본 발명은 일반적으로 와이드-FOV(Field of View) 이미징 디바이스들에 관한 것으로, 보다 구체적으로는, 그러나 배타적이지 않게, 대형 FOV 및 훨씬 더 높은 해상도를 갖는 상기 대형 FOV 내부의 소형 FOV를 동시에 캡처할 수 있는 듀얼 해상도 와이드 FOV 이미징 시스템(dual resolution wide FOV imaging system)에 관한 것이다.
[0003] 고해상도, 와이드 FOV(field of view) 및 HDR(high dynamic range) 이미지들의 실시간 포착은 다수의 군사 및 민간 감시 애플리케이션들에서 필수적이다. 예를 들어, 충분한 해상도 및 프레임 레이트를 갖는 시스템은 객체의 신뢰할 수 있는 식별 및 특징화를 위해 하나 또는 다수의 관심의 객체들로 빠르게 줌(zoom)할 수 있으면서 매우 큰 동작 필드(예를 들어, 구형 또는 무료 반구형(complimentary hemispherical) 커버리지)에 걸쳐 동시에 모든 방향들에서 활동들을 모니터링할 수 있는 다수의 감시 애플리케이션들의 전방향 이미징 시스템(omnidirectional imaging system)에 대한 절박한 요구가 있다. 이러한 센서는 뛰어난 상황 인식들 및 충분한 세부사항 분해력 둘 다를 제공할 필요가 있다. 이러한 타입의 센서들은 이용 가능한 경우, 군사 및 상업 양자의 시장들내의 무수한 애플리케이션들을 발견할 수 있다.
[0004] 그러나, 광학 이미징 시스템을 설계할 때, 유한의 센서 분해능 및 데이터 대역폭은 최신 이미징 시스템에서 달성 가능한 공간적 해상도 및 FOV에 제한들을 부과한다. 고정된 수의 픽셀들을 갖는 대부분의 종래의 이미징 기법들에 대한 분해 전력과 FOV 간에 잘 알려진 고유한 트래이드 오프가 있는데: FOV가 더 넓을수록 분해 전력은 더 낮다. 1아크 분(arc minute)(~300 micro-rad) 각도 해상도(angular resolution)를 달성하기 위해 예로서 종래의 클러스터-기반 전방향 카메라들을 이용하면, 360°x 360°도의 구면 필드(spherical field)를 커버하기 위해 각각 상에서 5-메가 픽셀 센서를 갖는 적어도 50개의 소형 FOV 카메라들(예를 들어, FOV: 33° x 25°)을 요구하며, 이는 최소 250 메가 픽셀이 단일 구면 파노라마 이미지에 대해 캡처되고, 저장되고 전송되게 하여, 임의의 픽셀 손실 및 FOV 오버랩을 금지한다. 2 아크 초의 각도 해상도를 달성하기 위해서는 구면 필드를 커버하기 위해 수천개 단위의 엄청난 수의 카메라들을 요구한다. 그 결과, 카메라-클러스터-기반 시스템의 비용 및 크기는 다수의 검사 애플리케이션들에 대해 수락 가능하지 않을 것이며, 이는 수천개의 고해상도 카메라들을 통한 클러스터링(clustering)은 최신 데이터 관리 및 이미지 프로세싱 기술들에 어려운 과제들(great challenges)을 부과한다는 것을 언급하지 않게 한다.
[0005] 포비에이션(foveation) 기법들은 인간 시각계의 포비에이션 특성들과 유사하게 주변 영역의 이미징 능력을 손실함 없이 고해상도 센서를 이용하여 관심의 영역을 능동적으로 트래킹 및 캡처할 수 있다. 다양한 이미징 시스템들이 이미징 애플리케이션들에서 포비에이션 기법을 적용할 잠재성을 분석(explore)하기 위해 개발되었다. 예를 들어, Sandini 등은 인간 망막을 모방하도록 공간적-변동 해상도를 갖는 망막-유사 CMOS 센서를 개발하였다(G.Sandini, P.Questa, D.Scheffer 및 A.Mannucci, "A retina-like CMOS sensor and its applications" 센서 어레이 및 멀티채널 신호 프로세스에 관한 IEEE 워크숍의 보고서들(2000), pp.514-9). Martinez 및 Wick은 이미징 시스템의 와이드 FOV 내부의 포비에팅된 영역에서 수차들을 동적으로 보정하기 위해 액정 공간 광 변조기를 이용할 것을 제안하였다(T.Martinez, D.V.Wick 및 S.R.Restaino, "Foveated, wide field-of-view imaging system using a liquid crystal spatial light modulator", Opt. Express 8, 555-60 (2001); D.V.Wick, T.Martinez, S. R.Restaino 및 B.R.Stone, "Foveated imaging demonstration," Opt. Express 10, 60-5 (2002)). 상술된 접근법들은 주변 영역 및 포비에이팅된 영역 둘 다를 캡처하기 위해 단지 단일-센서만을 이용하며, 이는 시스템의 전체 정보 쓰루풋을 제한한다. 대안적으로, Hua 및 Liu는 2개의 별개의 센서들이 주변 영역 및 포비에이팅된 영역을 캡처하는데 이용되는 포비에이션 이미징 기술에 대한 듀얼-센서 접근법을 제안하였다(Hong Hua 및 Sheng Liu, "Dual-Sensor foveated imaging system," APPLIED OPTICS, Vol. 47, No.3, 317-327, 2008). 단일 센서 접근법에 비교하면, 듀얼 센서 접근법은 상이한 크기 및 상이한 해상도일 수 있는 2개의 상이한 센서들을 이용하며, 이는 저-비용 검출기들로 높은 정보 쓰루풋을 산출할 잠재성을 갖는다. 듀얼-센서 접근법의 주요한 단점은 시스템이 어포컬 시스템 구조(afocal system structure)를 이용하며, 이는 보통 대형 주변 FOV를 달성하기 위해 제한된 능력을 갖고 종종 벌키 시스템(bulky system)을 초래한다.
[0006] 본 발명은 실시간으로 주위 공간의 와이드-FOV 비디오들을 획득하고 동시에 높은 프레임 레이트로 다수의 타겟들의 매우 고해상도의 고-배율 포비에이팅된 이미지들을 획득할 수 있는 듀얼-센서 와이드-FOV 포비에이팅된 이미징 기법에 관한 것이다. 적절한 해상도 및 프레임 레이트를 갖는 와이드-FOV비디오는 객체에 의한 임박한 위협들을 포착, 검출 및 트래킹하기 위해 주위 공간을 동시에 관찰할 수 있는 실시간 능력을 가능케 하는 반면에, 고해상도 포베이팅된 비디오들은 결정적인 타겟 인식 및 특징화를 가능케 하기 위해 상당히 더 높은 해상도를 갖는 와이드-FOV의 다수의 더 작은 부분들 상에서 실시간으로 포커싱된다. 포비에이팅된 뷰의 관심의 영역(ROI)은 와이드 FOV 이미지의 임의의 부분에 대해 실시간으로 스티어링될 수 있다. 이들 능력들은 인간 시각계의 검색, 트래킹 및 포비에이션 기능들과 유사하다. 포비에이션 능력을 와이드-FOV 이미징 시스템에 통합함으로써 본 발명은 높은 정규 해상도로 360°x 360°까지 와이드 뷰잉 필드를 캡처할 수 있다.
[0007] 본 발명은 통상적으로 2개의 서브시스템들, 즉 와이드-FOV 이미징 서브시스템 및 포비에이팅된 이미징 서브시스템을 포함하며; 2개의 서브시스템들은 하나의 시스템으로서 통합되고, 여기서 2개의 이미징 서브시스템들은 동일한 대물 렌즈를 공유하며, 이는 시스템 설계를 간결하고 경량이 되게 할 수 있다. 포비에이팅된 이미징 서브시스템의 정지부(stop)는 빔 분할기를 통해 와이드-FOV 이미징 서브시스템의 정지부와 광학적으로 결합된다. 본 발명에 있어서, 와이드-FOV 이미징 서브시스템은 와이드 뷰 필드를 캡처하는 반면에, 포비에이팅된 이미징 서브시스템은 상기 와이드 뷰 필드의 하나 또는 소수의 선택된 부분들을 캡처하고 정확한 타겟 인식을 가능케 하기 위해 매우 높은 해상도 비디오들을 산출한다. 최신 감시 시스템에 비해, 본 발명은 비교적 저비용, 간결함, 낮은 전력 소비, 낮은 데이터 대역폭 요구는 물론 FOV, 해상도 및 실시간 포착의 견지에서 타협되지 않은 고성능의 이점을 갖는다.
[0008] 본 발명의 대물 렌즈는 우산-유사 FOV를 캡처하기 위해 회전 대칭적 굴절 광학 엘리먼트들을 활용하거나 링-유사 파노라마 FOV를 캡처하기 위해 필연적 회전 대칭적 굴절 광학 엘리먼트들과 함께 커브드 미러를 활용할 수 있다. 본 발명의 스캐닝 미러는 2개의 틸팅 움직임들을 이용하여 와이드-FOV를 샘플링하도록 듀얼-축 스캐닝 미러일 수 있거나, 틸팅 및 회전의 결합된 움직임을 이용하여 와이드-FOV를 샘플링하기 위한 단일-축 스캐닝 미러일 수 있다.
[0009] 본 발명의 일 양상에서, 예시적인 시스템은 단일 유닛의 FOV보다 훨씬 더 큰 FOV를 달성하기 위해 다수의 와이드-FOV 포비에이팅된 이미징 유닛들을 통합할 수 있다. 통합된 시스템은 단일 관점 특성들을 가질 수 있거나 갖지 않을 수 있다. 단일 관점 특성이 요구될 때, 다중-면 미러는 단일 관점으로 통합된 시스템 내의 모든 이미징 유닛들의 관점을 가상으로 콜로케이팅하는데 이용될 수 있다.
[0010] 본 발명의 예시적인 실시예들의 위의 요약 및 다음의 상세한 설명은 첨부 도면들과 함께 읽혀질 때 추가로 이해될 수 있다.
[0011] 도 1은 본 발명에 따라 예시적인 광학 시스템을 개략적으로 예시한다.
[0012] 도 2는 본 발명에 따라 이용되는 스캐닝 미러의 2개의 타입들의 움직임들을 개략적으로 예시한다.
[0013] 도 3은 본 발명에 따라 상술된 광학 시스템의 예시적인 설계를 개략적으로 예시한다.
[0014] 도 4는 커브드 미러 표면을 포함하는, 본 발명에 따라 상술된 광학 시스템의 다른 예시적인 설계를 개략적으로 예시한다.
[0015] 도 5는 본 발명에 따라 이미지 프로세싱 파이프라인의 예의 블록도를 도시한다.
[0016] 도 6은 본 발명에 따라 다수의 이미지 유닛들을 포함하는 예시적인 광학 시스템의 설계 레이아웃을 개략적으로 예시한다.
[0017] 본 발명에 따른 실시예들은 첨부된 도면에 관하여 완전히 설명될 것이다. 설명은 본 발명의 이해를 제공하기 위해 제시된다. 그러나 본 발명은 이들 세부사항들 없이 실시될 수 있다는 것이 자명할 것이다. 또한, 본 발명은 다양한 형태들로 구현될 수 있다. 그러나 아래에서 설명되는 본 발명의 실시예들은 본 명세서에서 제시되는 실시예들로 제한되는 것으로서 해석되어선 안 된다. 오히려, 이들 실시예들, 도면들 및 예들은 예시적이며 본 발명을 모호하게 하는 것을 방지하도록 의도된다.
[0018] 본 발명의 주요한 실시예는 와이드 필드 오브 뷰 이미지(wide field of view image) 및 포비에이팅된 이미지(foveated image)를 캡처할 수 있는 포비에이팅된 이미징 시스템(100)을 포함하고 상기 포비에이팅된 이미지는 상기 와이드 필드 오브 뷰 이미지의 관심의 제어 가능한 영역이고, 상기 시스템은,
a. 외부 장면을 향하고, 상기 외부 장면으로부터 인입하는 광을 수신하고 빔 분할기 상에 광을 포커싱하도록 구성된 대물 렌즈(110);
b. 외부 장면으로부터의 인입하는 광을 와이드 필드 오브 뷰 이미징 경로(125) 및 포비에이팅된 이미징 경로(135)로 분할하도록 구성된 빔 분할기(120);
c. 와이드 필드 오브 뷰 이미징 경로(125) 및
d. 포비에이팅된 뷰 이미징 경로(135)를 포함하고,
상기 와이드 필드 오브 뷰 이미징 경로는,
i. 상기 빔 분할기(120)로부터 와이드 필드 오브 뷰 경로에서 수신되는 광의 양을 제한하는 제 1 정지부(127);
ii. 정지부(127)로부터 광을 수신하고 와이드 필드 오브 뷰 이미징 센서 상에서 와이드 필드 뷰 이미지를 형성하도록 구성된 와이드 필드 오브 뷰 이미징 렌즈(130);
iii. 상기 와이드 필드 오브 뷰 이미징 렌즈(130)로부터 광을 수신하도록 구성된 와이드 필드 오브 뷰 이미징 센서(140)를 포함하고,
상기 포비에이팅된 뷰 이미징 경로는,
i. 상기 빔 분할기(120)로부터 상기 포비에이팅된 이미징 경로에서 수신되는 광의 양을 제한하는 제 2 정지부(137);
ii. 상기 빔 분할기(120)로부터의 광을 반사하도록 제어될 수 있는 스캐닝 미러(150);
iii. 상기 스캐닝 미러(150)로부터, 상기 외부 장면의 관심의 영역과 연관되는 광의 부분을 수신하고 포비에이팅된 이미징 센서 상에서 포비에이팅된 이미지를 형성하도록 구성되는 포비에이팅된 이미징 렌즈(160);
iv. 상기 포비에이팅된 이미징 렌즈(160)로부터 광을 수신하도록 구성되는 포비에이팅된 이미징 센서(170)를 포함한다.
[0019] 몇몇 실시예들에서, 외부 장면으로부터 인입하는 광은 대물 렌즈(110)를 통해 빔 분할기(120)로 전달되며, 여기서 빔 분할기(120)는 광을 2개의 광학 경로들, 즉 와이드 필드 오브 뷰 이미징 경로(125) 및 포비에이팅된 이미징 경로(135)로 분할한다. 와이드 필드 오브 뷰 경로에서, 광은 와이드 필드 오브 뷰 이미징 경로(wide field of view imaging path)(125)를 따라 와이드 필드 오브 뷰 이미징 렌즈(130)로 제 1 정지부(127)를 통해 전달된다. 렌즈는 와이드 필드 오브 뷰 이미징 센서(140) 상의 와이드 필드 오브 뷰 이미지를 포커싱한다. 포비에이팅된 뷰 이미징 경로 상에서, 광은 포비에이팅된 이미징 경로(135)를 따라 스캐닝 미러(150)로 제 2 정지부(137)를 통해 전달되며, 여기서 스캐닝 미러(150)는 빈 분할기(120)를 통해 포비에이팅된 이미징 렌즈(160) 쪽으로 관심의 영역을 반사한다. 스캐닝 미러(150)의 개구(aperture)는 빔 분할기(120)로부터 포비티드 이미징 경로(135)에서 수신되는 광의 양을 제한하도록 제 2 정지부(137)의 기능을 수행할 수 있다. 포비에이팅된 이미징 렌즈(160)는 포비에이팅된 이미징 센서(170) 상의 포비에이팅된 이미지를 포커싱한다.
[0020] 몇몇 실시예들에서, 대물 렌즈(110)는 시스템 전면 상에 배치된다. 대물 렌즈로부터 광을 수신하는 빔 분할기(120)는 대물 렌즈 가까이 배치된다. 빔 분할기(120)는 광을 2개의 광학 경로들, 즉 와이드 필드 오브 뷰 이미징 경로(125) 및 포비에이팅된 이미징 경로(135)로 분할한다. 제 1 정지부(127)는 와이드 필드 오브 뷰 이미징 경로(125)를 따라 빈 분할기(120)와 광학 통신하며, 제 2 정지부(137)는 포비에이팅된 이미징 경로(135)를 따라 빔 분할기(120)와 광학 통신한다. 스캐닝 미러(150)는 제 2 정지부(137)의 위치에 또는 근처에 배치되며, 여기서 이것은 포비에이팅된 이미징 경로(135)를 따라 빔 분할기(120)로부터 광을 수신하고, 광을 빔 분할기(120)로 다시 반사한다. 와이드 필드 오브 뷰 이미징 렌즈(130)는 와이드 필드 오브 뷰 이미징 경로(125)를 따라 제 1 정지부(127)를 향하도록 배치되며, 여기서 이것은 와이드 필드 오브 뷰 이미징 경로(125)를 따라 제 1 정지부(127)를 통해 빔 분할기(120)로부터 광을 수신한다. 포비에이팅된 이미징 렌즈(160)는 빔 분할기(120)를 향하도록 배치되며, 여기서 이것은 포비에이팅된 이미징 경로(135)를 따라 스캐닝 미러(150)로부터 반사된 빔 분할기(120)로부터의 광을 수신한다. 와이드 필드 오브 뷰 이미징 센서(140)는 와이드 필드 오브 뷰 이미징 렌즈(130)를 향하도록 배치된다. 포비에이팅된 이미징 센서(170)는 포비에이팅된 이미징 렌즈(160)를 향하도록 배치된다. 2개의 이미지들, 즉 와이드 필드 오브 뷰 이미지 및 그것 내의 관심의 영역 내의 고해상도 이미지가 센서들에 의해 레코딩된다.
[0021] 몇몇 실시예들에서, 대물 렌즈(110)는 시스템의 전면에 위치된다. 빔 분할기(120)는 대물 렌즈와 대물 렌즈(110)를 향하는 정지부(137) 및 스캐닝 미러(150) 사이에 위치되어서, 그것은 대물 렌즈로부터 광을 수신하게 된다. 스캐닝 미러(150)는 빔 분할기 뒤에 위치되며, 그것은 빔 분할기(120)의 포비에이팅된 이미지 경로로부터 광을 수신하고 광을 빔 분할기(120)로 다시 반사한다. 와이드 필드 오브 뷰 이미징 렌즈(130)는 빔 분할기의 와이드 필드 오브 뷰 이미지 경로를 향하는 반면에, 포비에이팅된 이미징 렌즈(160)는 빔 분할기(120)의 포비에이팅된 이미지 광학 경로를 향한다. 와이드 필드 오브 뷰 이미징 센서(140)는 와이드-필드-오브-뷰 이미징 렌즈(130)를 향하고, 포비에이팅된 이미징 센서(170)는 포비에이팅된 이미징 렌즈(160)를 향한다.
[0022] 몇몇 실시예들에서, 외부 장면으로부터 인입하는 광은 대물 렌즈(110)를 통해 빔 분할기로 전달되며, 여기서 빔 분할기(120)는 광의 일 카피(copy)를 와이드 필드 오브 뷰 렌즈(130)로 그리고 광의 제 2 카피를 스캐닝 미러(150)로 전송한다. 스캐닝 미러(150)는 관심의 영역을 빔 분할기(120)에 다시 반사하고, 빔 분할기는 광을 포비에이팅된 이미징 렌즈(160)로 반사한다. 반면에, 와이드 필드 오브 뷰 이미징 렌즈(130)는 와이드 필드 오브 뷰 이미징 경로(125)의 광을 와이드 필드 오브 뷰 이미징 센서(140)로 투과한다. 포비에이팅된 이미징 렌즈(160)는 포비에이팅된 이미징 경로(135)의 광을 포비에이팅된 이미징 센서(170)로 투과한다. 따라서, 2개의 이미지들, 즉 와이드 필드 오프 뷰 이미지 및 그것 내의 관심의 영역의 고해상도 이미지가 센서들에 의해 레코딩된다.
[0023] 도 1은 듀얼-센서 와이드-FOV 포비에이팅된 이미징 시스템에 대해 본 발명에 따른 예시적인 시스템 레이아웃(100)을 예시한다. 시스템은 2개의 서브시스템들: 와이드-FOV 이미징 서브시스템 및 포비에이팅된 이미징 서브시스템을 포함한다. 와이드-FOV 이미징 서브시스템은 대물 렌즈(110), 빔 분할기(120), 정지부(127), 와이드-FOV이미징 렌즈(130), 및 이미징 센서(140)를 포함한다. 포비에이팅된 이미징 서브시스템은 대물 렌즈(110), 빔 분할기(120), 스캐닝 미러(150), 정지부(137), 포비에이팅된 이미징 렌즈(160), 및 이미징 센서(170)를 포함한다. 이 예시적인 레이아웃(100)에서, 2개의 이미징 서브시스템들은 광학 경로(115)는 물론 동일한 대물 렌즈(110)를 공유한다. FOV(105) 내의 광은 대물 렌즈(110)에 의해 캡처된다. 광이 대물 렌즈(110)를 통과한 이후, 광학 경로(115)는 빔 분할기(120)에 의해 2개의 상이한 경로들; 와이드-FOV 이미징 경로(125) 및 포비에이팅된 이미징 경로(135)로 분할된다. 와이드-FOV 이미징 경로(125)에서, 와이드-FOV 이미징 렌즈(130)는 와이드-FOV 이미징 센서(140) 상에서 대물 렌즈(110)에 의해 캡처된 FOV(105) 내의 전체 시계(visual field)를 이미징한다. 포비에이팅된 이미징 경로(135)에서, 스캐닝 미러(150)는 정지부(137)의 위치에 또는 근처에 배치되고, 대물 렌즈(110)에 의해 캡처된 FOV(105) 내의 일부 광선들을 반사한다. 스캐닝 미러(150)를 관심의 방향 쪽으로 순간적으로 틸팅(tilting)함으로써, FOV(105)의 관심의 서브-FOV로부터의 광선들은 빔 분할기(120)로 재지향되고 포비에이팅된 이미징 렌즈(160) 쪽으로 반사되고 포비에이팅된 이미징 센서(170) 상에서 이미징된다.
[0024] 이 예시적인 레이아웃(100)에서, 대물 렌즈(110)는 연속적인 우산-유사 FOV 또는 거의-반구-형상 FOV, 또는 거의-구-형상 FOV를 캡처하기 위해 회전 대칭적 렌즈들(rotationally symmetric lenses)의 그룹일 수 있다. 대물 렌즈(110)는 링-유사 파노라마 FOV를 캡처하기 위해 필수적인 회전 대칭적 렌즈를 따른 커브드 미러 표면을 또한 포함할 수 있다. 커브드 미러는 대칭적 또는 비슷함을 갖거나 갖지 않는 구 미러, 포물선 미러, 쌍곡선 미러, 원뿔 미러, 타원 미러, 비구면 미러일 수 있다. 이미징 센서들(140 및 170)은 CCD(charge-couple device) 또는 CMOS(complementary metal-oxide-semiconductor) 또는 다른 타입의 광 감지 디바이스를 포함(그러나 이것으로 제한되지 않음)해서, 광자들을 전기 신호들로 변환하는 광 감지 유닛들(픽셀들)의 어레이를 포함하는 임의의 광 감지 디바이스일 수 있다. 스캐닝 미러(150)는 음성 코일 미러, 압전 미러, MEMS(Micro-Electro-Mechanical System) 미러 또는 다른 타입의 스캐닝 미러를 포함(그러나 이것으로 제한되지 않음)해서, 스캐닝 움직임이 전자적으로 제어될 수 있는 임의의 타입의 고속 이동 미러 디바이스일 수 있다. 스캐닝 미러(150)는 스캐닝 미러 제어기에 의해 제어될 수 있고, 상기 스캐닝 미러 제어기는 마이크로프로세서와 통신 가능한 전자적 인터페이스를 가질 수 있다. 빔 분할기(120)는 큐브 또는 플레이트의 형태일 수 있고, 비-편광된 빔 분할기 또는 편광됨 빔 분할기일 수 있다. 편광된 빔 분할기가 이용될 때, 1/4파 플레이트(quarter-wave plate)는 광 효율을 증가시키기 위해 빔 분할기와 함께 이용될 수 있다. 1/4파 플레이트는 빔 분할기(120)와 정지부(137) 사이의 공간에 위치될 수 있다. 부가적인 편광기들이 두 경로들 간의 크로스토크를 감소시키기 위해 포비에이팅된 이미징 경로(135) 및 와이드-FOV 이미징 경로(125) 둘 다에서 이용될 수 있다.
[0025] 본 발명의 이익들 중 하나로서, 본 발명은 하나의 통합된 시스템 내로 2개의 이미징 서브시스템들을 결합하며, 여기서 2개의 이미징 서브시스템은 동일한 대물 렌즈를 공유하며, 이는 시스템이 간결하고 경량이 되게 할 수 있다. 포비에이팅된 이미징 서브시스템의 정지부(137)는 빔 분할기(120)를 통해 와이드-FOV 이미징 서브시스템의 정지부(127)와 광학적으로 결합된다. 본 발명을 위해, 와이드-FOV 이미징 서브시스템은 와이드 뷰 필드를 캡처하는 반면에, 포비에이팅된 이미징 서브시스템은 상기 와이드 뷰 필드의 하나 또는 소수의 선택된 부분을 캡처하고 정확한 타겟 인식을 가능하게 하도록 매우 고해상도 비디오들을 산출한다. 최신 검사 시스템들에 비해, 본 발명은 비교적 저비용, 간결함, 낮은 전력 소비, 낮은 데이터 대역폭 요구는 물론 FOV, 해상도 및 실시간 포착의 견지에서 타협되지 않은 고성능의 이점을 갖는다.
[0026] 본 발명의 일 양상에서, 스캐닝 미러는 도 2에서 예시된 바와 같이, X 및 Y 축들을 따른 틸팅 움직임들(253 및 254)을 통해 와이드-FOV를 연속적으로 샘플링하기 위한 듀얼 축 스캐닝 유닛(252)일 수 있다. 스캐닝 미러는 또한 미러가 Y축을 따른 틸트 움직임(257) 및 Z 축을 따른 회전 움직임(258)을 통해 와이드-FOV를 샘플링하는, 도 2b에서 도시된 바와 같이 z 축을 따라 회전하는 능력을 갖거나 회전 스테이지(256) 상에 장착된 단일축 스캐닝 유닛(255)일 수 있다.
[0027] 종래 기술들에서의 듀얼 센서 접근법에 비해, 본 발명은, 광학 정지부가 정지부 앞에 있는 렌즈들의 그룹 및 정지부 뒤에 있는 렌즈들의 그룹을 갖는 이미징 시스템 내에 있는 정규 이미징 시스템 구조를 이용한다. 종래 기술의 어포컬 시스템에 비해 정규 이미징 시스템 구조를 이용하는 이점들은 다음과 같다:
a. 정지부의 양 측에서 렌즈들을 이용함으로써 특정한 광학 수차들이 보정될 수 있다는 점에서 더 간결한 시스템 및 더 쉬운 설계를 허용함;
b. 간결함 폼 팩터를 유지하면서 어포컬 시스템의 것보다 훨씬 더 큰 FOV를 달성할 수 있음.
[0028] 다른 중요한 양상에서, 본 발명은 각각 이미징 시스템 내부에 있고 빔 분할기를 통해 생성되고 와이드 필드 오브 뷰 및 포비에이팅된 뷰 광학 경로들에 위치되는 광학 결합 정지부들의 쌍을 이용한다. 종래 기술에서, 정지부는 어포컬 시스템의 입구에 배치되고, 어포컬 시스템을 통해 생성된 정지부의 이미지는 어포컬 시스템의 다른 측 상에 있다.
[0029] 또 다른 중요한 양상은, 종래 기술에서, 스캐닝 미러는 X 및 Y 틸트 축을 통해서만 제어 가능하다는 것이다. 본 발명에서, 스캐닝 미러는 대신 X 또는 Y, 틸트 및 Z 회전을 이용하도록 또한 구성될 수 있다.
[0030] 도 3은 우산-유사 FOV(305)를 캡처하기 위해 회전 대칭적 렌즈만을 활용하는 본 발명의 예시적인 설계(300)를 개략적으로 예시한다. 이 예시적인 설계(300)에서, 대물 렌즈(310)는 평면-오목 렌즈 엘리먼트만을 포함한다. 3개의 엘리먼트 렌즈는 와이드-FOV(광시야) 이미징 렌즈(330)로서 이용된다. 광시야 이미징 렌즈(330)는 광시야 이미지를 확대하는 회전 대칭적 렌즈의 그룹일 수 있고, 광시야 이미징 렌즈(330)는 비구면 반사 또는 굴절 표면들을 포함할 수 있다. X 및 Y 양자의 방향들에서 스캐닝하는 듀얼-축 고-속 스캐닝 미러(350)가 FOV(305)에서 ROI(Region of Interest)를 샘플링하기 위해 정지부(337) 근처에 배치된다. 빔 분할기(320)는 와이어-그리드 타입 편광 빔 분할기이다. 1/4파 플레이트(380)는 빔 분할기(320)와 스캐닝 미러(350) 간에 배치되어 1/4 플레이트를 2번 통과한 이후 광의 편광을 변화시킨다. 예시적인 구현들 중 하나에서, 포비에이팅된(포비티드) 이미징 렌즈(360)는 접합된 더블릿(cemented doublet)을 이용할 수 있다. 포비티드 이미징 렌즈(360)는 포비티드 이미지를 확대하는 회전 대칭적 렌즈의 그룹일 수 있고, 포비티드 이미징 렌즈(360)는 비구면 반사 또는 굴절 표면들을 포함할 수 있다. 시스템 광학 성능을 추가로 개선하기 위해 더 많은 렌즈 엘리먼트들이 정지부들 전에 또는 뒤에 포비에이팅된 이미징 경로 및 와이드-FOV 이미징 경로 둘 다에서 부가될 수 있다.
[0031] 도 4는 링-유사 파노라마 FOV(405)를 캡처하기 위해 커브드 미러를 활용하는 본 발명의 예시적인 설계(400)를 개략적으로 예시한다. 이 예시적인 설계(400)에서, 대물 렌즈(410)는 5개의 광학 엘리먼트들을 포함한다. 대물 렌즈(410)의 제 1 엘리먼트는 커브드 미러(412)이다. 커브드 미러(412)의 광학 표면은 표면 프로파일이 그의 회전 축(414)을 따라 1-디멘셔널 폴리노미얼 스위프(1-dimmentional polynomial swept) 360°에 의해 설명될 수 있다. 4-엘리먼트 렌즈는 와이드-FOV 이미징 렌즈(430)로서 이용된다. 단일-축 고속 스캐닝 미러(450)는 회전 스테이지 상에 장착되고, 도 2b와 관련하여 설명된 바와 같이 틸팅 움직임 및 회전 움직임을 통해 파노라마 FOV(405)를 스캐닝하도록 정지부(437) 근처에 배치된다. 빔 분할기(420)는 편광된 빔 분할기를 활용할 수 있다. 1/4파 플레이트(48)는 빔 분할기(420)와 스캐닝 미러(450) 간에 배치되어 1/4파 플레이트를 2번 통과한 이후 광의 편광을 변화시킨다. 예시적인 구현들 중 하나에서, 포비에이팅된 이미징 렌즈(460)는 접합된 더블릿을 이용할 수 있다. 시스템 광학 성능을 추가로 개선하기 위해, 더 많은 렌즈 엘리먼트들이 정지부들 전에 또는 뒤에 포비에이팅된 이미징 경로 및 와이드-FOV 이미징 경로 둘 다에서 부가될 수 있다.
[0032] 도 5는 본 발명에 필요한 이미지 프로세싱 파이프라인의 예의 블록도를 도시한다. 우선, 이벤트/객체 검출 알고리즘은 ROI(region(s) of interest)를 발견하기 위해 와이드-FOV 이미지를 프로세싱할 필요가 있다. 관심의 영역이 식별되면, ROI의 위치(각도) 정보에 따른 신호는 포비에이팅된 이미징 센서를 이용하여 관심의 영역을 재샘플링하기 위해 고속 스캐닝 미러로 송신된다. 이미지 분석 알고리즘은 이어서 ROI에 관한 상세 정보를 수집하기 위해 포비에이팅된 이미지에 적용된다. 분석 결과는 영역을 트래킹하고 및/또는 추가 동작을 수행할 필요가 있는지를 결정할 것이다. 때때로, 하나 또는 소수의 이미지들이 ROI를 특징화하는데 충분하지 않을 수 있으면, 스캐닝 미러를 이용한 트래킹 외에, 파노라마 뷰에서 ROI를 계속 트래킹할 필요가 있다.
[0033] 도 6은 연장하는 시스템 FOV를 위해 다수의 이미징 유닛들을 포함하는 예시적인 광학 시스템의 설계 레이아웃(600)을 개략적으로 예시한다. 예시적인 시스템은 단일 유닛의 FOV보다 더 큰 지정된 FOV를 캡처하기 위해 함께 클러스터링되는 적어도 2개의 와이드-FOV 포비에이팅된 이미징 디바이스들을 포함한다. 설계 레이아웃(600)에서, 4개의 와이드-FOV 포비에이팅된 이미징 디바이스들(682-688)이 전체 FOV를 360도로 연장하는데 이용된다. 이미지 유닛들은 그의 FOV가 서로 반대를 포인팅하는 채로 함께 장착된다. 시스템(600)의 전체 FOV에서 음영 스팟(blind spot)을 제거하기 위해 이미징 유닛들은 임의의 2개의 이웃하는 유닛들 간에 FOV 중첩이 존재하도록 하는 방식으로 장착되는 것이 바람직하다. 예로서 유닛들(682 및 684)을 이용하여, 유닛(682)의 FOV 경계(692)는, 이미징 유닛들로부터 특정한 거리 초과로 2개의 유닛들 간의 FOV 갭이 존재하지 않는 것을 보장하기 위해 이미징 유닛들로부의 상기 거리에서 유닛(684)의 FOV 경계(694)와 교차해야 한다.
[0034] 도 6과 관련된 본 발명의 일 양상에서, 도 6의 예시적인 시스템은 단일 관점을 보유하지 않는다. 단일 관점은 클러스터 내의 모든 이미징 유닛들이 공통 뷰잉 위치로부터 전체 시계를 유효하게 포착한다는 것을 의미하는 반면에, 다중-관점 클러스터 내의 이미징 유닛들은 변위된 뷰잉 위치들로부터 이미징 필드를 캡처한다. 특정한 애플리케이션에 대해, 전체 이미징 필드는 단일 관점으로부터 캡처되는 것이 바람직하다. 단일 관점 특성을 달성하기 위해 다중-면 미러는 단일 관점으로 클러스터 시스템 내의 모든 이미징 유닛들의 관점들을 가상으로 콜로케이트(co-locate)하는데 이용될 수 있다.

Claims (21)

  1. 광시야 이미지(wide field of view image) 및 포비티드 이미지(foveated image)를 캡처하도록 구성된 포비티드 이미징 시스템으로서 － 상기 포비티드 이미지는 상기 광시야 이미지의 제어 가능한 관심 영역임 －,
    상기 시스템은:
    외부 장면을 향하고, 외부 장면으로부터 인입하는 광을 수신하고 빔 분할기 상에 상기 광을 집속하도록 구성된 대물 렌즈; 및
    상기 외부 장면으로부터의 상기 인입하는 광을 광시야 이미징 경로 상의 제 1 부분 및 포비티드 이미징 경로 상의 제 2 부분으로 분할하도록 구성된 상기 빔 분할기를 포함하고,
    상기 광시야 이미징 경로는:
    상기 빔 분할기로부터 상기 광시야 이미징 경로에서 수신되는 상기 제 1 부분의 양을 제한하고, 상기 대물 렌즈로부터 분리된, 제 1 정지부; 및
    상기 대물 렌즈와 상이하고, 상기 제 1 정지부로부터 상기 제 1 부분을 수신하고 광시야 이미징 센서 상에 광시야 이미지를 집속하도록 구성된 광시야 이미징 렌즈 － 상기 광시야 이미징 센서는 상기 광시야 이미징 렌즈로부터 집속된 상기 제 1 부분을 광시야 이미지로 레코드하도록 구성됨 －를 포함하고,
    상기 포비티드 이미징 경로는:
    상기 빔 분할기로부터 상기 포비티드 이미징 경로에서 수신되는 상기 제 2 부분을 제한하는 제 2 정지부;
    X 및 Y 축에 대하여 틸팅(tilt)되고 상기 빔 분할기를 향하여 역으로 상기 빔 분할기로부터의 상기 제 2 부분 내에 선택된 관심 영역을 반사하도록 구성된 듀얼 축 이동식 미러(dual axis movable mirror)인 스캐닝 미러;
    상기 스캐닝 미러에 의해 반사된 상기 제 2 부분을 지향하도록 구성되고, 상기 빔 분할기 상에 배치된 반사 표면; 및
    상기 스캐닝 미러로부터, 상기 외부 장면의 관심 영역과 연관된, 상기 제 2 부분을 수신하고 포비티드 이미징 센서 상에 포비티드 이미지를 집속하도록 구성된 포비티드 이미징 렌즈 － 상기 포비티드 이미징 센서는 상기 포비티드 이미징 렌즈로부터의 상기 관심 영역을 고해상도 포비티드 이미지로 레코드하도록 구성됨 －를 포함하고,
    상기 포비티드 이미징 시스템은 상기 광시야 이미지 내에서 상기 고해상도 포비티드 이미지를 획득하도록 구성된, 포비티드 이미징 시스템.
  2. 제 1 항에 있어서,
    상기 대물 렌즈는 상기 시스템 전면에 배치되고,
    상기 빔 분할기는 대물 렌즈 가까이 배치되며 상기 대물 렌즈로부터 광을 수신하고,
    상기 제 1 정지부는 상기 광시야 이미징 경로를 따라 상기 빔 분할기와 광학 통신하고,
    상기 제 2 정지부는 상기 포비티드 이미징 경로를 따라 상기 빔 분할기와 광학 통신하고,
    상기 스캐닝 미러는 상기 포비티드 이미징 경로에서 상기 제 2 정지부 바로 뒤에 배치되고, 상기 스캐닝 미러는 상기 포비티드 이미징 경로를 따라 상기 빔 분할기로부터 광을 수신하며 상기 광을 상기 빔 분할기에 역으로 반사하고,
    상기 광시야 이미징 렌즈는 상기 광시야 이미징 경로를 따라 상기 제 1 정지부를 향하도록 배치되고, 상기 광시야 이미징 렌즈는 상기 광시야 이미징 경로를 따라 상기 제 1 정지부를 통해 상기 빔 분할기로부터 광을 수신하고,
    상기 포비티드 이미징 렌즈는 상기 빔 분할기를 향하도록 배치되고, 상기 포비티드 이미징 렌즈는 상기 포비티드 이미징 경로를 따라 상기 스캐닝 미러로부터 반사되는 상기 빔 분할기로부터의 광을 수신하고,
    상기 광시야 이미징 센서는 상기 광시야 이미징 렌즈를 향하도록 배치되며, 그리고
    상기 포비티드 이미징 센서는 상기 포비티드 이미징 렌즈를 향하도록 배치되는,
    포비티드 이미징 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 대물 렌즈는 실질적으로 반구 형상인(hemispherical shaped) 시야를 캡처하기 위한 회전 대칭적 렌즈들의 그룹인,
    포비티드 이미징 시스템.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 대물 렌즈는 실질적으로 고리 형상인(ring shaped) 시야를 캡처하기 위해, 곡면 미러(curved mirror)를 필요한 회전 대칭적 굴절 광학 엘리먼트들과 함께 활용하는,
    포비티드 이미징 시스템.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 이미징 센서들은 광자들을 전자 신호들로 변환하는 광 감지 유닛들(픽셀들)의 어레이를 포함하는 광 감지 디바이스이고, 상기 광 감지 디바이스는 CCD(charge-couple device) 또는 CMOS(complementary metal-oxide-semiconductor)를 포함하는,
    포비티드 이미징 시스템.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 스캐닝 미러는 전자적으로 제어되는 스캐닝 움직임을 가지고, 상기 스캐닝 미러는 음성 코일 미러, 압전 미러, 또는 MEMS(Micro-Electro-Mechanical System) 미러를 포함하는,
    포비티드 이미징 시스템.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 스캐닝 미러는 X 및 Y 축들을 따르는 틸팅 움직임들을 통해 상기 광시야를 연속적으로 샘플링하는 듀얼 축 스캐닝 유닛(dual axis scanning unit)인,
    포비티드 이미징 시스템.
  8. 제 1 항 또는 제 2 항에 있어서,
    상기 스캐닝 미러는 단일 축 회전 스캐닝 유닛이고, 상기 스캐닝 미러는 상기 Y 축을 따르는 틸트 움직임 및 X 축 및 상기 Y 축에 직교하는 Z 축을 따르는 회전 움직임을 통해 상기 광시야를 샘플링하는,
    포비티드 이미징 시스템.
  9. 제 1 항 또는 제 2 항에 있어서,
    상기 스캐닝 미러의 개구(aperture)는 상기 빔 분할기로부터 상기 포비티드 이미징 경로에서 수신되는 광의 양을 제한하도록 상기 제 2 정지부의 기능을 수행하는,
    포비티드 이미징 시스템.
  10. 제 1 항 또는 제 2 항에 있어서,
    상기 빔 분할기는 육면체(cube), 또는 플레이트(plate)의 형태이고, 비-편광된 빔 분할기 또는 편광된 빔 분할기인,
    포비티드 이미징 시스템.
  11. 제 1 항 또는 제 2 항에 있어서,
    상기 빔 분할기는 편광된 빔 분할기이고, 1/4파 플레이트(quarter-wave plate)가 광 효율을 증가시키기 위해 상기 빔 분할기와 함께 이용되고, 상기 1/4파 플레이트는 상기 빔 분할기와 상기 스캐닝 미러의 사이에 위치되는,
    포비티드 이미징 시스템.
  12. 제 1 항 또는 제 2 항에 있어서,
    상기 포비티드 이미징 경로 및 상기 광시야 이미징 경로 둘 다에서 부가적인 편광기들이 이용되어 이 두 경로들 간의 혼선(crosstalk)을 감소시키는,
    포비티드 이미징 시스템.
  13. 제 1 항 또는 제 2 항에 있어서,
    상기 포비티드 이미징 렌즈는 상기 포비티드 이미지를 확대하는 회전 대칭적 렌즈들의 그룹인,
    포비티드 이미징 시스템.
  14. 제 1 항 또는 제 2 항에 있어서,
    상기 포비티드 이미징 렌즈는 비구면 반사 또는 굴절 표면들을 포함하는,
    포비티드 이미징 시스템.
  15. 제 1 항 또는 제 2 항에 있어서,
    상기 광시야 이미징 렌즈는 상기 광시야 이미지를 확대하는 회전 대칭적 렌즈들의 그룹인,
    포비티드 이미징 시스템.
  16. 제 1 항 또는 제 2 항에 있어서,
    상기 광시야 이미징 렌즈는 비구면 반사 또는 굴절 표면들을 포함하는,
    포비티드 이미징 시스템.
  17. 다중 포비티드 이미징 시스템으로서,
    제 1 항 또는 제 2 항에 따른 적어도 두 개의 포비티드 이미징 시스템들을 포함하고,
    상기 적어도 두 개의 포비티드 이미징 시스템들은 단일 포비티드 이미징 시스템의 광시야보다 더 큰 지정된 광시야를 캡처하기 위해 함께 클러스터링(cluster)된,
    다중 포비티드 이미징 시스템.
  18. 제 17 항에 있어서,
    상기 적어도 두 개의 포비티드 이미징 시스템들은 광시야 갭(gap) 없이 다중 관점들에 배치되어 연속적인 광시야 이미지를 캡처하도록 하는,
    다중 포비티드 이미징 시스템.
  19. 제 17 항에 있어서,
    상기 적어도 두 개의 포비티드 이미징 시스템들은 다중-면 미러를 통해 공통 가상 관점에서 함께 배치(co-locate)되는,
    다중 포비티드 이미징 시스템.
  20. 제 1 항 또는 제 2 항에 있어서,
    상기 스캐닝 미러는 스캐닝 미러 제어기에 의해 제어되고, 상기 스캐닝 미러 제어기는 마이크로프로세서와 통신 가능한 전자적 인터페이스를 가지는,
    포비티드 이미징 시스템.
  21. 제 1 항 또는 제 2 항에 있어서,
    상기 광시야 이미지 내에서, 상기 포비티드 이미지의 타겟 영역을 제어하는 방법과 결합되고, 상기 방법은:
    a. 상기 광시야 이미징 센서로부터 이미지들을 수신하는 단계;
    b. 타겟 관심 영역을 검출하는 단계;
    c. 상기 타겟 관심 영역에서 상기 스캐닝 미러를 포인팅하는 것에 상응하는, 고속 스캐닝 미러 제어를 위한 명령들을 생성하는 단계;
    d. 상기 포비티드 이미징 센서로부터 이미지들을 수신하는 단계; 및
    e. 상기 포비티드 이미지에서 객체를 특징화하는 단계
    를 포함하는,
    포비티드 이미징 시스템.
KR1020197028502A 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 KR102095330B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261620574P 2012-04-05 2012-04-05
US201261620581P 2012-04-05 2012-04-05
US61/620,574 2012-04-05
US61/620,581 2012-04-05
PCT/US2013/035293 WO2013152205A1 (en) 2012-04-05 2013-04-04 Wide-field of view (fov) imaging devices with active foveation capability

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187009611A Division KR102028732B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207008629A Division KR102223290B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들

Publications (2)

Publication Number Publication Date
KR20190112218A KR20190112218A (ko) 2019-10-02
KR102095330B1 true KR102095330B1 (ko) 2020-03-31

Family

ID=49301051

Family Applications (11)

Application Number Title Priority Date Filing Date
KR1020197028502A KR102095330B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR1020187009611A KR102028732B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR1020147031167A KR102022719B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR1020217005871A KR102306729B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR1020217030170A KR102404537B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR1020207008629A KR102223290B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR1020187009706A KR102129330B1 (ko) 2012-04-05 2013-04-05 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치
KR1020187009715A KR102124350B1 (ko) 2012-04-05 2013-04-05 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치
KR1020147031031A KR102188748B1 (ko) 2012-04-05 2013-04-05 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치
KR1020207034778A KR102345444B1 (ko) 2012-04-05 2013-04-05 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치
KR1020187009709A KR102099156B1 (ko) 2012-04-05 2013-04-05 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치

Family Applications After (10)

Application Number Title Priority Date Filing Date
KR1020187009611A KR102028732B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR1020147031167A KR102022719B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR1020217005871A KR102306729B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR1020217030170A KR102404537B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR1020207008629A KR102223290B1 (ko) 2012-04-05 2013-04-04 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR1020187009706A KR102129330B1 (ko) 2012-04-05 2013-04-05 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치
KR1020187009715A KR102124350B1 (ko) 2012-04-05 2013-04-05 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치
KR1020147031031A KR102188748B1 (ko) 2012-04-05 2013-04-05 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치
KR1020207034778A KR102345444B1 (ko) 2012-04-05 2013-04-05 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치
KR1020187009709A KR102099156B1 (ko) 2012-04-05 2013-04-05 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치

Country Status (12)

Country Link
US (13) US9851563B2 (ko)
EP (5) EP3608717B1 (ko)
JP (9) JP6176747B2 (ko)
KR (11) KR102095330B1 (ko)
CN (5) CN104541201B (ko)
AU (4) AU2013243380B2 (ko)
BR (2) BR112014024941A2 (ko)
CA (4) CA2869781C (ko)
IL (6) IL300033B1 (ko)
NZ (6) NZ725322A (ko)
RU (2) RU2015156050A (ko)
WO (2) WO2013152205A1 (ko)

Families Citing this family (462)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
EP2748670B1 (en) 2011-08-24 2015-11-18 Rockwell Collins, Inc. Wearable data display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US20150010265A1 (en) 2012-01-06 2015-01-08 Milan, Momcilo POPOVICH Contact image sensor using switchable bragg gratings
KR102095330B1 (ko) * 2012-04-05 2020-03-31 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US9858721B2 (en) 2013-01-15 2018-01-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US10228561B2 (en) * 2013-06-25 2019-03-12 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism and gaze-detection light
US9625723B2 (en) * 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
WO2015015138A1 (en) 2013-07-31 2015-02-05 Milan Momcilo Popovich Method and apparatus for contact image sensing
WO2015095737A2 (en) 2013-12-19 2015-06-25 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
CN103901615B (zh) * 2014-03-14 2016-05-25 北京理工大学 小凹成像光学系统
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10529359B2 (en) 2014-04-17 2020-01-07 Microsoft Technology Licensing, Llc Conversation detection
US9922667B2 (en) 2014-04-17 2018-03-20 Microsoft Technology Licensing, Llc Conversation, presence and context detection for hologram suppression
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
CN104007559B (zh) * 2014-05-08 2017-05-17 北京理工大学 含局部超分辨扫描的小凹成像系统
CN104102018B (zh) * 2014-05-08 2016-10-05 北京理工大学 双小凹局部高分辨率成像系统
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US10359736B2 (en) 2014-08-08 2019-07-23 Digilens Inc. Method for holographic mastering and replication
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
WO2016046514A1 (en) 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
KR102417136B1 (ko) 2014-09-29 2022-07-05 매직 립, 인코포레이티드 상이한 파장의 광을 도파관 밖으로 출력하기 위한 아키텍쳐 및 방법
US9459201B2 (en) 2014-09-29 2016-10-04 Zyomed Corp. Systems and methods for noninvasive blood glucose and other analyte detection and measurement using collision computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
KR102329295B1 (ko) 2015-01-09 2021-11-19 삼성디스플레이 주식회사 헤드 마운티드 디스플레이 장치
EP3245444B1 (en) 2015-01-12 2021-09-08 DigiLens Inc. Environmentally isolated waveguide display
WO2016113533A2 (en) 2015-01-12 2016-07-21 Milan Momcilo Popovich Holographic waveguide light field displays
US10105049B2 (en) 2015-01-16 2018-10-23 Massachusetts Institute Of Technology Methods and apparatus for anterior segment ocular imaging
JP6867947B2 (ja) 2015-01-20 2021-05-12 ディジレンズ インコーポレイテッド ホログラフィック導波路ライダー
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
CN105988763B (zh) * 2015-02-15 2019-10-29 联想(北京)有限公司 一种信息处理方法及装置
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
KR102564748B1 (ko) 2015-03-16 2023-08-07 매직 립, 인코포레이티드 건강 질환 진단과 치료를 위한 방법 및 시스템
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
JP2016180955A (ja) * 2015-03-25 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御方法及び位置制御方法
WO2016156776A1 (en) 2015-03-31 2016-10-06 Milan Momcilo Popovich Method and apparatus for contact image sensing
CN106154640B (zh) * 2015-03-31 2020-02-21 联想(北京)有限公司 显示组件和电子设备
US10274728B2 (en) * 2015-05-18 2019-04-30 Facebook Technologies, Llc Stacked display panels for image enhancement
US10254454B2 (en) 2015-06-15 2019-04-09 Magic Leap, Inc. Display system with optical elements for in-coupling multiplexed light streams
US9977493B2 (en) 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
US10222619B2 (en) 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
EP4198911A1 (en) 2015-08-18 2023-06-21 Magic Leap, Inc. Virtual and augmented reality systems and methods
EP3337383A4 (en) 2015-08-21 2019-04-03 Magic Leap, Inc. EYE SHAPE ESTIMATION
WO2017034860A1 (en) 2015-08-21 2017-03-02 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
WO2017039717A1 (en) 2015-09-03 2017-03-09 3M Innovative Properties Company Method of making optical films and stacks
WO2017048713A1 (en) 2015-09-16 2017-03-23 Magic Leap, Inc. Head pose mixing of audio files
US10466478B2 (en) 2015-09-23 2019-11-05 Magic Leap, Inc. Eye imaging with an off-axis imager
WO2017053874A1 (en) * 2015-09-23 2017-03-30 Datalogic ADC, Inc. Imaging systems and methods for tracking objects
EP3359999A1 (en) 2015-10-05 2018-08-15 Popovich, Milan Momcilo Waveguide display
CA3170014A1 (en) 2015-10-16 2017-04-20 Magic Leap, Inc. Eye pose identification using eye features
IL258705B (en) 2015-10-20 2022-07-01 Magic Leap Inc Selection of virtual objects in three-dimensional space
NZ742532A (en) 2015-11-04 2019-05-31 Magic Leap Inc Light field display metrology
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
CN105404005A (zh) * 2015-12-10 2016-03-16 合肥虔视光电科技有限公司 用于增强现实的头戴显示器
US10466480B2 (en) 2016-01-07 2019-11-05 Magic Leap, Inc. Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes
CA3011637A1 (en) 2016-01-19 2017-07-27 Magic Leap, Inc. Eye image collection, selection, and combination
AU2017210289B2 (en) 2016-01-19 2021-10-21 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
WO2017127494A1 (en) 2016-01-22 2017-07-27 Corning Incorporated Wide field personal display
IL292790A (en) 2016-01-29 2022-07-01 Magic Leap Inc View for a 3D image
US10459230B2 (en) 2016-02-02 2019-10-29 Disney Enterprises, Inc. Compact augmented reality / virtual reality display
EP3398007A1 (en) 2016-02-04 2018-11-07 DigiLens, Inc. Holographic waveguide optical tracker
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
EP3420387A4 (en) 2016-02-24 2019-10-30 Magic Leap, Inc. POLARIZATION BEAM SEPARATOR WITH LIGHT LEAKAGE LEAKAGE
JP6991981B2 (ja) 2016-02-24 2022-01-13 マジック リープ， インコーポレイテッド 光エミッタのための薄型相互接続子
CA3014821A1 (en) 2016-02-26 2017-08-31 Magic Leap, Inc. Light output system with reflector and lens for highly spatially uniform light output
JP6843876B2 (ja) 2016-02-26 2021-03-17 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 複数の光エミッタに対する複数の光パイプを有するディスプレイシステム
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
EP3423877B1 (en) * 2016-02-29 2022-10-26 Magic Leap, Inc. Virtual and augmented reality systems and methods
NZ745549A (en) 2016-03-01 2020-03-27 Magic Leap Inc Reflective switching device for inputting different wavelengths of light into waveguides
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
NZ756561A (en) 2016-03-04 2023-04-28 Magic Leap Inc Current drain reduction in ar/vr display systems
JP6920329B2 (ja) 2016-03-07 2021-08-18 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． バイオメトリックセキュリティのための青色光調節
KR102530558B1 (ko) * 2016-03-16 2023-05-09 삼성전자주식회사 투시형 디스플레이 장치
JP7233927B2 (ja) 2016-03-22 2023-03-07 マジック リープ， インコーポレイテッド バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム
CN105744132B (zh) * 2016-03-23 2020-01-03 捷开通讯(深圳)有限公司 全景图像拍摄的光学镜头配件
EP3433659A1 (en) 2016-03-24 2019-01-30 DigiLens, Inc. Method and apparatus for providing a polarization selective holographic waveguide device
AU2017238847A1 (en) 2016-03-25 2018-10-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9554738B1 (en) 2016-03-30 2017-01-31 Zyomed Corp. Spectroscopic tomography systems and methods for noninvasive detection and measurement of analytes using collision computing
US10539763B2 (en) * 2016-03-31 2020-01-21 Sony Corporation Optical system, electronic device, camera, method and computer program
KR102551198B1 (ko) 2016-03-31 2023-07-03 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
WO2017176898A1 (en) 2016-04-08 2017-10-12 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
JP6734933B2 (ja) 2016-04-11 2020-08-05 ディジレンズ インコーポレイテッド 構造化光投影のためのホログラフィック導波管装置
US10001648B2 (en) 2016-04-14 2018-06-19 Disney Enterprises, Inc. Occlusion-capable augmented reality display using cloaking optics
AU2017252557B2 (en) 2016-04-21 2022-01-27 Magic Leap, Inc. Visual aura around field of view
US9726896B2 (en) 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
EP4130942A1 (en) 2016-04-26 2023-02-08 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
KR102230642B1 (ko) 2016-05-06 2021-03-19 매직 립, 인코포레이티드 광을 재지향시키기 위한 비대칭 격자들을 가진 메타표면들 및 제조를 위한 방법들
JP7021110B2 (ja) 2016-05-09 2022-02-16 マジック リープ， インコーポレイテッド ユーザ健康分析のための拡張現実システムおよび方法
US9922464B2 (en) * 2016-05-10 2018-03-20 Disney Enterprises, Inc. Occluded virtual image display
JP7132129B2 (ja) 2016-05-12 2022-09-06 マジック リープ， インコーポレイテッド イメージング導波管に対する分散光操作
JP6880075B2 (ja) 2016-05-20 2021-06-02 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ユーザインターフェースメニューのコンテキスト認識
KR102648194B1 (ko) 2016-06-03 2024-03-14 매직 립, 인코포레이티드 증강 현실 아이덴티티 검증
US9959678B2 (en) * 2016-06-03 2018-05-01 Oculus Vr, Llc Face and eye tracking using facial sensors within a head-mounted display
US10430988B2 (en) 2016-06-03 2019-10-01 Facebook Technologies, Llc Facial animation using facial sensors within a head-mounted display
EP3865767B1 (en) 2016-06-10 2024-03-13 Magic Leap, Inc. Integrated point source for texture projecting bulb
KR102491130B1 (ko) 2016-06-20 2023-01-19 매직 립, 인코포레이티드 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
WO2018004863A1 (en) 2016-06-30 2018-01-04 Magic Leap, Inc. Estimating pose in 3d space
US9996984B2 (en) 2016-07-05 2018-06-12 Disney Enterprises, Inc. Focus control for virtual objects in augmented reality (AR) and virtual reality (VR) displays
CN114495249A (zh) 2016-07-14 2022-05-13 奇跃公司 使用角膜曲率的虹膜边界估计
EP3485425B1 (en) 2016-07-14 2023-08-23 Magic Leap, Inc. Deep neural network for iris identification
WO2018022523A1 (en) 2016-07-25 2018-02-01 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
KR102520143B1 (ko) 2016-07-25 2023-04-11 매직 립, 인코포레이티드 광 필드 프로세서 시스템
AU2017302345B2 (en) 2016-07-29 2021-11-11 Magic Leap, Inc. Secure exchange of cryptographically signed records
IL292911B2 (en) 2016-08-11 2023-11-01 Magic Leap Inc Automatic positioning of a virtual object in three-dimensional space
CN117198277A (zh) 2016-08-12 2023-12-08 奇跃公司 单词流注释
IL247360B (en) * 2016-08-18 2021-09-30 Veeride Ltd A device and method for augmented reality
TWI761179B (zh) 2016-08-22 2022-04-11 美商魔法飛躍股份有限公司 用於可穿戴顯示裝置的抖動方法及設備
IL281241B (en) 2016-08-22 2022-08-01 Magic Leap Inc An augmented reality display device with deep learning sensors
US10108013B2 (en) 2016-08-22 2018-10-23 Microsoft Technology Licensing, Llc Indirect-view augmented reality display system
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
KR102576135B1 (ko) 2016-09-13 2023-09-06 매직 립, 인코포레이티드 감각 안경류
IL293629B2 (en) 2016-09-21 2024-03-01 Magic Leap Inc Systems and methods for optical systems with a dilator port
KR20210072157A (ko) 2016-09-22 2021-06-16 매직 립, 인코포레이티드 증강 현실 분광기
US10330935B2 (en) 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
KR20240011881A (ko) 2016-09-26 2024-01-26 매직 립, 인코포레이티드 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정
CN110023814B (zh) 2016-09-28 2022-01-11 奇跃公司 由可穿戴设备进行面部模型捕获
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
US20180096494A1 (en) * 2016-09-30 2018-04-05 Visbit Inc. View-optimized light field image and video streaming
WO2018067603A1 (en) 2016-10-04 2018-04-12 Magic Leap, Inc. Efficient data layouts for convolutional neural networks
WO2018067357A2 (en) 2016-10-05 2018-04-12 Magic Leap, Inc. Periocular test for mixed reality calibration
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
AU2017345780B2 (en) 2016-10-21 2022-11-17 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
EP3538946B1 (en) 2016-11-11 2023-02-15 Magic Leap, Inc. Periocular and audio synthesis of a full face image
US10621747B2 (en) 2016-11-15 2020-04-14 Magic Leap, Inc. Deep learning system for cuboid detection
KR102639203B1 (ko) 2016-11-16 2024-02-20 매직 립, 인코포레이티드 웨어러블 컴포넌트들을 위한 열 관리 시스템들
CA3044242A1 (en) 2016-11-18 2018-05-24 Magic Leap, Inc. Multilayer liquid crystal diffractive gratings for redirecting light of wide incident angle ranges
AU2017361424B2 (en) 2016-11-18 2022-10-27 Magic Leap, Inc. Spatially variable liquid crystal diffraction gratings
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
NZ753908A (en) 2016-11-18 2023-11-24 Magic Leap Inc Waveguide light multiplexer using crossed gratings
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
CN116883628A (zh) 2016-12-05 2023-10-13 奇跃公司 混合现实环境中提供虚拟远程控制的可穿戴系统及方法
US10681340B2 (en) * 2016-12-07 2020-06-09 Samsung Electronics Co., Ltd. Electronic device and method for displaying image
KR102483263B1 (ko) 2016-12-08 2022-12-29 매직 립, 인코포레이티드 콜레스테릭 액정에 기초한 회절 디바이스들
US10664049B2 (en) 2016-12-09 2020-05-26 Nvidia Corporation Systems and methods for gaze tracking
WO2018111895A1 (en) 2016-12-13 2018-06-21 Magic Leap, Inc. 3d object rendering using detected features
EP3555581B1 (en) 2016-12-13 2022-11-23 Magic Leap, Inc. Augmented and virtual reality eyewear for delivering polarized light and determing glucose levels
EP3555700B1 (en) 2016-12-14 2023-09-13 Magic Leap, Inc. Patterning of liquid crystals using soft-imprint replication of surface alignment patterns
US10088686B2 (en) 2016-12-16 2018-10-02 Microsoft Technology Licensing, Llc MEMS laser scanner having enlarged FOV
WO2018119276A1 (en) 2016-12-22 2018-06-28 Magic Leap, Inc. Systems and methods for manipulating light from ambient light sources
US10371896B2 (en) * 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
CN106773054A (zh) * 2016-12-29 2017-05-31 北京乐动卓越科技有限公司 一种实现增强现实互动的装置及方法
WO2018125428A1 (en) 2016-12-29 2018-07-05 Magic Leap, Inc. Automatic control of wearable display device based on external conditions
US10825010B2 (en) * 2016-12-30 2020-11-03 Datalogic Usa, Inc. Self-checkout with three dimensional scanning
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
KR102564357B1 (ko) 2017-01-05 2023-08-04 매직 립, 인코포레이티드 플라즈마 에칭에 의한 고굴절률 유리들의 패터닝
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
JP7096253B2 (ja) 2017-01-23 2022-07-05 マジック リープ， インコーポレイテッド 仮想現実、拡張現実、および複合現実システムのための接眼レンズ
IL307294A (en) 2017-01-27 2023-11-01 Magic Leap Inc Diffraction gratings produced using a surface cell with differently oriented nanobeams
WO2018140502A1 (en) 2017-01-27 2018-08-02 Magic Leap, Inc. Antireflection coatings for metasurfaces
US10354140B2 (en) 2017-01-31 2019-07-16 Microsoft Technology Licensing, Llc Video noise reduction for video augmented reality system
US10504397B2 (en) 2017-01-31 2019-12-10 Microsoft Technology Licensing, Llc Curved narrowband illuminant display for head mounted display
US10298840B2 (en) 2017-01-31 2019-05-21 Microsoft Technology Licensing, Llc Foveated camera for video augmented reality and head mounted display
US11187909B2 (en) 2017-01-31 2021-11-30 Microsoft Technology Licensing, Llc Text rendering by microshifting the display in a head mounted display
US9983412B1 (en) 2017-02-02 2018-05-29 The University Of North Carolina At Chapel Hill Wide field of view augmented reality see through head mountable display with distance accommodation
US11287292B2 (en) 2017-02-13 2022-03-29 Lockheed Martin Corporation Sensor system
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
CN110546549B (zh) 2017-02-23 2022-06-07 奇跃公司 具有可变屈光力反射器的显示系统
EP4235232A3 (en) 2017-03-14 2023-12-27 Magic Leap, Inc. Waveguides with light absorbing films and processes for forming the same
KR102302725B1 (ko) 2017-03-17 2021-09-14 매직 립, 인코포레이티드 룸 레이아웃 추정 방법들 및 기술들
CN110431841B (zh) 2017-03-21 2021-08-17 奇跃公司 虚拟、增强和混合现实系统的深度感测技术
CN115220156A (zh) 2017-03-21 2022-10-21 奇跃公司 具有用于分体式光瞳的空间光调制器照射的显示系统
AU2018239264B2 (en) 2017-03-21 2023-05-18 Magic Leap, Inc. Eye-imaging apparatus using diffractive optical elements
CN110651216B (zh) 2017-03-21 2022-02-25 奇跃公司 低轮廓分束器
EP3602177B1 (en) 2017-03-21 2023-08-02 Magic Leap, Inc. Methods, devices, and systems for illuminating spatial light modulators
IL269085B2 (en) 2017-03-21 2023-12-01 Magic Leap Inc Stacked waveguides with different refractive gratings for an integrated field of view
KR102524006B1 (ko) 2017-03-22 2023-04-20 매직 립, 인코포레이티드 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링
US10891488B2 (en) 2017-03-30 2021-01-12 Hrl Laboratories, Llc System and method for neuromorphic visual activity classification based on foveated detection and contextual filtering
US10417975B2 (en) 2017-04-03 2019-09-17 Microsoft Technology Licensing, Llc Wide field of view scanning display
US10921593B2 (en) 2017-04-06 2021-02-16 Disney Enterprises, Inc. Compact perspectively correct occlusion capable augmented reality displays
US10499021B2 (en) 2017-04-11 2019-12-03 Microsoft Technology Licensing, Llc Foveated MEMS scanning display
IL300685B2 (en) 2017-04-18 2024-04-01 Magic Leap Inc Glavo with reflective layers created by flowing reflective materials
CN113608617A (zh) 2017-04-19 2021-11-05 奇跃公司 可穿戴系统的多模式任务执行和文本编辑
CN117311494A (zh) 2017-04-27 2023-12-29 奇跃公司 发光用户输入设备
JP2020521217A (ja) 2017-05-19 2020-07-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
EP3631734B1 (en) 2017-05-22 2021-08-18 Magic Leap, Inc. Pairing with companion device
CA3059984C (en) 2017-05-30 2024-01-30 Magic Leap, Inc. Power supply assembly with fan assembly for electronic device
CA3065131A1 (en) 2017-05-31 2018-12-06 Magic Leap, Inc. Eye tracking calibration techniques
KR20240023213A (ko) 2017-06-12 2024-02-20 매직 립, 인코포레이티드 깊이 평면들을 변경하기 위한 다중-엘리먼트 적응형 렌즈를 갖는 증강 현실 디스플레이
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
CN107065196B (zh) 2017-06-16 2019-03-15 京东方科技集团股份有限公司 一种增强现实显示装置及增强现实显示方法
KR102314789B1 (ko) 2017-06-29 2021-10-20 에스케이텔레콤 주식회사 증강현실용 디스플레이 장치
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
CN107167921B (zh) * 2017-07-18 2020-01-21 京东方科技集团股份有限公司 显示器
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
EP3659017B1 (en) 2017-07-26 2023-04-05 Magic Leap, Inc. Training a neural network with representations of user interface devices
US11138915B2 (en) 2017-07-28 2021-10-05 Magic Leap, Inc. Fan assembly for displaying an image
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
CA3068481A1 (en) 2017-09-20 2019-03-28 Magic Leap, Inc. Personalized neural network for eye tracking
CA3075096A1 (en) 2017-09-21 2019-03-28 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
AU2018342099A1 (en) 2017-09-27 2020-04-02 Magic Leap, Inc. Near eye 3D display with separate phase and amplitude modulators
US10867368B1 (en) 2017-09-29 2020-12-15 Apple Inc. Foveated image capture for power efficient video see-through
CA3077455A1 (en) 2017-10-11 2019-04-18 Magic Leap, Inc. Augmented reality display comprising eyepiece having a transparent emissive display
CN111386495B (zh) 2017-10-16 2022-12-09 迪吉伦斯公司 用于倍增像素化显示器的图像分辨率的系统和方法
CN111566723A (zh) 2017-10-26 2020-08-21 奇跃公司 用于增强现实显示器的宽带自适应透镜组件
US10890769B2 (en) 2017-10-26 2021-01-12 Magic Leap, Inc. Augmented reality display having liquid crystal variable focus element and roll-to-roll method and apparatus for forming the same
US11537895B2 (en) 2017-10-26 2022-12-27 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
CA3078895A1 (en) 2017-10-27 2019-05-02 Magic Leap, Inc. Virtual reticle for augmented reality systems
JP7213241B2 (ja) 2017-11-14 2023-01-26 マジック リープ， インコーポレイテッド ニューラルネットワークに関するマルチタスク学習のためのメタ学習
KR20200095509A (ko) 2017-12-11 2020-08-10 매직 립, 인코포레이티드 도파관 조명기
IL275078B1 (en) 2017-12-14 2024-04-01 Magic Leap Inc Context-based processing of virtual characters
AU2018386296B2 (en) 2017-12-15 2023-11-23 Magic Leap, Inc. Eyepieces for augmented reality display system
JP7431157B2 (ja) 2017-12-15 2024-02-14 マジック リープ， インコーポレイテッド ディスプレイデバイスのための向上された姿勢決定
US11656466B2 (en) * 2018-01-03 2023-05-23 Sajjad A. Khan Spatio-temporal multiplexed single panel based mutual occlusion capable head mounted display system and method
TWI647485B (zh) * 2018-01-03 2019-01-11 國立交通大學 Head-mounted virtual object imaging device
US10916060B2 (en) 2018-01-04 2021-02-09 Magic Leap, Inc. Optical elements based on polymeric structures incorporating inorganic materials
WO2019136476A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Waveguide architectures and related methods of manufacturing
US10732569B2 (en) 2018-01-08 2020-08-04 Digilens Inc. Systems and methods for high-throughput recording of holographic gratings in waveguide cells
WO2019143844A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
IL311004A (en) 2018-01-17 2024-04-01 Magic Leap Inc Display systems and methods for determining registration between a display and a user's eyes
CN111869205B (zh) 2018-01-19 2022-06-10 Pcms控股公司 具有变化位置的多焦平面
EP3746938A4 (en) * 2018-01-30 2021-10-06 HRL Laboratories, LLC SYSTEM AND METHOD FOR CLASSIFYING A NEUROMORPHIC VISUAL ACTIVITY BASED ON FOVEA DETECTION AND CONTEXT FILTERING
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US20190250407A1 (en) * 2018-02-15 2019-08-15 Microsoft Technology Licensing, Llc See-through relay for a virtual reality and a mixed environment display device
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
EP3759693A4 (en) 2018-02-27 2021-11-24 Magic Leap, Inc. MESH PAIRING FOR VIRTUAL AVATARS
EP3759542B1 (en) 2018-02-28 2023-03-29 Magic Leap, Inc. Head scan alignment using ocular registration
JP7081473B2 (ja) * 2018-03-02 2022-06-07 株式会社リコー 撮像光学系、撮像システム及び撮像装置
CN111819487A (zh) 2018-03-05 2020-10-23 奇跃公司 具有低延迟瞳孔跟踪器的显示系统
EP3762770A4 (en) 2018-03-07 2022-03-23 Magic Leap, Inc. ADAPTIVE LENS ARRANGEMENTS WITH POLARIZATION-SELECTIVE LENS STACKS FOR AUGMENTED REALITY DISPLAYS
CN110494792B (zh) 2018-03-07 2021-07-09 奇跃公司 外围设备的视觉跟踪
EP3765892A4 (en) 2018-03-12 2021-12-15 Magic Leap, Inc. AD BASED ON KIPPARRAY
EP3765890A4 (en) 2018-03-14 2022-01-12 Magic Leap, Inc. DISPLAY SYSTEMS AND CONTENT CROPPING METHODS TO INCREASE VIEWING COMFORT
WO2019177870A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Animating virtual avatar facial movements
KR20200133265A (ko) 2018-03-16 2020-11-26 디지렌즈 인코포레이티드. 복굴절 제어가 통합된 홀로그래픽 도파관 및 이를 제조하는 방법
JP7344894B2 (ja) 2018-03-16 2023-09-14 マジック リープ， インコーポレイテッド 眼追跡カメラからの顔の表情
US11238836B2 (en) 2018-03-16 2022-02-01 Magic Leap, Inc. Depth based foveated rendering for display systems
WO2019183399A1 (en) 2018-03-21 2019-09-26 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
MX2020009791A (es) 2018-03-23 2020-11-11 Pcms Holdings Inc Método basado en planos multifocales para producir puntos de vista estereoscópicos en un sistema de renderizado de imágenes basado en profundidad (mfp-dibr).
WO2019195193A1 (en) 2018-04-02 2019-10-10 Magic Leap, Inc. Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same
US11500206B2 (en) 2018-04-02 2022-11-15 Magic Leap, Inc. Waveguides with integrated optical elements and methods of making the same
US11460609B2 (en) 2018-04-02 2022-10-04 Magic Leap, Inc. Hybrid polymer waveguide and methods for making the same
WO2019204164A1 (en) 2018-04-16 2019-10-24 Magic Leap, Inc. Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
US11067805B2 (en) 2018-04-19 2021-07-20 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US10789753B2 (en) 2018-04-23 2020-09-29 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
US11257268B2 (en) 2018-05-01 2022-02-22 Magic Leap, Inc. Avatar animation using Markov decision process policies
US11308673B2 (en) 2018-05-03 2022-04-19 Magic Leap, Inc. Using three-dimensional scans of a physical subject to determine positions and/or orientations of skeletal joints in the rigging for a virtual character
US11282255B2 (en) 2018-05-21 2022-03-22 Magic Leap, Inc. Generating textured polygon strip hair from strand-based hair for a virtual character
US11210835B2 (en) 2018-05-22 2021-12-28 Magic Leap, Inc. Computer generated hair groom transfer tool
EP3797345A4 (en) 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
WO2019226554A1 (en) 2018-05-22 2019-11-28 Magic Leap, Inc. Skeletal systems for animating virtual avatars
WO2019226865A1 (en) 2018-05-25 2019-11-28 Magic Leap, Inc. Compression of dynamic unstructured point clouds
WO2019236344A1 (en) 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
US11531244B2 (en) 2018-06-15 2022-12-20 Magic Leap, Inc. Wide field-of-view polarization switches with liquid crystal optical elements with pretilt
WO2019246044A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Head-mounted display systems with power saving functionality
WO2019246129A2 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Augmented reality display with frame modulation functionality
JP7411585B2 (ja) * 2018-06-18 2024-01-11 マジック リープ， インコーポレイテッド 一元化レンダリング
WO2019246058A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
US11151793B2 (en) 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
WO2020009800A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Methods and systems for interpolation of disparate inputs
WO2020010271A1 (en) 2018-07-05 2020-01-09 Magic Leap, Inc. Waveguide-based illumination for head mounted display system
WO2020010018A1 (en) 2018-07-05 2020-01-09 Pcms Holdings, Inc. Method and system for near-eye focal plane overlays for 3d perception of content on 2d displays
JP2021530790A (ja) 2018-07-23 2021-11-11 マジック リープ, インコーポレイテッドMagic Leap, Inc. 頭部姿勢予測のための深層予測器再帰ニューラルネットワーク
WO2020023303A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Coexistence interference avoidance between two different radios operating in the same band
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
WO2020023672A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
WO2020023404A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示系统和方法
CN112703437A (zh) 2018-07-24 2021-04-23 奇跃公司 具有减轻反弹引起的光损失的衍射光学元件以及相关的系统和方法
US11402801B2 (en) 2018-07-25 2022-08-02 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
EP3830673A4 (en) 2018-07-27 2022-05-04 Magic Leap, Inc. REDUCING POSE SPACE DIMENSIONALITY FOR POSE SPACE DEFORMATION OF A VIRTUAL CHARACTER
JP7443332B2 (ja) 2018-08-03 2024-03-05 マジック リープ， インコーポレイテッド ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
US11002971B1 (en) * 2018-08-24 2021-05-11 Apple Inc. Display device with mechanically adjustable optical combiner
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
USD955396S1 (en) 2018-09-18 2022-06-21 Magic Leap, Inc. Mobile computing support system having an illumination region
USD950567S1 (en) 2018-09-18 2022-05-03 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934872S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934873S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
EP3857294A4 (en) 2018-09-26 2022-06-08 Magic Leap, Inc. OPTICAL POWER DIFFRACTION OPTICAL ELEMENTS
US10861240B1 (en) * 2018-09-26 2020-12-08 Facebook Technologies, Llc Virtual pupil camera in head mounted display
EP3871034A4 (en) 2018-10-26 2022-08-10 Magic Leap, Inc. ELECTROMAGNETIC AMBIENT DISTORTION CORRECTION FOR ELECTROMAGNETIC TRACKING
JP7389116B2 (ja) 2018-11-15 2023-11-29 マジック リープ， インコーポレイテッド 深層ニューラルネットワーク姿勢推定システム
CN113302546A (zh) 2018-11-20 2021-08-24 奇跃公司 用于增强现实显示系统的目镜
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
CN113330390A (zh) 2018-11-30 2021-08-31 奇跃公司 用于化身运动的多模态手的位置和取向
CN113490873A (zh) 2018-12-28 2021-10-08 奇跃公司 带有机械致动图像投影仪的可变像素密度显示系统
EP3903480A4 (en) 2018-12-28 2023-01-11 Magic Leap, Inc. AUGMENTED REALITY AND VIRTUAL REALITY DISPLAY SYSTEMS WITH SPLIT LEFT AND RIGHT EYE DISPLAY
EP3914997A4 (en) 2019-01-25 2022-10-12 Magic Leap, Inc. OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES
JP7268372B2 (ja) * 2019-01-31 2023-05-08 株式会社リコー 撮像装置
CN113692544A (zh) 2019-02-15 2021-11-23 迪吉伦斯公司 使用集成光栅提供全息波导显示的方法和装置
WO2020176783A1 (en) 2019-02-28 2020-09-03 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
KR20210134763A (ko) 2019-03-12 2021-11-10 디지렌즈 인코포레이티드. 홀로그래픽 도파관 백라이트 및 관련된 제조 방법
US11435584B2 (en) * 2019-03-13 2022-09-06 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Large field of view see through head mounted display having magnified curved intermediate image
CN113841006A (zh) 2019-03-20 2021-12-24 奇跃公司 提供对眼睛的照射的系统
US10466489B1 (en) 2019-03-29 2019-11-05 Razmik Ghazaryan Methods and apparatus for a variable-resolution screen
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
US10554940B1 (en) 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
JP2022529245A (ja) 2019-04-15 2022-06-20 マジック リープ， インコーポレイテッド 電磁追跡のためのセンサ融合
US11800205B2 (en) * 2019-04-18 2023-10-24 University Of Florida Research Foundation, Incorporated Fast foveation camera and controlling algorithms
CN110913096A (zh) * 2019-05-05 2020-03-24 华为技术有限公司 一种摄像模组及电子设备
EP3955562A4 (en) 2019-05-05 2022-06-15 Huawei Technologies Co., Ltd. CAMERA MODULE, TERMINAL DEVICE, IMAGE GENERATING METHOD AND IMAGE GENERATING EQUIPMENT
JP7423659B2 (ja) 2019-05-20 2024-01-29 マジック リープ， インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
TWI707193B (zh) * 2019-05-22 2020-10-11 財團法人國家實驗研究院 遙測衛星的聚焦面組合件及其影像處理方法
JP2022532931A (ja) 2019-05-24 2022-07-20 マジック リープ， インコーポレイテッド 可変焦点アセンブリ
CN114174463A (zh) 2019-05-28 2022-03-11 奇跃公司 用于便携式电子设备的热管理系统
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
KR20220016990A (ko) 2019-06-07 2022-02-10 디지렌즈 인코포레이티드. 투과 및 반사 격자를 통합하는 도파관 및 관련 제조 방법
WO2020257469A1 (en) 2019-06-20 2020-12-24 Magic Leap, Inc. Eyepieces for augmented reality display system
US11803628B2 (en) 2019-06-21 2023-10-31 Magic Leap, Inc. Secure authorization via modal window
CN114341687A (zh) 2019-06-24 2022-04-12 奇跃公司 具有集成间隔物的波导及相关系统和方法
US11029805B2 (en) 2019-07-10 2021-06-08 Magic Leap, Inc. Real-time preview of connectable objects in a physically-modeled virtual space
EP3999940A4 (en) 2019-07-16 2023-07-26 Magic Leap, Inc. EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS
CN114514443A (zh) 2019-07-19 2022-05-17 奇跃公司 制造衍射光栅的方法
WO2021016045A1 (en) 2019-07-19 2021-01-28 Magic Leap, Inc. Display device having diffraction gratings with reduced polarization sensitivity
US11740458B2 (en) 2019-07-26 2023-08-29 Microsoft Technology Licensing, Llc Projection device and projection method for head mounted display based on rotary MEMS fast scanner
EP4004646A4 (en) 2019-07-29 2023-09-06 Digilens Inc. METHODS AND APPARATUS FOR MULTIPLYING THE IMAGE RESOLUTION AND FIELD OF VIEW OF A PIXELATED DISPLAY SCREEN
US20220276125A1 (en) * 2019-08-07 2022-09-01 Agilent Technologies, Inc. Optical imaging performance test system and method
EP4022370A4 (en) 2019-08-29 2023-08-30 Digilens Inc. VACUUM BRAGG GRATINGS AND METHODS OF MANUFACTURING
CN114616210A (zh) 2019-09-11 2022-06-10 奇跃公司 带有具有降低的偏振灵敏度的衍射光栅的显示装置
CN114600035A (zh) * 2019-09-13 2022-06-07 代表亚利桑那大学的亚利桑那校董事会 瞳孔匹配的具有遮挡能力的光学透视头戴式显示器
US11610290B2 (en) 2019-09-24 2023-03-21 Rockwell Collins, Inc. Point source detection
US11933949B2 (en) * 2019-09-27 2024-03-19 Apple Inc. Freeform folded optical system
US11176757B2 (en) 2019-10-02 2021-11-16 Magic Leap, Inc. Mission driven virtual character for user interaction
US11276246B2 (en) 2019-10-02 2022-03-15 Magic Leap, Inc. Color space mapping for intuitive surface normal visualization
JPWO2021070970A1 (ko) * 2019-10-12 2021-04-15
USD982593S1 (en) 2019-11-08 2023-04-04 Magic Leap, Inc. Portion of a display screen with animated ray
US11493989B2 (en) 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
CN114641713A (zh) 2019-11-08 2022-06-17 奇跃公司 具有包括多种材料的光重定向结构的超表面以及制造方法
CN114945947A (zh) 2019-11-18 2022-08-26 奇跃公司 可通行世界的映射和定位
JP2023502336A (ja) 2019-11-22 2023-01-24 マジック リープ， インコーポレイテッド 液晶層をパターン化するための方法およびシステム
KR102244445B1 (ko) * 2019-11-22 2021-04-26 인하대학교 산학협력단 단일 디지털 마이크로미러 장치를 이용한 오클루전 가능 증강현실용 근안 디스플레이 장치 및 방법
JP7467623B2 (ja) 2019-11-26 2024-04-15 マジック リープ， インコーポレイテッド 拡張または仮想現実ディスプレイシステムのための向上された眼追跡
CN114746796A (zh) 2019-12-06 2022-07-12 奇跃公司 动态浏览器舞台
US11941408B2 (en) 2019-12-06 2024-03-26 Magic Leap, Inc. Encoding stereo splash screen in static image
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
US11288876B2 (en) 2019-12-13 2022-03-29 Magic Leap, Inc. Enhanced techniques for volumetric stage mapping based on calibration object
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
CN111077679A (zh) * 2020-01-23 2020-04-28 福州贝园网络科技有限公司 一种智能眼镜显示器及其成像方法
US11340695B2 (en) 2020-01-24 2022-05-24 Magic Leap, Inc. Converting a 2D positional input into a 3D point in space
CN115380236A (zh) 2020-01-24 2022-11-22 奇跃公司 使用单个控制器的内容移动和交互
USD936704S1 (en) 2020-01-27 2021-11-23 Magic Leap, Inc. Portion of a display screen with avatar
USD949200S1 (en) 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars
USD948574S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
CN115004235A (zh) 2020-01-27 2022-09-02 奇跃公司 基于锚的交叉现实应用的增强状态控制
WO2021154646A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Neutral avatars
JP2023511311A (ja) 2020-01-27 2023-03-17 マジック リープ， インコーポレイテッド ユーザ入力デバイスの機能性の注視タイマベースの拡張
EP4097711A4 (en) 2020-01-27 2024-01-24 Magic Leap Inc CURATION OF AN AUGMENTED REALITY MAP
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
US11487356B2 (en) 2020-01-31 2022-11-01 Magic Leap, Inc. Augmented and virtual reality display systems for oculometric assessments
EP4104034A4 (en) 2020-02-10 2024-02-21 Magic Leap Inc POSITIONING BODY-CENTRIC CONTENT RELATIVE TO A THREE-DIMENSIONAL CONTAINER IN A MIXED REALITY ENVIRONMENT
US11709363B1 (en) 2020-02-10 2023-07-25 Avegant Corp. Waveguide illumination of a spatial light modulator
JP2023517281A (ja) 2020-02-14 2023-04-25 マジック リープ， インコーポレイテッド 仮想および拡張現実ディスプレイシステムのための仮想オブジェクト移動速度曲線
JP2023516596A (ja) 2020-02-26 2023-04-20 マジック リープ， インコーポレイテッド 手続型電子ビームリソグラフィ
US11840034B2 (en) 2020-02-28 2023-12-12 Magic Leap, Inc. Method of fabricating molds for forming eyepieces with integrated spacers
US11262588B2 (en) 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
CN115298597A (zh) 2020-03-20 2022-11-04 奇跃公司 用于视网膜成像和跟踪的系统和方法
CN115698782A (zh) 2020-03-25 2023-02-03 奇跃公司 具有单路镜的光学设备
JP2023520461A (ja) 2020-04-03 2023-05-17 マジック リープ， インコーポレイテッド ナノワイヤｌｅｄマイクロディスプレイを伴うウェアラブルディスプレイシステム
WO2021202783A1 (en) 2020-04-03 2021-10-07 Magic Leap, Inc. Avatar customization for optimal gaze discrimination
EP4154050A1 (en) 2020-05-22 2023-03-29 Magic Leap, Inc. Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions
US11662810B2 (en) 2020-06-05 2023-05-30 Magic Leap, Inc. Enhanced eye tracking techniques based on neural network analysis of images
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
CN111580280B (zh) * 2020-06-16 2022-10-28 京东方科技集团股份有限公司 透视头戴显示器
EP4193215A1 (en) 2020-08-07 2023-06-14 Magic Leap, Inc. Tunable cylindrical lenses and head-mounted display including the same
CN116438479A (zh) 2020-09-29 2023-07-14 阿维甘特公司 用于对显示面板照明的架构
JP2022144057A (ja) * 2021-03-18 2022-10-03 株式会社Ｊｖｃケンウッド 表示装置、表示方法およびプログラム
TWI775392B (zh) * 2021-04-20 2022-08-21 宏碁股份有限公司 擴增實境眼鏡
US11936975B2 (en) 2021-05-12 2024-03-19 Nio Technology (Anhui) Co., Ltd. Combined computer vision and human vision camera system
KR20240025624A (ko) * 2021-06-25 2024-02-27 가부시키가이샤 니콘 촬상 장치 및 수광 장치
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US20230059918A1 (en) * 2021-08-17 2023-02-23 Texas Instruments Incorporated Compact near eye display engine
US20230236420A1 (en) * 2021-08-17 2023-07-27 Texas Instruments Incorporated Compact near eye display engine
US20230057977A1 (en) * 2021-08-20 2023-02-23 Immervision, Inc. Dual field of view optical system
US11417069B1 (en) * 2021-10-05 2022-08-16 Awe Company Limited Object and camera localization system and localization method for mapping of the real world
WO2023133301A1 (en) * 2022-01-07 2023-07-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Occlusion-capable optical viewing device and associated method
US11662591B1 (en) * 2022-07-01 2023-05-30 Brelyon Inc. Display systems and imaging systems with dynamically controllable optical path lengths
CN115220238A (zh) * 2022-07-12 2022-10-21 李宪亭 近视防控结构和近视防控设备
US11776206B1 (en) 2022-12-23 2023-10-03 Awe Company Limited Extended reality system and extended reality method with two-way digital interactive digital twins

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153605A (ja) 2002-10-31 2004-05-27 Victor Co Of Japan Ltd 撮像装置及び撮像画像伝送システム
US20090080695A1 (en) 2007-09-24 2009-03-26 New Span Opto-Technology, Inc. Electro-optical Foveated Imaging and Tracking System

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3909121A (en) * 1974-06-25 1975-09-30 Mesquita Cardoso Edgar Antonio Panoramic photographic methods
US4026641A (en) * 1975-12-30 1977-05-31 The United States Of America As Represented By The Secretary Of The Army Toric reflector display
JPS54128217A (en) * 1978-03-29 1979-10-04 Olympus Optical Co Ltd Pickup device
JPS57171314A (en) * 1981-04-15 1982-10-21 Mitsubishi Electric Corp Optical branching and coupling circuit
KR940010879B1 (ko) * 1989-07-28 1994-11-19 캐논 가부시끼가이샤 화상형성장치
US5136183A (en) 1990-06-27 1992-08-04 Advanced Micro Devices, Inc. Integrated comparator circuit
US5307203A (en) * 1990-12-06 1994-04-26 Tandem Scanning Corporation Confocal tandem scanning reflected light microscope
US5135183A (en) * 1991-09-23 1992-08-04 Hughes Aircraft Company Dual-image optoelectronic imaging apparatus including birefringent prism arrangement
CA2084111A1 (en) * 1991-12-17 1993-06-18 William E. Nelson Virtual display device and method of use
US5406415A (en) * 1992-09-22 1995-04-11 Kelly; Shawn L. Imaging system for a head-mounted display
US5386313A (en) 1993-03-11 1995-01-31 Szegedi; Nicholas J. Reflective magneto-optic spatial light modulator assembly
JPH0792426A (ja) * 1993-09-24 1995-04-07 Sony Corp 視覚装置
JP3320252B2 (ja) * 1995-04-24 2002-09-03 キヤノン株式会社 反射型の光学系及びそれを用いた撮像装置
US6347744B1 (en) * 1995-10-10 2002-02-19 Symbol Technologies, Inc. Retroreflective scan module for electro-optical readers
JPH09166759A (ja) * 1995-12-18 1997-06-24 Olympus Optical Co Ltd 画像表示装置
JP3222052B2 (ja) * 1996-01-11 2001-10-22 株式会社東芝 光走査装置
JPH1068899A (ja) * 1996-08-26 1998-03-10 Asahi Optical Co Ltd カスケード走査光学系
US6204974B1 (en) 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
JP3924348B2 (ja) * 1996-11-05 2007-06-06 オリンパス株式会社 画像表示装置
JPH10197796A (ja) * 1996-12-27 1998-07-31 Olympus Optical Co Ltd ファインダー光学系
US6466185B2 (en) 1998-04-20 2002-10-15 Alan Sullivan Multi-planar volumetric display system and method of operation using psychological vision cues
US6377229B1 (en) * 1998-04-20 2002-04-23 Dimensional Media Associates, Inc. Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing
JP2000105348A (ja) * 1998-07-27 2000-04-11 Mr System Kenkyusho:Kk 画像観察装置
US6215532B1 (en) * 1998-07-27 2001-04-10 Mixed Reality Systems Laboratory Inc. Image observing apparatus for observing outside information superposed with a display image
JP4100531B2 (ja) * 1998-08-11 2008-06-11 株式会社東京大学Ｔｌｏ 情報提示方法及び装置
JP2000171750A (ja) * 1998-12-03 2000-06-23 Sony Corp ヘッドマウントディスプレイ、表示方法、および提供媒体
JP2000227554A (ja) * 1999-02-05 2000-08-15 Olympus Optical Co Ltd 結像光学系
JP2000330025A (ja) * 1999-05-19 2000-11-30 Olympus Optical Co Ltd ルーバーを用いた結像光学系
AU1873801A (en) * 2000-02-11 2001-08-20 Emd Ltd. (Eyeglasses Mounted Display Limited) Binocular display device
WO2001068540A2 (en) * 2000-03-16 2001-09-20 Lee Scott Friend Imaging apparatus
AU2001256644B2 (en) * 2000-06-05 2005-06-16 Lumus Ltd. Substrate-guided optical beam expander
US20020000951A1 (en) * 2000-06-26 2002-01-03 Richards Angus Duncan Display device enhancements
US8042947B1 (en) * 2000-10-07 2011-10-25 Metaio Gmbh Information system
US6457834B1 (en) 2001-01-24 2002-10-01 Scram Technologies, Inc. Optical system for display panel
EP1231780A3 (en) * 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP2002244074A (ja) * 2001-02-15 2002-08-28 Mixed Reality Systems Laboratory Inc 画像表示装置
FR2826221B1 (fr) 2001-05-11 2003-12-05 Immervision Internat Pte Ltd Procede d'obtention et d'affichage d'une image panoramique numerique a resolution variable
US7009773B2 (en) 2001-05-23 2006-03-07 Research Foundation Of The University Of Central Florida, Inc. Compact microlenslet arrays imager
WO2003001275A2 (en) * 2001-06-21 2003-01-03 Koninklijke Philips Electronics N.V. Display device
US6593561B2 (en) * 2001-06-22 2003-07-15 Litton Systems, Inc. Method and system for gathering image data using multiple sensors
US7940299B2 (en) * 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
US6473241B1 (en) * 2001-11-27 2002-10-29 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a reflective spatial light modulator
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2004170386A (ja) * 2002-10-28 2004-06-17 Seiko Epson Corp 検査装置及び検査方法、液滴吐出装置及び液滴吐出方法、デバイス及び電子機器
GB0228089D0 (en) * 2002-12-02 2003-01-08 Seos Ltd Dynamic range enhancement of image display apparatus
JP4288939B2 (ja) * 2002-12-05 2009-07-01 ソニー株式会社 撮像装置
JP4304973B2 (ja) * 2002-12-10 2009-07-29 ソニー株式会社 撮像装置
US6870653B2 (en) * 2003-01-31 2005-03-22 Eastman Kodak Company Decoupled alignment axis for fold mirror adjustment
US7542090B1 (en) * 2003-03-21 2009-06-02 Aerodyne Research, Inc. System and method for high-resolution with a small-format focal-plane array using spatial modulation
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
JP2005094417A (ja) * 2003-09-18 2005-04-07 Sony Corp 撮像装置
CA2548398C (en) * 2003-12-12 2010-12-07 Headplay, Inc. Optical arrangements for head mounted displays
DE10359691A1 (de) * 2003-12-18 2005-07-14 Carl Zeiss Beobachtungssystem und -verfahren
EP1580586B1 (en) * 2004-03-25 2008-06-11 Olympus Corporation Scanning confocal microscope
KR100491271B1 (ko) * 2004-04-30 2005-05-25 주식회사 나노포토닉스 전방위 거울 및 이를 이용한 영상 시스템
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US7639208B1 (en) 2004-05-21 2009-12-29 University Of Central Florida Research Foundation, Inc. Compact optical see-through head-mounted display with occlusion support
WO2006012677A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Electronic stylus
US20060055811A1 (en) * 2004-09-14 2006-03-16 Frtiz Bernard S Imaging system having modules with adaptive optical elements
US7532771B2 (en) * 2004-11-12 2009-05-12 Microsoft Corporation Image processing system for digital collage
JP4689266B2 (ja) * 2004-12-28 2011-05-25 キヤノン株式会社 画像表示装置
US7884947B2 (en) 2005-01-20 2011-02-08 Zygo Corporation Interferometry for determining characteristics of an object surface, with spatially coherent illumination
US20070002131A1 (en) * 2005-02-15 2007-01-04 Ritchey Kurtis J Dynamic interactive region-of-interest panoramic/three-dimensional immersive communication system and method
DE102005012763A1 (de) * 2005-03-19 2006-09-21 Diehl Bgt Defence Gmbh & Co. Kg Weitwinkeloptik
US7023628B1 (en) * 2005-04-05 2006-04-04 Alex Ning Compact fisheye objective lens
EP1798587B1 (en) * 2005-12-15 2012-06-13 Saab Ab Head-up display
ATE434200T1 (de) * 2005-12-29 2009-07-15 Fiat Ricerche Optisches system zur bildübertragung, besonders für projektionsgeräte der kopfmontierten art
CN101021669A (zh) * 2006-02-13 2007-08-22 耿忠 全视场成像与显示方法与系统
US20100045773A1 (en) * 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
CN100526936C (zh) * 2006-03-09 2009-08-12 比亚迪股份有限公司 一种头盔显示器的光学成像系统
JP2007248545A (ja) * 2006-03-14 2007-09-27 Konica Minolta Holdings Inc 映像表示装置および映像表示システム
US20080097347A1 (en) 2006-09-22 2008-04-24 Babak Arvanaghi Bendable needle assembly
US8072482B2 (en) * 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
CN101029968A (zh) * 2007-04-06 2007-09-05 北京理工大学 可寻址光线屏蔽机制光学透视式头盔显示器
US8643948B2 (en) * 2007-04-22 2014-02-04 Lumus Ltd. Collimating optical device and system
US7589901B2 (en) * 2007-07-10 2009-09-15 Microvision, Inc. Substrate-guided relays for use with scanned beam light sources
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JP2009122379A (ja) * 2007-11-14 2009-06-04 Canon Inc 光学装置及びその制御方法、撮像装置、並びにプログラム
JP5201957B2 (ja) * 2007-11-21 2013-06-05 キヤノン株式会社 撮像装置
JP5153351B2 (ja) * 2008-01-18 2013-02-27 キヤノン株式会社 ズームレンズ及びそれを有する光学機器
US7952783B2 (en) * 2008-09-22 2011-05-31 Microvision, Inc. Scanning mirror control
CN102265124A (zh) 2008-11-04 2011-11-30 威廉马什赖斯大学 像映射光谱仪
US20110164108A1 (en) * 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8743199B2 (en) * 2010-03-09 2014-06-03 Physical Optics Corporation Omnidirectional imaging optics with 360°-seamless telescopic resolution
WO2012037290A2 (en) 2010-09-14 2012-03-22 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
JP2012252091A (ja) 2011-06-01 2012-12-20 Sony Corp 表示装置
EP2732330A4 (en) * 2011-07-17 2015-07-08 Ziva Corp OPTICAL ILLUSTRATION WITH FOVEATION
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9256117B2 (en) * 2011-10-07 2016-02-09 L-3 Communications Cincinnati Electronics Corporation Panoramic imaging systems comprising rotatable mirrors for image stabilization
KR102095330B1 (ko) * 2012-04-05 2020-03-31 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR20140118770A (ko) 2013-03-27 2014-10-08 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치
US9494792B2 (en) 2013-07-30 2016-11-15 Global Oled Technology Llc Local seal for encapsulation of electro-optical element on a flexible substrate
US20160077345A1 (en) 2014-09-17 2016-03-17 Michael Bohan Eliminating Binocular Rivalry in Monocular Displays
EP3163379B1 (en) * 2015-10-28 2019-10-16 Samsung Electronics Co., Ltd. See-through holographic display apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153605A (ja) 2002-10-31 2004-05-27 Victor Co Of Japan Ltd 撮像装置及び撮像画像伝送システム
US20090080695A1 (en) 2007-09-24 2009-03-26 New Span Opto-Technology, Inc. Electro-optical Foveated Imaging and Tracking System

Also Published As

Publication number Publication date
US10061130B2 (en) 2018-08-28
CN108391033B (zh) 2020-10-30
JP2017201406A (ja) 2017-11-09
CA3138549A1 (en) 2014-01-16
IL261165A (en) 2018-10-31
IL284204B (en) 2022-05-01
US9547174B2 (en) 2017-01-17
US20200012109A1 (en) 2020-01-09
CN104541201A (zh) 2015-04-22
US10162184B2 (en) 2018-12-25
US20190018249A1 (en) 2019-01-17
EP3796071A1 (en) 2021-03-24
NZ700887A (en) 2016-11-25
AU2013243380B2 (en) 2017-04-20
CN107843988B (zh) 2021-02-02
KR102028732B1 (ko) 2019-10-04
CA2874576A1 (en) 2014-01-16
US10901221B2 (en) 2021-01-26
US20170031163A1 (en) 2017-02-02
KR20180037336A (ko) 2018-04-11
NZ740631A (en) 2018-12-21
CN104541201B (zh) 2018-05-25
JP2021009398A (ja) 2021-01-28
KR102188748B1 (ko) 2020-12-08
JP6176747B2 (ja) 2017-08-09
AU2017203227A1 (en) 2017-06-08
BR112014024945A2 (pt) 2020-10-27
AU2017201669A1 (en) 2017-03-30
WO2014011266A2 (en) 2014-01-16
AU2017201669B2 (en) 2019-02-07
US20140218468A1 (en) 2014-08-07
BR112014024941A2 (pt) 2017-09-19
JP2022001949A (ja) 2022-01-06
JP2018139421A (ja) 2018-09-06
US20180284456A1 (en) 2018-10-04
CA2869781A1 (en) 2013-10-10
CN107843988A (zh) 2018-03-27
CA3111134A1 (en) 2013-10-10
CA2869781C (en) 2021-04-27
IL292007A (en) 2022-06-01
RU2015154980A3 (ko) 2019-03-26
KR20210119558A (ko) 2021-10-05
US20170315361A1 (en) 2017-11-02
US10175491B2 (en) 2019-01-08
JP6944578B2 (ja) 2021-10-06
CN107976818B (zh) 2020-06-19
KR20200035184A (ko) 2020-04-01
KR102345444B1 (ko) 2021-12-29
KR20180038584A (ko) 2018-04-16
US20180101012A1 (en) 2018-04-12
KR102223290B1 (ko) 2021-03-04
KR102129330B1 (ko) 2020-07-02
JP2019035977A (ja) 2019-03-07
KR20180038582A (ko) 2018-04-16
EP2834699A4 (en) 2016-06-29
AU2013289157A1 (en) 2014-10-30
JP2017161914A (ja) 2017-09-14
WO2014011266A3 (en) 2015-04-16
JP7216165B2 (ja) 2023-01-31
EP2841991A4 (en) 2016-02-10
EP2841991A1 (en) 2015-03-04
KR102124350B1 (ko) 2020-06-23
US20230244074A1 (en) 2023-08-03
US10451883B2 (en) 2019-10-22
AU2013289157B2 (en) 2017-04-06
IL284204A (en) 2021-07-29
JP6768046B2 (ja) 2020-10-14
KR20210024255A (ko) 2021-03-04
CN107976818A (zh) 2018-05-01
EP2834699B1 (en) 2020-12-16
EP3608717B1 (en) 2023-09-27
JP6126682B2 (ja) 2017-05-10
EP4339690A2 (en) 2024-03-20
US20180157046A1 (en) 2018-06-07
CN108391033A (zh) 2018-08-10
NZ725339A (en) 2018-04-27
JP2023052497A (ja) 2023-04-11
KR102404537B1 (ko) 2022-05-31
IL261165B (en) 2020-07-30
IL275662A (en) 2020-08-31
IL292007B2 (en) 2023-06-01
WO2013152205A1 (en) 2013-10-10
JP6434076B2 (ja) 2018-12-05
EP3796071B1 (en) 2024-01-31
CN104937475B (zh) 2018-01-16
RU2015154980A (ru) 2017-06-28
CN104937475A (zh) 2015-09-23
US9726893B2 (en) 2017-08-08
NZ724344A (en) 2018-05-25
EP2841991B1 (en) 2020-01-08
US20190107722A1 (en) 2019-04-11
IL308962A (en) 2024-01-01
US9851563B2 (en) 2017-12-26
IL300033A (en) 2023-03-01
AU2013243380A1 (en) 2014-10-30
EP3608717A1 (en) 2020-02-12
KR20150009536A (ko) 2015-01-26
KR20200138449A (ko) 2020-12-09
KR102099156B1 (ko) 2020-04-09
NZ700898A (en) 2017-03-31
KR20140141718A (ko) 2014-12-10
US20140177023A1 (en) 2014-06-26
US11656452B2 (en) 2023-05-23
AU2017203227B2 (en) 2018-11-29
KR20190112218A (ko) 2019-10-02
US9874752B2 (en) 2018-01-23
US20210373338A1 (en) 2021-12-02
CA2874576C (en) 2021-12-28
NZ725322A (en) 2017-12-22
IL300033B1 (en) 2024-01-01
KR102022719B1 (ko) 2019-11-05
EP2834699A2 (en) 2015-02-11
US20180299677A1 (en) 2018-10-18
KR20180038583A (ko) 2018-04-16
RU2015156050A (ru) 2019-01-18
US10048501B2 (en) 2018-08-14
JP2015518178A (ja) 2015-06-25
JP2015519595A (ja) 2015-07-09
KR102306729B1 (ko) 2021-09-28
IL275662B (en) 2021-07-29
JP6322753B2 (ja) 2018-05-09

Similar Documents

Publication Publication Date Title
KR102095330B1 (ko) 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US7973834B2 (en) Electro-optical foveated imaging and tracking system
US20100321494A1 (en) Compact dome camera
WO2013122669A1 (en) Multi-plenoptic system with image stacking and method for wide field-of-regard high-resolution imaging
WO2006050430A2 (en) Optical tracking system using variable focal length lens
US8203596B1 (en) Panoramic imaging system with dual imagers
WO2018077413A1 (en) An optical arrangement for focusing images of a three-dimensional space from different divergent perspectives onto one or more camera sensors
Liu et al. Design of a foveated imaging system using a two-axis MEMS mirror

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant