KR20200102408A - 능동 정렬을 가진 증강 현실 디스플레이 및 대응하는 방법 - Google Patents

능동 정렬을 가진 증강 현실 디스플레이 및 대응하는 방법 Download PDF

Info

Publication number
KR20200102408A
KR20200102408A KR1020207002078A KR20207002078A KR20200102408A KR 20200102408 A KR20200102408 A KR 20200102408A KR 1020207002078 A KR1020207002078 A KR 1020207002078A KR 20207002078 A KR20207002078 A KR 20207002078A KR 20200102408 A KR20200102408 A KR 20200102408A
Authority
KR
South Korea
Prior art keywords
camera
augmented reality
alignment
image
display
Prior art date
Application number
KR1020207002078A
Other languages
English (en)
Inventor
요차이 단지거
Original Assignee
루머스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 루머스 리미티드 filed Critical 루머스 리미티드
Publication of KR20200102408A publication Critical patent/KR20200102408A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0161—Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

양안 증강 현실 디스플레이 장치 및 대응하는 방법은 최종 사용자에 의해 정렬 교정이 수행될 수 있게 한다. 하나의 접근법에 따르면, 카메라는 좌안 디스플레이로부터의 투사된 이미지의 일부와 우안 디스플레이로부터의 투사된 이미지의 일부를 동시에 포함하는 시야를 갖도록 위치된다. 교정 이미지의 적어도 일부를 각각의 디스플레이를 통해 투영하고 카메라 샘플링된 이미지 내의 우측 필드 및 좌측 필드 정렬 특징을 식별함으로써, 정렬 교정이 도출될 수 있다. 대안적인 접근법은 우안 및 좌안 디스플레이 유닛의 각각에 대해 견고하게 연관된 전방 주시 카메라에 의해 샘플링된 이미지의 상관도를 이용하거나, 횡방향으로 스왑된 카메라 이미지를 실제 세계 뷰에 정렬시키기 위한 수동 조정을 입력하도록 사용자에게 요구한다.

Description

능동 정렬을 가진 증강 현실 디스플레이 및 대응하는 방법
본 발명은 증강 현실 디스플레이에 관한 것으로, 특히 양안 증강 현실 디스플레이의 좌안 및 우안 디스플레이의 정렬을 조정하기 위한 배열을 가진 양안 증강 현실 디스플레이 및 대응하는 정렬 방법에 관한 것이다.
증강 현실 안경은 증강 이미지의 효과적인 양안 관찰 경험을 제공하기 위해 정확하게 정렬되어야 하며, 상대적으로 작은 오정렬이라도 눈의 피로 또는 두통을 일으킬 수 있다. 종래의 접근법은 일반적으로 도 1a에 도시된 바와 같이 디스플레이의 예비 정렬(preliminary alignment) 및 고정된 상대 위치(fixed relative position)를 달성하기 위해 좌안 및 우안 디스플레이를 기계적으로 견고한 공통 지지 구조물에 장착하는 것을 포함한다. 최종 미세 정렬은 이미지 생성 매트릭스(30)(즉, 디스플레이 시야의 물리적 말단)를 나타내는 도 1b에 개략적으로 도시된 바와 같은 이미지의 전자 시프트에 의해 달성되고, 교정 매트릭스(calibration matrix)에 따른 변형된 투사 이미지(32)는 각각의 디스플레이와 연관된 펌웨어 내로 프로그램되어 디스플레이 사이에 정확한 정렬이 달성된다. 30과 32 사이의 마진(margins)은 사전 정의된 제한 내에서 오정렬을 교정하는데 필요한 모든 변환을 수용하도록 시스템 내에 설계된다.
이 접근접에 따른 예시적인 정렬 프로세스가 도 1a 내지 2를 참조하여 도시된다. 전자 정렬 파라미터는 두 개의 공동 정렬된(co-aligned) 카메라 앞에 안경을 놓고 두 개의 프로젝터에 의해 생성된 증강 이미지의 방위(orientation)을 비교하여 생성된다. 도출된 교정 데이터(derived calibration data)는 이미지 프로젝터의 변환 펌웨어에 입력된다. 대안적으로, 광학 시스템의 기계적 정렬은 필요한 광학 정밀도 내에서 정확해질 수 있다. 전술한 정렬 프로세스에는 전용의 광학 정렬 벤치를 필요로 하며 생산 시설에서의 구현에만 적합한다.
기술을 소비자 시장에 보다 적합하게 만들기 위해 가볍고 컴팩트한 폼 팩터의 증강 현실 안경을 구현할 필요가 있다. 그러나, 경량 구현은 종종 열 변화 및 다른 기계적 또는 환경적 영향으로 인한 변형의 영향을 받아, 시간이 지남에 따라 두 개의 디스플레이의 영구적인 정렬을 보장하기에 충분한 기계적 강성이 부족하다.
또한 눈동자 간 거리(inter-pupillary distance, IPD)(눈 사이의 거리)는 사람에 따라 최대 15mm 까지 변동될 수 있다. 결과적으로, 2 개의 프로젝터가 견고하게 연결되면, 각각의 아이 박스(eye-boxes)(즉, 눈 동공이 있을 것으로 예상되는 각 프로젝터의 조명 영역(도 1a에서 영역 10으로 도시됨)는, 정의된 마진 내에 모든 IPD를 갖는 모든 가능한 사용자를 수용하기 위해서 각 눈에 대해 15/2=7.5mm 만큼 넓어야먀ㄴ 한다. 큰 아이 박스는 더 크고 더 비싼 광학을 요구한다. IPD 조정을 위한 메커니즘이 제공되는 경우, 이는 일반적으로 두 개의 디스플레이 사이의 정렬에 추가적인 불확실성을 유발하여 사전 교정된 정렬 교정을 신뢰할 수 없게 만든다.
본 발명은 양안 증강 현실 디스플레이의 좌안 및 우안 디스플레이의 정렬을 조정하기 위한 배열을 갖는 양안 증강 현실 디스플레이 및 대응하는 정렬 방법이다.
본 발명은 양안 증강 현실 디스플레이의 좌안 및 우안 디스플레이의 정렬을 조정하기 위한 배열을 가진 양안 증강 현실 디스프레이 및 대응하는 정렬 방법에 관한 것이다.
본 발명의 실시예의 양태에 따르면, 양안 증강 현실 디스플레이 장치의 우안 디스플레이와 좌안 디스플레이 사이의 정렬 교정을 유도하는 방법이 제공되고 이 방법은, (a) 카메라 시야가 좌안 디스플레이로부터의 투사된 이미지의 일부분과 우안 디스플레이로부터의 투사된 이미지의 일부분을 동시에 포함하도록 시야를 갖는 카메라를 위치시키는 단계; (b) 적어도 하나의 우측 필드 정렬 특징(field alignment feature) 및 적어도 하나의 좌측 필드 정렬 특징을 포함하는 교정 이미지(calibration image)의 적어도 일부분을 우안 디스플레이 및 좌안 디스플레이의 각각을 통해 투사하는 단계; (c) 이미지를 샘플링하기 위해 카메라를 이용하는 단계; (d) 이미지 내에서 우측 필드 정렬 특징 및 좌측 필드 정렬 특징을 식별하는 단계; 및 (e) 우측 필드 정렬 특징 및 좌측 필드 정렬 특징의 이미지 내의 위치로부터, 증강 현실 디스플레이 장치의 우안 디스플레이와 좌안 디스플레이 사이의 정렬 교정을 도출하는 단계;를 포함한다.
본 발명의 실시예의 다른 양태에 따르면, 이미지가 우안 디스플레이를 통해 관찰되는 우측 필드 정렬 특징과 좌안 디스플레이를 통해 관찰되는 좌측 필드 정렬 특징을 포함하도록 카메라가 증강 현실 디스플레이 장치의 관찰 측에 위치된다.
본 발명의 실시예의 다른 양태에 따르면, 투사된 교정 이미지는 가현 초점 거리(apparent focal distance)로 표시되고, 카메라는 상기 겉보기 초점 거리에 초점된다.
본 발명의 실시예의 다른 양태에 따르면, 카메라는 증강 현실 디스플레이 장치의 관찰측의 반대측에 위치하여, 카메라는 우안 디스플레이 및 좌안 디스플레이의 각각으로부터의 이미지 조명의 외향 반사된 부분(outwardly reflected portion)을 캡처하고, 이미지는 우안 디스플레이를 통해 관찰되는 좌측 필드 정렬 특징과 좌안 디스플레이를 통해 관찰되는 우측 필드 정렬 특징을 포함한다.
본 발명의 실시예의 다른 양태에 따르면, 카메라는 핸드-헬드(hand-held) 카메라이고, 상기 방법은 우안 디스플레이 및/또는 좌안 디스플레이를 통해 사용자에게 적어도 하나의 인디케이션을 표시하여여 사용자에 의한 카메라의 정확한 위치결정에 기여한다.
본 발명의 실시예의 다른 양태에 따르면, 상기 방법은 (a) 적어도 3 개의 기준점(fiducial points)을 정의하기에 충분한 양안 증강 현실 디스플레이 장치와 관련된 이미지 특징(image features)을 식별하는 단계; 및 (b) 적어도 3 개의 기준점에 대한 카메라의 위치를 결정하는 위치 결정 단계를 더 포함한다.
본 발명의 실시예의 다른 양태에 따르면, 위치 결정 단계는 뷰(view)의 반사된 시야가 상기 좌안 디스플레이로부터의 투사된 이미지의 일부와 우안 디스플레이로부터의 투사된 이미지의 일부를 동시에 포함하도록 카메라를 미러를 향하도록 지향시키는 단계를 포함한다.
본 발명의 실시예의 다른 양태에 따르면, 카메라는 스크린과 통합된 모바일 장치의 카메라이며, 상기 방법은 사용자에 의한 카메라의 정확한 위치결정을 돕기 위해 사용자에게 적어도 하나의 인디케이션을 스크린을 통해 디스플레이하는 단계를 더 포함한다.
본 발명의 실시예의 다른 양태에 따르면, 도출된 정렬 교정에 기초하여 증강 현실 디스플레이 장치에 대한 정렬 교정을 구현하는 단계를 더 포함한다.
본 발명의 실시예의 양태에 따르면, 양안 증강 현실 디스플레이 장치의 우안 디스플레이와 좌안 디스플레이 사이의 입체 정렬 교정(stereoscopic alignment correction)을 위한 방법이 제공되고, 이 방법은,
(a) 다음을 포함하는 증강 현실 장치를 제공하는 단계:
(i) 전방 주시(forward-looking) 제1 카메라와 견고하게 통합된 제1 증강 현실 디스플레이를 포함하는 우안 디스플레이 유닛;
(ii) 전방 주시 제2 카메라와 견고하게 통합된 제2 증강 현실 디스플레이를 포함하는 좌안 디스플레이 유닛; 및
(iii) 우안 디스플레이 유닛과 좌측 디스플레이 유닛을 서로 연결하는지지 구조물(support structure);
(b) 제1 카메라와 제1 증강 현실 디스플레이 사이의 제1 정렬 맵핑 및 제2 카메라와 제2 증강 현실 디스플레이 사이의 제2 정렬 맵핑을 제공하는 단계;
(c) 제1 카메라로부터 적어도 하나의 이미지를 샘플링하는 단계;
(d) 제2 카메라로부터 적어도 하나의 이미지를 샘플링하는 단계;
(e) 제1 카메라와 제2 카메라 사이의 상대적인 방위(relative orientation)을 나타내는 카메라간 맵핑(inter camera mapping)을 도출하기 위해 제1 카메라 및 제2 카메라로부터의 이미지를 공동처리(co-processing)하는 단계;
(f) 제1 증강 현실 디스플레이 및 제2 증강 현실 디스플레이의 상대적인 방위를 나타내는 디스플레이간(inter-display) 정렬 매핑을 도출하기 위해, 카메라간 매핑을 상기 제1 정렬 매핑 및 상기 제2 정렬 매핑과 결합하는 단계; 및
(g) 디스플레이간 정렬 매핑에 기초하여 증강 현실 디스플레이 장치에 대한 정렬 교정을 구현하는 단계를 포함한다.
본 발명의 실시예의 다른 양태에 따르면, 제1 카메라 및 제2 카메라로부터의 적어도 하나의 이미지는 원거리 장면(distant scene)에 대해 샘플링된다.
본 발명의 실시예의 다른 양태에 따르면, 제1 카메라 및 제2 카메라로부터의 적어도 하나의 이미지는 복수의 이미지이고, 공동처리는 복수의 이미지에 포함된 장면의 적어도 일부의 3 차원 모델을 도출하는 단계를 포함한다.
본 발명의 실시예의 다른 양태에 따르면, 양안 증강 현실 디스플레이 장치의 우안 디스플레이와 좌안 디스플레이 사이의 입체 정렬 교정을 위한 방법이 제공되고, 이 방법은,
(a) 우안 증강 현실 디스플레이, 좌안 증강 현실 디스플레이, 우안 증강 현실 디스플레이와 공간적으로 연관된 우측 카메라, 및 좌안 증강 현실 디스플레이와 공간적으로 연관된 좌측 카메라를 포함하는 증강 현실 장치를 제공하는 단계;
(b) 다음의 단계를 포함하는 제1 교차 등록 프로세스를 수행하는 단계: (i) 우측 카메라에 의해 샘플링된 장면의 적어도 하나의 이미지를 획득하는 단계; (ii) 우측 카메라에 의해 샘플링된 적어도 하나의 이미지로부터 도출된 적어도 하나의 정렬 특징을 좌안 증강 현실 디스플레이를 통해 디스플레이하는 단계; (iii) 사용자로부터 적어도 하나의 정렬 특징과 장면의 대응하는 직접 관찰된 특징 사이의 정렬 오프셋을 나타내는 입력을 수신하는 단계; 및 (iv) 적어도 하나의 정렬 특징이 장면의 대응하는 직접 관찰된 특징과 정렬될 때까지 사용자 입력에 따라 적어도 하나의 정렬 특징의 디스플레이 위치를 교정하는 단계;
(c) 다음의 단계를 포함하는 제2 교차 등록 프로세스를 수행하는 단계: (i) 좌측 카메라에 의해 샘플링된 장면의 적어도 하나의 이미지를 획득하는 단계, (ii) 좌안 카메라에 의해 샘플링된 적어도 하나의 이미지로부터 도출된 적어도 하나의 정렬 특징을 우안 증강 현실 디스플레이를 통해 디스플레이하는 단계; (iii) 사용자로부터 적어도 하나의 정렬 특징과 장면의 대응하는 직접 관찰된 특징 사이의 정렬 오프셋을 나타내는 입력을 수신하는 단계; 및 (iv) 적어도 하나의 정렬 특징이 장면의 대응하는 직접 관찰된 특징과 정렬될 때까지 사용자 입력에 따라 적어도 하나의 정렬 특징의 디스플레이 위치를 교정하는 단계; 및
(d) 사용자 입력에 기초하여 증강 현실 디스플레이 장치에 대한 정렬 교정을 구현하는 단계를 포함한다.
본 발명의 실시예의 다른 양태에 따르면, 교차 등록 프로세스들의 각각에 대한 적어도 하나의 정렬 특징은 샘플링된 이미지의 적어도 일부이다.
본 발명의 실시예의 다른 양태에 따르면, 교차 등록 프로세스들의 각각에 대한 적어도 하나의 정렬 특징은 샘플링된 이미지에서 검출된 특징에 대응하는 위치 마커이다.
본 발명의 실시예의 다른 양태에 따르면, 샘플링된 이미지내에서 물체까지의 추정 거리를 획득하는 단계를 더 포함하고, 추정 거리는 정렬 교정을 구현하기 위해 이용된다.
본 발명의 실시예의 다른 양태에 따르면, 우측 카메라는 우안 증강 현실 디스플레이에 대하여 견고하게 장착되고, 좌측 카메라는 좌안 증강 현실 디스플레이에 대하여 견고하게 장착되며, 정렬 교정은 우안 증강 현실 디스플레이에 대한 우측 카메라에서의 상대적인 정렬 데이터와, 좌안 증강 현실 디스플레이에 대한 좌측 카메라에서의 상대적인 정렬 데이터를 이용하여 구현된다.
본 발명의 실시예의 다른 양태에 따르면, 우측 카메라 및 좌측 카메라 중 대응하는 하나에 대한 우안 증강 현실 디스플레이 및 좌안 증강 현실 디스플레이 중 적어도 하나를 교정하기 위한 사용자 입력을 수신하기 위한 적어도 하나의 추가적인 등록 프로세스를 수행하는 단계를 더 포함한다.
본 발명은 이하의 도면을 참조하여 예시적인 방식으로 설명된다:
도 1a는 종래 기술에 따른 양안 증강 현실 디스플레이의 평면도;
도 1b는 증강 현실 디스플레이를 위한 전자 정렬 교정의 원리를 설명하는 도면;
도 2는 종래 기술에 따른 증강 현실 디스플레이를 교정하기 위한 팩토리 조정 프로세스를 도시한 흐름도;
도 3은 본 발명의 일 실시예에 따라 구성되고 동작하는 IPD를 조정하기 위한 배열을 갖는 양안 증강 현실 디스플레이의 개략적인 정면도;
도 4는 사용중인 도 3의 디스플레이의 개략적인 측면도;
도 5는 제1 구현 옵션에 따른 팩토리 부분 교정 절차 동안 도 4의 장치의 개략적인 측면도;
도 6은 제2 구현 옵션에 따른 팩토리 부분-교정 절차 동안 도 4의 장치의 개략적인 측면도;
도 7은 상이한 방향으로부터 물체 또는 장면(scene)의 복수의 이미지의 샘플링을 포함하는 교정 프로세스의 개략적인 도면;
도 8은 본 발명의 양태에 따른 도 3 및 도 4의 증강 현실 디스플레이를 위한 정렬 교정 방법을 나타내는 흐름도;
도 9a 및 도 9b는 정렬 교정을 위한 대안적인 기술을 이용하는 증강 현실 디스플레이 장치의 측면도 및 정면도;
도 9c는 본 발명의 양태에 따른 사용자에 의해 수행되는 정렬 조정의 개략적인 도면;
도 10a는 본 발명의 다른 양태에 따른 정렬 교정 구현 동안 증강 현실 디스플레이 장치의 개략적인 측면도;
도 10b는 증강 현실 이미지를 사용자의 눈에 전달하기 위한 도광 광학 요소의 2 가지 가능한 기하학적 구조를 도시한 확대 측면도;
도 11a는 도 10a의 배열의 개략적인 평면도;
도 11b는 도 10a의 배열의 변형된 구현의 개략적인 평면도;
도 11c는 도 10a의 정렬 교정을 위한 카메라로서 사용되는 이동 통신 장치의 개략도;
도 11d는 본 발명의 양태에 따른 정렬 교정을 수행하는 동안 증강 현실 디스플레이를 통한 디스플레이를 위한 교정 이미지의 개략적인 도면;
도 11e는 본 발명의 양태에 따른 정렬 교정을 수행하는 동안 카메라에 의해 샘플링된 이미지의 개략적인 도면;
도 11f는 도 10a의 배열의 다른 변형된 구현의 개략 평면도; 및
도 12는 도 10a, 11a, 11b 및 11f의 배열에 따른 정렬 교정 방법을 나타내는 흐름도이다.
본 발명은 양안 증강 현실 디스플레이의 좌안 및 우안 디스플레이의 정렬을 조정하기 위한 배열을 갖는 양안 증강 현실 디스플레이 및 대응하는 정렬 방법에 관한 것이다.
본 발명에 따른 장치 및 방법의 원리 및 작동은 첨부된 도면 및 설명을 참조하여 보다 더 이해될 수 있다.
소개의 방식으로, 본 발명은 양안 증강 현실 디스플레이의 우안 디스플레이와 좌안 디스플레이 사이의 사전 교정된(pre-calibrated) 정렬이 존재하지 않거나 신뢰할 수 없는 것으로 간주될 수 있는 다양한 상황을 취급한다. 이는 장기간 및/또는 다양한 환경 조건에 걸쳐 구성 요소의 영구적인 견고한 정렬을 보장할 수 없는 경량의 구조적 구성요소의 사용으로 원인되거나, 조정 메커니즘, 특히 IPD 조정 메커니즘의 존재로 원인되어 디스플레이의 최종 정렬이 부정확해질 수 있다. IPD 조정 메커니즘이 존재하는 것이 특히 바람직하며, 그에 따라 증강 현실 디스플레이 장치는 상이한 눈동자 거리(inter-pupillary distances)를 갖는 사용자들을 수용하는 동시에, 프로젝터 아이 박스 크기(projector eye-box size) 및 그에 따른 프로젝터 벌크(projector bulk), 복잡성 및 비용에 대한 요건을 감소시킬 수 있다. 그러나 IPD 조정 메커니즘은 일반적으로 두 개의 디스플레이 프로젝터의 정렬에 변동성을 일으킨다.
이러한 문제를 해결하기 위해, 본 발명은 최종 사용자의 정상적인 작업 환경에서 어떠한 특수 장비의 사용을 필요로 하지 않으면서 양안 증강 현실 디스플레이 장치의 우안 및 좌안 디스플레이의 정렬(alignment)을 교정(calibration) 또는 재교정(recalibration) 할 수 있는 3 가지 그룹의 솔루션을 제공한다. 구체적으로, 정렬 교정 기술의 제1 서브 세트는 각각의 좌안 및 우안 디스플레이와 관련된 양방향 카메라(bilateral cameras)에 의해 샘플링된 이미지의 상관도(correlation)에 기초하여, 자동화(automated) 또는 반자동화(semi-automated) 정렬 프로세스로서 구현된다. 정렬 교정 기술의 제2 서브 세트 역시 장치에 장착된 카메라를 이용하며, 디스플레이된 특징을 대응하는 실제 특징과 정렬시키기 위해 사용자 입력을 필요로 한다. 마지막으로, 정렬 교정 기술의 제3 서브 세트는 외부 카메라에 의존하는 대신 장치에 장착된 카메라에 의존하지 않고 적용가능하다. 이들 기술의 서브 세트 각각은 또한 대응하는 기술(들)을 구현하도록 구성된 제어 구성요소를 구비한 양안 증강 현실 장치의 별개의 구현에 바람직하게 대응한다. 각각의 접근법을 이하에 상세히 설명하도록 한다.
이제 도면을 참조하면, 도 3 내지 도 8은 양안 증강 현실 디스플레이 장치, 초기 부분 정렬 프로세스(an initial partial alignment process), 및 양안 증강 현실 디스플레이 장치의 우안 디스플레이와 좌안 디스플레이 사이의 입체(stereoscopic) 정렬 교정을 위한 대응하는 방법의 다양한 양태를 나타내고, 이들 모두 본 발명의 하나의 양태의 제1 접근법에 따른다. 이 접근법에 따르면, 두 개의 디스플레이("프로젝터")의 각각은 전방 주시 카메라(forward looking camera)에 견고하게 부착된다. 안구(eye) 프로젝터 사이를 연결하는 지지 구조물은 비교적 덜 단단하고, 사용자의 개인 IPD에 따라 변경 및 고정될 수 있다. 카메라에 의해 수신된 장면(scene)의 이미지가 비교되고 프로젝터에 대한 변환 매트릭스(transformation matrix)가 유도된다.
따라서, 일반적으로, 전방 주시 제1 카메라에 견고하게 통합된 제1 증강 현실 디스플레이를 갖는 우안 디스플레이 유닛 및 전방 주시 제2 카메라에 견고하게 통합된 제2 증강 현실 디스플레이를 갖는 좌안 디스플레이 유닛을 포함하는 증강 현실 장치가 제공된다. 증강 현실 장치는 또한 우안 디스플레이 유닛과 좌안 디스플레이 유닛을 상호연결하는(interconnecting) 지지 구조물을 포함한다. 이 접근법의 바람직한 양태에 따르면, 각각의 디스플레이 유닛은 강성이므로, 각각의 카메라는 대응하는 증강 현실 디스플레이와 고정 정렬되고, 시스템에는 카메라 정렬을 디스플레이에 매핑하는 변환 매트릭스의 형태로 각각의 카메라와 대응하는 증강 현실 디스플레이 사이에 정렬 매핑(alignment mapping)이 제공되고, 즉, 카메라 이미지의 디스플레이가 증강 현실 디스플레이를 통해 보여진 동떨어진 장면(a distant scene)에 대해 실제 세계에 정확하게 정렬된다. 다른 한편으로, 지지 구조물은 일정 기간 동안 좌안 및 우안 디스플레이 유닛 사이에서 변하지 않는 정렬을 제공하기에 충분한 강성인 것으로 반듯이 가정될 필요는 없고, 특히 바람직한 구현에서, 조정 메커니즘(adjustment mechanism)을 포함하여, 이는 상이한 사용자에 대한 IPD 조정을 허용하며, 이는 통상적으로 조정 중에 각도 정렬의 일부 변동을 초래한다.
이어서 정렬 교정은 증강 현실 디스플레이 장치와 연관된 프로세싱 시스템에 의해 바람직하게 수행되며, 이는 온보드 프로세싱 시스템이거나, 단거리 또는 장거리 통신 연결을 통해 장치와 연관된 프로세싱 시스템일 수 있다. 본 명세서의 여러부분에서 설명되는 프로세스는 표준 프로세스 구성요소에 의해 수행될 수 있으며, 표준 프로세스 구성 요소는 적절한 소프트웨어에 의해 구성된 범용 하드웨어, 또는 ASIC 또는 다른 전용 또는 반전용 하드웨어 일 수 있으며, 이는 본 명세서에 기술된 기능에 가장 적합한 것이 무엇이냐에 따라 당업자에 의해 용이하게 선택될 수 있다. 또한, 프로세싱은 증강 현실 디스플레이 장치의 일부를 형성하는 하나 이상의 온보드 프로세서, AR 디스플레이 장치와 유선 또는 무선으로 연결된 이동 통신 장치, WAN을 통해 AR 디스플레이 장치에 연결되고 원격지에 위치된 서버, 동적 할당된 컴퓨팅 리소스로 이루어진 가상 머신을 계산하는 클라우드를 포함하지만 이에 한정되는 것은 아니며, 어떤 위치 또는 위치들의 조합에서 수행될 수도 있다. 프로세싱 시스템 구현의 세부 사항은 본 발명의 구현에 필요하지 않으므로, 본 명세서에서 더 이상 상세히 설명하지는 않는다.
본 발명의 양태에 따른 정렬 교정 프로세스는 바람직하게:
i. 제1 카메라로부터 적어도 하나의 이미지를 샘플링하는 단계;
ii. 제2 카메라로부터 적어도 하나의 이미지를 샘플링하는 단계;
iii. 제1 카메라와 제2 카메라 사이의 상대적인 방위(relative orientation)를 나타내는 카메라간 맵핑(inter camera mapping)을 도출하기 위해 제1 및 제2 카메라로부터의 이미지를 공동처리(co-processing)하는 단계;
iv. 제1 증강 현실 디스플레이 및 상기 제2 증강 현실 디스플레이의 상대적 방위를 나타내는 디스플레이 간 정렬 매핑을 도출하기 위해 카메라간 매핑(inter-camera mapping)을 상기 제1 정렬 매핑 및 상기 제2 정렬 매핑과 결합하는 단계; 및
v. 디스플레이간 정렬 매핑에 기초하여 증강 현실 디스플레이 장치에 대한 정렬 교정을 구현하는 단계를 포함한다.
이 과정은 아래에서 더 자세히 설명 될 것이다.
도 3은 본 발명에 따른 시스템의 정면도를 개략적으로 나타낸다. 광학 어셈블리(40R 및 40L)는 이미지를 대응하는 시스루(see-through) 광학 요소(42R 및 42L)로 투영하고, 바람직하게는 가상 이미지를 관찰자의 좌안 및 우안에 커플링 아웃(coupling-out)하기 위해 부분 반사기(partial-reflectors) 또는 회절 광학 요소를 구비한 투명한 도광 광학 요소로서 구현된다. 전방 카메라(44R, 44L)는 인접한 프로젝터에 견고하게 부착되고, 바람직하게는 조절가능한 기계적 배열로 구현되는지지 구조물(46)은 두 프로젝터를 연결한다. 이러한 기계적 배열은 바람직하게는 프로젝터 사이의 거리를 변경하기 위해 잠금해제될 수 있고 사용 전에 다시 잠금될 수 있다. 이는 IPD 조정을 가능하게 하여 프로젝터 크기와 복잡성을 감소시킨다. 배열(46)의 잠금해제 및 잠금 후에는 정확한 평행도 및 배향이 통상적으로 유지될 수 없는 것으로 이해된다.
이어서 도 4는 좌측 프로젝터와 카메라의 개략적인 측면도이다. 광학요소(40L)로부터의 광은 도파관(42L)을 통과하여 눈을 향해 편향된다(편향 방법은 도시되어 있지 않지만, 일반적으로 루무스사(Lumus Ltd.)에서 상업적으로 이용가능한 내부 경사 부분 반사면을 갖는 기판 또는 회전 광학 요소의 배열에 기초한다). 물체(50) 또는 풍경(scenery)은 카메라(44L)에 의해 촬상된다. 동일한 물체가 우측 카메라(44R)에 의해 촬상된다.
본 발명의 이러한 양태에 따른 정렬 교정 프로세스는 각각의 카메라와, 좌안 및 우안 디스플레이 유닛의 각각에 대한 대응하는 증강 현실 디스플레이 사이의 정렬 매핑의 결정을 요구한다. 카메라 축과 프로젝터 축 사이의 변환 파라미터는 카메라-프로젝터 통합(integration) 후에, 바람직하게는 제조 공정의 일부로서 측정된다. 정렬 매핑을 결정하기 위해 다양한 기술이 사용될 수 있다. 이제 도 5 및도 6을 참조하여 두 가지 옵션에 대해 설명한다.
도 5에서, 외부 지그(external jig)(52)는 프로젝터(54)와 카메라(56)를 견고하게 공동-정렬된(co-aligned ) 상태로 유지한다. 프로젝터와 카메라는 광학 축과 서로 평행하게 정렬되는 것이 바람직하고, 가장 바람직하게는 그들 둘 사이에 변환 파라미터가 필요함이 없도록 충분한 정확도로 정렬되는 것이 좋다. 프로젝터(54)는 카메라(44L)에 의해 수신되는 '기준 이미지(reference image)'를 투사한다. 프로세싱 시스템은 카메라(56)에 의해 광학 요소(42L)를 통해 수신되는 투사된 이미지를 생성하는 프로젝터(40L)에 유사한 중심 이미지(similar centered image)를 주입한다. 프로세싱 시스템은 44L 및 56으로부터의 이미지를 비교하여 40L 내지 44L 사이의 변환 파라미터를 정의한다. 44L와 42L 사이의 거리(구체적으로, 이 도파관의 아이 박스 중심)는 필요에 따라 시차 계산(parallax calculations)을 위해 기록되는 것이 바람직하다.
도 6에서, 두 개의 프로젝터(54U 및 54D)는 견고하게 부착되고(또는 대안적으로 충분히 큰 개구(aperture)를 갖는 단일 프로젝터로서 구현 될 수 있음), 전형적으로 무한대에서 시준된 교정 이미지를 투사한다. 54U로부터의 이미지는 카메라(44L)에 의해 수신되고 프로젝터(40L)에 "주입(injected)" 된다. 이 경우, 카메라(56)는 광학 요소(42L)를 통해 54D에 의해 투사된 직접 관측된 이미지와 프로젝터(40L)에 의해 투사된 이미지의 중첩을 동시에 수신한다. 두 이미지 사이의 차이는 프로젝터(40L)와 카메라(44L) 사이의 변환 데이터에 대응한다. 가장 바람직하게는, 자동 정렬 프로세스는, 적절한 그래픽 사용자 인터페이스(도시되지 않음)를 사용하는 수동 제어 조정 프로세스가 가능할지라도, 카메라(56)에 의해 선명한(정밀하게 오버레이된) 이미지가 수신될 때까지, 프로젝터(40L)에 의해 생성된 이미지의 정렬을 조정할 수 있다. 최종 정렬은 양안 정렬에도 의존하기 때문에 이 조정은 이 단계에서 장치 펌웨어에서 실제로 구현될 필요는 없다. 수동 또는 자동 정렬을 용이하게 하기 위해, 정렬 이미지는 X 십자선 등일 수 있고, 정렬 프로세스 동안의 구별을 명확하게 하기 위해, 40L로부터의 이미지의 컬러가 변경되거나 이미지가 깜박이게(blink) 될 수 있다. 이어서 두개의 시각적으로 구별되는 X 십자선이 정렬될 필요가 있다.
프로젝터(42L)상의 광학요소(optics)가 유한 거리에서 가상 이미지를 생성하는 경우, 54U 및 54D의 교정 이미지 및 변환(conversion) 역시 이 거리로 설정되고, 프로젝터(40L)로부터 투사된 이미지는, 거리 파라미터가 알려져 있기 때문에 카메라(44L)와 프로젝터(42L) 사이의 시차에 따라 42L로 주일될 때 쉬프트될 수 있다.
좌안 디스플레이 유닛에 대해 도시된 상기 정렬 프로세스는 우안 디스플레이 유닛에 대해서도 명확하게 반복(또는 동시에 수행)된다. 결과는 카메라 정렬을 각각의 디스플레이 유닛에 대한 디스플레이에 매핑하는 잘 정의된 변환 매트릭스이다.
전술한 정렬 기술 중 하나를 사용한 후, 제조 중 또는 제조 후에 각각의 프로젝터와 그 대응하는 카메라 사이의 정렬 변환을 유도하기 위해, 이어서 카메라는 최종 사용자에 의해 수행된 교정 프로세스에서 사용되어, 필요할 때마다, 예를 들면, IPD의 조정 후, 또는 자동 자가 교정 프로세스가 간헐적으로 수행될 때, 또는 특정 어플리케이션에서, 장치가 파워-온될 때마다 두개의 프로젝터 사이의 오정렬을 측정하고 교정할 수 있다.
카메라(44L, 44R)의 상대적인 방위(도 3에 설명 된 바와 같이 IPD 조정 후)를 해결하는 것은 카메라가 원거리 장면(distant scene)에 대한 이미지를 샘플링할 때 두 샘플링된 이미지 사이의 시차는 무시할 수 있기 때문에 특히 간단하다. 이러한 맥락에서 "원거리"는 이상적으로 약 100 미터 이상의 거리 일 수 있으며, 이는 눈 / 카메라 사이의 수렴(convergence)으로 인한 각도 변화가 인간의 시각적 인식의 각도 해상도(angular resolution)보다 작은 것을 보장하는 거리이다. 그러나 실제로 "원거리"는 30 미터 초과의 거리를 포함 할 수 있으며, 경우에 따라 10 미터 또는 20 미터의 거리도 허용 가능한 결과와 함께 이 간단한 교정 프로세스를 사용을 허용할 수 있다. 따라서, 사용자 작동 교정의 경우, 사용자는 교정 프로세스를 시작하기 전에 장치를 원거리 장면을 향하도록 지시할 수 있다. 유사하게, 장치가 실외 환경에서 사용되는 경우, 장치는 카메라가 원거리 장면을 보고 있을 때 거리 센서(ranging sensor) 또는 이미지 처리에 의해 검출하도록 구성될 수 있다. 이어서, 각각의 카메라(44L 및 44R)로부터 원거리 장면으로부터 이미지를 샘플링하고, 두 이미지 사이의 이미지 비교/등록(comparison/registration)을 수행하여 카메라 사이의 변환을 결정함으로써 교정이 형성될 수 있다.
장면에 "깊이(depth)"가 거의 없고 두 카메라가 본질적으로 동일한 이미지를 샘플링하는 한, 장면이 근거리에 있는 경우에도 간단한 이미지 등록이 정렬 교정에 사용될 수 있다. 그러한 예는 벽에 있는 포스터 또는 다른 그림 또는 질감과 같은 평평한 표면을 이미징하는 것에 의한 교정이다. 이 경우 수렴 각도를 교정하기 위해 카메라에서 표면까지의 거리에 관한 정보가 요구된다.
"원거리 장면"을 사용할 수 없는 다양한 상황에서 교정을 허용하기 위해 또는 사용자의 협력없이 자동으로 수행하기에 적합한 보다 강력한 교정 프로세스를 위해, 교정은 카메라 사이의 시차가 큰 주변 물체를 사용하여 수행될 수도 있다. 이 경우 상대적 카메라 위치를 '해결'하기 위해 3D 재구성이 필요하다. 도 7에 개략적으로 도시된 바와 같이, 정확한 솔루션을 위한 다수의 이미지를 생성하기 위해 카메라의 이동이 필요할 수 있다. 이러한 계산을 위한 알고리즘은 예를 들어 SLAM(동시 위치 및 매핑(simultaneous location and mapping)) 프로세스와 관련된 문헌(literature) 및 오픈 소스 코드 라이브러리에서 잘 알려져 있다. 이들 알고리즘을 사용함으로써, 장면의 적어도 일부의 3D 재구성(또는 "모델")이 각각의 카메라에 대해 생성된다. 카메라 사이의 재구성의 오프셋은 프로젝터 사이의 오프셋(공간 및 방향)을 결정하는 데 이용된다.
SLAM 처리가 모델을 도출하기 위해 이용되는 경우, 모델을 완전히 분해(resolve)하기 위해서 스케일링 팩터(scaling factor)가 필요하다. 이 스케일링 팩터는 IPD 조정이 없는 장치의 경우 두 카메라 사이의 알려진 거리; 인코더가 IPD 조정 메커니즘에 포함되는 두 카메라 사이의 측정된 거리; 장치와 통합된 관성 모션 센서(inertial motion sensor) 배열로부터 유도되는 카메라 모션; 예를 들면, 장치와 통합된 거리계(rangefinder)에 의해 도출된 이미지 중 하나 내의 픽셀 위치까지의 거리; 이미지의 시야 내에 포함된 알려진 치수의 물체의 식별; 및 예를 들어 직선 에지 등을 갖는 알려진 물체와 같은 추가 파라미터 제약의 도입을 포함하지만 이에 한정되는 것은 아니다.
IPD 조정 및 후속 재배열의 경우의 전체 프로세스의 예시적인 개요가 도 8에 도시되어 있다. 먼저, 프로세스는 IPD 조정에 의해 프로젝터들 사이의 거리 조정 후에 시작되는 것으로 가정되고(단계 110), 사용자에 의해 시작되거나 자동으로 트리거 될 수 있다. 프로세스는 또한 자동 또는 반자동 프로세스로서 구현될 수 있으며, 장치의 스타트업시 수행되거나 수동으로 또는 소프트웨어 트리거 신호에 의해 트리거될 수 있으며, 선택적으로 보여진 장면에 대해 이동하도록 사용자에게 질의하도록 프롬프트가 생성될 수 있다.
일단 트리거되면, 장치는 좌측 카메라(단계 112) 및 우측 카메라(단계 114)에 대한 장면의 이미지를 획득하고, 처리 시스템(장치 내장, 로컬 또는 원격)은 이미지를 비교하여 두 대의 카메라의 상대적 방위를 유도한다(단계 116). 이미지들 사이의 시차 변화로 인해 간단한 등록 프로세스가 실패하는 경우, 시야의 일부의 적어도 부분적인 3D 모델을 유도하기 위해 시스템은 바람직하게는 추가 이미지를 샘플링하고 필요한 경우 움직임(motion)을 대기하고(단계 118), 따라서 상대적 카메라 방위가 유도된다. 단계 120에서, 대응하는 펌웨어에 도입되는 각각의 프로젝터에 대한 전체 정렬 교정을 결정하기 위해, 이 상대적인 카메라 방위 데이터는 이전에 도출된 좌측 카메라 대 좌측 프로젝터 변환 데이터(122) 및 우측 카메라 대 우측 프로젝터 변환 데이터(124)와 함께 사용되고(단계 S126, S128), 따라서 좌측 가상 이미지는 프로젝터(40L)로부터의 투사를 위해 좌측 변환된 가상 이미지로 변환될 수 있고, 우측 가상 이미지는 프로젝터(40R)로부터의 투사을 위해 우측 변환된 가상 이미지로 변환될 수 있으며, 따라서 교정된 정렬 뷰 이미지가 생성된다.
이하에 양안 증강 현실 디스플레이 장치의 우안 및 좌안 디스플레이에 대한 정렬 교정 방법의 제2 서브 세트를 설명한다. 도 9a 및 9b는 사용자가 정렬 보정의 적어도 일부를 정의하기 위해 입력을 제공하는 배열을 개략적으로 도시한다. 따라서 도 9a에는, 도 3 및 도 4의 것과 유사한 광학 장치가 도시되어 있지만, 조이스틱, 터치 스크린 또는 임의의 다른 적절한 사용자 입력 장치일 수 있는 사용자 입력 장치(130)가 추가되어 있고, 필요에 따라 모바일 전자 장치에서 실행되는 APP로서 구형될 수도 있다. 이전과 같이, 이 접근법은 좌안 증강 현실 디스플레이(프로젝터(40L) 및 아웃-커플링 광학 요소(42L))와 공간적으로 연관된 좌측 카메라(44L) 및 장치의 우안 측에 있어서 대응하는 요소들(우안 증강 현실 디스플레이와 공간적으로 연관된 우측 카메라)가 존재하는 것으로 가정한다.
정렬 교정 방법은 제1 교차 등록 프로세스를 포함하는 것이 본 발명의 이러한 양태에 따른 특히 바람직한 구현의 특징이며, 제1 교차 등록 프로세스는:
i. 우측 카메라에 의해 샘플링된 장면의 적어도 하나의 이미지를 획득하는 단계;
ii. 우측 카메라에 의해 샘플링된 적어도 하나의 이미지로부터 유도된 적어도 하나의 정렬 특징을 좌안 증강 현실 디스플레이를 통해 디스플레이하는 단계;
iii. 적어도 하나의 정렬 특징과 장면의 대응하는 직접 관찰된 장면의 특징 사이의 정렬 오프셋을 나타내는 입력을 사용자로부터 수신하는 단계; 및
iv. 적어도 하나의 정렬 특징이 장면의 대응하는 직접 관찰된 특징과 정렬 될 때까지 사용자 입력에 따라 적어도 하나의 정렬 특징의 디스플레이 위치를 교정하는 단계를 포함한다. 이는 도 9b에서 화살표 78로 개략적으로 표현된 변환을 정의한다.
가장 바람직하게는, 정렬 프로세스는 역 교차-등록 프로세스, 즉 :
i. 좌측 카메라에 의해 샘플링된 장면의 적어도 하나의 이미지를 획득하는 단계;
ii. 좌측 카메라에 의해 샘플링된 적어도 하나의 이미지로부터 도출된 적어도 하나의 정렬 특징을 우안 증강 현실 디스플레이를 통해 디스플레이하는 단계;
iii. 적어도 하나의 정렬 특징 및 장면의 대응하는 직접 관찰된 특징 사이의 정렬 오프셋을 나타내는 입력을 사용자로부터 수신하는 단계; 및
iv. 적어도 하나의 정렬 특징이 장면의 대응하는 직접 관찰된 특징과 정렬 될 때까지 사용자 입력에 따라 적어도 하나의 정렬 특징의 디스플레이 위치를 교정하는 단계를 포함한다. 이는 도 9b에서 화살표 76으로 개략적으로 표시된 변환을 정의한다.
이어서 사용자 입력은 증강 현실 디스플레이 장치에 대한 정렬 교정을 구현하는데 사용된다. 전술한 예에서와 같이, 각각의 카메라가 대응하는 증강 현실 디스플레이에 대해 견고하게 장착되는 경우, 우안 증강 현실 디스플레이(화살표 74)에 대한 우측 카메라에서의 상대 정렬 데이터와, 좌안 증강 현실 디스플레이(화살표 72)에 대한 좌측 카메라에서의 상대 정렬 데이터를 이용하여 정렬 교정이 구현된다. 이러한 데이터는 도 5 및 도 6을 참조하여 전술한 바와 같이 팩토리 정렬 프로세스를 통해 이용가능하게 될 수 있다.
보다 일반적인 경우에, 변환(72 및 74)이 알려지지 않았거나, 카메라에 대한 좌/우 디스플레이의 견고하지 않은(예를 들어, 조정가능한) 장착으로 인해 변경될 수 있는 경우, 변환(72 및 74)은, 우측 카메라 및 좌측 카메라 중 대응하는 하나에 대한 우안 증강 현실 디스플레이 및 좌안 증강 현실 디스플레이 중 적어도 하나의 정렬을 교정하기 위한 사용자 입력을 수신하기 위해 적어도 하나의 추가적인 등록 프로세스에 의해 획득될 수 있다. 이들 등록 프로세스는 본 명세서에 기술된 교차 등록 프로세스(cross-registration processes)와 본질적으로 동일한 방식으로 수행 될 수 있다.
4개의 변환(72, 74, 76 및 78)이 모두 결정되면, 이들 변환 중 임의의 3개가 2개의 디스플레이 사이의 전체 교정 매트릭스를 결정하기에 원칙적으로는 충분하기 때문에 일부의 정보 리던던시(redundancy of information)가 존재한다. 실제로, 이러한 리던던시는 정렬 교정의 정확성을 향상시키는 데 유리하게 사용된다.
정렬 프로세스에서 각각의 프로젝터는 개별적으로 활성화된다. 이 접근법에 따른 일반적인 작업 순서는 다음과 같다.
1) 사용자는 가상 이미지와 동일한 공칭 거리(nominal distance)(가현 거리(apparent distance))에 위치한 풍경 객체를 주시할 것을 지시받는다. 이 프로세스는 시차 보상(parallax compensation)의 문제를 회피하기 위해 "원거리" 물체를 사용하여 가장 간단하게 구현되지만, 시차 문제도 아래에서 설명된는 것처럼 교정될 수 있다.
2) 프로세스 시스템은 한쪽 눈의 카메라로부터 인접한 프로젝터로 이미지를 주사하여 관찰자가 동일한 증강 및 '실제 세계'가 겹치는 것을 볼 수 있다. 장면이 "원거리" 장면이 아닌 경우, 장면까지의 추정 거리에 따라, 시차 보상이 투사된 이미지에 도입된다. (시차 보상 후) 카메라와 프로젝터 축이 정확하지 않다면 시프트 미스매치치(오프셋)(57)(도 9c)가 존재한다.
3) 관찰자는 가상 이미지의 위치 및 회전을 수동으로 제어하고 증강 현실 이미지를 '실제 세계' 이미지(57)와 겹치도록 이동시킨다(매핑 72).
4)이 프로세스는 매핑(74)을 생성하기 위해 두번째 눈에 대해 반복된다. 지금까지, 달성된 교정은 각각의 카메라와 그 인접한 프로젝터 사이에서 이루어진다.
5) 프로세싱 시스템은 한쪽 눈(44L)의 카메라로부터 반대쪽 프로젝터(40R)로 이미지를 주사하고 사용자로 하여금 이미지를 정렬하게 하고 맵핑을 결정하게한다. 맵핑(76)을 생성하기 위해 반대쪽 카메라 및 프로젝터에 대해서도 동일한 처리가 반복된다. 이제 두 프로젝터와 두 카메라 방위가 교정된다.
이 정렬 프로세스를 위해 투사된 이미지(정렬 특징)는 샘플링된 이미지의 적어도 일부분일 수 있다. 이 경우 사용자는 매우 적합하지 않은 중첩된 이미지의 "이중 비전(double-vision)" 영향을 받을 수 있고, 이들이 올바르게 중첩 될 때까지 정렬을 조정한다.
대안적으로, 투사된 정렬 특징 이미지(alignment feature image)는 이미지 처리에 의해 샘플링된 이미지들로부터 도출되고 샘플링된 이미지에서 검출된 특징에 대응하는 하나 이상의 위치 마커를 포함할 수 있다. 이는 물체의 윤곽(outline)이거나 이미지에서 "코너" 특징을 나타내는 복수의 마커일 수 있다. 이 경우 사용자는 이들 위치 마커를 보여지는 실제 세계 내의 해당 특징에 정렬한다.
전술한 처리가 원거리 장면이 아닌 장면을 사용하여 수행되는 경우, 각각의 카메라와 대응하는 EMB 센터 사이의 알려진 거리에 기초하여 시차 교정을 수행하기 위해서는 장면까지의 거리 추정이 필요하다. 이 거리는 사용자에 의해 입력될 수 있거나, 당업계에 공지된 바와 같이, 어플리케이션의 세부사항(details)에 따른 이용가능한 센서 및/또는 이미지 처리의 임의의 조합으로부터 시스템에 의해 도출될 수 있다. 거리가 도출될 수 있는 방법의 비제한적인 예는 거리측정기(rangefinder) 센서를 사용하여, 3D 모델을 도출하기 위해 이미지에 대해 SLAM 처리를 수행하고(전술하여 설명한 바와 같음), 알려진 치수를 갖는 물체를 포함하는 이미지를 샘플링하는 것을 포함한다.
많은 프로젝터는 가상 이미지를 유한 거리로 투사하는 광학 장치가 포함한다. 이 경우, 교정은 가상 이미지의 가현 거리와 일치하는 거리에서 장면을 보면서 수행하는 것이 바람직하다. 예를 들어, 가상 이미지가 2 미터에 초점을 맞추는 경우, 교정은 바람직하게 약 2 미터 거리에 위치한 장면 또는 물체에 대해 수행되어야 한다. 카메라로부터 프로젝터로 주사된 이미지는 카메라와 프로젝터 사이의 시차에 따라 특정된 거리와 필드 중심에서 쉬프트한다(상대 거리는 알려져 있음).
여기에 설명된 정렬 절차는 두 개의 프로젝터/카메라 쌍이 생산 과정에서 즉, IPD에서의 공간 조정이 없이 견고하게 결합된 경우에도 적용될 수 있다. 이 경우, 변환(72 및 74)은 전술한 바와 같이 전형적으로 사전교정(precalibrated)되고, 변환(76 및 78)만이 사용자 입력을 통해 달성된다.
본 명세서에서 "입체 정렬 교정(stereoscopic alignment correction)"이 언급되는 모든 경우에서, 이는 일반적으로 각각의 눈을 실제 세계에 관련시키는 교정 매트릭스를 생성하거나 눈들 사이의 관계를 정의함으로써 구현된다.
양안 증강 현실을 위한 프로젝터의 교차 정렬을 수행하기 위한 대안적인 접근법은 외향 주시 카메라(outwards-looking cameras)(제품 내에 존재하거나 존재하지 않을 수도 있음)에 의존하지 않고 달성될 수 있다. 대신에, 정렬 교정 기술의 제3 서브 세트는 증강 현실 디스플레이 장치와 별개인 카메라를 사용하여 우안 디스플레이 및 좌안 디스플레이 모두로부터 이미지를 동시에 샘플링한 다음, 이미지로부터 정렬 교정을 도출한다. 이 대안적인 접근법의 예시적인 구현이 아래에 제시된다.
일반적으로, 본 발명의 이 양태에 따른 양안 증강 현실 디스플레이 장치의 우안 디스플레이와 좌안 디스플레이 사이의 정렬 교정을 유도하는 방법은 다음의 단계:
a) 카메라 시야가 좌안 디스플레이로부터의 투사된 이미지의 일부분과 우안 디스플레이로부터의 투사된 이미지의 일부분을 동시에 포함하도록 시야를 갖는 카메라를 위치시키는 단계;
b) 적어도 하나의 우측 필드 정렬 특징 및 적어도 하나의 좌측 필드 정렬 특징을 포함하는 교정 이미지의 적어도 일부분을 우안 디스플레이 및 좌안 디스플레이의 각각을 통해 투사하는 단계;
c) 이미지를 샘플링하기 위해 카메라를 채용하는 단계;
d) 이미지 내에서 우측 필드 정렬 특징 및 좌측 필드 정렬 특징을 식별하는 단계; 및
e) 우측 필드 정렬 특징 및 좌측 필드 정렬 특징의 이미지 내의 위치로부터, 증강 현실 디스플레이 장치의 우안 디스플레이와 좌안 디스플레이 사이의 정렬 교정을 도출하는 단계;를 포함한다.
이 접근법의 하나의 구현예가 도 10a에 개략적으로 도시되어 있다. 도파관(42)에 의해 관찰자 눈으로 투사된 일부 광은 예를 들어 눈에 가장 가까운 도파관의 외부 표면에 의해 전방으로(즉, 사용자로부터 바깥쪽으로) 반사된다는 점에 유의해야 한다. 여기에 예시된 구현예에서, 증강 현실 디스플레이 장치(40L, 42L)의 시야측과 반대측에 위치된 카메라(80)에 의해 검출되는 것은 이 외향으로 반사 된 광이며, 카메라는 우안 디스플레이 및 좌안 디스플레이의 각각으로부터 이미지 조명의 외향으로 반사된 부분을 캡처한다.
시스템 제어기는 실선 화살표로 도시된 바와 같이 도파관(42)을 통해 눈을 비추는 이미지를 프로젝터(40)에 주사한다. 광의 일부분은 점선 점선 화살표로 표시되는 것과 반대 방향으로 반사된다.
휴대용 장치(80)상의 카메라는 전방 반사 이미지의 적어도 일부분을 수신하고 처리를 위해 이미지를 시스템 제어기에 전송한다(여기서는 카메라는 개략적으로 도시되어 있지만, 프로젝터를 향해 있고 전방-반사된 이미지 조명의 일부분을 캡처하도록 위치됨). 프로세스는 선택적으로 휴대용 장치 자체에서 수행될 수 있다.
필드(field)의 일부만이 카메라(80)에 의해 수신되지만, 이미지는 도 11d를 참조하여 아래에서 더 논의되는 바와 같이 이미지의 어떤 부분이라도 수신될 수 있도록 설계된다. 그 부분으로부터, 프로세서는 전방 투사된 이미지에 대한 카메라의 방위를 도출한다.
도 10b는 2 개의 프로젝터(99L 및 99R)를 개략적으로 도시하며, 각각은 대응하는 장치의 양안에 대한 프로젝터 방위를 나타낸다. 99L에서, 광선(100)은 도파관(99L)의 면에 수직으로 관찰자를 향해 투영되고 따라서 반사(102)는 광축을 따라 반대 방향으로 반사된다. 대조적으로, 도파관(99R)에서, 출력 광선(104)에 의해 지시된 투영 이미지 광축이 도파관(99R)의 표면에 직각이 아니고, 따라서 반사 광선(106)이 104와 반대가 아닌 대안적인 기하학적 구조가 도시된다. 따라서 교정 매트릭스는 104에 대한 106의 오프셋에 대해 도출되어야 한다. 이 교정 매트릭스는 프로젝터 제작 중 또는 아래 설명 된 것처럼 전방 이미지(100 및 104)와 반사 이미지(102 및 106)를 비교에 의해 도출되어야 한다.
이 접근법에 따른 이미지 획득은 도 11a의 평면도에 개략적으로 도시된 바와 같이 두 프로젝터 모두에 대해 동시에 수행된다. 도트-데쉬 화살표는 전방 반사 이미지를 나타낸다. 카메라(80)는 두 프로젝터로부터 반사된 이미지의 상이한 섹션을 수신하고 두 개 필드에 대한 방위를 도출한다. 이들 방위의 비교에 의해 프로젝터 사이의 상대 방위를 도출하고 전술한 바와 같이 전자적으로 정렬을 교정할 수 있다.
카메라(80)가 프로젝터(42)로부터 더 멀리 배치되면 개선된 교정 정확도가 달성된다. 장치로부터 멀리 떨어져서 편리하게 유지될 수 없는 핸드 헬드 카메라의 경우, 도 11b에 도시된 바와 같이 미러(57)를 통해 프로젝터를 관찰함으로써 더 큰 유효한 거리로부터의 촬영이 획득될 수 있다. 이 미러 기반 구조는 증강 현실 디스플레이 장치 자체의 내장식의 전방 주시 카메라, 특히 단일 중앙 전방 주시 카메라가 제공되는 장치를 사용하여 이 교정 기술을 구현할 수 있도록 한다.
카메라(80)의 방위는 교정 동안 카메라의 위치 교정을 위해 시각적 안내 큐(visual guidance cues)를 사용자에게 제공함으로써 최적화될 수 있다. 예를 들어, 카메라(80)가 휴대폰과 같은 스크린과 통합된 모바일 장치의 카메라인 경우,도 11c에 도시된 바와 같이, 카메라의 위치 교정을 돕기 위해 사용자에게 적어도 하나의 인디케이션이 스크린을 통해 디스플레이 될 수 있다. 추가적으로 또는 대안적으로, 임의의 핸드 헬드 카메라에 있어서, 카메라의 정확한 위치 설정을 돕기 위해 증강 현실 디스플레이 중 하나 또는 모두를 통해 적어도 하나의 인디케이션이 사용자에게 디스플레이 될 수 있다.
도 11d는 교정 프로세스를 위해 2개의 디스플레이에 의해 투사될 수 있는 이미지의 예를 나타낸다. 다른 임의의 이미지가 사용될 수 있으며, 여기에서는 비 제한적인 예로서 제시되고 있다. 이미지는 명확한 마킹(90a 및 90b)을 가지며, 이들은 각각 좌측 필드 정렬 특징 및 우측 필드 정렬 특징으로서 기능한다. 우측 및 좌측 필드 정렬 특징은 연속적인 기하학적 패턴의 일부일 수 있거나 분리된 특징일 수 있으며, 바람직하게는 서로 구별될 수 있다. 이들은 바람직하게 위치 및 방향을 도출하기 위해 이미지 처리 기술에 의해 쉽게 식별되고 처리되는 특징을 포함한다. 프로젝터 자체에 의해 발생하는 기하학적 왜곡의 보상 후 이미지가 투사된다. 이미지의 일부만이 각각의 개별 프로젝터로부터 카메라(80)에 의해 캡처된다는 것을 유의해야 한다. 카메라가 프로젝터의 "외부(outside)"에 있도록 카메라가 위치된 경우, 샘플링된 이미지는 우안 디스플레이를 통해 보여지는 좌측 필드 정렬 특징과, 좌안 디스플레이를 통해 보여지는 우측 정렬 특징을 포함한다.
도 11e는 카메라(80)에 의해 수신된 이미지(100)를 개략적으로 나타낸다. 카메라(80)로부터 안경까지의 거리는 안경상의 파라미터, 예를 들어 이미지 내의 안경 크기(82)로부터 도출될 수 있다. 도파관(42R 및 42L)에서, 투사된 이미지의 반사는 84R 및 84L로 명백하다. 두 반사의 이미지는 마킹(90a, 90b)을 포함한다. 이미지에서 마킹(86) 사이의 각도 거리를 측정하고, 안경까지의 알려진 거리로 인한 시차를 고려함으로써, 프로젝터(42R 및 42L) 사이의 실제 오정렬을 알 수 있다. 각도 오정렬은 또한 88로 지정된 스큐 각도(skew angle)로 나타낸 바와 같이 도출될 수 있다. 이 구조는 또한 눈 위치 60R 및 60L의 검출을 가능하게 한다. 이는 프로젝터 아이 박스 내에서 눈 위치에 의해 기인하는 왜곡을 고려함으로써 투사 정렬을 더욱 향상시킨다.
대안적인 구현 세트에서, 카메라(80)는 증강 현실 디스플레이 장치의 관찰측, 즉 사용자가 디스플레이를 통해 바라 보는 측에 위치된다. 이 경우, 샘플링된 이미지는 우안 디스플레이를 통해 보여지는 우측 필드 정렬 특징 및 좌안 디스플레이를 통해 보여지는 좌측 필드 정렬 특징을 포함한다. 이 구현의 예가 도 11f에 도시되어 있다.
카메라(80)는 투사된 이미지에 초점을 맞추는 것이 중요하다. 렌즈가 프로젝터(42) 앞에 배치되면, 가상 이미지(51)는 유한한 가현 거리(가현 초점 거리)에 생성될 것이다. 이는 84R 및 84L에 도입된 시차를 도출할 때 고려되어야 한다.
도 11f의 예에서, 프로젝터는 렌즈를 포함하여 이미지(51)가 가현 초점 거리(apparent focal distance)(61)에서 가상 이미지(62L(42L로부터) 및 62R(42R로부터))로서 투사된다. 이 두 이미지는 최적 정렬을 위해 정확한 중첩 관계로 되어진다. 카메라(80)에 의해 획득된 이미지는 84L 및 84R(도 11e에 도시됨)에 등가이고, 62L와 62R 사이의 오프셋의 도출은 가상 이미지(61)(렌즈에 의해 프리셋됨)와 카메라(63)까지의 거리를 고려할 것이다(예를 들어 이미지에서 장치(82)의 크기를 식별함으로써 다시 유도 됨).
전술한 바와 같이, 디스플레이 장치로부터 카메라(80)의 거리는 이미지 내에서 폭 치수(82)와 같은 디스플레이 장치와 관련된 특징을 식별함으로써 결정될 수 있다. 이상적으로, 디스플레이 장치에 대한 카메라의 거리 및 방위을 결정하기 위해, 프로세싱 시스템은 바람직하게는 적어도 3개, 가장 바람직하게는 4개의 동일선상(clollinear)(및 4개의 비 동일평면(non-coplanar))의 기준점(fiducial points)를 정의하기에 충분한 양안 증강 현실 디스플레이 장치와 관련된 이미지 특징을 식별한다. 특징은 장치의 형상과 관련된 임의의 특징, 또는 장치의 표면 상에 형성된 임의의 기준 패턴일 수 있다. 투사된 교정 이미지가 특정 초점 깊이에서 렌더링되는 경우, 투사된 가상 이미지의 특징이 기준점으로 사용될 수도 있다. 기준점은 이어서 기준점에 대한 카메라의 위치, 따라서 프로젝터에 대한 위치를 결정하도록 처리된다.
이 프로세스의 예시적인 비제한적인 구현예가 도 12에 도시된다. 전술한 도 8에서와 같이, IPD 조정에 의해 도입된 오정렬에 의해 교정이 필요할 수 있지만(단계 140), 이는 그러한 경우에만 제한되지는 않는다. 단계 142에서, 교정 이미지 또는 "필드 이미지"는 우안 및 좌안 프로젝터 모두를 통해 디스플레이하기 위해 "주사"되고, 카메라(80)는 각각의 프로젝터로부터의 교정 이미지에 대응하는 조명의 일부를 포함하는 이미지를 샘플링하는데 사용되고, 바람직하게는 또한 프로젝터 또는 디스플레이 장치 자체의 다른 특징을 이미징한다(단계 144).
단계 146에서, 디스플레이 장치의 특징은 각각의 프로젝터에 대한 카메라 방위를 결정하도록 처리된다. 이어서 이는 각각의 디스플레이를 통해 획득된 교정 이미지의 부분들로부터 프로젝터들의 상대적 정렬을 도출하기에 충분한 정보를 제공한다(단계 148). 카메라(80)가 외향 반사된 조명(outwardly-reflected illumination)과 함께 디스플레이의 외부에 사용되고, 이미지 투사 축이 도파관의 표면에 수직이 아닌 경우, 사전 측정 된 반사 오프셋 파라미터(150)가 또한 정렬 계산에 사용된다. 이어서 정렬 계산은 각각의 프로젝터의 펌웨어를 업데이트하기 위한 교정 매트릭스를 생성하는데 사용된다(단계 152).
휴대용 장치(80)상의 카메라는 또한 기계식 IPD 조정 자체 동안(설명된 교정을 수행하기 전에) 사용자를 보조하는데 사용될 수 있다. 이 옵션에 따라 사용자는 카메라가 패싯 이미지(facet image)를 프로세서로 지속적으로 전송하는 동안 프로젝터 간의 거리를 변경한다. 프로세서는 눈 위치를 광학 프로젝터 위치와 비교하고(선택적으로 프로젝터 위치를 감지하기 위해 마킹을 가질 수 있음) 어떻게 상대 위치가 더 조정되어야하는지를 나타내기 위해, 최적 위치가 사용자에게 도달되었는지 알려 주기 위해, 사용자에게 출력(일반적으로 오디오 신호 및/또는 시각적 디스플레이)을 생성할 수 있다. 이어서, 여기에 설명된 바와 같이 교정 프로세스가 바람직하게 수행된다.
상기 설명은 단지 예시의 목적을 위한 것으로 첨부된 특허청구 범위에 정의 된 바와 같이 본 발명의 범위 내에서 많은 상이한 실시예들이 가능하다는 것을 이해해야 한다.

Claims (18)

  1. 양안 증강 현실 디스플레이 장치의 우안 디스플레이와 좌안 디스플레이 사이의 정렬 교정을 유도하는 방법에 있어서,
    a) 카메라 시야가 좌안 디스플레이로부터의 투사된 이미지의 일부분과 우안 디스플레이로부터의 투사된 이미지의 일부분을 동시에 포함하도록 시야를 갖는 카메라를 위치시키는 단계;
    b) 적어도 하나의 우측 필드 정렬 특징(field alignment feature) 및 적어도 하나의 좌측 필드 정렬 특징을 포함하는 교정 이미지(calibration image)의 적어도 일부분을 우안 디스플레이 및 좌안 디스플레이의 각각을 통해 투사하는 단계;
    c) 이미지를 샘플링하기 위해 카메라를 이용하는 단계;
    d) 이미지 내에서 우측 필드 정렬 특징 및 좌측 필드 정렬 특징을 식별하는 단계; 및
    e) 우측 필드 정렬 특징 및 좌측 필드 정렬 특징의 이미지 내의 위치로부터, 증강 현실 디스플레이 장치의 우안 디스플레이와 좌안 디스플레이 사이의 정렬 교정을 도출하는 단계;를 포함하는 것을 특징으로 하는
    방법.
  2. 제1항에 있어서,
    이미지가 우안 디스플레이를 통해 관찰되는 우측 필드 정렬 특징과 좌안 디스플레이를 통해 관찰되는 좌측 필드 정렬 특징을 포함하도록 카메라가 증강 현실 디스플레이 장치의 관찰 측에 위치되는 것을 특징으로 하는
    방법.
  3. 제2항에 있어서,
    투사된 교정 이미지는 가현 초점 거리(apparent focal distance)로 표시되고, 카메라는 상기 겉보기 초점 거리에 초점되는
    방법.
  4. 제1항에 있어서,
    카메라는 증강 현실 디스플레이 장치의 관찰측의 반대측에 위치하여, 카메라는 우안 디스플레이 및 좌안 디스플레이의 각각으로부터의 이미지 조명의 외향 반사된 부분(outwardly reflected portion)을 캡처하고, 이미지는 우안 디스플레이를 통해 관찰되는 좌측 필드 정렬 특징과 좌안 디스플레이를 통해 관찰되는 우측 필드 정렬 특징을 포함하는
    방법.
  5. 제4항에 있어서,
    카메라는 핸드-헬드(hand-held) 카메라이고, 상기 방법은 우안 디스플레이 및/또는 좌안 디스플레이를 통해 사용자에게 적어도 하나의 인디케이션을 표시하여여 사용자에 의한 카메라의 정확한 위치결정에 기여하는
    방법.
  6. 제1항에 있어서,
    (a) 적어도 3 개의 기준점(fiducial points)을 정의하기에 충분한 양안 증강 현실 디스플레이 장치와 관련된 이미지 특징(image features)을 식별하는 단계; 및
    (b) 적어도 3 개의 기준점에 대한 카메라의 위치를 결정하는 위치 결정 단계를 더 포함하는
    방법.
  7. 제1항에 있어서,
    위치 결정 단계는 뷰(view)의 반사된 시야가 상기 좌안 디스플레이로부터의 투사된 이미지의 일부와 우안 디스플레이로부터의 투사된 이미지의 일부를 동시에 포함하도록 카메라를 미러를 향하도록 지향시키는 단계를 포함하는
    방법.
  8. 제1항에 있어서,
    카메라는 스크린과 통합된 모바일 장치의 카메라이며,
    상기 방법은 사용자에 의한 카메라의 정확한 위치결정을 돕기 위해 사용자에게 적어도 하나의 인디케이션을 스크린을 통해 디스플레이하는 단계를 더 포함하는
    방법.
  9. 제1항에 있어서,
    도출된 정렬 교정에 기초하여 증강 현실 디스플레이 장치에 대한 정렬 교정을 구현하는 단계를 더 포함하는
    방법.
  10. 양안 증강 현실 디스플레이 장치의 우안 디스플레이와 좌안 디스플레이 사이의 입체 정렬 교정(stereoscopic alignment correction)을 위한 방법에 있어서,
    (a) 다음을 포함하는 증강 현실 장치를 제공하는 단계:
    (i) 전방 주시(forward-looking) 제1 카메라와 견고하게 통합된 제1 증강 현실 디스플레이를 포함하는 우안 디스플레이 유닛;
    (ii) 전방 주시 제2 카메라와 견고하게 통합된 제2 증강 현실 디스플레이를 포함하는 좌안 디스플레이 유닛; 및
    (iii) 우안 디스플레이 유닛과 좌측 디스플레이 유닛을 서로 연결하는지지 구조물(support structure);
    (b) 제1 카메라와 제1 증강 현실 디스플레이 사이의 제1 정렬 맵핑 및 제2 카메라와 제2 증강 현실 디스플레이 사이의 제2 정렬 맵핑을 제공하는 단계;
    (c) 제1 카메라로부터 적어도 하나의 이미지를 샘플링하는 단계;
    (d) 제2 카메라로부터 적어도 하나의 이미지를 샘플링하는 단계;
    (e) 제1 카메라와 제2 카메라 사이의 상대적인 방위(relative orientation)을 나타내는 카메라간 맵핑(inter camera mapping)을 도출하기 위해 제1 카메라 및 제2 카메라로부터의 이미지를 공동처리(co-processing)하는 단계;
    (f) 제1 증강 현실 디스플레이 및 제2 증강 현실 디스플레이의 상대적인 방위를 나타내는 디스플레이간(inter-display) 정렬 매핑을 도출하기 위해, 카메라간 매핑을 상기 제1 정렬 매핑 및 상기 제2 정렬 매핑과 결합하는 단계; 및
    (g) 디스플레이간 정렬 매핑에 기초하여 증강 현실 디스플레이 장치에 대한 정렬 교정을 구현하는 단계를 포함하는 것을 특징으로 하는
    방법.
  11. 제10항에 있어서,
    제1 카메라 및 제2 카메라로부터의 적어도 하나의 이미지는 원거리 장면(distant scene)에 대해 샘플링되는
    방법.
  12. 제10항에 있어서,
    제1 카메라 및 제2 카메라로부터의 적어도 하나의 이미지는 복수의 이미지이고, 공동처리는 복수의 이미지에 포함된 장면의 적어도 일부의 3 차원 모델을 도출하는 단계를 포함하는 방법.
  13. 양안 증강 현실 디스플레이 장치의 우안 디스플레이와 좌안 디스플레이 사이의 입체 정렬 교정을 위한 방법에 있어서,
    (a) 우안 증강 현실 디스플레이, 좌안 증강 현실 디스플레이, 우안 증강 현실 디스플레이와 공간적으로 연관된 우측 카메라, 및 좌안 증강 현실 디스플레이와 공간적으로 연관된 좌측 카메라를 포함하는 증강 현실 장치를 제공하는 단계;
    (b) 다음의 단계를 포함하는 제1 교차 등록 프로세스를 수행하는 단계:
    (i) 우측 카메라에 의해 샘플링된 장면의 적어도 하나의 이미지를 획득하는 단계;
    (ii) 우측 카메라에 의해 샘플링된 적어도 하나의 이미지로부터 도출된 적어도 하나의 정렬 특징을 좌안 증강 현실 디스플레이를 통해 디스플레이하는 단계;
    (iii) 사용자로부터 적어도 하나의 정렬 특징과 장면의 대응하는 직접 관찰된 특징 사이의 정렬 오프셋을 나타내는 입력을 수신하는 단계; 및
    (iv) 적어도 하나의 정렬 특징이 장면의 대응하는 직접 관찰된 특징과 정렬될 때까지 사용자 입력에 따라 적어도 하나의 정렬 특징의 디스플레이 위치를 교정하는 단계;
    (c) 다음의 단계를 포함하는 제2 교차 등록 프로세스를 수행하는 단계:
    (i) 좌측 카메라에 의해 샘플링된 장면의 적어도 하나의 이미지를 획득하는 단계,
    (ii) 좌안 카메라에 의해 샘플링된 적어도 하나의 이미지로부터 도출된 적어도 하나의 정렬 특징을 우안 증강 현실 디스플레이를 통해 디스플레이하는 단계;
    (iii) 사용자로부터 적어도 하나의 정렬 특징과 장면의 대응하는 직접 관찰된 특징 사이의 정렬 오프셋을 나타내는 입력을 수신하는 단계; 및
    (iv) 적어도 하나의 정렬 특징이 장면의 대응하는 직접 관찰된 특징과 정렬될 때까지 사용자 입력에 따라 적어도 하나의 정렬 특징의 디스플레이 위치를 교정하는 단계;
    (d) 사용자 입력에 기초하여 증강 현실 디스플레이 장치에 대한 정렬 교정을 구현하는 단계를 포함하는 것을 특징으로 하는
    방법.
  14. 제13항에 있어서,
    교차 등록 프로세스들의 각각에 대한 적어도 하나의 정렬 특징은 샘플링된 이미지의 적어도 일부인
    방법.
  15. 제13항에 있어서,
    교차 등록 프로세스들의 각각에 대한 적어도 하나의 정렬 특징은 샘플링된 이미지에서 검출된 특징에 대응하는 위치 마커인 방법.
  16. 제13항에 있어서,
    샘플링된 이미지내에서 물체까지의 추정 거리를 획득하는 단계를 더 포함하고, 추정 거리는 정렬 교정을 구현하기 위해 이용되는
    방법.
  17. 제13항에 있어서,
    우측 카메라는 우안 증강 현실 디스플레이에 대하여 견고하게 장착되고, 좌측 카메라는 좌안 증강 현실 디스플레이에 대하여 견고하게 장착되며, 정렬 교정은 우안 증강 현실 디스플레이에 대한 우측 카메라에서의 상대적인 정렬 데이터와, 좌안 증강 현실 디스플레이에 대한 좌측 카메라에서의 상대적인 정렬 데이터를 이용하여 구현되는
    방법.
  18. 제13항에 있어서,
    우측 카메라 및 좌측 카메라 중 대응하는 하나에 대한 우안 증강 현실 디스플레이 및 좌안 증강 현실 디스플레이 중 적어도 하나를 교정하기 위한 사용자 입력을 수신하기 위한 적어도 하나의 추가적인 등록 프로세스를 수행하는 단계를 더 포함하는
    방법.
KR1020207002078A 2018-01-02 2019-01-02 능동 정렬을 가진 증강 현실 디스플레이 및 대응하는 방법 KR20200102408A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862612740P 2018-01-02 2018-01-02
US62/612,740 2018-01-02
PCT/IB2019/050014 WO2019135169A1 (en) 2018-01-02 2019-01-02 Augmented reality displays with active alignment and corresponding methods

Publications (1)

Publication Number Publication Date
KR20200102408A true KR20200102408A (ko) 2020-08-31

Family

ID=67143650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207002078A KR20200102408A (ko) 2018-01-02 2019-01-02 능동 정렬을 가진 증강 현실 디스플레이 및 대응하는 방법

Country Status (13)

Country Link
US (1) US11223820B2 (ko)
EP (1) EP3735775A4 (ko)
JP (2) JP2021509482A (ko)
KR (1) KR20200102408A (ko)
CN (1) CN110915210B (ko)
AU (1) AU2019205611A1 (ko)
BR (1) BR112020001912A2 (ko)
CA (1) CA3068659A1 (ko)
IL (1) IL275615B (ko)
MX (1) MX2020002402A (ko)
RU (1) RU2020100251A (ko)
TW (1) TWI791728B (ko)
WO (1) WO2019135169A1 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261321B2 (en) 2005-11-08 2019-04-16 Lumus Ltd. Polarizing optical system
IL232197B (en) 2014-04-23 2018-04-30 Lumus Ltd Compact head-up display system
IL237337B (en) 2015-02-19 2020-03-31 Amitai Yaakov A compact head-up display system with a uniform image
EP3574360A4 (en) 2017-01-28 2020-11-11 Lumus Ltd. IMAGING SYSTEM WITH EXTENDED REALITY
KR102561362B1 (ko) 2017-09-29 2023-07-28 루머스 리미티드 증강 현실 디스플레이
TWI829656B (zh) 2017-10-22 2024-01-21 以色列商魯姆斯有限公司 採用光具座的頭戴式增強現實設備
US11762169B2 (en) 2017-12-03 2023-09-19 Lumus Ltd. Optical device alignment methods
TWI791728B (zh) 2018-01-02 2023-02-11 以色列商魯姆斯有限公司 具有主動對準的增強現實顯示裝置及其對準方法
US10551544B2 (en) 2018-01-21 2020-02-04 Lumus Ltd. Light-guide optical element with multiple-axis internal aperture expansion
IL277715B2 (en) 2018-04-08 2024-02-01 Lumus Ltd Characteristic of optical samples
EP3625617B1 (en) 2018-05-14 2023-09-06 Lumus Ltd. Projector configuration with subdivided optical aperture for near-eye displays, and corresponding optical systems
EP3794397A4 (en) 2018-05-17 2021-07-07 Lumus Ltd. CLOSE-UP DISPLAY WITH OVERLAPPING PROJECTOR ARRANGEMENTS
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
CA3100472C (en) 2018-05-23 2023-05-16 Lumus Ltd. Optical system including light-guide optical element with partially-reflective internal surfaces
EP3807620B1 (en) 2018-06-21 2023-08-09 Lumus Ltd. Measurement technique for refractive index inhomogeneity between plates of a lightguide optical element
US11409103B2 (en) 2018-07-16 2022-08-09 Lumus Ltd. Light-guide optical element employing polarized internal reflectors
AU2019335612A1 (en) 2018-09-09 2021-04-08 Lumus Ltd. Optical systems including light-guide optical elements with two-dimensional expansion
WO2020095245A1 (en) 2018-11-08 2020-05-14 Lumus Ltd. Optical Devices and Systems with Dichroic Beamsplitter Color Combiner
TW202026685A (zh) 2018-11-08 2020-07-16 以色列商魯姆斯有限公司 具有反射鏡的光導顯示器
KR20200001026U (ko) 2018-11-11 2020-05-21 루머스 리미티드 인터미디어트 윈도우를 구비한 근거리 디스플레이 장치
WO2020131277A1 (en) 2018-12-20 2020-06-25 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
MX2021008808A (es) 2019-01-24 2021-08-24 Lumus Ltd Sistemas opticos que incluyen loe con expansion de tres etapas.
JP7398131B2 (ja) 2019-03-12 2023-12-14 ルムス エルティーディー． 画像プロジェクタ
US20220239888A1 (en) * 2019-06-07 2022-07-28 Sony Group Corporation Video distribution system, video distribution method, and display terminal
WO2020261279A1 (en) 2019-06-27 2020-12-30 Lumus Ltd. Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element
JP7433674B2 (ja) 2019-11-25 2024-02-20 ルムス エルティーディー． 導波路の表面を研磨する方法
IL270991B (en) 2019-11-27 2020-07-30 Lumus Ltd A light guide with an optical element to perform polarization mixing
TW202124997A (zh) 2019-12-05 2021-07-01 以色列商魯姆斯有限公司 採用互補塗覆的部分反射器的光導光學元件，以及具有減少的光散射的光導光學元件
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
IL290719B2 (en) 2019-12-08 2023-09-01 Lumus Ltd Optical systems with a compact image projector
DE202021104723U1 (de) 2020-09-11 2021-10-18 Lumus Ltd. An ein optisches Lichtleiterelement gekoppelter Bildprojektor
US11379957B1 (en) * 2021-02-23 2022-07-05 Qualcomm Incorporated Head wearable display device calibrated for distortion correction using inter-pupillary distance
EP4237903A1 (en) 2021-03-01 2023-09-06 Lumus Ltd. Optical system with compact coupling from a projector into a waveguide
CN113259649B (zh) * 2021-05-06 2022-08-09 青岛小鸟看看科技有限公司 基于场景摄像头重定位的虚拟现实方法、系统
WO2023281499A1 (en) 2021-07-04 2023-01-12 Lumus Ltd. Display with stacked light-guide elements providing different parts of field of view
US11863730B2 (en) * 2021-12-07 2024-01-02 Snap Inc. Optical waveguide combiner systems and methods
US20230209032A1 (en) * 2021-12-23 2023-06-29 Meta Platforms Technologies, Llc Detection, analysis and correction of disparities in a display system utilizing disparity sensing port
CN114441142A (zh) * 2021-12-30 2022-05-06 歌尔光学科技有限公司 Ar成像系统的校正参数获取方法及装置
CN114465910B (zh) * 2022-02-10 2022-09-13 北京为准智能科技有限公司 一种基于增强现实技术的机械加工设备校准方法

Family Cites Families (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4720189A (en) 1986-01-07 1988-01-19 Northern Telecom Limited Eye-position sensor
FR2647556B1 (fr) 1989-05-23 1993-10-29 Thomson Csf Dispositif optique pour l'introduction d'une image collimatee dans le champ visuel d'un observateur et casque comportant au moins un tel dispositif
US5270748A (en) 1992-01-30 1993-12-14 Mak Technologies, Inc. High-speed eye tracking device and method
JPH08313843A (ja) 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
US6404550B1 (en) 1996-07-25 2002-06-11 Seiko Epson Corporation Optical element suitable for projection display apparatus
US6154321A (en) 1998-01-20 2000-11-28 University Of Washington Virtual retinal display with eye tracking
JP2003520984A (ja) 1999-10-14 2003-07-08 ストラトス プロダクト ディヴェロップメント エルエルシー 仮想画像システム
US6264328B1 (en) 1999-10-21 2001-07-24 University Of Rochester Wavefront sensor with off-axis illumination
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US6542307B2 (en) 2000-10-20 2003-04-01 Three-Five Systems, Inc. Compact near-eye illumination system
US20030107643A1 (en) * 2001-08-17 2003-06-12 Byoungyi Yoon Method and system for controlling the motion of stereoscopic cameras based on a viewer's eye motion
IL148804A (en) 2002-03-21 2007-02-11 Yaacov Amitai Optical device
US20070165192A1 (en) 2006-01-13 2007-07-19 Silicon Optix Inc. Reduced field angle projection display system
US7640306B2 (en) 2002-11-18 2009-12-29 Aol Llc Reconfiguring an electronic message to effect an enhanced notification
US6879443B2 (en) 2003-04-25 2005-04-12 The Microoptical Corporation Binocular viewing system
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
IL157838A (en) 2003-09-10 2013-05-30 Yaakov Amitai High-brightness optical device
IL162573A (en) 2004-06-17 2013-05-30 Lumus Ltd Optical component in a large key conductive substrate
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
EP1849033B1 (en) 2005-02-10 2019-06-19 Lumus Ltd Substrate-guided optical device utilizing thin transparent layer
WO2006085310A1 (en) 2005-02-10 2006-08-17 Lumus Ltd. Substrate-guided optical device particularly for vision enhanced optical systems
US8140197B2 (en) 2005-02-17 2012-03-20 Lumus Ltd. Personal navigation system
IL171820A (en) 2005-11-08 2014-04-30 Lumus Ltd A polarizing optical component for light coupling within a conductive substrate
US10261321B2 (en) 2005-11-08 2019-04-16 Lumus Ltd. Polarizing optical system
IL173715A0 (en) 2006-02-14 2007-03-08 Lumus Ltd Substrate-guided imaging lens
IL174170A (en) 2006-03-08 2015-02-26 Abraham Aharoni Device and method for two-eyed tuning
US7538876B2 (en) * 2006-06-12 2009-05-26 The Boeing Company Efficient and accurate alignment of stereoscopic displays
IL177618A (en) 2006-08-22 2015-02-26 Lumus Ltd Optical component in conductive substrate
EP2142953B1 (en) 2007-04-22 2019-06-05 Lumus Ltd A collimating optical device and system
IL183637A (en) 2007-06-04 2013-06-27 Zvi Lapidot Head display system
AU2009294384A1 (en) 2008-09-16 2010-03-25 Bae Systems Plc Improvements in or relating to waveguides
US8717392B2 (en) * 2009-06-02 2014-05-06 Nokia Corporation Apparatus for enabling users to view images, methods and computer readable storage mediums
US20110010988A1 (en) 2009-07-16 2011-01-20 Michael Lanoha Universal Underground Receptacle for a Cemetery Flower Vase Cylinder
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
KR101232036B1 (ko) 2010-10-13 2013-02-12 한국과학기술원 비접촉 전력전달 장치 및 자기유도 방식의 급전장치
JP5953311B2 (ja) * 2010-11-08 2016-07-20 シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． 表示装置
WO2012131970A1 (ja) 2011-03-31 2012-10-04 トヨタ自動車株式会社 内燃機関の制御装置およびそれを搭載する車両
US9170425B1 (en) 2011-08-17 2015-10-27 Lockheed Martin Corporation Multi-focal augmented reality lenses
GB201117029D0 (en) 2011-10-04 2011-11-16 Bae Systems Plc Optical waveguide and display device
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
CN104081475A (zh) 2012-03-26 2014-10-01 株式会社日立制作所 稀土磁铁
JP5960799B2 (ja) * 2012-03-28 2016-08-02 パイオニア株式会社 ヘッドマウントディスプレイ及び表示方法
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US8909985B2 (en) 2012-07-12 2014-12-09 International Business Machines Corporation Multiple hyperswap replication sessions
CN202864800U (zh) 2012-07-26 2013-04-10 诠钧实业有限公司 绞车的刹车机构
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
US9638920B2 (en) 2013-04-15 2017-05-02 Microsoft Technology Licensing, Llc Torsional support for binocular display
WO2015020648A1 (en) 2013-08-07 2015-02-12 Hitachi, Ltd. Method and apparatus for dynamic monitoring condition control
US9264702B2 (en) * 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
US9405122B2 (en) * 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
JP6451222B2 (ja) * 2014-11-04 2019-01-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
IL232197B (en) 2014-04-23 2018-04-30 Lumus Ltd Compact head-up display system
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
US10764563B2 (en) * 2014-11-13 2020-09-01 Intel Corporation 3D enhanced image correction
KR102383425B1 (ko) * 2014-12-01 2022-04-07 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
IL236490B (en) 2014-12-25 2021-10-31 Lumus Ltd Optical component on a conductive substrate
IL236491B (en) 2014-12-25 2020-11-30 Lumus Ltd A method for manufacturing an optical component in a conductive substrate
IL237337B (en) 2015-02-19 2020-03-31 Amitai Yaakov A compact head-up display system with a uniform image
EP3286599A4 (en) 2015-04-22 2018-12-19 eSIGHT CORP. Methods and devices for optical aberration correction
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
JP2017108370A (ja) * 2015-07-06 2017-06-15 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
KR102574490B1 (ko) * 2015-10-12 2023-09-04 삼성전자주식회사 머리 장착형 전자 장치
CN113358045A (zh) * 2015-11-04 2021-09-07 奇跃公司 光场显示度量
US9759923B2 (en) 2015-11-19 2017-09-12 Microsoft Technology Licensing, Llc Low-stress waveguide mounting for head-mounted display device
US10178378B2 (en) * 2016-04-12 2019-01-08 Microsoft Technology Licensing, Llc Binocular image alignment for near-eye display
KR20230054499A (ko) * 2016-04-26 2023-04-24 매직 립, 인코포레이티드 증강 현실 시스템들을 사용한 전자기 추적
JP6740366B2 (ja) 2016-05-18 2020-08-12 ルーマス リミテッドＬｕｍｕｓ Ｌｔｄ． ヘッドマウント結像装置
US20170353714A1 (en) * 2016-06-06 2017-12-07 Navid Poulad Self-calibrating display system
CN106019602B (zh) 2016-08-03 2018-03-30 深圳酷酷科技有限公司 头戴式显示设备
CA2992213C (en) 2016-10-09 2023-08-29 Yochay Danziger Aperture multiplier using a rectangular waveguide
RU2763850C2 (ru) 2016-11-08 2022-01-11 Люмус Лтд Световодное устройство с краем, обеспечивающим оптическую отсечку, и соответствующие способы его изготовления
CN208953803U (zh) 2016-12-02 2019-06-07 鲁姆斯有限公司 具紧凑型准直图像投影仪的光学系统
CN115145023B (zh) 2016-12-31 2024-02-09 鲁姆斯有限公司 用于导出人眼睛的注视方向的设备
EP3566092B1 (en) 2017-01-04 2022-10-05 Lumus Ltd. Optical system for near-eye displays
TWI754010B (zh) 2017-02-22 2022-02-01 以色列商魯姆斯有限公司 導光光學組件
CN110637249B (zh) 2017-03-21 2022-07-01 奇跃公司 光学设备、头戴式显示器、成像系统和对对象成像的方法
KR102501345B1 (ko) 2017-03-22 2023-02-17 루머스 리미티드 중첩 파셋
IL251645B (en) 2017-04-06 2018-08-30 Lumus Ltd Waveguide and method of production
EP4215980A1 (en) 2017-07-19 2023-07-26 Lumus Ltd. Lcos illumination via loe
KR102561362B1 (ko) 2017-09-29 2023-07-28 루머스 리미티드 증강 현실 디스플레이
TWI829656B (zh) 2017-10-22 2024-01-21 以色列商魯姆斯有限公司 採用光具座的頭戴式增強現實設備
US11092810B2 (en) 2017-11-21 2021-08-17 Lumus Ltd. Optical aperture expansion arrangement for near-eye displays
US11226261B2 (en) 2017-12-03 2022-01-18 Lumus Ltd. Optical device testing method and apparatus
US20190170327A1 (en) 2017-12-03 2019-06-06 Lumus Ltd. Optical illuminator device
US11762169B2 (en) 2017-12-03 2023-09-19 Lumus Ltd. Optical device alignment methods
CN111557092B (zh) 2017-12-10 2022-09-27 鲁姆斯有限公司 图像投影仪
TWI791728B (zh) 2018-01-02 2023-02-11 以色列商魯姆斯有限公司 具有主動對準的增強現實顯示裝置及其對準方法
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US10551544B2 (en) 2018-01-21 2020-02-04 Lumus Ltd. Light-guide optical element with multiple-axis internal aperture expansion
IL277715B2 (en) 2018-04-08 2024-02-01 Lumus Ltd Characteristic of optical samples
EP3625617B1 (en) 2018-05-14 2023-09-06 Lumus Ltd. Projector configuration with subdivided optical aperture for near-eye displays, and corresponding optical systems
EP3794397A4 (en) 2018-05-17 2021-07-07 Lumus Ltd. CLOSE-UP DISPLAY WITH OVERLAPPING PROJECTOR ARRANGEMENTS
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
CA3100472C (en) 2018-05-23 2023-05-16 Lumus Ltd. Optical system including light-guide optical element with partially-reflective internal surfaces
CN210323582U (zh) 2018-05-27 2020-04-14 鲁姆斯有限公司 具有场曲率影响减轻的基于基板引导的光学系统
US11415812B2 (en) 2018-06-26 2022-08-16 Lumus Ltd. Compact collimating optical device and system
US11409103B2 (en) 2018-07-16 2022-08-09 Lumus Ltd. Light-guide optical element employing polarized internal reflectors
AU2019335612A1 (en) 2018-09-09 2021-04-08 Lumus Ltd. Optical systems including light-guide optical elements with two-dimensional expansion
KR20200001026U (ko) 2018-11-11 2020-05-21 루머스 리미티드 인터미디어트 윈도우를 구비한 근거리 디스플레이 장치
MX2021008808A (es) 2019-01-24 2021-08-24 Lumus Ltd Sistemas opticos que incluyen loe con expansion de tres etapas.

Also Published As

Publication number Publication date
TWI791728B (zh) 2023-02-11
WO2019135169A1 (en) 2019-07-11
IL275615A (en) 2020-08-31
BR112020001912A2 (pt) 2020-07-28
US11223820B2 (en) 2022-01-11
CA3068659A1 (en) 2019-07-11
US20210099691A1 (en) 2021-04-01
TW201932914A (zh) 2019-08-16
RU2020100251A (ru) 2022-02-03
EP3735775A4 (en) 2022-01-19
CN113777783A (zh) 2021-12-10
CN110915210A (zh) 2020-03-24
IL275615B (en) 2022-08-01
CN110915210B (zh) 2021-10-15
JP2021509482A (ja) 2021-03-25
AU2019205611A1 (en) 2020-01-30
MX2020002402A (es) 2020-07-22
JP2023081930A (ja) 2023-06-13
EP3735775A1 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
US11223820B2 (en) Augmented reality displays with active alignment and corresponding methods
US10869024B2 (en) Augmented reality displays with active alignment and corresponding methods
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
JP7379704B2 (ja) 視覚化カメラ及び光学コヒーレンストモグラフィを統合するシステム及び方法
US10107624B2 (en) Geodetic surveying device with a microlens array
WO2004044522A1 (ja) ３次元形状計測方法およびその装置
US8570430B2 (en) Dynamic camera focusing
KR100747733B1 (ko) 평행축 입체 카메라 및 입체영상 생성방법
US20160241841A1 (en) A stereoscopic assembly and method for manufacturing same
JP2007033087A (ja) キャリブレーション装置及び方法
CN113777783B (zh) 具有对准校正的双目增强现实系统及对准校正方法
EP3816572B1 (en) Optical volume measurement device
KR101275127B1 (ko) 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
WO2013179425A1 (ja) 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
CN114926548A (zh) 一种基于光学模组的双目相机校准系统及方法
JPH10115878A (ja) 指向性スクリーンを用いる３次元画像投写システム
KR101539425B1 (ko) 고스트 이미지가 제거된 영상 획득이 가능한 3차원 스캐너
JP6292785B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN109644259A (zh) 三维影像预处理方法、装置及头戴显示设备
JP7169940B2 (ja) 図面重畳装置及びプログラム
KR20150090640A (ko) 영상특징점을 이용한 입체영상의 줌기능 일치방법
CN115509007A (zh) 增强现实显示设备与方法
JPH04274694A (ja) 両眼立体視におけるカメラ制御方法
KR20150120126A (ko) 스테레오 모바일 3d 카메라