KR20150073853A - 광학 투시 유리 타입 디스플레이 장치 및 대응하는 광학 유닛 - Google Patents

광학 투시 유리 타입 디스플레이 장치 및 대응하는 광학 유닛 Download PDF

Info

Publication number
KR20150073853A
KR20150073853A KR1020140182632A KR20140182632A KR20150073853A KR 20150073853 A KR20150073853 A KR 20150073853A KR 1020140182632 A KR1020140182632 A KR 1020140182632A KR 20140182632 A KR20140182632 A KR 20140182632A KR 20150073853 A KR20150073853 A KR 20150073853A
Authority
KR
South Korea
Prior art keywords
image
optical
calibration
compensation element
virtual
Prior art date
Application number
KR1020140182632A
Other languages
English (en)
Other versions
KR102357180B1 (ko
Inventor
로랑 블론드
발터 드라직
아르노 슈베르트
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20150073853A publication Critical patent/KR20150073853A/ko
Application granted granted Critical
Publication of KR102357180B1 publication Critical patent/KR102357180B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/23—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using wavelength separation, e.g. using anaglyph techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/086—Auxiliary lenses located directly on a main spectacle lens or in the immediate vicinity of main spectacles

Abstract

광학 투시 유리 타입 디스플레이 장치(100)는 교정 전면 및 교정 배면(116a)을 갖는 광학 유닛(110); 가상 이미지를 투영하는 이미지 투영기(130); 및 주변 장면 이미지를 캡처하기 위한 이미지 센서(120)를 포함한다. 광학 유닛(110)은 교정 전면(112a)을 통해 나오는 주변 장면 이미지의 광을 이미지 센서(120)로 안내하고, 가상 이미지의 광이 교정 배면(116a)을 통해 나가도록 가상 이미지의 광을 안내하도록 구성된다. 제1 광학 보상 요소(124)가 광학 유닛(110)과 이미지 센서(120) 사이에 배치되고, 제2 광학 보상 요소(134)가 이미지 투영기(130)와 광학 유닛(110) 사이에 배치된다. 장치는 이미지 센서(120)에 의해 캡처된 주변 장면 이미지를 분석하도록 구성되는 처리 모듈(140)을 더 포함한다.

Description

광학 투시 유리 타입 디스플레이 장치 및 대응하는 광학 유닛{OPTICAL SEE-THROUGH GLASS TYPE DISPLAY DEVICE AND CORRESPONDING OPTICAL UNIT}
본 발명은 일반적으로 광학 투시 유리 타입 디스플레이 장치에 관한 것이다.
광학 투시 유리 타입 디스플레이 장치는 유리를 통해 보이는 주변 장면 상에 중첩된 가상 이미지를 관찰자에게 제공한다. 가상 이미지는 투영기에 의해 투영되고, 유리 상의 광학 요소를 통해 관찰자의 눈 안으로 안내될 수 있다. 광학 투시 유리 타입 디스플레이 장치는 장치의 좌측 유리 상에 좌측 이미지를 그리고 우측 유리 상에 우측 이미지를 표시하여 관찰자가 삼차원 깊이 인식을 경험할 수 있게 함으로써 입체적인 가상 이미지를 제공할 수 있다.
그러한 광학 투시 유리 타입 디스플레이 장치에서는, 가상 이미지가 입체 가상 이미지인 경우에 적절한 위치 및 크기는 물론, 적절한 깊이로 주변 장면 이미지 상에 가상 이미지를 제공하기 위해 장치가 처방 안경 기능을 제공하는 교정 표면들을 포함하는 경우에도 관찰자가 주변 장면 이미지와 공간적으로 일치하는 가상 이미지를 인식하는 것이 바람직하다.
토론토 대학의 연구소인 EyeTap Personal Imaging(ePI) 연구소는 플랫 빔 스플리터 플레이트의 사용을 통해 실세계와 가상 세계 사이의 상응을 인식하기 위해 안경류(eyewear) 내에 디스플레이와 카메라를 결합하는 "아이탭(EyeTap)" 기술을 개발하였으며, http://www.eyetap.org/research/eyetap.html을 참조한다. 그러나, 이러한 기술은 안경류가 처방 안경을 포함하는 상황에 관한 것은 아니다.
발명의 요약
본 발명의 일 양태에 따르면, 광학 투시 유리 타입 디스플레이 장치는 교정 전면 및 교정 배면을 갖는 광학 유닛; 가상 이미지를 투영하는 이미지 투영기; 및 주변 장면 이미지를 캡처하기 위한 이미지 센서를 포함한다. 광학 유닛은 교정 전면을 통해 나오는 주변 장면 이미지의 광을 이미지 센서로 안내하고, 가상 이미지의 광이 교정 배면을 통해 나가도록 가상 이미지의 광을 안내하도록 구성된다. 제1 광학 보상 요소가 광학 유닛과 이미지 센서 사이의 광 경로 내에 배치되고, 제2 광학 보상 요소가 이미지 투영기와 광학 유닛 사이의 광 경로 내에 배치된다. 장치는 이미지 센서에 의해 캡처된 주변 장면 이미지를 분석하여 주변 장면 이미지의 분석 결과에 따라 이미지 투영기에 제공될 가상 이미지를 준비하도록 구성되는 처리 모듈을 더 포함한다.
본 발명의 목적 및 장점들은 청구항들에서 구체적으로 지시되는 요소들 및 조합들을 통해 실현되고 달성될 것이다.
위의 일반적인 설명만이 아니라 아래의 상세한 설명도 청구 발명을 한정하는 것이 아니라, 예시적이고 설명을 위한 것이라는 것을 이해해야 한다.
본 발명의 이들 및 다른 양태들, 특징들 및 장점들은 첨부 도면들과 관련된 아래의 설명으로부터 명확해질 것이다. 도면들에서:
도 1은 본 발명의 일 실시예에 따른 투시 유리 타입 디스플레이 장치를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 투시 유리 타입 디스플레이 장치의 컴포넌트들의 블록도이다.
도 3은 주변 장면으로부터 나오고 이미지 센서에 의해 캡처되는 광에 대한 제1 광 경로 및 이미지 투영기로부터 투영되고 관찰자의 눈을 향하는 광에 대한 제2 광 경로를 나타내는 개략도이다.
아래의 설명에서는 본 발명의 일 실시예의 다양한 양태들이 설명된다. 설명의 목적으로, 충분한 이해를 제공하기 위해 특정 구성들 및 상세들이 설명된다. 그러나, 이 분야의 기술자에게는 본 발명이 본 명세서에 존재하는 특정 상세 없이도 구현될 수 있다는 것 또한 명백할 것이다.
도 1은 본 발명의 일 실시예에 따른 투시 유리 타입 디스플레이 장치를 나타낸다.
도 1에 도시된 바와 같이, 투시 유리 타입 디스플레이 장치(100)는 전면 유리 플레이트(112), 중간 유리 플레이트(114) 및 배면 유리 플레이트(116)를 갖는 유리 플레이트 유닛(110), 이미지 센서(120), 이미지 투영기(130)를 포함할 수 있다. 이미지 센서(120)는 제1 광학 광 안내 요소(122)를 통해 전면 유리 플레이트(112)에 광학적으로 접속되며, 이미지 투영기(130)는 제2 광학 광 안내 요소(132)를 통해 중간 유리 플레이트(114)에 광학적으로 접속된다. 제1 광학 보상 요소(124)가 전면 플레이트(112)와 이미지 센서(120) 사이의 광 경로 내에, 전면 플레이트(112)의 방출 단부 뒤에 배치된다. 또한, 제2 광학 보상 요소(134)가 이미지 투영기(130)와 중간 플레이트(114) 사이의 광 경로 내에, 중간 플레이트(114)의 입사 단부 앞에 배치된다. 광학 보상 요소들(124, 134)에 대한 상세들은 아래에서 설명된다.
장치(100)는 안경 타입 장치일 수 있으며, 따라서 장치(100)는 2개의 유리 플레이트 유닛을 접속하는 브리지(도시되지 않음) 및 장치(100)를 적소에 유지하는 것을 돕기 위해 관찰자의 귀들 위로 각각 연장하는 템플 아암들(temple arms)(도시되지 않음)도 포함한다. 도 1에는 도시의 간소화를 위해 관찰자의 우안(105)에 대한 장치(100)의 절반 컴포넌트들만이 도시된다.
전면 유리 플레이트(112)는 관찰자의 근시(near-sight(myopia)) 또는 원시(far-sight(hyperopia))를 교정하기 위해 주변 장면 측에 배치되는 교정 전면(112a)(도 1에는 굴곡이 도시되지 않음)을 갖는다. 유리 플레이트(112)의 교정 전면(112a)은 주변 장면으로부터 나오는 광(150)을 광이 유리 플레이트(112) 내로 들어갈 때 굴절시킨다.
유리 플레이트 유닛(110)은 전면 유리 플레이트(112)와 중간 유리 플레이트(114) 사이에 분리층(113)을 갖는다. 분리층(113)은 예를 들어 프레넬 구조를 가질 수 있다. 분리층(113)은 입사광의 일부를 반사하고 입사광의 나머지 부분을 투과시키는 반반사성을 갖는다.
분리층(113)은 주변 장면으로부터 나오는 광빔을 전면 유리 플레이트(112)의 교정 전면(112a)을 통해 재지향시켜 광빔이 플레이트(112)의 양면 사이에서의 내부 전반사(TIR)에 의해 전면 유리 플레이트(112) 내에서 측방으로 전파되게 할 것이다. 유리 플레이트(112) 내에서 전파되는 광빔은 제1 광학 광 안내 요소(122)를 통해 이미지 센서(120)로 이동하여 이미지 센서(120) 상에서 캡처될 것이다. 분리층(113)은 주변 장면으로부터 나오는 광을 투과시켜 분리층(113)을 통해 관찰자의 눈(105)을 향해 이동시킨다.
이미지 투영기(130)는 가상 이미지를 투영하도록 구성된다. 이미지 투영기(130)에 의해 투영되는 가상 이미지의 광빔은 제2 광학 광 안내 요소(132)를 통해 안내되어, 중간 유리 플레이트(114) 내로 들어간다. 광빔(160)은 플레이트(114)의 양면 사이에서의 내부 전반사(TIR)에 의해 중간 유리 플레이트(114) 내에서 측방으로 전파된다. 이어서, 광빔의 적어도 일부가 분리층(113)에 의해 반사되어 관찰자의 눈(105)을 향한다. 그 결과, 가상 이미지가 관찰자에게 제공된다.
중간 유리 플레이트(114) 뒤의 배면 유리 플레이트(116)는 관찰자의 근시 또는 난시를 교정하기 위해 관찰자의 눈 쪽에 배치되는 교정 배면(116a)을 갖는다. 교정 배면(116a)은 배면 유리 플레이트(116)로부터 나오는 광을 굴절시킨다.
전면 유리 플레이트(112)의 교정 전면(112a) 및 배면 유리 플레이트(116)의 교정 배면(116a)의 곡률들은 시력 검사를 통해 미리 결정될 수 있는 관찰자의 시각 특성들에 따라 결정될 수 있다는 점에 유의해야 한다. 또한, 분리층(113)의 반반사 요소들의 치수들, 각도들 및 반사/투과 레벨은 전술한 주변 장면 이미지 광 및 가상 이미지 광에 대한 광 경로들이 유리 플레이트 유닛(110) 내에 형성되도록 정의될 수 있다는 점에 유의해야 한다. 또한, 예를 들어, 분리층(113)의 영역을 제외한 전면 유리 플레이트(112)와 중간 유리 플레이트(114) 간의 경계면 및 중간 유리 플레이트(114)와 배면 유리 플레이트(116) 간의 경계면은 유리 플레이트들(112, 114, 116)의 굴절률보다 낮은 굴절률을 갖는 투명 수지로 형성될 수 있으며, 따라서 전면 유리 플레이트(112) 및 중간 유리 플레이트(114) 내에서 내부 전반사(TIR)가 실현될 수 있다.
장치(100)는 이미지 센서(120) 및 이미지 투영기(130)에 접속된 처리 모듈(140)을 더 포함한다. 모듈(140)은 1) 예를 들어 주변 장면 이미지 내의 추적 특징을 특정하기 위해 이미지 센서(120)에 의해 캡처된 주변 장면 이미지의 분석; 및 2) 캡처된 주변 장면 이미지 내의 추적 특징의 위치 및 크기에 따라 가상 이미지가 적절한 위치에 적절한 크기로 유리 플레이트 유닛(110) 상에 제공되도록 가상 이미지를 제공하기 위한 가상 이미지 오버레이를 수행하도록 구성된다.
도 2는 본 발명의 일 실시예에 따른 투시 유리 타입 디스플레이 장치의 컴포넌트들의 블록도이다. 도 2에 도시된 바와 같이, 장치(200)의 컴포넌트들은 이미지 투영기(210), 처리 모듈(230) 및 이미지 센서(250)를 포함한다. 이미지 투영기(210) 및 이미지 센서(250)는 각각 유선 또는 무선 접속들을 통해 모듈(230)에 접속된다.
이미지 투영기(210)는 가상 이미지를 투영하기 위한 디스플레이(215), 디스플레이(215)를 제어하기 위한 제어기(220) 및 디스플레이(215)로부터의 광을 광학 광 안내 요소(132)(도 1)로 안내하기 위한 광학 요소(225)를 포함한다. 디스플레이(215)의 예시적인 구현은 LCD(액정 디스플레이) 및 LED(발광 다이오드) RGB 광원 모듈에 의해 이루어질 수 있다. 디스플레이(215)를 구현하기 위해 임의의 다른 기술들이 이용될 수 있다는 점에 유의해야 한다.
모듈(230)은 수신기(235) 및 메모리(240)를 포함한다. 이러한 수신기(235) 및 메모리(240)는 가상 이미지로서 투영될 이미지들 또는 비디오들을 수신 및 저장하도록 구성되며 - 이미지들 또는 비디오들은 임의 타입의 외부 장치(도시되지 않음) 내에 저장되고, 유선 또는 무선 접속을 통해 외부 장치로부터 수신됨 -, 또한 이미지 센서(250)로부터 캡처된 주변 장면 이미지를 수신 및 저장하도록 구성된다.
모듈(230)은 프로세서(245)를 더 포함한다. 프로세서(245)는 메모리(240)에 저장된 주변 장면 이미지의 분석을 수행하여, 예를 들어 주변 장면 이미지 내의 추적 특징의 크기 및/또는 위치를 특정한다. 일례에서, 추적 특징은 관찰자의 눈들의 정면에 뻗은 관찰자의 손일 수 있다. 프로세서(245)는 또한 가상 이미지를 제공하기 위한 가상 이미지 오버레이를 수행하며, 따라서 가상 이미지 형성 빔이 캡처된 주변 장면 이미지 내의 추적 특징의 위치 및 크기에 따라 적절한 위치에 적절한 크기로 유리 플레이트 유닛(110) 상에 제공된다.
일례에서, 프로세서(245)는 유리 플레이트 유닛(110) 내의 분리층(113)의 영역에 표시될 가상 이미지의 크기 및 위치를 캡처된 주변 장면 이미지 내의 추적된 관찰자의 손의 위치 및 크기에 따라 결정할 수 있으며, 따라서 가상 이미지는 유리 플레이트 유닛(110)을 통해 관찰되는 주변 장면 이미지 내의 추적된 관찰자의 손 위에 또는 그에 인접하게 중첩될 수 있고, 가상 이미지는 관찰자의 손과 함께 이동할 수 있다. 가상 이미지는 수신기(235)에 의해 수신되고 메모리(240)에 저장되는 이미지, 비디오, 텍스트 정보 등일 수 있다. 이미지 투영기(210)에 제공될 가상 이미지는 전술한 바와 같이 주변 장면 이미지의 분석 결과에 따라 프로세서(245)에 의해 준비된다. 조정된 크기 및 위치를 갖는 가상 이미지의 데이터가 프로세서(245)에 의해 이미지 투영기(210)로 출력되고, 이어서 조정된 크기 및 위치를 갖는 가상 이미지가 이미지 투영기(210)에 의해 투영된다.
전술한 바와 같이, 프로세서(245)는 주변 장면 이미지의 분석을 수행하여 주변 장면 이미지 내의 추적 특징의 크기 및/또는 위치를 특정한다. 주변 장면 이미지의 분석은 표시될 가상 이미지의 교정을 위해 필요하며, 따라서 프로세서(245) 상에서의 분석 프로세스 및 이미지 센서(250) 상에서의 이미징 동작은 교정이 달성되면 비활성화 또는 제거될 수 있다. 비활성화의 경우, 그러한 프로세스 및 동작은 주변 장면 이미지 내의 추적 특징의 크기 및/또는 위치가 다시 특정되어야 할 때, 예를 들어 주변 장면 이미지 및 추적될 특징이 변경될 때 재활성화될 수 있다. 이미지 센서 및 이미징 동작의 제거는 장면 캡처를 필요로 하지 않는 소비자 사용을 위해 적합하다. 이 경우, 교정은 예를 들어 안경 가게에서 전문 장비를 이용하여 수행될 수 있다. 이 경우, 소비자 안경 제품의 복잡성 및 비용이 감소될 수 있다.
도 1을 참조하면, 투영기(130)에 의해 투영되는 가상 이미지 광(160)은 중간 유리 플레이트(114) 내에 전파되며, 가상 이미지 광(160)의 적어도 일부가 분리층(113)에 의해 관찰자의 눈(105)을 향해 재지향된다. 재지향된 광은 눈(105) 안의 망막에 도달하고, 이어서 관찰자는 유리 플레이트 유닛(110)을 통해 관찰되는 주변 장면 이미지 상에 중첩된 가상 이미지를 인식할 것이다. 교정 배면(116a)은 주변 장면 이미지 광 및 배면 유리 플레이트(116)로부터 나오는 가상 이미지 광을 모두 굴절시킨다.
도 3은 주변 장면으로부터 나오고 이미지 센서에 의해 캡처되는 광에 대한 제1 광 경로 및 이미지 투영기로부터 투영되고 관찰자의 눈을 향하는 광에 대한 제2 광 경로를 나타내는 개략도이다. 도 3에 도시된 전면 유리 플레이트(310), 제1 광학 보상 요소(315) 및 이미지 센서(320)는 도 1에 도시된 요소들(112, 124, 120)에 각각 대응한다. 또한, 도 3에 도시된 이미지 투영기(350), 제2 광학 보상 요소(355), 배면 유리 플레이트(360)는 도 1에 도시된 요소들(130, 134, 116)에 각각 대응한다.
도 1 및 3을 참조하면, 전술한 바와 같이, 전면 유리 플레이트(112) 내로 들어가는 광은 플레이트(112)의 교정 전면(112a)에 의해 굴절된다. 따라서, 전면 유리 플레이트(112) 내로 들어가고, 플레이트(112) 내에서 전파되고, 이미지 센서(120)에 의해 캡처되는 주변 장면 이미지는 전면 유리 플레이트(112)의 교정 전면(112a)에 의해 변형(확대, 축소 또는 왜곡)된다. 캡처된 주변 장면 이미지에 대해 보상이 적용되지 않는 경우, 주변 장면 이미지는 모듈(230)(도 2) 내의 프로세서(245)에 의해 올바르게 인식되지 못하며, 이는 프로세서(245)에 의해 출력될 가상 이미지의 잘못된 위치 또는 크기 결정을 유발하여, 유리 플레이트 유닛(110)을 통해 관찰되는 주변 장면 이미지와 주변 장면 이미지 상에 중첩될 가상 이미지 사이의 공간 불일치를 유발할 것이다. 그러한 보상은 프로세서(245)에 의해 수행되는 임의 종류의 이미지 처리에 의해 실현될 수 있지만, 이러한 솔루션은 프로세서(245) 상에서의 많은 계산 비용을 필요로 하며, 이미지 처리 동안의 리샘플링 또는 보간으로 인해 캡처된 주변 장면 이미지의 품질 손실을 유발할 것이다.
캡처된 주변 장면 이미지의 변형을 보상하기 위한 이미지 처리를 필요로 하지 않는 상이한 접근법이 본 발명에 따른 일 실시예에 의해 제공된다. 실시예에서, 제1 광학 보상 요소(124)가 이미지 센서(120)의 입력단에 제공된다. 광학 보상 요소(124)는 광학 렌즈 또는 광학 표면 등일 수 있다. 광학 보상 요소(124)는 전면 유리 플레이트(112)의 교정 전면(112a)에 의해 유발되는 주변 장면 이미지의 변형을 보상하거나 취소하는 광학 특성을 갖는다. 광학 보상 요소(124)의 광학 특성은 제조시에 전면 유리 플레이트(112)의 교정 전면(112a)의 광학 특성에 기초하여 선택될 수 있다. 광학 보상 요소(124)로 인해, 이미지 센서(120)는 이미지 센서(120)의 이미징 영역 상에 형성되는 보상된 "오리지널" 주변 장면 이미지를 캡처할 수 있다.
또한, 전술한 바와 같이, 이미지 투영기(130)로부터 투영되고, 중간 유리 플레이트(114) 내에서 전파되고, 분리층(160)에 의해 관찰자의 눈(105)을 향해 재지향되는 광은 배면 유리 플레이트(116)의 교정 배면(116a)에 의해 굴절된다. 따라서, 관찰자의 눈(105)은 배면 유리 플레이트(116)의 교정 배면(116a)에 의해 변형(확대, 축소 또는 왜곡)된 가상 이미지를 본다. 관찰자에게 제공될 가상 이미지에 대해 어떠한 보상도 적용되지 않는 경우, 관찰자는 유리 플레이트 유닛(110)을 통해 관찰되는 주변 장면 상에 중첩된 가상 이미지를 부적절한 위치에서 그리고/또는 부적절한 크기로 관찰할 것이며, 이는 유리 플레이트 유닛(110)을 통해 관찰되는 주변 장면 이미지와 주변 장면 이미지 상에 중첩될 가상 이미지 사이의 공간 불일치를 유발할 것이다. 가상 이미지는 교정 배면(116a)에 의해 유발되는 변형을 고려하여 이미지 처리에 의해 미리 변형될 수 있지만, 이러한 접근법은 많은 계산 비용을 필요로 하며, 이미지 처리 동안의 리샘플링 또는 보간으로 인해 가상 이미지의 품질 손실도 유발할 것이다.
이 실시예에서는, 제2 광학 보상 요소(134)가 이미지 투영기(130)의 출력단에 제공된다. 광학 보상 요소(134)는 광학 렌즈 또는 광학 표면 등일 수 있다. 광학 보상 요소(134)는 배면 유리 플레이트(116)의 교정 배면(116a)에 의해 유발되는 가상 이미지의 변형을 보상하거나 취소하는 광학 특성을 갖는다. 광학 보상 요소(134)의 광학 특성은 제조시에 배면 유리 플레이트(116)의 교정 배면(116a)의 광학 특성에 기초하여 선택될 수 있다. 실시예에 따르면, 이미지 투영기(130)에 의해 투영되는 "오리지널" 가상 이미지는 광학 보상 요소(134)에 의해 변형(확대, 축소 또는 왜곡)되고, 이어서 "변형된" 가상 이미지 광은 중간 유리 플레이트(114) 내에서 내부 전반사(TIR)에 의해 전파되고, 분리층(160)에 의해 반사되어 관찰자의 눈(105)을 향해 재지향되고, 마지막으로 배면 유리 플레이트(116)로부터 그의 교정 배면(116a)을 통해 나간다. "변형된" 가상 이미지는 "변형된" 가상 이미지 광이 교정 배면(116a)으로부터 나갈 때 유발되는 굴절에 의해 "오리지널" 가상 이미지로 복원된다. 따라서, "오리지널" 가상 이미지가 관찰자의 눈(105)에 제공된다.
전술한 바와 같이, 도 1에는, 도시의 간소화를 위해, 관찰자의 우안에 대한 장치(100)의 절반 컴포넌트들만이 도시된다. 그러나, 장치(100)는 도 1에 도시된 바와 같이 대칭 방식으로 관찰자의 좌안에 대한 동일 컴포넌트들을 포함할 수 있으며, 이는 관찰자의 양 눈에 가상 이미지를 제공할 것이라는 점에 유의해야 한다. 대안으로서, 장치(100)는 관찰자의 좌안에 대해 단일의 간단한 유리 플레이트 및 유리 플레이트에 접속된 템플만을, 또는 유리 플레이트를 갖지 않는 빈 프레임 및 프레임에 접속된 템플만을 포함할 수 있으며, 이는 관찰자의 한 눈에만 가상 이미지를 제공하지만, 소정의 사용 목적에는 허용될 수 있을 것이다.
위에서 유리 플레이트 유닛(110)은 전면 유리 플레이트(112), 중간 유리 플레이트(114) 및 배면 유리 플레이트(116)의 3개 요소를 포함하는 상황에서 설명되었다. 그러나, 유리 플레이트 유닛(110)은 유리 플레이트 유닛의 전술한 기능들을 수행하는 한은 임의의 구성들을 가질 수 있다는 점에 유의해야 하며, 그러한 기능들은 적어도 가상 이미지 광의 주입 및 추출, 주변 장면 이미지 광 및 가상 이미지 광의 안내, 및 시각적 교정을 포함할 수 있다. 이러한 점에서, 2개의 인접 플레이트(112, 114) 및/또는 2개의 인접 플레이트(114, 116)는 서로 통합될 수 있으며, 따라서 유리 플레이트 유닛(110)은 3개보다 적은 플레이트를 가질 수 있다.
또한, 전술한 예들에서, 주변 장면 이미지 광(150) 및 가상 이미지 광(160)은 플레이트들(112, 114) 각각 내에서의 내부 전반사(TIR)에 의해 안내된다. 유리 플레이트 유닛(110)은 TIR 접근법과 다른 접근법을 이용하여 광들(150, 160) 중 적어도 하나를 안내하도록 구성될 수 있다는 점에 유의해야 한다. 예를 들어, 분리층(113) 상에서 반사되는 주변 장면 이미지 광(150)은 제1 광학 보상 요소(124)를 통해 이미지 센서(120) 상에 직접 집광될 수 있고/있거나, 이미지 투영기(130)로부터 투영되어 제2 광학 보상 요소(134)를 통과하는 가상 이미지 광(160)은 분리층(113)에 직접 인가될 수 있다.
또한, 본 발명의 일 실시예에서, 유리 플레이트 유닛(110)은 분리층(113) 대신에, 요소들 중 적어도 2개의 요소 사이에 갭이 존재하도록 배치되는 반사성 미러 요소들의 어레이를 포함할 수 있다. 본 발명의 다른 실시예에서, 유리 플레이트 유닛(110)은 분리층(113) 대신에, 요소들 중 적어도 2개의 요소 사이에 갭이 존재하는 방식으로 서로 또한 이격되는 반반사성 미러 요소들의 어레이를 포함할 수 있다. 그러한 갭은 외부 광이 갭을 통과하는 것을 가능하게 한다.
본 명세서에서 설명된 모든 예들 및 조건부 표현은 독자가 본 발명 및 본 발명자에 의해 기술 발전에 기여되는 개념들을 이해하는 것을 돕기 위한 교육적인 목적을 위해 의도되며, 그러한 구체적으로 설명된 예들 및 조건들로 한정되지 않는 것으로 해석되어야 하고, 또한 명세서 내의 그러한 예들의 구성은 본 발명의 우수성 및 열등함을 설명하는 것과는 무관하다.

Claims (6)

  1. 광학 투시 유리 타입 디스플레이 장치로서,
    교정 전면 및 교정 배면을 갖는 광학 유닛;
    가상 이미지를 투영하는 이미지 투영기; 및
    주변 장면 이미지를 캡처하기 위한 이미지 센서
    를 포함하고,
    상기 광학 유닛은 상기 교정 전면을 통해 나오는 상기 주변 장면 이미지의 광을 상기 이미지 센서로 안내하고, 상기 가상 이미지의 광이 상기 교정 배면을 통해 나가도록 상기 가상 이미지의 광을 안내하도록 구성되고,
    제1 광학 보상 요소가 상기 광학 유닛과 상기 이미지 센서 사이의 광 경로 내에 배치되고, 제2 광학 보상 요소가 상기 이미지 투영기와 상기 광학 유닛 사이의 광 경로 내에 배치되며,
    상기 장치는 상기 이미지 센서에 의해 캡처된 상기 주변 장면 이미지를 분석하여 상기 주변 장면 이미지의 분석 결과에 따라 상기 이미지 투영기에 제공될 가상 이미지를 준비하도록 구성되는 처리 모듈을 더 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 처리 모듈은 상기 주변 장면 이미지의 분석에 의해 상기 주변 장면 이미지 내의 추적 특징(tracked feature)을 특정하고, 상기 추적 특징의 크기 및 위치에 따라 상기 가상 이미지를 준비하도록 구성되는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 제1 광학 보상 요소는 상기 교정 전면에 의해 유발되는 이미지의 변형을 보상하기 위한 광학 특성을 가지며, 상기 제2 광학 보상 요소는 상기 교정 배면에 의해 유발되는 이미지의 변형을 보상하기 위한 광학 특성을 갖는 디스플레이 장치.
  4. 제1항에 있어서,
    상기 광학 유닛은 분리층을 포함하고, 상기 분리층은 입사 광의 일부를 반사하고, 상기 입사 광의 나머지 부분을 투과시키도록 구성되는 디스플레이 장치.
  5. 제1항에 있어서,
    상기 광학 유닛은 상기 교정 전면을 갖는 전면 플레이트, 상기 교정 배면을 갖는 배면 플레이트 및 상기 전면 플레이트와 상기 배면 플레이트 사이에 배열되는 중간 플레이트를 포함하는 디스플레이 장치.
  6. 제5항에 있어서,
    상기 제1 광학 보상 요소는 상기 전면 플레이트와 상기 이미지 센서 사이의 광 경로 내에 배치되며, 상기 제2 광학 보상 요소는 상기 이미지 투영기와 상기 중간 플레이트 사이의 광 경로 내에 배치되는 디스플레이 장치.
KR1020140182632A 2013-12-20 2014-12-17 광학 투시 유리 타입 디스플레이 장치 및 대응하는 광학 유닛 KR102357180B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13306814.8A EP2887124A1 (en) 2013-12-20 2013-12-20 Optical see-through glass type display device and corresponding optical unit
EP13306814.8 2013-12-20

Publications (2)

Publication Number Publication Date
KR20150073853A true KR20150073853A (ko) 2015-07-01
KR102357180B1 KR102357180B1 (ko) 2022-01-28

Family

ID=50030033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140182632A KR102357180B1 (ko) 2013-12-20 2014-12-17 광학 투시 유리 타입 디스플레이 장치 및 대응하는 광학 유닛

Country Status (5)

Country Link
US (1) US10025094B2 (ko)
EP (2) EP2887124A1 (ko)
JP (1) JP6521623B2 (ko)
KR (1) KR102357180B1 (ko)
CN (1) CN104730854B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180121523A (ko) * 2016-03-18 2018-11-07 투즈 테크놀로지스 게엠베하 광학 화상화 요소를 위한 안경 렌즈, 및 증강 현실 글래스
KR20190133229A (ko) * 2017-04-17 2019-12-02 아코니아 홀로그래픽스 엘엘씨 스큐 미러 보조 이미징
US11016306B2 (en) 2015-09-02 2021-05-25 Sony Corporation Optical device and method for producing the same, and display device

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6314518B2 (ja) * 2014-02-10 2018-04-25 ソニー株式会社 画像表示装置及び表示装置
WO2016138428A1 (en) * 2015-02-27 2016-09-01 LAFORGE Optical, Inc. Augmented reality eyewear
US10146054B2 (en) * 2015-07-06 2018-12-04 Google Llc Adding prescriptive correction to eyepieces for see-through head wearable displays
DE102015116297A1 (de) * 2015-09-25 2017-03-30 Carl Zeiss Smart Optics Gmbh Abbildungsoptik sowie Anzeigevorrichtung mit einer solchen Abbildungsoptik
DE102015219482B4 (de) * 2015-10-08 2017-07-13 Carl Zeiss Vision International Gmbh Brille mit einem Brillenglas mit einem beweglichen Linsensegment
US10178378B2 (en) * 2016-04-12 2019-01-08 Microsoft Technology Licensing, Llc Binocular image alignment for near-eye display
WO2023196753A1 (en) * 2022-04-05 2023-10-12 Callisto Design Solutions Llc Display devices with in-field calibration

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091546A (en) * 1997-10-30 2000-07-18 The Microoptical Corporation Eyeglass interface system
US20130300653A1 (en) * 2011-08-29 2013-11-14 John R. Lewis Gaze detection in a see-through, near-eye, mixed reality display
US20140118225A1 (en) * 2012-10-31 2014-05-01 Robert Jerauld Wearable emotion detection and feedback system

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886822A (en) * 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
JP2002202475A (ja) * 2000-12-28 2002-07-19 Yazaki Corp 車両用表示装置
US20030058543A1 (en) 2001-02-21 2003-03-27 Sheedy James B. Optically corrective lenses for a head-mounted computer display
JP2004021078A (ja) * 2002-06-19 2004-01-22 Nikon Corp コンバイナ光学系、及び情報表示装置
DE10311972A1 (de) 2003-03-18 2004-09-30 Carl Zeiss HMD-Vorrichtung
DE50305854D1 (de) * 2003-09-03 2007-01-11 Zeiss Carl HMD-Vorrichtung (Head Mounted Display) mit einer eine asphärische Fläche aufweisenden Abbildungsoptik
JP4605152B2 (ja) * 2004-03-12 2011-01-05 株式会社ニコン 画像表示光学系及び画像表示装置
FR2872586B1 (fr) 2004-07-02 2006-09-29 Essilor Int Afficheur ophtalmique comportant un dispositif de reglage de la focalisation
FR2873212B1 (fr) * 2004-07-16 2011-06-10 Essilor Int Lentille opthalmique destinee a la realisation d'un afficheur optique
US7545571B2 (en) 2004-09-08 2009-06-09 Concurrent Technologies Corporation Wearable display system
JP5040061B2 (ja) * 2004-12-15 2012-10-03 コニカミノルタホールディングス株式会社 映像表示装置及び情報提供システム
JP4693552B2 (ja) 2005-08-30 2011-06-01 キヤノン株式会社 表示装置、制御装置、及び制御方法
JP5074777B2 (ja) 2006-05-22 2012-11-14 キヤノン株式会社 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム
WO2010123934A1 (en) * 2009-04-20 2010-10-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Optical see-through free-form head-mounted display
JP5402293B2 (ja) 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
US20120050044A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with biological state detection
US20120050140A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display control
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8988463B2 (en) * 2010-12-08 2015-03-24 Microsoft Technology Licensing, Llc Sympathetic optic adaptation for see-through display
CN201926834U (zh) 2011-01-19 2011-08-10 周广德 青少年近视矫治眼镜
US8508851B2 (en) * 2011-07-20 2013-08-13 Google Inc. Compact see-through display system
US20130021226A1 (en) 2011-07-21 2013-01-24 Jonathan Arnold Bell Wearable display devices
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US20130194389A1 (en) * 2012-01-31 2013-08-01 Ben Vaught Head-mounted display device to measure attentiveness
US8848289B2 (en) * 2012-03-15 2014-09-30 Google Inc. Near-to-eye display with diffractive lens
US20130300634A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
JP6145966B2 (ja) * 2012-05-09 2017-06-14 ソニー株式会社 表示装置
US9398229B2 (en) * 2012-06-18 2016-07-19 Microsoft Technology Licensing, Llc Selective illumination of a region within a field of view
EP2887123A1 (en) * 2013-12-18 2015-06-24 Thomson Licensing Optical see-through glass type display device and corresponding optical element
US9984507B2 (en) * 2015-11-19 2018-05-29 Oculus Vr, Llc Eye tracking for mitigating vergence and accommodation conflicts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091546A (en) * 1997-10-30 2000-07-18 The Microoptical Corporation Eyeglass interface system
US20130300653A1 (en) * 2011-08-29 2013-11-14 John R. Lewis Gaze detection in a see-through, near-eye, mixed reality display
US20140118225A1 (en) * 2012-10-31 2014-05-01 Robert Jerauld Wearable emotion detection and feedback system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11016306B2 (en) 2015-09-02 2021-05-25 Sony Corporation Optical device and method for producing the same, and display device
KR20180121523A (ko) * 2016-03-18 2018-11-07 투즈 테크놀로지스 게엠베하 광학 화상화 요소를 위한 안경 렌즈, 및 증강 현실 글래스
KR20190133229A (ko) * 2017-04-17 2019-12-02 아코니아 홀로그래픽스 엘엘씨 스큐 미러 보조 이미징
US11927765B2 (en) 2017-04-17 2024-03-12 Akonia Holographics Llc Skew mirror auxiliary imaging

Also Published As

Publication number Publication date
KR102357180B1 (ko) 2022-01-28
EP2887127A1 (en) 2015-06-24
JP2015132821A (ja) 2015-07-23
JP6521623B2 (ja) 2019-05-29
US20150177517A1 (en) 2015-06-25
US10025094B2 (en) 2018-07-17
EP2887127B1 (en) 2023-11-22
CN104730854B (zh) 2019-06-04
EP2887124A1 (en) 2015-06-24
CN104730854A (zh) 2015-06-24

Similar Documents

Publication Publication Date Title
KR102357180B1 (ko) 광학 투시 유리 타입 디스플레이 장치 및 대응하는 광학 유닛
US11921292B2 (en) Systems, devices, and methods for waveguide-based eyebox expansion in wearable heads-up displays
EP3398008B1 (en) Augmented reality display system with variable focus
CN107533227B (zh) 用于透视头戴式显示器的有效薄弯曲目镜
US9851565B1 (en) Increasing effective eyebox size of an HMD
US9345402B2 (en) Compact eye imaging and eye tracking apparatus
US20160327796A1 (en) Systems, devices, and methods for eyeboxes with heterogeneous exit pupils
US7992996B2 (en) Spectacles-type image display device
CN110637249A (zh) 使用衍射光学元件的眼睛成像装置
US20200252602A1 (en) Virtual image display device and head mounted display using same
US20130207887A1 (en) Heads-up display including eye tracking
US10282912B1 (en) Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning
US11287663B2 (en) Optical transmitting module and head mounted display device
US10412378B2 (en) Resonating optical waveguide using multiple diffractive optical elements
US10627565B1 (en) Waveguide-based display for artificial reality
KR20170118618A (ko) 눈 촬영 장치
US11914767B2 (en) Glint-based eye tracker illumination using dual-sided and dual-layered architectures
US11669159B2 (en) Eye tracker illumination through a waveguide
US20230213772A1 (en) Display systems with collection optics for disparity sensing detectors
US20230209032A1 (en) Detection, analysis and correction of disparities in a display system utilizing disparity sensing port
US20230115411A1 (en) Smart eyeglasses
JP2024501285A (ja) ヘッドマウントディスプレイ用接眼部撮像アセンブリ
WO2023158654A1 (en) Hybrid waveguide to maximize coverage in field of view (fov)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant