KR20170105617A - 눈과는 상이한 렌즈들의 위치를 교정하는 실제 장면을 보기 위한 가상 안경 세트 - Google Patents

눈과는 상이한 렌즈들의 위치를 교정하는 실제 장면을 보기 위한 가상 안경 세트 Download PDF

Info

Publication number
KR20170105617A
KR20170105617A KR1020177023720A KR20177023720A KR20170105617A KR 20170105617 A KR20170105617 A KR 20170105617A KR 1020177023720 A KR1020177023720 A KR 1020177023720A KR 20177023720 A KR20177023720 A KR 20177023720A KR 20170105617 A KR20170105617 A KR 20170105617A
Authority
KR
South Korea
Prior art keywords
virtual
user
lens
light field
image
Prior art date
Application number
KR1020177023720A
Other languages
English (en)
Other versions
KR102028088B1 (ko
Inventor
사무엘 마크 매트손
사무엘 마크 매트손
도미니크 필레몬 케저
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20170105617A publication Critical patent/KR20170105617A/ko
Application granted granted Critical
Publication of KR102028088B1 publication Critical patent/KR102028088B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H04N13/0406—
    • H04N13/044—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

가상 안경 세트는 프레임, 제1 가상 렌즈 및 제2 가상 렌즈, 그리고 프로세서를 포함할 수 있다. 프레임은 사용자의 머리에 장착될 수 있고 그리고 사용자의 좌측 눈 앞에 제1 가상 렌즈 및 사용자의 우측 눈 앞에 제2 가상 렌즈를 유지할 수 있다. 각 렌즈의 제1 측면이 사용자를 향할 수 있고 그리고 각 렌즈의 제2 측면이 사용자와 반대 방향을 향할 수 있다. 제1 가상 렌즈 및 제2 가상 렌즈 각각은, 제1 측면 상의 라이트 필드 디스플레이 및 제2 측면 상의 라이트 필드 카메라를 포함할 수 있다. 프로세서는, 라이트 필드 카메라들 각각을 통해 수신되는 이미지 데이터에 기초하여 라이트 필드 디스플레이들 각각에서 디스플레이하기 위해, 사용자의 각 눈의 시각에서 이미지를 구성할 수 있다.

Description

눈과는 상이한 렌즈들의 위치를 교정하는 실제 장면을 보기 위한 가상 안경 세트
관련된 출원에 대한 상호참조
본원은 "눈과는 상이한 접촉들의 위치를 교정하는 실제 장면을 보기 위한 가상 안경 세트"라는 명칭을 갖는 2015년 4월 30일에 출원된 미국 가출원 62/155,424호의 우선권을 주장하고, 그 개시 내용은 참조로서 여기에 포함된다.
본 발명은 광학 시스템들에 관한 것이다.
예시적인 실시예에 따르면, 가상 안경 세트는 프레임, 제1 가상 렌즈 및 제2 가상 렌즈, 그리고 프로세서를 포함할 수 있다. 상기 프레임은 사용자의 머리에 장착하고 그리고 상기 사용자의 좌측 눈 앞에 제1 가상 렌즈 및 상기 사용자의 우측 눈 앞에 제2 가상 렌즈를 유지하도록 구성될 수 있다. 상기 제1 가상 렌즈는 상기 프레임에 의해 지지될 수 있고 그리고 상기 제2 가상 렌즈는 상기 프레임에 의해 지지될 수 있다. 상기 제1 가상 렌즈 및 상기 제2 가상 렌즈 각각은, 상기 가상 안경 세트가 상기 사용자의 머리에 장착될 때, 상기 렌즈의 제1 측면이 상기 사용자를 향하고 그리고 상기 렌즈의 제2 측면이 상기 사용자와 반대 방향을 향하도록 상기 프레임에 의해 지지될 수 있다. 상기 제1 가상 렌즈 및 상기 제2 가상 렌즈 각각은, 상기 제1 측면 상의 라이트 필드 디스플레이 및 상기 제2 측면 상의 라이트 필드 카메라를 포함할 수 있다. 상기 프로세서는 상기 프레임에 의해 지지될 수 있다. 상기 프로세서는, 상기 라이트 필드 카메라들 각각을 통해 수신되는 이미지 데이터에 기초하여 상기 라이트 필드 디스플레이들 각각에서 디스플레이하기 위해, 사용자의 각 눈의 시각으로부터 이미지를 구성하도록 구성될 수 있다.
다른 예시적인 실시예에 따르면, 가상 안경 세트는 프레임, 제1 가상 렌즈, 제2 가상 렌즈 및 프로세서를 포함할 수 있다. 상기 프레임은 사용자의 머리에 장착하고 그리고 상기 사용자의 좌측 눈 앞에 제1 가상 렌즈 및 상기 사용자의 우측 눈 앞에 제2 가상 렌즈를 유지하도록 구성될 수 있다. 상기 제1 가상 렌즈는 상기 프레임에 의해 지지될 수 있고 그리고 상기 제2 가상 렌즈는 상기 프레임에 의해 지지될 수 있다. 상기 제1 가상 렌즈 및 상기 제2 가상 렌즈 각각은, 상기 가상 안경 세트가 상기 사용자의 머리에 장착될 때, 상기 렌즈의 제1 측면이 상기 사용자를 향하고 그리고 상기 렌즈의 제2 측면이 상기 사용자와 반대 방향을 향하도록 상기 프레임에 의해 지지될 수 있다. 상기 제1 가상 렌즈 및 상기 제2 가상 렌즈 각각은, 상기 제1 측면 상의 디스플레이 및 상기 제2 측면 상의 광각 카메라를 포함할 수 있다. 상기 프로세서는 상기 프레임에 의해 지지될 수 있다. 상기 프로세서는, 상기 광각 카메라 각각에 의해 수신되는 이미지들을 절단(crop)하여 상기 디스플레이 각각에서 디스플레이하기 위해, 상기 이미지가 상기 사용자의 각 눈로부터 시작하는 원추형을 나타내도록 상기 각 렌즈들의 각 측면 상의 디스플레이가 상기 각 광각 카메라보다 좁은 각도로 이미지를 디스플레이하도록 되어 있다.
다른 예시적인 실시예에 따르면, 우측 렌즈 및 좌측 렌즈 각각에서, 상기 렌즈의 대향 측 상의 라이트 필드 카메라를 통해 수신된 데이터에 기초하여 라이트 필드 이미지를 디스플레이하도록 하는 가상 안경 세트로서, 상기 라이트 필드 이미지는 상기 가상 안경 세트를 착용하는 사용자의 눈의 시각으로부터 상기 가상 안경 세트 너머(beyond)에 있는 객체들의 이미지를 나타낸다.
하나 이상의 구현들의 세부 사항들은 첨부된 도면들 및 하기의 설명에서 제시된다. 다른 피처들은 설명 및 도면들 그리고 청구범위들로부터 명백할 것이다.
도 1a는 예시적인 실시예에 따른 가상 안경 세트를 착용하는 사용자의 다이어그램이다.
도 1b는 예시적인 실시예에 따른 가상 안경 세트 및 사용자의 눈들의 분해도이다.
도 1c는 예시적인 실시예에 따른 가상 안경 세트의 렌즈들을 도시한 평면도이다.
도 1d는 예시적인 실시예에 따른 가상 안경 세트에서 각 렌즈의 제1 측면을 나타내는 배면도이다.
도 1e는 예시적인 실시예에 따른 가상 안경 세트에서 각 렌즈의 제2 측면을 나타내는 정면도이다.
도 2는 예시적인 실시예에 따른 사용자의 눈들 및 렌즈들의 시야들을 도시한다.
도 3a는 객체가 2개의 렌즈들 중 제2 렌즈의 시야에 있는 예에서 사용자의 눈들 및 렌즈들을 도시한다.
도 3b는 객체가 각 렌즈의 일부 시점들의 시야에 있는 예에서 사용자의 눈들 및 렌즈들을 도시한다.
도 3c는 객체가 각 렌즈의 모든 시점들의 시야에 있는 예에서 사용자의 눈들 및 렌즈들을 도시한다.
도 4는 각 렌즈의 시야들 중 하나가 사용자의 눈들 중 하나로부터 객체까지의 광선에 의해 교차되는 예에서 사용자의 눈들 및 렌즈들을 도시한다.
도 5는 각 렌즈가 광각 카메라를 포함하는 예에서 사용자의 눈들 및 렌즈들을 도시한다.
도 6은 예시적인 실시예에 따른 가상 안경 세트에 포함되는 프로세서를 도시한다.
가상 안경 세트는, 사용자 앞의 실제 장면을 디스플레이하는 가상 안경 세트를 착용하는 사용자와 마주하는 각 렌즈의 제1 측면 상의 디스플레이, 및 사용자 앞의 실제 장면을 캡처하는 사용자와 반대방향의 각 렌즈의 제2 측면 상의 카메라를 포함할 수 있다. 렌즈들 상의 카메라보다 사용자의 눈들에 대한 원점이 서로 상이하므로, 사용자의 눈이 렌즈 뒤에 있는 거리를 보정하기 위해, 카메라들은 다수의 시점들을 갖는 라이트 필드 카메라(light field camera)들을 포함할 수 있고, 그리고 가상 안경 세트는 사용자에게 디스플레이하기 위해 눈들의 유리한 지점들로부터 이미지를 구성하여, 시차 효과를 제거하는 프로세서를 포함할 수 있다. 플렌옵틱 카메라(plenoptic camera)로 또한 고려될 수 있는 라이트 필드 카메라는, 다수의 카메라들 또는 서브카메라들 및/또는 다수의 렌즈들을 사용하여, 다수의 위치들 및/또는 시점들로부터 이미지들을 캡처할 수 있다. 다수의 위치들 및/또는 시점들로부터 이미지들을 캡처하는 것은, 이미지들이 실제로 캡처되지 않는 유리한 지점들 및/또는 위치들로부터 3차원 장면들의 이미지들이 구성될 수 있도록 한다. 평면 스크린이 아닌 3차원 장면의 이미지를 생성하기 위해, 디스플레이들은 다수의 디스플레이들을 갖는 라이트 필드 디스플레이들을 포함할 수 있다. 라이트 필드 디스플레이들은 사용자의 눈들 각각에 깊이 큐들을 갖는 3차원 이미지들을 제공할 수 있으므로, 라이트 필드 디스플레이를 들여다 보는 것은 사용자가 실제 장면을 들여다 보듯이 느끼도록 한다.
도 1a는 예시적인 실시예에 따른 가상 안경 세트(102)를 착용하는 사용자(100)의 다이어그램이다. 가상 안경 세트(102)는 사용자의 코(108) 및 귀들(110A, 110B) 상에 놓여질 수 있고 그리고/또는 장착될 수 있다. 가상 안경 세트(102)는, 사용자의 코(108) 및 귀들(110A, 110B)을 포함하는 사용자의 머리 상에 놓여지고 그리고/또는 장착되는 프레임(104)을 포함할 수 있다.
가상 안경 세트(102)는 2개의 렌즈들(106A, 106B)을 포함할 수 있다. 사용자(100)가 깨끗한 그리고/또는 존재하지 않는 렌즈를 통해 보고 있는 것처럼, 렌즈들(106A, 106B)은 사용자(100) 앞에 실제 장면의 이미지를 나타내는 것처럼 보이기 때문에 가상 렌즈들로 고려될 수 있다. 렌즈들(106A, 106B)은 프레임(104)에 의해 지지될 수 있어, 가상 안경 세트가 사용자(100)의 머리에 장착될 때, 렌즈들(106A, 106B) 각각은 사용자의 눈들 중 하나의 바로 앞에 존재한다(도 1A에 도시되지 않음).
도 1b는 예시적인 실시예에 따른 가상 안경 세트(102) 및 사용자의 눈들(112A, 112B)의 분해도이다. 도 1b에 도시된 바와 같이, 가상 안경 세트(102)는 프레임(104), 렌즈들(106A, 106B) 및 프로세서(113)를 포함할 수 있다. 프로세서(113)는, 사용자와 반대 방향의 카메라(도 2b에서 도시되지 않음)로부터의 입력을, 렌즈들(106A, 106B) 각각으로부터 수신할 수 있고, 그리고 사용자를 향하는 렌즈들(106A, 106B)의 제1 측면 상의 디스플레이(도 2b에서 도시되지 않음) 상에서 표시 및/또는 디스플레이를 하기 위해, 사용자의 눈들(112A, 112B)과 같은 동일한 유리한 지점 및/또는 시각을 갖는 이미지를 구성할 수 있다. 제1 렌즈(106A) 및/또는 좌측 렌즈의 제1 측면 상의 제1 라이트 필드 디스플레이는 사용자의 제1 눈(112A) 및/또는 좌측 눈과 동일한 유리한 지점 및/또는 시각을 갖는 제1 이미지를 디스플레이할 수 있고, 그리고 제2 렌즈(106B) 및/또는 우측 렌즈의 제1 측면 상의 제2 라이트 필드 디스플레이는 사용자의 제2 눈(112B) 및/또는 우측 눈과 동일한 유리한 지점 및/또는 시각을 갖는 이미지를 디스플레이할 수 있어, 사용자를 위한 3차원 장면의 효과를 생성한다.
도 1c는 예시적인 실시예에 따른 가상 안경 세트(102)의 렌즈들(106A, 106B)을 도시한 평면도이다. 도 1c에서 도시된 것처럼, 렌즈들(106A, 106B)의 각각은 사용자의 눈들(112A, 112B)(도 1c에서 도시되지 않음)을 향하는 제1 측면(118A) 및 사용자(100)와 반대방향의 제2 측면(120A, 120B)을 포함할 수 있다.
각 렌즈들(106A, 106B)의 제1 측면(118A, 118B)은 라이트 필드 디스플레이(114B, 114B)를 포함할 수 있다. 라이트 필드 디스플레이(114A, 114B)는 사용자(100)의 각 눈(112A, 112B)에 라이트 필드 이미지를 나타내기 위해 다수의 픽셀들을 포함할 수 있다. 라이트 필드 이미지는 사용자(100)의 각 눈(112A, 112B)의 시각 및/또는 유리한 지점으로부터 사용자(100) 앞에 있는 실제의 라이브 장면의 재구성된 이미지일 수 있다. 2개의 렌즈들(106A, 106B)의 라이트 필드 디스플레이들(114A, 114B)은, 함께, 사용자(100) 앞에 라이브 실제 장면의 3차원 이미지를 발생시킬 수 있어, 사용자(100)가 프레임(104)에서 투명한 그리고/또는 존재하지 않는 렌즈들(106A, 106B)을 들여다 보는 것처럼 이미지가 보인다.
예시적인 실시예에서, 렌즈들(106A, 106B) 각각은 또한 렌즈(106A, 106B)의 제1 측면(118A, 118B) 상에 방향 카메라(122A, 122B)를 또한 포함할 수 있다. 방향 카메라들(122A, 122B)은 사용자의 망막들 및/또는 눈들(112A, 112B)의 이미지들을 캡처할 수 있고, 그리고 프로세서(113)(도 1c에 도시되지 않음)와 결합하여, 사용자(100)의 눈들(112A, 112B) 및/또는 망막들이 가리키는 방향 및/또는 사용자(100)가 바라보는 방향을 결정할 수 있다. 프로세서(113)는, 방향 카메라(122A, 122B)에 의해 캡처된 이미지들을 기초로 결정된 방향에 근거하여, 라이트 필드 카메라들(116A, 116B)로부터 수신된 이미지 데이터 및 갭처된 방향에 기초하여 사용자(100)의 눈들(112A, 112B)의 시각 및 방향으로부터 각 라이트 필드 디스플레이(114A, 114B)에 의해 디스플레이하기 위한 이미지들을 생성하고 그리고/또는 구성함으로써, 사용자(100)가 보고 있는 방향과 일치하는 이미지를 생성한다.
예시적인 실시예에서, 방향 카메라들(122A, 122B) 대신에 또는 방향 카메라들(122A, 122B)에 더하여, 렌즈들(106A, 106B) 각각의 제1 측면(118A, 118B)은 시력 카메라를 포함할 수 있다. 제1 측면(118A, 118B) 상의 시력 카메라는 방향 카메라(122A, 122B)에 추가된 제2 카메라일 수 있거나 또는 방향 카메라(122A, 122B)는 시력 카메라의 기능들을 또한 수행할 수 있다. 시력 카메라는 사용자(100)의 각 눈(112A, 112B)에서 사용자(100)의 망막의 이미지를 캡처할 수 있다. 시력 카메라에 의해 캡처된 사용자(100)의 망막의 이미지에 기초하여, 프로세서(113)(도 1c에서 도시되지 않음)는 사용자(100)의 시력을 결정할 수 있다. 프로세서(113)는, 예를 들어, 사용자(100)가 근시인지, 원시인지 또는 눈들(112A, 112B) 중 하나 또는 둘 모두에서 난시를 갖는지를 포함하여, 사용자(100)의 시력을 결정할 수 있다. 사용자(100)의 시력의 결정에 기초하여, 프로세서(113)는 특정 사용자에 대한 이미지의 가시성을 최대화하기 위해 각 라이트 필드 디스플레이(114A)에 의한 디스플레이를 위해 이미지를 수정 및/또는 구성할 수 있다. 프로세서(113)는 또한 사용자(100)의 시력과 관련하여 사용자(100)로부터 수신된 입력에 기초하여 이미지를 수정 및/또는 구성할 수 있다.
각 렌즈(106A, 106B)의 제2 측면(120A, 120B)은 라이트 필드 카메라(116A, 116B)를 포함할 수 있다. 각 렌즈(106A, 106B)의 라이트 필드 카메라(116A, 116B)는 도 1e에 도시된 것처럼 다수의 시점들을 포함할 수 있고 그리고/또는 다수의 시점들로 구성될 수 있어, 다수의 위치들, 유리한 지점들 및/또는 시각들로부터 이미지들을 렌더링할 수 있고 그리고/또는 캡처할 수 있는 라이트 필드 카메라들(116A, 116B)을 만든다. 다수의 시점들은 상이한 위치들에서 다수의 카메라들의 시점들에 대응할 수 있고, 각 카메라가 자체 렌즈를 가지거나 다수 카메라들이 단일 렌즈를 공유하거나 또는 단일 카메라가 다수의 렌즈들을 사용한다. 하나 또는 다수의 카메라들의 렌즈 중 일부 또는 전부는 프레넬 렌즈(Fresnel lense)들을 포함할 수 있다. 프레넬 렌즈들은 하나의 카메라 또는 다수의 카메라들 각각의 시야를 증가시킬 수 있다. 프로세서(113)는, 각 라이트 필드 카메라(116A, 116B)의 다수의 시점들로부터 입력을 수신할 수 있고, 그리고, 다수의 시점들로부터 수신된 입력에 기초하여, 어떤 시점들에 의해 점유되지 않은 위치들 및/또는 유리한 지점들로부터 이미지들을 구성할 수 있다.
도 1d는 예시적인 실시예에 따른 사용자(100)와 마주하는 가상 안경 세트(102)(다른 컴포넌트들은 도 1d에서 도시되지 않음)에서 렌즈들(106A, 106B)의 각각의 제1 측면(118A, 118B)을 나타내는 배면도이다. 도 1d에서 도시된 것처럼, 렌즈들(106A, 106B) 각각의 제1 측면(118A, 118B) 상의 라이트 필드 디스플레이들(114A, 114B)(도 1d에서 도시되지 않음)은 다수의 서브디스플레이들(124A, 124B)로 구성될 수 있고 그리고/또는 다수의 서브디스플레이들(124A, 124B)을 포함할 수 있다. 다수의 서브디스플레이들(124A, 124B) 각각은 개별 이미지를 생성할 수 있는 다수의 픽셀들을 갖는 개별 디스플레이일 수 있거나 또는 다수의 서브 디스플레이들(124A, 124B) 각각은 단일 픽셀을 포함할 수 있다; 서브디스플레이들(124A, 124B)은 라이트 필드 디스플레이들(114A, 114B)을 집합적으로 구성할 수 있다. 렌즈들(106A, 106B) 각각에서의 서브디스플레이들(124A, 124B)은 프로세서(113)(도 1d에서는 도시되지 않음)에 의해 구성되는 이미지를 집합적으로 디스플레이할 수 있다. 서브디스플레이들(124A, 124B)은, 이 예에서, 렌즈들(106A, 106B)의 제1 측면들(118A, 118B) 상의 총 100개의 서브디스플레이들에 대해 10x10 그리드 또는 어레이와 같은 그리드 또는 어레이를 집합적으로 형성할 수 있고 그리고/또는 렌즈들(106A, 106B)의 제1 측면들(118A, 118B)의 적어도 90%를 커버할 수 있다.
도 1e는 예시적인 실시예에 따른 사용자(100)와 반대 방향의 가상 안경 세트(102)(다른 컴포넌트들은 도 1e에서 도시되지 않음)에서 렌즈들(106A, 106B) 각각의 제2 측면(120A, 120B)을 나타내는 정면도이다. 도 1e에서 도시된 것처럼, 렌즈들(106A, 106B)의 각각의 제2 측면(120A, 120B) 상의 라이트 필드 카메라들(116A, 116B)(도 1e에 도시되지 않음)은 다수의 시점들(126A, 126B)을 정의하고, 제시하며 그리고/또는 캡처할 수 있다. 다수의 시점들(126A, 126B) 각각은 상이한 위치에 있을 수 있다. 다수의 시점들(126A, 126B) 각각의 상이한 위치들은, 라이트 필드 카메라들(116A, 116B)이 다수의 시각들 및/또는 유리한 지점들로부터 사용자(100)의 앞에서 장면을 캡처할 수 있게 한다.
다수의 시점들(126A, 126B) 각각은 단일 렌즈 및 단일 검출기를 갖는 단일 카메라를 포함할 수 있거나 또는 시점들(126A, 126B) 각각은 다수의 렌즈들 전부를 통해 광을 수신하는 단일 검출기 및/또는 공유된 검출기로 광을 굴절시키는 개별 렌즈를 포함할 수 있다. 시점들(126A, 126B) 각각과 관련되는 렌즈들은 프레넬 렌즈들을 포함할 수 있다. 시점들(126A, 126B)은 렌즈들(106A, 106B)의 제2 측면들(120A, 120B) 상에 10x10 그리드 또는 어레이와 같은 그리드 또는 격자를 집합적으로 형성할 수 있고 그리고/또는 렌즈들(106A, 106B)의 제2 측면들(120A, 120B)의 적어도 90%를 커버할 수 있다.
도 2는 예시적인 실시예에 따른 사용자의 눈들(112A, 112B) 및 렌즈들(106A, 106B)의 시야들을 도시한다. 도 2에 도시된 예에서, 렌즈들(106A, 106B)로부터의 시야들은 카메라 원점 면(original plane)(204)으로부터 동일한 각도 및/또는 스윕을 가질 수 있고, 사용자의 눈들(112A, 112B)이 눈 원점 면(202)으로부터 존재하기에, 카메라 원점 면(204)은 눈 원점 면(202) 앞에 있다. 이 예에서, 사용자의 좌측 눈(112A)은 라인들(206A, 208B) 사이의 시야를 가질 수 있고, 그리고 사용자의 우측 눈(112B)은 라인들(206B, 208B) 사이의 시야를 가질 수 있다. 또한, 이 예에서, 렌즈들(106A, 106B)의 중심에 위치한 카메라들은 라인들(210A, 212A 및 210B, 212B) 사이의 시야들을 가질 수 있다. 도 2(추가로, 도 3A, 도 3B, 도 3C 및 도 4)는 2차원 표현으로 인한 삼각형의 시야를 도시하지만, 이 시야는 3차원 공간에서 원추형일 수 있다.
이 예에서, 영역(214)에서의 객체들은 사용자의 눈들(112A, 112B) 또는 카메라들 중 어느 곳에서도 보이지 않을 수 있다. 라인들(208A 및 212A) 사이 및 라인들(208B, 212B) 사이의 객체들은 사용자의 눈들(112A, 112B) 중 하나 또는 둘 모두에 가시적일 수 있지만, 렌즈들(106A, 106B)의 중심에 위치한 카메라들에는 보이지 않을 수 있다. 영역(216)에서의 객체들은 사용자의 눈들(112A, 112B) 모두에 가시적일 수 있지만, 렌즈들(106A, 106B)의 중심에 있는 카메라들에는 보이지 않을 수 있다. 렌즈들(106A, 106B) 상의 추가적인 지점들에서의 카메라들 및/또는 더 넓은 각도들을 갖는 카메라들은 영역(216) 내의 객체들의 이미지들을 캡처할 것을 요구받을 수 있다.
영역(218) 내의 객체들은 사용자의 눈들(112A, 112B) 모두에 가시적일 수 있고 그리고 렌즈들(106A, 106B)의 중심에 있는 카메라들에 가시적일 수 있다. 하지만, 조정없이, 렌즈들(106A, 106B)의 중심에 있는 카메라들에 의해 수신된 이미지 데이터에만 기초한 디스플레이된 이미지들은, 사용자의 눈들(112A, 112B)로부터의 객체의 각도와는 상이한 카메라로부터의 객체의 각도에서 발생하는 시차 효과에 때문에, 실제로 사용자의 눈들(112A, 112B)보다 더 가까이에 나타날 수 있다. 도 1e에 도시된 것처럼, 렌즈들(106A, 106B)의 제2 측면들(120A, 120B) 상의 다수의 시점들(126A, 126B)과 같은 다수의 시점들(126A, 126B)(도 2에서는 도시되지 않음)은, 사용자의 눈들(112A, 112B)의 시각 및/또는 유리한 지점으로부터 이미지를 구성할 것을 요구받을 수 있다.
도 3a, 도 3b 및 도 3c는 렌즈들(106A, 106B)의 제2 측면들(120A, 120B) 상의 다수의 시점들(126A, 126B)로부터 렌즈들(106A, 106B) 앞에 있는 객체들(300A, 300B, 300C)의 투시도를 도시한다. 도 3a, 도 3b 및 도 3c는 렌즈들(106A, 106B) 및 2차원의 삼각형의 영역들의 시야들을 나타내는 라인들을 도시하지만, 상기 렌즈들 및 시야들은 실제로 3차원 공간에서 원추형일 수 있다.
도 3a는, 객체(300A)가 제1 렌즈(106A)가 아닌 제2 렌즈(106B)의 시야에 있는 예에서, 사용자의 눈들(112A, 112B) 및 렌즈들(106A, 106B)을 도시한다. 도 3a에서 도시된 것처럼, 객체(300A)가, 제1 렌즈(106A)의 다수의 시점들(126A)(도 3a에 도시되지 않음)의 시야의 외부 경계를 형성하는 라인(304A)의 밖 및/또는 라인(304A)의 너머에 있어, 제1 렌즈(106A)의 라이트 필드 카메라(116A)(도 3a에는 도시되지 않음)가 어떤 관점에서 객체(300A)의 어떤 이미지를 캡처할 수 없게 한다.
도 3a에 도시된 것처럼, 객체(300A)는 렌즈(106B)의 제2 측면(120B) 상의 시점들(126B)의 일부, 다수 또는 전부에 대해 가시적이다. 라인들(306B, 308B, 310B, 312B, 314B)은 제2 측면(120B) 상의 시점들(126B)로부터 객체(300A)로의 방향들을 나타낸다. 시점들(126B)에 의해 캡처된 객체(300A)의 이미지 데이터에 기초하여, 프로세서(113)(도 3a에 도시되지 않음)는 제2 라이트 필드 디스플레이(114B)에 의한 디스플레이를 위해 사용자(100)의 우측 및/또는 제2 눈(112B)의 유리한 지점으로부터 이미지를 생성할 수 있다.
도 3b는, 객체(300B)가 렌즈들(106A, 106B) 각각의 시점들(126A, 126B)(도 3a에 도시되지 않음)의 일부의 시야에 있는 예에서, 사용자의 눈들(112A, 112B) 및 렌즈들(106A, 106B)을 도시한다. 도 3b에서 도시된 것처럼, 객체(300B)는, 라인(324A)에 의해 표시되는 하나 이상의 라인들의 원점 및/또는 시작점을 형성하는 제1 렌즈(106A) 상의 하나 이상의 시점들(126A)의 시야에 있지만, 라인(322A)에 의해 표시되는 하나 이상의 라인들의 원점 및/또는 시작점을 형성하는 제1 렌즈(106A) 상의 하나 이상의 시점들(126A)의 시야에 있지 않다. 유사하게, 객체(300B)는 라인들(326B, 328B)에 의해 표시되는 하나 이상의 라인들의 원점을 형성하는 제2 렌즈(106B) 상의 하나 이상의 시점들(126B)의 시야에 있지만, 객체(300B)는 라인(330B)에 의해 표시되는 하나 이상의 라인들의 원점을 형성하는 제2 렌즈(106B) 상의 하나 이상의 시점들(126B)의 시야에 있지 않다. 프로세서(113)(도 3b에 도시되지 않음)는, 라이트 필드 디스플레이들(114A, 114B)(도 3b에 도시되지 않음)에 의한 디스플레이를 위해 사용자의 눈들(112A, 112B) 모두의 유리한 지점으로부터 이미지들을 생성할 수 있다. 라이트 필드 디스플레이들(114A, 114B) 각각에 의해 디스플레이하기 위한 이미지들은, 발생된 이미지가 디스플레이될 때 동일한 렌즈(106A, 106B) 상의 시점들(126A, 126B)로부터 수신된 이미지 데이터에만 기초하여 프로세서(113)에 의해 생성될 수 있거나, 또는 상기 이미지가 디스플레이될 렌즈들(106A, 106B) 모두 대한 이미지 데이터 및 대향 렌즈 상의 이미지 데이터에 기초하여 상기 이미지들이 생성될 수 있다.
도 3c는, 객체(300c)가 렌즈들(106A, 106B) 각각의 모든 시점들(126A, 126B)(도 3a에 도시되지 않음)의 시야에 있는 예에서 사용자의 눈들(112A, 112B) 및 렌즈들(106A, 106B)을 도시한다. 이 예에서, 프로세서(113)(도 3c에 도시되지 않음)는, 이미지가 디스플레이될 렌즈(106A, 106B)에서의 시점들(126A, 126B)의 일부 또는 전부로부터 수신된 이미지 데이터에 기초하거나 또는 렌즈들(106A, 106B) 모두에서의 시점들(126A, 126B)의 일부 또는 전부로부터 수신된 이미지 데이터에 기초하여, 각 라이트 필드 디스플레이(114A, 114B)에서 디스플레이하기 위해 객체(300C)의 이미지를 구성할 수 있다.
도 4는 렌즈들(106A, 106B) 각각의 시야들(404A, 404B) 중 하나가 사용자의 눈들(112A, 112B) 중 하나로부터 객체(400)까지의 광선(402A, 402B)에 의해 교차되는 예에서 사용자의 눈들(112A, 112B) 및 렌즈들(106A, 106B)을 도시한다. 렌즈들(106A, 106B) 각각은 상기에서 서술된 것처럼 다수의 시점들(126A, 126B)(도 4에 도시되지 않음)을 포함할 수 있다. 예시적인 구현에서, 프로세서(113)(도 4에서 도시되지 않음) 및/또는 방향 카메라들(122A, 122B)(도 4에서 도시되지 않음)은, 사용자가 보고 있는 방향 및/또는 사용자(100)의 눈들(112A, 112B)의 망막들이 가리키는 방향을 결정할 수 있다. 상기 결정된 방향에 기초하여, 프로세서(113)는, 사용자의 눈들(112A, 112B)로부터 객체(400)로 연장하는 광선(402A, 402B)을 따라 그리고/또는 광선(402A, 402B)에 가장 가까운 각 렌즈(106A, 106B) 내의 다중 시점들(126A, 126B)로부터 단일 시점(404A, 404B)을 결정할 수 있다. 사용자(100)가 객체(400)를 볼 때, 결정된 단일 시점들(404A, 404B)은 광선들(402A, 402B)을 따를 수 있고 그리고/또는 눈들(112A, 112B)과 객체(400) 사이에 있을 수 있다. 프로세서(113)는, 광선들(402A, 402B)을 따라 시점들(404A, 404B)로부터 그리고/또는 광선들(402A, 402B)에 가장 가까운 시점들(404A, 404B)로부터 캡처된 이미지 데이터에만 기초하여 렌즈들(106A, 106B) 상에 사용자(100)에게 디스플레이하기 위한 이미지들을 생성할 수 있다. 광선들(402A, 402B)을 따라 시점들(404A, 404B)로부터 캡처된 이미지 데이터에만 기초한 이미지들은, 눈들(112A, 112B)과 동일한 유리한 지점 및/또는 시각들을 가질 수 있어, 사용자는 렌즈들(106A, 106B)이 투명하고 그리고/또는 비어있는 것처럼 렌즈들(106A, 106B)의 라이트 필드 디스플레이(114A, 114B)에서 객체(400)를 볼 수 있다.
도 5는, 렌즈들(506A, 506B) 각각이 광각 카메라(510A, 510B)를 포함하는 예에서 사용자의 눈들(112A, 112B) 및 렌즈들(506A, 506B)을 도시한다. 렌즈들(506A, 506B)은, 렌즈들(106A, 106B)과 관련하여 상기에서 서술된 것처럼 프레임 상에 장착될 수 있고, 상기에서 서술된 것처럼 라이트 필드 디스플레이들 및/또는 방향 카메라들을 포함할 수 있으며 그리고/또는 상기에서 서술된 것처럼 프로세서에 결합될 수 있다. 이 예에서, 라인들(512A, 513A)은 좌측 및/또는 제1 눈(112A)에 대한 시야를 보여주고 그리고/또는 시야의 경계를 짓고, 그리고 라인들(522A, 524A)은 좌측 및/또는 제1 광각 카메라(510A)에 대한 시야를 보여주고 그리고/또는 시야의 경계를 짓는다. 라인들(512B, 513B)은 우측 및/또는 제2 눈(112B)에 대한 시야를 보여주고 그리고/또는 시야의 경계를 짓고, 그리고 라인들(522B, 524B)은 우측 및/또는 제2 광각 카메라(510B)에 대한 시야를 보여주고 그리고/또는 시야의 경계를 짓는다. 도 5에 도시된 것처럼, 광각 카메라 원점 면(526) 너머에서, 광각 카메라들(510A, 510B)의 시야들은 눈들(112A, 112B)의 시야들을 넘어 연장된다. 눈들(112A, 112B)의 시야들 및/또는 시각들을 시뮬레이트하기 위해, 프로세서(113)(도 5에서 도시되지 않음)는, 눈들(112A, 112B)의 시야를 넘어 연장되는 광각 카메라들(510A, 510B)로부터 수신된 이미지 데이터의 부분들, 예를 들어, 522A와 512A 사이의 영역들 또는 공간들, 524A와 513A 사이의 영역들 또는 공간들, 그리고 522B와 513B 사이의 영역들 또는 공간들을 잘라낼 수 있다. 광각 카메라들(510A, 510B) 각각에 의해 수신된 이미지들을 잘라냄으로써 디스플레이들(514A, 514B) 각각에 디스플레이하기 위해, 프로세서(113)는 광각 카메라(510A, 510B)보다 좁은 각도로 이미지를 구성할 수 있어, 구성된 이미지는 사용자(100)의 각 눈(112A, 112B)으로부터 시작하는 원추형을 나타낸다. 따라서, 프로세서(113)는 눈들(112A, 112B)에 의해 직접 보여지는 이미지와 유사한 이미지를 생성할 수 있다.
도 6은 예시적인 실시예에 따른 가상 안경 세트(102)(도 6에서 도시되지 않음)에 포함된 프로세서(113)를 도시한다. 프로세서(113)는, 라이트 필드 카메라들(116A, 116B), 방향 카메라들(122A, 122B), 시점들(404A, 404B) 및/또는 광각 카메라(510A, 510B)로부터 입력 데이터를 수신하는 하나 이상의 입력 노드들(606)을 포함할 수 있다. 프로세서(113)는 또한, 디스플레이 데이터를 라이트 필드 디스플레이들(114A, 114B) 및/또는 서브디스플레이들(124A, 124B)에 출력하는 하나 이상의 출력 노드들(608)을 포함할 수 있다. 프로세서(113)는 제어기(602) 및 메모리(604)를 포함할 수 있다. 메모리(604)는, 제어기(602)에 의한 실행을 위한 명령어들 및 수신된 이미지 데이터와 생성된 디스플레이 데이터와 같은 데이터를 저장하는 비 일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 제어기(602)는, 메모리(604)에 의해 저장된 명령어들을 실행함으로써, 프로세서(113)에 관하여 상기에서 서술된 것처럼, 라이트 필드 디스플레이들(114A, 114B) 및/또는 서브디스플레이들(124A, 124B)에 의해 표시되는 디스플레이 데이터를 생성할 수 있다.
여기에서 서술되는 다양한 기술들의 구현들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합들로 구현될 수 있다. 구현들은, 데이터 프로세싱 장치, 예를 들어, 프로그램가능 프로세서, 하나의 컴퓨터 또는 다수의 컴퓨터들에 의해 실행되거나 또는 그 동작을 제어하기 위해 컴퓨터 프로그램 제품, 즉, 정보 매체(예를 들어, 기계-판독가능한 저장 디바이스 또는 전파되는 신호)에서 유형적으로 실현되는 컴퓨터 프로그램으로 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은, 컴파일된 언어 또는 해석된 언어를 포함하는 어떤 형태의 프로그래밍 언어로 기입될 수 있고 그리고 독립형 프로그램 또는 모듈, 컴포넌트, 서브루틴 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛을 포함하는 어떤 형태로 배포될 수 있다. 컴퓨터 프로그램은, 하나의 컴퓨터상에서 또는 한 사이트에서 다수의 컴퓨터들 상에서 실행되거나 또는 다수의 사이트들을 통해 분산되고 그리고 통신 네트워크를 통해 상호 연결되도록 배포될 수 있다.
방법 단계들은 입력 데이터를 조작하고 그리고 출력을 생성함으로써 기능들을 수행하기 위해 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램가능 프로세서들에 의해 수행될 수 있다. 방법 단계들은, 또한 특수 목적의 논리 회로, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application-specific integrated circuit)에 의해 수행될 수 있고, 그리고 장치는 특수 목적의 논리 회로, 예를 들어, FPGA 또는 ASIC로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서들은, 예를 들어, 범용 및 특수 목적 마이크로 프로세서들 모두 및 어떤 종류의 디지털 컴퓨터의 어떤 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은, 명령어들을 실행하기 위한 적어도 하나의 프로세서 및 명령어들과 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들을 포함할 수 있다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스들, 예를 들어, 자기, 자기-광학 디스크들 또는 광학 디스크들을 포함할 수 있거나, 또는 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스들, 예를 들어, 자기, 자기-광학 디스크들 또는 광학 디스크들로부터 데이터를 수신하거나 대용량 저장 디바이스들에 데이터를 전송하거나 또는 둘 모두를 위해 동작가능하게 결합될 수 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구현하기에 적합한 정보 매체들은, 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스들과 같은 반도체 메모리 디바이스들을 포함하는 모든 형태들의 비활성 메모리; 자기 디스크들, 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들; 자기-광 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충될 수 있거나 또는 특수 목적 논리 회로에 포함될 수 있다.
사용자와의 상호작용을 제공하기 위해, 구현들은, 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스, 예를 들어, CRT(cathode ray tube) 또는 LCD( liquid crystal display), 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 갖는 컴퓨터 상에서 구현될 수 있다. 다른 종류의 디바이스들은 사용자와 상호작용을 제공하는데 사용될 수 있다; 예를 들어, 사용자에게 제공되는 피드백은, 어떤 형태의 감각 피드백, 예를 들어, 시각 피드백, 청각 피드백 또는 촉각 피드백일 수 있고; 그리고 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 어떤 형태로 수신될 수 있다.
구현들은, 백-엔드 컴포넌트, 예를 들어, 데이터 서버를 포함하거나, 또는 미들웨어 컴포넌트, 예를 들어, 애플리케이션 서버를 포함하거나, 또는 프론트-엔드 컴포넌트, 예를 들어, 그래픽 사용자 인터페이스를 갖는 클라이언트 컴퓨터 또는 사용자가 구현과 상호작용할 수 있는 웹 브라우저를 포함하거나 또는 그와 같은 백-엔드 컴포넌트, 미들웨어 컴포넌트 또는 프론트-엔드 컴포넌트의 어떤 조합을 포함할 수 있다. 컴포넌트들은, 디지털 데이터 통신의 어떤 형태 또는 매체, 예를 들어, 통신 네트워크에 의해 상호접속될 수 있다. 통신 네트워크들의 예들은, 근거리 네트워크(LAN) 및 광역 네트워크(WAN), 예를 들어, 인터넷을 포함한다.
서술된 구현들의 특정 피처들이 여기에서 서술된 것처럼 설명되지만, 많은 수정들, 대체들, 변경들 및 균등물들이 통상의 기술자에게 발생할 것이다. 따라서, 첨부된 청구범위들은 본 발명의 실시예들의 진정한 사상에 속하는 모든 그와 같은 수정들 및 변경들을 커버하도록 의도된 것으로 이해된다.

Claims (17)

  1. 가상 안경 세트(virtual eyeglass set)로서,
    사용자의 머리에 장착되고 그리고 상기 사용자의 좌측 눈 앞에 제1 가상 렌즈(virtual lens) 및 상기 사용자의 우측 눈 앞에 제2 가상 렌즈를 유지하도록 하는 프레임과;
    상기 프레임에 의해 지지(support)되는 상기 제1 가상 렌즈 및 상기 프레임에 의해 지지되는 상기 제2 가상 렌즈 - 상기 가상 안경 세트가 상기 사용자의 머리에 장착될 때, 상기 렌즈의 제1 측면이 상기 사용자를 향하고 그리고 상기 렌즈의 제2 측면이 상기 사용자와 반대 방향을 향하도록 상기 제1 가상 렌즈 및 상기 제2 가상 렌즈 각각은 상기 프레임에 의해 지지되며, 상기 제1 가상 렌즈 및 상기 제2 가상 렌즈 각각은, 상기 제1 측면 상의 라이트 필드 디스플레이(light field display) 및 상기 제2 측면 상의 라이트 필드 카메라(light field camera)를 포함하며 - 와; 그리고
    상기 프레임에 의해 지지되는 프로세서를 포함하고,
    상기 프로세서는, 상기 라이트 필드 카메라들 각각을 통해 수신되는 이미지 데이터에 기초하여 상기 라이트 필드 디스플레이들 각각에서 디스플레이하기 위해, 상기 사용자의 각 눈의 시각(perspective)으로부터 이미지를 구성하도록 하는 것을 특징으로 하는
    가상 안경 세트.
  2. 제1항에 있어서,
    상기 라이트 필드 카메라들 각각은 상기 이미지 데이터를 캡처하도록 하는 것을 특징으로 하는
    가상 안경 세트.
  3. 제1항 또는 제2항에 있어서,
    상기 라이트 필드 카메라들 각각은 프레넬 렌즈(Fresnel lens)를 포함하는 것을 특징으로 하는
    가상 안경 세트.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 라이트 필드 카메라들 각각은 다수의 검출기들 및 다수의 렌즈들을 포함하는 것을 특징으로 하는
    가상 안경 세트.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 라이트 필드 카메라들 각각은 단일 검출기 및 다수의 렌즈들을 포함하는 것을 특징으로 하는
    가상 안경 세트.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 라이트 필드 카메라들 각각은 다수의 카메라들을 포함하는 것을 특징으로 하는
    가상 안경 세트.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 가상 렌즈 및 상기 제2 가상 렌즈 각각은, 상기 사용자의 눈이 향하는 방향을 캡처하도록 하는 상기 제1 면상의 방향 카메라를 더 포함하고, 그리고
    상기 프로세서는, 상기 이미지 데이터 및 상기 캡처된 방향에 기초하여 상기 사용자의 눈의 시각 및 방향으로부터 상기 이미지를 구성하도록 하는 것을 특징으로 하는
    가상 안경 세트.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 가상 렌즈 및 상기 제2 가상 렌즈 각각은, 상기 사용자의 눈이 향하는 방향을 캡처하도록 하는 상기 제1 면상의 방향 카메라를 더 포함하고,
    상기 라이트 필드 카메라들 각각은 다수의 카메라들을 포함하며, 그리고
    상기 프로세서는, 상기 사용자의 눈이 향하는 방향으로 상기 사용자의 눈으로부터 연장하는 광선에 가장 가까운 상기 다수의 카메라들 중 하나에 기초하여 상기 이미지를 구성하도록 하는 것을 특징으로 하는
    가상 안경 세트.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 라이트 필드 디스플레이들 각각은 상기 구성된 이미지를 디스플레이하도록 하는 것을 특징으로 하는
    가상 안경 세트.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 라이트 필드 디스플레이들 각각은 상기 가상 렌즈의 제1 측면의 적어도 90%를 커버하는 다수의 픽셀들을 포함하는 것을 특징으로 하는
    가상 안경 세트.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 라이트 필드 디스플레이들 각각은 상기 가상 렌즈의 제2 측면의 적어도 90%를 커버하는 다수의 카메라들을 포함하는 것을 특징으로 하는
    가상 안경 세트.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 라이트 필드 디스플레이들 각각은 상기 가상 렌즈의 제2 측면 상에 10x10 그리드(grid)의 카메라들을 포함하는 것을 특징으로 하는
    가상 안경 세트.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 제1 가상 렌즈 상의 상기 라이트 필드 카메라를 통해 수신된 이미지 데이터에 기초하여 상기 사용자의 좌측 눈의 시각으로부터 상기 제1 가상 렌즈 상의 상기 라이트 필드 디스플레이에 디스플레이하기 위한 제1 이미지를 구성하고; 그리고
    상기 제2 가상 렌즈 상의 상기 라이트 필드 카메라를 통해 수신된 이미지 데이터에 기초하여 상기 사용자의 우측 눈의 시각으로부터 상기 제2 가상 렌즈 상의 상기 라이트 필드 디스플레이에 디스플레이하기 위한 제2 이미지를 구성하도록 하는 것을 특징으로 하는
    가상 안경 세트.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 프로세서는 상기 라이트 필드 카메라들 각각을 통해 수신된 상기 이미지 데이터 및 상기 사용자의 시력에 기초하여 상기 이미지를 구성하도록 하는 것을 특징으로 하는
    가상 안경 세트.
  15. 제14항에 있어서,
    상기 제1 가상 렌즈 및 상기 제2 가상 렌즈 각각은 상기 사용자의 망막의 이미지를 캡처하도록 하는 상기 제1 측면 상의 시력 카메라(acuity camera)를 더 포함하고; 그리고
    상기 프로세서는 상기 사용자의 망막의 이미지에 기초하여 상기 사용자의 시력을 결정하도록 하는 것을 특징으로 하는
    가상 안경 세트.
  16. 가상 안경 세트로서,
    사용자의 머리에 장착되고 그리고 상기 사용자의 좌측 눈 앞에 제1 가상 렌즈 및 상기 사용자의 우측 눈 앞에 제2 가상 렌즈를 유지하도록 하는 프레임과;
    상기 프레임에 의해 지지되는 상기 제1 가상 렌즈 및 상기 프레임에 의해 지지되는 상기 제2 가상 렌즈 - 상기 가상 안경 세트가 상기 사용자의 머리에 장착될 때, 상기 렌즈의 제1 측면이 상기 사용자를 향하고 그리고 상기 렌즈의 제2 측면이 상기 사용자와 반대 방향을 향하도록 상기 제1 가상 렌즈 및 상기 제2 가상 렌즈 각각은 상기 프레임에 의해 지지되며, 상기 제1 가상 렌즈 및 상기 제2 가상 렌즈 각각은, 상기 제1 측면 상의 디스플레이 및 상기 제2 측면 상의 광각 카메라를 포함하며 - 와; 그리고
    상기 프레임에 의해 지지되는 프로세서를 포함하고,
    상기 프로세서는, 상기 광각 카메라 각각에 의해 수신되는 이미지들을 절단(crop)하여 상기 디스플레이 각각에서 디스플레이하기 위해, 상기 이미지가 상기 사용자의 각 눈로부터 시작하는 원추형을 나타내도록 상기 각 렌즈들의 각 측면 상의 디스플레이가 상기 각 광각 카메라보다 좁은 각도로 이미지를 디스플레이하게 하는 것을 특징으로 하는
    가상 안경 세트.
  17. 우측 렌즈 및 좌측 렌즈 각각에서, 상기 렌즈의 대향 측 상의 라이트 필드 카메라를 통해 수신된 데이터에 기초하여 라이트 필드 이미지를 디스플레이하도록 하는 가상 안경 세트로서,
    상기 라이트 필드 이미지는 상기 가상 안경 세트를 착용하는 사용자의 눈의 시각으로부터 상기 가상 안경 세트 너머(beyond)에 있는 객체들의 이미지를 나타내는 것을 특징으로 하는
    가상 안경 세트.
KR1020177023720A 2015-04-30 2016-04-27 눈과는 상이한 렌즈들의 위치를 교정하는 실제 장면을 보기 위한 가상 안경 세트 KR102028088B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562155424P 2015-04-30 2015-04-30
US62/155,424 2015-04-30
PCT/US2016/029531 WO2016176309A1 (en) 2015-04-30 2016-04-27 Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes

Publications (2)

Publication Number Publication Date
KR20170105617A true KR20170105617A (ko) 2017-09-19
KR102028088B1 KR102028088B1 (ko) 2019-10-02

Family

ID=55911122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177023720A KR102028088B1 (ko) 2015-04-30 2016-04-27 눈과는 상이한 렌즈들의 위치를 교정하는 실제 장면을 보기 위한 가상 안경 세트

Country Status (6)

Country Link
US (1) US10715791B2 (ko)
EP (2) EP3289401B1 (ko)
JP (2) JP6837003B2 (ko)
KR (1) KR102028088B1 (ko)
CN (1) CN107438788A (ko)
WO (1) WO2016176309A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6641763B2 (ja) * 2015-08-03 2020-02-05 セイコーエプソン株式会社 表示システム
CN107302694B (zh) * 2017-05-22 2019-01-18 歌尔科技有限公司 通过虚拟现实设备呈现场景的方法、设备及虚拟现实设备
JP7118650B2 (ja) * 2018-01-18 2022-08-16 キヤノン株式会社 表示装置
CN108986225B (zh) * 2018-05-29 2022-10-18 歌尔光学科技有限公司 虚拟现实设备显示场景时的处理方法及装置、设备
WO2020069420A2 (en) 2018-09-28 2020-04-02 Ocelot Laboratories Llc Camera system
WO2021066335A1 (ko) * 2019-09-30 2021-04-08 주식회사 엘지화학 헤드 마운티드 디스플레이
US11554440B2 (en) 2020-04-14 2023-01-17 Selene Photonics, Inc. Digital display welding mask with HDR imaging
US11856175B2 (en) * 2020-04-14 2023-12-26 Selene Photonics, Inc. Welding mask with light field image capture and display
US11625966B2 (en) 2020-10-14 2023-04-11 1Ahead Technologies Access management system
US11854328B2 (en) 2020-10-14 2023-12-26 1Ahead Technologies Access management system
US11468723B1 (en) 2020-10-14 2022-10-11 1Ahead Technologies Access management system
US11756357B2 (en) 2020-10-14 2023-09-12 1Ahead Technologies Access management system
US11398120B2 (en) 2020-10-14 2022-07-26 1Ahead Technologies Security surveillance and entry management system
US11436882B1 (en) 2020-10-14 2022-09-06 1Ahead Technologies Security surveillance and entry management system
US11393269B2 (en) 2020-10-14 2022-07-19 1Ahead Technologies Security surveillance and entry management system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
US20140104392A1 (en) * 2012-10-11 2014-04-17 Sony Mobile Communications Ab Generating image information
US20140340390A1 (en) * 2013-05-17 2014-11-20 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US20140364228A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Sharing three-dimensional gameplay

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621424A (en) 1992-08-24 1997-04-15 Olympus Optical Co., Ltd. Head mount display apparatus allowing easy switching operation from electronic image to external field image
US6353422B1 (en) 2000-03-31 2002-03-05 Stephen G. Perlman Virtual display system and method
US6688745B2 (en) * 2001-10-25 2004-02-10 Johnson & Johnson Vision Care, Inc. Subjective refinement of wavefront measurements
JP2003287708A (ja) 2002-03-28 2003-10-10 Seiko Epson Corp 視覚拡張装置および表示システム
JP2004219664A (ja) 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
JP2006208451A (ja) * 2005-01-25 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
JP4825244B2 (ja) * 2008-06-26 2011-11-30 オリンパス株式会社 立体視画像表示装置、立体視画像表示方法
CN101872579B (zh) * 2009-04-22 2014-03-12 季中 显示面板及其显示方法、显示装置
US9350978B2 (en) * 2009-05-29 2016-05-24 Two Pic Mc Llc Method of defining stereoscopic depth
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
JP2011203446A (ja) 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
JP2011205358A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US9557565B2 (en) 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
DE102012215041A1 (de) * 2012-08-23 2014-02-27 Siemens Aktiengesellschaft Verfahren zur Herstellung eines Halbleiterelementes eines direktkonvertierenden Röntgendetektors
US8891954B1 (en) * 2013-06-19 2014-11-18 ExpoImaging, Inc. Light focusing device
JP6026836B2 (ja) * 2012-09-28 2016-11-16 パイオニア株式会社 画像表示装置、制御方法、プログラム及び記憶媒体
CN203206287U (zh) * 2013-01-31 2013-09-18 成都精彩宏途科技信息有限公司 基于移动互联网三维地理信息系统
US10268276B2 (en) 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
US9736461B2 (en) * 2013-06-19 2017-08-15 TrackThings LLC Method and apparatus for an attachable unit for a portable wireless system
CN104704818B (zh) * 2013-06-19 2018-08-31 松下知识产权经营株式会社 图像显示装置和图像显示方法
CN104463949B (zh) * 2014-10-24 2018-02-06 郑州大学 一种基于光场数字重聚焦的快速三维重建方法及其系统
CN104469183B (zh) * 2014-12-02 2015-10-28 东南大学 一种x射线闪烁体成像系统的光场捕捉和后处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
US20140104392A1 (en) * 2012-10-11 2014-04-17 Sony Mobile Communications Ab Generating image information
US20140340390A1 (en) * 2013-05-17 2014-11-20 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US20140364228A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Sharing three-dimensional gameplay

Also Published As

Publication number Publication date
JP2018523321A (ja) 2018-08-16
JP2020202569A (ja) 2020-12-17
EP3289401A1 (en) 2018-03-07
KR102028088B1 (ko) 2019-10-02
JP7109509B2 (ja) 2022-07-29
US20160323567A1 (en) 2016-11-03
US10715791B2 (en) 2020-07-14
EP3289401B1 (en) 2023-07-26
WO2016176309A1 (en) 2016-11-03
EP4236310A2 (en) 2023-08-30
JP6837003B2 (ja) 2021-03-03
CN107438788A (zh) 2017-12-05
EP4236310A3 (en) 2023-09-20

Similar Documents

Publication Publication Date Title
KR102028088B1 (ko) 눈과는 상이한 렌즈들의 위치를 교정하는 실제 장면을 보기 위한 가상 안경 세트
KR102181735B1 (ko) 옴니스테레오 이미징
Nakanuma et al. Natural 3D display with 128 directional images used for human-engineering evaluation
JP2019532535A (ja) 単一深度追跡型の遠近調節−両眼転導ソリューション
US11435576B2 (en) Near-eye display with extended accommodation range adjustment
CN106415364A (zh) 立体渲染至眼睛位置
US11574389B2 (en) Reprojection and wobulation at head-mounted display device
WO2021197370A1 (zh) 一种光场显示方法及系统、存储介质和显示面板
WO2020117459A1 (en) Eccentric incident luminance pupil tracking
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
AU2018390994B2 (en) Camera projection technique system and method
EP1083757A2 (en) Stereoscopic image display apparatus
Park et al. 48.2: Light field rendering of multi‐view contents for high density light field 3D display
US11448886B2 (en) Camera system
CN114967215B (zh) 显示装置和虚拟现实装置
US11388391B2 (en) Head-mounted display having an image sensor array
JP4624588B2 (ja) 画像生成装置、プログラム及び情報記憶媒体
WO2022228451A1 (zh) 基于人眼跟踪的显示处理方法、装置、设备及存储介质
Takaki Next-generation 3D display and related 3D technologies
KR20200121580A (ko) 3차원공간영상 디스플레이 시스템
Hansen et al. Rendering the Light Field
JP2020160363A (ja) 電子ミラーシステム、及び移動体
WO2020101917A1 (en) Plenoptic cellular vision correction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant