KR20240063919A

KR20240063919A - 광학적으로 보정된 가상 이미지를 생성하는 라이트필드 프로젝터 및 라이트필드 프로젝터를 이용하여 보정된 가상 이미지를 생성하는 방법

Info

Publication number: KR20240063919A
Application number: KR1020247010102A
Authority: KR
Inventors: 그레그와르 스몰릭; 그레그와르 허트
Original assignee: 크리얼 에스에이
Priority date: 2021-09-28
Filing date: 2021-09-28
Publication date: 2024-05-10
Also published as: WO2023052809A1; CN118020010A; EP4409349A1

Abstract

본 발명에 따른 라이트필드 프로젝터는 SLM 평면에 기준 SLM 이미지 패턴을 디스플레이하도록 구성된 공간 광 변조기(SLM)를 비추는 입사 라이트필드를 방출하도록 구성된 광원을 포함한다. 기준 SLM 이미지 패턴은 입사 라이트필드를 변조하고 변조된 광을 생성하도록 구성된다. 투사 광학기는 기준 광학 축을 따라 가상 이미지를 투사하는 등 기준 광학 축을 따라 변조된 라이트필드를 투사하도록 구성된다. SLM은 SLM 평면에서 이동된 기준 SLM 이미지 패턴에 해당하는 보정된 SLM 이미지 패턴을 디스플레이하도록 구성되어, 가상 이미지가 기준 광학 축과 다른 겉보기 투사 축을 따라 투사되고 가상 이미지가 적어도 광학 보정을 시뮬레이션하도록 한다. 본 개시는 또한 라이트필드 프로젝터를 사용하여 보정된 가상 이미지를 생성하는 방법에 관한 것이다.

Description

광학적으로 보정된 가상 이미지를 생성하는 라이트필드 프로젝터 및 라이트필드 프로젝터를 이용하여 보정된 가상 이미지를 생성하는 방법

본 개시는 이미지를 투사하기 위한 라이트필드 프로젝터에 관한 것이다. 보다 구체적으로, 본 개시는 광학적으로 보정된 가상 이미지를 생성하기 위한 라이트필드 프로젝터에 관한 것이다. 본 개시는 라이트필드 프로젝터를 사용하여 보정된 가상 이미지를 생성하는 방법에 관한 것이다.

안과 검사 기기의 기본 원리와 개념은 100년도 더 전에 처음 개발된 이래로 변하지 않았다. 안과 검사 기기는 굴절 렌즈와 곡면 거울을 사용하여 광학 교정을 수행한다. 예를 들어, 소위 포롭터(phoropter)라고 하는 기기는 환자의 굴절 이상과 안경 처방을 주관적으로 결정하기 위한 목적으로 환자의 눈에 광학적으로 변형된 검사 패턴의 이미지를 나타내는 다양한 교정 특성을 가진 굴절 광학 요소 세트를 기반으로 한다. 이러한 장치는 부피가 크고 비용이 많이 들며 제조가 어렵고 제한된 보정 세트를 제공하며 기기와 고정된 테스트 패턴 사이에 수 미터의 여유 공간이 필요한 경우가 많다.

참조문헌 US2016042501은 디스플레이를 보는 뷰어(viewer)의 비전 시스템에서 적어도 하나의 광학 수차를 보정하는 시스템을 개시한다. 디스플레이는 픽셀 어레이와 마이크로렌즈 어레이를 구비한다. 디스플레이될 이미지에 대한 이미지 데이터가 수신되고, 뷰어의 비전 시스템에서 적어도 하나의 광학 수차와 관련된 적어도 하나의 파라미터가 수신되며, 뷰어의 비전 시스템과 관련된 적어도 하나의 수신된 파라미터와 라이트필드 요소의 적어도 하나의 특성에 기초하여 디스플레될 수차 보정 이미지가 계산된다. 수차 보정된 이미지가 디스플레이 매체에 디스플레이되며, 적어도 하나의 광학 수차를 갖는 비전 시스템을 가진 뷰어가 라이트필드 요소를 통해 디스플레이 매체에 디스플레이된 수차 보정된 이미지를 볼 때, 적어도 하나의 수차가 감소 또는 제거된 상태로 수차 보정된 이미지가 뷰어에게 나타난다.

참조문헌 WO2021122640은 피험자의 제1 눈과 제2 눈의 굴절 특징을 결정하는 시스템을 공개한다. 이 시스템은 시차 배리어 마스크 또는 픽셀 어레이에 적층된 마이크로렌즈 어레이를 포함하는 라이트필드 디스플레이 장치와 피험자의 제1 눈과 제2 눈의 위치를 파악하는 시스템을 포함한다. 라이트필드 디스플레이 장치는 제1 눈을 향해 선택적으로 지향되는 제1 라이트필드와 제2 눈을 향해 선택적으로 지향되는 제2 라이트필드를 각각 생성하도록 구성된다. 제어 유닛은 상기 제1 눈에 대한 적어도 하나의 제1 광학 수차와 관련된 적어도 하나의 제1 굴절 파라미터의 함수로서 상기 제1 라이트필드를 조정하도록 구성되고, 제어 유닛은 상기 제2 눈에 대한 적어도 하나의 제2 광학 수차와 관련된 적어도 하나의 제2 굴절 파라미터의 함수로서 상기 제2 라이트필드를 조정하도록 구성된다.

위의 방안에서, 해상도는 마이크로렌즈의 개수 또는 시차 배리어 마스크의 피치에 의해 결정된다. 따라서, 위의 방안은 단순한 도형(점, 선)은 표시할 수 있지만 더 복잡한 3D 장면이나 이미지를 디스플레이할 수 없다. 또한 픽셀 수가 줄어들면 사용 가능한 광학 보정 범위가 줄어들고 개별적인 방식으로만 광학 보정을 변경할 수 있다.

본 발명의 목적은 상기 단점을 개선한 광학적으로 보정된 가상 이미지를 생성하는 라이트필드 프로젝터 및 라이트필드 프로젝터를 이용하여 보정된 가상 이미지를 생성하는 방법을 제안하는 것이다.

본 개시는 각각이 공간 광 변조기(SLM)를 조명하는 입사 라이트필드를 방출하도록 구성되는 복수의 점광원을 포함하는 광원을 구비하는 광학적으로 보정된 가상 이미지를 생성하기 위한 라이트필드 프로젝터에 관한 것이다. 공간 광 변조기(SLM)는 입사 라이트필드를 변조하고 SLM 이미지 패턴에 따라 변조된 라이트필드를 생성하도록 구성된 기준 SLM 이미지 패턴을 SLM 평면에 디스플레이하도록 구성된다. 투사 광학기가 기준 광축을 따라 변조된 라이트필드를 투사하고, 기준 광축을 따라 가상 이미지 등을 투사하도록 구성된다. SLM은 보정된 SLM 이미지 패턴을 디스플레이하도록 더 구성되고, 보정된 SLM 이미지 패턴은 SLM 평면에서 이동된 기준 SLM 이미지 패턴에 해당하며, 보정된 SLM 이미지 패턴은 투사 광학기가 가상 이미지를 기준 광축과 다른 겉보기 투사 축을 따라 투사하도록 구성되어, 가상 이미지가 적어도 광학 보정을 시뮬레이션하도록 한다.

일 양태에서, 보정된 SLM 이미지 패턴은 기하학적 왜곡을 더 포함하는 기준 SLM 이미지 패턴에 해당한다.

본 개시는 라이트필드 프로젝터를 이용하여 보정된 가상 이미지 생성 방법으로서,

가상 3D 장면을 이미징하는 가상 핀홀 카메라 모델을 사용하여 적어도 하나의 가상 이미지를 계산하고, 계산된 가상 이미지에 따라 기준 SLM 이미지 패턴을 디스플레이하는 단계;

하나 이상의 광학 보정 파라미터를 생성하는 단계;

상기 적어도 하나의 광학 보정 파라미터의 함수로서 기준 SLM 이미지 패턴을 수정하여 보정된 SLM 이미지 패턴을 얻는 단계;

상기 적어도 하나의 가상 이미지를 형성하도록 구성된 적어도 하나의 변조된 라이트필드 등을 생성하기 위해 입사 라이트필드에 의해 SLM을 순차적으로 조명하는 단계; 및

상기 적어도 하나의 변조된 라이트필드를 순차적으로 투사하여 상기 적어도 하나의 광학 보정을 시뮬레이션한 상기 적어도 하나의 가상 이미지를 투사하는 단계를 포함하는 방법에 관한 것이다.

본원에 개시된 라이트필드 프로젝터는 디지털 안과 기기로 사용될 수 있다. 보다 구체적으로, 라이트필드 프로젝터는 굴절 또는 회절 요소를 사용하여 환자의 눈에 필요한 광학 변환 및 입력을 생성하는 포롭터 또는 굴절기 또는 이와 유사한 장치라고 통상적으로 하는 기존 장치를 대체할 수 있다.

라이트필드 프로젝터의 디지털 이미지 변환은 그렇지 않았다면 굴절 렌즈로 수행해야 하는 광학 보정의 사실상 연속적인 스펙트럼을 시뮬레이션할 수 있다. 라이트필드 프로젝터는 단일 이미지에 대한 복수의 광학 보정을 시뮬레이션할 수 있다.

라이트필드 프로젝터는 고가의 정밀 광학 소자가 필요하지 않으며 기존 안과 기기보다 더 작을 수 있지만 더 넓고 미세한 범위와 다양한 광학 보정 기능을 제공한다.

알려진 방안과 달리, 라이트필드 프로젝터는 SLM의 전체 해상도를 사용하여 복잡한 3D 장면이나 이미지를 디스플레이할 수 있으며, 사용 가능한 광학 보정 범위가 넓고 광학 보정을 연속적으로 변경할 수 있다.

라이트필드 프로젝터는 가상 또는 증강 현실 헤드셋이나 스마트 안경과 같은 3D 시각화 시스템에서 디스플레이로 사용할 수 있으며, 자동화된 시력 검사 및/또는 교정을 수행할 수 있으므로 처방 인서트나 기계적 조정이 필요하지 않다.

본 발명의 내용에 포함됨.

본 발명의 예시적인 실시예가 명세서에 개시되고 도면에 의해 설명된다:
도 1은 2차원 평면에서 라이트필드 프로젝터의 도면이다;
도 2는 도 1의 라이트필드 프로젝터를 단순화한 버전이다;
도 3a는 가상 핀홀 카메라의 모습을 도시한 것이다;
도 3b는 도 3a의 핀홀 카메라를 2차원으로 도시한 것이다;
도 4는 광학 보정을 하지 않은 상태에서 라이트필드 프로젝터의 2차원 표현을 도시한 것이다;
도 5는 일 실시예에 따라 음의 굴절 보정을 시뮬레이션하도록 구성된 가상 핀홀 카메라가 있는 라이트필드 프로젝터의 2차원 표현을 도시한 것이다;
도 6a는 보정하지 않은 상태의 라이트필드 프로젝터를 도시한 것이다;
도 6b는 일 실시예에 따라 음의 굴절 보정을 생성하는 라이트필드 프로젝터를 도시한 것이다;
도 7은 일 실시예에 따라 양의 굴절 보정을 시뮬레이션하도록 구성된 가상 핀홀 카메라가 있는 라이트필드 프로젝터의 2차원 표현을 도시한 것이다;
도 8은 일 실시예에 따라 프리즘 굴절 보정을 시뮬레이션하도록 구성된 가상 핀홀 카메라가 있는 라이트필드 프로젝터의 2차원 표현을 도시한 것이다;
도 9는 일 실시예에 따른 가상 핀홀 카메라가 있는 라이트필드 프로젝터의 3차원 표현을 도시한 것이다;
도 10은 일 실시예에 따라 원통형 보정을 시뮬레이션하도록 구성된 가상 핀홀 카메라가 있는 라이트필드 프로젝터의 3차원 표현을 도시한 것이다;
도 11a-11e는 보정 없음(도 11a), 음의 굴절 보정(도 11b), 양의 굴절 보정(도 11c), 원통형 보정(도 11d), 및 프리즘 굴절 보정(도 11e)에 해당하는 SLM 평면의 보정된 SLM 이미지 패턴을 도시한 것이다;
도 12는 일 실시예에 따른 복수의 가상 객체를 포함하는 가상 이미지를 도시한 도면이다;
도 13은 각각 다른 보정을 통해 표시되는 두 개의 가상 객체로 구성된 가상 이미지를 도시한 것이다;
도 14는 일 실시예에 따른 라이트필드 프로젝터를 사용하여 보정된 가상 이미지를 생성하는 방법을 도시한 도면이다;
도 15는 변형에 따른 방법을 도시한 것이다;
도 16은 다른 변형에 따른 방법을 도시한 것이다;

도 1은 2차원 평면에서 라이트필드 프로젝터(100)를 나타낸 도면이다. 라이트필드 프로젝터(100)는 복수의 광원이 구비된 조명 장치(1)를 포함한다(도 1에는 2개의 점광원(11, 12)이 도시되어 있다). 점광원(11, 12)은 복수의 입사 라이트필드(101,102)를 순차적으로 방출하는 등 순차적으로 조명될 수 있다. 입사 라이트필드(101,102)는 다른 입사 각도 세트에서 공간 광 변조기(SLM)(3)를 순차적으로 조명하기 전에 시준 광학기(2)로 시준된다. SLM(3)은 SLM 평면(31)에서 기준 SLM 이미지 패턴(60)을 제공하도록 구성된다. 기준 SLM 이미지 패턴(60)은 기준 SLM 이미지 패턴(60)에 따라 변조된 라이트필드(201, 202) 등을 생성하기 위해 각각의 입사 라이트필드(101, 102)를 변조한다. 각각의 변조된 라이트필드(201, 202)는 SLM(3)의 기준 SLM 이미지 패턴(60)에 의해 변조되어 대응하는 이미지 정보를 수행한다. 라이트필드 프로젝터(100)는 변조된 라이트필드(201, 202)를 기준 투사 축(170)을 따라 투사하도록 구성된 투사 광학기(4)를 더 포함할 수 있다. 투사된 변조된 라이트필드(201, 202)는 순차적으로 복수의 가상 뷰포인트(21, 22)를 형성한다. 가상 뷰포인트(21, 22)는 아이 박스(6) 내에 위치하여 사용자가 디지털 장면의 실제 3D 렌더링을 볼 수 있도록 한다.

조명 장치(1)는 가상 뷰포인트(21, 22)를 형성하기 위해 SLM(3)을 조명하기 위해 공간적으로 서로 다른 점광원(11, 12) 어레이를 포함할 수 있으며, 각 점 광원(11, 12)은 웨이브 벡터의 방향이 다르다.

도 2는 도 1의 SLM(3) 및 투사 광학기(4)를 구비한 라이트필드 프로젝터(100)의 단순화된 버전을 도시한 것이다. 순차적으로 방출된 복수의 입사 라이트필드(101,102)를 사용하여, 투사된 변조 광빔(201, 202)이 가상 뷰포인트(21, 22) 및 가상 이미지(41, 42)를 형성하며, 각 가상 이미지(41, 42)가 SLM(3)으로부터 기준 SLM 이미지 패턴(60)을 재생한다.

각 가상 뷰포인트(21, 22)는 3D 장면의 가상 이미지(41)가 이미지 평면에 투사되는 가상 핀홀 카메라로 표현될 수 있다. 그런 다음 가상 이미지(41, 42)는 가상 3D 장면을 이미징하는 가상 핀홀 카메라를 사용하여 계산할 수 있다.

도 3a는 3D 장면(30)의 이미지(41)가 기준 투사 축(170)을 따라 핀홀(21)을 통해 가상 이미지 평면(401)에 투사되는 가상 핀홀 카메라의 표현을 도시한다. 도 3b는 도 3a의 핀홀 카메라의 2차원 도면을 나타낸 것이다.

도 4는 가상 핀홀 카메라(21, 22, 23) 어레이가 아이 박스(6)의 평면에 위치하는 라이트필드 프로젝터(100)의 2차원 표현을 도시한다(3개의 가상 핀홀 카메라가 도시되어 있다). 각각의 가상 핀홀 카메라(21-23)에 대해, 가상 이미지(41-43)가 각각 가상 핀홀 카메라(21-23)의 가상 이미지 평면(401-403)에 형성되고, 겉보기 투사 축(171, 172, 173)을 따라 투사된다. 각각의 가상 핀홀 카메라(21-23)(또는 각각의 이미지(21-23))는 순차적으로 투사된 변조된 라이트필드(예컨대, 도 1 및 도 2에 도시된 변조된 라이트필드(201, 202))에 의해 각각 형성된다. 도 4의 예에서, 각각의 가상 이미지 이미지(41-43)의 겉보기 투사 축(171, 172, 173)은 서로 및 기준 투사 축(170)과 평행하다. 이 구성은 광학 보정이 없거나 검안 이상(부등시)이 없는 경우에 해당한다.

도 5-8은 일 실시예에 따른 가상 이미지 평면을 갖는 가상 핀홀 카메라를 사용하는 라이트필드 프로젝터(100)를 나타내는 도면으로, 가상 핀홀 카메라는 검안 이상에 해당하는 광학 변환을 시뮬레이션하도록 구성된다.

보다 구체적으로, 도 5는 가상 핀홀 카메라(21, 22, 23)가 음의 굴절 교정(근시)을 시뮬레이션하도록 구성되는 라이트필드 프로젝터(100)를 도시한다. 여기서, 가상 핀홀 카메라(21-23)(및 각각의 가상 이미지 평면(401-403))는 각각의 겉보기 투사 축(171-173)이 기준 투사 축(170)에 대해 3D 장면(30)을 향해 발산하도록 기준 투사 축(170)에 대해 배향되어 있다. 이 구성에서, 가상 핀홀 카메라(21, 22, 23)의 겉보기 투사 축(171, 172, 173)은 가상 아이 박스(6)로부터 거리(d)에 있는 기준 투사 축(170) 상의 동일한 가상 초점(25)에 수렴한다. 디옵터 단위의 보정 값은 1/d와 같으며, 여기서 d는 가상 초점(25)과 가상 아이 박스(6) 사이의 거리이다. 여기서, 거리(d)는 음의 거리이다. 즉, 가상 초점(25)은 SLM(3)의 이미지와 가상 아이 박스(6) 사이의 SLM(3)의 같은 면에 위치한다.

도 6a 및 6b는 음의 굴절 보정을 적용하도록 구성된 라이트필드 프로젝터(100)를 예시한다. 보다 구체적으로, 음의 굴절 보정은 SLM(3)에 보정된 SLM 이미지 패턴(61)을 디스플레이함으로써 얻어진다. 본 실시예에서, SLM(3)의 기준 SLM 이미지 패턴(60) 및 보정된 SLM 이미지 패턴(61)은 복수의 이미지 성분들(601)을 포함한다(예시적인 목적으로 6개의 이미지 성분들이 도시되어 있다).

도 6a는 보정하지 않은 상태의 라이트필드 프로젝터(100)를 도시한다. 두 개의 가상 뷰포인트(21, 22)(가상 핀홀 카메라)가 표시되며, 각 가상 뷰포인트를 통해 가상 이미지(41, 42)가 순차적으로 보인다. 각 가상 이미지(41, 42)는 기준 SLM 이미지 패턴(60)을 포함하지만, 기준 SLM 이미지 패턴(60)은 가상 이미지(41)에만 표시된다. 이미지(60)는 3D 장면에 따라 가상 이미지(41, 42)에 대해 정확히 동일하지 않을 수 있다. 3D 장면이 무한대의 평면 장면인 경우에만 동일한 이미지이다. 기준 SLM 이미지 패턴(60)은 이미지 성분(601) 중 하나(검은색으로 표시됨)가 기준 투사 축(170)과 정렬되는 SLM(3)의 제1 영역에 디스플레이된다. 가상 뷰포인트(21)에서 볼 때, 이미지 성분(601)은 기준 투사 축(170)과 평행한 겉보기 투사 축(171)을 따라 투사되므로 이미지 성분(601)이 마치 무한대에 초점을 맞춘 것처럼 보인다.

도 6b에서, 보정된 SLM 이미지 패턴(61)은 제1 영역에 대해 상대적으로 이동된 SLM(3)의 제2 영역에 디스플레이되는 기준 SLM 이미지 패턴(60)에 해당하며, 여이미지 성분(601) 중 하나(검은색으로 표시됨)가 기준 투사 축(170)에 더 이상 정렬되지 않고 (도 6b의 예에서 기준 투사 축(170) 아래로) 상대적으로 이동된다. 가상 뷰포인트(21)에서 볼 때, 이미지 성분(601)이 가상 초점(25)에서 유한 거리(d)에 초점을 맞춘 것처럼 보이는데, 이는 이미지 성분(601)이 기준 투사 축(170)을 향해 수렴하는 겉보기 투사 축(171)을 따라 음의 거리(d)에서 투사되기 때문이다. 다시 말해, 보정된 SLM 이미지 패턴(61)은 음굴절 보정을 제공한다.

라이트필드 프로젝터(100)는 SLM(3) 상에 SLM 기준 이미지 패턴(60) 및 보정된 SLM 이미지 패턴(61)을 생성하는 SLM 신호(85)를 제어하도록 구성된 SLM 제어 유닛(82)(도 1 참조)을 포함할 수 있다. 라이트필드 프로젝터(100)는 특정 시간에 따라 조명 장치(1)의 특정 점광원(11 및 12)에 전력을 공급하는 조명 신호(83)를 제어하도록 구성된 조명 제어 유닛(81)을 더 포함할 수 있다. SLM 제어 유닛(82)은 동기화 통신 신호(84)를 통해 조명 제어 유닛(81)과 동기화될 수 있다.

도 7은 양의 굴절 보정(원시)을 시뮬레이션하도록 배열된 가상 핀홀 카메라(21-23) 및 각각의 가상 이미지 평면(401-403)을 나타낸다. 여기서, 보정된 SLM 이미지 패턴(61)은 각각의 겉보기 투사 축(171-173)이 기준 투사 축(170)을 향해 수렴하도록 회전되는 가상 핀홀 카메라(21-23)에 대응하도록 구성된다. 이 구성에서, 가상 핀홀 카메라(21-23)의 겉보기 투사 축(171-173)은 3D 장면(30)을 향해 동일한 가상 초점(25)에 수렴한다. 가상 초점(25)은 기준 투사 축(170)에 위치하며, 가상 아이 박스(6)로부터 거리(d)에 있다. 디옵터 단위의 보정 값은 1/d와 같으며, d는 가상 초점(25)과 가상 아이 박스(6) 사이의 거리이다. 여기서, 거리(d)는 양수 거리이다. 즉, 가상 초점(25)은 가상 아이 박스(6)에서 멀리 떨어진 SLM(3)의 반대편에 위치한다.

도 8은 프리즘 굴절 교정의 구현을 도시한다. 프리즘 굴절 교정은 복시 또는 복시 교정을 위해 안경에 사용된다. 프리즘 굴절 교정은 두 개의 이미지를 정렬하여 하나의 이미지만 보이도록 한다. 여기서, 보정된 이미지 패턴(61)은 가상 핀홀 카메라(21-23)에 대응하도록 구성되며 이들의 대응하는 가상 이미지 평면(401-403)은 기준 투사 축(170)에 대해 배향되어 이들의 각각의 겉보기 투사 축(171-173)이 서로 평행하고 기준 투사 축(170)에 대하여 기울어지도록 한다. 따라서, 가상 초점이 무한대에 위치한다.

도 9 및 도 10에는 9개의 가상 핀홀 카메라(21-29)가 도시되어 있지만, 라이트필드 프로젝터(100)는 임의의 수의 가상 핀홀 카메라로 구성될 수 있다.

도 9는 도 7의 구성에서 라이트필드 프로젝터(100)의 핀홀 카메라 어레이의 2차원 도식적 표현의 3차원 일반화를 도시한 것이다. 9개의 가상 핀홀 카메라(21-29)가 아이 박스(6)의 평면에 해당 겉보기 투사 축(171-179)과 함께 놓여 있는 것으로 도시되어 있다. 여기서, 겉보기 투사 축(171-179)은 가상 초점(25)에서 기준 투사 축(170)을 향해 양의 거리(d)에서 수렴한다. 따라서, 라이트필드 프로젝터(100)는 양의 굴절 보정을 시뮬레이션하도록 배치된다.

도 10은 도 9의 핀홀 카메라 어레이에 의해 시뮬레이션된 원통형 보정을 도시한다. 여기서, 보정된 SLM 이미지 패턴(61)은 기준 패턴(60)을 기울어진 핀홀 카메라 평면에 투영하여 얻어진다. 작은 각도의 경우, 이는 SLM 평면(31)의 단순한 x-y 이동과 거의 동일하지만, 큰 각도의 경우 광축에 수직인 평면에 "재투사"가 발생한다. 이로 인해 아래에서 자세히 설명하는 것처럼 이미지의 일부가 약간 축소/확대된다.

보다 구체적으로, 보정된 SLM 이미지 패턴(61)은 상이한 가상 초점면(51, 52)을 갖는 2개의 직교 회전 축을 따라 겉보기 주 투사 축(171-179)을 회전하도록 구성될 수 있어 가상 이미지(41-44)가 원통형 보정을 시뮬레이션하도록 한다. 원통형 보정은 핀홀 카메라 어레이를 양쪽 축에 동시에 조준하여 적용된다. 도 10의 예에서, 제1 회전축(55)은 제1 회전면(53)과 평행하고 일치하며, 제2 회전축(56)은 제2 회전면(54)과 평행한다. 제1 회전면(53)은 제2 회전면(54)에 직교한다. 핀홀 카메라 어레이가 제2 회전면(54)에 평행한 축을 중심으로 회전할 때, 가상 초점은 제2 회전면(54)에서 핀홀 카메라 어레이가 회전될 때(즉, 기준 SLM 이미지 패턴(60)이 제2 회전면(54)에서 회전될 때) 제2 초점면(52)보다 가상 핀홀 카메라(21-29)에 더 가까운 제1 초점면(51)에 있다. 제1 회전축(55)은 제1 초점면(51)과 제1 회전면(53)의 교차점에 해당한다. 제2 회전축(56)은 제2 초점면(52)과 제2 회전면(54)의 교차점에 해당한다. 제1 초점면(51) 및 제2 초점면(52)에서 가상 초점을 위치시키는 것은 회전과 더불어 SLM 평면(31)에서 기준 SLM 이미지 패턴(60)을 이동시킴으로써 달성될 수 있다. 이동의 정도는 서로 다른 제1 및 제2 초점면(51, 52)을 얻기 위해 달라질 수 있다. 보다 일반적으로, 보정된 SLM 이미지 패턴(61)은 제1 및 제2 회전면(53 및 54)을 SLM 평면(31)에 실질적으로 직교하는 축(z)을 중심으로 회전시켜 얻을 수 있다. 그런 다음 보정된 SLM 이미지 패턴(61)은 이 축(z)을 따라 회전되는 제1 및 제2 회전 축(55 및 56)을 중심으로 겉보기 주 투사 축(171-179)을 회전하도록 구성된다.

도 10의 원통형 교정 렌즈는 난시 교정에 해당할 수 있으며, 제1 및 제2 회전면(53, 54)은 접선 및 시상 경선에 대응하고 다른 평면에서 곡률 반경이 다른 교정 렌즈(원통형 렌즈)를 시뮬레이션한다.

위에서 설명한 보정 외에도, 라이트필드 프로젝터(100)는 핀홀 카메라 방향을 독립적으로 설정하여 임의의 더 복잡한 보정을 시뮬레이션하는 데 사용할 수 있다.

도 11a-11e에 설명된 바와 같이, 광학 보정은 SLM 평면(31)에서 기준 SLM 이미지 패턴(6)을 기하학적으로 왜곡하여 얻어진다.

도 11a는 왜곡 및 광학 보정이 없는 예시적인 기준 SLM 이미지 패턴(60)을 도시한다. 여기서, 기준 SLM 이미지 패턴(60)은 바둑판 패턴이다.

도 11b는 음의 굴절 보정을 시뮬레이션하도록 조정된 보정된 SLM 이미지 패턴(61)을, 도 11c는 양의 굴절 보정을 시뮬레이션하도록 조정된 보정된 SLM 이미지 패턴(61)을, 도 11d는 원통형 보정을 시뮬레이션하도록 조정된 보정된 SLM 이미지 패턴(61)을 나타낸다. 보정된 SLM 이미지 패턴(61)은 SLM 평면(31)에서 (SLM 평면(31)의 두 직교 방향 X, Y를 따라) 이동되고 비균일한 수직 전단 왜곡을 포함하는 바둑판 패턴에 해당한다. 이동 및 왜곡은 기울어진 가상 이미지 평면(401-403)에 기준 SLM 이미지 패턴(60)을 재투사함으로써 얻어진다. 재투사된 기준 SLM 이미지 패턴(60)의 기울기 각도가 작은 경우, 보정된 SLM 이미지 패턴(61)은 SLM 평면(31)에서 단순히 이동되는 바둑판 패턴에 해당한다.

도 11e는 프리즘 굴절 보정을 시뮬레이션하기 위해 조정된 보정된 SLM 이미지 패턴(61)을 나타낸다. 보정된 SLM 이미지 패턴(61)은 SLM 평면(31)에서 (여기서는 SLM 평면(31)에서 x 방향을 따라) 이동되는 바둑판 패턴에 해당하며 평면에 따라, 여기서는 수평면을 따라 균일한 원근 왜곡을 구성한다.

일 양태에서, 라이트필드 프로젝터(100)는 임의의 수의 상이한 보정을 포함하는 가상 이미지를 동시에 디스플레이하도록 구성될 수 있다. 즉, 각각의 가상 이미지(41, 42)는 복수의 광학 보정을 시뮬레이션할 수 있다. 도 12는 이러한 가상 이미지(41)를 예시한다. 이 경우, 투사된 변조된 라이트필드(201, 202)는 복수의 서브영역 또는 가상 객체, 예컨대, 도 12에서 숫자 411, 412, 413, 414로 표시된 4개의 가상 이미지를 포함하는 가상 이미지(41)를 생성할 수 있다. 각각의 가상 객체(411, 412, 413, 414)는 주어진 광학 보정을 갖는 별개의 객체를 표시할 수 있다. 따라서, 가상 이미지(41)는 다수의 광학 보정을 포함할 수 있다.

라이트필드 이미지의 또 다른 예가 도 13a 및 13b에 설명되어 있는데, 여기서 투사된 변조된 라이트필드(201, 202)는 각각 다른 보정을 통해 디스플레되는 링(411)과 원(412)을 포함하는 가상 이미지(41)를 형성한다. 도 13a에서, 링(411)은 흐릿하게 보이고 원(412)은 뷰어의 적응에 따라 동시에 선명하게 보인다. 도 13b는 그 반대의 상황을 초래하는 보정을 보여준다.

도 14는 일 실시예에 따른 라이트필드 프로젝터(100)를 사용하여 보정된 가상 이미지를 생성하는 방법을 도시한 것이다. 이 방법은:

가상 3D 장면을 이미징하는 가상 핀홀 카메라 모델을 사용하여 적어도 하나의 가상 이미지(41-44)를 계산하고, 계산된 가상 이미지(M1)에 따라 기준 SLM 이미지 패턴(60)을 디스플레이하는 단계;

하나 이상의 광학 보정 파라미터(M2)를 생성하는단계;

상기 적어도 하나의 광학 보정 파라미터의 함수로서 기준 SLM 이미지 패턴(60)을 이동 및/또는 회전시켜 보정된 SLM 이미지 패턴(61(M3))을 얻는 단계;

상기 적어도 하나의 가상 이미지(41-44(M4)를 형성하도록 구성된 적어도 하나의 변조된 라이트필드(201, 202) 등을 생성하기 위해 입사 라이트필드(101,102)에 의해 순차적으로 SLM(3)을 조명하는 단계; 및

상기 적어도 하나의 변조된 라이트필드(201, 202)를 순차적으로 투사하여 상기 적어도 하나의 광학 보정(M5)을 시뮬레이션하는 상기 적어도 하나의 가상 이미지(41-44)를 투사하는 단계를 포함한다.

적어도 하나의 가상 이미지(41-44)를 계산하고, 적어도 하나의 광학 보정 파라미터를 생성하며, 기준 SLM 이미지 패턴(60)을 이동 및/또는 회전하는 단계는 SLM 제어 유닛(82)에서 수행될 수 있다. SLM(3)을 순차적으로 비추는 단계는 조명 제어 유닛(81)에 의해 제어될 수 있으며, 동기화 통신 신호(84)를 통해 SLM 제어 유닛(82)과 동기화될 수 있다.

도 15에 도시된 일 양태에서, 복수의 변조된 라이트필드(201, 202)가 생성되고, 각각 가상 이미지(41-44)(M6)를 형성한다. 가상 이미지들(41-44)은 개별적으로 형성되며, 각각의 가상 이미지들(41-44)은 별개의 광학 보정을 시뮬레이션할 수 있다. 이 방법은 복수의 가상 이미지(41-44)를 순차적으로 적층하는 단계(M7) 및 가상 이미지(41-44)를 병합하는 단계(M8)를 더 포함할 수 있다. 그런 다음 병합된 가상 이미지(41, 42)가 투사된다(M5). 따라서 병합된 가상 이미지(41-44)는 복수의 광학 보정을 포함할 수 있다.

도 16에 도시된 다른 양태에서, 복수의 변조된 라이트필드(201, 202)가 생성되고, 각각은 가상 이미지(41-44)를 형성한다(M6). 가상 이미지들(41-44)은 개별적으로 형성되며(M9), 각 가상 이미지들(41-44)은 별개의 광학 보정을 시뮬레이션할 수 있다. 이 방법은 가상 이미지(41-44)를 순차적으로 투사하는 단계를 더 포함할 수 있다(M5). 순차적 투사는 복수의 광학 보정을 시뮬레이션하는 단일 이미지로 뷰어가 인식할 수 있을 정도로 충분히 빠를 수 있다.

본 발명은 위에서 설명한 예시적인 실시예에 국한정지 않으며, 특허 청구 범위 내에서 다른 실시예도 가능하다는 것이 이해될 것이다.

예를 들어, 라이트필드 프로젝터는 또한 광학 위상 어레이(OPA)가 SLM의 기능을 제공하고 OPA의 조정 가능한 표면 요소들이 기준 이미지 패턴(60) 및 보정 이미지 패턴(61)을 생성하는 데 사용되는 홀로그램 디스플레이를 포함할 수 있다.

1 조명 장치
11, 12 점광원
100 라이트필드 프로젝터
101, 102 입사 라이트필드
170 기준 투사 축
171-179 겉보기 투사 축
2 시준 광학기
21-29 가상 뷰포인트, 가상 핀홀 카메라
25 가상 뷰포인트, 가상 초점
201, 202 변조된 라이트필드
3 공간 광 변조기
30 3D 장면
31 SLM 평면
4 투사 광학기
41-44 가상 이미지
401-403 가상 이미지 평면
411-414 가상 객체
51 제1 초점면
52 제2 초점면
53 제1 평면
54 제2 평면
55 제1 회전축
56 제2 회전축
6 아이 박스
60 기준 SLM 이미지 패턴
61 보정된 SLM 이미지 패턴
601 이미지 성분
81 조명 제어 장치
82 SLM 제어 장치
83 조명 신호
84 동기화 통신 신호
85 SLM 신호
d 거리

Claims

각각이 공간 광 변조기(SLM)(3)를 조명하는 입사 라이트필드(101,102)를 방출하도록 구성되는 복수의 점광원(11, 12)을 포함하는 광원(1); 및
기준 광축(170)을 따라 변조된 라이트필드(201, 202)를 투사하고, 기준 광축(170)을 따라 가상 이미지(41-44)를 투사하도록 구성된 투사 광학기(4)를 포함하고,
상기 공간 광 변조기(SLM)(3)가 입사 라이트필드(101,102)를 변조하고 SLM 이미지 패턴(60)에 따라 변조된 라이트필드(201, 202)를 생성하도록 구성된 기준 SLM 이미지 패턴(60)을 SLM 평면(31)에 디스플레이하도록 구성된, 광학적으로 보정된 가상 이미지를 생성하기 위한 라이트필드 프로젝터(100)로서,
SLM(3)은 보정된 SLM 이미지 패턴(61)을 디스플레이하도록 더 구성되고,
보정된 SLM 이미지 패턴(61)은 SLM 평면(31)에서 이동된 기준 SLM 이미지 패턴(60)에 해당하며,
보정된 SLM 이미지 패턴(61)은 투사 광학기(4)가 가상 이미지(41-44)를 기준 광축(170)과 다른 겉보기 투사 축(171-179)을 따라 투사하도록 구성되어, 가상 이미지(41-44)가 적어도 광학 보정을 시뮬레이션하도록 하는 것을 특징으로 하는 라이트필드 프로젝터.
제1항에 있어서,
보정된 SLM 이미지 패턴(61)은 기하학적 왜곡을 더 포함하는 기준 SLM 이미지 패턴(60)에 해당하는 라이트필드 프로젝터.
제2항에 있어서,
기하학적 왜곡은 음 또는 양의 굴절 보정 또는 원통형 보정 등을 시뮬레이션하기 위한 비균일 수직 전단 왜곡을 포함하는 라이트필드 프로젝터.
제1항 내지 제3항 중 어느 한 항에 있어서,
보정된 SLM 이미지 패턴(61)은 겉보기 투사 축(171-179)이 SLM(3)과 가상 아이 박스(6) 사이 기준 광축(170) 상의 가상 초점(25)에 수렴하도록 구성되어 가상 이미지(41-44)가 음의 굴절 보정을 시뮬레이션하도록 하는 라이트필드 프로젝터.
제1항 내지 제3항 중 어느 한 항에 있어서,
보정된 SLM 이미지 패턴(61)은 겉보기 투사 축(171-179)이 SLM(3)의 반대쪽에 있는 가상 아이 박스(6)로부터 떨어져 기준 광축(170) 상의 가상 초점(25)에 수렴하도록 구성되어, 가상 이미지(41-44)가 양의 굴절 보정을 시뮬레이션하도록 하는 라이트필드 프로젝터.
제1항 또는 제2항에 있어서,
보정된 SLM 이미지 패턴(61)은 SLM 평면(31)에 수직인 평면에 따른 균일한 원근 왜곡을 포함하는 기하학적 왜곡을 더 포함하는 기준 SLM 이미지 패턴(60)에 해당하고,
보정된 SLM 이미지 패턴(61)은 겉보기 투사 축(171-179)이 서로 평행하고 기준 광축(170)에 대하여 기울어지도록 구성되어, 가상 이미지(41-44)가 프리즘 굴절 보정을 시뮬레이션하도록 하는 라이트필드 프로젝터.
제1항 내지 제3항 중 어느 한 항에 있어서,
보정된 SLM 이미지 패턴(61)은 SLM 평면(31)에 실질적으로 직교하는 축(z)을 중심으로 겉보기 투사 축(171-179)을 회전하도록 구성되는 라이트필드 프로젝터.
제1항 내지 제3항 중 어느 한 항에 있어서,
보정된 SLM 이미지 패턴(61)은 가상 초점면(51, 52)이 다른 2개의 직교 회전 축을 따라 겉보기 투사 축(171-179)을 회전하도록 구성되어, 가상 이미지(41-44)가 원통형 보정을 시뮬레이션하도록 하는 라이트필드 프로젝터.
제8항에 있어서,
2개의 직교 회전축은 각각 접선 경선에 해당하는 제1 회전면(53) 및 상이한 평면에서 상이한 곡률 반경을 갖는 시상 경선에 해당하는 제2 회전면(54)에 실질적으로 평행한 라이트필드 프로젝터.
제1항 내지 제9항 중 어느 한 항에 있어서,
각 가상 이미지(41-44)가 복수의 광학 보정을 포함하는 라이트필드 프로젝터.
제1항 내지 제10항 중 어느 하나에 따른 라이트필드 프로젝터(100)를 이용하여 보정된 가상 이미지 생성 방법으로서,
가상 3D 장면을 이미징하는 가상 핀홀 카메라 모델을 사용하여 적어도 하나의 가상 이미지(41-44)를 계산하고, 계산된 가상 이미지에 따라 기준 SLM 이미지 패턴(60)을 디스플레이하는 단계;
하나 이상의 광학 보정 파라미터를 생성하는 단계;
상기 적어도 하나의 광학 보정 파라미터의 함수로서 기준 SLM 이미지 패턴(60)을 수정하여 보정된 SLM 이미지 패턴(61)을 얻는 단계;
상기 적어도 하나의 가상 이미지(41-44)를 형성하도록 구성된 적어도 하나의 변조된 라이트필드(201, 202) 등을 생성하기 위해 입사 라이트필드(101,102)에 의해 SLM(3)을 순차적으로 조명하는 단계; 및
상기 적어도 하나의 변조된 라이트필드(201, 202)를 순차적으로 투사하여 상기 적어도 하나의 광학 보정을 시뮬레이션한 상기 적어도 하나의 가상 이미지(41-44)를 투사하는 단계를 포함하는 방법.
제11항에 있어서,
보정된 SLM 이미지 패턴(61)은 SLM 평면(31)에 수직인 평면에 따른 비균일 수직 전단 왜곡 또는 균일 원근 왜곡을 더 포함하는 기준 SLM 이미지 패턴(60)에 해당하는 방법.
제11항 또는 제12항에 있어서,
각각이 가상 이미지(41-44)를 형성하는 복수의 변조된 라이트필드(201, 202)를 생성하는 단계를 포함하고,
가상 이미지(41-44)는 개별적으로 형성되고, 각각의 가상 이미지(41-44)가 별개의 광학 보정을 시뮬레이션하는 방법.
제13항에 있어서,
복수의 가상 이미지(41-44)를 순차적으로 적층하는 단계; 가상 이미지(41-44)를 병합하는 단계; 및 병합된 가상 이미지(41, 42)를 투사하는 단계를 더 포함하는 방법.
제13항에 있어서,
가상 이미지(41-44)를 순차적으로 투사하는 단계를 더 포함하는 방법.