KR102365726B1 - 광학 투시 기반의 합성 이미지 제공 방법 및 이를 위한 장치 - Google Patents

Abstract

광학 투시 기반의 합성 이미지 제공 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 합성 이미지 제공 방법은 광도파로를 기반으로 가상 이미지를 투영하기 위한 제1 광원의 제1 광선과 사용자의 시선 추적을 위한 제2 광원의 제2 광선을 복수개의 점광원들로 공급하고, 마이크로 렌즈 어레이를 기반으로 제1 광선 및 제2 광선 중 어느 하나의 집광 정도를 조정하여 집광 정도가 조정된 어느 하나를 출력하고, 광도파로를 기반으로 사용자 동공에서 반사되는 제2 광선을 수집하여 사용자의 시선을 추적하고, 시선을 기반으로 외부 이미지와 가상 이미지를 합성하여 사용자에게 제공하는 단계를 포함한다.

Description

광학 투시 기반의 합성 이미지 제공 방법 및 이를 위한 장치 {METHOD FOR PROVIDING COMPOSITE IMAGE BASED ON OPTICAL SEE-THROUGH AND APPARATUS USING THE SAME}

본 발명은 광학 투시 기반의 합성 이미지 제공 기술에 관한 것으로, 특히 일반 안경과 같이 가볍고 적은 부피로 사용자의 시야 범위에 가득 차는 가상의 이미지를 외부 환경을 가리는 형태(see-closed)가 아닌 광학식 투시(optical see-through)의 형태로 제공할 수 있는 광학 투시 기반의 합성 이미지 제공 방법 및 이를 위한 장치에 관한 것이다.

일반적으로 3D 디스플레이 기술을 크게 3가지 종류로 분류하면 다음과 같다. 첫 번째로, 이상적인 홀로그래픽 디스플레이 기술과 같이 자연 현상에서 일어나는 광원(예; 태양)으로부터 출발한 빛이 임의의 형태를 가진 표면에서 반사되어서 특정한 파장(색상) 값을 가지고 관찰자의 눈으로 전달되는 효과를 인공적으로 구현하는 기술이 존재한다. 두 번째로는, 인간의 3차원 입체 시각 인지 특성 요소 중에서 양쪽 눈으로 입력된 이미지의 차이(양안 시차, binocular disparity) 효과를 인공적으로 구현한 2장의 이미지를 생성 및 출력하는 기술이 존재한다. 마지막으로, 두 번째 방법을 기초로 다수의 시점이 사용자의 눈으로 전달되도록 해서 첫 번째 기술의 효과와 유사하도록 구현하는 기술이 존재한다.

이와 같이 종래의 3D 입체 영상 기술은 안경과 같이 외부 환경을 자유롭게 볼 수 있는 광학식 투시(optical see-through) 기능을 구현할 수는 없는 기술이다.

현재 시장에 소비자용으로 소개된 광학 투시 기능을 지원하는 경량형 HMD(Head Mounted Display)는 시야각이 대부분 약 30 ~ 40도 내외로 좁은 한계점을 가지고 있다. 연구 사례 보고에서도, 논문 "Wearable display for visualization of 3D objects at your fingertips"(Ungyeon Yang, and Ki-Hong Kim, SIGGRAPH '14 ACM SIGGRAPH 2014 Posters)와 같이 안경 수준으로 가벼운 외형을 가진 광학 투시 착용형 디스플레이의 시야각은 56도가 최대인 한계점이 있다.

또한, INNOVEGA사에서 개발한 iOptik과 같이, 안경처럼 가벼운 착용형 디스플레이를 구현하려는 방법 중에 눈과 매우 가까운 거리에 초소형 및 고해상도 디스플레이 패널을 위치시키는 방법이 제안되고 있지만, 특수 콘텍트 렌즈를 착용해야 되는 불편함이 문제점으로 지적되고 있다.

또한, 논문 "Pinlight displays: wide field of view augmented reality eyeglasses using defocused point light sources"(Andrew Maimone, Douglas Lanman, Kishore Rathinavel, Kurtis Keller, David Luebke, Henry Fuchs, ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2014 TOG Homepage archive, Volume 33 Issue 4)와 같이 가벼운 안경 형태의 디스플레이를 구현하는 기존 사례는 점광원으로 구성된 백라이트 패널의 광원의 불균일성 및 아이트래킹 기능 지원의 미비로 인하여 제시된 영상의 품질이 낮은 점 등 소비자용 상용 제품으로 활용하기에는 여러 가지 단점을 가진 기술이다.

이와 같은 종래 기술은 다수의 점광원(pinlight) 생성을 위한 패널을 아크릴판에 일정한 간격으로 에칭(3D 프린터의 로봇암을 활용해서 홈을 찍어냄) 패턴을 형성하고, 측면의 광원(LEDs)에서 입사된 빛이 내부의 전반사(internal reflection)을 통해서 전달되다가 중간에 에칭 점(etched divot)을 만나면 아크릴판 외부로 포인트형 라이트로 빛이 방사되는 현상으로 백라이트 패널을 구현한 사례이다. 즉, 일반적인 edge-lit screen light guide 또는 lightguide와 같이 평면 디스플레이 패널 구현을 위한 기술 분야에서 통상적으로 적용되는 백라이트 구현 기법 중의 일부 내용이 차용된 것임을 알 수 있다.

그러므로, 종래 기술은 점광원 패널의 모든 위치에서 일정한 밝기(광량)을 가진 점광원(pointlight)을 구현하기 어려운 단점을 가진다. 또는, 각각의 점광원을 통해서 방출되는 빛의 밝기와 파장이 서로 달라질 수 있기 때문에, 통상적으로 TV용 디스플레이 패널 제작 시에는 앞의 점광원부와 컬러 화소 패널(예; RGB panel) 사이에 빛을 고르게 확산 시키는 확산판(diffusion film)을 추가 적용하는 방법으로 해당 문제점을 극복한다. 그러나, 이러한 방법은 평면 패널의 모든 부분에 균일한 빛의 출력 효과를 얻기 위한 기법으로, 광학 투시용 착용형 디스플레이에서는 영상 패널 외부의 실사(가상)영상 이미지가 투과되는 효과(transparency, see-through effect)를 방해하므로 사용해서는 안 되는 부적합한 방법이다.

한국 공개 특허 제10-2015-0026455호, 2015년 3월 11일 공개(명칭: 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법)

본 발명의 목적은 일반 안경과 같이 가볍고 적은 부피로 사용자의 시야 범위에 가득 차는 영상 정보를 광학적 투시의 형태로 제시할 수 있는 착용형 디스플레이 기술을 제공하는 것이다.

또한, 본 발명의 목적은 점 배열 광원(Pinlight array)의 한계를 극복할 수 있는 점광원별 에너지의 방출 정보를 제어하는 기술을 제공함으로써 안경형 디스플레이에서 출력되는 영상의 시각적 품질(contrast, color quality, intensity, focus alignment 등)을 향상시키는 것이다.

또한, 본 발명의 목적은 최소의 부피로 안경형 디스플레이에 내장될 수 있으며 눈의 이동 패턴을 정면 또는 측면에서 추적할 수 있는 아이 트래킹 기술을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 합성 이미지 제공 방법은 양방향 전달 특성을 갖는 광도파로(waveguide)를 기반으로 가상 이미지를 투영하기 위한 제1 광원의 제1 광선과 사용자의 시선 추적(Eye Tracking)을 위한 제2 광원의 제2 광선을 복수개의 점광원들로 공급하는 단계; 마이크로 렌즈 어레이를 기반으로 상기 제1 광선 및 상기 제2 광선 중 어느 하나의 집광 정도를 조정하여 집광 정도가 조정된 어느 하나를 출력하는 단계; 상기 광도파로를 기반으로 상기 사용자 동공에서 반사되는 상기 제2 광선을 수집하여 상기 사용자의 시선을 추적하는 단계; 및 상기 시선을 기반으로 외부 이미지와 상기 가상 이미지를 합성하여 상기 사용자에게 제공하는 단계를 포함한다.

이 때, 광도파로를 포함하는 투명 백라이트 패널, 상기 마이크로 렌즈 어레이 및 상기 가상 이미지를 생성하는 투명 이미지 출력 패널은 상기 사용자 동공의 정면에 위치하는 착용형 디스플레이의 투명 패널에 포함될 수 있다.

이 때, 공급하는 단계는 상기 광도파로에 상응하는 복수개의 경로들 중 일부 경로의 지름을 조정하여 상기 복수개의 점광원들 각각에 공급되는 상기 제1 광선의 세기를 독립적으로 제어할 수 있다.

이 때, 공급하는 단계는 복수개의 투명 백라이트 패널들을 이용한 다중 계층 구조를 기반으로 상기 복수개의 점광원들 각각에 공급되는 상기 제1 광선의 특성을 독립적으로 제어할 수 있다.

이 때, 마이크로 렌즈 어레이는 두께를 실시간으로 제어 가능한 복수개의 렌즈들로 구성될 수 있다.

이 때, 복수개의 렌즈들은 상기 복수개의 렌즈들을 기반으로 생성된 복수개의 그룹들 각각에 상응하는 제어신호를 기반으로 각각 독립적으로 제어될 수 있다.

이 때, 합성 이미지 제공 방법은 상기 이미지 출력 패널과 상기 사용자 동공 사이에 위치하는 추가 마이크로 렌즈 어레이를 이용하여 상기 사용자 동공에 투영되는 합성 이미지의 초점을 보정하는 단계를 더 포함할 수 있다.

이 때, 투명패널은 평면 및 곡면 중 어느 하나의 형태에 상응할 수 있다.

이 때, 출력하는 단계는 상기 마이크로 렌즈 어레이가 결집(converging) 또는 확산(diverging) 중 적어도 하나의 기능을 수행하여 상기 제1 광선이 자연광의 속성과 동일하도록 상기 집광 정도를 조정하는 단계; 및 상기 마이크로 렌즈 어레이가 결집(converging) 또는 확산(diverging) 중 적어도 하나의 기능을 수행하여 상기 제2 광선이 상기 이미지 출력 패널을 투과하는 투과율이 향상되되, 상기 사용자 동공에서 반사되는 상기 제2 광선의 수집율이 향상되도록 상기 집광 정도를 조정하는 단계를 포함할 수 있다.

이 때, 출력하는 단계는 상기 복수개의 렌즈들 중 굴절률이 사용자 인지 수준을 초과하는 렌즈를 비활성화시키는 단계를 포함할 수 있다.

이 때, 추적하는 단계는 상기 사용자 동공에 더 근접하게 확장된 상기 광도파로의 종단 부분을 통해 상기 반사된 제2 광선을 수집하는 할 수 있다.

또한, 본 발명의 일실시예에 따른 광학 투시 기반의 착용형 디스플레이는, 양방향 전달 특성을 갖는 광도파로(waveguide)를 기반으로 외부 이미지와 합성될 가상 이미지를 투영하기 위한 제1 광원의 제1 광선과 사용자의 시선 추적(Eye Tracking)을 위한 제2 광원의 제2 광선을 복수개의 점광원들로 공급하는 투명 백라이트 패널; 상기 제1 광선과 상기 제2 광선의 집광 정도를 조정하는 마이크로 렌즈 어레이; 상기 광도파로를 기반으로 사용자 동공으로부터 반사되는 상기 제2 광선을 수집하여 상기 사용자의 시선을 추적하는 아이 트래킹 모듈; 및 상기 가상 이미지를 출력하는 이미지 출력 패널을 포함한다.

이 때, 투명 백라이트 패널, 상기 마이크로 렌즈 어레이 및 상기 이미지 출력 패널은 상기 사용자 동공의 정면에 위치하는 투명 패널에 포함될 수 있다.

이 때, 투명 백라이트 패널은 상기 광도파로에 상응하는 복수개의 경로들 중 일부 경로의 지름을 조정하여 상기 복수개의 점광원들 각각에 공급되는 상기 제1 광선의 세기를 독립적으로 제어할 수 있다.

이 때, 복수개의 투명 백라이트 패널들을 이용한 다중 계층 구조를 기반으로 상기 복수개의 점광원들 각각에 공급되는 상기 제1 광선의 특성을 독립적으로 제어할 수 있다.

이 때, 마이크로 렌즈 어레이는 두께를 실시간으로 제어 가능한 복수개의 렌즈들로 구성될 수 있다.

이 때, 복수개의 렌즈들은 상기 복수개의 렌즈들을 기반으로 생성된 복수개의 그룹들 각각에 상응하는 제어신호를 기반으로 각각 독립적으로 제어될 수 있다.

이 때, 투명 패널은 상기 이미지 출력 패널과 사용자 동공 사이에 위치하며, 상기 사용자 동공에 투영되는 합성 이미지의 초점을 보정하기 위한 추가 마이크로 렌즈 어레이를 더 포함할 수 있다.

이 때, 투명패널은 평면 및 곡면 중 어느 하나의 형태에 상응할 수 있다.

이 때, 마이크로 렌즈 어레이는 결집(converging) 또는 확산(diverging) 중 적어도 하나의 기능을 수행하여 상기 제1 광선이 자연광의 속성과 동일하도록 상기 집광 정도를 조정하고, 결집(converging) 또는 확산(diverging) 중 적어도 하나의 기능을 수행하여 상기 제2 광선이 상기 이미지 출력 패널을 투과하는 투과율이 향상되되, 상기 사용자 동공에서 반사되는 상기 제2 광선의 수집율이 향상되도록 상기 집광 정도를 조정할 수 있다.

이 때, 마이크로 렌즈 어레이는 상기 복수개의 렌즈들 중 굴절률이 사용자 인지 수준을 초과하는 렌즈를 비활성화시킬 수 있다.

이 때, 아이 트래킹 모듈은 상기 사용자 동공에 더 근접하게 확장된 상기 광도파로의 종단 부분을 통해 상기 반사된 제2 광선을 수집할 수 있다.

본 발명에 따르면, 일반 안경과 같이 가볍고 적은 부피로 사용자의 시야 범위에 가득 차는 영상 정보를 광학적 투시의 형태로 제시할 수 있는 착용형 디스플레이 기술을 제공할 수 있다.

또한, 본 발명은 점 배열 광원(Pinlight array)의 한계를 극복할 수 있는 점광원별 에너지의 방출 정보를 제어하는 기술을 제공함으로써 안경형 디스플레이에서 출력되는 영상의 시각적 품질(contrast, color quality, intensity, focus alignment 등)을 향상시킬 수 있다.

또한, 본 발명은 최소의 부피로 안경형 디스플레이에 내장될 수 있으며 눈의 이동 패턴을 정면 또는 측면에서 추적할 수 있는 아이 트래킹 기술을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 광학 투시 기반의 착용형 디스플레이를 통한 합성 이미지 제공 과정을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 광학 투시 기반의 합성 이미지 제공 방법을 나타낸 동작 흐름도이다.
도 3 내지 도 6은 본 발명에 따른 다중 계층 기반의 광도파로 설계의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따른 단일 계층 기반의 광도파로 설계의 일 예를 나타낸 도면이다.
도 8 내지 도 11은 본 발명에 따른 공유 또는 분산에 따른 광도파로 설계와 그에 따른 에너지 출력 방식의 일 예를 나타낸 도면이다.
도 12 내지 도 16은 본 발명에 따른 마이크로 렌즈 어레이에서 복수개의 렌즈들을 제어하는 방식의 일 예를 나타낸 도면이다.
도 17은 도 6에 도시된 투명 백라이트 패널과 도 14에 도시된 마이크로 렌즈 어레이를 중첩하여 나타낸 도면이다.
도 18은 본 발명의 일실시예에 따른 평면 형태의 착용형 디스플레이의 구조를 나타낸 도면이다.
도 19는 본 발명의 일실시예에 따른 곡면 형태의 착용형 디스플레이의 구조를 나타낸 도면이다.
도 20은 본 발명의 일실시예에 따른 추가 마이크로 렌즈 어레이를 포함하는 착용형 디스플레이의 구조를 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 광학 투시 기반의 착용형 디스플레이를 통해 합성 이미지 제공 과정을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 광학 투시 기반의 착용형 디스플레이(100)는 외부 환경에서 가시화되는 외부 이미지(110)에 가상 이미지(130)를 합성한 합성 이미지(150)를 사용자 동공(140)으로 제공하여 가상 이미지(130)를 현실 세계와 자연스럽게 합성하여 보여줄 수 있다. 즉, 도 1에 도시된 꽃에 나비가 날고 있는 모습을 합성하여 사용자에게 보여주는 것으로, 나비에 해당하는 가상 이미지(130)는 사용자 동공(140)의 정면에 위치하는 착용형 디스플레이(100)의 투명 패널(120) 내부에서 출력되어 제공될 수 있다.

이와 같이 사용자에게 합성된 이미지를 자연스럽게 제공할 수 있는 경량형의 착용형 디스플레이(100)를 구성하는 주요 모듈로는 광도파로 기반의 점광원 배열 형태로 구성되어 빛을 공급하는 투명 백라이트 모듈, 광도파로 기반의 투명 패널에 포함되어 착용형 디스플레이를 착용한 사용자의 시선을 추적할 수 있는 아이트래킹 모듈, 착용형 디스플레이를 착용한 사용자에게만 제시되는 가상 이미지를 출력하는 이미지 출력 패널, 복수개의 점광원들에서 출력되는 광원의 집광 정도를 제어할 수 있는 마이크로 렌즈 어레이로 구성될 수 있다.

이 때, 사용자 시선을 추적하기 위한 광원으로는 일반적으로 널리 사용하는 적외선을 사용할 수 있으나, 인체에 무해하며 시선 추적용으로 사용가능한 파장이라면 특정한 파장에 한정하지 않고 이용할 수도 있다.

이 때, 도 1의 우측에 도시된 예시는 외부 이미지(110)인 꽃의 위에 가상 이미지(130)인 나비가 날고 있는 모습이 합성된 결과를 사용자가 합성 이미지(150)와 같이 하나의 이미지로 인지하는 내용을 나타내고 있다.

이 때, 외부 이미지(110)는 현실 세계의 실물이거나 또는 임의의 다른 디스플레이로부터 출력된 이미지 및 영상에 상응할 수 있으며, 가상 이미지(130)는 착용형 디스플레이(100)의 이미지 출력 패널에서 가시화된 이미지에 해당할 수 있다.

이 때, 외부 이미지(110)는 자연광(111)을 통해 사용자 동공(140)으로 투영될 수 있으며, 가상 이미지(130)는 투명 백라이트 패널에서 발생하는 가시광선(121)을 통해 사용자 동공(140)으로 투영될 수 있다.

이 때, 투명 백라이트 패널에서는 가상 이미지(130)를 투영하기 위한 가시광선(121)과 더불어 사용자의 시선을 추적하기 위한 적외선(122)을 출력할 수 있으며, 사용자 동공(140)에서 반사된 적외선을 수집하여 사용자의 시선을 추적하는데 사용할 수 있다.

이 때, 사용자의 시선을 추적하기 위한 광선은 적외선으로 한정되지 않고, 사용자의 시선을 추적가능하되 인체에 무해한 파장의 빛을 모두 사용할 수 있다.

본 발명의 일실시예에 따른 착용형 디스플레이(100)는 사용자의 눈 바로 앞에 위치한 패널의 이미지를 사용자가 선명하게 획득할 수 있도록 복수개의 점광원들을 기반으로 하는 핀홀카메라 모델의 특징을 활용하는 광학적 구조에 상응할 수 있다. 이 때, 사용자 동공(140)과 착용형 디스플레이(100)의 투명 패널(120) 간의 거리는 2~3 센티미터(cm) 정도의 거리인 것으로 가정할 수 있다.

이와 같이 본 발명의 구성에서 핵심적 요소인 광도파로 기반의 점광원 배열을 포함하는 투명 백라이트 패널은 유연성 필름과 같이 얇은 투명 소재 내부에 광도파로를 형성할 수 있는 제조 공법의 존재를 통해서, 제안된 아이디어의 실현성을 검증할 수 있다. 그리고, 광도파로를 이용한 아이트래킹 모듈 또한 형태가 고정된 마이크로 렌즈 어레이를 형성하는 공법이나 폴리머와 같은 유연성 투명 재질 기반의 가변형 렌즈 기술을 통해서 제안된 아이디어의 실현성을 검증할 수 있다.

도 2는 본 발명의 일실시예에 따른 광학 투시 기반의 합성 이미지 제공 방법을 나타낸 동작 흐름도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 광학 투시 기반의 합성 이미지 제공 방법은 양방향 전달 특성을 갖는 광도파로(waveguide)를 기반으로 가상 이미지를 투영하기 위한 제1 광원의 제1 광선과 사용자의 시선 추적(Eye Treacking)을 위한 제2 광원의 제2 광선을 복수개의 점광원들로 공급한다(S210).

이 때, 제1 광선이 무작위(random) 반사되지 않고 미리 설계된 광도파로의 경로를 따라서만 공급되도록 함으로써 기존의 점광원 패턴을 이용하였을 때 빛이 전반사 방사되어 일정한 밝기와 파장을 유지하지 못하는 문제점을 해결할 수 있다.

예를 들어, 광도파로는 마치 IC 회로 기판을 설계 및 가공하는 방법이나 다층(multi-layer)을 형성할 수 있는 프레스 인쇄(press printing) 기법을 이용하여 설계 및 제작될 수 있다. 이러한 제조 방법은 통상적으로 광통신 기술 또는 반도체 생산 분야에서 적용되는 기술이지만, 본 발명과 같이 합성 이미지를 제공할 수 있는 착용형 디스플레이 분야에서 점광원 패턴 형성에 따른 문제점들을 풀 수 있는 방법으로 제공할 수 있다.

이 때, 제1 광선은 착용형 디스플레이에서 생성되는 가상 이미지를 사용자에게 투영하여 보여주기 위한 가시광선에 상응할 수 있다.

이 때, 광도파로에 상응하는 복수개의 경로들 중 일부 경로의 지름을 조정하여 복수개의 점광원들 각각에 공급되는 제1 광선의 세기를 독립적으로 제어할 수 있다.

예를 들어, 광도파로는 복수개의 제1 광원들을 이용하여 모든 점광원들로 제1 광선이 독립적으로 전달되도록 설계될 수 있다.

다른 예를 들어, 광도파로는 소수의 제1 광원만을 이용하되 가지치기 기법(branching method)을 통해 제1 광선을 모든 점광원들로 전달되도록 설계될 수도 있다.

따라서, 착용형 디스플레이의 투명 백라이트 패널은 모든 점광원들에서 균일한 속성을 갖는 광선을 구현하거나, 목적에 따라서 서로 다른 형태를 갖는 패턴으로 점광원 패턴을 구현할 수 있는 장점이 존재할 수 있다. 즉, 본 발명에 따른 투명 백라이트 패널은 일반적인 영상 패널에서의 단위 픽셀의 개념을 적용할 경우, 임의의 영상 이미지를 출력하는 패널로도 활용이 가능할 수 있다.

이 때, 복수개의 투명 백라이트 패널들을 이용한 다중 계층 구조를 기반으로 복수개의 점광원들 각각에 공급되는 제1 광선의 특성을 독립적으로 제어할 수 있다.

다중 계층 구조에 대한 설명은 도 3 내지 도 6에서 상세하게 설명하도록 한다.

이 때, 제2 광선은 착용형 디스플레이를 착용한 사용자의 시선을 추적하기 위한 것으로, 인체에 무해하되 시선 추적용으로 사용 가능한 종류의 파장에 상응할 수 있다. 즉, 제2 광선은 적외선과 같이 특정한 종류의 파장에 한정되지 않을 수 있다.

이 때, 제2 광선은 복수개의 점광원들 중 제1 광선 투사하는 점광원들을 이용하여 투사될 수도 있고 또는 복수개의 점광원들 중 제1 광선을 투사하는 점광원들과는 구별하여 투사될 수도 있다.

즉, 하나의 점광원에서 제1 광선과 제2 광선이 모두 투사될 수도 있고, 제1 광선과 제2 광선이 투사되는 점광원을 각각 분류할 수도 있다.

또한, 본 발명의 일실시예에 따른 광학 투시 기반의 합성 이미지 제공 방법은 마이크로 렌즈 어레이를 기반으로 제1 광선 및 제2 광선 중 어느 하나의 집광 정도를 조정하여 집광 정도가 조정된 어느 하나를 출력한다(S220).

이 때, 마이크로 렌즈 어레이는 투명 백라이트 패널에 분포하는 점광원들의 위치와 점광원들에 의한 광선의 투사 방향에 적합하도록 각각의 광학적 파라미터를 가진 마이크로 렌즈를 성형 가공하여 고정형으로 제작될 수 있다.

또한, 마이크로 렌즈 어레이는 두께를 실시간으로 제어 가능한 복수개의 렌즈들로 구성될 수 있다. 예를 들어, 폴리머 소재를 사용한 마이크로 렌즈들로 구성될 수 있다.

이 때, 복수개의 렌즈들은 복수개의 렌즈들을 기반으로 생성된 복수개의 그룹들 각각에 상응하는 제어신호를 기반으로 각각 독립적으로 제어될 수 있다.

복수개의 렌즈들을 독립적으로 제어하는 구체적인 설명은 도 12 내지 도 16에서 상세하게 설명하도록 한다.

이 때, 마이크로 렌즈 어레이가 결집(converging) 또는 확산(diverging) 중 적어도 하나의 기능을 수행하여 제1 광선이 자연광의 속성과 동일하도록 집광 정도를 조정할 수 있다. 즉, 본 발명의 일실시예에 따른 광학 투시 기반의 착용형 디스플레이는 디스플레이 외부로부터 입력되는 외부 이미지와 가상 이미지를 동시에 시각적으로 제공하기 때문에 두 이미지가 사용자의 눈에 자연스럽게 보여지도록 제공되어야 할 수 있다. 따라서, 가상 이미지를 투영하기 위해 출력되는 착용형 디스플레이 내부의 제1 광선이 사용자의 망막에 외부 이미지가 투영되는데 영향을 미치는 자연광과 동일한 특성을 갖도록 마이크로 렌즈 어레이를 통해 조정할 수 있다.

즉, 마이크로 렌즈 어레이는 제1 광선의 집광 정도를 제어할 수 있으므로, 복수개의 점광원들과 이미지 출력 패널과의 상대적인 거리감을 조절하여 제1 광선이 투사되는 영역을 가변적으로 제어할 수 있다.

이 때, 마이크로 렌즈 어레이가 결집(converging) 또는 확산(diverging) 중 적어도 하나의 기능을 수행하여 제2 광선이 이미지 출력 패널을 투과하는 투과율이 향상되되, 사용자 동공에서 반사되는 제2 광선의 수집율이 향상되도록 집광 정도를 조정할 수 있다.

이 때, 이미지 출력 패널은 투과 성질을 가진 소재에 상응할 수 있다. 예를 들어, 이미지 출력 패널은 백라이트 패널이 제거된 LCD 패널, 투명 OLED 패널 등으로 구성될 수 있다.

이 때, 이미지 출력 패널을 투과한 제2 광선은 추적 대상이 되는 사용자의 동공으로 투영되어야 하므로, 제2 광선이 사용자의 동공으로 가능한 많이 전달될 수 있도록 마이크로 렌즈 어레이를 통해 집광 정도를 조정할 수 있다.

이 때, 복수개의 렌즈들 중 굴절률이 사용자 인지 수준을 초과하는 렌즈를 비활성화 시킬 수 있다.

예를 들어, 마이크로 렌즈 어레이 부분이 사용자의 시야에 포함되는 경우, 외부의 자연공간 이미지의 투사를 왜곡시킬 수 있으므로, 굴절률을 고려하여 일부 렌즈의 기능을 비활성화(off) 시킬 수 있다.

이 때, 렌즈의 굴절률 변화를 기반으로 외부 이미지를 희미하게 만드는 선택적 가림 기능(masking)을 활용하여 이미지 출력 패널에서 출력되는 가상 이미지를 보다 더 선명하게 보여지도록 할 수도 있다.

또한, 본 발명의 일실시예에 따른 광학 투시 기반의 합성 이미지 제공 방법은 광도파로를 기반으로 사용자 동공에서 반사되는 제2 광선을 수집하여 사용자의 시선을 추적한다(S230).

이 때, 광도파로를 구성하는 매질의 양방향 전달 특성을 활용하여 복수개의 점광원들에서 제2 광선을 출력함과 동시에 사용자 동공으로부터 반사된 제2 광선을 수집할 수 있다.

예를 들어, 광도파로를 통해 전달된 제2 광선이 사용자의 눈으로 투사되면, 투사된 점광원과 동일하거나 반사된 제2 광선의 수집을 전용으로 하는 점광원을 통해 반사되는 제2 광선을 수집할 수 있다. 이 때, 본 발명의 일실시예에 따른 아이트래킹 모듈에서는 반사되어 수집된 제2 광선의 양과 점광원에서 수집되는 반사되는 제2 광선의 패턴을 고려하여 사용자의 시선 방향을 결정할 수 있다.

이 때, 사용자 동공에 더 근접하게 확장된 광도파로의 종단 부분을 통해 반사된 제2 광선을 수집할 수 있다.

이 때, 반사된 제2 광선의 수집 효율을 향상시키기 위해 마이크로 렌즈 어레이를 구성하는 렌즈의 기능을 제어할 수 있다.

예를 들어, 사용자의 시선 추적을 목적으로 하는 점광원들이 사용자의 시야 범위 내에서 간섭 효과를 발생시킨다고 가정할 수 있다. 이러한 경우에는 부분적으로 점광원들에 의한 제2 광선을 약화시킬 수 있도록 렌즈의 기능을 비활성화 시킬 수 있다.

또한, 본 발명의 일실시예에 따른 광학 투시 기반의 합성 이미지 제공 방법은 시선을 기반으로 외부 이미지와 가상 이미지를 합성하여 사용자에게 제공한다(S240).

이 때, 이미지 출력 패널은 가상 이미지를 생성 및 출력하는 모듈에 상응할 수 있다. 예를 들어, 이미지 출력 패널은 SLM(spatial light modulator)에 상응하는 모듈로 투과성질을 가진 소재에 상응할 수 있다.

따라서, 이미지 출력 패널을 투과한 외부 이미지와 이미지 출력 패널을 통해 출력된 가상 이미지가 동시에 사용자에게 보여질 수 있다.

이 때, 착용형 디스플레이를 통해 외부 이미지와 가상 이미지를 동시에 보여줌으로써 사용자는 두 개의 이미지가 합성된 것처럼 느낄 수 있다.

이 때, 광도파로를 포함하는 투명 백라이트 패널, 마이크로 렌즈 어레이 및 이미지 출력 패널은 사용자의 동공 정면에 위치하는 착용형 디스플레이의 투명 패널에 포함될 수 있다.

일반적으로 사용자 시선 추적을 위한 종래 기술들은 사용자의 시야 가림을 피하기 위해서 사용자의 시야 외부의 영역에서 사용자의 동공을 향한 사선 방향으로 추적 광원을 위치시키고, 이를 수신하기 위한 센서도 사용자의 시야 외부에 구비되는 방식에 상응하였다. 그러나 이러한 방식들은 결과적으로 착용부의 부피와 무게를 증가시키는 단점을 초래했으며, 사용자 눈의 영상을 사선 방향에서 왜곡된 형태로 획득하게 되므로 정확도가 낮아지는 문제점이 발생하였다.

이에 대해, 본 발명에서는 사용자의 동공 정면에 위치하는 투명 백라이트 패널, 즉 투명 백라이트 패널에 포함된 점광원을 통해서 사용자 동공의 이미지 정보를 획득하는 구조를 제안할 수 있다. 이와 같은 구조를 통해서 종래의 장치들보다 착용형 디스플레이의 부피와 무게를 감소시킬 수 있으며, 시선 추적의 정확도 또한 향상시키는 효과가 있을 수 있다.

이 때, 투명 패널은 평면 및 곡면 중 어느 하나의 형태에 상응할 수 있다.

이 때, 평면 또는 곡면에 상응하는 투명 패널을 적용한 착용형 디스플레이에 관해서는 도 18 내지 도 19에서 상세하게 설명하도록 한다.

또한, 본 발명의 일실시예에 따른 광학 투시 기반의 합성 이미지 제공 방법은 이미지 출력 패널과 사용자 동공 사이에 위치하는 추가 마이크로 렌즈 어레이를 이용하여 사용자 동공에 투영되는 합성 이미지의 초점을 보정한다.

예를 들어, 사용자의 시력 차이로 인해 투영된 이미지의 초점이 망막에 형성되지 않는 경우가 발생할 수 있다. 따라서 이러한 경우 투영된 이미지의 초점이 망막에 형성될 수 있도록 추가 마이크로 렌즈 어레이를 이용하여 보정을 수행할 수 있다.

또한, 본 발명의 일실시예에 따른 광도파로 기반의 점광원 패널 생성 기술, 개별 독립적인 제어가 가능한 마이크로 렌즈 어레이 기반 에너지 집중 및 분산형 패턴 형성 기술, 그리고 앞의 두 모듈을 활용한 아이 트래킹 기술은 각각 독립적으로 구동이 가능한 형태로 최종 기술 구현 시작품에 적용될 수 있다.

예를 들면, 완전 몰입(see-closed) 착용형 디스플레이에 앞의 3가지 주요 기술을 적용하는 경우, OculusVR사의 KD2 HMD 및 SONY사의 Morpheus HMD와 같은 기존 기술의 디스플레이 부피에 비하여 매우 얇은 부피와 무게를 가진 형태의 HMD를 구현할 수 있다. 또한, 이와 동시에 광도파로 점광원 패널 면적의 전체를 아이 트래킹용 추적광의 입출력 센서부로 활용할 수 있으므로, 더 정확한 아이 트래킹을 구현할 수 있는 장점을 가진다.

또한, 본 발명의 일실시예에 따른 광학 투시 기반의 합성 이미지 제공 방법은 상술한 광학 투시 기반의 합성 이미지 제공 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장한다.

이와 같은 합성 이미지 제공 방법을 통해, 일반 안경과 같이 가볍고 적은 부피로 사용자의 시야 범위에 가득 차는 영상 정보를 광학적 투시의 형태로 제시할 수 있는 착용형 디스플레이 기술을 제공할 수 있다.

또한, 점 배열 광원(Pinlight array)의 한계를 극복할 수 있는 점광원별 에너지의 방출 정보를 제어하는 기술을 제공함으로써 안경형 디스플레이에서 출력되는 영상의 시각적 품질(contrast, color quality, intensity, focus alignment 등)을 향상시킬 수 있다.

또한, 최소의 부피로 안경형 디스플레이에 내장될 수 있으며 눈의 이동 패턴을 정면 또는 측면에서 추적할 수 있는 아이 트래킹 기술을 제공할 수도 있다.

도 3 내지 도 6은 본 발명에 따른 다중 계층 기반의 광도파로 설계의 일 예를 나타낸 도면이다.

도 3 내지 도 6을 참조하면, 본 발명에 따르면 제1 광선을 출력하는 복수개의 제1 점광원들과 제2 광선을 출력하는 복수개의 제2 점광원들의 배열을 위해서 투명 백라이트 패널 내부에 광도파로를 설계할 때, 각각의 점광원들을 독립적으로 제어하기 위해서 다중 계층 기반의 구조로 설계할 수 있다.

예를 들어, 도 3에 도시된 제1 광원(310)에 연결된 제1 광도파로(311)와 이에 연결된 제1 점광원(312) 및 제2 광원(320)에 연결된 제2 광도파로(312)와 이에 연결된 제2 점광원(322)을 포함하는 구조의 투명 백라이트 패널(330)과 도 4 내지 도 5에 도시된 동일한 유형의 투명 백라이트 패널(430, 530)을 중첩하여 도 6에 도시된 것과 같은 다중 계층 기반의 구조를 설계할 수 있다.

이와 같은 다중 계층 기반의 구조는 모든 점광원들 각각에 대해서 광선의 세기나 파장과 같은 빛 에너지의 특성을 각각의 광원에서 독립적으로 제어할 수 있는 장점을 가질 수 있다. 또한, 각각의 광도파로의 설계 시 광도파로 지름 값의 변화를 통해서 하나의 점광원에 전달되는 빛의 양도 조절할 수 있다.

도 7은 본 발명에 따른 단일 계층 기반의 광도파로 설계의 일 예를 나타낸 도면이다.

도 7을 참조하면, 본 발명에 따른 투명 백라이트 패널(770) 내부에 형성되는 광도파로는 굵기 또는 지름이 수 마이크로미터(um) 수준으로 형성될 수 있다.

따라서, 광원과 점광원 사이의 전달 경로 상에서는 일반 전자 회로와 같은 도선이 보이지 않게 되므로 투명한 광학 투시형 광학계를 구현할 때 빛이 차단되는 가림 문제가 발생하지 않을 수 있다.

또한, 광도파로가 형성되는 투명 백라이트 패널은 사용자의 눈과 매우 가까운 거리에 위치하기 때문에 망막에는 선명한 선의 형태로 상이 맺히지 않아 투명성 유지에는 문제가 되지 않을 수 있다.

따라서, 도 6에 도시된 것과 같은 다중 계층의 구조를 사용하지 않고, 필요에 따라 도 7에 도시된 것은 단일 계층으로도 투명 백라이트 패널(770)을 구현할 수 있다.

도 8 내지 도 11은 본 발명에 따른 공유 또는 분산에 따른 광도파로 설계와 그에 따른 에너지 출력 방식의 일 예를 나타낸 도면이다.

도 8 내지 도 11을 참조하면, 본 발명에 따른 광도파로는 도 8과 같이 하나의 제1 광원(810)과 하나의 제2 광원(820)을 이용하여 모든 점광원들을 제어하는 방식과 도 9와 같이 다수의 제1 광원(911, 912)과 다수의 제2 광원(921, 922, 923)을 기반으로 모든 점광원들을 일부의 소그룹으로 분리하여 제어하는 방식을 나타내고 있다.

먼저, 도 8에 도시된 경우는 하나의 제1 광원으로 이에 연결된 모든 점광원에 제1 광선을 공급하는 경우로, 제1 광원(810)과 제2 광원(820) 각각에 해당하는 광원(light source)의 특성은 1가지 이지만, 각각의 점광원들에 연결된 광도파로 경로의 형태를 달리하는 방법으로 각각의 점광원에 출력되는 빛의 특성을 통일하거나 다르게 변경시킬 수 있다. 예를 들어, 각각의 점광원들에 연결된 광도파로 경로의 지름의 크기를 달리하여 공급되는 빛의 양을 다르게 변경할 수 있다.

또한, 도 9에 도시된 경우는 전체 점광원들을 2~3개의 그룹으로 나누어 광선을 공급하는 경우로, 각각의 점광원 그룹에 연결된 제1 광원(911, 912) 또는 제2 광원(921, 922, 923)을 통해 그룹별로 출력되는 광선의 특성을 다르게 변경시킬 수 있다.

예를 들어, 도 10에 도시된 것과 같이 전체 점광원들 중에서 중앙 부분에 해당하는 제1 점광원(1010)들과 제2 점광원(1020)들에만 제1 광선과 제2 광선을 공급하고, 외곽에 위치하는 일부 점광원(1030)들에는 출력을 차단시켜 기능을 off 시킬 수 있다.

다른 예를 들어, 도 11에 도시된 것과 같이 전체 점광원들 중에서 가로 또는 세로로 중앙 부분에 해당하는 제1 점광원(1110)들과 제2 점광원(1120)들에 대해서만 제1 광선과 제2 광선을 공급하고, 그 이외에 나머지 점광원(1130)들에는 출력을 차단시켜 기능을 off 시킬 수도 있다.

도 12 내지 도 16은 본 발명에 따른 마이크로 렌즈 어레이에서 복수개의 렌즈들을 제어하는 방식의 일 예를 나타낸 도면이다.

도 12 내지 도 16을 참조하면, 도 12에 도시된 형태의 마이크로 렌즈 어레이(1210)에 포함된 복수개의 렌즈(1220)들은 사전에 미리 설계된 광학적 파라미터로 정의된 고정형 렌즈에 상응할 수 있다. 이 때, 광학적 파라미터는 특정 시력 조건과 광도파로 및 이미지 출력 패널의 특성에 최적화된 수치일 수 있으며, 시스템에 가시화 목적에 상응하게 설정될 수 있다.

또한, 본 발명의 일실시예에 따른 복수개의 렌즈(1220)들은 두께를 실시간으로 제어할 수 있는 가변형 렌즈 물성을 가진 마이크로 렌즈에 상응할 수도 있다.

이와 같은 경우 복수개의 렌즈(1220)를 제어하는 방식은 도 13에 도시된 것과 같이 하나의 렌즈 제어 모듈(1310)에 상응하는 투명 제어 회로(1311)에 복수개의 렌즈(1220)들을 모두 연결하여 전체를 하나의 제어 신호를 통해서 변형 및 제어할 수 있다.

또는, 도 14에 도시된 것과 같이 복수개의 렌즈(1220)들을 몇 개의 그룹으로 형성하고, 그룹 수에 상응하는 복수개의 렌즈 제어 모듈(1410, 1420, 1430)로 제어함으로써 보다 다양한 패턴으로 복수개의 렌즈(1220)들을 각각 제어할 수도 있다.

이 때, 각각의 그룹으로 제어 신호를 전달하기 위한 투명 제어 회로(1411, 1421, 1431)는 빛의 진행을 방해하지 않는 형태로 설계될 수 있다.

또한, 도면에는 존재하지 않지만, 복수개의 렌즈(1220)들은 각각 독립적으로 1개씩 제어가 될 수도 있으며, 이러한 경우에도 각각의 렌즈로 제어신호를 전달하기 위한 투명 제어 회로가 빛의 진행을 방해하지 않도록 구현될 수 있다.

또한, 본 발명에 따른 마이크로 렌즈 어레이는 각각의 렌즈의 굴절률의 변화를 통해 선택적 가림(masking) 기능을 활용할 수 있다. 예를 들어, 이미지 출력 패널에서 가상 이미지가 출력되는 영역에도 투명 패널을 통해 외부로부터 투영되는 외부 이미지가 중첩되어 보여질 수 있다. 따라서, 가상 이미지를 보다 선명하게 보여지도록 하기 위해서 가상 이미지가 출력되는 영역으로 투영되는 외부 이미지를 희미하게 만들 수 있도록 해당 부분 렌즈의 굴절률을 제어하여 외부 이미지를 가릴 수 있다.

즉, 도 15 내지 도 16에 도시된 것과 같이 가상 이미지가 출력될 것으로 예상되는 마이크로 렌즈 어레이의 중앙 부분에 위치하는 렌즈(1510, 1610)는 굴절률 변화를 통해 가림(masking) 상태로 제어하고, 나머지 렌즈(1520, 1620)들로만 외부 이미지가 투영되도록 제어할 수 있다.

도 17은 도 6에 도시된 투명 백라이트 패널과 도 14에 도시된 마이크로 렌즈 어레이를 중첩하여 나타낸 도면이다.

도 17을 참조하면, 본 발명의 일실시예에 착용형 디스플레이의 투명 패널에는 광도파로 기반의 투명 백라이트 패널(330, 430, 530)과 마이크로 렌즈 어레이를 통합하여 하나의 얇은 안경 렌즈 형태로 제작될 수 있다.

이 때, 도 17에 도시된 투명 백라이트 패널이나 마이크로 렌즈 어레이는 목적에 따라서 다양한 형태로 조합되어 제작될 수 있으므로, 본 발명에 따른 착용형 디스플레이 또한 다양한 형태의 결과물로 제작될 수 있다.

도 18은 본 발명의 일실시예에 따른 평면 형태의 착용형 디스플레이의 구조를 나타낸 도면이다.

도 18을 참조하면, 본 발명의 일실시예에 따른 평면 형태의 착용형 디스플레이는 투명 백라이트 패널(1810), 마이크로 렌즈 어레이(1840), 아이 트래킹 모듈(1810, 1850) 및 이미지 출력 패널(1850)을 포함한다.

투명 백라이트 패널(1810)은 제1 광도파로(waveguide)(1821)를 통해 제1 광원(light source)(1820)으로부터 복수개의 점광원(pointlight)들로 제1 광선을 공급하고, 제2 광도파로(1831)를 통해 제2 광원(1830)으로부터 복수개의 점광원들로 제2 광선을 공급한다.

이 때, 도 18에는 도시하지 아니하였으나, 제1 광원(1820)에 의해 공급되는 제1 광선과 제2 광원(1830)에 의해 공급되는 제2 광선은 동일한 하나의 광도파로를 공유하여 복수개의 점광원들로 공급될 수도 있다. 즉, 도 18에 도시된 제1 광도파로와 제2 광도파로를 통합하여 하나의 광도파로만으로도 제1 광선과 제2 광선을 각각 공급하는 것이 가능하다.

이 때, 제1 광원(1820)에 의해 공급되는 제1 광선이 무작위(random) 반사되지 않고 미리 설계된 제1 광도파로(1821)의 경로를 따라서만 공급되도록 함으로써 기존의 점광원 패턴을 이용하였을 때 빛이 전반사 방사되어 일정한 밝기와 파장을 유지하지 못하는 문제점을 해결할 수 있다.

예를 들어, 광도파로는 마치 IC 회로 기판을 설계 및 가공하는 방법이나 다층(multi-layer)을 형성할 수 있는 프레스 인쇄(press printing) 기법을 이용하여 설계 및 제작될 수 있다. 이러한 제조 방법은 통상적으로 광통신 기술 또는 반도체 생산 분야에서 적용되는 기술이지만, 본 발명과 같이 합성 이미지를 제공할 수 있는 착용형 디스플레이 분야에서 점광원 패턴 형성에 따른 문제점들을 풀 수 있는 방법으로 제공할 수 있다.

이 때, 제1 광원(1820)을 통해 공급되는 제1 광선은 착용형 디스플레이에서 생성되는 가상 이미지를 사용자에게 투영하여 보여주기 위한 가시광선에 상응할 수 있다.

이 때, 제1 광도파로(1821)에 상응하는 복수개의 경로들 중 일부 경로의 지름을 조정하여 복수개의 제1 점광원들 각각에 상응하는 제1 광선의 세기를 독립적으로 제어할 수 있다.

예를 들어, 제1 광도파로(1821)는 복수개의 제1 광원(1820)들을 이용하여 제1 광도파로(1821)에 연결된 모든 점광원들로 제1 광선이 독립적으로 전달되도록 설계될 수 있다.

다른 예를 들어, 제1 광도파로(1821)는 소수의 제1 광원(1820)만을 이용하되 가지치기 기법(branching method)을 통해 제1 광선을 제1 광도파로(1821)에 연결된모든 점광원들로 전달되도록 설계될 수도 있다.

따라서, 착용형 디스플레이의 투명 백라이트 패널(1810)은 모든 점광원들에서 균일한 속성을 갖는 광원을 구현하거나, 목적에 따라서 서로 다른 형태를 갖는 패턴으로 점광원 패턴을 구현할 수 있는 장점이 존재할 수 있다. 즉, 본 발명에 따른 투명 백라이트 패널(1810)은 일반적인 영상 패널에서의 단위 픽셀의 개념을 적용할 경우, 임의의 영상 이미지를 출력하는 패널로도 활용이 가능할 수 있다.

이 때, 복수개의 투명 백라이트 패널(1810)들을 이용한 다중 계층 구조를 기반으로 복수개의 점광원들 각각에 상응하는 제1 광선의 특성을 독립적으로 제어할 수 있다.

다중 계층 구조에 대한 설명은 도 3 내지 도 6에서 설명하였으므로 도 18에서는 생략하도록 한다.

이 때, 제2 광도파로(1831)도 상술한 제1 광도파로(1821)와 동일한 특성에 상응할 수 있으며, 단지 제1 광원(1820)에 의한 제1 광선을 공급하는지 제2 광원(2830)에 의한 제2 광선을 공급하는지에 따른 차이가 있을 수 있다.

예를 들어, 제2 광원(1830)은 착용형 디스플레이를 착용한 사용자의 시선을 추적하기 위한 것으로, 인체에 무해하되 시선 추적용으로 사용 가능한 종류의 파장에 상응할 수 있다. 즉, 제2 광선은 적외선과 같이 특정한 종류의 파장에 한정되지 않을 수 있다.

이 때, 제2 광선은 도 18에 도시된 것과 같이 제1 광선을 투사하는 점광원들과 구별된 별도의 점광원들을 이용하여 투사되거나 또는 제1 광선을 투사하는 점광원들을 이용하여 투사될 수도 있다.

즉, 하나의 점광원에서 제1 광선과 제2 광선이 모두 투사될 수도 있고, 제1 광선과 제2 광선이 투사되는 점광원을 각각 분류하여 투사될 수도 있다.

마이크로 렌즈 어레이(1840)는 제1 광선 및 제2 광선 중 어느 하나의 집광 정도를 조정하여 집광 정도가 조정된 어느 하나를 출력한다.

이 때, 마이크로 렌즈 어레이(1840)는 투명 백라이트 패널(1810)에 분포하는 복수개의 점광원들의 위치와 복수개의 점광원들에 의한 광선의 투사 방향에 적합하도록 각각의 광학적 파라미터를 가진 마이크로 렌즈를 성형 가공하여 고정형으로 제작될 수 있다.

또한, 마이크로 렌즈 어레이(1840)는 두께를 실시간으로 제어 가능한 복수개의 렌즈(1841)들로 구성될 수 있다. 예를 들어, 폴리머 소재를 사용한 마이크로 렌즈들로 구성될 수 있다.

이 때, 복수개의 렌즈(1841)들은 복수개의 렌즈(1841)들을 기반으로 생성된 복수개의 그룹들 각각에 상응하는 제어신호를 기반으로 각각 독립적으로 제어될 수 있다.

복수개의 렌즈(1841)들을 독립적으로 제어하는 구체적인 설명은 이미 도 12 내지 도 16에 기재하였으므로 도 18에서는 생략하도록 한다.

이 때, 마이크로 렌즈 어레이(1840)가 결집(converging) 또는 확산(diverging) 중 적어도 하나의 기능을 수행하여 제1 광선이 자연광의 속성과 동일하도록 집광 정도를 조정할 수 있다. 즉, 본 발명의 일실시예에 따른 광학 투시 기반의 착용형 디스플레이는 디스플레이 외부로부터 입력되는 외부 이미지와 가상 이미지를 동시에 시각적으로 제공하기 때문에 두 이미지가 사용자의 눈에 자연스럽게 보여지도록 제공되어야 할 수 있다. 따라서, 가상 이미지를 투영하기 위해 출력되는 착용형 디스플레이 내부의 제1 광선이 사용자의 망막에 외부 이미지가 투영되는데 영향을 미치는 자연광과 동일한 특성을 갖도록 마이크로 렌즈 어레이(1840)를 통해 조정할 수 있다.

즉, 마이크로 렌즈 어레이(1840)는 제1 광원(1820)에 의해 출력되는 제1 광선의 집광 정도를 제어할 수 있으므로, 제1 광선을 출력하는 복수개의 점광원들과 이미지 출력 패널(1850)과의 상대적인 거리감을 조절하여 제1 광선이 투사되는 영역을 가변적으로 제어할 수 있다.

아이 트래킹 모듈은 광도파로를 기반으로 사용자 동공(1860)으로부터 반사되는 제2 광선을 수집하여 사용자의 시선을 추적한다.

이 때, 도 18에는 아이 트래킹 모듈을 특정하여 도시하지 않았으나, 도 18에 도시된 제2 광원(1830)과 투명 백라이트 패널(1810)에 포함된 제2 광도파로(1831) 및 복수개의 점광원들을 기반으로 아이 트래킹 모듈에 상응하게 사용자 동공(1860)의 시선 추적을 수행할 수 있다.

이 때, 마이크로 렌즈 어레이(1840)는 결집(converging) 또는 확산(diverging) 중 적어도 하나의 기능을 수행하여 제2 광선이 이미지 출력 패널(1850)을 투과하는 투과율이 향상되되, 사용자 동공(1860)에서 반사되는 제2 광선의 수집율이 향상되도록 집광 정도를 조정할 수 있다.

이 때, 이미지 출력 패널(1850)은 외부 이미지와 합성될 가상 이미지를 출력하는 모듈로써 투과 성질을 가진 소재에 상응할 수 있다. 예를 들어, 이미지 출력 패널(1850)은 백라이트 패널이 제거된 LCD 패널, 투명 OLED 패널 등으로 구성될 수 있다.

이 때, 이미지 출력 패널(1850)을 투과한 제2 광선은 추적 대상이 되는 사용자의 동공(1860)으로 투영되어야 하므로, 제2 광선이 사용자의 동공(1860)으로 가능한 많이 전달될 수 있도록 마이크로 렌즈 어레이(1840)를 통해 집광 정도를 조정할 수 있다.

이 때, 광도파로를 구성하는 매질의 양방향 전달 특성을 활용하여 제2 광선을 사용자 동공(1860)으로 출력함과 동시에 사용자 동공(1860)으로부터 반사된 제2 광선을 수집할 수 있다.

예를 들어, 제2 광도파로(1831)를 통해 전달된 제2 광선이 사용자의 눈으로 투사되면, 제2 광선이 투사된 점광원과 동일하거나 반사된 제2 광선의 수집을 전용으로 하는 점광원을 통해 반사되는 제2 광선을 수집할 수 있다. 이 때, 본 발명의 일실시예에 따른 아이트래킹 모듈에서는 반사되어 수집된 제2 광선의 양과 패턴을 고려하여 사용자의 시선 방향을 결정할 수 있다.

이 때, 복수개의 렌즈(1841)들 중 굴절률이 사용자 인지 수준을 초과하는 렌즈를 비활성화 시킬 수 있다.

예를 들어, 마이크로 렌즈 어레이 부분이 사용자의 시야에 포함되는 경우, 외부의 자연공간 이미지의 투사를 왜곡시킬 수 있으므로, 굴절률을 고려하여 일부 렌즈의 기능을 비활성화(off) 시킬 수 있다.

이 때, 렌즈의 굴절률 변화를 기반으로 외부 이미지를 희미하게 만드는 선택적 가림 기능(masking)을 활용하여 이미지 출력 패널(1850)에서 출력되는 가상 이미지를 보다 더 선명하게 보여지도록 할 수도 있다.

이 때, 이미지 출력 패널(1850)은 가상 이미지를 생성 및 출력하는 모듈에 상응할 수 있다. 예를 들어, 이미지 출력 패널(1850)은 SLM(spatial light modulator)에 상응하는 모듈로 투과성질을 가진 소재에 상응할 수 있다.

따라서, 이미지 출력 패널(1850)을 투과한 외부 이미지와 이미지 출력 패널을 통해 출력된 가상 이미지가 동시에 사용자에게 보여질 수 있다.

이 때, 착용형 디스플레이를 통해 외부 이미지와 가상 이미지를 동시에 보여줌으로써 사용자는 두 개의 이미지가 합성된 것처럼 느낄 수 있다.

이 때, 제1 광도파로(1821) 및 제2 광도파로(1831) 중 적어도 하나를 포함하는 투명 백라이트 패널(1810), 마이크로 렌즈 어레이(1840) 및 이미지 출력 패널(1850)은 사용자의 동공 정면에 위치하는 착용형 디스플레이의 투명 패널에 포함될 수 있다.

일반적으로 사용자 시선 추적을 위한 종래 기술들은 사용자의 시야 가림을 피하기 위해서 사용자의 시야 외부의 영역에서 사용자의 동공을 향한 사선 방향으로 추적 광원을 위치시키고, 이를 수신하기 위한 센서도 사용자의 시야 외부에 구비되는 방식에 상응하였다. 그러나 이러한 방식들은 결과적으로 착용부의 부피와 무게를 증가시키는 단점을 초래했으며, 사용자 눈의 영상을 사선 방향에서 왜곡된 형태로 획득하게 되므로 정확도가 낮아지는 문제점이 발생하였다.

이에 대해, 본 발명에서는 도 18에 도시된 것과 같이 사용자의 동공 정면에 위치하는 투명 백라이트 패널(1810), 즉 투명 백라이트 패널에 포함된 복수개의 점광원들을 통해서 사용자 동공(1860)의 정보를 획득하는 구조를 제안할 수 있다. 이와 같은 구조를 통해서 종래의 장치들보다 착용형 디스플레이의 부피와 무게를 감소시킬 수 있으며, 추적의 정확도 또한 향상시키는 효과가 있을 수 있다.

이 때, 투명 패널은 도 18에 도시된 것과 같이 평면이거나 또는 곡면에 상응하는 형태일 수도 있다.

이 때, 복수개의 점광원들과 제2 광도파로(1831)를 기반으로 사용자 동공(1860)으로부터 반사된 제2 광선을 수집하여 사용자의 시선을 추적하되, 복수개의 점광원들이 사용자의 시야 범위 내에서 간섭 효과를 발생시키는 경우에 복수개의 점광원들보다 사용자 동공(1860)에 더 근접하게 확장된 제2 광도파로(1831)의 종단 부분을 통해 반사된 제2 광선을 수집할 수 있다.

이 때, 반사된 제2 광선의 수집 효율을 향상시키기 위해 마이크로 렌즈 어레이(1840)를 구성하는 렌즈(1841)의 기능을 제어할 수 있다.

예를 들어, 제1 광선을 투사하는 점광원들 이외에 사용자의 시선 추적을 목적으로 하는 점광원들이 사용자의 시야 범위 내에서 간섭 효과를 발생시킨다고 가정할 수 잇다. 이러한 경우에는 부분적으로 사용자의 시선 추적을 목적으로 하는 점광원들에 의해 출력되는 제2 광선을 약화시킬 수 있도록 렌즈의 기능을 비활성화 시킬 수 있다.

이와 같은 광학 투시 기반의 착용형 디스플레이를 이용함으로써, 일반 안경과 같이 가볍고 적은 부피로 사용자의 시야 범위에 가득 차는 영상 정보를 광학적 투시의 형태로 제시할 수 있는 착용형 디스플레이 기술을 제공할 수 있다.

또한, 점 배열 광원(Pinlight array)의 한계를 극복할 수 있는 점광원별 에너지의 방출 정보를 제어하는 기술을 제공함으로써 안경형 디스플레이에서 출력되는 영상의 시각적 품질(contrast, color quality, intensity, focus alignment 등)을 향상시킬 수 있다.

또한, 최소의 부피로 안경형 디스플레이에 내장될 수 있으며 눈의 이동 패턴을 정면 또는 측면에서 추적할 수 있는 아이 트래킹 기술을 제공할 수도 있다.

도 19는 본 발명의 일실시예에 따른 곡면 형태의 착용형 디스플레이의 구조를 나타낸 도면이다.

도 19를 참조하면, 본 발명의 일실시예에 따른 착용형 디스플레이의 투명 패널의 형태가 도 18에 도시된 평면 형태와는 다르게 곡면으로 구성된 것을 확인할 수 있다.

이 때, 도 19에 도시된 것과 같이 곡면 형태의 투명 백라이트 패널(1910)을 사용하는 경우, 사용자 동공(1960)을 통해 외부 이미지 또는 가상 이미지를 볼 수 있는 시야각(field of view)이 넓어지는 효과가 발생할 수 있다.

즉, 도 18에 도시된 평면 형태의 투명 백라이트 패널(1810)은 사용자 동공(1860)으로부터 복수개의 점광원들까지의 거리가 투명 백라이트 패널(1810)의 외부 경계 영역으로 갈수록 멀어지는 것을 알 수 있다.

단, 본 발명에서는 각각의 점광원에서의 빛의 출력을 개별적으로 제어할 수 있도록 광도파로의 제작을 달리 할 수 있으므로, 도 18과같이 평면 형태로 투명 백라이트 패널(1810)을 구현하는 경우에는 외부 영역으로 갈수록 광도파로의 지름이 넓어지게 하거나 광원을 통한 빛의 세기를 조절하는 방법으로 앞의 문제점을 해결할 수는 있다.

또한, 도 19에 도시된 것과 같이 투명 백라이트 패널(1910)의 형태를 안구 또는 망막의 곡률에 적합하도록 곡면으로 구현함으로써 사용자 동공(1960)으로부터 투명 백라이트 패널(1910)에 포함되는 복수개의 점광원들까지의 거리가 동일하게 유지되도록 할 수 있다.

이와 같이 본 발명에서 제안된 빛 에너지 전달 방식은 광학 모듈 내부에 광도파로를 설계할 수 있는 경우에 임의의 3차원 형상과 부피를 가진 광학계의 내부에 폭 넓게 적용될 수 있다. 또한, 본 발명의 구현 예시인 광학 투시 기반의 착용형 디스플레이의 경우, 안경 렌즈 형태의 구면(비구면) 형상 내부 공간에 광도파로를 내장할 수 있으므로 적용 가능할 수 있다.

도 20은 본 발명의 일실시예에 따른 추가 마이크로 렌즈 어레이를 포함하는 착용형 디스플레이의 구조를 나타낸 도면이다.

도 20을 참조하면, 본 발명의 일실시예에 따른 추가 마이크로 렌즈 어레이(2060)가 이미지 출력 패널(2050)과 안구(2070)의 사이에 위치한 것을 나타내고 있다.

이와 같은 구조는 사용자의 시력 차이로 인해, 투영된 영상의 초점이 망막에 형성되지 않는 경우의 문제를 해결할 수 있다.

종래 기술의 경우에는 기본적으로 사용자 시선의 초점이 무한대의 원경(수정체가 이완된 경우)일 경우를 가정하고 있다. 그러나, 3차원 그래픽 사용자 인터페이스(3D GUI)의 조작과 같이 사용자 시점 기준으로 약 1m이내의 근거리 공간(near body space)에서 3D 영상을 가시화 시키고 조작하는 작업이 필요한 경우에는 근거리 관찰에 따른 수정체의 두께가 증가하기 때문에 망막에 투영된 영상이 흐려(defocusing)지는 부정적인 효과가 증가할 수 있다.

그러므로, 본 발명에서는 도 20에 도시된 것과 같이 이를 보정하는 기능을 담당하는 추가 마이크로 렌즈 어레이(2060)를 배치하여 초점의 위치를 보정할 수 있다.

이상에서와 같이 본 발명에 따른 광학 투시 기반의 합성 이미지 제공 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

100: 착용형 디스플레이 110: 외부 이미지
111: 자연광 120: 투명 패널
121: 가시광선 122: 적외선
130: 가상 이미지 140: 사용자 동공
150: 합성 이미지
310, 410, 510, 710, 720, 730, 810, 911, 912, 1820, 1920, 2020: 제1 광원
311, 711, 721, 731, 1821, 1921: 제1 광도파로
312: 제1 점광원
320, 420, 520, 740, 750, 760, 820, 921, 922, 923, 1830, 1930, 2030: 제2 광원
321, 741, 751, 761, 1831, 1931: 제2 광도파로
322: 제2 점광원
330, 430, 530, 770, 830, 930, 1810, 1910, 2010: 투명 백라이트 패널
1210, 1840, 1940, 2040: 마이크로 렌즈 어레이
1220, 1510, 1520, 1610, 1620, 1841, 1941: 렌즈
1310, 1410, 1420, 1430: 렌즈 제어 모듈
1320, 1411, 1421, 1431: 투명 제어 회로
1850, 1950, 2050: 이미지 출력 패널
1860, 1960: 사용자 동공 2070: 안구
2060: 추가 마이크로 렌즈 어레이

Claims (20)

1. 양방향 전달 특성을 갖는 광도파로(waveguide)를 기반으로 가상 이미지를 투영하기 위한 제1 광원의 제1 광선과 사용자의 시선 추적(Eye Tracking)을 위한 제2 광원의 제2 광선을 복수개의 점광원들로 공급하는 단계;
   마이크로 렌즈 어레이를 기반으로 상기 제1 광선 및 상기 제2 광선 중 어느 하나의 집광 정도를 조정하여 집광 정도가 조정된 어느 하나를 출력하는 단계;
   상기 광도파로를 기반으로 사용자 동공에서 반사되는 상기 제2 광선을 수집하여 상기 사용자의 시선을 추적하는 단계; 및
   상기 시선을 기반으로 외부 이미지와 상기 가상 이미지를 합성하여 상기 사용자에게 제공하는 단계
   를 포함하고,
   상기 광도파로를 포함하는 투명 백라이트 패널을 통해 상기 광도파로에 상응하는 복수개의 경로들 중 일부 경로의 지름을 조정하여 상기 복수개의 점광원들 각각에 공급되는 상기 제1 광선의 세기를 독립적으로 제어하는 것을 특징으로 하는 광학 투시 기반의 합성 이미지 제공 방법.
2. 청구항 1에 있어서,
   상기 광도파로를 포함하는 투명 백라이트 패널, 상기 마이크로 렌즈 어레이 및 상기 가상 이미지를 생성하는 투명 이미지 출력 패널은 상기 사용자 동공의 정면에 위치하는 착용형 디스플레이의 투명 패널에 포함되는 것을 특징으로 하는 광학 투시 기반의 합성 이미지 제공 방법.
3. 삭제
4. 청구항 2에 있어서,
   상기 공급하는 단계는
   복수개의 투명 백라이트 패널들을 이용한 다중 계층 구조를 기반으로 상기 복수개의 점광원들 각각에 공급되는 상기 제1 광선의 특성을 독립적으로 제어하는 것을 특징으로 하는 광학 투시 기반의 합성 이미지 제공 방법.
5. 청구항 1에 있어서,
   상기 마이크로 렌즈 어레이는
   두께를 실시간으로 제어 가능한 복수개의 렌즈들로 구성되는 것을 특징으로 하는 광학 투시 기반의 합성 이미지 제공 방법.
6. 청구항 5에 있어서,
   상기 복수개의 렌즈들은
   상기 복수개의 렌즈들을 기반으로 생성된 복수개의 그룹들 각각에 상응하는 제어신호를 기반으로 각각 독립적으로 제어되는 것을 특징으로 하는 광학 투시 기반의 합성 이미지 제공 방법.
7. 청구항 2에 있어서,
   상기 합성 이미지 제공 방법은
   상기 이미지 출력 패널과 상기 사용자 동공 사이에 위치하는 추가 마이크로 렌즈 어레이를 이용하여 상기 사용자 동공에 투영되는 합성 이미지의 초점을 보정하는 단계를 더 포함하는 것을 특징으로 하는 광학 투시 기반의 합성 이미지 제공 방법.
8. 청구항 2에 있어서,
   상기 투명패널은 평면 및 곡면 중 어느 하나의 형태에 상응하는 것을 특징으로 하는 광학 투시 기반의 합성 이미지 제공 방법.
9. 청구항 2에 있어서,
   상기 출력하는 단계는
   상기 마이크로 렌즈 어레이가 결집(converging) 또는 확산(diverging) 중 적어도 하나의 기능을 수행하여 상기 제1 광선이 자연광의 속성과 동일하도록 상기 집광 정도를 조정하는 단계; 및
   상기 마이크로 렌즈 어레이가 결집(converging) 또는 확산(diverging) 중 적어도 하나의 기능을 수행하여 상기 제2 광선이 상기 이미지 출력 패널을 투과하는 투과율이 향상되되, 상기 사용자 동공에서 반사되는 상기 제2 광선의 수집율이 향상되도록 상기 집광 정도를 조정하는 단계를 포함하는 것을 특징으로 하는 광학 투시 기반의 합성 이미지 제공 방법.
10. 청구항 5에 있어서,
    상기 출력하는 단계는
    상기 복수개의 렌즈들 중 굴절률이 사용자 인지 수준을 초과하는 렌즈를 비활성화시키는 단계를 포함하는 것을 특징으로 하는 광학 투시 기반의 합성 이미지 제공 방법.
11. 청구항 2에 있어서,
    상기 추적하는 단계는
    상기 사용자 동공에 더 근접하게 확장된 상기 광도파로의 종단 부분을 통해 상기 반사된 제2 광선을 수집하는 것을 특징으로 하는 광학 투시 기반의 합성 이미지 제공 방법.
12. 양방향 전달 특성을 갖는 광도파로(waveguide)를 기반으로 외부 이미지와 합성될 가상 이미지를 투영하기 위한 제1 광원의 제1 광선과 사용자의 시선 추적(Eye Tracking)을 위한 제2 광원의 제2 광선을 복수개의 점광원들로 공급하는 투명 백라이트 패널;
    상기 제1 광선 및 상기 제2 광선 중 어느 하나의 집광 정도를 조정하여 집광 정도가 조정된 어느 하나를 출력하는 마이크로 렌즈 어레이;
    상기 광도파로를 기반으로 사용자 동공으로부터 반사되는 상기 제2 광선을 수집하여 상기 사용자의 시선을 추적하는 아이 트래킹 모듈; 및
    상기 가상 이미지를 출력하는 이미지 출력 패널
    을 포함하고,
    투명 백라이트 패널은
    상기 광도파로에 상응하는 복수개의 경로들 중 일부 경로의 지름을 조정하여 상기 복수개의 점광원들 각각에 공급되는 상기 제1 광선의 세기를 독립적으로 제어하는 것을 특징으로 하는 광학 투시 기반의 착용형 디스플레이.
13. 청구항 12에 있어서,
    상기 투명 백라이트 패널, 상기 마이크로 렌즈 어레이 및 상기 이미지 출력 패널은 상기 사용자 동공의 정면에 위치하는 투명 패널에 포함되는 것을 특징으로 하는 광학 투시 기반의 착용형 디스플레이.
14. 삭제
15. 청구항 13에 있어서,
    복수개의 투명 백라이트 패널들을 이용한 다중 계층 구조를 기반으로 상기 복수개의 점광원들 각각에 공급되는 상기 제1 광선의 특성을 독립적으로 제어하는 것을 특징으로 하는 광학 투시 기반의 착용형 디스플레이.
16. 청구항 12에 있어서,
    상기 마이크로 렌즈 어레이는
    두께를 실시간으로 제어 가능한 복수개의 렌즈들로 구성되는 것을 특징으로 하는 광학 투시 기반의 착용형 디스플레이.
17. 청구항 16에 있어서,
    상기 복수개의 렌즈들은
    상기 복수개의 렌즈들을 기반으로 생성된 복수개의 그룹들 각각에 상응하는 제어신호를 기반으로 각각 독립적으로 제어되는 것을 특징으로 하는 광학 투시 기반의 착용형 디스플레이.
18. 청구항 13에 있어서,
    상기 투명 패널은
    상기 이미지 출력 패널과 사용자 동공 사이에 위치하며, 상기 사용자 동공에 투영되는 합성 이미지의 초점을 보정하기 위한 추가 마이크로 렌즈 어레이를 더 포함하는 것을 특징으로 하는 광학 투시 기반의 착용형 디스플레이.
19. 청구항 13에 있어서,
    상기 투명패널은 평면 및 곡면 중 어느 하나의 형태에 상응하는 것을 특징으로 하는 광학 투시 기반의 착용형 디스플레이.
20. 청구항 12에 있어서,
    상기 아이 트래킹 모듈은
    상기 사용자 동공에 더 근접하게 확장된 상기 광도파로의 종단 부분을 통해 상기 반사된 제2 광선을 수집하는 것을 특징으로 하는 광학 투시 기반의 착용형 디스플레이.

Images