KR20200117895A

KR20200117895A - 증강현실 투영장치

Info

Publication number: KR20200117895A
Application number: KR1020200040526A
Authority: KR
Inventors: 남동욱; 홍주형
Original assignee: 이너레이 인크
Priority date: 2019-04-05
Filing date: 2020-04-02
Publication date: 2020-10-14
Also published as: US11442254B2; US20200319431A1

Abstract

본 발명은 증강현실 투영장치에 관한 것이다. 증강현실 투영장치는, 형광 생성 영역에 조사되어 형광 물질을 여기시키는 형광 여기광을 생성하는 형광 여기 광원, 상기 형광 생성 영역에서 생성된 형광을 검출하여 형광 영상을 생성하는 형광 검출기-여기서, 상기 형광 영상은 상기 형광 생성 영역에 대응하는 형광 검출 영역을 포함함-, 상기 형광 생성 영역에 시각적 표지를 표시하기 위한 영상 신호를 시각적 표지광으로 변환하는 프로젝터, 상기 형광 여기 광원, 상기 형광 검출기, 및 상기 프로젝터의 동작을 제어하는 프로세서, 및 상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역으로 전달하며 상기 형광을 상기 형광 검출기로 전달하는 동축 광학계를 포함하되, 상기 형광 여기광, 상기 형광, 및 상기 시각적 표지광은 상기 동축 광학계에 의해 적어도 부분적으로 동일한 광 경로를 통과할 수 있다.

Description

증강현실 투영장치{Augmented reality projection device}

본 발명은 증강현실 투영장치에 관한 것이다.

체내에 투여된 형광 물질은 병변을 식별하는데 이용될 수 있다. 형광에 의해서, 병변을 주변의 정상 조직으로부터 구분하기 용이해진다. 특정 파장의 형광 여기광을 조사하면, 형광 물질은 형광 여기광과 다른 파장의 빛, 즉, 형광을 배출한다. 형광 물질의 종류에 따라 다르지만, 장파장의 빛, 예를 들어, 적색 또는 근적외선이 형광 여기광으로 사용된다. 형광 여기광 또는 주변광과 비교할 때, 형광의 밝기는 상대적으로 약하며, 특히, 형광의 파장이 가시광 이외의 대역에 속하기 때문에, 시술자가 육안으로 형광을 구분하기가 쉽지 않다. 이를 보완하기 위해서, 시술자는, 형광 카메라가 촬영한 영상이 표시된 모니터를 보면서 병변을 확인할 수 있다. 하지만, 모니터에 표시된 영상은 보조 수단에 불과하기 때문에, 시술자는 절제된 부위와 모니터를 번갈아 보면서 수술을 진행해야 한다.

증강현실 투영장치를 제공하고자 한다.

본 발명의 일측면에 따른 증강현실 투영장치가 제공된다. 증강현실 투영장치는, 형광 생성 영역에 조사되어 형광 물질을 여기시키는 형광 여기광을 생성하는 형광 여기 광원, 상기 형광 생성 영역에서 생성된 형광을 검출하여 형광 영상을 생성하는 형광 검출기-여기서, 상기 형광 영상은 상기 형광 생성 영역에 대응하는 형광 검출 영역을 포함함-, 상기 형광 생성 영역에 시각적 표지를 표시하기 위한 영상 신호를 시각적 표지광으로 변환하는 프로젝터-여기서, 상기 시각적 표지는, 식별된 형광 검출 영역에 대응하도록 생성됨-, 상기 형광 여기 광원, 상기 형광 검출기, 및 상기 프로젝터의 동작을 제어하는 프로세서, 및 상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역으로 전달하며 상기 형광을 상기 형광 검출기로 전달하는 동축 광학계를 포함하되, 상기 형광 여기광, 상기 형광, 및 상기 시각적 표지광은 상기 동축 광학계에 의해 적어도 부분적으로 동일한 광 경로를 통과할 수 있다.

일 실시예로, 상기 동축 광학계는, 상기 형광 여기광의 광 경로 및 상기 시각적 표지광의 광 경로를 실질적으로 동일하게 하며, 상기 형광의 광 경로를 상기 형광 여기광의 광 경로로부터 실질적으로 분리하는 광 경로 분리/통합부, 상기 형광 여기광, 상기 형광, 및 상기 시각적 표지광 각각을 그 진행 방향에 따라 전달하는 릴레이 광학계, 상기 릴레이 광학계가 수평하게 결합되고, 상기 형광 여기광의 광 경로 및 상기 시각적 표지광의 광 경로를 경사지게 하며, 상기 형광의 광 경로를 수평하게 하는 하프 펜타 프리즘, 및 상기 하프 펜타 프리즘에 경사지게 결합되고, 상기 하프 펜타 프리즘에서 나온 상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역에 전달하며, 상기 형광 생성 영역에서 나온 상기 형광을 상기 펜타 프리즘으로 전달하는 대물 광학계를 포함할 수 있다.

일 실시예로, 상기 광 경로 분리/통합부는, 상기 형광 여기 광원에서 나와서 수평 방향으로 진행하는 상기 형광 여기광과 상기 형광 검출기를 향해 수직 방향으로 진행하는 상기 형광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광을 반사하고 상기 형광을 통과시키는 제1 다이클로익 미러 및 상기 프로젝터에서 나와서 수평 방향으로 진행하는 상기 시각적 표지광과 상기 제1 다이클로익 미러에 의해 반사되어 수직 방향으로 진행하는 상기 형광 여기광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광 및 상기 형광을 반사하고 상기 시각적 표지광을 통과시키는 제2 다이클로익 미러를 포함할 수 있다.

일 실시예로, 상기 시각적 표지광에 의해 시각적 표지가 투영된 형광 생성 영역에서 반사된 가시광을 이용하여 컬러 신호를 생성하는 이미지 센서 및 상기 제2 다이클로익 미러와 상기 프로젝터 사이에 경사지게 배치되며, 상기 시각적 표지광을 통과시키고 상기 가시광을 반사하는 제3 다이클로익 미러를 더 포함하되, 상기 가시광은 상기 동축 광학계를 통과하여 상기 이미지 센서에 도달할 수 있다.

일 실시예로, 상기 제1 다이클로익 미러와 상기 제3 다이클로익 미러는 실질적으로 평행하게 배치되며, 상기 제1 다이클로인 미러와 상기 제2 다이클로익 미러는 서로 수직하게 배치될 수 있다.

일 실시예로, 상기 형광 검출기의 해상도는 상기 이미지 센서의 해상도 이하일 수 있다.

일 실시예로, 상기 광 경로 분리/통합부는, 상기 형광 여기 광원에서 나와서 수직 방향으로 진행하는 상기 형광 여기광과 수직 방향으로 진행하는 상기 형광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광을 통과시키고 상기 형광을 반사하는 제1 다이클로익 미러 및 상기 프로젝터에서 나와서 수평 방향으로 진행하는 상기 시각적 표지광과 상기 제1 다이클로익 미러를 통과한 상기 형광 여기광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광 및 상기 형광을 반사하고 상기 시각적 표지광을 통과시키는 제2 다이클로익 미러를 포함할 수 있다.

일 실시예로, 상기 시각적 표지의 밝기는 상기 형광의 밝기를 반영할 수 있다.

일 실시예로, 상기 시각적 표지광은 단색광일 수 있다.

일 실시예로, 상기 동축 광학계는, 상기 형광 여기광의 광 경로 및 상기 시각적 표지광의 광 경로를 실질적으로 동일하게 하며, 상기 형광의 광 경로를 상기 형광 여기광의 광 경로로부터 실질적으로 분리하는 광 경로 분리/통합부, 상기 형광 여기광, 상기 형광, 및 상기 시각적 표지광 각각을 그 진행 방향에 따라 전달하는 릴레이 광학계 및 상기 릴레이 광학계에 결합되고, 상기 릴레이 광학계에 나온 상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역에 전달하며, 상기 형광 생성 영역에서 나온 상기 형광을 상기 릴레이 광학계로 전달하는 대물 광학계를 포함할 수 있다.

일 실시예로, 증강현실 투영장치는, 외부와 통신하기 위한 I/O 인터페이스를 더 포함하되, 상기 형광 영상은 상기 I/O 인터페이스를 통해 외부로 출력되고, 상기 영상 신호는 I/O 인터페이스를 통해 외부로부터 입력을 수 있다.

일 실시예로, 상기 프로세서는, 상기 형광 검출 영역을 상기 형광 영상에서 식별하고, 식별된 형광 검출 영역에 대응하는 상기 시각적 표지를 표시하기 위한 상기 영상 신호를 생성할 수 있다.

일 실시예로, 상기 형광 영상은 정지 영상 또는 동영상일 수 있다.

일 실시예로, 상기 시각적 표지는, 상이한 시간에 생성된 형광 영상간 차이가 문턱값 이상일 때 변경될 수 있다.

본 발명의 다른 측면에 따른 증강현실 투영장치가 제공된다. 증강현실 투영장치는, 형광 생성 영역에 조사되어 형광 물질을 여기시키는 형광 여기광을 생성하는 형광 여기 광원, 상기 형광 생성 영역에서 생성된 형광을 검출하여 형광 영상을 생성하는 형광 검출기-여기서, 상기 형광 영상은 상기 형광 생성 영역에 대응하는 형광 검출 영역을 포함함-, 상기 형광 생성 영역에 시각적 표지를 표시하기 위한 영상 신호를 시각적 표지광으로 변환하는 프로젝터-여기서, 상기 시각적 표지는, 식별된 형광 검출 영역에 대응하도록 생성됨-, 상기 시각적 표지광에 의해 시각적 표지가 투영된 형광 생성 영역에서 반사된 가시광을 이용하여 컬러 신호를 생성하는 이미지 센서 및 상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역으로 전달하며 상기 형광을 상기 형광 검출기로 전달하는 동축 광학계를 포함하되, 상기 형광 여기광, 상기 형광, 상기 시각적 표지광, 및 상기 가시광은 상기 동축 광학계에 의해 적어도 부분적으로 동일한 광 경로를 통과할 수 있다.

일 실시예로, 상기 동축 광학계는, 상기 형광 여기광의 광 경로 및 상기 시각적 표지광의 광 경로를 실질적으로 동일하게 하며, 상기 형광의 광 경로 및 상기 가시광의 광 경로를 상기 형광 여기광의 광 경로로부터 실질적으로 분리하는 광 경로 분리/통합부, 상기 형광 여기광, 상기 형광, 상기 시각적 표지광, 및 상기 가시광 각각을 그 진행 방향에 따라 전달하는 릴레이 광학계, 상기 릴레이 광학계가 수평하게 결합되고, 상기 형광 여기광의 광 경로 및 상기 시각적 표지광의 광 경로를 경사지게 하며, 상기 형광의 광 경로 및 상기 가시광의 광 경로를 수평하게 하는 하프 펜타 프리즘 및 상기 하프 펜타 프리즘에 경사지게 결합되고, 상기 하프 펜타 프리즘에서 나온 상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역에 전달하며, 상기 형광 생성 영역에서 나온 상기 형광 및 상기 가시광을 상기 펜타 프리즘으로 전달하는 대물 광학계를 포함할 수 있다.

일 실시예로, 상기 광 경로 분리/통합부는, 상기 형광 여기 광원에서 나와서 수평 방향으로 진행하는 상기 형광 여기광과 상기 형광 검출기를 향해 수직 방향으로 진행하는 상기 형광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광을 반사하고 상기 형광을 통과시키는 제1 다이클로익 미러, 상기 프로젝터에서 나와서 수평 방향으로 진행하는 상기 시각적 표지광과 상기 제1 다이클로익 미러에 의해 반사되어 수직 방향으로 진행하는 상기 형광 여기광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광 및 상기 형광을 반사하고 상기 시각적 표지광을 통과시키는 제2 다이클로익 미러 및 상기 제2 다이클로익 미러와 상기 프로젝터 사이에 경사지게 배치되며, 상기 시각적 표지광을 통과시키고 상기 가시광을 반사하는 제3 다이클로익 미러를 포함할 수 있다.

일 실시예로, 증강현실 투영장치는, 외부와 통신하기 위한 I/O 인터페이스를 더 포함하되, 상기 형광 영상은 상기 I/O 인터페이스를 통해 외부로 출력되고, 상기 영상 신호는 I/O 인터페이스를 통해 외부로부터 입력받을 수 있다.

증강현실 투영장치가 제공된다.

이하에서, 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은, 발명의 이해를 돕기 위해서, 일부 구성 요소를 다소 과장하여 표현하고 있다. 도면은 발명을 이해하기 위한 수단이므로, 도면에 표현된 구성 요소의 폭이나 두께 등은 실제 구현시 달라질 수 있음을 이해하여야 한다. 한편, 발명의 상세한 설명 전체에 걸쳐서 동일한 구성 요소는 동일한 도면 부호를 참조하여 설명된다.
도 1은, 증강현실 투영장치를 이용한 외과적 수술을 예시적으로 도시하고 있다.
도 2는, 도 1에 도시된 증강현실 투영장치를 기능적으로 도시한 블록도이다.
도 3은, 도 2에 도시된 증강현실 투영장치의 동축 광학계의 일 실시예를 예시적으로 도시하고 있다.
도 4a는 도 3에 도시된 광학계를 통과하는 형광 여기광의 광 경로 및 도 4b는, 형광의 광 경로를 예시적으로 도시하고 있다.
도 5a는 프로젝터 내부의 광 경로, 도 5b는 도 3에 도시된 광학계를 통과하는 시각적 표지광, 및 도 5c는, 가시광의 광 경로를 예시적으로 도시하고 있다.
도 6은, 도 2에 도시된 증강현실 투영장치의 동축 광학계의 다른 실시예를 예시적으로 도시하고 있다.
도 7은 도 6에 도시된 광학계에 의한 광 경로를 예시적으로 도시하고 있다.
도 8은, 도 1에 도시된 증강현실 투영장치의 동작을 예시적으로 도시한 흐름도이다.
도 9은, 도 8에 도시된 동작에 따른 영상 처리 과정을 예시적으로 도시하고 있다.
도 10은, 도 1에 도시된 증강현실 투영 장치가 여기 영역의 변화를 추적하는 동작을 예시적으로 도시한 흐름도이다.
도 11은, 도 10에 도시된 동작에 따른 영상 처리 과정을 예시적으로 도시하고 있다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.

도 1은, 증강현실 투영장치를 이용한 외과적 수술을 예시적으로 도시하고 있다.

증강현실 투영장치(100)는, 육안으로 식별하기 어려운 영역을, 육안으로 식별할 수 있게 한다. 예를 들어, 증강현실 투영장치(100)는, 형광 물질을 이용하여 신체의 특정 부위를 제거하는 외과적 수술에 이용될 수 있다. 증강현실 투영장치(100)는, 형광 여기광(21)을 절제 부위(10)에 조사하여, 동시에, 또는 일정 시간 이내에, 형광 생성 영역(20)을 식별할 수 있는 시각적 표지(23)를 생성할 수 있다. 생성된 시각적 표지(23)는, 형광 생성 영역(20)에 또는 그 주위에 표시될 수 있다.

형광 물질은 수술 전 체내에 주입된다. 체내 주입 가능한 형광 물질은, 예를 들어, 약 400nm의 형광 여기광(22)에 의해 여기되어 약 635 nm에서 피크값을 갖는 형광을 방출하는 5-ALA(5-Aminolevulinic Acid), 약 750 nm 내지 약 800 nm의 형광 여기광(21)에 의해 여기되어 약 845nm에서 피크값을 갖는 형광을 방출하는 ICG(indocyanine green) 등일 수 있으나, 이에 한정되지 않는다. 한편, 형광 여기광(21)에 의해 방출된 형광의 파장이 가시광 대역에 속하지 않기 때문에, 사용자가 형광을 육안으로 식별하기 어렵다. 수술실에는, 매우 밝은 무영등이 수술대 주변에 설치되어 있어서, 무영등에 의해 발생된 빛은 형광의 검출을 더욱 어렵게 한다. 특히, 형광의 파장이 가시광선 이외의 대역에 속하는 경우, 형광을 방출한 부위는, (근)적외선 카메라와 같은 검출기에 의해서만 식별될 수 있다. 즉, 사용자는, 형광 생성 영역(20)의 영상이 표시된 모니터와 절제 부위(10)를 번갈아 보면서 수술을 진행해야 한다. 한편, 절제 부위(10)는, 주로 적색 계열의 색을 가진다. 따라서, 형광의 색이 적색에 가까우면, 형광 생성 영역(20)을 절제 부위(10)에서 식별하기가 매우 어렵다.

증강현실 투영장치(100)는, 증강현실 투영장치 내부에서 생성된 빛을 절제 부위(10)에 전달하며, 절제 부위(10)에서 발생되거나 반사된 빛을 증강현실 투영장치 내부로 전달하는 동축 광학계(200; 도 3)를 포함한다. 증강현실 투영장치(100)가 생성한 빛은, 형광 여기광(21) 및 시각적 표지광(22)을 포함할 수 있다. 형광 여기광(21)은, 사용자의 육안으로 식별하기 어려운 파장 대역에 속할 수 있는 빛이며, 시각적 표지광(22)은, 가시광선 대역에 속하는 빛일 수 있다. 시각적 표지광(23)은, 시각적 표지(21)를 나타내기 위한 가시광 대역의 빛이다. 시각적 표지광(23)은, 상대적으로 좁은 파장 대역에 속한 가시광, 예를 들어, 녹색 또는 청색 등과 같이 특정 색을 나타내는 빛일 수 있다. 증강현실 투영장치(100) 내부로 입사하는 빛은, 형광 생성 영역(20)에서 발생된 형광 및 절제 부위(10)에서 반사된 가시광을 포함할 수 있다. 증강현실 투영장치(100)에서, 형광 여기광(21)의 광축, 형광의 광축, 시각적 표지광(23)의 광축 및 반사 가시광의 광축은 적어도 부분적으로 동일할 수 있다.

증강현실 투영장치(100)는, 사용자가 손에 쥐고 사용할 수 있는 핸드헬드 타입의 장치이다. 증강현실 투영장치(100)는 동축 광학계(200)로 인해 소형화될 수 있다. 증강현실 투영장치(100)로부터 절제 부위(10)로 나오는 빛 및 절제 부위(10)로부터 증강현실 투영장치(100)로 입사하는 빛은, 동축 광학계(200)를 통과한다. 광학계가 분리된 구조에서는, 영상을 캡쳐하기 위한 광학계와 영상을 투영하기 위한 광학계가 필연적으로 이격되어 있다. 이로 인해, 투영된 영상이 왜곡될 수 있으며, 이를 보상하기 위한 영상 처리가 필수적이다. 특히, 분리된 광학계는 장치의 크기를 소형화하는데 장애가 될 수 있다. 광학계가 분리된 구조와 비교할 때, 동축 광학계(200)는 영상을 캡쳐하는데 이용되는 빛과 영상을 투영하는데 이용되는 빛을 적어도 부분적으로 동일한 광축을 따라 전달한다. 따라서, 영상 왜곡이 거의 발생하지 않으며, 장치 소형화가 가능해진다.

도 2는, 도 1에 도시된 증강현실 투영장치를 기능적으로 도시한 블록도이다.

도 2를 참조하면, 증강현실 투영장치(100)는, 광을 생성하여 동축 광학계(200)를 통해 외부로 출력하며, 동축 광학계(200)를 통해 외부로부터 광을 입력받을 수 있다. 형광 여기 광원(110)는 형광 여기광을, 프로젝터(120)는 시각적 표지광을 외부로 출력하며, 형광 검출기(130)는 외부로부터 입사된 형광을 검출한다. 추가적으로, 증강현실 투영장치(100)는, 외부로부터 입사된 가시광을 검출하는 이미지 센서(160)를 더 포함할 수 있다.

형광 여기 광원(110)은, 인체에 주입된 형광 물질을 여기시키는 파장 대역의 빛을 생성한다. 형광 여기 광원(110)은, 예를 들어, 약 400 nm 또는 약 750 nm 내지 약 800 nm의 빛을 생성할 수 있다. 형광 여기 광원(110)은 형광 여기 광원 드라이버(115)에 의해 제어된다. 형광 여기 광원 드라이버(115)는, 예를 들어, 형광 여기광의 밝기(또는 세기), 출력 시간, 출력 주기 등과 같은 동작 파라미터에 따라 형광 여기 광원(110)을 제어할 수 있다. 형광 여기 광원 드라이버(115)는, 직류 전압으로 구동되거나 교류 전압으로 구동되는 발광 다이오드 드라이버일 수 있다.

프로젝터(120)는, 입력된 영상 신호에 의해 시각적 표지를 출력한다. 영상 신호는, 예를 들어, 시각적 표지의 형상, 색상, 위치 등을 나타내기 위한 디지털 또는 아날로그 형태의 신호로서, 예를 들어, Composite 또는 Component 신호일 수 있다. 프로젝터(120)는, 예를 들어, DLP(Digital Light Processing) 프로젝터, LCD 프로젝터 등일 수 있다. 일 실시예로, 프로젝터(120)에 의해 생성된 시각적 표지의 색은, 예를 들어, 청색, 녹색 등과 같은 단색일 수 있다. 다른 실시예로, 프로젝터(120)에 의해 생성된 시각적 표지의 색은, 컬러일 수 있다. 프로젝터(120)는 프로젝터 드라이버(125)에 의해 제어된다. 프로젝터 드라이버(125)는, 미리 설정된 동작 파라미터에 따라 프로젝터(120)를 제어할 수 있다.

형광 검출기(130)는, 형광 물질이 생성한 형광을 검출한다. 형광 검출기(130)는, 형광이 속한 파장 대역의 빛을 검출하는 화소 어레이를 포함한다. 화소는, 형광의 검출 여부 및/또는 형광의 밝기를 나타내는 전기 신호를 생성한다. 형광 영상은 형광 검출기(130)에서 출력된 전기 신호를 이용하여 생성된다. 형광 검출기(130)는 화소를 스캔하여 전기 신호를 외부로 출력하는 ROIC(Readout IC)를 포함할 수 있다. 형광 검출기(130)는 형광 검출기 드라이버(135)에 의해 제어된다. 형광 검출기 드라이버(135)는, 미리 설정된 동작 파라미터에 따라 화소 어레이를 리셋하고 선택함으로써, 형광 검출기(130)가 전기 신호를 생성할 수 있도록 제어한다. 형광 검출기(130)의 resolution은, 프로젝터(120) 및/또는 이미지 센서(160)의 resolution과 같거나 작을 수 있다.

하나 이상의 프로세서(140)는, 형광 여기 광원 드라이버(115), 프로젝트 드라이버(125) 및 형광 검출기 드라이버(135)를 통해 형광 여기 광원(110), 프로젝터(120) 및 형광 검출기(130)를 제어한다. 일 실시예로, 프로세서(140)는, 각 구성부의 동작을 제어하며, 영상 신호를 생성할 수 있다. 예를 들어, 단일 프로세서가 구성부 제어 및 영상 신호 생성을 모두 수행하거나, 2 이상의 프로세서 중 어느 하나는 각 구성부의 동작을 제어하며 나머지 프로세서는 영상 신호를 생성할 수도 있다. 프로세서(140)는, 형광 영상에서 형광 생성 영역을 식별할 수 있다. 프로세서(140)는, 식별된 형광 생성 영역에 시각적 표지가 표시된 영상 신호를 생성한다. 다른 실시예로, 프로세서(140)는, 각 구성부의 동작을 제어하며, 형광 영상을 I/O 인터페이스(150)를 통해 외부 처리 장치(미도시)로 전송한다. 외부 처리 장치는 형광 영상에서 형광 생성 영역을 식별하며, 시각적 표지를 표시하기 위한 영상 신호 또는 형광 생성 영역을 특정할 수 있는 영역 정보, 예를 들어, 좌표값 등을 I/O 인터페이스(150)를 통해 프로세서(140)로 전송한다. 영상 신호의 경우, 프로젝터(120)는 영상 신호를 직접 수신하여 출력할 수 있다. 영역 정보의 경우, 프로세서(140)는 영역 정보에 따라 시각적 표지를 출력하는 영상 신호를 생성하여 프로젝터(120)로 전달할 수 있다.

I/O 인터페이스(150)는, 증강현실 투영장치(100)와 외부 장치간에 아날로그 및/또는 디지털 신호를 송수신한다. I/O 인터페이스(150)는, 외부 장치와 유선 및/또는 무선 통신을 통해 신호를 송수신할 수 있다. I/O 인터페이스(150)는, 다양한 유무선 통신 방식을 지원할 수 있는데, 예를 들어, 근거리 무선 통신 방식인 무선 랜 등과 단거리 무선 통신 방식인 블루투스, 지그비, Wifi-Direct, NFC 등을 지원할 수 있을 뿐 아니라 유선 통신 방식인 LAN, USB 등도 지원할 수 있다.

한편, 증강현실 투영장치(100)는 이미지 센서(160)를 더 포함할 수 있다. 이미지 센서(160)는, 동축 광학계(200)를 통해 내부로 입사된 빛을 검출하여 컬러 신호를 생성할 수 있다. 이미지 센서(160)에 의해 검출되는 빛은, 형광 생성 영역 및 그 주변 영역에서 반사된 가시광 대역의 빛일 수 있다. 시각적 표지가 표시된 경우, 이미지 센서(160)는 시각적 표지에서 반사된 빛도 검출할 수 있다. 이미지 센서(160)에 의해 생성된 컬러 신호는 I/O 인터페이스(150)를 통해 외부로 출력될 수 있다.

도 3은, 도 2에 도시된 증강현실 투영장치의 동축 광학계를 예시적으로 도시하고 있다.

도 3을 참조하면, 동축 광학계(200)는, 광 경로 분리/통합부(210), 릴레이 광학계(220), 하프 펜타 프리즘(230), 및 대물 광학계(240)를 포함한다. 릴레이 광학계(220), 하프 펜타 프리즘(230) 및 대물 광학계(240)는, 증강현실 투영장치(100)에서 나가거나 들어오는 빛이 공통적으로 통과하는 광 경로이다.

형광 여기 광원(110), 프로젝터(120) 및 형광 검출기(130)는 광 경로 분리/퉁합부(210) 주변에 배치된다. 형광 여기 광원(110)은, 형광 여기광(300)을 조사하는 광원(111) 및 경사지게 진행하는 형광 여기광(300)을 굴절시켜 평행화하는 평볼록렌즈(112)를 포함할 수 있다. 프로젝터(120)는, 가시광(320')을 조사하는 광원(121), 경사지게 진행하는 가시광(320')을 굴절시켜 평행화하는 평볼록렌즈(122), 평행화된 가시광(320')으로 시각적 표지광(320)을 생성하는 DMD(Digital micromirror device)(123), 및 평행화된 가시광(320')을 반사하여 DMD(123)에 입사시키고 시각적 표지광(320)은 투과하는 내부 전반사 프리즘(124)을 포함할 수 있다.

광 경로 분리/통합부(210)는 제1 및 제2 다이클로익 미러(211, 212)를 포함한다. 제1 및 제2 다이클로익 미러(211, 212)는 길이 방향으로 실질적으로 수직하게 배치될 수 있다. 도 3에 예시된 바와 같이, 제1 다이클로익 미러(211)는 형광 여기광(300)을 대부분 반사하지만, 형광을 대부분 통과시킬 수 있다. 이를 위해, 제1 다이클로익 미러(211)는, 빛의 진행 방향으로 볼 때, 실질적으로 수직하게 배치된 형광 여기 광원(110)과 형광 검출기(130) 사이에 경사지게 배치될 수 있다. 즉, 제1 다이클로익 미러(211)는 형광 여기광(300)과 형광(310)이 교차하는 위치에 약 45도로 경사지게 배치될 수 있다. 제2 다이클로익 미러(212)는 형광 여기광(300), 형광(310)을 대부분 반사하지만, 가시광(320)을 대부분 통과시킬 수 있다. 이를 위해, 제2 다이클로익 미러(212)는, 빛의 진행 방향으로 볼 때, 실질적으로 수직하게 배치된 형광 검출기(130)와 프로젝터(120) 사이에 경사지게 배치될 수 있다. 즉, 제2 다이클로익 미러(212)는 형광(310)과 시각적 표지광(320)이 교차하는 위치에 약 45도로 경사지게 배치될 수 있다. 따라서, 형광 여기광(300)은, 제1 다이크로익 미러(211)에 의해 반사되어 약 90도로 진행 방향이 바뀌고, 다시 제2 다이크로익 미러(212)에 의해 반사되어 약 90도로 진행 방향이 바뀌어 릴레이 광학계(220)에 입사한다. 릴레이 광학계(220)에서 나온 형광(310)은, 제2 다이크로익 미러(212)에 의해 반사되어 약 90도로 진행 방향이 바뀌며, 제1 다이크로익 미러(211)를 통과하여 형광 검출기(130)에 도달할 수 있다. 한편, 프로젝터(120)에서 나온 시각적 표지광(320)은 제2 다이크로익 미러(212)를 통과하여 릴레이 광학계(220)에 입사한다. 다른 실시예로, 형광 여기 광원(110)과 형광 검출기(130)의 위치는 치환 가능하다. 즉, 형광 여기광(310)은 약 90도로 1회 반사되어 릴레이 광학계(220)에 입사하며, 형광(310)은 약 90도로 2회 반사되어 형광 검출기(130)에 도달할 수 있다. 이를 위해서, 제1 다이크로익 미러(211)는 형광 여기광(300)을 통과시키지만, 형광(310)을 반사시킬 수 있다.

일 실시예로, 광 경로 분리/통합부(210)는 제3 다이클로익 미러(213)를 더 포함할 수 있다. 제3 다이클로익 미러(213)는, 제1 다이클로익 미러(211)와 길이 방향으로 실질적으로 수평하도록, 제2 다이클로익 미러(212)와 프로젝터(120) 사이에 배치될 수 있다. 제3 다이클로익 미러(213)는, 가시광, 특히, 특정 파장 대역의 가시광을 대부분 통과시키며, 관통 대역 이외의 가시광을 대부분 반사할 수 있다. 프로젝터(120)에서 나온 시각적 표지광(320)은 제3 다이클로익 미러(213) 및 제2 다이클로익 미러(212)를 통과하여 릴레이 광학계(220)에 입사하며, 릴레이 광학계(220)에서 나온 가시광(330)은 제3 다이클로익 미러(213)에 의해 반사되어 약 90도로 진행 방향이 바뀌어 이미지 센서(160)에 입사한다. 시각적 표지광(320)은, 제3 다이클로익 미러(213)를 통과하는 특정 파장 대역을 포함하되 특정 파장 대역보다는 넓은 파장 대역을 갖는 단색광(monochromatic light) 또는 다색광(Polychromatic light)일 수 있다.

릴레이 광학계(220)는 텔레센트릭성(telecentric)이다. 릴레이 광학계(220)는, 형광 여기광(300), 형광(310), 및 시각적 표지광(320)의 광 경로를 연장시켜서, 형광 여기 광원(110), 프로젝터(120), 및 형광 검출기(130)가 상대적으로 작은 공간 내에 효율적으로 배치될 수 있도록 한다. 릴레이 광학계(220)는, 광학계 내부에서 생성된 형광 여기광(300) 및 시각적 표지광(320)을, 하프 펜타 프리즘(230) 및 대물 광학계(240)를 통해 외부로 전달하며, 외부에서 입사되어 대물 광학계(240) 및 하프 펜타 프리즘(230)을 통과한 형광(310) 및/또는 가시광(330)을 형광 검출기(130) 및/또는 이미지 센서(160)로 전달한다.

릴레이 광학계(220)는, 광학계 내부에서 외부로 향하는 빛(도 3을 기준으로 좌측 방향으로 진행하는 빛)의 개구율(NA)은 축소시키며, 광학계 외부에서 내부로 향하는 빛(우측 방향으로 진행하는 빛)의 개구율은 확장시킬 수 있다. 릴레이 광학계(220)는, 볼록렌즈(221), 제1 색수차보정 렌즈(222), 볼록-오목렌즈(223), 제2 색수차보정 렌즈(224), 및 평볼록렌즈(225)를 포함할 수 있다.

볼록렌즈(221)는, 제1 볼록면이 우측(또는 제2 다이크로익 미러(212))을 향하며 제2 볼록면이 좌측(또는 하프 펜타 프리즘(230))을 향하도록 배치된다. 여기서, 제2 볼록면의 곡률반경은 제1 볼록면의 곡률반경보다 수십배 클 수 있다. 한편, 제1 볼록면과 제2 볼록면의 유효 직경 Ф _e 는 실질적으로 동일할 수 있다. 볼록렌즈(221)는, 좌측 방향으로 진행하는 빛을 초점을 향해 경사지게 굴절시키며, 우측 방향으로 경사지게 진행하는 빛을 굴절시켜 실질적으로 평행하게 할 수 있다.

제1 색수차보정 렌즈(222)는, 크라운 글라스가 우측에, 플린트 글라스가 좌측에 배치되도록 구성된다. 여기서, 크라운 글라스의 우측 볼록면의 곡률반경은 좌측 볼록면의 곡률반경보다 약 두 배 크며, 플린트 글라스의 좌측 오목면의 곡률반경은 우측 오목면의 곡률반경보다 수십배 클 수 있다. 한편, 볼록면 및 오목면의 유효 직경 Ф _e 는 실질적으로 동일할 수 있으며, 볼록렌즈(221)의 유효 직경보다 작을 수 있다. 제1 색수차보정 렌즈(222)는, 좌측 방향으로 진행하는 빛이 파장에 따른 다르게 굴절되더라도 초점에 집중될 수 있도록 하며, 우측 방향으로 진행하는 빛과 광축 사이 각도를 감소시킨다.

볼록-오목렌즈(223)는, 볼록면이 우측을 향하며, 오목면이 좌측을 향하도록 배치된다. 여기서, 볼록면의 곡률반경은 오목면의 곡률반경의 약 0.8 내지 0.9 배일 수 있다. 한편, 볼록면의 유효 직경 Ф _e 는 오목면의 유효 직경 Ф _e 보다 클 수 있으며, 볼록면의 유효 직경 Ф _e 는 제1 색수차보정 렌즈(222)의 유효 직경보다 작을 수 있다. 볼록-오목렌즈(223)는, 좌측 방향으로 진행하는 빛의 구면 수차를 보정하며, 우측 방향으로 진행하는 빛과 광축 사이 각도를 증가시킨다.

제2 색수차보정 렌즈(224)는, 플린트 글라스가 우측을 향하며 크라운 글라스가 좌측을 향하도록 배치된다. 여기서, 크라운 글라스의 우측 볼록면의 곡률반경은 좌측 볼록면의 곡률반경보다 1.2 내지 1.3배 크며, 플린트 글라스의 우측 오목면의 곡률반경은 와측 오목면의 곡률반경보다 1.1 내지 1.2배 클 수 있다. 한편, 볼록면의 유효 직경 Ф _e 는 오목면의 유효 직경 Ф _e 보다 1.3 내지 1.4배 클 수 있으며, 볼록면의 유효 직경 Ф _e 는 볼록-오목렌즈(223)의 오목면의 유효 직경보다 작을 수 있다. 제2 색수차보정 렌즈(224)는, 좌측 방향으로 진행하는 빛과 광축 사이의 각도를 증가시키며, 우측 방향으로 진행하는 빛이 파장에 따라 다르게 굴절되더라도 초점에 집중될 수 있도록 한다.

평볼록렌즈(225)는, 볼록면이 우측을 향하며 평면이 좌측을 향하도록 배치된다. 여기서, 볼록면과 평면의 유효 직경 Ф _e 는 실질적으로 동일할 수 있으며, 볼록면의 유효 직경 Ф _e 는 제2 색수차보정 렌즈(222)의 볼록면의 유효 직경보다 클 수 있다. 평볼록렌즈(225)는, 좌측 방향으로 경사지게 진행하는 빛을 굴절시켜 실질적으로 평행하게 하며, 우측 방향으로 진행하는 빛을 초점을 향해 경사지게 굴절시킨다.

하프 펜타 프리즘(230)은 광 경로를 소정 각도로 경사지게 한다. 하프 펜타 프리즘(230)으로 인해, 형광 여기광(300) 및 시각적 표지광(320)의 진행 방향은, 릴레이 광학계(200)의 광축으로부터 아래쪽으로 경사지게 된다. 증강현실 투영장치(100)는, 예를 들어, 사용자가 손에 들고 사용할 수 있도록 소형으로 제작될 수 있다. 형광 여기광(300) 및 시각적 표지광(320)의 진행 방향이 릴레이 광학계(200)의 광축과 실질적으로 평행할 경우, 사용자는 증강현실 투영장치(100)를 쥐고 있는 손을 돌린 상태로 상당 시간 유지해야 한다. 반면, 형광 여기광(300) 및 시각적 표지광(320)의 진행 방향이 릴레이 광학계(200)의 광축과 경사진 경우, 사용자는 증강현실 투영장치(100)를 자연스럽게 쥔 상태에서 형광 여기광(300)이 형광 생성 영역을 향하도록 할 수 있다.

하프 펜타 프리즘(230)은, 릴레이 광학계(220)와 대물 광학계(240) 사이에 배치될 수 있다. 예를 들어, 펜타 프리즘(230)은, 릴레이 광학계(220)의 평볼록렌즈(225)와 대물 광학계(240)의 평오목렌즈(241) 사이에 배치될 수 있다. 릴레이 광학계(220)의 광축을 기준으로, 하프 펜타 프리즘(230)의 우측면은 광축에 수직한 평면이고, 좌측면은 광축으로부터 양의 각도로 경사진 평면이며, 저면은 음의 각도로 경사진 평면일 수 있다. 하프 펜타 프리즘(230)의 우측면은 릴레이 광학계(220)를 향하며, 저면은 대물 광학계(240)를 향한다. 하프 펜타 프리즘(230)의 우측면에 실질적으로 수직으로 입사한 빛은, 좌측면에서 1차 반사되어 우측면을 향하며, 우측면에서 2차 반사되어 저면을 향해 진행한다. 2차 반사된 빛의 진행 방향은 하프 펜타 프리즘(230)의 저면에 실질적으로 수직할 수 있다.

대물 광학계(240)는, 텔레센트릭성이다. 대물 광학계(240)는, 형광 여기광(300) 및 시각적 표지광(320)을 외부로 출력하며, 외부로부터 형광(310) 및/또는 가시광(330)을 입력받는다. 대물 광학계(240)는, 평오목렌즈(241), 제1 볼록 렌즈(242), 제2 볼록 렌즈(243), 및 볼록-오목 렌즈(244)를 포함할 수 있다.

평오목렌즈(241)는, 평면이 우측 상방(또는 하프 펜타 프리즘(230))을 향하며 오목면이 좌측 하방(또는 하프 펜타 프리즘(230))을 향하도록 배치된다. 여기서, 오목면의 유효 직경 Ф _e 는 평면의 유효 직경 Ф _e 의 0.8 내지 0.9배 작을 수 있다. 평오목렌즈(241)는, 좌측 하방으로 진행하는 빛과 대물 광학계(240)의 광축 사이의 각도가 커지게 굴절시키며, 우측 상방으로 진행하는 빛은 대물 광학계(240)의 광축 과 실질적으로 평행하게 되도록 굴절시킬 수 있다.

제1 볼록렌즈(242) 및 제2 볼록렌즈(243)는, 제1 볼록면이 우측 상방을 향하며 제2 볼록면이 좌측 하방을 향하도록 배치된다. 여기서, 제1 볼록렌즈(242)의 제2 볼록면의 곡률반경은 제1 볼록면의 곡률반경보다 1.6 내지 1.7배 클 수 있으며, 제2 볼록렌즈(243)의 제2 볼록면의 곡률반경은 제1 볼록면의 곡률반경보다 3.1 내지 3.2배 클 수 있다. 한편, 제1 볼록렌즈(242)의 제1 볼록면과 제2 볼록면의 유효 직경 Ф _e 는 실질적으로 동일할 수 있고, 평오목렌즈(241)의 평면 및 오목면의 유효 직경보다 클 수 있으며, 제2 볼록렌즈(243)의 제1 볼록면과 제2 볼록면의 유효 직경 Ф _e 는 실질적으로 동일할 수 있고, 제1 볼록렌즈(242)의 볼록면의 유효 직경보다 작을 수 있다. 제1 볼록렌즈(242)는, 좌측 하방으로 진행하는 빛을 초점을 향해 경사지게 굴절시키며, 우측 상방으로 경사지게 진행하는 빛 역시 초점을 향해 경사지게 굴절시킬 수 있다. 제2 볼록렌즈(243)는, 좌측 하방으로 진행하는 빛을 초점을 향해 경사지게 굴절시키며, 우측 상방으로 경사지게 진행하는 빛을 굴절시켜 대물 광학계(240)의 광축과의 각도를 감소시킬 수 있다.

볼록-오목렌즈(244)는, 볼록면이 우측 상방을 향하며, 오목면이 좌측 하방을 향하도록 배치된다. 여기서, 볼록면의 곡률반경은 오목면의 곡률반경의 약 0.5 내지 0.6 배 작을 수 있다. 한편, 볼록면의 유효 직경 Ф _e 는 오목면의 유효 직경 Ф _e 보다 클 수 있으며, 볼록면의 유효 직경 Ф _e 는 제2 볼록렌즈렌즈(243)의 유효 직경보다 작을 수 있다. 볼록-오목렌즈(244)는, 좌측 하방으로 진행하는 빛을 초점을 향해 경사지게 굴절시키며, 우측 상방으로 경사지게 진행하는 빛을 굴절시켜 대물 광학계(240)의 광축과의 각도를 감소시킬 수 있다.

형광 여기광(300), 형광(310), 및 시각적 표지광(320)의 광 경로는, 릴레이 광학계(220) 및 대물 광학계(240)에서, 동축상에 있다. 광마다 구분된 광학계와 비교할 때, 동축 광학계(200)는, 광학계가 탑재된 장치를 소형화할 수 있으며, 특히, 검출(형광)과 표시(시각적 표지)가 실질적으로 일치하므로, 검출과 표시 사이의 오차를 보정하기 위한 처리가 생략되거나 상당히 줄어들 수 있다.

도 4A는 도 3에 도시된 광학계를 통과하는 형광 여기광의 광 경로 및 도 4B는, 형광의 광 경로를 예시적으로 도시하고 있다.

도 4A를 참조하면, 형광 여기 광원(110)이 조사한 형광 여기광(300)은 제1 다이크로익 미러(211)에 의해 대부분 반사된다. 형광 여기광(300)은, 제1 다이크로익 미러(211)에 의해 거의 90도로 굴절되어 수직 상방으로 진행하며, 제2 다이크로익 미러(212)에 의해 대부분 반사된다. 형광 여기광(300)은, 제2 다이크로익 미러(212)에 의해 거의 90도로 굴절되어 좌측 방향으로 진행하여 릴레이 광학계(220)에 입사한다. 릴레이 광학계(220)를 통과한 형광 여기광(300)은, 하프 펜타 프리즘(230)에 의해 진행 방향이 좌측 하방으로 변경되어 대물 광학계(240)에 입사한다. 형광 여기광(300)은 대물 광학계(240)를 통과하여 형광 생성 영역에 조사된다.

도 4B를 참조하면, 형광(310)의 광 경로가 빛의 개구율(NA)을 고려하여 도시되어 있다. 예를 들어, 형광 검출기(130)에 도달한 빛의 개구율은, 대물 광학계(240)에 입사하는 빛의 개구율의 15 내지 20배 클 수 있다. 대물 광학계(240)와 형광 생성 영역 사이 유효 초점 거리, 즉, 선명한 형광 영상을 획득할 수 있는 거리는, 예를 들어, 약 200mm일 수 있다. 형광 생성 영역에서 발생한 형광(310)은, 대물 광학계(240)로 입사한다. 대물 광학계(240)를 통과한 후, 형광(310)의 진행 방향은 하프 펜타 프리즘(230)에 의해 우측 방향으로 변경된다. 릴레이 광학계(220)를 통과한 후, 형광(310)은 제2 다이크로익 미러(212)에 의해 거의 90도로 굴절되어 수직 하방으로 진행한다. 제1 다이크로익 미러(211)를 통과한 후, 형광(310)은 형광 검출기(130)에 도달한다.

도 5A는 프로젝터 내부의 광 경로, 도 5B는 도 3에 도시된 광학계를 통과하는 시각적 표지광, 및 도 5C는, 가시광의 광 경로를 예시적으로 도시하고 있다.

도 5A를 참조하면, 광원(121)에서 조사된 가시광(320')은 평볼록렌즈(122)와 내부 전반사 프리즘(124)를 거쳐 DMD(123)에 입사한다. 여기서, 가시광(320') 및 시각적 표지광(320)은 단색광일 수 있다. 예를 들어, 가시광(320') 및 시각적 표지광(320)은 청색 또는 녹색 파장 대역의 빛일 수 있다.

도 5B를 참조하면, DMD(123)가 생성한 시각적 표지광(320)은 내부 전반사 프리즘(124), 제2 다이클로익 미러(212) 및/또는 제3 다이클로익 미러(213)를 통과하여 릴레이 광학계(220)에 입사한다. 릴레이 광학계(220)를 통과한 시각적 표지광(320)은, 하프 펜타 프리즘(230)에 의해 진행 방향이 좌측 하방으로 변경되어 대물 광학계(240)에 입사한다. 시각적 표지광(320)은 대물 광학계(240)를 통과하여 형광 생성 영역에 시각적 표지로 표현된다.

도 5C를 참조하면, 이미지 센서(160)에 도달한 빛의 개구율은, 대물 광학계(240)에 입사하는 빛의 개구율의 15 내지 20배 클 수 있다. 대물 광학계(240)와 시각적 표지 사이 유효 초점 거리는, 예를 들어, 약 200mm일 수 있다. 형광 생성 영역 및 이에 표시된 시각적 표지를 나타내는 가시광(330)은, 대물 광학계(240)로 입사한다. 대물 광학계(240)를 통과한 후, 가시광(330)의 진행 방향은 하프 펜타 프리즘(230)에 의해 우측 방향으로 변경된다. 릴레이 광학계(220) 및 제2 다이크로익 미러(212)를 통과한다. 가시광(330)은 제3 다이크로익 미러(213)에 의해 거의 90도로 굴절되어 수직 상방으로 진행하여 이미지 센서(130)에 도달한다.

도 6은, 도 2에 도시된 증강현실 투영장치의 동축 광학계의 다른 실시예를 예시적으로 도시하며, 도 7은 도 6에 도시된 광학계에 의한 광 경로를 예시적으로 도시하고 있다.

도 6 및 도 7을 함께 참조하면, 동축 광학계(200)는, 광 경로 분리/통합부(210), 릴레이 광학계(220), 및 대물 광학계(240)를 포함한다. 릴레이 광학계(220) 및 대물 광학계(240)는, 증강현실 투영장치(100)에서 나가거나 들어오는 빛이 공통적으로 통과하는 광 경로이다. 도 3 내지 도 5C와 실질적으로 동일한 설명은 생략하고 차이점을 주로 설명한다.

광 경로 분리/통합부(210)는, 다이클로익 미러와 광 분배기(Beam splitter)의 조합으로, 또는 광 분배기만으로 구성될 수 있다. 일 실시예로, 광 경로 분리/통합부(210)는, 제1 다이클로익 미러(211), 제2 다이클로익 미러(212)를 포함하며, 추가적으로 광 분배기(214)를 더 포함할 수 있다. 광 분배기(214)는, 입사된 빛의 약 50%는 통과시키며, 나머지 50%는 약 90도로 굴절시킨다. 광 분배기(214)는, 제2 다이클로익 미러(212)와 프로젝터(120) 사이에 배치되며, 시각적 표지광(320)의 약 50%를 제2 다이클로익 미러(212)를 향하게 하며, 시각적 표지광(320)의 나머지 50%를 이미지 센서(160)의 반대 방향으로 약 90도 굴절시킨다. 한편, 광 분배기(214)는, 제2 다이클로익 미러(212)를 통과한 가시광(330)의 약 50%를 약 90도 굴절시켜 이미지 센서(160)를 향하게 한다. 여기서, 시각적 표지광(320)의 광량은, 광 분배기(214)에 의한 손실을 고려하여, 증가될 수 있다. 시각적 표지광(320)은, 단색광일 수 있다.

릴레이 광학계(220)와 대물 광학계(240)는 실질적으로 수평한 광축상에 배치된다. 도 3에 도시된 동축 광학계(200)와 비교할 때, 하프 펜타 프리즘(230)은 실질적으로 수평하게 연장된 광 경로(231)로 대체될 수 있다. 수평하게 연장된 광 경로(231)는, 동축 광학계(200)의 수평 구간이 연장되어 형광 여기 광원(110)이나 프로젝터(120)의 배치 자유도가 증가될 수 있도록 한다.

도 8은, 도 1에 도시된 증강현실 투영장치의 동작을 예시적으로 도시한 흐름도이며, 도 9는, 도 8에 도시된 동작에 따른 영상 처리 과정을 예시적으로 도시하고 있다.

도 8 및 도 9를 함께 참조하면, 400에서, 증강현실 투영장치(100)가 턴온 되면, 형광 영상이 생성된다. 프로세서(140)는, 형광 여기 광원 드라이버(115)을 제어하여 형광 여기 광원(110)을 구동시킨다. 형광 여기광(300)은 동축 광학계(200)를 통과하여 형광 생성 영역(20)에 조사된다. 동시에 또는 일정 시간 이내에, 프로세서(140)는 형광 검출기 드라이버(135)를 제어하여 형광 검출기를 구동시킨다. 형광 생성 영역(20)에서 생성된 형광(310)은, 동축 광학계(200)를 통과하여 형광 검출기(130)에 도달한다. 형광 검출기(130)는, 형광을 검출하여 형광 영상을 생성한다. 형광 영상은, 정지 영상 또는 동영상일 수 있다. 정지 영상의 경우, 형광 검출기(130)는 일정 시간 간격으로 정지 영상을 생성할 수 있다. 형광 영상의 resolution은, 시각적 표지광(320)에 의해 표시되는 시각적 표지의 해상도와 같거나 작을 수 있다. 형광 생성 영역 및 여기에서 생성된 형광은 육안으로 식별되지 않을 수 있다.

410에서, 형광 생성 영역이 형광 영상에서 식별된다. 프로세서(140)의 연산 능력에 따라, 형광 생성 영역은 외부 처리 장치에 의해서도 식별될 수 있다. 따라서, 410 및 420은 외부 처리 장치에 의해 수행될 수도 있다. 예를 들어, 인체에 형광 물질을 주입하면, 병변은 형광 물질에 의해 염색된다. 이 때, 병변 자체뿐 아니라 병변 주변도 형광 물질에 의해 염색될 수 있다. 형광 물질에 의해 염색된 영역은 형광 여기광에 반응하여 형광을 발생한다. 염색된 정도, 즉, 형광 물질의 양에 따라 형광의 밝기가 달라질 수 있다. 형광 생성 영역(20)은, 염색된 정도에 따라 형광의 밝기가 강한 영역부터 약한 영역까지를 포함할 수 있다. 예를 들어, 형광의 밝기는 병변으로부터 멀어질수록 점차 감소할 수 있다. 따라서 형광 영상의 픽셀은, 형광의 밝기에 따른 픽셀값을 가질 수 있다. 따라서, 형광 영상에서, 형광 생성 영역(20)과 그 주변의 형광 물질이 주입되지 않은 영역이 구분될 뿐만 아니라, 형광 생성 영역(20) 내에서도, 형광의 밝기에 따른 차이가 구분될 수 있다.

형광 생성 영역(20)은 다양한 방식으로 식별될 수 있다. 일 실시예로, 형광 영상에서, 형광에 대응하는 픽셀값을 갖는 형광 검출 영역(411)은, 가시광 대역에 속하는 픽셀값으로 변환될 수 있다. 상술한 바와 같이, 프로젝터(120)와 형광 검출기(130)는 동축 광학계(200)를 통해 형광과 시각적 표지광을 전달한다. 따라서 프로젝터(120)의 배율과 형광 검출기(130)의 배율간 관계에 따라 시각적 표지를 확대, 축소 또는 그대로 출력할 수 있어서, 형광에 대응하는 픽셀값을 가시광 대역에 속하는 픽셀값으로 변환하는 과정만으로 형광 생성 영역(20)이 식별될 수 있다. 한편, 다른 실시예로, 형광 검출 영역(411)의 경계는, 윤곽선 검출 알고리즘에 의해 식별될 수 있다. 형광 검출 영역(411) 내에서, 형광의 밝기에 따라 복수의 영역이 식별될 수 있다. 또 다른 실시예로, 형광 영상에서 형광에 해당하는 픽셀값을 갖는 복수의 픽셀을 선택하여 형광 검출 영역(411)의 경계를 결정할 수 있다. 예를 들어, 형광 영상을 XY 좌표로 표현할 때, 가장 큰 X 좌표값 x₁, 가장 작은 X 좌표값 x₂, 가장 큰 Y 좌표값 y₁, 가장 작은 Y 좌표값 y₂을 이용하여, 사각형상의 영역이 정의될 수 있다. 좌표 (x₁, y₁), (x₂, y₁), (x₁, y₂), 및 (x₂, y₂)에 의해 정의되는 사각형 영역은 형광 검출 영역(411)을 내부에 포함할 수 있다. 윤곽선 검출의 경우와 마찬가지로, 형광의 밝기에 따라 복수의 사각형 영역이 형광 검출 영역(411) 내에서 식별될 수 있다. 또 다른 실시예로, 형광 영상에서 형광 검출 영역(411)의 중심을 결정하고, 중심에서 가장 먼 위치에 있는 픽셀까지의 거리를 반지름 r로 한 원형의 영역이 정의될 수 있다. 중심의 좌표 (x₁, y₁)와 반지름 r에 의해 정의되는 원형 영역은 형광 검출 영역(411)을 내부에 포함할 수 있다. 윤곽선 검출의 경우와 마찬가지로, 형광의 밝기에 따라 복수의 원형 영역이 형광 검출 영역(411) 내에서 식별될 수 있다.

420에서, 시각적 표지(421, 422, 423)가 생성된다. 시각적 표지(421, 422, 423)는 410에서 식별된 영역에 대응하게 생성될 수 있다. 시각적 표지(421, 422, 423)의 형상은 다양하게 선택될 수 있다. 일 실시예로, 프로세서(또는 외부 처리 장치)(140)는 형광 검출 영역(411)의 경계에 대응하는 시각적 표지를 표시하기 위한 영상 신호를 생성할 수 있다. 시각적 표지(421)는 형광 검출 영역(411)의 경계와 일치하거나 형광 검출 영역(411)을 확대 또는 축소한 형상일 수 있다. 다른 실시예로, 프로세서(140)는 좌표 (x₁, y₁), (x₂, y₁), (x₁, y₂), 및 (x₂, y₂)에 의해 정의되는 사각형상의 시각적 표지(422)를 생성할 수 있다. 또 다른 실시예로, 프로세서(140)는 중심의 좌표 (x₁, y₁)와 반지름 r에 의해 정의되는 원형상의 시각적 표지(423)를 생성할 수 있다.

시각적 표지(421, 422, 423)는, 형광 생성 영역(20) 내에서, 형광의 밝기를 반영할 수 있다. 일 실시예로, 시각적 표지광(320)이 단색광인 경우, 형광의 밝기가 강한 영역은 상대적으로 밝게 표시되며, 약한 영역은 상대적으로 어둡게 표시되도록 시각적 표지(421, 422, 423)가 생성될 수 있다. 예를 들어, 형광 검출 영역(411)이 복수의 영역으로 구획된 경우, 시각적 표지(421, 422, 423)는 영역별로 상이한 밝기가 되도록 생성될 수 있다. 다른 예로, 형광 검출 영역(411)이 복수의 영역으로 구획되지 않은 경우, 시각적 표지(421, 422, 423)는 밝기가 연속적으로 변하도록 생성될 수 있다. 다른 실시예로, 시각적 표지광(320)이 단색광인 경우, 형광의 밝기에 따라 상이한 패턴이 표시되도록 시각적 표지(421, 422, 423)가 생성될 수 있다. 예를 들어, 형광의 밝기가 강한 영역에는 동일한 크기의 원이 촘촘하게 표시되며, 약한 영역에는 동일한 크기의 원이 듬성듬성하게 표시될 수 있다. 또 다른 실시예로, 시각적 표지광(320)이 다색광인 경우, 형광의 밝기에 따라 상이한 색으로 표시되도록 시각적 표지(421, 422, 423)가 생성될 수 있다. 예를 들어, 형광의 밝기가 강한 영역은 적색으로 표시되며, 약한 영역은 황색으로 표시될 수 있다.

430에서, 시각적 표지가 표시된다. 프로젝터(120)는, 시각적 표지를 포함한 영상 신호를 시각적 표지광(320)으로 변환하여 동축 광학계(200)를 통해 형광 생성 영역(20)으로 조사한다. 시각적 표지는 형광 생성 영역(20)에 또는 형광 생성 영역(20)을 둘러싸도록 그 주위에 투영된다. 따라서 증강현실 투영장치(100)의 사용자는, 형광 생성 영역(20)을 육안으로 볼 수 있게 된다. 한편, 시각적 표지가 투영된 형광 생성 영역(20)은 이미지 센서(160)에 의해 컬러 신호로 변환될 수 있다. 이미지 센서(160)에 의해 생성된 컬러 신호는, 외부로 전송되어 저장 또는 표시될 수 있다.

도 10은, 도 1에 도시된 증강현실 투영 장치가 여기 영역의 변화를 추적하는 동작을 예시적으로 도시한 흐름도이며, 도 11은, 도 10에 도시된 동작에 따른 영상 처리 과정을 예시적으로 도시하고 있다.

시각적 표지를 투영하는 동안에, 형광 영상 내 형광 검출 영역은 다양한 원인에 의해 변경될 수 있다. 예를 들어, 사용자가 증강현실 투영장치(100)를 수평으로 이동하면, 형광 여기광(300)이 투영되는 위치가 변경되며 그로 인해 검출된 형광 검출 영역의 위치도 변경될 수 있다(도 11의 좌측 형광 영상). 다른 예로, 사용자가 증강현실 투영장치(100)를 형광 생성 영역(20)에 가깝게 또는 멀리 이동시키면, 형광 검출 영역의 크기 및/또는 위치가 변경될 수 있다. 또 다른 예로, 형광 물질이 인체에 주입되며 형광 생성 영역의 일부가 절제되면, 형광 검출 영역의 형상이 변경될 수 있다(도 11의 우측 형광 영상).

500에서, 시간 t₁에서 생성된 시각적 표지가 형광 생성 영역에 투영되며, 동시에 형광 영상이 획득된다. 시각적 표지 투영 및 형광 영상 획득은 도 6 및 7에서 설명된 바와 동일하다. 일 실시예로, 증강현실 투영장치(100)는, 시각적 표지를 투영하면서 실질적으로 동시에 형광 생성 영역의 변화를 추적할 수 있다. 따라서 증강현실 투영장치(100)는 형광 영상상에서 형광 검출 영역의 크기, 위치 및/또는 형상의 변화를 추적하여 거의 실시간으로 시각적 표지를 변경할 수 있다. 다른 실시예로, 증강현실 투영장치(100)는, 일정 시간 간격으로 및/또는 형광 검출 영역의 변화가 일정 수준 이상 변경될 때, 그 변화를 시각적 표지에 반영할 수 있다. 따라서, 검출된 변화가 형광 생성 영역을 식별하는데 영향을 미치지 않으면, 증강현실 투영장치(100)는 시각적 표지를 변경하지 않을 수 있다.

510에서, 시간 t₂에서, 형광 검출 영역의 변화 여부가 검출된다. 형광 여기광(300)의 투영 위치가 변경되면, t₁에서 검출된 형광 검출 영역(20a)의 위치는, t₂에서 새로운 위치(20a')로 이동된다. 한편, 형광 생성 영역의 적어도 일부가 제거되거나 증강현실 투영장치(100)가 그 영역으로부터 멀어지면, t₂에서 검출된 형광 검출 영역(20b)의 형상은 변경되거나 축소될 수 있다(20b'). 형광 검출 영역의 변화는, t₁과 t₂에서 획득된 영상을 비교하여 검출될 수 있다. 두 영상간 차이는 다양한 방식으로 산출될 수 있으며, 어느 방식을 선택하는지에 따라 문턱값이 달라질 수 있다. 형광 영상의 변화가 문턱값 이하인 경우, 시각적 표지는 새로 생성되지 않을 수 있다. 형광 영상의 변화가 문턱값 이상인 경우, 시각적 표지는 새로 생성될 수 있다.

520에서, 형광 영상의 변화가 문턱값 이상이면, 형광 검출 영역이 형광 영상에서 식별되고, 530에서 새로운 시각적 표지가 식별된 형광 영상으로부터 생성되며, 540에서, 생성된 시각적 표지가 표시된다. 형광 검출 영역의 일부(20a'')가 검출되지 않을 경우, 증강현실 투영장치(100)는, 예를 들어, 경고음이나 진동 등으로 사용자에게 알릴 수 있다. 한편, 형광 검출 영역의 일부(20a'')가 검출되지 않을 경우, 증강현실 투영장치(100)는, 시각적 표지의 색을 변경하여 표시할 수도 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

증강현실 투영장치에 있어서,
형광 생성 영역에 조사되어 형광 물질을 여기시키는 형광 여기광을 생성하는 형광 여기 광원;
상기 형광 생성 영역에서 생성된 형광을 검출하여 형광 영상을 생성하는 형광 검출기-여기서, 상기 형광 영상은 상기 형광 생성 영역에 대응하는 형광 검출 영역을 포함함;
상기 형광 생성 영역에 시각적 표지를 표시하기 위한 영상 신호를 시각적 표지광으로 변환하는 프로젝터-여기서, 상기 시각적 표지는, 식별된 형광 검출 영역에 대응하도록 생성됨;
상기 형광 여기 광원, 상기 형광 검출기, 및 상기 프로젝터의 동작을 제어하는 프로세서; 및
상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역으로 전달하며 상기 형광을 상기 형광 검출기로 전달하는 동축 광학계를 포함하되,
상기 형광 여기광, 상기 형광, 및 상기 시각적 표지광은 상기 동축 광학계에 의해 적어도 부분적으로 동일한 광 경로를 통과하는 증강현실 투영장치.
청구항 1에 있어서, 상기 동축 광학계는,
상기 형광 여기광의 광 경로 및 상기 시각적 표지광의 광 경로를 실질적으로 동일하게 하며, 상기 형광의 광 경로를 상기 형광 여기광의 광 경로로부터 실질적으로 분리하는 광 경로 분리/통합부;
상기 형광 여기광, 상기 형광, 및 상기 시각적 표지광 각각을 그 진행 방향에 따라 전달하는 릴레이 광학계;
상기 릴레이 광학계가 수평하게 결합되고, 상기 형광 여기광의 광 경로 및 상기 시각적 표지광의 광 경로를 경사지게 하며, 상기 형광의 광 경로를 수평하게 하는 하프 펜타 프리즘; 및
상기 하프 펜타 프리즘에 경사지게 결합되고, 상기 하프 펜타 프리즘에서 나온 상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역에 전달하며, 상기 형광 생성 영역에서 나온 상기 형광을 상기 펜타 프리즘으로 전달하는 대물 광학계를 포함하는 증강현실 투영장치.
청구항 2에 있어서, 상기 광 경로 분리/통합부는,
상기 형광 여기 광원에서 나와서 수평 방향으로 진행하는 상기 형광 여기광과 상기 형광 검출기를 향해 수직 방향으로 진행하는 상기 형광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광을 반사하고 상기 형광을 통과시키는 제1 다이클로익 미러; 및
상기 프로젝터에서 나와서 수평 방향으로 진행하는 상기 시각적 표지광과 상기 제1 다이클로익 미러에 의해 반사되어 수직 방향으로 진행하는 상기 형광 여기광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광 및 상기 형광을 반사하고 상기 시각적 표지광을 통과시키는 제2 다이클로익 미러를 포함하는 증강현실 투영장치.
청구항 3에 있어서,
상기 시각적 표지광에 의해 시각적 표지가 투영된 형광 생성 영역에서 반사된 가시광을 이용하여 컬러 신호를 생성하는 이미지 센서; 및
상기 제2 다이클로익 미러와 상기 프로젝터 사이에 경사지게 배치되며, 상기 시각적 표지광을 통과시키고 상기 가시광을 반사하는 제3 다이클로익 미러를 더 포함하되,
상기 가시광은 상기 동축 광학계를 통과하여 상기 이미지 센서에 도달하는 증강현실 투영장치.
청구항 4에 있어서, 상기 제1 다이클로익 미러와 상기 제3 다이클로익 미러는 실질적으로 평행하게 배치되며, 상기 제1 다이클로인 미러와 상기 제2 다이클로익 미러는 서로 수직하게 배치되는 증강현실 투영장치.
청구항 4에 있어서, 상기 형광 검출기의 해상도는 상기 이미지 센서의 해상도 이하인 증강현실 투영장치.
청구항 2에 있어서, 상기 광 경로 분리/통합부는,
상기 형광 여기 광원에서 나와서 수직 방향으로 진행하는 상기 형광 여기광과 수직 방향으로 진행하는 상기 형광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광을 통과시키고 상기 형광을 반사하는 제1 다이클로익 미러; 및
상기 프로젝터에서 나와서 수평 방향으로 진행하는 상기 시각적 표지광과 상기 제1 다이클로익 미러를 통과한 상기 형광 여기광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광 및 상기 형광을 반사하고 상기 시각적 표지광을 통과시키는 제2 다이클로익 미러를 포함하는 증강현실 투영장치.
청구항 1에 있어서, 상기 시각적 표지의 밝기는 상기 형광의 밝기를 반영하는 증강현실 투영장치.
청구항 1에 있어서, 상기 시각적 표지광은 단색광인 증강현실 투영장치.
청구항 1에 있어서, 상기 동축 광학계는,
상기 형광 여기광의 광 경로 및 상기 시각적 표지광의 광 경로를 실질적으로 동일하게 하며, 상기 형광의 광 경로를 상기 형광 여기광의 광 경로로부터 실질적으로 분리하는 광 경로 분리/통합부;
상기 형광 여기광, 상기 형광, 및 상기 시각적 표지광 각각을 그 진행 방향에 따라 전달하는 릴레이 광학계; 및
상기 릴레이 광학계에 결합되고, 상기 릴레이 광학계에 나온 상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역에 전달하며, 상기 형광 생성 영역에서 나온 상기 형광을 상기 릴레이 광학계로 전달하는 대물 광학계를 포함하는 증강현실 투영장치.
청구항 1에 있어서, 외부와 통신하기 위한 I/O 인터페이스를 더 포함하되,
상기 형광 영상은 상기 I/O 인터페이스를 통해 외부로 출력되고, 상기 영상 신호는 I/O 인터페이스를 통해 외부로부터 입력받는 증강현실 투영장치.
청구항 1에 있어서, 상기 프로세서는,
상기 형광 검출 영역을 상기 형광 영상에서 식별하고,
식별된 형광 검출 영역에 대응하는 상기 시각적 표지를 표시하기 위한 상기 영상 신호를 생성하는 증강현실 투영장치.
청구항 1에 있어서, 상기 형광 영상은 정지 영상 또는 동영상인 증강현실 투영장치.
청구항 1에 있어서, 상기 시각적 표지는, 상이한 시간에 생성된 형광 영상간 차이가 문턱값 이상일 때 변경되는 증강현실 투영장치.
증강현실 투영장치에 있어서,
형광 생성 영역에 조사되어 형광 물질을 여기시키는 형광 여기광을 생성하는 형광 여기 광원;
상기 형광 생성 영역에서 생성된 형광을 검출하여 형광 영상을 생성하는 형광 검출기-여기서, 상기 형광 영상은 상기 형광 생성 영역에 대응하는 형광 검출 영역을 포함함;
상기 형광 생성 영역에 시각적 표지를 표시하기 위한 영상 신호를 시각적 표지광으로 변환하는 프로젝터-여기서, 상기 시각적 표지는, 식별된 형광 검출 영역에 대응하도록 생성됨;
상기 시각적 표지광에 의해 시각적 표지가 투영된 형광 생성 영역에서 반사된 가시광을 이용하여 컬러 신호를 생성하는 이미지 센서; 및
상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역으로 전달하며 상기 형광을 상기 형광 검출기로 전달하는 동축 광학계를 포함하되,
상기 형광 여기광, 상기 형광, 상기 시각적 표지광, 및 상기 가시광은 상기 동축 광학계에 의해 적어도 부분적으로 동일한 광 경로를 통과하는 증강현실 투영장치.
청구항 15에 있어서, 상기 동축 광학계는,
상기 형광 여기광의 광 경로 및 상기 시각적 표지광의 광 경로를 실질적으로 동일하게 하며, 상기 형광의 광 경로 및 상기 가시광의 광 경로를 상기 형광 여기광의 광 경로로부터 실질적으로 분리하는 광 경로 분리/통합부;
상기 형광 여기광, 상기 형광, 상기 시각적 표지광, 및 상기 가시광 각각을 그 진행 방향에 따라 전달하는 릴레이 광학계;
상기 릴레이 광학계가 수평하게 결합되고, 상기 형광 여기광의 광 경로 및 상기 시각적 표지광의 광 경로를 경사지게 하며, 상기 형광의 광 경로 및 상기 가시광의 광 경로를 수평하게 하는 하프 펜타 프리즘; 및
상기 하프 펜타 프리즘에 경사지게 결합되고, 상기 하프 펜타 프리즘에서 나온 상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역에 전달하며, 상기 형광 생성 영역에서 나온 상기 형광 및 상기 가시광을 상기 펜타 프리즘으로 전달하는 대물 광학계를 포함하는 증강현실 투영장치.
청구항 15에 있어서, 상기 광 경로 분리/통합부는,
상기 형광 여기 광원에서 나와서 수평 방향으로 진행하는 상기 형광 여기광과 상기 형광 검출기를 향해 수직 방향으로 진행하는 상기 형광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광을 반사하고 상기 형광을 통과시키는 제1 다이클로익 미러;
상기 프로젝터에서 나와서 수평 방향으로 진행하는 상기 시각적 표지광과 상기 제1 다이클로익 미러에 의해 반사되어 수직 방향으로 진행하는 상기 형광 여기광이 교차하는 위치에 경사지게 배치되며, 상기 형광 여기광 및 상기 형광을 반사하고 상기 시각적 표지광을 통과시키는 제2 다이클로익 미러; 및
상기 제2 다이클로익 미러와 상기 프로젝터 사이에 경사지게 배치되며, 상기 시각적 표지광을 통과시키고 상기 가시광을 반사하는 제3 다이클로익 미러를 포함하는 증강현실 투영장치.
청구항 15에 있어서, 외부와 통신하기 위한 I/O 인터페이스를 더 포함하되,
상기 형광 영상은 상기 I/O 인터페이스를 통해 외부로 출력되고, 상기 영상 신호는 I/O 인터페이스를 통해 외부로부터 입력받는 증강현실 투영장치.
청구항 15에 있어서, 상기 동축 광학계는,
상기 형광 여기광의 광 경로 및 상기 시각적 표지광의 광 경로를 실질적으로 동일하게 하며, 상기 형광의 광 경로를 상기 형광 여기광의 광 경로로부터 실질적으로 분리하는 광 경로 분리/통합부;
상기 형광 여기광, 상기 형광, 및 상기 시각적 표지광 각각을 그 진행 방향에 따라 전달하는 릴레이 광학계; 및
상기 릴레이 광학계에 결합되고, 상기 릴레이 광학계에 나온 상기 형광 여기광 및 상기 시각적 표지광을 상기 형광 생성 영역에 전달하며, 상기 형광 생성 영역에서 나온 상기 형광을 상기 릴레이 광학계로 전달하는 대물 광학계를 포함하는 증강현실 투영장치.
청구항 15에 있어서, 상기 시각적 표지의 밝기는 상기 형광의 밝기를 반영하는 증강현실 투영장치.