KR20230064823A

KR20230064823A - 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치

Info

Publication number: KR20230064823A
Application number: KR1020210150345A
Authority: KR
Inventors: 최치원; 이강휘; 강정훈
Original assignee: 주식회사 피앤씨솔루션
Priority date: 2021-11-04
Filing date: 2021-11-04
Publication date: 2023-05-11
Also published as: KR102572591B9; WO2023080362A1; KR102572591B1

Abstract

본 발명은 증강현실 글라스를 위한 시야 정합형 광학 장치에 관한 것으로서, 보다 구체적으로는 광학 장치로서, 실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부; 사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부 방향으로 반사하며, 상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터 방식의 광학부; 및 상기 디스플레이부와 나란히 배치되며, 상기 빔 스플리터에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부를 포함하며, 상기 디스플레이부는, 상기 영상 입력부에서 입력받은 시야 정합 영상을 기초로 상기 영상 정보가 실제 세계에 맵핑되도록 상기 증강현실 영상 광을 출력하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 시야 정합형 광학 장치를 포함하는 증강현실 글라스 장치에 관한 것으로서, 보다 구체적으로는 증강현실 글라스 장치로서, 사용자가 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위해 한 쌍으로 구성되는 광학 장치; 및 사용자의 시야를 통해 보이는 실제 세계에 영상 광이 맵핑되어 증강현실이 제공되도록 상기 광학 장치를 포함하는 상기 증강현실 글라스 장치의 동작을 제어하는 제어부를 포함하며, 상기 광학 장치는, 실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부; 사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부 방향으로 반사하며, 상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터 방식의 광학부; 및 상기 디스플레이부와 나란히 배치되며, 상기 빔 스플리터에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부를 포함하며, 상기 제어부는, 상기 영상 입력부에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하고, 맵핑에 따라 상기 증강현실 영상 광이 출력되도록 상기 디스플레이부를 제어하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치에 따르면, 빔 스플리터 방식으로 광학 장치를 구성하면서, 영상 입력부를 광학 장치 내에 디스플레이부와 나란히 배치해, 영상 입력부가 빔 스플리터에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부가 광학 장치 내에 배치되므로 광학 장치를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있다.

Description

증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치{VIEW MATCHING TYPE OPTICAL APPARATUS FOR AR GLASSES AND AR GLASSES APPARATUS INCLUDING THEREOF}

본 발명은 광학 장치 및 증강현실 글라스 장치에 관한 것으로서, 보다 구체적으로는 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치에 관한 것이다.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.

헤드 마운티드 디스플레이(또는 증강현실 글라스)는, 안경이나 고글 형태로 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실의 영상 정보를 투영하여 사용자에게 제공하게 된다. 이때, 헤드 마운티드 디스플레이의 전면에 위치한 카메라를 사용해 사용자 시야 방향의 영상을 촬영하고, 촬영된 영상에 기초해 실제 세계에 영상 정보를 정합해 증강현실을 제공한다.

그런데 장치 전면에 있는 카메라에서 촬영된 영상과 사용자가 바라보는 실제 세계는 정확하게 일치하지 않으므로 영상 정합에 오차가 발생하게 된다. 이러한 오차는 표시되는 콘텐츠에 따라서는 큰 불편이나 문제를 일으킬 수 있고, 부정확한 정보를 제공하게 될 수도 있으므로, 사용자의 시야와 증강현실 영상 정보를 정확하게 정합해 제공할 수 있는 방법의 개발이 필요하다.

한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2019-0093966호(발명의 명칭: HMD 장치 및 그 동작 방법, 공개일자: 2019년 08월 12일) 등이 개시된 바 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 빔 스플리터 방식으로 광학 장치를 구성하면서, 영상 입력부를 광학 장치 내에 디스플레이부와 나란히 배치해, 영상 입력부가 빔 스플리터에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부가 광학 장치 내에 배치되므로 광학 장치를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있는, 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치를 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치는,

광학 장치로서,

실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부;

사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부 방향으로 반사하며, 상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터 방식의 광학부; 및

상기 디스플레이부와 나란히 배치되며, 상기 빔 스플리터에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부를 포함하며,

상기 디스플레이부는,

상기 영상 입력부에서 입력받은 시야 정합 영상을 기초로 상기 영상 정보가 실제 세계에 맵핑되도록 상기 증강현실 영상 광을 출력하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 영상 입력부는,

상기 디스플레이부의 좌측 또는 우측에 나란히 배치되어 상기 빔 스플리터에서 상기 디스플레이부 방향으로 반사되는 실제 세계 광의 일부를 촬영하는 카메라로 구성될 수 있다.

바람직하게는, 상기 광학부는,

상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 반사하고, 상기 실제 세계 광의 적어도 일부를 투과하는 빔 스플리터;

상기 디스플레이와 상기 빔 스플리터 사이에서 상기 영상 광의 광 경로상에 배치되며, 상기 디스플레이부에서 출력되는 영상 광을 굴절시키는 렌즈부;

상기 빔 스플리터를 기준으로 상기 렌즈부의 반대편에 배치되며, 상기 빔 스플리터를 투과한 영상 광을 상기 빔 스플리터 방향으로 반사하는 미러부;

실제 세계를 향하는 상기 광학부의 전면을 구성하는 전면 윈도우; 및

상기 사용자의 눈 방향을 향하는 상기 광학부의 후면을 구성하는 후면 윈도우를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치는,

증강현실 글라스 장치로서,

사용자가 머리에 착용할 수 있는 HMD 프레임;

상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위해 한 쌍으로 구성되는 광학 장치; 및

사용자의 시야를 통해 보이는 실제 세계에 영상 광이 맵핑되어 증강현실이 제공되도록 상기 광학 장치를 포함하는 상기 증강현실 글라스 장치의 동작을 제어하는 제어부를 포함하며,

상기 광학 장치는,

상기 제어부는,

상기 영상 입력부에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하고, 맵핑에 따라 상기 증강현실 영상 광이 출력되도록 상기 디스플레이부를 제어하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 영상 입력부는,

바람직하게는, 상기 광학부는,

바람직하게는,

상기 한 쌍으로 구성되는 광학 장치 사이의 거리를 조절해 IPD(Interpupillary Distance)를 조정하는 IPD 조정부를 더 포함하며,

상기 제어부는,

상기 IPD 조정부에 의해 상기 한 쌍의 광학 장치 사이의 거리가 조절됨에 따라 함께 이동하는 상기 영상 입력부에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하여, IPD 조절에 따른 카메라 오차를 제거할 수 있다.

더욱 바람직하게는, 상기 제어부는,

사용자의 IPD 조정 신호 또는 상기 사용자에 대해 미리 저장된 IPD 조정 정보에 따라 상기 한 쌍으로 구성되는 광학 장치 사이의 거리를 조절하도록 상기 IPD 조정부를 제어할 수 있다.

본 발명에서 제안하고 있는 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치에 따르면, 빔 스플리터 방식으로 광학 장치를 구성하면서, 영상 입력부를 광학 장치 내에 디스플레이부와 나란히 배치해, 영상 입력부가 빔 스플리터에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부가 광학 장치 내에 배치되므로 광학 장치를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있다.

도 1은 종래의 증강현실 글라스를 예를 들어 도시한 도면.
도 2는 본 발명의 일실시예에 따른 시야 정합형 광학 장치를 포함하는 증강현실 글라스 장치의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 시야 정합형 광학 장치를 포함하는 증강현실 글라스 장치의 전체 모습을 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치를 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치의 정면을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치의 상면을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치의 세부적인 구조를 설명하기 위해 도시한 도면.
도 8은 본 발명의 일실시예에 따른 시야 정합형 광학 장치를 포함하는 증강현실 글라스 장치의 IPD 조정부를 설명하기 위해 도시한 도면.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 종래의 증강현실 글라스를 예를 들어 도시한 도면이다. 도 1에 도시된 바와 같이, 종래의 증강현실 글라스는 카메라가 외부 전면의 양안 사이에 위치하여 사용자 시야 방향의 영상을 입력받으며, 입력받은 영상을 사용해 증강 영상을 실제 환경에 맵핑시킨다. 하지만 도 1에 도시된 바와 같은 증강현실 글라스의 카메라에서는 사용자 착용 시 눈썹 사이에서 영상을 수집하기 때문에, 촬영된 영상이 착용자의 실제 눈이 보는 시야와 정확하게 일치하지 않기 때문에 영상 정합의 오차를 발생시키게 된다.

도 2는 전술한 바와 같은 문제를 해결할 수 있는 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 구성을 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 전체 모습을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, 광학 장치(100), HMD 프레임(200) 및 제어부(300)를 포함하여 구성될 수 있으며, IPD 조정부(400), 외부 카메라부(500), 센서부(600) 및 통신부(700)를 더 포함하여 구성될 수 있다.

광학 장치(100)는, HMD 프레임(200)을 착용한 사용자의 양안의 전방에 배치되어 실제 세계와 증강현실 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위해 한 쌍으로 구성될 수 있다. 보다 구체적으로, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, 빔 스플리터 방식으로 광학 장치(100)를 구성하면서, 영상 입력부(130) 즉, 카메라를 광학 장치(100) 내에 위치시켜 사용자의 실제 시야와 일치하는 영상을 확보하고 이를 기초로 증강현실이 제공되도록 구현하여, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있다.

도 4는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)를 설명하기 위해 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)의 정면을 도시한 도면이고, 도 6은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)의 상면을 도시한 도면이다. 도 4 내지 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)는, 디스플레이부(110), 광학부(120) 및 영상 입력부(130)를 포함하여 구성될 수 있다.

디스플레이부(110)는, 실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이부(110)는, 영상 정보가 사용자에게 제공될 수 있도록, 이하에서 상세히 설명할 광학부(120)에 결합해, 광학부(120)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이부(110)로 구성될 수 있다. 디스플레이부(110)는 OLED 등으로 다양하게 구성될 수 있다.

광학부(120)는, 사용자 눈의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 보다 구체적으로, 광학부(120)는, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 디스플레이부(110) 방향으로 반사하며, 디스플레이부(110)에서 출력되는 영상 광을 사용자의 눈 방향으로 전달하는 빔 스플리터(121) 방식으로 구현될 수 있다. 또한, 광학부(120)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있다.

도 7은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)의 세부적인 구조를 설명하기 위해 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)에서는, 광학부(120)에 포함된 빔 스플리터(121)가 디스플레이부(110)에서 출력되는 영상 광을 반사해 사용자의 눈으로 영상 정보를 전달한다. 빔 스플리터(121)는 입사되는 광의 일부는 반사하고 일부는 투과하는 광학 소자인데, 도 7에 도시된 바와 같이, 빔 스플리터(121)는 실제 세계는 투과되어 보이도록 하면서, 디스플레이부(110)에서 출력되는 영상 광을 투과 및/또는 반사하여 사용자의 눈으로 영상 정보를 전달할 수 있다. 따라서 사용자는 광학부(120)를 통해 투과되어 보이는 실제 세계와 빔 스플리터(121)에서 반사된 영상 정보가 결합한 증강현실을 경험할 수 있게 된다.

영상 입력부(130)는, 디스플레이부(110)와 나란히 배치되며, 빔 스플리터(121)에서 반사된 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받을 수 있다. 보다 구체적으로, 도 5 및 도 6에 도시된 바와 같이, 영상 입력부(130)는, 디스플레이부(110)의 좌측 또는 우측에 나란히 배치되어 빔 스플리터(121)에서 디스플레이부(110) 방향으로 반사되는 실제 세계 광의 일부를 촬영하는 카메라로 구성될 수 있다. 디스플레이부(110)는, 영상 입력부(130)에서 입력받은 시야 정합 영상을 기초로 영상 정보가 실제 세계에 맵핑되도록 증강현실 영상 광을 출력함으로써, 카메라 위치에 따른 오차 없이 실제 환경에 증강 영상을 정확하게 맵핑할 수 있다.

보다 구체적으로 설명하면, 도 7에 도시된 바와 같이 빔 스플리터(121)를 사용해 증강현실용 광학부(120)를 구현하면, 실제 세계 광의 일부만 사용자 눈으로 전달되고, 나머지 일부는 빔 스플리터(121)에서 반사하게 된다. 이때, 빔 스플리터(121)는 45도 각도로 배치되므로, 실제 세계 광 중에서 반사된 광은 디스플레이부(110)가 위치한 쪽으로 향하게 된다. 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)는, 빔 스플리터(121)에서 반사된 실제 세계 영상이 디스플레이부(110)를 향하게 되는 것을 이용해, 디스플레이부(110)와 나란하게 영상 입력부(130)를 배치하여, 사용자의 시야와 정확하게 일치하는 영상을 확보해 증강 영상의 매핑에 사용할 수 있다.

한편, 도 7에 도시된 바와 같이, 광학 장치(100)의 구성요소인 광학부(120)는, 빔 스플리터(121), 렌즈부(122), 미러부(123), 전면 윈도우(124) 및 후면 윈도우(125)를 포함하여 구성될 수 있다.

빔 스플리터(121)는, 디스플레이부(110)에서 출력되는 영상 광을 사용자의 눈 방향으로 반사하고, 실제 세계 광의 적어도 일부는 투과, 나머지 일부는 반사할 수 있다. 이때, 빔 스플리터(121)는 전면 윈도우(124)와 후면 윈도우(125) 사이에 45도 각도의 대각 방향으로 설치될 수 있다.

렌즈부(122)는, 디스플레이부(110)와 빔 스플리터(121) 사이에서 영상 광의 광 경로상에 배치되며, 디스플레이부(110)에서 출력되는 영상 광을 굴절시킬 수 있다. 특히, 빔 스플리터(121)를 향해 볼록한 평볼록렌즈로 구성해, 디스플레이부(110)에서 출력되는 영상 광이 평볼록렌즈에서 굴절되어 빔 스플리터(121)에 전달되도록 하여, 디스플레이부(110)를 크게 하거나 미러부(123)를 크게 하지 않더라도 40도 이상의 FOV(Field of View)를 확보할 수 있다.

미러부(123)는, 빔 스플리터(121)를 기준으로 렌즈부(122)의 반대편에 배치되며, 빔 스플리터(121)를 투과한 영상 광을 빔 스플리터(121) 방향으로 반사할 수 있다. 보다 구체적으로, 미러부(123)는 빔 스플리터(121) 방향을 향하여 오목한 형상으로, 미러 코팅된 것일 수 있다.

전면 윈도우(124)는 실제 세계를 향하는 광학부(120)의 전면을 구성할 수 있고, 후면 윈도우(125)는 사용자의 눈 방향을 향하는 광학부(120)의 후면을 구성할 수 있다. 전면 윈도우(124) 및 후면 윈도우(125)는 투명한 글라스 형태일 수 있다.

도 7에 도시된 바와 같이, 디스플레이부(110)에서 출력되는 영상 광은, 렌즈부(122)에서 굴절되어 빔 스플리터(121)를 투과하여 미러부(123)에서 반사되며, 반사된 영상 광은 빔 스플리터(121)의 반대 면에서 사용자의 눈 방향으로 반사되어 후면 윈도우(125)를 투과해 사용자 눈에 전달될 수 있다. 실제 세계 광은 전면 윈도우(124), 빔 스플리터(121), 후면 윈도우(125)를 차례로 투과하여 사용자 눈에 전달되는데, 빔 스플리터(121)는 실제 세계 광의 일부는 투과하고 나머지 일부는 반사한다. 이때, 빔 스플리터(121)는 45도 각도로 배치되므로, 반사된 실제 세계 광의 일부는 영상 입력부(130)로 입력되어 카메라(영상 입력부(130))가 사용자의 시야와 일치하는 시야 정합 영상을 획득할 수 있다.

한편, 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, HMD 프레임(200), 제어부(300), IPD 조정부(400), 외부 카메라부(500), 센서부(600) 및 통신부(700)를 더 포함하여 구성될 수 있는바, 이하에서는 증강현실 글라스 장치(10)의 나머지 구성요소에 대해 상세히 설명하도록 한다.

HMD 프레임(200)은, 사용자가 머리에 착용할 수 있는 증강현실 글라스 장치(10)의 프레임 구성이다. 이러한 HMD 프레임(200)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다.

제어부(300)는, 사용자의 시야를 통해 보이는 실제 세계에 영상 광이 맵핑되어 증강현실이 제공되도록 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 동작을 제어할 수 있다. 보다 구체적으로, 제어부(300)는, 영상 입력부(130)에서 입력받은 시야 정합 영상을 기초로 영상 정보를 실제 세계에 맵핑하고, 맵핑에 따라 증강현실 영상 광이 출력되도록 디스플레이부(110)를 제어할 수 있다.

IPD 조정부(400)는, 한 쌍으로 구성되는 광학 장치(100) 사이의 거리를 조절해 IPD(Interpupillary Distance)를 조정할 수 있다. 제어부(300)는, 사용자의 IPD 조정 신호 또는 사용자에 대해 미리 저장된 IPD 조정 정보에 따라 한 쌍으로 구성되는 광학 장치(100) 사이의 거리를 조절하도록 IPD 조정부(400)를 제어할 수 있다. 즉, 사용자가 직접 버튼을 조작하거나 손으로 광학 장치(100)를 움직여 IPD 조정 신호를 입력하면, IPD 조정 신호에 따라 제어부(300)가 IPD 조정부(400)를 제어할 수 있다. 또는, 미리 저장된 IPD 조정 정보에 따라 자동으로 IPD 조정부(400)를 제어할 수도 있다.

도 8은 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 IPD 조정부(400)를 설명하기 위해 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 IPD 조정부(400)는, 한 쌍으로 구성되는 광학 장치(100) 위에 설치되어, 한 쌍의 광학 장치(100)를 동시에 움직여서 사용자에게 맞게 동공 간 거리를 조절할 수 있다.

이때, 제어부(300)는, IPD 조정부(400)에 의해 한 쌍의 광학 장치(100) 사이의 거리가 조절됨에 따라 함께 이동하는 영상 입력부(130)에서 입력받은 시야 정합 영상을 기초로 영상 정보를 실제 세계에 맵핑하여, IPD 조절에 따른 카메라 오차를 제거할 수 있다.

사용자마다 동공 사이의 거리는 다르므로, 양안 모두에 영상을 제공하는 양안 디스플레이 타입의 증강현실 글라스 장치(10)에서는, 동공 간의 거리를 쉽게 조정하여 사용자에게 맞추어야 초점이 잘 맞고 선명한 증강현실을 경험할 수 있다. 그런데 종래의 증강현실 글라스에서는 양안 사이 즉, 한 쌍의 광학 장치(100) 사이에 카메라가 위치하므로, IPD를 조정하면 카메라와 광학 장치(100)의 상대적 위치가 변화하게 되어 카메라 오차가 발생하는 문제가 있었다. 예를 들어, 카메라 위치로 인한 증강 영상의 정합 오차를 바로잡기 위한 오차 교정 수단 또는 알고리즘을 추가하였는데, IPD를 조정하면 광학 장치(100)가 움직이므로 이러한 오차 교정 수단 또는 알고리즘이 제대로 작동하지 못하게 된다.

반면에, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, 광학 장치(100) 내에 디스플레이부(110)와 나란하게 영상 입력부(130) 즉, 카메라가 배치되므로, IPD 조정에 의해 광학 장치(100) 이동 시 영상 입력부(130)가 함께 이동해 정확한 시야 정합 영상을 안정적으로 획득할 수 있다.

여기서, IPD 조정부(400)가 한 쌍의 광학 장치(100) 사이의 거리를 조절하는 방법은, 랙 앤 피니언 방식을 기초로, 초정밀 모터, 로터리 댐퍼를 사용하는 등 다양하게 구현될 수 있다.

외부 카메라부(500)는, 외부 영상을 촬영할 수 있다. 외부 카메라부(500)는, 사용자의 시야 방향, 측면 방향, 뒤쪽 방향 등 필요에 따라 정보 수집이 필요한 방향을 향하도록 HMD 프레임(200)에 설치되어, 사용자 주변의 영상을 촬영할 수 있다. 외부 카메라부(500)에서 촬영된 영상은, 주변을 파악하기 위한 정보로 활용될 수 있고, 제스처 인식 등을 위해 사용될 수도 있다.

센서부(600)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 동공 추적 센서, 홍채 인식 센서 등을 포함할 수 있다. 실시예에 따라서, 제어부(300)는 센서부(600)의 동공 추적 센서에서 수집된 사용자의 동공 위치에 따라 IPD 조정부(400)를 제어해 사용자가 손을 사용하지 않고도 자동으로 사용자에게 맞게 동공 간 거리가 조정될 수 있다.

한편, 실시예에 따라서, 제어부(300)는, IPD 조정부(400)에 의해 조정된 동공 간 거리를 사용자 인증 정보와 매칭해 저장하며, 사용자가 HMD 프레임(200)을 착용하고 사용자 인증을 하면, 사용자에 대해 미리 저장된 IPD 조정 정보에 따라 IPD 조정부(400)를 제어해 해당 사용자에게 맞는 동공 간 거리로 자동으로 조정할 수도 있다. 여기서 사용자 인증 정보와 매칭 저장되는 IPD 조정 정보는 사용자의 IPD 조정 신호에 따라 조정된 거리 등일 수 있다. 이때, 사용자 인증은 센서부(600)에 포함된 홍채 인식 센서 등을 사용할 수 있다.

통신부(700)는, 착용형 증강현실 장치(10)의 일측에 설치되며, 다른 착용형 증강현실 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(700)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

전술한 바와 같이, 본 발명에서 제안하고 있는 증강현실 글라스를 위한 시야 정합형 광학 장치(100) 및 이를 포함하는 증강현실 글라스 장치(10)에 따르면, 빔 스플리터(121) 방식으로 광학 장치(100)를 구성하면서, 영상 입력부(130)를 광학 장치(100) 내에 디스플레이부(110)와 나란히 배치해, 영상 입력부(130)가 빔 스플리터(121)에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부(130)가 광학 장치(100) 내에 배치되므로 광학 장치(100)를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

10: 본 발명의 특징에 따른 증강현실 글라스 장치
100: 본 발명의 특징에 따른 광학 장치
110: 디스플레이부
120: 광학부
121: 빔 스플리터
122: 렌즈부
123: 미러부
124: 전면 윈도우
125: 후면 윈도우
130: 영상 입력부
200: HMD 프레임
300: 제어부
400: IPD 조정부
500: 외부 카메라부
600: 센서부
700: 통신부

Claims

광학 장치(100)로서,
실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부(110);
사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부(110) 방향으로 반사하며, 상기 디스플레이부(110)에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터(121) 방식의 광학부(120); 및
상기 디스플레이부(110)와 나란히 배치되며, 상기 빔 스플리터(121)에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부(130)를 포함하며,
상기 디스플레이부(110)는,
상기 영상 입력부(130)에서 입력받은 시야 정합 영상을 기초로 상기 영상 정보가 실제 세계에 맵핑되도록 상기 증강현실 영상 광을 출력하는 것을 특징으로 하는, 증강현실 글라스를 위한 시야 정합형 광학 장치(100).
제1항에 있어서, 상기 영상 입력부(130)는,
상기 디스플레이부(110)의 좌측 또는 우측에 나란히 배치되어 상기 빔 스플리터(121)에서 상기 디스플레이부(110) 방향으로 반사되는 실제 세계 광의 일부를 촬영하는 카메라로 구성되는 것을 특징으로 하는, 증강현실 글라스를 위한 시야 정합형 광학 장치(100).
제1항에 있어서, 상기 광학부(120)는,
상기 디스플레이부(110)에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 반사하고, 상기 실제 세계 광의 적어도 일부를 투과하는 빔 스플리터(121);
상기 디스플레이부(110)와 상기 빔 스플리터(121) 사이에서 상기 영상 광의 광 경로상에 배치되며, 상기 디스플레이부(110)에서 출력되는 영상 광을 굴절시키는 렌즈부(122);
상기 빔 스플리터(121)를 기준으로 상기 렌즈부(122)의 반대편에 배치되며, 상기 빔 스플리터(121)를 투과한 영상 광을 상기 빔 스플리터(121) 방향으로 반사하는 미러부(123);
실제 세계를 향하는 상기 광학부(120)의 전면을 구성하는 전면 윈도우(124); 및
상기 사용자의 눈 방향을 향하는 상기 광학부(120)의 후면을 구성하는 후면 윈도우(125)를 포함하는 것을 특징으로 하는, 증강현실 글라스를 위한 시야 정합형 광학 장치(100).
증강현실 글라스 장치(10)로서,
사용자가 머리에 착용할 수 있는 HMD 프레임(200);
상기 HMD 프레임(200)을 착용한 사용자의 양안의 전방에 배치되어 실제 세계와 증강현실 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위해 한 쌍으로 구성되는 광학 장치(100); 및
사용자의 시야를 통해 보이는 실제 세계에 영상 광이 맵핑되어 증강현실이 제공되도록 상기 광학 장치(100)를 포함하는 상기 증강현실 글라스 장치(10)의 동작을 제어하는 제어부(300)를 포함하며,
상기 광학 장치(100)는,
실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부(110);
사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부(110) 방향으로 반사하며, 상기 디스플레이부(110)에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터(121) 방식의 광학부(120); 및
상기 디스플레이부(110)와 나란히 배치되며, 상기 빔 스플리터(121)에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부(130)를 포함하며,
상기 제어부(300)는,
상기 영상 입력부(130)에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하고, 맵핑에 따라 상기 증강현실 영상 광이 출력되도록 상기 디스플레이부(110)를 제어하는 것을 특징으로 하는, 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10).
제4항에 있어서, 상기 영상 입력부(130)는,
상기 디스플레이부(110)의 좌측 또는 우측에 나란히 배치되어 상기 빔 스플리터(121)에서 상기 디스플레이부(110) 방향으로 반사되는 실제 세계 광의 일부를 촬영하는 카메라로 구성되는 것을 특징으로 하는, 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10).
제4항에 있어서, 상기 광학부(120)는,
상기 디스플레이부(110)에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 반사하고, 상기 실제 세계 광의 적어도 일부를 투과하는 빔 스플리터(121);
상기 디스플레이부(100)와 상기 빔 스플리터(121) 사이에서 상기 영상 광의 광 경로상에 배치되며, 상기 디스플레이부(110)에서 출력되는 영상 광을 굴절시키는 렌즈부(122);
상기 빔 스플리터(121)를 기준으로 상기 렌즈부(122)의 반대편에 배치되며, 상기 빔 스플리터(121)를 투과한 영상 광을 상기 빔 스플리터(121) 방향으로 반사하는 미러부(123);
실제 세계를 향하는 상기 광학부(120)의 전면을 구성하는 전면 윈도우(124); 및
상기 사용자의 눈 방향을 향하는 상기 광학부(120)의 후면을 구성하는 후면 윈도우(125)를 포함하는 것을 특징으로 하는, 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10).
제4항에 있어서,
상기 한 쌍으로 구성되는 광학 장치(100) 사이의 거리를 조절해 IPD(Interpupillary Distance)를 조정하는 IPD 조정부(400)를 더 포함하며,
상기 제어부(300)는,
상기 IPD 조정부(400)에 의해 상기 한 쌍의 광학 장치(100) 사이의 거리가 조절됨에 따라 함께 이동하는 상기 영상 입력부(130)에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하여, IPD 조절에 따른 카메라 오차를 제거하는 것을 특징으로 하는, 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10).
제7항에 있어서, 상기 제어부(300)는,
사용자의 IPD 조정 신호 또는 상기 사용자에 대해 미리 저장된 IPD 조정 정보에 따라 상기 한 쌍으로 구성되는 광학 장치(100) 사이의 거리를 조절하도록 상기 IPD 조정부(400)를 제어하는 것을 특징으로 하는, 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10).