KR20230147488A - 아이트래킹을 이용한 ipd 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치 - Google Patents

Abstract

본 발명은 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치로서, 사용자 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부; 상기 HMD 프레임을 착용한 사용자의 시선을 추적하여 동공 위치를 특정하는 시선 추적부; 상기 광학부 위에 설치되며, IPD 조정 신호에 대응하여 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Interpupillary Distance, IPD)를 조정하는 IPD 조정부; 상기 HMD 프레임의 일 측면에 설치되어, 사용자가 초점이 맞지 않는다고 느낄 때 동공의 위치를 재추적하여 초점을 맞추도록 하는 리셋 버튼; 및 상기 광학부와 시선 추적부와 IPD 조정부와 리셋 버튼의 전체적인 구동을 제어하며, 상기 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 사용자에 맞추기 위한 IPD 조정 신호를 생성하고, 상기 리셋 버튼의 선택 신호에 대응한 사용자 시선의 재추적을 통한 동공 간 거리(IPD)를 재조정하도록 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치에 따르면, 사용자 머리에 착용할 수 있는 HMD 프레임과, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부와, 사용자의 시선을 추적하여 동공 위치를 특정하는 시선 추적부와, IPD 조정 신호에 대응하여 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리를 조정하는 IPD 조정부와, 사용자가 초점이 맞지 않는다고 느낄 때 동공의 위치를 재추적하여 초점을 맞추도록 하는 리셋 버튼과, 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 사용자에 맞추기 위한 IPD 조정 신호를 생성하고, 리셋 버튼의 선택 신호에 대응한 사용자 시선의 재추적을 통한 동공 간 거리(IPD)를 재조정하도록 제어하는 제어부를 포함하여 구성함으로써, 착용자의 동공 간 거리를 자동으로 최적화 조정할 수 있고, 리셋 버튼을 이용한 사용자의 초점의 재조정이 가능하도록 할 수 있다.
또한, 본 발명의 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치에 따르면, 시선 추적부를 통한 사용자의 눈을 추적하고, IPD 조정부를 통한 동공 간 거리(IPD) 조절로 광학부의 렌즈와 사용자의 동공 위치를 맞추어 사용하는 중에 사용자가 초점이 맞지 않는다고 느낄 때 리셋 버튼을 통해 재조정이 가능하도록 함으로써, 실시간으로 사용자의 눈을 재추적하고, 초점을 맞추는 IPD 재조정 동작을 통해 항시 동공 간 거리의 재조정이 가능하고, 그에 따른 불편함 없이 사용의 편의성 및 효율성이 더욱 향상될 수 있도록 할 수 있다.

Description

아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치{HEAD-MOUNTED DISPLAY APPARATUS HAVING RESET BUTTON FOR RE-ADJUSTING USER FOCUS DURING INTER-PUPILLARY DISTANCE CONTROL USING EYE TRACKING}

본 발명은 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치에 관한 것이다.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.

헤드 마운티드 디스플레이는 단안 렌즈를 구비할 수 있으나, 양안 모두에 영상을 제공하는 양안 렌즈를 구비할 수도 있다. 특히, 양안 모두에 영상을 제공하는 양안 HMD에서, 착용자마다 동공 사이의 거리는 다르므로 동공 간의 거리를 쉽게 조정하여 착용자에게 맞추어야 초점이 잘 맞고 선명한 영상을 경험할 수 있다.

그러나 증강현실 또는 가상현실용 HMD 제품 대부분은 동공 간 거리(Inter-pupillary Distance, IPD)가 고정되어 있거나, 동공 간 거리의 조정이 가능하더라도 양안이 동시에 조정되지 않고 한쪽씩 각각 조절되도록 설계되어 있다. 따라서 짐을 들고 있거나 조이스틱 등 제어 장치를 손에 쥐고 있는 경우에는 IPD를 조정하기가 쉽지 않다. 따라서 손을 사용하지 않고도 IPD를 정밀하게 조정할 수 있는 기술의 개발이 필요하다.

또한, 기존의 헤드 마운티드 디스플레이는 아이트래킹을 통해 실시간으로 사용자의 눈을 추적하여 렌즈와 사용자의 동공 위치를 맞추도록 동작하고 있으나, 공사현장 등 필드에서 사용자가 장시간 사용하여 발생하는 흔들림으로 인하여 아이트래킹이 갖고 있는 기본 오차 범위와, 기어의 동작 오차 범위, 피니언(PINION)의 가공 오차로 인하여 손쉽게 흔들려 사용자의 동공위치를 추적하는데 오류가 발생하여 초점을 못 맞추는 경우가 발생되는 문제점이 있었다. 대한민국 공개특허공보 제10-2019-0093966호가 선행기술 문헌으로 개시된 바 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 사용자 머리에 착용할 수 있는 HMD 프레임과, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부와, 사용자의 시선을 추적하여 동공 위치를 특정하는 시선 추적부와, IPD 조정 신호에 대응하여 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리를 조정하는 IPD 조정부와, 사용자가 초점이 맞지 않는다고 느낄 때 동공의 위치를 재추적하여 초점을 맞추도록 하는 리셋 버튼과, 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 사용자에 맞추기 위한 IPD 조정 신호를 생성하고, 리셋 버튼의 선택 신호에 대응한 사용자 시선의 재추적을 통한 동공 간 거리(IPD)를 재조정하도록 제어하는 제어부를 포함하여 구성함으로써, 착용자의 동공 간 거리를 자동으로 최적화 조정할 수 있고, 리셋 버튼을 이용한 사용자의 초점의 재조정이 가능하도록 하는, 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치를 제공하는 것을 그 목적으로 한다.

또한, 본 발명은, 시선 추적부를 통한 사용자의 눈을 추적하고, IPD 조정부를 통한 동공 간 거리(IPD) 조절로 광학부의 렌즈와 사용자의 동공 위치를 맞추어 사용하는 중에 사용자가 초점이 맞지 않는다고 느낄 때 리셋 버튼을 통해 재조정이 가능하도록 함으로써, 실시간으로 사용자의 눈을 재추적하고, 초점을 맞추는 IPD 재조정 동작을 통해 항시 동공 간 거리의 재조정이 가능하고, 그에 따른 불편함 없이 사용의 편의성 및 효율성이 더욱 향상될 수 있도록 하는, 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치를 제공하는 것을 또 다른 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치는,

아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치로서,

사용자 머리에 착용할 수 있는 HMD 프레임;

상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부;

상기 HMD 프레임을 착용한 사용자의 시선을 추적하여 동공 위치를 특정하는 시선 추적부;

상기 광학부 위에 설치되며, IPD 조정 신호에 대응하여 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Interpupillary Distance, IPD)를 조정하는 IPD 조정부;

상기 HMD 프레임의 일 측면에 설치되어, 사용자가 초점이 맞지 않는다고 느낄 때 동공의 위치를 재추적하여 초점을 맞추도록 하는 리셋 버튼; 및

상기 광학부와 시선 추적부와 IPD 조정부와 리셋 버튼의 전체적인 구동을 제어하며, 상기 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 사용자에 맞추기 위한 IPD 조정 신호를 생성하고, 상기 리셋 버튼의 선택 신호에 대응한 사용자 시선의 재추적을 통한 동공 간 거리(IPD)를 재조정하도록 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 시선 추적부는,

상기 HMD 프레임을 착용한 사용자의 눈 방향으로 설치된 아이트래킹 카메라로 구현될 수 있다.

더욱 바람직하게는, 상기 시선 추적부는,

상기 아이트래킹 카메라에서 획득한 눈 이미지를 이미지 처리 알고리즘으로 처리하여 사용자의 동공 위치를 실시간으로 특정할 수 있다.

바람직하게는, 상기 시선 추적부는,

상기 광학부의 주변으로 사용자의 눈을 향하도록 설치되는 복수의 카메라;

상기 광학부의 주변으로 사용자의 눈을 향하도록 설치되며, 사용자의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터; 및

상기 카메라에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용하여 사용자의 동공 위치를 특정하는 위치 특정 모듈을 포함하여 구성할 수 있다.

바람직하게는, 상기 IPD 조정부는,

상기 한 쌍의 렌즈부에 고정 연결되는 한 쌍의 랙; 및

상기 한 쌍의 랙 사이에 위치하되, 상기 제어부로부터 전달받은 IPD 조정 신호에 따라 회전하여 상기 한 쌍의 랙을 서로 반대 방향으로 이동시키는 모터를 포함하여 구성할 수 있다.

더욱 바람직하게는, 상기 IPD 조정 신호는,

상기 모터의 회전 방향 및 회전량 정보를 포함할 수 있다.

더욱 바람직하게는, 상기 한 쌍의 랙은,

제1 렌즈부 및 제2 렌즈부로 이루어지는 한 쌍의 렌즈부에 각각 고정 연결된 제1 랙 및 제2 랙으로 구성되고, 제1 랙 및 제2 랙의 일단에 길이 방향으로 긴 형태의 홀이 형성되고, 홀 내부의 길이 방향의 일면에 모터와 맞물리는 톱니가 형성될 수 있다.

더욱 바람직하게는, 상기 리셋 버튼은,

상기 제어부의 제어 하에, 상기 시선 추적부를 통한 사용자의 눈을 추적하고, 상기 IPD 조정부를 통한 동공 간 거리(IPD) 조절로 상기 광학부의 렌즈와 사용자의 동공 위치를 맞추어 사용하는 중에 초점이 안 맞는 경우 발생 시, 실시간으로 사용자의 눈을 재추적하고, 초점을 맞추는 IPD 재조정 동작을 수행하도록 기능할 수 있다.

본 발명에서 제안하고 있는 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치에 따르면, 사용자 머리에 착용할 수 있는 HMD 프레임과, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부와, 사용자의 시선을 추적하여 동공 위치를 특정하는 시선 추적부와, IPD 조정 신호에 대응하여 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리를 조정하는 IPD 조정부와, 사용자가 초점이 맞지 않는다고 느낄 때 동공의 위치를 재추적하여 초점을 맞추도록 하는 리셋 버튼과, 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 사용자에 맞추기 위한 IPD 조정 신호를 생성하고, 리셋 버튼의 선택 신호에 대응한 사용자 시선의 재추적을 통한 동공 간 거리(IPD)를 재조정하도록 제어하는 제어부를 포함하여 구성함으로써, 착용자의 동공 간 거리를 자동으로 최적화 조정할 수 있고, 리셋 버튼을 이용한 사용자의 초점의 재조정이 가능하도록 할 수 있다.

또한, 본 발명의 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치에 따르면, 시선 추적부를 통한 사용자의 눈을 추적하고, IPD 조정부를 통한 동공 간 거리(IPD) 조절로 광학부의 렌즈와 사용자의 동공 위치를 맞추어 사용하는 중에 사용자가 초점이 맞지 않는다고 느낄 때 리셋 버튼을 통해 재조정이 가능하도록 함으로써, 실시간으로 사용자의 눈을 재추적하고, 초점을 맞추는 IPD 재조정 동작을 통해 항시 동공 간 거리의 재조정이 가능하고, 그에 따른 불편함 없이 사용의 편의성 및 효율성이 더욱 향상될 수 있도록 할 수 있다.

도 1은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치를 착용한 정면 모습을 일례로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치를 착용한 측면 사시도 모습을 일례로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치를 착용한 측면에 리셋 버튼이 구비되는 모습을 일례로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 시선 추적부의 설치 일례를 도시한 도면.
도 6은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 시선 추적부가 동공 위치를 특정하는 모습을 일례로 도시한 도면.
도 7은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 IPD 조정부의 랙의 개략적인 구성을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 IPD 조정부의 분해사시도를 도시한 도면.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치를 착용한 정면 모습을 일례로 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치를 착용한 측면 사시도 모습을 일례로 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치를 착용한 측면에 리셋 버튼이 구비되는 모습을 일례로 도시한 도면다. 도 1 내지 도 4에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치(100)는, HMD 프레임(110), 광학부(120), 시선 추적부(130), IPD 조정부(140), 리셋 버튼(150), 및 제어부(160)를 포함하여 구성될 수 있으며, 디스플레이부(170), 센서부(180) 및 통신부(190)를 더 포함하여 구성될 수 있다. 이하에서는 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 구체적인 구성에 대해 설명하기로 한다.

도 5는 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 시선 추적부의 설치 일례를 도시한 도면이고, 도 6은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 시선 추적부가 동공 위치를 특정하는 모습을 일례로 도시한 도면이며, 도 7은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 IPD 조정부의 랙의 개략적인 구성을 도시한 도면이고, 도 8은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 IPD 조정부의 분해사시도를 도시한 도면이다.

HMD 프레임(110)은, 사용자 머리에 착용할 수 있는 구성이다. 이러한 HMD 프레임(110)은 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태, 고글(goggles) 형태, 안경 형태 등으로 구성될 수 있다.

광학부(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 구성이다. 이러한 광학부(120)는 도 2 및 도 3에 각각 도시된 바와 같이, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 후술하게 될 디스플레이부(170)에서 출력되는 영상 광을 사용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 여기서, 광학부(120)는 머리 착용형 디스플레이 장치(100)를 착용한 사용자가 증강현실을 경험할 수 있도록 구성될 수 있다.

또한, 광학부(120)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.

시선 추적부(130)는, HMD 프레임(110)을 착용한 사용자의 시선을 추적하여 동공 위치를 특정하는 구성이다. 이러한 시선 추적부(130)는 HMD 프레임(110)을 착용한 사용자의 눈 방향으로 설치된 아이트래킹 카메라로 구현될 수 있다. 여기서, 시선 추적부(130)는 아이트래킹 카메라에서 획득한 눈 이미지를 이미지 처리 알고리즘으로 처리하여 사용자의 동공 위치를 실시간으로 특정할 수 있다.

또한, 시선 추적부(130)는 광학부(120)의 주변으로 사용자의 눈을 향하도록 설치되는 복수의 카메라(131)와, 광학부(120)의 주변으로 사용자의 눈을 향하도록 설치되며, 사용자의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터(132)와, 카메라(131)에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용하여 사용자의 동공 위치를 특정하는 위치 특정 모듈을 포함하여 구성할 수 있다.

또한, 시선 추적부(130)는 아이트래킹 카메라에서 획득한 눈 이미지를 이미지 처리 알고리즘으로 처리하여 동공 위치를 실시간으로 특정할 수 있다. 여기서, 이미지 처리 알고리즘은, 인공지능 기반으로 사전 학습된 시선 추적 모델일 수 있으며, 시선 추적 모델은 CNN, RNN, LSTM RNN, ResNet, MobileNet, 가중 랜덤 포레스트 분류기(WRFR), 캐스케이드 회귀 포레스트(Cascade Regression Forest) 등을 사용해 생성될 수 있다. 즉, 시선 추적부(130)는 근적외선 LED, 아이트래킹 카메라, 이미지 검출, 3D 안구 모델, 시선 산출 알고리즘을 포함한 연산 처리장치를 구비하며, 카메라 시야 영상 기록, 근적외선 LED 빛의 반사 패턴 생성, 아이트래킹 카메라의 고해상도 눈 이미지 취득, 이미지 처리 알고리즘을 통한 눈과 빛의 반사 패턴 검출, 3D 안구 모델의 알고리즘을 공간상의 눈의 위치에 따른 화면상의 시선 산출할 수 있다. 여기서, 산출 받은 시선에 렌즈가 움직이도록 모터가 구동하여 렌즈의 IPD를 조절하게 된다.

도 5는 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 시선 추적부의 설치 일례를 나타내고 있다. 도 5에 도시된 바와 같이, 시선 추적부(130)는 광학부(120)의 주변으로 사용자의 눈을 향하도록 설치되는 복수의 카메라(131), 광학부(120)의 주변으로 사용자의 눈을 향하도록 설치되어 사용자의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터(132) 및 카메라(131)에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용해 사용자의 동공 위치를 특정하는 위치 특정 모듈(미도시)을 포함하여 구성될 수 있다. 도 5에서는 복수의 카메라(131)와 복수의 일루미네이터(132)를 착용자의 시야를 가리지 않도록 광학부(120)의 주변에서 착용자의 동공을 향하도록 설치하여 시선 추적부(130)를 구성할 수 있다. 특히, 각 눈에 대해 적어도 둘 이상의 카메라(131)를 설치해 복수의 눈 이미지를 조합함으로써, 촬영 각도에 따른 한계를 극복하고 정확하게 동공 위치를 파악할 수 있다.

도 6은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 시선 추적부가 동공 위치를 특정하는 모습을 일례로 나타내고 있다. 도 6에 도시된 바와 같이, 시선 추적부(130)는 복수의 일루미네이터(132)가 눈에 영향이 적은 적외선을 이용해 미리 정해진 패턴의 광을 사용자의 눈에 생성할 수 있다. 카메라(131)는 미리 정해진 패턴의 광이 표시된 사용자의 눈을 고해상도 이미지로 취득할 수 있다. 여기서, 일루미네이터(132)가 생성하는 적외선 광은 도 6에 도시된 형태 외에도 정확한 위치 측정에 도움이 된다면 다양한 형태일 수 있다.

또한, 위치 특정 모듈(미도시)은, 미리 정해진 패턴의 적외선 광이 표시된 고해상도 눈 이미지를 사용해 동공 위치를 특정할 수 있다. 이때, 서로 다른 각도에서 둘 이상의 카메라(131)로부터 취득한 눈 이미지를 결합해 동공 위치를 특정함으로써, 시야를 방해하지 않는 근안 위치에서 눈을 촬영함에 따른 오차를 상호 보정하고, 정확하게 동공 위치를 특정할 수 있다.

IPD 조정부(140)는, 광학부(120) 위에 설치되며, IPD 조정 신호에 대응하여 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Interpupillary Distance, IPD)를 조정하는 구성이다. 이러한 IPD 조정부(140)는 한 쌍의 렌즈부에 고정 연결되는 한 쌍의 랙(141), 및 한 쌍의 랙(141) 사이에 위치하되, 제어부(160)로부터 전달받은 IPD 조정 신호에 따라 회전하여 한 쌍의 랙(141)을 서로 반대 방향으로 이동시키는 모터(142)를 포함하여 구성할 수 있다. 여기서, IPD 조정 신호는 모터(142)의 회전 방향 및 회전량 정보를 포함할 수 있다.

또한, 한 쌍의 랙(141)은 제1 렌즈부(121) 및 제2 렌즈부(122)로 이루어지는 한 쌍의 렌즈부에 각각 고정 연결된 제1 랙(141a) 및 제2 랙(141b)으로 구성되고, 제1 랙(141a) 및 제2 랙(141b)의 일단에 길이 방향으로 긴 형태의 홀(141c)이 형성되고, 홀(141c) 내부의 길이 방향의 일면에 모터(142)와 맞물리는 톱니(141d)가 형성되는 구조로 구성될 수 있다.

도 7은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 IPD 조정부의 랙의 개략적인 구성을 나타내고 있다. 도 7에 도시된 바와 같이, 한 쌍의 랙(141) 각각은 랙(141)의 일단에 길이 방향으로 긴 형태의 홀(141c)이 형성되고, 홀(141c) 내부의 길이 방향의 일면에 모터(142)와 맞물리는 톱니(141d)가 형성될 수 있다. 여기서, 랙(141)은 도 2 및 도 3에 도시된 바와 같이, 홀(141c)이 형성되지 않은 몸체 부분이 나사 등으로 렌즈부의 위에 고정 결합되며, 홀(141c) 부분이 머리 착용형 디스플레이 장치(100)의 제1 렌즈부(121)와 제2 렌즈부(122) 사이 즉, 착용자의 코 위쪽 부위에 위치할 수 있다. 또한, 홀(141c)의 크기는, 모터(142)와 연결되어 동작하는 피니언이 삽입되어 결합할 수 있도록 피니언의 지름에 대응되는 폭과, 동공 간 거리 조정에 따라 랙(141)이 움직이는 범위의 길이를 가질 수 있으며, 동공 간 거리 조정 범위에 따라 홀(141c)의 길이 방향의 크기를 결정할 수 있다. 제1 랙(141a)과 제2 랙(141b)의 형태는 기본적으로 같을 수 있으며, 홀(141c)이나 톱니(141d)가 형성된 위치나 방향 등은 필요에 따라 서로 상이할 수 있다.

도 8은 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치의 IPD 조정부의 분해사시도를 나타내고 있다. 도 8에 도시된 바와 같이, 한 쌍의 랙(141)은 제1 랙(141a)과 제2 랙(141b)의 홀(141c)을 통해 모터(142)가 삽입되고, 제1 랙(141a)과 제2 랙(141b)의 홀(141c) 내부에 형성된 톱니(141d)가 대향하여 모터(142)에 맞물리도록 서로 교차할 수 있다. 즉, 결합 상태에서 제1 랙(141a)의 톱니(141d)와 제2 랙(141b)의 톱니(141d)가 마주 보도록 하여, 모터(142)의 반대 방향에 각각 맞물리도록 구성함으로써, 모터(142)의 회전 시 제1 랙(141a)과 제2 랙(141b)이 서로 다른 방향으로 이동하도록 할 수 있다.

리셋 버튼(150)은, HMD 프레임(110)의 일 측면에 설치되어, 사용자가 초점이 맞지 않는다고 느낄 때 동공의 위치를 재추적하여 초점을 맞추도록 하는 구성이다. 이러한 리셋 버튼(150)은 제어부(160)의 제어 하에, 시선 추적부(130)를 통한 사용자의 눈을 추적하고, IPD 조정부(140)를 통한 동공 간 거리(IPD) 조절로 상기 광학부(120)의 렌즈와 사용자의 동공 위치를 맞추어 사용하는 중에 초점이 안 맞는 경우 발생 시, 실시간으로 사용자의 눈을 재추적하고, 초점을 맞추는 IPD 재조정 동작을 수행하도록 기능할 수 있다.

제어부(160)는, 광학부(120)와 시선 추적부(130)와 IPD 조정부(140)와 리셋 버튼(150)의 전체적인 구동을 제어하며, 시선 추적부(130)에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 사용자에 맞추기 위한 IPD 조정 신호를 생성하고, 리셋 버튼(150)의 선택 신호에 대응한 사용자 시선의 재추적을 통한 동공 간 거리(IPD)를 재조정하도록 제어하는 구성이다. 여기서, 제어부(160)가 생성하는 IPD 조정 신호는 모터(142)의 회전 방향 및 회전량 정보를 포함할 수 있다. 즉, 제어부(160)는 IPD 조정부(140)를 구성하는 랙(141)과 모터(142), 한 쌍의 렌즈부(121, 122)의 구체적인 크기와 위치 관계 등을 고려해 동공 위치에 따라 최적의 IPD로 조정하기 위한 모터(142)의 회전 방향 및 회전량을 산출해 IPD 조정 신호를 생성할 수 있다.

디스플레이부(170)는, 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 이러한 디스플레이부(170)는 영상 정보가 사용자에게 제공될 수 있도록 광학부(120)를 구성하는 한 쌍의 렌즈부(121, 122)의 위에 결합해 렌즈부를 통해 사용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이부로 구성될 수 있다. 여기서, 디스플레이부(170)는 OLED 등 다양하게 구성될 수 있다.

센서부(180)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 조도 센서, 화학 센서, 홍채 인식 센서 등을 포함할 수 있다.

한편, 실시 예에 따라서, 제어부(160)는 IPD 조정 신호 또는 IPD 조정 신호에 따라 조정된 동공 간 거리를 사용자 인증 정보와 매칭해 저장하며, 사용자가 HMD 프레임(110)을 착용하고 사용자 인증을 하면, 사용자 인증 정보와 매칭된 동공 간 거리로 자동으로 조정할 수도 있다. 이때, 사용자 인증은 센서부(180)에 포함된 홍채 인식 센서 등을 사용할 수 있다.

통신부(190)는, HMD 프레임(110)의 일측에 설치되며, 다른 머리 착용형 디스플레이 장치(100)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(190)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

이와 같이, 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치(100)는 아이트래킹을 사용하는 중에 사용자의 초점을 다시 잡을 수 있도록 하는 리셋 버튼을 추가하여, 사용자의 동작으로 인해 흔들림이 발생하여 초점이 안맞는 경우에 사용될 수 있도록 한다. 즉, 리셋 버튼을 누르면 누름과 동시에 시선 추적부는 실시간 사용자의 눈을 재추적하여 초점을 맞추고 흔들림의 오차가 최소화되도록 기능할 수 있다.

상술한 바와 같이, 본 발명의 일실시예에 따른 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치는, 사용자 머리에 착용할 수 있는 HMD 프레임과, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부와, 사용자의 시선을 추적하여 동공 위치를 특정하는 시선 추적부와, IPD 조정 신호에 대응하여 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리를 조정하는 IPD 조정부와, 사용자가 초점이 맞지 않는다고 느낄 때 동공의 위치를 재추적하여 초점을 맞추도록 하는 리셋 버튼과, 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 사용자에 맞추기 위한 IPD 조정 신호를 생성하고, 리셋 버튼의 선택 신호에 대응한 사용자 시선의 재추적을 통한 동공 간 거리(IPD)를 재조정하도록 제어하는 제어부를 포함하여 구성함으로써, 착용자의 동공 간 거리를 자동으로 최적화 조정할 수 있고, 리셋 버튼을 이용한 사용자의 초점의 재조정이 가능하도록 할 수 있으며, 특히, 시선 추적부를 통한 사용자의 눈을 추적하고, IPD 조정부를 통한 동공 간 거리(IPD) 조절로 광학부의 렌즈와 사용자의 동공 위치를 맞추어 사용하는 중에 사용자가 초점이 맞지 않는다고 느낄 때 리셋 버튼을 통해 재조정이 가능하도록 함으로써, 실시간으로 사용자의 눈을 재추적하고, 초점을 맞추는 IPD 재조정 동작을 통해 항시 동공 간 거리의 재조정이 가능하고, 그에 따른 불편함 없이 사용의 편의성 및 효율성이 더욱 향상될 수 있도록 할 수 있게 된다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

100: 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치
110: HMD 프레임
120: 광학부
121: 제1 렌즈부
122: 제2 렌즈부
130: 시선 추적부
131: 카메라
132: 일루미네이터
140: IPD 조정부
141: 랙
141a: 제1 랙
141b: 제2 랙
141c: 홀
141d: 톱니
142: 모터
150: 리셋 버튼
160: 제어부
170: 디스플레이부
180: 센서부
190: 통신부

Claims (8)

1. 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치(100)로서,
   사용자 머리에 착용할 수 있는 HMD 프레임(110);
   상기 HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부(120);
   상기 HMD 프레임(110)을 착용한 사용자의 시선을 추적하여 동공 위치를 특정하는 시선 추적부(130);
   상기 광학부(120) 위에 설치되며, IPD 조정 신호에 대응하여 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Interpupillary Distance, IPD)를 조정하는 IPD 조정부(140);
   상기 HMD 프레임(110)의 일 측면에 설치되어, 사용자가 초점이 맞지 않는다고 느낄 때 동공의 위치를 재추적하여 초점을 맞추도록 하는 리셋 버튼(150); 및
   상기 광학부(120)와 시선 추적부(130)와 IPD 조정부(140)와 리셋 버튼(150)의 전체적인 구동을 제어하며, 상기 시선 추적부(130)에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 사용자에 맞추기 위한 IPD 조정 신호를 생성하고, 상기 리셋 버튼(150)의 선택 신호에 대응한 사용자 시선의 재추적을 통한 동공 간 거리(IPD)를 재조정하도록 제어하는 제어부(160)를 포함하는 것을 특징으로 하는, 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치.
   
2. 제1항에 있어서, 상기 시선 추적부(130)는,
   상기 HMD 프레임(110)을 착용한 사용자의 눈 방향으로 설치된 아이트래킹 카메라로 구현되는 것을 특징으로 하는, 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치.
   
3. 제2항에 있어서, 상기 시선 추적부(130)는,
   상기 아이트래킹 카메라에서 획득한 눈 이미지를 이미지 처리 알고리즘으로 처리하여 사용자의 동공 위치를 실시간으로 특정하는 것을 특징으로 하는, 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치.
   
4. 제1항에 있어서, 상기 시선 추적부(130)는,
   상기 광학부(120)의 주변으로 사용자의 눈을 향하도록 설치되는 복수의 카메라(131);
   상기 광학부(120)의 주변으로 사용자의 눈을 향하도록 설치되며, 사용자의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터(132); 및
   상기 카메라(131)에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용하여 사용자의 동공 위치를 특정하는 위치 특정 모듈을 포함하는 것을 특징으로 하는, 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치.
   
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 IPD 조정부(140)는,
   상기 한 쌍의 렌즈부에 고정 연결되는 한 쌍의 랙(141); 및
   상기 한 쌍의 랙(141) 사이에 위치하되, 상기 제어부(160)로부터 전달받은 IPD 조정 신호에 따라 회전하여 상기 한 쌍의 랙(141)을 서로 반대 방향으로 이동시키는 모터(142)를 포함하여 구성하는 것을 특징으로 하는, 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치.
   
6. 제5항에 있어서, 상기 IPD 조정 신호는,
   상기 모터(142)의 회전 방향 및 회전량 정보를 포함하는 것을 특징으로 하는, 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치.
   
7. 제5항에 있어서, 상기 한 쌍의 랙(141)은,
   제1 렌즈부(121) 및 제2 렌즈부(122)로 이루어지는 한 쌍의 렌즈부에 각각 고정 연결된 제1 랙(141a) 및 제2 랙(141b)으로 구성되고, 제1 랙(141a) 및 제2 랙(141b)의 일단에 길이 방향으로 긴 형태의 홀(141c)이 형성되고, 홀(141c) 내부의 길이 방향의 일면에 모터(142)와 맞물리는 톱니(141d)가 형성되는 것을 특징으로 하는, 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치.
   
8. 제5항에 있어서, 상기 리셋 버튼(150)은,
   상기 제어부(160)의 제어 하에, 상기 시선 추적부(130)를 통한 사용자의 눈을 추적하고, 상기 IPD 조정부(140)를 통한 동공 간 거리(IPD) 조절로 상기 광학부(120)의 렌즈와 사용자의 동공 위치를 맞추어 사용하는 중에 초점이 안 맞는 경우 발생 시, 실시간으로 사용자의 눈을 재추적하고, 초점을 맞추는 IPD 재조정 동작을 수행하도록 기능하는 것을 특징으로 하는, 아이트래킹을 이용한 IPD 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치.

Images