KR102619429B1

KR102619429B1 - Head-mounted display apparatus that automatically adjusts the inter-pupillary distance through eye tracking

Info

Publication number: KR102619429B1
Application number: KR1020210081740A
Authority: KR
Inventors: 최치원; 함동호
Original assignee: 주식회사 피앤씨솔루션
Priority date: 2021-06-23
Filing date: 2021-06-23
Publication date: 2024-01-02
Also published as: KR20220170643A

Abstract

본 발명은 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 머리 착용형 디스플레이 장치로서, 사용자가 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부; 상기 사용자의 시선을 추적하여 동공 위치를 특정하는 시선 추적부; 상기 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(Interpupillary Distance, IPD)를 사용자에 맞추기 위한 IPD 조정 신호를 생성하는 제어부; 및 상기 광학부 위에 설치되며, 상기 제어부로부터 전달받은 상기 IPD 조정 신호에 따라 상기 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리를 조정하는 IPD 조정부를 포함하며, 상기 IPD 조정부는, 상기 한 쌍의 렌즈부에 고정 연결된 한 쌍의 랙; 및 상기 한 쌍의 랙 사이에 위치하며, 상기 제어부로부터 전달받은 상기 IPD 조정 신호에 따라 회전하여 상기 한 쌍의 랙을 서로 반대 방향으로 이동시키는 모터를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치에 따르면, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부 위에 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리를 조정하는 IPD 조정부를 설치하고, 시선 추적부가 사용자의 시선을 추적하여 특정한 동공 위치를 기초로 생성된 IPD 조정 신호에 따라 IPD 조정부를 제어하여, 착용자가 손을 사용하지 않는 핸즈프리 상태에서 동공 간 거리를 자동으로 최적화 조정할 수 있다.The present invention relates to a head-worn display device that automatically adjusts the inter-pupil distance through eye tracking. More specifically, the head-worn display device includes an HMD frame that a user can wear on the head; An optical unit disposed in front of both eyes of the user wearing the HMD frame to provide augmented reality by combining real world light and image light, and including a pair of lens units for binocular display; A gaze tracking unit that tracks the user's gaze and specifies the pupil location; A control unit that generates an IPD adjustment signal to adjust the interpupillary distance (IPD) to the user based on a specific pupil position in the eye tracking unit; and an IPD adjustment unit installed on the optical unit and adjusting the inter-pupillary distance by simultaneously moving the pair of lens units according to the IPD adjustment signal received from the control unit, wherein the IPD adjustment unit controls the pair of lens units. a pair of racks fixedly connected to; And a motor located between the pair of racks and rotating according to the IPD adjustment signal received from the control unit to move the pair of racks in opposite directions.
According to the head-worn display device that automatically adjusts the inter-pupil distance through eye tracking proposed in the present invention, the inter-pupil distance is adjusted by simultaneously moving a pair of lens units on an optical unit including a pair of lens units for binocular display. An IPD adjustment unit is installed to adjust the IPD adjustment unit, and the eye tracking unit tracks the user's gaze and controls the IPD adjustment unit according to the IPD adjustment signal generated based on the specific pupil position to adjust the inter-pupil distance in a hands-free state where the wearer does not use his or her hands. It can be optimized and adjusted automatically.

Description

Head-mounted display device that automatically adjusts the inter-pupil distance through eye tracking {HEAD-MOUNTED DISPLAY APPARATUS THAT AUTOMATICALLY ADJUSTS THE INTER-PUPILLARY DISTANCE THROUGH EYE TRACKING}

본 발명은 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치에 관한 것이다.The present invention relates to a head-worn display device, and more specifically, to a head-worn display device that automatically adjusts the inter-pupillary distance through eye tracking.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.In accordance with the trend toward lighter and smaller digital devices, various wearable devices are being developed. A head mounted display, a type of wearable device, refers to a variety of devices that a user can wear on their head to receive multimedia content. Here, a head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. These head-mounted displays (HMDs) are divided into see-through and see-closed types. The see-through type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (Virtual Reality). It is used for Reality (VR).

헤드 마운티드 디스플레이는 단안 렌즈를 구비할 수 있으나, 양안 모두에 영상을 제공하는 양안 렌즈를 구비할 수도 있다. 특히, 양안 모두에 영상을 제공하는 양안 HMD에서, 착용자마다 동공 사이의 거리는 다르므로 동공 간의 거리를 쉽게 조정하여 착용자에게 맞추어야 초점이 잘 맞고 선명한 영상을 경험할 수 있다.A head mounted display may have a monocular lens, but may also have a binocular lens that provides images to both eyes. In particular, in a binocular HMD that provides images to both eyes, the distance between the pupils is different for each wearer, so the distance between the pupils must be easily adjusted to suit the wearer to experience a well-focused and clear image.

그러나 증강현실 또는 가상현실용 HMD 제품 대부분은 동공 간 거리(Inter-pupillary Distance, IPD)가 고정되어 있거나, 동공 간 거리의 조정이 가능하더라도 양안이 동시에 조정되지 않고 한쪽씩 각각 조절되도록 설계되어 있다. 따라서 짐을 들고 있거나 조이스틱 등 제어 장치를 손에 쥐고 있는 경우에는 IPD를 조정하기가 쉽지 않다. 따라서 손을 사용하지 않고도 IPD를 정밀하게 조정할 수 있는 기술의 개발이 필요하다.However, most HMD products for augmented reality or virtual reality have a fixed inter-pupillary distance (IPD), or even if the inter-pupillary distance can be adjusted, they are designed so that both eyes are not adjusted simultaneously, but one side is adjusted separately. Therefore, it is not easy to adjust the IPD when carrying luggage or holding a control device such as a joystick in your hand. Therefore, there is a need to develop technology that can precisely adjust IPD without using hands.

한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2019-0093966호(발명의 명칭: HMD 장치 및 그 동작 방법, 공개일자: 2019년 08월 12일) 등이 개시된 바 있다.Meanwhile, as prior art related to the present invention, Publication Patent No. 10-2019-0093966 (title of the invention: HMD device and method of operating the same, publication date: August 12, 2019) has been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부 위에 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리를 조정하는 IPD 조정부를 설치하고, 시선 추적부가 사용자의 시선을 추적하여 특정한 동공 위치를 기초로 생성된 IPD 조정 신호에 따라 IPD 조정부를 제어하여, 착용자가 손을 사용하지 않는 핸즈프리 상태에서 동공 간 거리를 자동으로 최적화 조정할 수 있는, 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치를 제공하는 것을 그 목적으로 한다.The present invention was proposed to solve the above problems of the previously proposed methods, and includes an IPD adjustment unit that adjusts the inter-pupillary distance by simultaneously moving a pair of lens units on an optical unit including a pair of lens units for binocular display. is installed, and the eye tracking unit tracks the user's gaze and controls the IPD adjustment unit according to the IPD adjustment signal generated based on the specific pupil position, automatically optimally adjusting the inter-pupillary distance in a hands-free state where the wearer does not use his or her hands. The purpose is to provide a head-worn display device that automatically adjusts the inter-pupil distance through eye tracking.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치는,A head-worn display device that automatically adjusts the inter-pupil distance through eye tracking according to the features of the present invention to achieve the above object,

머리 착용형 디스플레이 장치로서,A head-worn display device, comprising:

사용자가 머리에 착용할 수 있는 HMD 프레임;an HMD frame that the user can wear on their head;

상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부;An optical unit disposed in front of both eyes of the user wearing the HMD frame to provide augmented reality by combining real world light and image light, and including a pair of lens units for binocular display;

상기 사용자의 시선을 추적하여 동공 위치를 특정하는 시선 추적부;A gaze tracking unit that tracks the user's gaze and specifies the pupil location;

상기 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(Interpupillary Distance, IPD)를 사용자에 맞추기 위한 IPD 조정 신호를 생성하는 제어부; 및A control unit that generates an IPD adjustment signal to adjust the interpupillary distance (IPD) to the user based on a specific pupil position in the eye tracking unit; and

상기 광학부 위에 설치되며, 상기 제어부로부터 전달받은 상기 IPD 조정 신호에 따라 상기 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리를 조정하는 IPD 조정부를 포함하며,An IPD adjustment unit installed on the optical unit and adjusting the inter-pupillary distance by simultaneously moving the pair of lens units according to the IPD adjustment signal received from the control unit,

상기 IPD 조정부는,The IPD adjustment unit,

상기 한 쌍의 렌즈부에 고정 연결된 한 쌍의 랙; 및a pair of racks fixedly connected to the pair of lens units; and

상기 한 쌍의 랙 사이에 위치하며, 상기 제어부로부터 전달받은 상기 IPD 조정 신호에 따라 회전하여 상기 한 쌍의 랙을 서로 반대 방향으로 이동시키는 모터를 포함하는 것을 그 구성상의 특징으로 한다.It is located between the pair of racks and is characterized in that it includes a motor that rotates according to the IPD adjustment signal received from the control unit to move the pair of racks in opposite directions.

바람직하게는, 상기 시선 추적부는,Preferably, the eye tracking unit,

상기 HMD 프레임에 상기 사용자의 눈 방향으로 설치된 아이트래킹 카메라로 구현될 수 있다.It can be implemented with an eye tracking camera installed on the HMD frame in the direction of the user's eyes.

더욱 바람직하게는, 상기 시선 추적부는,More preferably, the eye tracking unit,

상기 아이트래킹 카메라에서 획득한 눈 이미지를 이미지 처리 알고리즘으로 처리해, 동공 위치를 실시간으로 특정할 수 있다.By processing the eye image acquired from the eye tracking camera with an image processing algorithm, the pupil position can be specified in real time.

상기 광학부의 주변으로 사용자의 눈을 향하도록 설치되는 복수의 카메라;a plurality of cameras installed around the optical unit to point toward the user's eyes;

상기 광학부의 주변으로 사용자의 눈을 향하도록 설치되어, 상기 사용자의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터; 및A plurality of illuminators installed around the optical unit to point toward the user's eyes and output infrared light of a predetermined pattern to the user's eyes; and

상기 카메라에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용해 사용자의 동공 위치를 특정하는 위치 특정 모듈을 포함할 수 있다.It may include a location specification module that specifies the location of the user's pupil using an image including a pattern of eyes and infrared light captured by the camera.

바람직하게는, 상기 IPD 조정 신호는,Preferably, the IPD adjustment signal is:

상기 모터의 회전 방향 및 회전량 정보를 포함할 수 있다.It may include information on the rotation direction and rotation amount of the motor.

바람직하게는, 상기 한 쌍의 랙은,Preferably, the pair of racks:

제1 렌즈부 및 제2 렌즈부로 구성되는 상기 한 쌍의 렌즈부에 각각 고정 연결된 제1 랙 및 제2 랙으로 구성될 수 있다.It may be composed of a first rack and a second rack, each of which is fixedly connected to the pair of lens units consisting of a first lens unit and a second lens unit.

더욱 바람직하게는, 상기 한 쌍의 랙은,More preferably, the pair of racks includes:

상기 제1 랙 및 제2 랙의 일단에 길이 방향으로 긴 형태의 홀이 형성되고, 상기 홀 내부의 길이 방향의 일면에 상기 모터와 맞물리는 톱니가 형성될 수 있다.A long hole may be formed at one end of the first rack and the second rack in the longitudinal direction, and teeth that engage the motor may be formed on one surface of the inside of the hole in the longitudinal direction.

바람직하게는,Preferably,

영상 정보가 사용자에게 제공될 수 있도록, 상기 한 쌍의 렌즈부의 위에 결합해 상기 렌즈부를 통해 사용자의 눈 방향으로 전달되는 영상 광을 출력하는 한 쌍의 디스플레이부를 더 포함할 수 있다.In order for image information to be provided to the user, a pair of display units may be further included on top of the pair of lens units to output image light transmitted through the lens units toward the user's eyes.

본 발명에서 제안하고 있는 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치에 따르면, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부 위에 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리를 조정하는 IPD 조정부를 설치하고, 시선 추적부가 사용자의 시선을 추적하여 특정한 동공 위치를 기초로 생성된 IPD 조정 신호에 따라 IPD 조정부를 제어하여, 착용자가 손을 사용하지 않는 핸즈프리 상태에서 동공 간 거리를 자동으로 최적화 조정할 수 있다.According to the head-worn display device that automatically adjusts the inter-pupil distance through eye tracking proposed in the present invention, the inter-pupil distance is adjusted by simultaneously moving a pair of lens units on an optical unit including a pair of lens units for binocular display. An IPD adjustment unit is installed to adjust the IPD adjustment unit, and the eye tracking unit tracks the user's gaze and controls the IPD adjustment unit according to the IPD adjustment signal generated based on the specific pupil position to adjust the inter-pupil distance in a hands-free state where the wearer does not use his or her hands. It can be optimized and adjusted automatically.

도 1은 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치를 착용한 정면 모습을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치를 착용한 사시 모습을 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치에서, 시선 추적부를 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치에서, 시선 추적부가 동공 위치를 특정하는 모습을 예를 들어 도시한 도면.
도 6은 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치에서, 랙의 세부적인 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치에서, IPD 조정부의 분해도를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치에서, IPD를 길게 조정하는 모습을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치에서, IPD를 짧게 조정하는 모습을 도시한 도면.1 is a diagram illustrating the configuration of a head-worn display device that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention.
FIG. 2 is a diagram showing an example of a frontal view wearing a head-worn display device that automatically adjusts the inter-pupillary distance through eye tracking according to an embodiment of the present invention.
Figure 3 is a diagram illustrating an example of a cross-sectional view wearing a head-worn display device that automatically adjusts the inter-pupillary distance through eye tracking according to an embodiment of the present invention.
Figure 4 is a diagram showing an example of a gaze tracking unit in a head-mounted display device that automatically adjusts the inter-pupil distance through gaze tracking according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of a gaze tracking unit specifying a pupil position in a head-worn display device that automatically adjusts the inter-pupil distance through gaze tracking according to an embodiment of the present invention.
Figure 6 is a diagram illustrating the detailed configuration of a rack in a head-worn display device that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention.
FIG. 7 is an exploded view of an IPD adjustment unit in a head-worn display device that automatically adjusts the inter-pupillary distance through eye tracking according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating long adjustment of the IPD in a head-worn display device that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention.
FIG. 9 is a diagram illustrating briefly adjusting the IPD in a head-worn display device that automatically adjusts the inter-pupillary distance through eye tracking according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, with reference to the attached drawings, preferred embodiments will be described in detail so that those skilled in the art can easily practice the present invention. However, when describing preferred embodiments of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the same symbols are used throughout the drawings for parts that perform similar functions and actions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Additionally, throughout the specification, when a part is said to be 'connected' to another part, this is not only the case when it is 'directly connected', but also when it is 'indirectly connected' with another element in between. Includes. Additionally, ‘including’ a certain component does not mean excluding other components, but rather including other components, unless specifically stated to the contrary.

도 1은 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)는, HMD 프레임(100), 광학부(300), 시선 추적부(400), 제어부(500) 및 IPD 조정부(600)를 포함하여 구성될 수 있으며, 디스플레이부(200), 센서부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.Figure 1 is a diagram illustrating the configuration of a head-worn display device 10 that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention. As shown in FIG. 1, the head-worn display device 10 that automatically adjusts the inter-pupillary distance through eye tracking according to an embodiment of the present invention includes an HMD frame 100, an optical unit 300, and a gaze point. It may be configured to include a tracking unit 400, a control unit 500, and an IPD adjusting unit 600, and may further include a display unit 200, a sensor unit 700, and a communication unit 800.

도 2는 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)를 착용한 정면 모습을 예를 들어 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)를 착용한 사시 모습을 예를 들어 도시한 도면이다. 도 2 및 도 3에서 빨간색 선은 착용자의 시선이 추적되는 것을 표시한 것이다.FIG. 2 is a diagram illustrating an example of a front view wearing a head-worn display device 10 that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention, and FIG. This diagram shows an example of a cross-eyed person wearing a head-mounted display device 10 that automatically adjusts the inter-pupillary distance through eye tracking according to an embodiment. In Figures 2 and 3, the red line indicates that the wearer's gaze is tracked.

즉, 사용자가 HMD 프레임(100)을 착용하고, 시선 추적부(400)가 사용자의 시선을 추적해 동공 위치를 특정하면, 제어부(500)가 특정된 동공 위치에 맞추어 동공 간 거리를 조정하는 IPD 조정 신호를 생성하여 IPD 조정부(600)에 전달한다. IPD 조정부(600)는, 양안 디스플레이를 위한 제1 렌즈부(310) 및 제2 렌즈부(320)로 구성되는 한 쌍의 렌즈부 위에 설치되어, 초정밀 모터(620)를 이용해 한 쌍의 렌즈부에 고정 결합된 랙(610)을 움직여 동공 간 거리를 조정할 수 있다. 따라서 핸즈프리(hands free) 상태에서 자동으로 착용자에 최적화되어 동공 간 거리가 조정될 수 있다.That is, when the user wears the HMD frame 100 and the eye tracking unit 400 tracks the user's gaze and specifies the pupil position, the IPD control unit 500 adjusts the inter-pupil distance according to the specified pupil position. An adjustment signal is generated and transmitted to the IPD adjustment unit 600. The IPD adjustment unit 600 is installed on a pair of lens units consisting of a first lens unit 310 and a second lens unit 320 for binocular display, and uses an ultra-precision motor 620 to adjust the pair of lens units. The inter-pupil distance can be adjusted by moving the rack 610 fixedly coupled to. Therefore, in a hands-free state, the inter-pupillary distance can be automatically adjusted to be optimized for the wearer.

이하에서는, 도 1 내지 도 3을 참조하여, 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)의 각 구성요소에 대해 상세히 설명하도록 한다.Hereinafter, with reference to FIGS. 1 to 3 , each component of the head-worn display device 10 that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention will be described in detail.

HMD 프레임(100)은, 사용자가 머리에 착용할 수 있는 프레임 구성이다. 이러한 HMD 프레임(100)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태, 고글(goggles) 형태, 안경 형태 등으로 구성될 수 있다.The HMD frame 100 is a frame configuration that a user can wear on his or her head. This HMD frame 100 may be configured in the form of a helmet, goggles, or glasses having a frame structure that allows light to enter when worn on the user's head.

디스플레이부(200)는, 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이부(200)는, 영상 정보가 사용자에게 제공될 수 있도록, 이하에서 상세히 설명할 광학부(300)를 구성하는 한 쌍의 렌즈부(310, 320)의 위에 결합해, 렌즈부를 통해 사용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이부(200)로 구성될 수 있다. 디스플레이부(200)는 OLED 등 다양하게 구성될 수 있다.The display unit 200 may output image light so that image information can be provided to the user. More specifically, the display unit 200 is coupled on a pair of lens units 310 and 320 constituting the optical unit 300, which will be described in detail below, so that image information can be provided to the user. It outputs image light transmitted toward the user's eyes through the unit, and may be composed of a pair of display units 200 for binocular display. The display unit 200 may be configured in various ways, such as OLED.

광학부(300)는, HMD 프레임(100)을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부(310, 320)를 포함할 수 있다. 보다 구체적으로, 도 2 및 도 3에 도시된 바와 같이, 광학부(300)는 HMD 프레임(100)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이부(200)에서 출력되는 영상 광을 사용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학부(300)는 머리 착용형 디스플레이 장치(10)를 착용한 사용자가 증강현실을 경험할 수 있도록 구성될 수 있다.The optical unit 300 is disposed in front of both eyes of the user wearing the HMD frame 100 and provides augmented reality by combining real world light and image light, and includes a pair of lens units 310 for binocular display. , 320). More specifically, as shown in FIGS. 2 and 3, the optical unit 300 is disposed in front of both eyes of the user wearing the HMD frame 100, and displays the real world through the user's field of view. Augmented reality can be provided by transmitting at least a portion of the light and transmitting the image light output from the display unit 200 toward the user's eyes. That is, the optical unit 300 may be configured so that a user wearing the head-worn display device 10 can experience augmented reality.

또한, 광학부(300)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.Additionally, the optical unit 300 is composed of a plurality of lenses and mirrors and can be implemented in various ways, for example, an optical diffraction method, a beam splitter method, a pin mirror method, etc.

시선 추적부(400)는, 사용자의 시선을 추적하여 동공 위치를 특정할 수 있다. 보다 구체적으로, 시선 추적부(400)는, HMD 프레임(100)에 사용자의 눈 방향으로 설치된 아이트래킹 카메라로 구현될 수 있다. 시선 추적부(400)는 아이트래킹 카메라에서 촬영된 고해상도 눈 이미지를 이용해 실시간으로 동공 위치를 추적할 수 있다.The gaze tracker 400 may track the user's gaze and specify the pupil location. More specifically, the eye tracking unit 400 may be implemented as an eye tracking camera installed on the HMD frame 100 in the direction of the user's eyes. The eye tracking unit 400 can track the pupil position in real time using high-resolution eye images captured by an eye tracking camera.

또한, 시선 추적부(400)는, 아이트래킹 카메라에서 획득한 눈 이미지를 이미지 처리 알고리즘으로 처리해, 동공 위치를 실시간으로 특정할 수 있다. 여기서, 이미지 처리 알고리즘은, 인공지능 기반으로 사전 학습된 시선 추적 모델일 수 있으며, 시선 추적 모델은 CNN, RNN, LSTM RNN, ResNet, MobileNet, 가중 랜덤 포레스트 분류기(WRFR), 캐스케이드 회귀 포레스트(Cascade Regression Forest) 등을 사용해 생성될 수 있다.Additionally, the eye tracking unit 400 can process the eye image obtained from the eye tracking camera with an image processing algorithm to specify the pupil location in real time. Here, the image processing algorithm may be a pre-trained eye tracking model based on artificial intelligence, and the eye tracking model may be CNN, RNN, LSTM RNN, ResNet, MobileNet, weighted random forest classifier (WRFR), and cascade regression forest. Forest) can be created using, etc.

도 4는 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)에서, 시선 추적부(400)를 예를 들어 도시한 도면이다. 시선 추적부(400)는, 광학부(300)의 주변으로 사용자의 눈을 향하도록 설치되는 복수의 카메라(410), 광학부(300)의 주변으로 사용자의 눈을 향하도록 설치되어, 사용자의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터(420) 및 카메라(410)에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용해 사용자의 동공 위치를 특정하는 위치 특정 모듈(미도시)을 포함하여 구성될 수 있다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)에서는, 복수의 카메라(410)와 복수의 일루미네이터(420)를 착용자의 시야를 가리지 않도록 광학부(300)의 주변에서 착용자의 동공을 향하도록 설치하여 시선 추적부(400)를 구성할 수 있다. 특히, 각 눈에 대해 적어도 둘 이상의 카메라(410)를 설치해 복수의 눈 이미지를 조합함으로써, 촬영 각도에 따른 한계를 극복하고 정확하게 동공 위치를 파악할 수 있다.FIG. 4 is a diagram illustrating the eye tracking unit 400 as an example in the head-worn display device 10 that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention. The eye tracking unit 400 includes a plurality of cameras 410 installed around the optical unit 300 to point towards the user's eyes, and installed to point towards the user's eyes around the optical unit 300, A plurality of illuminators 420 that output infrared light in a predetermined pattern to the eyes and a location specification module (not shown) that specifies the location of the user's pupil using an image including the eye and the pattern of infrared light captured by the camera 410 It may be configured to include. As shown in FIG. 4, the head-worn display device 10 that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention includes a plurality of cameras 410 and a plurality of illuminators 420. The gaze tracking unit 400 can be configured by installing it around the optical unit 300 to face the wearer's pupil so as not to block the wearer's field of view. In particular, by installing at least two cameras 410 for each eye and combining multiple eye images, it is possible to overcome limitations depending on the shooting angle and accurately determine the pupil position.

도 5는 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)에서, 시선 추적부(400)가 동공 위치를 특정하는 모습을 예를 들어 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)의 시선 추적부(400)는, 복수의 일루미네이터(420)가 눈에 영향이 적은 적외선을 이용해 미리 정해진 패턴의 광을 사용자의 눈에 생성할 수 있다. 카메라(410)는 미리 정해진 패턴의 광이 표시된 사용자의 눈을 고해상도 이미지로 취득할 수 있다. 여기서, 일루미네이터(420)가 생성하는 적외선 광은 도 5에 도시된 형태 외에도 정확한 위치 측정에 도움이 된다면 다양한 형태일 수 있다.FIG. 5 shows an example of the gaze tracker 400 specifying the pupil position in the head-worn display device 10 that automatically adjusts the inter-pupil distance through gaze tracking according to an embodiment of the present invention. It is a drawing. As shown in FIG. 5, the gaze tracking unit 400 of the head-worn display device 10 that automatically adjusts the inter-pupil distance through gaze tracking according to an embodiment of the present invention includes a plurality of illuminators 420. Using infrared rays that have little effect on the eyes, a predetermined pattern of light can be generated in the user's eyes. The camera 410 can acquire a high-resolution image of the user's eyes, on which light of a predetermined pattern is displayed. Here, the infrared light generated by the illuminator 420 may have various forms other than the form shown in FIG. 5 as long as it helps in accurate position measurement.

위치 특정 모듈(미도시)은, 미리 정해진 패턴의 적외선 광이 표시된 고해상도 눈 이미지를 사용해 동공 위치를 특정할 수 있다. 이때, 서로 다른 각도에서 둘 이상의 카메라(410)로부터 취득한 눈 이미지를 결합해 동공 위치를 특정함으로써, 시야를 방해하지 않는 근안 위치에서 눈을 촬영함에 따른 오차를 상호 보정하고, 정확하게 동공 위치를 특정할 수 있다.A position specification module (not shown) can specify the pupil position using a high-resolution eye image displaying a predetermined pattern of infrared light. At this time, by combining eye images acquired from two or more cameras 410 at different angles and specifying the pupil position, errors resulting from photographing the eye at a near eye position that does not interfere with the field of view can be mutually corrected and the pupil position can be accurately specified. You can.

제어부(500)는, 시선 추적부(400)에서 특정한 동공 위치를 기초로 동공 간 거리(Interpupillary Distance, IPD)를 사용자에 맞추기 위한 IPD 조정 신호를 생성할 수 있다. 여기서, 제어부(500)가 생성하는 IPD 조정 신호는, 모터(620)의 회전 방향 및 회전량 정보를 포함할 수 있다. 즉, 제어부(500)는, IPD 조정부(600)를 구성하는 랙(610)과 모터(620), 한 쌍의 렌즈부(310, 320)의 구체적인 크기와 위치 관계 등을 고려해, 동공 위치에 따라 최적의 IPD로 조정하기 위한 모터(620)의 회전 방향 및 회전량을 산출해 IPD 조정 신호를 생성할 수 있다.The control unit 500 may generate an IPD adjustment signal to adjust the interpupillary distance (IPD) to the user based on a specific pupil position in the eye tracking unit 400. Here, the IPD adjustment signal generated by the control unit 500 may include information on the rotation direction and amount of rotation of the motor 620. That is, the control unit 500 considers the specific size and positional relationship of the rack 610, the motor 620, and the pair of lens units 310 and 320 that constitute the IPD adjustment unit 600, and adjusts the control according to the pupil position. An IPD adjustment signal can be generated by calculating the rotation direction and rotation amount of the motor 620 to adjust to the optimal IPD.

IPD 조정부(600)는, 광학부(300) 위에 설치되며, 제어부(500)로부터 전달받은 IPD 조정 신호에 따라 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리를 조정할 수 있다. 보다 구체적으로, 도 2 및 도 3에 도시된 바와 같이, IPD 조정부(600)는, 한 쌍의 렌즈부에 고정 연결된 한 쌍의 랙(610); 및 한 쌍의 랙(610) 사이에 위치하며, 제어부(500)로부터 전달받은 IPD 조정 신호에 따라 회전하여 한 쌍의 랙(610)을 서로 반대 방향으로 이동시키는 모터(620)를 포함하여 구성될 수 있다. 이때, 한 쌍의 랙(610)은, 제1 렌즈부(310) 및 제2 렌즈부(320)로 구성되는 한 쌍의 렌즈부에 각각 고정 연결된 제1 랙(610a) 및 제2 랙(610b)으로 구성될 수 있다.The IPD adjustment unit 600 is installed on the optical unit 300 and can adjust the inter-pupil distance by simultaneously moving a pair of lens units according to the IPD adjustment signal received from the control unit 500. More specifically, as shown in FIGS. 2 and 3, the IPD adjustment unit 600 includes a pair of racks 610 fixedly connected to a pair of lens units; And a motor 620 located between the pair of racks 610 and rotating according to the IPD adjustment signal received from the control unit 500 to move the pair of racks 610 in opposite directions. You can. At this time, the pair of racks 610 are a first rack 610a and a second rack 610b respectively fixedly connected to a pair of lens units consisting of the first lens unit 310 and the second lens unit 320. ) can be composed of.

도 6은 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)에서, 랙(610)의 세부적인 구성을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)의 랙(610)은, 랙(610)의 일단에 길이 방향으로 긴 형태의 홀(611)이 형성되고, 홀(611) 내부의 길이 방향의 일면에 모터(620)와 맞물리는 톱니(612)가 형성될 수 있다.FIG. 6 is a diagram illustrating the detailed configuration of the rack 610 in the head-worn display device 10 that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention. As shown in FIG. 6, the rack 610 of the head-worn display device 10 that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention has a length at one end of the rack 610. A hole 611 is formed in a long direction, and teeth 612 that engage the motor 620 may be formed on one surface of the hole 611 in the longitudinal direction.

여기서, 랙(610)은 도 2 및 도 3에 도시된 바와 같이, 홀(611)이 형성되지 않은 몸체 부분이 나사 등으로 렌즈부의 위에 고정 결합되며, 홀(611) 부분이 머리 착용형 디스플레이 장치(10)의 제1 렌즈부(310)와 제2 렌즈부(320) 사이 즉, 착용자의 코 위쪽 부위에 위치할 수 있다. 또한, 홀(611)의 크기는, 모터(620)와 연결되어 동작하는 피니언이 삽입되어 결합할 수 있도록 피니언의 지름에 대응되는 폭과, 동공 간 거리 조정에 따라 랙(610)이 움직이는 범위의 길이를 가질 수 있으며, 동공 간 거리 조정 범위에 따라 홀(611)의 길이 방향의 크기를 결정할 수 있다. 제1 랙(610a)과 제2 랙(610b)의 형태는 기본적으로 같을 수 있으며, 홀(611)이나 톱니(612)가 형성된 위치나 방향 등은 필요에 따라 서로 상이할 수 있다.Here, as shown in FIGS. 2 and 3, the rack 610 has a body part in which the hole 611 is not formed is fixedly coupled to the lens unit with a screw or the like, and the hole 611 part is a head-worn display device. It may be located between the first lens unit 310 and the second lens unit 320 of (10), that is, in the area above the wearer's nose. In addition, the size of the hole 611 is the width corresponding to the diameter of the pinion so that the pinion operating in connection with the motor 620 can be inserted and coupled, and the range in which the rack 610 moves according to the distance between the pupils. It can have a length, and the size of the hole 611 in the longitudinal direction can be determined according to the inter-pupil distance adjustment range. The shapes of the first rack 610a and the second rack 610b may be basically the same, and the positions or directions in which the holes 611 or the teeth 612 are formed may be different as needed.

도 7은 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)에서, IPD 조정부(600)의 분해도를 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)에서, 한 쌍의 랙(610)은, 제1 랙(610a)과 제2 랙(610b)의 홀(611)을 통해 모터(620)가 삽입되고, 제1 랙(610a)과 제2 랙(610b)의 홀(611) 내부에 형성된 톱니(612)가 대향하여 모터(620)에 맞물리도록 서로 교차할 수 있다. 즉, 결합 상태에서 제1 랙(610a)의 톱니(612)와 제2 랙(610b)의 톱니(612)가 마주 보도록 하여, 모터(620)의 반대 방향에 각각 맞물리도록 구성함으로써, 모터(620)의 회전 시 제1 랙(610a)과 제2 랙(610b)이 서로 다른 방향으로 이동하도록 할 수 있다.FIG. 7 is an exploded view of the IPD adjustment unit 600 in the head-worn display device 10 that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention. As shown in FIG. 7, in the head-worn display device 10 that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention, a pair of racks 610 include a first rack ( The motor 620 is inserted through the hole 611 of the first rack 610a and the second rack 610b, and the teeth 612 formed inside the hole 611 of the first rack 610a and the second rack 610b are They may cross each other so as to engage with the motor 620. That is, in the coupled state, the teeth 612 of the first rack 610a and the teeth 612 of the second rack 610b are configured to face each other and engage in opposite directions to the motor 620, so that the motor 620 ) When rotating, the first rack 610a and the second rack 610b can be moved in different directions.

도 8은 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)에서, IPD를 길게 조정하는 모습을 도시한 도면이고, 도 9는 본 발명의 일실시예에 따른 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)에서, IPD를 짧게 조정하는 모습을 도시한 도면이다.FIG. 8 is a diagram illustrating the IPD being adjusted for a long time in the head-worn display device 10 that automatically adjusts the inter-pupil distance through eye tracking according to an embodiment of the present invention, and FIG. This diagram illustrates briefly adjusting the IPD in the head-worn display device 10 that automatically adjusts the inter-pupillary distance through eye tracking according to an embodiment.

예를 들어, 도 8에 도시된 바와 같이, IPD 조정 신호에 따라 모터(620)가 반시계방향으로 회전하면, 제1 랙(610a)과 제2 랙(610b)이 바깥쪽(모터(620) 반대쪽, 착용자의 귀 쪽)으로 이동하여, 제1 랙(610a)과 제2 랙(610b)에 각각 고정 결합된 제1 렌즈부(310)와 제2 렌즈부(320)가 동시에 모터(620)에서 먼 방향으로 움직여 동공 간 거리가 멀어지게 된다.For example, as shown in FIG. 8, when the motor 620 rotates counterclockwise according to the IPD adjustment signal, the first rack 610a and the second rack 610b move outward (motor 620). Moving to the opposite side (toward the wearer's ear), the first lens unit 310 and the second lens unit 320, respectively fixedly coupled to the first rack 610a and the second rack 610b, are simultaneously connected to the motor 620. By moving in a direction away from the pupil, the distance between the pupils increases.

또한, 도 9에 도시된 바와 같이, IPD 조정 신호에 따라 모터(620)가 시계방향으로 회전하면, 제1 랙(610a)과 제2 랙(610b)이 안쪽(모터(620) 쪽, 착용자의 코 쪽)으로 이동하여, 제1 랙(610a)과 제2 랙(610b)에 각각 고정 결합된 제1 렌즈부(310)와 제2 렌즈부(320)가 동시에 모터(620)에 가깝게 움직여 동공 간 거리가 가까워지게 된다.In addition, as shown in FIG. 9, when the motor 620 rotates clockwise according to the IPD adjustment signal, the first rack 610a and the second rack 610b are moved inside (towards the motor 620, toward the wearer's side). Moving to the nose side, the first lens unit 310 and the second lens unit 320, respectively fixedly coupled to the first rack 610a and the second rack 610b, simultaneously move close to the motor 620 to open the pupil. The distance between them becomes closer.

센서부(700)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 조도 센서, 화학 센서, 홍채 인식 센서 등을 포함할 수 있다.The sensor unit 700 may include at least one sensor, and may include an illumination sensor, a chemical sensor, an iris recognition sensor, etc.

한편, 실시예에 따라서, 제어부(500)는 IPD 조정 신호 또는 IPD 조정 신호에 따라 조정된 동공 간 거리를 사용자 인증 정보와 매칭해 저장하며, 사용자가 HMD 프레임(100)을 착용하고 사용자 인증을 하면, 사용자 인증 정보와 매칭된 동공 간 거리로 자동으로 조정할 수도 있다. 이때, 사용자 인증은 센서부(700)에 포함된 홍채 인식 센서 등을 사용할 수 있다.Meanwhile, depending on the embodiment, the control unit 500 stores the IPD adjustment signal or the inter-pupil distance adjusted according to the IPD adjustment signal by matching it with user authentication information, and when the user wears the HMD frame 100 and performs user authentication. , It can also be automatically adjusted to the inter-pupil distance matched with user authentication information. At this time, user authentication may use an iris recognition sensor included in the sensor unit 700.

통신부(800)는, HMD 프레임(100)의 일측에 설치되며, 다른 머리 착용형 디스플레이 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(800)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5G(3/4/5th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.The communication unit 800 is installed on one side of the HMD frame 100 and can transmit and receive various signals and data to another head-worn display device 10 or a server. Here, the network used by the communication unit 800 is a wired network or a mobile network such as a Local Area Network (LAN), Wide Area Network (WAN), or Value Added Network (VAN). radio communication network), satellite communication network, Bluetooth, Wibro (Wireless Broadband Internet), HSDPA (High Speed Downlink Packet Access), LTE (Long Term Evolution), 3/4/5G (3/4/5th Generation Mobile Telecommunication) ) can be implemented in all types of wireless networks, such as

전술한 바와 같이, 본 발명에서 제안하고 있는 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치(10)에 따르면, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부(300) 위에 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리를 조정하는 IPD 조정부(600)를 설치하고, 시선 추적부(400)가 사용자의 시선을 추적하여 특정한 동공 위치를 기초로 생성된 IPD 조정 신호에 따라 IPD 조정부(600)를 제어하여, 착용자가 손을 사용하지 않는 핸즈프리 상태에서 동공 간 거리를 자동으로 최적화 조정할 수 있다.As described above, according to the head-worn display device 10 that automatically adjusts the inter-pupil distance through eye tracking proposed in the present invention, the optical unit 300 including a pair of lens units for binocular display is provided. An IPD adjustment unit 600 is installed to adjust the inter-pupil distance by simultaneously moving a pair of lens units, and an IPD adjustment unit 400 tracks the user's gaze and follows the IPD adjustment signal generated based on a specific pupil position. By controlling (600), the inter-pupillary distance can be automatically optimally adjusted in a hands-free state in which the wearer does not use his or her hands.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those skilled in the art, and the scope of the technical idea according to the present invention should be determined by the claims below.

10: 본 발명의 특징에 따른 머리 착용형 디스플레이 장치
100: HMD 프레임
200: 디스플레이부
300: 광학부
310: 제1 렌즈부
320: 제2 렌즈부
400: 시선 추적부
410: 카메라
420: 일루미네이터
500: 제어부
600: IPD 조정부
610: 랙
610a: 제1 랙
610b: 제2 랙
611: 홀
612: 톱니
620: 모터
700: 센서부
800: 통신부10: Head-worn display device according to the features of the present invention
100: HMD frame
200: Display unit
300: Optics unit
310: first lens unit
320: second lens unit
400: Eye tracking unit
410: camera
420: Illuminator
500: Control unit
600: IPD coordination unit
610: rack
610a: first rack
610b: second rack
611: hall
612: sawtooth
620: motor
700: Sensor unit
800: Department of Communications

Claims

A head-worn display device (10), comprising:
An HMD frame 100 that a user can wear on his or her head;
An optical unit 300 disposed in front of both eyes of the user wearing the HMD frame 100 to provide augmented reality by combining real world light and image light, and including a pair of lens units for binocular display;
A pair of display units 200 coupled on top of the pair of lens units to output image light transmitted toward the user's eyes through the lens units so that image information can be provided to the user;
A gaze tracking unit 400 that tracks the user's gaze and specifies the pupil location;
A control unit 500 that generates an IPD adjustment signal to adjust the interpupillary distance (IPD) to the user based on a specific pupil position in the eye tracking unit 400;
an IPD adjustment unit 600 installed on the optical unit 300 and adjusting the inter-pupillary distance by simultaneously moving the pair of lens units according to the IPD adjustment signal received from the control unit 500; and
It includes a sensor unit 700 including an iris recognition sensor,
The eye tracking unit 400,
A plurality of cameras 410 installed around the optical unit 300 to face the user's eyes, with at least two cameras installed for each eye;
A plurality of illuminators 420 installed around the optical unit 300 to point toward the user's eyes and output infrared light in a predetermined grid pattern to the user's eyes; and
It includes a location specification module that specifies the location of the user's pupil using an image including a pattern of eyes and infrared light captured by the camera 410,
The location specific module is,
By combining eye images acquired from two or more cameras 410 at different angles and specifying the pupil position, errors resulting from photographing the eye at a near eye position that does not interfere with the field of view are mutually corrected and the pupil position is accurately specified,
The IPD adjustment unit 600,
A pair of racks 610 fixedly connected to the pair of lens units; and
It is located between the pair of racks 610 and includes a motor 620 that rotates according to the IPD adjustment signal received from the control unit 500 to move the pair of racks 610 in opposite directions. And
The IPD adjustment signal is,
Contains rotation direction and rotation amount information of the motor 620,
The pair of racks 610,
It consists of a first rack 610a and a second rack 610b, each fixedly connected to the pair of lens units consisting of a first lens unit 310 and a second lens unit 320, and the first rack ( A long hole 611 is formed in the longitudinal direction at one end of the second rack 610a) and the second rack 610b, and a tooth 612 that engages the motor 620 is provided on one surface of the hole 611 in the longitudinal direction. is formed,
The size of the hole 611 is a width corresponding to the diameter of the pinion so that the pinion operating in connection with the motor 620 can be inserted and coupled, and the pair of racks 610 are adjusted according to the distance between the pupil. ) has the length of the moving range, and the size of the hole 611 in the longitudinal direction is determined according to the inter-pupillary distance adjustment range,
The control unit 500,
The IPD adjustment signal or the inter-pupil distance adjusted according to the IPD adjustment signal is matched with user authentication information and stored, and the user wears the HMD frame 100 and uses the iris recognition sensor included in the sensor unit 700. A head-worn display device (10) that automatically adjusts the inter-pupillary distance through eye tracking, characterized in that it automatically adjusts the inter-pupillary distance to match the user authentication information upon user authentication.

The method of claim 1, wherein the eye tracking unit 400,
A head-worn display device (10) that automatically adjusts the inter-pupillary distance through eye tracking, and is implemented with an eye tracking camera installed on the HMD frame (100) in the direction of the user's eyes.

The method of claim 2, wherein the eye tracking unit 400,
A head-worn display device (10) that automatically adjusts the inter-pupil distance through eye tracking, characterized in that the eye image acquired from the eye tracking camera is processed with an image processing algorithm to specify the pupil position in real time.

delete