KR20240084036A - 압전 리니어 액추에이터를 사용한 ipd 동시 조절이 가능한 ar 글라스 장치 - Google Patents

압전 리니어 액추에이터를 사용한 ipd 동시 조절이 가능한 ar 글라스 장치 Download PDF

Info

Publication number
KR20240084036A
KR20240084036A KR1020220168429A KR20220168429A KR20240084036A KR 20240084036 A KR20240084036 A KR 20240084036A KR 1020220168429 A KR1020220168429 A KR 1020220168429A KR 20220168429 A KR20220168429 A KR 20220168429A KR 20240084036 A KR20240084036 A KR 20240084036A
Authority
KR
South Korea
Prior art keywords
ipd
pupil
unit
piezoelectric linear
linear actuator
Prior art date
Application number
KR1020220168429A
Other languages
English (en)
Inventor
최치원
함동호
Original Assignee
주식회사 피앤씨솔루션
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Publication of KR20240084036A publication Critical patent/KR20240084036A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

본 발명은 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치에 관한 것으로서, 보다 구체적으로는 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치로서, 사용자 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 디스플레이; 상기 HMD 프레임을 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부; 상기 HMD 프레임을 착용한 착용자의 동공 촬영과 동공의 시선 추적을 통해 착용자의 동공 위치를 특정 하는 시선 추적부; 상기 광학부 위에 설치되며, 압전 리니어 액추에이터 방식으로 제어부의 IPD 조정 신호에 대응하여 구동되어 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Inter Pupillary Distance, IPD)를 조절하는 IPD 조정부; 및 상기 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 착용자에게 맞추기 위한 IPD 조정 신호를 생성하여 상기 IPD 조정부로 출력하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치에 따르면, 사용자 머리에 착용할 수 있는 HMD 프레임과, HMD 프레임을 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 디스플레이와, HMD 프레임을 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부와, HMD 프레임을 착용한 착용자의 동공 촬영과 동공의 시선 추적을 통해 착용자의 동공 위치를 특정 하는 시선 추적부와, 광학부 위에 설치되며, 압전 리니어 액추에이터 방식으로 제어부의 IPD 조정 신호에 대응하여 구동되어 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Inter Pupillary Distance, IPD)를 조절하는 IPD 조정부와, 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 착용자에게 맞추기 위한 IPD 조정 신호를 생성하여 IPD 조정부로 출력하는 제어부를 포함하여 구성함으로써, 착용자가 손을 사용하지 않는 핸즈프리 상태에서 동공 간 거리를 자동으로 조절할 수 있도록 할 수 있다.
또한, 본 발명의 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치에 따르면, 시선 추적부의 RGB 카메라와 아이트래킹 센서 2종으로 착용자의 동공 위치를 특정하고, IPD 조정부의 연결 밴드와 압전 리니어 모터로 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(IPD)를 조정할 수 있도록 함으로써, RGB 카메라와 아이트래킹 센서 2종의 측정으로 동공 위치 특정의 오차범위를 최소화하고, 압전 리니어 액추에이터 방식으로 저소음 저전력으로 구동될 수 있도록 할 수 있다.

Description

압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치{AUGMENTED REALITY GLASS DEVICE CAPABLE OF SIMULTANEOUS INTER PUPILLARY DISTANCE ADJUSTMENT USING PIEZOELECTRIC LINEAR ACTUATOR}
본 발명은 AR(Augmented Reality) 글라스 장치에 관한 것으로서, 보다 구체적으로는 압전 리니어 액추에이터를 사용한 IPD(Inter Pupillary Distance) 동시 조절이 가능한 AR 글라스 장치에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
헤드 마운티드 디스플레이는 단안 렌즈를 구비할 수 있으나, 양안 모두에 영상을 제공하는 양안 렌즈를 구비할 수도 있다. 특히, 양안 모두에 영상을 제공하는 양안 HMD에서, 착용자마다 동공 사이의 거리는 다르므로 동공 간의 거리를 쉽게 조정하여 착용자에게 맞추어야 초점이 잘 맞고 선명한 영상을 경험할 수 있다.
이와 같이, AR 글라스, VR 등 증강현실 또는 가상현실용 HMD 제품들은 동공 간 거리(Inter Pupillary Distance, IPD)가 고정되어 있거나, 동공 간 거리의 조정이 가능하더라도 양안이 동시에 조정되지 않고 한쪽씩 각각 조절되도록 설계되어 있다. 따라서 손에 짐을 들고 있거나 조이스틱 등 제어 장치를 손에 쥐고 있는 경우에는 IPD를 조정하기가 쉽지 않다. 따라서 손을 사용하지 않고도 IPD를 정밀하게 조정할 수 있는 기술의 개발이 필요하다. 대한민국 공개특허공보 제10-2019-0093966호가 선행기술 문헌으로 개시되고 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 사용자 머리에 착용할 수 있는 HMD 프레임과, HMD 프레임을 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 디스플레이와, HMD 프레임을 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부와, HMD 프레임을 착용한 착용자의 동공 촬영과 동공의 시선 추적을 통해 착용자의 동공 위치를 특정 하는 시선 추적부와, 광학부 위에 설치되며, 압전 리니어 액추에이터 방식으로 제어부의 IPD 조정 신호에 대응하여 구동되어 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Inter Pupillary Distance, IPD)를 조절하는 IPD 조정부와, 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 착용자에게 맞추기 위한 IPD 조정 신호를 생성하여 IPD 조정부로 출력하는 제어부를 포함하여 구성함으로써, 착용자가 손을 사용하지 않는 핸즈프리 상태에서 동공 간 거리를 자동으로 조절할 수 있도록 하는, 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 시선 추적부의 RGB 카메라와 아이트래킹 센서 2종으로 착용자의 동공 위치를 특정하고, IPD 조정부의 연결 밴드와 압전 리니어 모터로 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(IPD)를 조정할 수 있도록 함으로써, RGB 카메라와 아이트래킹 센서 2종의 측정으로 동공 위치 특정의 오차범위를 최소화하고, 압전 리니어 액추에이터 방식으로 저소음 저전력으로 구동될 수 있도록 하는, 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치를 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치는,
압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치로서,
사용자 머리에 착용할 수 있는 HMD 프레임;
상기 HMD 프레임을 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 디스플레이;
상기 HMD 프레임을 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부;
상기 HMD 프레임을 착용한 착용자의 동공 촬영과 동공의 시선 추적을 통해 착용자의 동공 위치를 특정 하는 시선 추적부;
상기 광학부 위에 설치되며, 압전 리니어 액추에이터 방식으로 제어부의 IPD 조정 신호에 대응하여 구동되어 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Inter Pupillary Distance, IPD)를 조절하는 IPD 조정부; 및
상기 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 착용자에게 맞추기 위한 IPD 조정 신호를 생성하여 상기 IPD 조정부로 출력하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 시선 추적부는,
상기 HMD 프레임을 착용한 착용자의 눈 방향에 설치되어, 착용자의 동공을 촬영하는 RGB 카메라; 및
상기 HMD 프레임을 착용한 착용자의 눈 방향에 설치되어, 착용자의 동공의 시선을 추적하는 아이트래킹 센서를 포함하여 구성할 수 있다.
더욱 바람직하게는, 상기 시선 추적부는,
상기 RGB 카메라의 촬영된 동공과 상기 아이트래킹 센서의 추적 인식된 동공의 시선을 서로 중첩하여 측정되는 동공 위치의 오차범위가 최소화되도록 기능할 수 있다.
더욱 바람직하게는, 상기 시선 추적부는,
상기 HMD 프레임을 착용한 착용자의 동공 촬영을 위한 RGB 카메라와 착용자의 동공의 시선을 추적하는 아이트래킹 센서가 설치되는 알루미늄 프레임을 더 포함하여 구성하고, 상기 알루미늄 프레임은 RGB 카메라와 아이트래킹 센서의 흔들거림이 최소화되도록 기능할 수 있다.
더욱 더 바람직하게는, 상기 시선 추적부는,
상기 알루미늄 프레임에 설치되어, 어두운 곳에서도 상기 아이트래킹 센서의 아이트래킹 동작이 가능하도록 점등되는 LED를 더 포함하여 구성할 수 있다.
바람직하게는, 상기 IPD 조정부는,
한 쌍의 렌즈부에 연결 고정되는 한 쌍의 연결 밴드; 및
상기 한 쌍의 연결 밴드 사이에 위치하여 연결되며, 상기 제어부의 IPD 조정 신호에 따라 회전하여 상기 한 쌍의 연결 밴드를 서로 반대방향으로 이동시키는 압전 리니어 모터를 포함하여 구성할 수 있다.
더욱 바람직하게는, 상기 한 쌍의 연결 밴드는,
상기 광학부의 한 쌍의 렌즈부와 각각 일체형으로 연결되어 압전 리니어 모터의 구동에 의해 이동하되, 일단에 길이 방향으로 긴 형태의 홀이 형성되고, 홀 내부의 길이 방향의 일면에 압전 리니어 모터와 맞물리는 톱니가 형성된 구조로 구성될 수 있다.
더욱 더 바람직하게는, 상기 압전 리니어 모터는,
상기 제어부의 IPD 조정 신호에 따라 구동하여 상기 한 쌍의 연결 밴드를 서로 반대방향으로 이동시킬 수 있도록 작동되는 압전 리니어 액추에이터로 저전력으로 구동될 수 있다.
본 발명에서 제안하고 있는 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치에 따르면, 사용자 머리에 착용할 수 있는 HMD 프레임과, HMD 프레임을 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 디스플레이와, HMD 프레임을 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부와, HMD 프레임을 착용한 착용자의 동공 촬영과 동공의 시선 추적을 통해 착용자의 동공 위치를 특정 하는 시선 추적부와, 광학부 위에 설치되며, 압전 리니어 액추에이터 방식으로 제어부의 IPD 조정 신호에 대응하여 구동되어 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Inter Pupillary Distance, IPD)를 조절하는 IPD 조정부와, 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 착용자에게 맞추기 위한 IPD 조정 신호를 생성하여 IPD 조정부로 출력하는 제어부를 포함하여 구성함으로써, 착용자가 손을 사용하지 않는 핸즈프리 상태에서 동공 간 거리를 자동으로 조절할 수 있도록 할 수 있다.
또한, 본 발명의 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치에 따르면, 시선 추적부의 RGB 카메라와 아이트래킹 센서 2종으로 착용자의 동공 위치를 특정하고, IPD 조정부의 연결 밴드와 압전 리니어 모터로 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(IPD)를 조정할 수 있도록 함으로써, RGB 카메라와 아이트래킹 센서 2종의 측정으로 동공 위치 특정의 오차범위를 최소화하고, 압전 리니어 액추에이터 방식으로 저소음 저전력으로 구동될 수 있도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치의 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치의 시선 추적부의 구성을 기능블록으로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치의 IPD 조정부의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치의 광학부와 IPD 조정부의 개략적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치의 시선 추적부의 개략적인 구성을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치의 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치의 시선 추적부의 구성을 기능블록으로 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치의 IPD 조정부의 구성을 기능블록으로 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치의 광학부와 IPD 조정부의 개략적인 구성을 도시한 도면이며, 도 5는 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치의 시선 추적부의 개략적인 구성을 도시한 도면이다. 도 1 내지 도 5에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치(100)는, HMD 프레임(110), 디스플레이(120), 광학부(130), 시선 추적부(140), IPD 조정부(150), 및 제어부(160)를 포함하여 구성될 수 있으며, 센서부(170), 및 통신부(180)를 더 포함하여 구성될 수 있다.
HMD 프레임(110)은, 사용자 머리에 착용할 수 있는 구성이다. 이러한 HMD 프레임(110)은 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태, 고글(goggles) 형태 등으로 구성될 수 있다. 여기서, HMD 프레임(110)은 AR 글라스 장치(100)를 착용하면 디스플레이(120)와 광학부(130)가 착용자의 양안 전방에 위치하도록 HMD 프레임(110)에 연결될 수 있다.
디스플레이(120)는, HMD 프레임(110)을 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 구성이다. 이러한 디스플레이(120)는 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력하되, 광학부(130)에 결합해 광학부(130)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이로 구성되며, OLED, LCoS 등 다양하게 구성될 수 있다.
광학부(130)는, HMD 프레임(110)을 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 구성이다. 이러한 광학부(130)는 AR 글라스 장치(100)를 착용한 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이(120)에서 출력되는 영상 광을 착용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학부(130)는 AR 글라스 장치(100)를 착용한 착용자가 증강현실을 경험할 수 있도록 구성될 수 있다. 이러한 광학부(130)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.
시선 추적부(140)는, HMD 프레임(110)을 착용한 착용자의 동공 촬영과 동공의 시선 추적을 통해 착용자의 동공 위치를 특정 하는 구성이다. 이러한 시선 추적부(140)는 도 2 및 도 5에 각각 도시된 바와 같이, HMD 프레임(110)을 착용한 착용자의 눈 방향에 설치되어, 착용자의 동공을 촬영하는 RGB 카메라(141)와, HMD 프레임(110)을 착용한 착용자의 눈 방향에 설치되어, 착용자의 동공의 시선을 추적하는 아이트래킹 센서(142)를 포함하여 구성할 수 있다. 여기서, 시선 추적부(140)는 RGB 카메라(141)와 아이트래킹 센서(142) 2종을 이용해서 오차범위를 최소화할 수 있다. 즉, RGB 카메라(141)로 동공을 촬영하고, 아이트래킹 센서(142)로 동공을 인식 및 촬영하며, 소프트웨어(SW)로 RGB 카메라(141)와 아이트래킹 센서(142)를 이용 후 촬영한 사진을 서로 겹쳐서 사용자의 시선이 정확하게 일치하는지를 검토할 수 있다. 이는 기존에는 아이트래킹 하나로만 시선을 파악하는 것에 비해, RGB 카메라(141)와 아이트래킹 센서(142) 2종을 사용하여 동공의 정확한 위치를 인식할 수 있도록 할 수 있다.
또한, 시선 추적부(140)는 RGB 카메라(141)와 아이트래킹 센서(142)에서 획득한 눈 이미지를 이미지 처리 알고리즘으로 처리하여 동공 위치를 실시간으로 특정할 수 있다. 여기서, 이미지 처리 알고리즘은, 인공지능 기반으로 학습 완료된 시선 추적 모델일 수 있으며, 시선 추적 모델은 CNN, RNN, LSTM RNN, ResNet, MobileNet, 가중 랜덤 포레스트 분류기(WRFR), 캐스케이드 회귀 포레스트(Cascade Regression Forest) 등을 사용해 생성될 수 있다.
또한, 시선 추적부(140)는 RGB 카메라(141)의 촬영된 동공과 아이트래킹 센서(142)의 추적 인식된 동공의 시선을 서로 중첩하여 측정되는 동공 위치의 오차범위가 최소화되도록 기능할 수 있다.
또한, 시선 추적부(140)는 HMD 프레임(110)을 착용한 착용자의 동공 촬영을 위한 RGB 카메라(141)와 착용자의 동공의 시선을 추적하는 아이트래킹 센서(142)가 설치되는 알루미늄 프레임(143)을 더 포함하여 구성하고, 알루미늄 프레임(143)은 RGB 카메라(141)와 아이트래킹 센서(142)의 흔들거림이 최소화되도록 기능할 수 있다. 여기서, 알루미늄 프레임(143)은 도 5에 도시된 바와 같이, 광학부(130)의 외관을 감싸는 구조로 구성될 수 있다.
또한, 시선 추적부(140)는 알루미늄 프레임(143)에 설치되어, 어두운 곳에서도 아이트래킹 센서(142)의 아이트래킹 동작이 가능하도록 점등되는 LED(144)를 더 포함하여 구성할 수 있다. 여기서, LED(144)는 도 5에 도시된 바와 같이, 알루미늄 프레임(143)의 상단, 즉 한 쌍의 렌즈부 상단 각각에 적어도 하나 이상이 배치 구성될 수 있다.
IPD 조정부(150)는, 광학부(130) 위에 설치되며, 압전 리니어 액추에이터 방식으로 제어부(160)의 IPD 조정 신호에 대응하여 구동되어 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Inter Pupillary Distance, IPD)를 조절하는 구성이다. 이러한 IPD 조정부(150)는 도 3 및 도 4에 각각 도시된 바와 같이, 한 쌍의 렌즈부에 연결 고정되는 한 쌍의 연결 밴드(151)와, 한 쌍의 연결 밴드(151) 사이에 위치하여 연결되며, 제어부(160)의 IPD 조정 신호에 따라 회전하여 한 쌍의 연결 밴드(151)를 서로 반대방향으로 이동시키는 압전 리니어 모터(152)를 포함하여 구성할 수 있다.
또한, 한 쌍의 연결 밴드(151)는 광학부(130)의 한 쌍의 렌즈부와 각각 일체형으로 연결되어 압전 리니어 모터(152)의 구동에 의해 이동하되, 일단에 길이 방향으로 긴 형태의 홀이 형성되고, 홀 내부의 길이 방향의 일면에 압전 리니어 모터(152)와 맞물리는 톱니가 형성된 구조로 구성될 수 있다.
또한, 압전 리니어 모터(152)는 제어부(160)의 IPD 조정 신호에 따라 구동하여 한 쌍의 연결 밴드(151)를 서로 반대 방향으로 이동시킬 수 있도록 작동되는 압전 리니어 액추에이터로 저전력으로 구동될 수 있다. 여기서, 압전 리니어 모터(152)는 압전 리니어 액추에이터로서, 진동자와 진동자 위에 결합된 구동축 및 구동축 위에 일정한 예압으로 연결된 이동체로 구성될 수 있다. 이러한 압전 리니어 액추에이터는 진동자에 제어부(160)의 IPD 조정 신호가 인가되면 진동자가 상하로 운동을 하고, 그 상하 운동이 탄성파 형태로 구동축에 전달되고, 구동축에 부착된 이동체가 Slip & Stick 동작을 반복하며 구동축을 따라 이동된다. 한 쌍의 연결 밴드(151)는 구동축을 따라 이동하는 이동체에 기어 방식으로 체결 구성될 수 있다.
또한, IPD 조정부(150)는 연결 밴드(151)와 압전 리니어 모터(152)의 연결 구성으로, 연결 밴드(151)로 한 쌍의 렌즈부와 일체형으로 간단하게 나사로 연결되고, 연결 밴드(151)는 압전 리니어 모터(152)와 연결되어 낮은 전류로 모터를 가동시켜 동시 조절이 가능하도록 할 수 있다. 즉, IPD 조정부(150)는 사용자의 동공 간 거리(IPD)에 맞게 렌즈의 좌우를 조정하고, 압전소자로 저전력으로 회전시켜 조절이 가능하도록 함으로써, 가볍고 저소음으로 부드러운 동작이 가능하도록 할 수 있다.
제어부(160)는, 시선 추적부(140)에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 착용자에게 맞추기 위한 IPD 조정 신호를 생성하여 IPD 조정부(150)로 출력하는 구성이다. 이러한 제어부(160)가 생성하는 IPD 조정 신호는 압전 리니어 모터(152)의 회전 방향 및 회전량 정보를 포함할 수 있다. 즉, 제어부(160)는 IPD 조정부(150)를 구성하는 한 쌍의 연결 밴드(151)와 압전 리니어 모터(152), 한 쌍의 렌즈부의 구체적인 크기와 위치 관계 등을 고려해 동공 위치에 따라 최적의 IPD로 조정하기 위한 압전 리니어 모터(152)의 회전 방향 및 회전량을 산출해 IPD 조정 신호를 생성할 수 있다. 여기서, IPD 조정 신호는 PWM 신호로 구성될 수 있다.
센서부(170)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 GPS 모듈, IMU 센서, 가스 센서, 홍채 인식 센서 등을 포함할 수 있다. 실시 예에 따라서, 제어부(160)는 착용자에 의해 조정된 IPD 정보를 사용자 인증 정보와 매칭해 저장하며, 착용자가 AR 글라스 장치(100)의 광학부(130)를 얼굴에 대고 사용자 인증을 하면, 사용자 인증 정보와 매칭된 IPD 정보를 사용해 저장된 IPD가 되도록 IPD 조정부(150)를 자동으로 제어할 수도 있다. 이때, 사용자 인증은 센서부(170)에 포함된 홍채 인식 센서 등을 사용할 수 있다.
통신부(180)는, AR 글라스 장치(100)의 일 측에 설치되며, 다른 증강현실 글래스 장치나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(180)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
상술한 바와 같이, 본 발명의 일실시예에 따른 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치는, 사용자 머리에 착용할 수 있는 HMD 프레임과, HMD 프레임을 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 디스플레이와, HMD 프레임을 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부와, HMD 프레임을 착용한 착용자의 동공 촬영과 동공의 시선 추적을 통해 착용자의 동공 위치를 특정 하는 시선 추적부와, 광학부 위에 설치되며, 압전 리니어 액추에이터 방식으로 제어부의 IPD 조정 신호에 대응하여 구동되어 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Inter Pupillary Distance, IPD)를 조절하는 IPD 조정부와, 시선 추적부에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 착용자에게 맞추기 위한 IPD 조정 신호를 생성하여 IPD 조정부로 출력하는 제어부를 포함하여 구성함으로써, 착용자가 손을 사용하지 않는 핸즈프리 상태에서 동공 간 거리를 자동으로 조절할 수 있도록 할 수 있으며, 특히, 시선 추적부의 RGB 카메라와 아이트래킹 센서 2종으로 착용자의 동공 위치를 특정하고, IPD 조정부의 연결 밴드와 압전 리니어 모터로 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(IPD)를 조정할 수 있도록 함으로써, RGB 카메라와 아이트래킹 센서 2종의 측정으로 동공 위치 특정의 오차범위를 최소화하고, 압전 리니어 액추에이터 방식으로 저소음 저전력으로 구동될 수 있도록 할 수 있게 된다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 본 발명의 일실시예에 따른 AR 글라스 장치
110: HMD 프레임
120: 디스플레이
130: 광학부
131: 제1 렌즈부
132: 제2 렌즈부
140: 시선 추적부
141: RGB 카메라
142: 아이트래킹 센서
143: 알루미늄 프레임
144: LED
150: IPD 조정부
151: 연결 밴드
152: 압전 리니어 모터
160: 제어부
170: 센서부
180: 통신부

Claims (8)

  1. 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치(100)로서,
    사용자 머리에 착용할 수 있는 HMD 프레임(110);
    상기 HMD 프레임(110)을 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 디스플레이(120);
    상기 HMD 프레임(110)을 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위한 한 쌍의 렌즈부를 포함하는 광학부(130);
    상기 HMD 프레임(110)을 착용한 착용자의 동공 촬영과 동공의 시선 추적을 통해 착용자의 동공 위치를 특정 하는 시선 추적부(140);
    상기 광학부(130) 위에 설치되며, 압전 리니어 액추에이터 방식으로 제어부(160)의 IPD 조정 신호에 대응하여 구동되어 한 쌍의 렌즈부를 동시에 움직여 동공 간 거리(Inter Pupillary Distance, IPD)를 조절하는 IPD 조정부(150); 및
    상기 시선 추적부(140)에서 특정한 동공 위치를 기초로 동공 간 거리(IPD)를 착용자에게 맞추기 위한 IPD 조정 신호를 생성하여 상기 IPD 조정부(150)로 출력하는 제어부(160)를 포함하는 것을 특징으로 하는, 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치.
  2. 제1항에 있어서, 상기 시선 추적부(140)는,
    상기 HMD 프레임(110)을 착용한 착용자의 눈 방향에 설치되어, 착용자의 동공을 촬영하는 RGB 카메라(141); 및
    상기 HMD 프레임(110)을 착용한 착용자의 눈 방향에 설치되어, 착용자의 동공의 시선을 추적하는 아이트래킹 센서(142)를 포함하여 구성하는 것을 특징으로 하는, 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치.
  3. 제2항에 있어서, 상기 시선 추적부(140)는,
    상기 RGB 카메라(141)의 촬영된 동공과 상기 아이트래킹 센서(142)의 추적 인식된 동공의 시선을 서로 중첩하여 측정되는 동공 위치의 오차범위가 최소화되도록 기능하는 것을 특징으로 하는, 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치.
  4. 제2항에 있어서, 상기 시선 추적부(140)는,
    상기 HMD 프레임(110)을 착용한 착용자의 동공 촬영을 위한 RGB 카메라(141)와 착용자의 동공의 시선을 추적하는 아이트래킹 센서(142)가 설치되는 알루미늄 프레임(143)을 더 포함하여 구성하고, 상기 알루미늄 프레임(143)은 RGB 카메라(141)와 아이트래킹 센서(142)의 흔들거림이 최소화되도록 기능하는 것을 특징으로 하는, 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치.
  5. 제4항에 있어서, 상기 시선 추적부(140)는,
    상기 알루미늄 프레임(143)에 설치되어, 어두운 곳에서도 상기 아이트래킹 센서(142)의 아이트래킹 동작이 가능하도록 점등되는 LED(144)를 더 포함하여 구성하는 것을 특징으로 하는, 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 IPD 조정부(150)는,
    한 쌍의 렌즈부에 연결 고정되는 한 쌍의 연결 밴드(151); 및
    상기 한 쌍의 연결 밴드(151) 사이에 위치하여 연결되며, 상기 제어부(160)의 IPD 조정 신호에 따라 회전하여 상기 한 쌍의 연결 밴드(151)를 서로 반대방향으로 이동시키는 압전 리니어 모터(152)를 포함하여 구성하는 것을 특징으로 하는, 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치.
  7. 제6항에 있어서, 상기 한 쌍의 연결 밴드(151)는,
    상기 광학부(130)의 한 쌍의 렌즈부와 각각 일체형으로 연결되어 압전 리니어 모터(152)의 구동에 의해 이동하되, 일단에 길이 방향으로 긴 형태의 홀이 형성되고, 홀 내부의 길이 방향의 일면에 압전 리니어 모터(152)와 맞물리는 톱니가 형성된 구조로 구성되는 것을 특징으로 하는, 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치.
  8. 제7항에 있어서, 상기 압전 리니어 모터(152)는,
    상기 제어부(160)의 IPD 조정 신호에 따라 구동하여 상기 한 쌍의 연결 밴드(151)를 서로 반대방향으로 이동시킬 수 있도록 작동되는 압전 리니어 액추에이터로 저전력으로 구동되는 것을 특징으로 하는, 압전 리니어 액추에이터를 사용한 IPD 동시 조절이 가능한 AR 글라스 장치.
KR1020220168429A 2022-12-06 압전 리니어 액추에이터를 사용한 ipd 동시 조절이 가능한 ar 글라스 장치 KR20240084036A (ko)

Publications (1)

Publication Number Publication Date
KR20240084036A true KR20240084036A (ko) 2024-06-13

Family

ID=

Similar Documents

Publication Publication Date Title
US11644671B2 (en) Large exit pupil wearable near-to-eye vision systems exploiting freeform eyepieces
JP6461425B2 (ja) 映像投影機能付き眼鏡
CN104903818A (zh) 眼睛跟踪佩戴式设备和使用方法
JP4635572B2 (ja) 映像表示装置
TW201905539A (zh) 用於眼鏡之可拆卸地可附接擴增實境系統
KR20240084036A (ko) 압전 리니어 액추에이터를 사용한 ipd 동시 조절이 가능한 ar 글라스 장치
KR102410872B1 (ko) 프로젝터 모드를 포함하는 머리 착용형 디스플레이 장치
KR102619429B1 (ko) 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치
US20190391402A1 (en) Information processing apparatus, information processing method, and program
TW202319810A (zh) 頭戴式裝置之眼睛資料及操作
KR102572591B1 (ko) 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치
KR102260393B1 (ko) 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치
KR102617019B1 (ko) 랙과 피니언 방식으로 양안 렌즈가 동시에 움직여 동공 간 거리를 조정하는 머리 착용형 디스플레이 장치
KR20240020504A (ko) 랙과 피니언을 이용한 아이 릴리프 조절 기능을 갖는 증강현실 글라스 장치
KR20230147488A (ko) 아이트래킹을 이용한 ipd 조절 중 사용자의 초점을 재조정하기 위한 리셋 버튼을 구비하는 머리 착용형 디스플레이 장치
KR102606863B1 (ko) 로터리 댐퍼를 사용해 양안 렌즈를 동시에 움직여 동공 간 거리를 조정하는 머리 착용형 디스플레이 장치
KR20240021630A (ko) 샤프트를 이용한 아이 릴리프 조절 기능을 갖는 증강현실 글라스 장치
KR20230168554A (ko) 제스처를 이용한 화면 밝기 조절 기능을 갖는 ar 글라스 장치
KR102613391B1 (ko) 제스처를 이용해 동공 간 거리를 자동 조절하는 증강현실 글래스 장치 및 증강현실 글래스 장치를 위한 제스처를 이용한 동공 간 거리 자동 조절 방법
KR102543452B1 (ko) 착용자의 시력을 범용적으로 보정하는 증강현실 광학시스템
KR102431165B1 (ko) 반사면이 일정 간격씩 이격된 빔 스플리터 광학계 및 이를 이용한 머리 착용형 디스플레이 장치
KR20240027482A (ko) 허상 거리가 조절되는 증강현실 글래스 장치
KR102572594B1 (ko) 빔 스플리터 기하 광학계 및 이를 포함하는 증강현실 글래스 장치
KR102476727B1 (ko) 착용자의 시력을 보정할 수 있는 증강현실 광학시스템
KR102226639B1 (ko) 복수의 핀 미러가 배치된 광학 장치 및 이를 이용한 머리 착용형 디스플레이 장치