KR20230157085A - 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법 - Google Patents

아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법 Download PDF

Info

Publication number
KR20230157085A
KR20230157085A KR1020220056627A KR20220056627A KR20230157085A KR 20230157085 A KR20230157085 A KR 20230157085A KR 1020220056627 A KR1020220056627 A KR 1020220056627A KR 20220056627 A KR20220056627 A KR 20220056627A KR 20230157085 A KR20230157085 A KR 20230157085A
Authority
KR
South Korea
Prior art keywords
unit
wearer
angle
tilting
eye tracking
Prior art date
Application number
KR1020220056627A
Other languages
English (en)
Inventor
최치원
김가영
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020220056627A priority Critical patent/KR20230157085A/ko
Publication of KR20230157085A publication Critical patent/KR20230157085A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Abstract

본 발명은 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치에 관한 것으로서, 보다 구체적으로는 증강현실 글래스 장치로서, 착용자의 양안의 전방에 배치되고, 디스플레이에서 출력되는 영상 광의 적어도 일부를 착용자의 눈 방향으로 전달하여 상기 착용자에게 증강현실을 제공하는 광학 디스플레이부; 상기 착용자의 머리를 감싸 착용되는 착용부; 상기 광학 디스플레이부와 연결되고, 상기 착용부와 각도 조절이 가능하도록 결합하여, 각도 조절을 통해 상기 광학 디스플레이부를 통한 시야와 나안에 의한 시야를 선택적으로 사용할 수 있도록 하는 틸팅부; 상기 착용자의 동공 위치를 특정해 시선을 추적하는 시선 추적부; 및 상기 틸팅부의 각도가 상기 광학 디스플레이부를 통한 시야를 사용하는 제1 각도에서 나안에 의한 시야가 사용되는 제2 각도로 조절되고, 상기 시선 추적부에서 착용자의 동공 위치가 특정되지 않으면, 상기 광학 디스플레이부의 디스플레이의 작동을 일시 중지하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치의 작동 제어 방법에 관한 것으로서, 보다 구체적으로는 증강현실 글래스 장치의 틸팅 제어 방법으로서, 착용자의 양안의 전방에 배치되고, 디스플레이에서 출력되는 영상 광의 적어도 일부를 착용자의 눈 방향으로 전달하여 상기 착용자에게 증강현실을 제공하는 광학 디스플레이부; 상기 착용자의 머리를 감싸 착용되는 착용부; 상기 광학 디스플레이부와 연결되고, 상기 착용부와 각도 조절이 가능하도록 결합하여, 각도 조절을 통해 상기 광학 디스플레이부를 통한 시야와 나안에 의한 시야를 선택적으로 사용할 수 있도록 하는 틸팅부; 상기 착용자의 동공 위치를 특정해 시선을 추적하는 시선 추적부; 및 상기 틸팅부의 각도가 상기 광학 디스플레이부를 통한 시야를 사용하는 제1 각도와 나안에 의한 시야가 사용되는 제2 각도 사이에서 조절되고, 상기 시선 추적부에서 착용자의 동공 위치가 특정되는지에 따라, 상기 광학 디스플레이부의 디스플레이의 작동을 제어하는 제어부를 포함하는 증강현실 글래스 장치에서 각 단계가 수행되며, (1) 상기 틸팅부의 각도가 상기 제1 각도에서 제2 각도로 조절되고, 상기 시선 추적부에서 착용자의 동공 위치가 특정되지 않으면, 상기 광학 디스플레이부의 디스플레이의 작동을 일시 중지하는 단계; 및 (2) 상기 틸팅부의 각도가 상기 제2 각도에서 제1 각도로 조절되고, 상기 시선 추적부에서 착용자의 동공 위치가 특정되면, 상기 광학 디스플레이부의 디스플레이를 작동하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법에 따르면, 틸팅부의 각도 조절을 통해 나안에 의한 시야를 사용할 때 시선 추적부에서 동공 위치가 특정되지 않는 것을 이용해 디스플레이의 작동을 일시 중지함으로써, 증강현실 글래스 장치 자체의 전원을 종료하거나 프로그램을 종료하지 않고도, 일시적으로 혹은 짧은 시간 동안 자동으로 디스플레이 화면만 오프로 제어하여, 증강현실 글래스 장치의 활용성을 높이고 배터리 사용 시간을 늘릴 수 있다.

Description

아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법{AR GLASSES APPARATUS THAT OPERATES USING EYE TRACKING AND GLASSES TILTING AND OPERATING METHOD THEREOF}
본 발명은 증강현실 글래스 장치 및 그의 작동 제어 방법에 관한 것으로서, 보다 구체적으로는 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
한편, 스마트폰은 일정 시간 사용하지 않으면 디스플레이 화면을 자동으로 꺼서 전력 소모를 줄이고, 의도하지 않은 터치 입력을 막는 등으로 사용 편의성을 높일 수 있다. 그러나 머리에 착용하는 형태의 AR 글래스는 눈에 직접 영상 광을 제공하고 음성이나 제스처 등으로 사용자의 입력 신호를 수신하므로, 사용자가 머리에 착용하고 있는 동안 계속하여 디스플레이가 영상 광을 출력하도록 구성되며, 일시적으로 혹은 짧은 시간의 작동 중지를 위해서도 기기 전원을 끄거나 AR 글래스를 벗어야 하는 번거로움이 있다.
따라서 AR 글래스를 일상생활까지 폭넓게 적용하고, 그 활용성을 높이며, 배터리 사용 시간을 늘리기 위해서, 프로그램을 종료하지 않고 자동으로 디스플레이 화면만 오프로 제어할 수 있는 기능의 개발이 필요하다.
한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2019-0093966호(발명의 명칭: HMD 장치 및 그 동작 방법, 공개일자: 2019년 08월 12일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 틸팅부의 각도 조절을 통해 나안에 의한 시야를 사용할 때 시선 추적부에서 동공 위치가 특정되지 않는 것을 이용해 디스플레이의 작동을 일시 중지함으로써, 증강현실 글래스 장치 자체의 전원을 종료하거나 프로그램을 종료하지 않고도, 일시적으로 혹은 짧은 시간 동안 자동으로 디스플레이 화면만 오프로 제어하여, 증강현실 글래스 장치의 활용성을 높이고 배터리 사용 시간을 늘릴 수 있는, 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치는,
증강현실 글래스 장치로서,
착용자의 양안의 전방에 배치되고, 디스플레이에서 출력되는 영상 광의 적어도 일부를 착용자의 눈 방향으로 전달하여 상기 착용자에게 증강현실을 제공하는 광학 디스플레이부;
상기 착용자의 머리를 감싸 착용되는 착용부;
상기 광학 디스플레이부와 연결되고, 상기 착용부와 각도 조절이 가능하도록 결합하여, 각도 조절을 통해 상기 광학 디스플레이부를 통한 시야와 나안에 의한 시야를 선택적으로 사용할 수 있도록 하는 틸팅부;
상기 착용자의 동공 위치를 특정해 시선을 추적하는 시선 추적부; 및
상기 틸팅부의 각도가 상기 광학 디스플레이부를 통한 시야를 사용하는 제1 각도에서 나안에 의한 시야가 사용되는 제2 각도로 조절되고, 상기 시선 추적부에서 착용자의 동공 위치가 특정되지 않으면, 상기 광학 디스플레이부의 디스플레이의 작동을 일시 중지하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 제어부는,
상기 틸팅부의 각도가 상기 제2 각도에서 상기 제1 각도로 조절되고, 상기 시선 추적부에서 착용자의 동공 위치가 특정되면, 상기 광학 디스플레이부의 디스플레이를 작동할 수 있다.
바람직하게는, 상기 제어부는,
미리 정해진 시간 동안 상기 시선 추적부에서 착용자의 동공 위치가 특정되지 않으면 전원을 오프로 제어할 수 있다.
바람직하게는, 상기 시선 추적부는,
상기 착용자의 눈 방향으로 설치된 아이트래킹 카메라로 구현될 수 있다.
더욱 바람직하게는, 상기 시선 추적부는,
상기 아이트래킹 카메라에서 획득한 눈 이미지를 딥러닝 기반의 이미지 처리 알고리즘으로 처리해, 동공 위치를 실시간으로 특정할 수 있다.
바람직하게는, 상기 시선 추적부는,
상기 광학 디스플레이부의 주변으로 착용자의 눈을 향하도록 설치되는 복수의 카메라;
상기 광학 디스플레이부의 주변으로 착용자의 눈을 향하도록 설치되어, 상기 착용자의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터; 및
상기 카메라에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용해 착용자의 동공 위치를 특정하는 위치 특정 모듈을 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치의 작동 제어 방법은,
증강현실 글래스 장치의 틸팅 제어 방법으로서,
착용자의 양안의 전방에 배치되고, 디스플레이에서 출력되는 영상 광의 적어도 일부를 착용자의 눈 방향으로 전달하여 상기 착용자에게 증강현실을 제공하는 광학 디스플레이부;
상기 착용자의 머리를 감싸 착용되는 착용부;
상기 광학 디스플레이부와 연결되고, 상기 착용부와 각도 조절이 가능하도록 결합하여, 각도 조절을 통해 상기 광학 디스플레이부를 통한 시야와 나안에 의한 시야를 선택적으로 사용할 수 있도록 하는 틸팅부;
상기 착용자의 동공 위치를 특정해 시선을 추적하는 시선 추적부; 및
상기 틸팅부의 각도가 상기 광학 디스플레이부를 통한 시야를 사용하는 제1 각도와 나안에 의한 시야가 사용되는 제2 각도 사이에서 조절되고, 상기 시선 추적부에서 착용자의 동공 위치가 특정되는지에 따라, 상기 광학 디스플레이부의 디스플레이의 작동을 제어하는 제어부를 포함하는 증강현실 글래스 장치에서 각 단계가 수행되며,
(1) 상기 틸팅부의 각도가 상기 제1 각도에서 제2 각도로 조절되고, 상기 시선 추적부에서 착용자의 동공 위치가 특정되지 않으면, 상기 광학 디스플레이부의 디스플레이의 작동을 일시 중지하는 단계; 및
(2) 상기 틸팅부의 각도가 상기 제2 각도에서 제1 각도로 조절되고, 상기 시선 추적부에서 착용자의 동공 위치가 특정되면, 상기 광학 디스플레이부의 디스플레이를 작동하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1) 이후에는,
(3) 미리 정해진 시간 동안 상기 시선 추적부에서 착용자의 동공 위치가 특정되지 않으면 전원을 오프로 제어하는 단계를 더 포함할 수 있다.
본 발명에서 제안하고 있는 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법에 따르면, 틸팅부의 각도 조절을 통해 나안에 의한 시야를 사용할 때 시선 추적부에서 동공 위치가 특정되지 않는 것을 이용해 디스플레이의 작동을 일시 중지함으로써, 증강현실 글래스 장치 자체의 전원을 종료하거나 프로그램을 종료하지 않고도, 일시적으로 혹은 짧은 시간 동안 자동으로 디스플레이 화면만 오프로 제어하여, 증강현실 글래스 장치의 활용성을 높이고 배터리 사용 시간을 늘릴 수 있다.
도 1은 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치의 전체 모습을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치에서, 제1 각도에서 제2 각도로 틸팅되는 모습을 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치에서, 글래스 틸팅에 의해 착용자의 동공 위치 특정 여부가 변경되는 모습을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치에서, 시선 추적부를 예를 들어 도시한 도면.
도 6은 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치에서, 시선 추적부가 동공 위치를 특정하는 모습을 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용한 증강현실 글래스 장치의 작동 제어 방법의 흐름을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용한 증강현실 글래스 장치의 작동 제어 방법을 순서도로 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)의 구성을 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)의 전체 모습을 예를 들어 도시한 도면이다. 도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)는, 광학 디스플레이부(100), 착용부(200), 틸팅부(300), 시선 추적부(400) 및 제어부(500)를 포함하여 구성될 수 있으며, 센서부(600) 및 통신부(700)를 더 포함하여 구성될 수 있다.
도 3은 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)에서, 제1 각도에서 제2 각도로 틸팅되는 모습을 예를 들어 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)에서, 글래스 틸팅에 의해 착용자(20)의 동공 위치 특정 여부가 변경되는 모습을 예를 들어 도시한 도면이다. 도 3 및 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)는, 머리에 착용하여 증강현실을 제공하는 글래스 장치에 관한 것으로서, 착용자(20)는 증강현실 글래스 장치(10)를 착용한 상태에서 틸팅부(300)의 각도를 조절해 광학 디스플레이부(100)를 통해 증강현실을 경험할 수 있는 제1 각도와 틸팅된 상태로 나안을 통해 볼 수 있는 제2 각도를 선택적으로 사용할 수 있다. 이때, 증강현실 글래스 장치(10)의 안쪽에 착용자(20)의 눈 방향으로 구비된 시선 추적부(400)는 착용자(20)의 동공 위치를 계속해서 추적하는데, 도 4의 우측에 도시된 바와 같이 제2 각도에서는 광학 디스플레이부(100)가 틸팅되어 시선 추적부(400)가 동공을 인식할 수 없고, 동공이 인식되지 않으면 제어부(500)가 광학 디스플레이부(100)의 디스플레이(110)를 일시 중지할 수 있다. 즉, 제어부(500)는, 프로그램의 종료나 증강현실 글래스 장치(10)의 전원을 완전히 끄는 것이 아니라 디스플레이(110) 화면만 자동으로 오프(off)로 제어할 수 있다. 따라서, 전력 소모를 줄이고 의도되지 않은 음성이나 제스처의 입력을 막는 등으로 사용 편의성을 높일 수 있다.
또한, 제어부(500)는 디스플레이(110)의 일시 중지와 함께 디스플레이(110)를 통해 출력되는 콘텐츠의 재생도 일시 중지할 수 있다. 틸팅부(300)가 다시 제1 각도가 되고 시선 추적부(400)에 의해 착용자(20)의 동공이 인식되면, 제어부(500)는 디스플레이(110)를 온(on)으로 제어하면서 일시 중지된 콘텐츠를 이어서 재생하여, 착용자(20)가 별도의 조작 없이도 콘텐츠를 연속해 이용할 수 있어서 사용자 편의를 극대화할 수 있다.
이하에서는, 도 1 내지 도 4를 참조하여 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)의 각 구성에 대해 상세히 설명하도록 한다.
광학 디스플레이부(100)는, 착용자(20)의 양안의 전방에 배치되고, 디스플레이(110)에서 출력되는 영상 광의 적어도 일부를 착용자(20)의 눈 방향으로 전달하여 착용자(20)에게 증강현실을 제공할 수 있다. 즉, 광학 디스플레이부(100)는 증강현실 글래스 장치(10)의 AR 또는 XR(eXtended Reality, 확장 현실) 글라스에 해당하는 구성으로서, 도 1에 도시된 바와 같이 디스플레이(110) 및 광학계(120)를 포함하여 구성될 수 있다.
디스플레이(110)는, 영상 정보가 착용자(20)에게 제공될 수 있도록 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이(110)는, 영상 정보가 착용자(20)에게 제공될 수 있도록, 이하에서 상세히 설명할 광학계(120)에 결합해, 광학계(120)에 의해 착용자(20)의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이(110)를 위해 한 쌍의 디스플레이(110)로 구성될 수 있다. 디스플레이(110)는 OLED, LCoS(Liquid Crystal on Silicon) 등 다양하게 구성될 수 있다.
광학계(120)는, 증강현실 글래스 장치(10)를 착용한 착용자(20)의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 보다 구체적으로, 광학계(120)는, 착용자(20)의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이(110)에서 출력되는 영상 광을 착용자(20)의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학계(120)는 증강현실 글래스 장치(10)를 착용한 착용자(20)가 증강현실을 경험할 수 있도록 구성될 수 있다.
또한, 광학계(120)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.
착용부(200)는, 착용자(20)의 머리를 감싸 착용될 수 있다. 보다 구체적으로, 착용부(200)는 광학 디스플레이부(100)에 연결되며 착용자(20)의 머리를 감싸 착용되는 구성으로, 도 2에 도시된 바와 같이 스트랩 형태일 수 있으나, 안경 형태 등 착용자(20)의 머리에 광학 디스플레이부(100)를 착용할 수 있도록 하는 구성이라면 다양한 형태로 구현될 수 있다. 또한, 착용부(200)는 폴리카보네이트(Polycarbonate, PC) 또는 폴리프로필렌(Polypropylene, PP)과 같은 유연한 재질로 제작되어, 착용자(20)의 머리의 크기와 형태에 맞게 감쌀 수 있다.
또한, 도 2에 도시된 바와 같이, 착용부(200)는, 착용자(20)의 머리 양측을 감싸는 메인 스트랩(210), 및 착용자(20)의 이마 쪽과 뒤통수 쪽의 메인 스트랩(210) 사이를 연결하고 착용자(20)의 머리 위쪽을 감싸는 보조 스트랩(220)을 포함하여 구성될 수 있다. 여기서, 메인 스트랩(210)은, 광학 디스플레이부(100)에 연결되고 뒤통수 쪽의 길이 조절용 다이얼에 의해 길이가 조절될 수 있다. 보조 스트랩(220)은 메인 스트랩(210)의 길이 조절 전에도 착용자(20) 머리에 착용할 수 있도록 돕는 보조적인 역할을 할 수 있으며, 보조 스트랩(220) 자체 길이를 조절할 수단을 포함할 수 있다.
또한, 도 2에 도시된 바와 같이, 착용부(200)는, 착용자(20)의 머리에 밀착되어 착용감을 높이기 위한 쿠션부(230)를 더 포함할 수 있다. 쿠션부(230)는, 머리 굴곡에 따라 안쪽으로 휘어진 곡면 형태이고, 메인 스트랩(210)의 길이 조절에 따라 곡면의 휘어진 정도가 변형되어 착용자(20)의 머리에 밀착되는 가변형 구조일 수 있다. 여기서, 쿠션부(230)는, 폴리카보네이트 또는 폴리프로필렌 재질로 구성하여, 재질의 유연한 성질을 통해 착용자(20)의 머리 형상에 따라 변형되어 밀착될 수 있다.
보다 구체적으로, 쿠션부(230)는 착용자(20)의 이마 쪽에 위치하는 전면 쿠션과 뒤통수 쪽에 위치하는 후면 쿠션을 포함하여 구성될 수 있다. 도 2 및 도 4에 도시된 바와 같이, 광학 디스플레이부(100)의 위쪽에서 착용자(20)의 이마에 닿는 부분에 전면 쿠션이 위치하므로, 증강현실 글래스 장치(10)의 무게 중 큰 비중을 차지하는 광학 디스플레이부(100)가 착용자(20)의 머리(20)에 안정적으로 착용되도록 도울 수 있다. 또한, 후면 쿠션은, 메인 스트랩(210)의 길이 방향으로 길며, 양쪽 말단이 둥글게 처리된 형태일 수 있다.
또한, 쿠션부(230)는, 메인 스트랩(210)의 길이 방향과 수직을 이루도록 길게 형성된 복수의 구멍을 포함할 수 있다. 보다 구체적으로, 쿠션부(230)는, 중앙 부분을 중심으로 양쪽으로 대칭을 이루도록 미리 정해진 폭의 구멍이 미리 정해진 간격으로 형성될 수 있다. 여기서, 미리 정해진 폭의 구멍 및 구멍 사이의 살은 쿠션부(230)가 착용자(20)의 두상에 맞추어 유연하게 변형되도록 하고, 통풍을 도울 수 있는 구성에 해당한다. 즉, 메인 스트랩(210)의 길이 조절에 따라 쿠션부(230)에 형성된 구멍의 폭이나 형태가 변형되면서 전면 쿠션과 후면 쿠션의 형태가 착용자(20)의 이마와 뒤통수 형상에 맞게 좀 더 유연하게 변형되어 밀착될 수 있다.
틸팅부(300)는, 광학 디스플레이부(100)와 연결되고, 착용부(200)와 각도 조절이 가능하도록 결합하여, 각도 조절을 통해 광학 디스플레이부(100)를 통한 시야와 나안에 의한 시야를 선택적으로 사용할 수 있도록 하는 구성이다. 즉, 틸팅부(300)는 광학 디스플레이부(100)와 고정 연결되고, 착용부(200)와는 각도 조절이 가능한 방식으로 연결되어, 틸팅부(300)의 각도 조절에 따라 광학 디스플레이부(100)가 틸팅될 수 있다.
보다 구체적으로는, 틸팅부(300)는 도 3에 도시된 바와 같이 제1 각도나 제2 각도로 각도 조절될 수 있다. 여기서, 제1 각도 및 제2 각도는, 착용부(200)의 메인 스트랩(210)에 대한 광학 디스플레이부(100)의 각도로, 제1 각도는 광학 디스플레이부(100)가 착용자(20)의 양안의 전방 위치해 광학 디스플레이부(100)를 통한 시야가 제공되도록 하는 각도이고, 제2 각도는 착용자(20)의 나안을 통한 시야가 확보되도록 광학 디스플레이부(100)가 착용자(20)의 양안의 전방에서 벗어난 위치에 오도록 하는 각도일 수 있다. 즉, 제1 각도보다 제2 각도가 커지도록 틸팅부(300)의 틸팅 정도가 제어될 수 있다.
다만, 틸팅부(300)의 각도는 제1 각도와 제2 각도로만 제어되어야 하는 것은 아니고, 필요에 따라 다양한 각도로 제어될 수 있다. 또한, 틸팅부(300)는 착용자(20)가 직접 틸팅부(300)를 손으로 움직여 각도를 조절할 수 있으나, 제스처, 음성 명령 등을 사용해 모터로 각도를 조절할 수도 있다.
실시예에 따라서, 틸팅부(300)는 착용부(200)와 각도 조절되도록 연결되는 틸팅 고정부(미도시)를 포함하여 구성될 수 있다. 틸팅 고정부는, 힌지 구조를 가지며, 힌지 구조에 의해 틸팅부(300)가 회전하여 착용부(200)의 결합 부분을 기준으로 상하로 각도가 조절될 수 있다. 또한, 틸팅 고정부의 위치와 개수는 다양하게 구현될 수 있다. 예를 들어, 틸팅 고정부가 광학 디스플레이부(100)의 양안 렌즈의 중간에 위치해, 착용자(20)의 이마 가운데 부분에서 착용부(200)와 결합하도록 구성될 수 있으며, 착용자(20)의 이마 양쪽 측면 부분에서 착용부(200)와 틸팅부(300)가 결합하도록 양쪽에 틸팅 고정부가 위치할 수도 있다.
또한, 틸팅부(300)는 제스처, 음성 명령 등을 이용해 자동으로 각도를 조절하기 위해, 틸팅 고정부의 힌지 구조를 회전시키는 모터를 더 포함할 수도 있다. 즉, 착용자(20)의 명령에 따라 제어부(500)가 모터를 제어하며, 모터의 동작에 의해 힌지 구조가 회전해 틸팅부(300)의 각도가 조절될 수 있다. 여기서 모터는 초정밀 모터로 구성해 미세한 조절이 가능하도록 할 수 있다.
시선 추적부(400)는, 착용자(20)의 동공 위치를 특정해 시선을 추적할 수 있다. 보다 구체적으로, 시선 추적부(400)는, 착용자(20)의 눈 방향으로 설치된 아이트래킹 카메라로 구현될 수 있다. 즉, 도 4에 도시된 바와 같이, 광학 디스플레이부(100)의 안쪽에 착용자(20)의 눈을 향하도록 설치된 아이트래킹 센서를 사용해 착용자(20)의 눈동자 위치를 특정하고 추적할 수 있다.
실시예에 따라서, 시선 추적부(400)는, 아이트래킹 카메라에서 획득한 눈 이미지를 딥러닝 기반의 이미지 처리 알고리즘으로 처리해, 동공 위치를 실시간으로 특정할 수 있다. 여기서, 이미지 처리 알고리즘은 인공지능 기반으로 사전 학습된 시선 추적 모델일 수 있으며, 비전 트랜스포머 기반의 시선 추적 모델로 빠르고 정확하게 동공 움직임을 트래킹할 수 있다.
특히, 시선 추적부(400)는 적외선 카메라에서 촬영된 적외선 영상으로부터 착용자(20) 시선을 추적할 수 있다. 적외선 카메라를 사용하면 어두운 환경에서도 효과적으로 동공 추적을 할 수 있다. 또한, 적외선 영상은 단일채널 이미지로, 적외선 영상을 사용해 시선 추적을 하면 이미지 처리에 사용되는 계산 비용을 줄일 수 있으므로, 증강현실 글래스 장치(10)의 임베디드 환경에서도 시선 추적을 효과적으로 수행할 수 있다. 특히, 머리에 착용하는 증강현실 글래스 장치(10)는 무게가 무거우면 목과 어깨에 부담이 되고 머리 움직임이 제한되어 장시간 착용이 어려우므로, 경량화 및 소형화가 중요하다. 따라서 증강현실 글래스 장치(10)에 많은 계산 자원을 탑재할 수 없으므로, 단일채널 이미지인 적외선 영상을 사용해 임베디드 환경에서 사용할 수 있도록 계산 비용을 줄일 수 있다.
한편, 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)의 시선 추적부(400)는, 복수의 카메라와 적외선 광 패턴을 사용하여 보다 정확하게 시선을 추적할 수 있다.
도 5는 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)에서, 시선 추적부(400)를 예를 들어 도시한 도면이다. 시선 추적부(400)는, 광학 디스플레이부(100)의 주변으로 착용자(20)의 눈을 향하도록 설치되는 복수의 카메라(410); 광학 디스플레이부(100)의 주변으로 착용자(20)의 눈을 향하도록 설치되어, 착용자(20)의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터(420); 및 카메라(410)에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용해 착용자(20)의 동공 위치를 특정하는 위치 특정 모듈(미도시)을 포함하여 구성될 수 있다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)에서는, 복수의 카메라(410)와 복수의 일루미네이터(420)를 착용자(20)의 시야를 가리지 않도록 광학 디스플레이부(100)의 주변에서 착용자(20)의 동공을 향하도록 설치하여 시선 추적부(400)를 구성할 수 있다. 특히, 각 눈에 대해 적어도 둘 이상의 카메라(410)를 설치해 복수의 눈 이미지를 조합함으로써, 촬영 각도에 따른 한계를 극복하고 정확하게 동공 위치를 파악할 수 있다.
도 6은 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)에서, 시선 추적부(400)가 동공 위치를 특정하는 모습을 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)의 시선 추적부(400)는, 복수의 일루미네이터(420)가 눈에 영향이 적은 적외선을 이용해 미리 정해진 패턴의 광을 착용자(20)의 눈에 생성할 수 있다. 복수의 카메라(410)는 미리 정해진 패턴의 광이 표시된 착용자(20)의 눈을 고해상도 이미지로 취득할 수 있다. 여기서, 일루미네이터(420)가 생성하는 적외선 광은 도 6에 도시된 격자 형태 외에도 정확한 위치 측정에 도움이 된다면 다양한 형태일 수 있다.
위치 특정 모듈(미도시)은, 미리 정해진 패턴의 적외선 광이 표시된 고해상도 눈 이미지를 사용해 동공 위치를 특정할 수 있다. 이때, 서로 다른 각도에서 둘 이상의 카메라(410)로부터 취득한 눈 이미지를 결합해 동공 위치를 특정함으로써, 시야를 방해하지 않는 근안 위치에서 눈을 촬영함에 따른 오차를 상호 보정하고, 정확하게 동공 위치를 특정할 수 있다.
제어부(500)는, 틸팅부(300)의 각도가 광학 디스플레이부(100)를 통한 시야를 사용하는 제1 각도에서 나안에 의한 시야가 사용되는 제2 각도로 조절되고, 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되지 않으면, 광학 디스플레이부(100)의 디스플레이(110)의 작동을 일시 중지할 수 있다. 또한, 제어부(500)는, 틸팅부(300)의 각도가 제2 각도에서 제1 각도로 조절되고, 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되면, 광학 디스플레이부(100)의 디스플레이(110)를 작동할 수 있다.
즉, 도 4에 도시된 바와 같이, 제1 각도에서 착용자(20)의 동공이 인식되는 동안에는 디스플레이(110)가 온(on) 상태이다가, 틸팅부(300)가 제2 각도로 제어되고 착용자(20)의 동공이 인식되지 않으면, 제어부(500)가 디스플레이(110)를 오프(off) 상태로 일시 중지할 수 있다. 도 4와 반대로, 디스플레이(110)가 일시 중지된 상태에서 제1 각도로 틸팅부(300)의 각도가 조절되고 시선 추적부(400)에서 착용자(20)의 동공이 다시 인식되면, 제어부(500)가 디스플레이(110)를 다시 온(on) 상태로 제어할 수 있다. 이때, 제어부(500)는, 증강현실 글래스 장치(10)의 전원을 종료하거나 동작 중인 프로그램을 종료하는 것이 아니고, 휴대 단말기가 사용하지 않을 때 화면이 꺼지는 것처럼 디스플레이(110)의 작동을 일시 중지하는 것이다. 또한, 제어부(500)는, 디스플레이(110)를 일시 중지할 때 플레이 중인 콘텐츠 등도 일시 중지할 수 있으며, 일시 중지를 풀고 다시 디스플레이(110)를 작동할 때, 일시 중지한 콘텐츠도 정지된 부분부터 재생하여 착용자(20)의 편의를 향상시킬 수 있다.
한편, 제어부(500)는, 미리 정해진 시간 동안 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되지 않으면 전원을 오프로 제어할 수 있다. 즉, 미리 정해진 시간 이상 제2 각도 상태에서 착용자(20)가 계속 나안을 사용하면, 증강현실 글래스 장치(10)의 전원을 종료해 배터리 소모를 줄일 수 있다.
센서부(600)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 홍채 인식 센서 등을 포함할 수 있다. 실시예에 따라서, 제어부(500)는, 전원을 오프로 제어하는 미리 정해진 시간 등을 사용자 인증 정보와 매칭해 저장하며, 착용자(20)가 사용자 인증을 하면, 사용자 인증 정보와 매칭된 정보를 사용해 착용자(20)가 설정한 미리 정해진 시간에 따라 전원이 제어되도록 할 수 있다. 이때, 사용자 인증은 센서부(600)에 포함된 홍채 인식 센서 등을 사용할 수 있다.
통신부(700)는, 증강현실 글래스 장치(10)의 일측에 설치되며, 다른 증강현실 글래스 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(700)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
도 7은 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용한 증강현실 글래스 장치(10)의 작동 제어 방법의 흐름을 도시한 도면이고, 도 8은 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용한 증강현실 글래스 장치(10)의 작동 제어 방법을 순서도로 도시한 도면이다. 도 7 및 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용한 증강현실 글래스 장치(10)의 작동 제어 방법은, 증강현실 글래스 장치(10)에서 각 단계가 수행되며, 틸팅부(300)의 각도가 제1 각도에서 제2 각도로 조절되고, 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되지 않으면, 광학 디스플레이부(100)의 디스플레이(110)의 작동을 일시 중지하는 단계(S100), 틸팅부(300)의 각도가 제2 각도에서 제1 각도로 조절되고, 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되면, 광학 디스플레이부(100)의 디스플레이(110)를 작동하는 단계(S200) 및 미리 정해진 시간 동안 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되지 않으면 전원을 오프로 제어하는 단계(S300)를 포함하여 구현될 수 있다.
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10)와 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
전술한 바와 같이, 본 발명에서 제안하고 있는 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10) 및 그의 작동 제어 방법에 따르면, 틸팅부(300)의 각도 조절을 통해 나안에 의한 시야를 사용할 때 시선 추적부(400)에서 동공 위치가 특정되지 않는 것을 이용해 디스플레이(110)의 작동을 일시 중지함으로써, 증강현실 글래스 장치(10) 자체의 전원을 종료하거나 프로그램을 종료하지 않고도, 일시적으로 혹은 짧은 시간 동안 자동으로 디스플레이(110) 화면만 오프로 제어하여, 증강현실 글래스 장치(10)의 활용성을 높이고 배터리 사용 시간을 늘릴 수 있다.
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 증강현실 글래스 장치
20: 착용자
100: 광학 디스플레이부
110: 디스플레이
120: 광학계
200: 착용부
210: 메인 스트랩
220: 보조 스트랩
230: 쿠션부
300: 틸팅부
400: 시선 추적부
410: 카메라
420: 일루미네이터
500: 제어부
600: 센서부
700: 통신부
S100: 틸팅부의 각도가 제1 각도에서 제2 각도로 조절되고, 시선 추적부에서 착용자의 동공 위치가 특정되지 않으면, 광학 디스플레이부의 디스플레이의 작동을 일시 중지하는 단계
S200: 틸팅부의 각도가 제2 각도에서 제1 각도로 조절되고, 시선 추적부에서 착용자의 동공 위치가 특정되면, 광학 디스플레이부의 디스플레이를 작동하는 단계
S300: 미리 정해진 시간 동안 시선 추적부에서 착용자의 동공 위치가 특정되지 않으면 전원을 오프로 제어하는 단계

Claims (8)

  1. 증강현실 글래스 장치(10)로서,
    착용자(20)의 양안의 전방에 배치되고, 디스플레이(110)에서 출력되는 영상 광의 적어도 일부를 착용자(20)의 눈 방향으로 전달하여 상기 착용자(20)에게 증강현실을 제공하는 광학 디스플레이부(100);
    상기 착용자(20)의 머리를 감싸 착용되는 착용부(200);
    상기 광학 디스플레이부(100)와 연결되고, 상기 착용부(200)와 각도 조절이 가능하도록 결합하여, 각도 조절을 통해 상기 광학 디스플레이부(100)를 통한 시야와 나안에 의한 시야를 선택적으로 사용할 수 있도록 하는 틸팅부(300);
    상기 착용자(20)의 동공 위치를 특정해 시선을 추적하는 시선 추적부(400); 및
    상기 틸팅부(300)의 각도가 상기 광학 디스플레이부(100)를 통한 시야를 사용하는 제1 각도에서 나안에 의한 시야가 사용되는 제2 각도로 조절되고, 상기 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되지 않으면, 상기 광학 디스플레이부(100)의 디스플레이(110)의 작동을 일시 중지하는 제어부(500)를 포함하는 것을 특징으로 하는, 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10).
  2. 제1항에 있어서, 상기 제어부(500)는,
    상기 틸팅부(300)의 각도가 상기 제2 각도에서 상기 제1 각도로 조절되고, 상기 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되면, 상기 광학 디스플레이부(100)의 디스플레이(110)를 작동하는 것을 특징으로 하는, 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10).
  3. 제1항에 있어서, 상기 제어부(500)는,
    미리 정해진 시간 동안 상기 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되지 않으면 전원을 오프로 제어하는 것을 특징으로 하는, 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10).
  4. 제1항에 있어서, 상기 시선 추적부(400)는,
    상기 착용자(20)의 눈 방향으로 설치된 아이트래킹 카메라로 구현되는 것을 특징으로 하는, 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10).
  5. 제4항에 있어서, 상기 시선 추적부(400)는,
    상기 아이트래킹 카메라에서 획득한 눈 이미지를 딥러닝 기반의 이미지 처리 알고리즘으로 처리해, 동공 위치를 실시간으로 특정하는 것을 특징으로 하는, 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10).
  6. 제1항에 있어서, 상기 시선 추적부(400)는,
    상기 광학 디스플레이부(100)의 주변으로 착용자(20)의 눈을 향하도록 설치되는 복수의 카메라(410);
    상기 광학 디스플레이부(100)의 주변으로 착용자(20)의 눈을 향하도록 설치되어, 상기 착용자(20)의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터(420); 및
    상기 카메라(410)에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용해 착용자(20)의 동공 위치를 특정하는 위치 특정 모듈을 포함하는 것을 특징으로 하는, 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치(10).
  7. 증강현실 글래스 장치(10)의 틸팅 제어 방법으로서,
    착용자(20)의 양안의 전방에 배치되고, 디스플레이(110)에서 출력되는 영상 광의 적어도 일부를 착용자(20)의 눈 방향으로 전달하여 상기 착용자(20)에게 증강현실을 제공하는 광학 디스플레이부(100);
    상기 착용자(20)의 머리를 감싸 착용되는 착용부(200);
    상기 광학 디스플레이부(100)와 연결되고, 상기 착용부(200)와 각도 조절이 가능하도록 결합하여, 각도 조절을 통해 상기 광학 디스플레이부(100)를 통한 시야와 나안에 의한 시야를 선택적으로 사용할 수 있도록 하는 틸팅부(300);
    상기 착용자(20)의 동공 위치를 특정해 시선을 추적하는 시선 추적부(400); 및
    상기 틸팅부(300)의 각도가 상기 광학 디스플레이부(100)를 통한 시야를 사용하는 제1 각도와 나안에 의한 시야가 사용되는 제2 각도 사이에서 조절되고, 상기 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되는지에 따라, 상기 광학 디스플레이부(100)의 디스플레이(110)의 작동을 제어하는 제어부(500)를 포함하는 증강현실 글래스 장치(10)에서 각 단계가 수행되며,
    (1) 상기 틸팅부(300)의 각도가 상기 제1 각도에서 제2 각도로 조절되고, 상기 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되지 않으면, 상기 광학 디스플레이부(100)의 디스플레이(110)의 작동을 일시 중지하는 단계; 및
    (2) 상기 틸팅부(300)의 각도가 상기 제2 각도에서 제1 각도로 조절되고, 상기 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되면, 상기 광학 디스플레이부(100)의 디스플레이(110)를 작동하는 단계를 포함하는 것을 특징으로 하는, 아이트래킹 및 글래스 틸팅을 이용한 증강현실 글래스 장치(10)의 작동 제어 방법.
  8. 제7항에 있어서, 상기 단계 (1) 이후에는,
    (3) 미리 정해진 시간 동안 상기 시선 추적부(400)에서 착용자(20)의 동공 위치가 특정되지 않으면 전원을 오프로 제어하는 단계를 더 포함하는 것을 특징으로 하는, 아이트래킹 및 글래스 틸팅을 이용한 증강현실 글래스 장치(10)의 작동 제어 방법.
KR1020220056627A 2022-05-09 2022-05-09 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법 KR20230157085A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220056627A KR20230157085A (ko) 2022-05-09 2022-05-09 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220056627A KR20230157085A (ko) 2022-05-09 2022-05-09 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법

Publications (1)

Publication Number Publication Date
KR20230157085A true KR20230157085A (ko) 2023-11-16

Family

ID=88964714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220056627A KR20230157085A (ko) 2022-05-09 2022-05-09 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법

Country Status (1)

Country Link
KR (1) KR20230157085A (ko)

Similar Documents

Publication Publication Date Title
US10261542B1 (en) Distributed augmented reality system
US20180365492A1 (en) Methods and systems for wearable computing device
US9766482B2 (en) Wearable device with input and output structures
US9316836B2 (en) Wearable device with input and output structures
TWI607240B (zh) 具有輸入及輸出功能之眼鏡鏡架
CN202758142U (zh) 头戴式装置
KR101977433B1 (ko) 입력 및 출력 구조들을 구비한 웨어러블 디바이스
KR20150110299A (ko) 웨어러블 디바이스 및 그 동작 방법
KR20230157085A (ko) 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법
KR102613391B1 (ko) 제스처를 이용해 동공 간 거리를 자동 조절하는 증강현실 글래스 장치 및 증강현실 글래스 장치를 위한 제스처를 이용한 동공 간 거리 자동 조절 방법
KR102260393B1 (ko) 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치
KR20230109228A (ko) 음성 인식을 이용해 틸팅 제어되는 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치를 위한 음성 인식을 이용한 틸팅 제어 방법
KR20230108551A (ko) 제스처를 이용해 글래스가 틸팅 제어되는 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치를 위한 제스처를 이용한 틸팅 제어 방법
KR102617019B1 (ko) 랙과 피니언 방식으로 양안 렌즈가 동시에 움직여 동공 간 거리를 조정하는 머리 착용형 디스플레이 장치
KR102619431B1 (ko) 초정밀 모터와 거리 측정 센서를 이용해 자동으로 사이즈가 조절되는 머리 착용형 디스플레이 장치
KR102633495B1 (ko) 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치
KR102619429B1 (ko) 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치
KR102564380B1 (ko) 스트랩 조절용 저소음 기어가 장착된 머리 착용형 디스플레이 장치
KR20230138129A (ko) 음성 인식을 이용한 스트랩 사이즈 자동 조절 기능을 갖는 증강현실 글래스 장치 및 증강현실 글래스 장치를 위한 음성 인식을 이용한 스트랩 사이즈 자동 조절 방법
KR20230085777A (ko) 제스처를 이용한 스트랩 사이즈 자동 조절 기능을 갖는 증강현실 글래스 장치 및 증강현실 글래스 장치를 위한 제스처를 이용한 스트랩 사이즈 자동 조절 방법
KR20230130481A (ko) 음성 인식을 이용해 동공 간 거리를 조절하는 증강현실 글래스 장치 및 증강현실 글래스 장치를 위한 음성 인식 기반의 동공 간 거리 조절 방법
KR20240039971A (ko) 뇌파를 이용해 제어되는 증강현실 글래스 장치 및 뇌파를 이용한 증강현실 글래스 장치의 제어 방법
KR20240027482A (ko) 허상 거리가 조절되는 증강현실 글래스 장치
KR20230168554A (ko) 제스처를 이용한 화면 밝기 조절 기능을 갖는 ar 글라스 장치
KR20230168555A (ko) 조도 센서와 음성 인식을 이용한 화면 밝기 조절 기능을 갖는 ar 글라스 장치