KR102573067B1 - 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치 - Google Patents

Abstract

본 발명은 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치에 관한 것으로서, 보다 구체적으로는 증강현실 글래스 장치로서, 착용자의 양안의 전방에 배치되며, 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학 디스플레이부; 상기 착용자의 동공 위치를 특정해 동공의 움직임을 추적하고 동공의 크기 변화를 판별하는 아이트래킹부; 주변의 조도 변화를 센싱하는 조도 센서부; 상기 아이트래킹부에서 추적되는 동공의 움직임 및 판별되는 동공의 크기 변화 결과를 사용해 위급상황 여부를 판단하는 위급상황 판단부; 및 상기 위급상황 판단부의 판단 결과에 따라 주변 및 긴급연락처로 알리도록 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치에 따르면, 주변의 조도 변화를 센싱할 수 있는 조도 센서와 착용자의 동공 움직임을 추적하고 동공의 크기 변화를 판별하는 아이트래킹부를 이용하여, 착용자의 상태를 분석하고 위급상황으로 판단될 경우 주변 및 긴급연락처로 알릴 수 있도록 제어함으로써, 증강현실 글래스 장치를 착용한 착용자의 안면이 가려져 있어서 착용자의 상태를 직접 파악하기 어려운 상황에서 착용자의 눈을 쉽게 관찰할 수 있는 증강현실 글래스 장치의 특성을 활용해, 착용자의 상태를 빠르게 파악하고 위급상황에 대처할 수 있도록 한다.
또한, 본 발명에 따르면, 아이트래킹부에서 별도의 조명 모듈을 이용하지 않더라도, 조도 센서를 이용하여 주변의 조도 변화를 통해 동공 반응 분석이 가능하도록 함으로써, 아이트래킹부를 위한 별도의 조명 모듈이 없거나 혹은 해당 조명 모듈이 동작하지 않을 때도 동공 반응 분석을 통해 착용자의 상태를 빠르게 파악하고 위급상황에 대처할 수 있도록 한다.
뿐만 아니라, 본 발명에 따르면, 아이트래킹부에서 별도의 조명 모듈을 이용하여 동공 반응을 분석하려는 순간에 주변의 조도 변화가 발생할 경우, 해당 동공 반응이 조명 모듈에 의한 것인지 주변의 조도 변화에 의한 것인지 판단할 수 있어서 더욱 정확한 동공 반응 분석을 가능하도록 한다.

Description

아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치{AN AUGMENTED REALITY GLASSES DEVICE THAT CAN ANALYZE THE WEARER’S CONDITION USING AN EYE-TRACKING CAMERA AND AN ILLUMINANCE SENSOR}

본 발명은 증강현실 글래스 장치에 관한 것으로서, 보다 구체적으로는 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 일실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.

최근 증강현실용 HMD의 개발과 보급이 이루어짐에 따라 다양한 용도로 증강현실용 HMD가 사용되고 있으며, 특히 산업 현장이나 군사 훈련 등에 적용되어 협업이 필요한 상황이나 위험 상황 등에서 다양한 정보를 제공하고 공유할 수 있는 장치로 활용되고 있다. 이러한 산업 현장이나 군사 훈련 시에는 여러 위험한 상황이 발생할 수 있고, 위급상황에 적절히 대처할 수 있는 기술이 필요하다. 특히, 증강현실 글래스 장치를 착용할 경우 착용자의 동공을 포함한 안면이 가려져 있어서 착용자의 상태를 파악하는 데 어려움이 있기에 이러한 문제는 더욱 중요할 수 있다.

한편, 동공(pupil)은 홍채의 중심에 위치한 원 모양의 빈 공간으로서, 이 부분을 통해 외부의 빛이 망막까지 전해진다. 동공의 주된 기능은, 시각인지를 최대화하기 위하여 망막으로 도달되는 빛의 양을 조절하고 초점의 심도를 높여 색수차 및 구면수차를 줄이는 것이다. 즉, 어두운 곳에 있으면 많은 빛을 감지할 수 있도록 동공이 커지게 되고, 밝은 곳에 있으면 망막에 도달하는 빛의 양을 줄여 보다 선명한 상이 나타나도록 동공의 크기가 줄어들게 된다. 또한, 감정의 변화에 의해서도 동공의 크기가 변하는데, 공포, 놀람, 고통 등에 의해서 동공의 크기가 커진다.

이러한 동공의 반응을 조사함으로써 조사자의 상태를 예측할 수 있는데, 예컨대 빛에 반응하여 수축하는 대신에, 빛에 무반응하는 경우 뇌부종이나 경천막 뇌탈출 징후라고 예측할 수 있고, 서서히 수축하는 경우 백내장 초기증상, 중추신경계(CNS) 질환, Barbiturate계 약물의 부작용을 예측할 수 있으며, 동공의 동요, 즉 동공이 커졌다가 작아졌다 하면 심한 뇌허혈, 경천막 뇌탈출을 예측할 수 있다.

전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지 기술이라 할 수는 없다.

한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2019-0093966호(발명의 명칭: HMD 장치 및 그 동작 방법, 공개일자: 2019년 08월 12일) 등이 개시된 바 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 주변의 조도 변화를 센싱할 수 있는 조도 센서부와 착용자의 동공 움직임을 추적하고 동공의 크기 변화를 판별하는 아이트래킹부를 이용하여, 착용자의 상태를 분석하고 위급상황으로 판단될 경우 주변 및 긴급연락처로 알릴 수 있도록 제어함으로써, 증강현실 글래스 장치를 착용한 착용자의 안면이 가려져 있어서 착용자의 상태를 직접 파악하기 어려운 상황에서 착용자의 눈을 쉽게 관찰할 수 있는 증강현실 글래스 장치의 특성을 활용해, 착용자의 상태를 빠르게 파악하고 위급상황에 대처할 수 있도록 하는, 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치를 제공하는 것을 그 목적으로 한다.

또한, 본 발명은, 아이트래킹부에서 별도의 조명 모듈을 이용하지 않더라도, 조도 센서부를 이용하여 주변의 조도 변화를 통해 동공 반응 분석이 가능하도록 함으로써, 아이트래킹부를 위한 별도의 조명 모듈이 없거나 혹은 해당 조명 모듈이 동작하지 않을 때도 동공 반응 분석을 통해 착용자의 상태를 빠르게 파악하고 위급상황에 대처할 수 있도록 하는, 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치를 제공하는 것을 그 목적으로 한다.

뿐만 아니라, 본 발명은, 아이트래킹부에서 별도의 조명 모듈을 이용하여 동공 반응을 분석하려는 순간에 주변의 조도 변화가 발생할 경우, 해당 동공 반응이 조명 모듈에 의한 것인지 주변의 조도 변화에 의한 것인지 판단할 수 있어서 더욱 정확한 동공 반응 분석을 가능하도록 하는, 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치를 제공하는 것을 그 목적으로 한다.

다만, 본 발명이 이루고자 하는 기술적 과제는 상기한 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치는,

증강현실 글래스 장치로서,

착용자의 양안의 전방에 배치되며, 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학 디스플레이부;

상기 착용자의 동공 위치를 특정해 동공의 움직임을 추적하고 동공의 크기 변화를 판별하는 아이트래킹부;

주변의 조도 변화를 센싱하는 조도 센서부;

상기 아이트래킹부에서 추적되는 동공의 움직임 및 판별되는 동공의 크기 변화 결과를 사용해 위급상황 여부를 판단하는 위급상황 판단부; 및

상기 위급상황 판단부의 판단 결과에 따라 주변 및 긴급연락처로 알리도록 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 위급상황 판단부는,

상기 조도 센서부에서 센싱된 주변의 조도 변화 값과 상기 아이트래킹부에서 판별된 동공의 크기 변화 값의 관계에서 상기 착용자의 위급상황 여부를 판단할 수 있다.

더욱 바람직하게는, 상기 위급상황 판단부는,

상기 조도 센서부에서 센싱된 주변의 조도 변화 값이 미리 지정된 제1 임계값 이상이고, 상기 아이트래킹부에서 판별된 동공의 크기 변화 값이 미리 지정된 제2 임계값 이하인 경우이거나,

상기 조도 센서부에서 센싱된 주변의 조도 변화 값이 미리 지정된 제3 임계값 이하이고, 상기 아이트래킹부에서 판별된 동공의 크기 변화 값이 미리 지정된 제4 임계값 이상인 경우, 위급상황으로 판단할 수 있다.

더욱 바람직하게는, 상기 위급상황 판단부는,

미리 지정된 제5 임계값의 시간 동안, 상기 아이트래킹부에서 추적된 동공의 움직임 변화 값이 미리 지정된 제6 임계값 이하이거나, 판별된 동공의 크기 변화 값이 미리 지정된 제7 임계값 이하인 경우, 위급상황으로 판단할 수 있다.

바람직하게는, 상기 제어부는,

상기 위급상황 판단부에서 위급상황으로 판단한 경우, 빛이나 소리에 의해 주변에 알리고, 미리 지정된 긴급연락처로 비상상황을 연락할 수 있다.

바람직하게는, 상기 제어부는,

상기 긴급연락처로 연락 시 상기 증강현실 글래스 장치의 위치 정보를 전달할 수 있다.

바람직하게는, 상기 아이트래킹부는,

상기 착용자의 눈 방향으로 설치된 아이트래킹 카메라로 구현되며, 상기 아이트래킹 카메라에서 획득한 눈 이미지를 딥러닝 기반의 이미지 처리 알고리즘으로 처리해, 동공 위치 및 크기를 실시간으로 특정할 수 있다.

더욱 바람직하게는, 상기 아이트래킹부는,

상기 광학 디스플레이부의 주변으로 착용자의 눈을 향하도록 설치되는 복수의 카메라;

상기 광학 디스플레이부의 주변으로 착용자의 눈을 향하도록 설치되어, 상기 착용자의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터; 및

상기 카메라에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용해 착용자의 동공 위치 및 크기를 특정하는 위치 및 크기 특정 모듈을 포함할 수 있다.

본 발명에서 제안하고 있는 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치에 따르면, 주변의 조도 변화를 센싱할 수 있는 조도 센서부와 착용자의 동공 움직임을 추적하고 동공의 크기 변화를 판별하는 아이트래킹부를 이용하여, 착용자의 상태를 분석하고 위급상황으로 판단될 경우 주변 및 긴급연락처로 알릴 수 있도록 제어함으로써, 증강현실 글래스 장치를 착용한 착용자의 안면이 가려져 있어서 착용자의 상태를 직접 파악하기 어려운 상황에서 착용자의 눈을 쉽게 관찰할 수 있는 증강현실 글래스 장치의 특성을 활용해, 착용자의 상태를 빠르게 파악하고 위급상황에 대처할 수 있도록 한다.

또한, 본 발명에 따르면, 아이트래킹부에서 별도의 조명 모듈을 이용하지 않더라도, 조도 센서부를 이용하여 주변의 조도 변화를 통해 동공 반응 분석이 가능하도록 함으로써, 아이트래킹부를 위한 별도의 조명 모듈이 없거나 혹은 해당 조명 모듈이 동작하지 않을 때도 동공 반응 분석을 통해 착용자의 상태를 빠르게 파악하고 위급상황에 대처할 수 있도록 한다.

뿐만 아니라, 본 발명에 따르면, 아이트래킹부에서 별도의 조명 모듈을 이용하여 동공 반응을 분석하려는 순간에 주변의 조도 변화가 발생할 경우, 해당 동공 반응이 조명 모듈에 의한 것인지 주변의 조도 변화에 의한 것인지 판단할 수 있어서 더욱 정확한 동공 반응 분석을 가능하도록 한다.

도 1은 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치의 사시 모습을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치의 전면 내측을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치를 착용자가 착용했을 때의 모습을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치에서, 아이트래킹부를 예를 들어 도시한 도면.
도 6은 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치에서, 아이트래킹부가 동공 위치를 특정하는 모습을 예를 들어 도시한 도면.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.

도 1은 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)는, 광학 디스플레이부(200), 아이트래킹부(400), 조도 센서부(500), 위급상황 판단부(600) 및 제어부(700)를 포함하여 구성될 수 있으며, HMD 프레임(100), 착용부(300), 추가 센서부(800) 및 통신부(900)를 더 포함하여 구성될 수 있다.

도 2는 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)의 사시 모습을 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)의 전면 내측을 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)를 착용자가 착용했을 때의 모습을 도시한 도면이다. 이하에서는, 도 1 내지 도 4를 참조하여, 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)의 각 구성에 대해 상세히 설명하도록 한다.

HMD 프레임(100)은, 사용자가 머리에 착용할 수 있는 프레임 구성으로 광학 디스플레이부(200)를 고정할 수 있다. 즉, HMD 프레임(100)은 광학 디스플레이부(200)를 고정해, 증강현실 글래스 장치(10)의 착용 시 착용자의 양안 전방에 한 쌍의 광학 디스플레이부(200)가 위치하도록 할 수 있다. 또한, HMD 프레임(100) 내부에는 위급상황 판단부(600), 제어부(700), 센서부(800), 통신부(900) 등이 내장될 수 있다.

보다 구체적으로, HMD 프레임(100)은 광학 디스플레이부(200)와 연결되고, 추후 상세히 설명할 착용부(300)의 스트랩 모듈(310)과 각도 조절이 가능하도록 결합할 수 있다. 이때, HMD 프레임(100)의 각도 조절을 통해 광학 디스플레이부(200)를 통한 시야와 나안에 의한 시야를 선택적으로 사용할 수 있도록, HMD 프레임(100)이 틸팅 제어될 수 있다. 즉, HMD 프레임(100)은 광학 디스플레이부(200)와 고정 연결되고, 착용부(300)는 각도 조절이 가능한 방식으로 연결되어, HMD 프레임(100)을 틸팅 제어함에 따라 광학 디스플레이부(200)가 함께 틸팅되어, HMD 프레임(100)을 올린 상태에서는 착용자가 나안을 사용하게 되고, HMD 프레임(100)을 내린 상태에서는 착용자가 광학 디스플레이부(200)를 통한 증강현실을 이용할 수 있다.

광학 디스플레이부(200)는, 착용자의 양안의 전방에 배치되며, 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 즉, 광학 디스플레이부(200)는, HMD 프레임(100)을 착용한 착용자의 양안의 전방에 배치되며, 증강현실 글래스 장치(10)의 AR 또는 XR(eXtended Reality, 확장 현실) 글라스에 해당하는 구성으로서, 도 1에 도시된 바와 같이 디스플레이(210) 및 광학계(220)를 포함하여 구성될 수 있다.

디스플레이(210)는, 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이(210)는, 영상 정보가 착용자에게 제공될 수 있도록, 이하에서 상세히 설명할 광학계(220)에 결합해, 광학계(220)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이(210)로 구성될 수 있다. 디스플레이(210)는 OLED, LCoS(Liquid Crystal on Silicon) 등 다양하게 구성될 수 있다.

광학계(220)는, 증강현실 글래스 장치(10)를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 보다 구체적으로, 광학계(220)는, 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이(210)에서 출력되는 영상 광의 적어도 일부를 착용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학계(220)는 증강현실 글래스 장치(10)를 착용한 착용자가 증강현실을 경험할 수 있도록 구성될 수 있다.

또한, 광학계(220)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 도파관 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.

착용부(300)는, 착용자의 머리를 감싸 착용될 수 있다. 보다 구체적으로, 착용부(300)는 HMD 프레임(100)에 연결되며 착용자의 머리를 감싸 착용되는 구성으로, 도 2에 도시된 바와 같이 스트랩 형태일 수 있으나, 안경 형태 등 착용자의 머리에 광학 디스플레이부(200)를 착용할 수 있도록 하는 구성이라면 다양한 형태로 구현될 수 있다. 또한, 착용부(300)는 폴리카보네이트(Polycarbonate, PC) 또는 폴리프로필렌(Polypropylene, PP)과 같은 유연한 재질로 제작되어, 착용자의 머리의 크기와 형태에 맞게 감쌀 수 있다.

또한, 착용부(300)는, HMD 프레임(100)에 연결되며 착용자의 머리 양측을 감싸는 스트랩부(310)를 포함할 수 있다. 여기서, 스트랩부(310)는 HMD 프레임(100)에 연결되고 뒤통수 쪽에 내장된 길이 조절용 다이얼에 의해 길이가 조절될 수 있다. 또한, 스트랩부(310)는 착용자의 머리 양측을 감싸는 메인 스트랩 외에 착용자의 이마 쪽과 뒤통수 쪽을 연결하고 착용자의 머리 위쪽을 감싸는 보조 스트랩(미도시)을 더 포함하여 구성될 수 있다. 보조 스트랩(미도시)은 머리 양측을 감싸는 메인 스트랩의 길이 조절 전에도 착용자 머리에 착용할 수 있도록 돕는 보조적인 역할을 할 수 있으며, 보조 스트랩(미도시) 자체 길이를 조절할 수단을 포함할 수 있다.

또한, 착용부(300)는, 착용자의 뒤통수 쪽에서 머리에 밀착되고, 머리 굴곡에 따라 안쪽으로 휘어진 곡면 형태의 후면 쿠션(320)을 포함하여 구성될 수 있다. 또한, 도 2에 도시된 바와 같이, 착용부(300)는 착용자의 뒤통수 쪽에 있는 후면 쿠션(320) 외에도 착용자의 이마 쪽에 위치하며 머리 굴곡에 따라 안쪽으로 휘어진 곡면 형태의 전면 쿠션(330)을 더 포함하여 구성될 수 있다. HMD 프레임(100)의 위쪽에서 착용자의 이마에 닿는 부분에 전면 쿠션(330)을 연결하여, 증강현실 글래스 장치(10)의 무게 중 큰 비중을 차지하는 광학 디스플레이부(200)가 착용자의 머리에 안정적으로 착용되도록 도울 수 있다.

후면 쿠션(320) 및 전면 쿠션(330)은 착용자의 머리에 밀착되어 착용감을 높이기 위한 구성으로, 스트랩 모듈(310)의 길이 조절에 따라 곡면의 휘어진 정도가 변형되어 착용자의 머리에 밀착되는 가변형 구조일 수 있다. 여기서, 후면 쿠션(320) 및 전면 쿠션(330)은, 폴리카보네이트 또는 폴리프로필렌 재질로 구성하여, 재질의 유연한 성질을 통해 착용자의 머리 형상에 따라 변형되어 밀착될 수 있다.

아이트래킹부(400)는, 착용자의 동공 위치를 특정해 동공의 움직임을 추적하고, 동공의 크기 변화를 판별하는 역할을 한다. 보다 구체적으로, 아이트래킹부(400)는, 착용자의 눈 방향으로 설치된 아이트래킹 카메라로 구현될 수 있다. 즉, 도 3 및 도 4에 도시된 바와 같이, 광학 디스플레이부(200)의 안쪽에 착용자의 눈을 향하도록 설치된 아이트래킹 센서를 사용해 착용자의 눈동자 위치를 특정하고 추적할 수 있으며, 동공의 크기 변화를 판별할 수 있다.

실시예에 따라서, 아이트래킹부(400)는, 아이트래킹 카메라에서 획득한 눈 이미지를 딥러닝 기반의 이미지 처리 알고리즘으로 처리해, 동공 위치 및 크기를 실시간으로 특정할 수 있다. 여기서, 이미지 처리 알고리즘은 인공지능 기반으로 사전 학습된 동공 추적 모델일 수 있으며, 비전 트랜스포머 기반의 동공 추적 모델로 빠르고 정확하게 동공 움직임을 트래킹할 수 있다.

특히, 아이트래킹부(400)는 적외선 카메라에서 촬영된 적외선 영상으로부터 착용자 시선을 추적할 수 있다. 적외선 카메라를 사용하면 어두운 환경에서도 효과적으로 동공 추적을 할 수 있다. 또한, 적외선 영상은 단일채널 이미지로, 적외선 영상을 사용해 동공을 추적하면 이미지 처리에 사용되는 계산 비용을 줄일 수 있으므로, 증강현실 글래스 장치(10)의 임베디드 환경에서도 동공 추적을 효과적으로 수행할 수 있다. 특히, 머리에 착용하는 증강현실 글래스 장치(10)는 무게가 무거우면 목과 어깨에 부담이 되고 머리 움직임이 제한되어 장시간 착용이 어려우므로, 경량화 및 소형화가 중요하다. 따라서 증강현실 글래스 장치(10)에 많은 계산 자원을 탑재할 수 없으므로, 단일채널 이미지인 적외선 영상을 사용해 임베디드 환경에서 사용할 수 있도록 계산 비용을 줄일 수 있다.

한편, 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)의 아이트래킹부(400)는, 복수의 카메라(410)와 적외선 광 패턴을 사용하여 보다 정확하게 시선을 추적할 수 있다.

도 5는 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)에서, 아이트래킹부(400)를 예를 들어 도시한 도면이다. 아이트래킹부(400)는, 광학 디스플레이부(200)의 주변으로 착용자의 눈을 향하도록 설치되는 복수의 카메라(410); 광학 디스플레이부(200)의 주변으로 착용자의 눈을 향하도록 설치되어, 착용자의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터(420); 및 카메라(410)에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용해 착용자의 동공 위치 및 크기를 특정하는 위치 및 크기 특정 모듈(미도시)을 포함하여 구성될 수 있다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)에서는, 복수의 카메라(410)와 복수의 일루미네이터(420)를 착용자의 시야를 가리지 않도록 광학 디스플레이부(200)의 주변에서 착용자의 동공을 향하도록 설치하여 아이트래킹부(400)를 구성할 수 있다. 특히, 각 눈에 대해 적어도 둘 이상의 카메라(410)를 설치해 복수의 눈 이미지를 조합함으로써, 근거리의 촬영 각도에 따른 한계를 극복하고 정확하게 동공 위치 및 크기를 파악할 수 있다.

도 6은 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)에서, 아이트래킹부(400)가 동공 위치 및 크기를 특정하는 모습을 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)의 아이트래킹부(400)는, 복수의 일루미네이터(420)가 눈에 영향이 적은 적외선을 이용해 미리 정해진 패턴의 광을 착용자의 눈에 생성할 수 있다. 복수의 카메라(410)는 미리 정해진 패턴의 광이 표시된 착용자의 눈을 고해상도 이미지로 취득할 수 있다. 여기서, 일루미네이터(420)가 생성하는 적외선 광은 도 6에 도시된 격자 형태 외에도 정확한 위치 측정에 도움이 된다면 다양한 형태일 수 있다.

위치 및 크기 특정 모듈(미도시)은, 미리 정해진 패턴의 적외선 광이 표시된 고해상도 눈 이미지를 사용해 동공 위치 및 크기를 특정할 수 있다. 이때, 서로 다른 각도에서 둘 이상의 카메라(410)로부터 취득한 눈 이미지를 결합해 동공 위치 및 크기를 특정함으로써, 시야를 방해하지 않는 근안 위치에서 눈을 촬영함에 따른 오차를 상호 보정하고, 정확하게 동공 위치 및 크기를 특정할 수 있다.

조도 센서부(500)는, 증강현실 글래스 장치(10)의 일측에 부착되어 착용자 주변의 조도 변화를 센싱하는 역할을 한다. 보다 구체적으로, 조도 센서부(500)는, 착용자 주변의 조도 변화에 따른 동공의 확장 및 축소를 측정하여 동공 반응을 검사할 수 있도록, 주변의 조도 변화를 센싱할 수 있다.

도 2 및 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)의 조도 센서부(500)는, 착용자 주위의 조도 변화를 센싱할 수 있도록 착용부(300)의 일측에 부착될 수 있다. 다만, 조도 센서부(500)의 부착 위치가 도 2 및 도 4에 도시된 위치로 제한되는 것은 아니며, 착용자 주위의 조도 변화를 센싱하는 목적을 달성할 수만 있다면, 착용부(300)의 다른 위치 또는 광학 디스플레이부(200)의 임의의 위치에 부착되어도 무방하다. 다만, 조도 센서부(500)의 역할이 주변의 조도 변화, 즉 착용자의 눈으로 들어가는 빛의 양의 증감을 센싱한다는 목적을 고려할 때, 도 2 및 도 4에 도시된 바와 같이 조도 센서부(500)는 착용자의 눈 방향과 일치하는 방향으로 부착되는 것이 바람직하다.

동공 반응 검사는 뇌 손상 여부를 파악할 수 있는 기초적인 검사로, 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)는, 아이트래킹부(400)와 조도 센서부(500)로부터 입력받은 정보를 가지고, 일종의 동공 반응 검사를 수행함으로써 위급상황 판단부(600)에서 착용자의 위급한 정도를 파악해 대응할 수 있다.

위급상황 판단부(600)는, 아이트래킹부(400)에서 추적되는 동공의 움직임 및 판별되는 동공의 크기 변화 결과를 사용해 위급상황을 판단할 수 있다. 보다 구체적으로는, 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)의 위급상황 판단부(600)는, 아이트래킹부(400)와 조도센서부(500)로부터 입력받은 정보를 바탕으로 위급상황 여부를 판단하게 된다. 즉, 위급상황 판단부(600)는 조도 센서부(500)에서 센싱된 주변의 조도 변화 값과 아이트래킹부(400)에서 판별된 동공의 크기 변화 값의 관계에서 착용자의 위급상황 여부를 판단할 수 있다. 보다 구체적인 판단 기준은 아래에서 조건 별로 상세히 설명하기로 한다.

첫 번째 조건으로서, 조도 센서부(500)에서 센싱된 주변의 조도 변화 값이 미리 지정된 제1 임계값 이상이고, 아이트래킹부(400)에서 판별된 동공의 크기 변화 값이 미리 지정된 제2 임계값 이하인 경우, 착용자의 상태가 위급상황이라고 판단할 수 있다. 이 조건은, 주변의 조도 변화가 있음에도 동공 크기의 변화가 없는 경우를 의미한다. 정상적인 상태에서는 밝은 조건에서 어두운 조건으로 바뀌면 동공이 커지며, 반대로 어두운 조건에서 밝은 조건으로 바뀌면 동공이 작아지는데, 이러한 변화가 없다는 것으로부터 착용자의 상태가 정상이 아니라고 추정할 수 있다. 이때, 미리 지정된 제1 임계값과 제2 임계값은 실험을 통해 얻어진 최적의 값으로 기본 설정될 수 있으며, 착용자에 맞춘 최적의 값으로 변경될 수 있다.

두 번째 조건으로서, 조도 센서부에서 센싱된 주변의 조도 변화 값이 미리 지정된 제3 임계값 이하이고, 상기 아이트래킹부에서 판별된 동공의 크기 변화 값이 미리 지정된 제4 임계값 이상인 경우, 착용자의 상태가 위급상황이라고 판단할 수 있다. 이 조건은, 주변의 조도 변화가 없음에도 동공 크기의 변화가 있는 경우를 의미한다. 정상적인 상태에서는 주변의 조도 변화가 없다면 동공의 크기도 크게 변화가 없어야 하는데, 변화가 일정 크기 이상으로 있다는 것으로부터 착용자의 상태가 정상이 아니라고 추정할 수 있다. 이때, 미리 지정된 제3 임계값과 제4 임계값은 실험을 통해 얻어진 최적의 값으로 기본 설정될 수 있으며, 착용자에 맞춘 최적의 값으로 변경될 수 있다.

세 번째 조건으로서, 미리 지정된 제5 임계값의 시간 동안, 아이트래킹부에서 추적된 동공의 움직임 변화 값이 미리 지정된 제6 임계값 이하이거나, 판별된 동공의 크기 변화 값이 미리 지정된 제7 임계값 이하인 경우, 착용자의 상태가 위급상황이라고 판단할 수 있다. 이 조건은, 동공의 움직임이나 크기가 장기간 변화하지 않는 경우를 의미한다. 정상적인 상태에서는 사람이 아무리 집중하고 있다고 하더라도 주변 환경의 변화와 관계없이 동공의 움직임이나 크기가 긴 시간 동안 계속 변화하지 않고 있기는 어렵다. 따라서, 일정 시간 이상 동공 크기의 변화가 계속하여 없다는 것으로부터 착용자의 상태가 정상이 아니라고 추정할 수 있다. 이때, 미리 지정된 제5 임계값, 제6 임계값 및 제7 임계값은 실험을 통해 얻어진 최적의 값으로 기본 설정될 수 있으며, 착용자에 맞춘 최적의 값으로 변경될 수 있다.

실시예에 따라서는, 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)의 위급상황 판단부(600)는, 다음과 같은 기준으로 위급상황 여부를 판단할 수도 있다. 정상적인 사람의 동공 지름은 밝은 조건(명반응) 시 2~5㎜, 어두운 조건(암반응) 시 5~9㎜의 값을 가진다. 동공 지름의 변화가 없으면 동공 변화가 없는 것이고, 밝은 조건(명반응) 시 동공 지름이 6㎜를 초과하면 이상 반응이 있는 것으로 파악할 수 있다. 따라서, 위급상황 판단부(600)는, 아이트래킹부(400) 및 조도 센서부(500)로부터 입력받은 정보로부터, 동공 반응이 전혀 없거나 동공 지름이 6㎜를 초과하는 것으로 판단되면 자동으로 위급상황으로 판단할 수 있다.

실시예에 따라서는, 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)의 위급상황 판단부(600)는, 조도 센서부(500)와 아이트래킹부(400)로부터 입력받은 정보로부터 위급상황이라고 판단되는 경우 바로 위급상황이라고 최종 판단하는 것이 아니라, 광학 디스플레이부(200)의 주변으로 착용자의 눈을 향하도록 설치되어 착용자의 눈에 광을 조사하는 별도의 조명 모듈(도시되지 않음)을 통해 동공 반사를 유도해 동공 반응이 있는지 여부를 다시 한번 확인 후 최종적인 위급상황 여부를 판단할 수도 있다.

제어부(700)는, 본 발명의 일실시예에 따른 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)의 전반적인 제어를 담당할 뿐만 아니라, 특히 위급상황 판단부(600)의 판단 결과에 따라 주변 및 긴급연락처로 알리도록 제어할 수 있다. 이때, 주변에 알리는 방식으로는 LED 점멸 방식과 같이 빛을 이용하거나, 알람 방식과 같이 소리를 이용할 수 있다. 긴급연락처는, 112, 119 등일 수 있으며, 관리본부, 가족 등의 연락처일 수도 있다. 실시예에 따라서, 제어부(700)는 위급상황으로 판단 시 바로 주변 및 긴급연락처로 알리는 것이 아니라, 광학 디스플레이부(200)를 통해 위급상황이 맞는지 착용자의 확인을 요청한 후, 미리 지정된 시간 동안 응답이 없을 경우 위급상황이라고 최종 판단하고 주변 및 긴급연락처로 알리도록 구현될 수도 있다. 또한, 제어부(700)는, 긴급연락처로 연락 시 증강현실 글래스 장치(10)의 위치 정보를 전달하여 위급상황 신고를 받은 긴급연락처에서 자동으로 착용자의 위치를 파악하고, 즉각적인 조처를 취할 수 있도록 할 수 있다.

한편, 제어부(700)는, 증강현실 글래스 장치(10) 자체에서 사용할 수 있는 전화망, 인터넷망 등의 통신망을 사용해 긴급연락처로 연락할 수 있으나, 블루투스 등 근거리 무선통신 등으로 연결된 휴대 단말기의 통화 기능을 사용해 긴급연락처로 연락할 수도 있다.

추가 센서부(800)는, 조도 센서부(500)에서 사용되는 조도 센서 이외에 적어도 하나 이상의 센서를 더 포함할 수 있으며, 보다 구체적으로 GPS 모듈, IMU 센서, 가스 센서, 홍채 인식 센서 등을 더 포함할 수 있다. 실시예에 따라서, 위급상황 판단부(600)는, IMU 센서를 사용해 착용자의 자세를 추정하고 착용자가 쓰러진 상태인지 등을 파악해 위급상황 판단에 참고할 수 있다. 즉, 아이트래킹부(400)에서 추적되는 동공의 움직임 및 판별되는 동공의 크기 변화 결과 외에 착용자의 자세를 더 이용해 정확하게 위급상황을 판단할 수 있다. 또한, 위급상황 판단부(600)는, 가스 센서의 센싱 결과를 사용해 착용자 주변에 독성 가스가 있는지 이산화탄소 농도가 높은지 등을 파악하고, 가스 센서의 센싱 결과와 동공의 움직임 및 크기 변화 등을 종합해 위급상황을 판단할 수 있다.

통신부(900)는, 증강현실 글래스 장치(10)의 일측에 설치되며, 다른 증강현실 글래스 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있으며, 긴급연락처로 연락 시에도 통신부(900)를 사용할 수 있다. 여기서, 통신부(900)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

전술한 바와 같이, 본 발명에서 제안하고 있는 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10)에 따르면, 주변의 조도 상황의 변화를 센싱할 수 있는 조도 센서부(500)와 착용자의 동공 움직임을 추적하고 동공의 크기 변화를 판별하는 아이트래킹부(400)를 이용하여, 착용자의 상태를 분석하고 위급상황으로 판단될 경우 주변 및 긴급연락처로 알릴 수 있도록 제어함으로써, 증강현실 글래스 장치를 착용한 착용자의 안면이 가려져 있어서 착용자의 상태를 직접 파악하기 어려운 상황에서 착용자의 눈을 쉽게 관찰할 수 있는 증강현실 글래스 장치의 특성을 활용해, 착용자의 상태를 빠르게 파악하고 위급상황에 대처할 수 있도록 한다. 또한, 아이트래킹부(400)에서 별도의 조명 모듈을 이용하지 않더라도, 조도 센서부(500)를 이용하여 주변의 조도 변화를 통해 동공 반응 분석이 가능하도록 함으로써, 아이트래킹부(400)를 위한 별도의 조명 모듈이 없거나 혹은 해당 조명 모듈이 동작하지 않을 때도 동공 반응 분석을 통해 착용자의 상태를 빠르게 파악하고 위급상황에 대처할 수 있도록 한다. 뿐만 아니라, 아이트래킹부(400)에서 별도의 조명 모듈을 이용하여 동공 반응을 분석하려는 순간에 주변의 조도 변화가 발생할 경우, 해당 동공 반응이 조명 모듈에 의한 것인지 주변의 조도 변화에 의한 것인지 판단할 수 있어서 더욱 정확한 동공 반응 분석을 가능하도록 한다.

한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 증강현실 글래스 장치
100: HMD 프레임
200: 광학 디스플레이부
210: 디스플레이
220: 광학계
300: 착용부
310: 스트랩 모듈
320: 후면 쿠션
330: 전면 쿠션
400: 아이트래킹부
410: 카메라
420: 일루미네이터
500: 조도 센서부
600: 위급상황 판단부
700: 제어부
800: 추가 센서부
900: 통신부

Claims (8)

1. 증강현실 글래스 장치(10)로서,
   사용자가 머리에 착용할 수 있는 HMD 프레임(100);
   착용자의 양안의 전방에 배치되며, 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학 디스플레이부(200);
   착용자의 머리를 감싸 착용되는 착용부(300);
   상기 착용자의 동공 위치를 특정해 동공의 움직임을 추적하고 동공의 크기 변화를 판별하는 아이트래킹부(400);
   주변의 조도 변화를 센싱하는 조도 센서부(500);
   상기 아이트래킹부(400)에서 추적되는 동공의 움직임 및 판별되는 동공의 크기 변화 결과를 사용해 위급상황 여부를 판단하는 위급상황 판단부(600); 및
   상기 위급상황 판단부(600)의 판단 결과에 따라 주변 및 긴급연락처로 알리도록 제어하는 제어부(700)를 포함하며,
   상기 착용부(300)는,
   상기 HMD 프레임(100)에 연결되며 착용자의 머리 양측을 감싸는 스트랩부(310);
   착용자의 뒤통수 쪽에서 머리에 밀착되고, 머리 굴곡에 따라 안쪽으로 휘어진 곡면 형태이며, 상기 스트랩부(310)의 길이 조절에 따라 곡면의 휘어진 정도가 변형되어 착용자의 머리에 밀착되는 가변형 구조의 후면 쿠션(320); 및
   착용자의 이마 쪽에 위치하며 머리 굴곡에 따라 안쪽으로 휘어진 곡면 형태이며, 상기 스트랩부(310)의 길이 조절에 따라 곡면의 휘어진 정도가 변형되어 착용자의 머리에 밀착되는 가변형 구조의 전면 쿠션(330)을 포함하며,
   상기 HMD 프레임(100)은,
   상기 광학 디스플레이부(200)와 고정 연결되고, 상기 착용부(300)의 스트랩부(310)와 각도 조절이 가능하도록 연결되어, 상기 HMD 프레임(100)을 올린 상태에서는 착용자가 나안을 사용하게 되고, 상기 HMD 프레임(100)을 내린 상태에서는 착용자가 상기 광학 디스플레이부(200)를 통한 증강현실을 이용할 수 있어서, 각도 조절을 통해 상기 광학 디스플레이부(200)를 통한 시야와 나안에 의한 시야를 선택적으로 사용할 수 있도록 틸팅 제어되며,
   상기 아이트래킹부(400)는,
   상기 광학 디스플레이부(200)의 주변으로 착용자의 눈을 향하도록 설치되는 복수의 카메라(410);
   상기 광학 디스플레이부(200)의 주변으로 착용자의 눈을 향하도록 설치되어, 상기 착용자의 눈에 격자 형태의 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터(420); 및
   상기 카메라에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용해 착용자의 동공 위치 및 크기를 특정하되, 상기 복수의 카메라(410)가 서로 다른 각도에서 취득한 눈 이미지를 결합해 동공 위치 및 크기를 특정하여 시야를 방해하지 않는 근안 위치에서 눈을 촬영함에 따른 오차를 상호 보정하여 동공 위치 및 크기를 특정하는 위치 및 크기 특정 모듈을 포함하며,
   상기 위급상황 판단부(600)는,
   상기 조도 센서부(500)에서 센싱된 주변의 조도 변화 값과 상기 아이트래킹부(400)에서 판별된 동공의 크기 변화 값의 관계에서 상기 착용자의 위급상황 여부를 판단하되,
   상기 조도 센서부(500)에서 센싱된 주변의 조도 변화 값이 미리 지정된 제1 임계값 이상이고, 상기 아이트래킹부(400)에서 판별된 동공 크기의 변화 값이 미리 지정된 제2 임계값 이하인 경우로, 주변의 조도 변화가 있음에도 불구하고 동공 크기의 변화가 없는 경우인 제1 조건 만족 시 위급상황으로 판단하고,
   상기 조도 센서부(500)에서 센싱된 주변의 조도 변화 값이 미리 지정된 제3 임계값 이하이고, 상기 아이트래킹부(400)에서 판별된 동공 크기의 변화 값이 미리 지정된 제4 임계값 이상인 경우로, 주변의 조도 변화가 없음에도 동공 크기의 변화가 있는 경우인 제2 조건 만족 시 위급상황으로 판단하고,
   미리 지정된 제5 임계값의 시간 동안, 상기 아이트래킹부(400)에서 추적된 동공 움직임의 변화 값이 미리 지정된 제6 임계값 이하이거나, 판별된 동공 크기의 변화 값이 미리 지정된 제7 임계값 이하인 경우로, 동공의 움직임이나 크기가 장기간 변화하지 않는 제3 조건 만족 시 위급상황으로 판단하며,
   상기 제어부(700)는,
   상기 위급상황 판단부(600)에서 위급상황으로 판단한 경우, 빛이나 소리에 의해 주변에 알리고, 미리 지정된 긴급연락처로 비상상황을 연락하며, 상기 긴급연락처로 연락 시 상기 증강현실 글래스 장치(10)의 위치 정보를 전달하는 것을 특징으로 하는, 아이트래킹 카메라와 조도 센서를 이용하여 착용자의 상태를 분석할 수 있는 증강현실 글래스 장치(10).
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제

Images