KR102284464B1 - Uwb와 imu 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치 - Google Patents

Uwb와 imu 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치 Download PDF

Info

Publication number
KR102284464B1
KR102284464B1 KR1020200115729A KR20200115729A KR102284464B1 KR 102284464 B1 KR102284464 B1 KR 102284464B1 KR 1020200115729 A KR1020200115729 A KR 1020200115729A KR 20200115729 A KR20200115729 A KR 20200115729A KR 102284464 B1 KR102284464 B1 KR 102284464B1
Authority
KR
South Korea
Prior art keywords
user
uwb
unit
augmented reality
location
Prior art date
Application number
KR1020200115729A
Other languages
English (en)
Inventor
최치원
김정환
서준영
권영주
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020200115729A priority Critical patent/KR102284464B1/ko
Application granted granted Critical
Publication of KR102284464B1 publication Critical patent/KR102284464B1/ko
Priority to PCT/KR2021/012172 priority patent/WO2022055233A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Professional, Industrial, Or Sporting Protective Garments (AREA)
  • Woven Fabrics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

본 발명은 UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치에 관한 것으로서, 보다 구체적으로는 착용형 증강현실 장치로서, 사용자가 머리나 두부에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임의 일 측에 설치되는 IMU 센서 및 UWB 기반의 위치 추적을 위해 설치된 복수의 앵커(Anchor)와 통신하는 UWB 태그를 포함하여 구성되는 센서부; 및 상기 센서부에서 수집되는 데이터를 이용해 사용자의 위치를 추정하는 위치 추정부를 포함하며, 상기 위치 추정부는, 상기 IMU 센서에서 수집되는 측정 데이터에 기초하여, 상기 HMD 프레임을 착용한 사용자의 움직임 정보를 연산하는 제1 연산부; 상기 UWB 태그에서 상기 복수의 앵커와 통신하여 수집한 거리값을 이용해 UWB 기반으로, 상기 HMD 프레임을 착용한 사용자의 위치 정보를 연산하는 제2 연산부; 상기 제1 연산부에서 연산한 움직임 정보에 따른 위치 변화량이 미리 정해진 범위 내인지 판단하는 판단부; 상기 판단부의 판단 결과 상기 위치 변화량이 미리 정해진 범위 내이면, 상기 제1 연산부에서 연산한 움직임 정보를 이용해 사용자 위치를 추정하는 제1 위치 추정부; 및 상기 판단부의 판단 결과 상기 위치 변화량이 미리 정해진 범위를 벗어나면, 상기 제1 연산부에서 연산한 움직임 정보 및 상기 제2 연산부에서 연산한 사용자의 위치 정보를 결합하여 상기 사용자 위치를 추정하는 제2 위치 추정부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치에 따르면, UWB 기반의 위치 추적과 IMU 센서를 이용한 위치 추적을 결합하여 착용형 증강현실 장치를 착용한 사용자의 위치를 정확하게 추정하되, IMU 센서의 측정 데이터에 기초하여 사용자의 움직임이 미리 정해진 범위 내이면 UWB 기반의 위치 추적을 고려하지 않고 IMU 센서의 움직임 정보만을 이용해 사용자 위치를 추정함으로써, 작은 움직임 변화에 따른 위치 변화도 정확하게 추정할 수 있다.

Description

UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치{WEARABLE AUGMENTED REALITY DEVICE WITH LOCATION TRACKING FUNCTION USING UWB AND IMU SENSOR}
본 발명은 착용형 증강현실 장치에 관한 것으로서, 보다 구체적으로는 UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용 되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
이와 같은 헤드 마운티드 디스플레이 장치에 있어서, 사용자와의 효과적인 상호작용을 위해 각종 센서를 부착하기도 한다. 그 중에서 위치 정보는 헤드 마운티드 디스플레이 장치를 착용한 사용자의 위치를 파악하고, 이에 따라 다양한 기능을 제공하기 위해 활용되는 정보로서, GPS 위성에서 보내는 신호를 수신해 사용자의 현재 위치를 계산하는 위성항법시스템(Global Positioning System, GPS)이 주로 사용된다. 그러나 GPS 위치 정보는 실내나 지하 등 GPS 위성 신호의 수신이 제한되는 상황에서는 사용할 수 없는 한계가 있다.
스마트폰 등 이동통신망을 사용하는 휴대 단말기에서는 GPS 사용이 어려울 때 이동통신사 기지국을 사용하기도 하지만, 오차 범위가 넓어서 사용에 제한이 많을 뿐 아니라, 헤드 마운티드 디스플레이 장치가 이동통신망을 사용하지 않을 때는 적용하기 어려운 한계가 있다.
특히, 헤드 마운티드 디스플레이 장치는, 증강현실 제공을 위해 정확한 위치 확인이 매우 중요하며, 화재, 산업시설의 유지보수 등 각종 위험 상황에도 활용될 수 있으므로 실내나 지하에서도 정확하게 위치를 확인하고, 위치에 따라 필요한 정보를 제공할 수 있어야 한다. 따라서 GPS 사용이 어려운 환경에서도 헤드 마운티드 디스플레이 장치의 위치를 정확하게 파악할 수 있는 기술의 개발이 필요한 실정이다.
한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-2073723호(발명의 명칭: 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치, 등록일자: 2020년 01월 30일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, UWB 기반의 위치 추적과 IMU 센서를 이용한 위치 추적을 결합하여 착용형 증강현실 장치를 착용한 사용자의 위치를 정확하게 추정하되, IMU 센서의 측정 데이터에 기초하여 사용자의 움직임이 미리 정해진 범위 내이면 UWB 기반의 위치 추적을 고려하지 않고 IMU 센서의 움직임 정보만을 이용해 사용자 위치를 추정함으로써, 작은 움직임 변화에 따른 위치 변화도 정확하게 추정할 수 있는, UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치는,
착용형 증강현실 장치로서,
사용자가 머리나 두부에 착용할 수 있는 HMD 프레임;
상기 HMD 프레임의 일 측에 설치되는 IMU 센서 및 UWB 기반의 위치 추적을 위해 설치된 복수의 앵커(Anchor)와 통신하는 UWB 태그를 포함하여 구성되는 센서부; 및
상기 센서부에서 수집되는 데이터를 이용해 사용자의 위치를 추정하는 위치 추정부를 포함하며,
상기 위치 추정부는,
상기 IMU 센서에서 수집되는 측정 데이터에 기초하여, 상기 HMD 프레임을 착용한 사용자의 움직임 정보를 연산하는 제1 연산부;
상기 UWB 태그에서 상기 복수의 앵커와 통신하여 수집한 거리값을 이용해 UWB 기반으로, 상기 HMD 프레임을 착용한 사용자의 위치 정보를 연산하는 제2 연산부;
상기 제1 연산부에서 연산한 움직임 정보에 따른 위치 변화량이 미리 정해진 범위 내인지 판단하는 판단부;
상기 판단부의 판단 결과 상기 위치 변화량이 미리 정해진 범위 내이면, 상기 제1 연산부에서 연산한 움직임 정보를 이용해 사용자 위치를 추정하는 제1 위치 추정부; 및
상기 판단부의 판단 결과 상기 위치 변화량이 미리 정해진 범위를 벗어나면, 상기 제1 연산부에서 연산한 움직임 정보 및 상기 제2 연산부에서 연산한 사용자의 위치 정보를 결합하여 상기 사용자 위치를 추정하는 제2 위치 추정부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 제1 연산부는,
칼만 필터를 이용해 상기 IMU 센서로부터 수집되는 측정 데이터로부터 노이즈를 제거할 수 있다.
바람직하게는, 상기 제2 연산부는,
적어도 3개 이상의 상기 앵커를 이용하며, 상기 UWB 태그가 상기 3개 이상의 앵커와 통신하여 획득한 거리값을 이용해 사용자 위치를 추정할 수 있다.
더욱 바람직하게는, 상기 제2 연산부는,
OWR(One-Way Ranging) 또는 TWR(Two-Way Ranging) 방식으로 상기 UWB 태그와 상기 앵커와의 거리값을 연산할 수 있다.
바람직하게는, 상기 제2 위치 추정부는,
상기 제1 연산부에서 연산한 움직임 정보를 이용해 1차 사용자 위치를 추정하고, 상기 제2 연산부에서 연산한 사용자 위치 정보로 상기 1차 사용자 위치를 보정해 최종 사용자 위치를 추정할 수 있다.
바람직하게는, 상기 제2 위치 추정부는,
상기 제2 연산부에서 연산한 사용자 위치 정보를 이용해 1차 사용자 위치를 추정하고, 상기 제1 연산부에서 연산한 움직임 정보를 이용해 상기 1차 사용자 위치를 보정해 최종 사용자 위치를 추정할 수 있다.
바람직하게는,
인공지능 기술을 이용해 사용자의 움직임 패턴을 학습하여, 상기 IMU 센서에서 수집되는 측정 데이터로부터 움직임 정보를 예측하는 움직임 예측 모델을 생성하는 인공지능 학습부를 더 포함하며,
상기 제1 연산부는,
상기 움직임 예측 모델을 이용해, 상기 사용자의 움직임 정보를 연산하거나, 연산된 사용자의 움직임 정보를 보정할 수 있다.
바람직하게는,
상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있도록 하는 광학계;
상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 증강현실 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이; 및
상기 제1 위치 추정부 또는 제2 위치 추정부에서 추정된 사용자 위치에 따라 사용자에게 증강현실로 제공할 영상 정보를 생성하여 상기 디스플레이로 전송 제어하는 제어부를 더 포함할 수 있다.
본 발명에서 제안하고 있는 UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치에 따르면, UWB 기반의 위치 추적과 IMU 센서를 이용한 위치 추적을 결합하여 착용형 증강현실 장치를 착용한 사용자의 위치를 정확하게 추정하되, IMU 센서의 측정 데이터에 기초하여 사용자의 움직임이 미리 정해진 범위 내이면 UWB 기반의 위치 추적을 고려하지 않고 IMU 센서의 움직임 정보만을 이용해 사용자 위치를 추정함으로써, 작은 움직임 변화에 따른 위치 변화도 정확하게 추정할 수 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치에서, 위치 추정부의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치에서, 위치 추정부에서 위치를 추정하는 과정을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치에서, 전이 학습을 통해 움직임 예측 모델을 생성하는 과정을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 UWB와 IMU 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치의 전체 구성을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 3은 본 발명의 일실시예에 따른 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)는, HMD 프레임(110), 센서부(120) 및 위치 추정부(130)를 포함하여 구성될 수 있다.
HMD 프레임(110)은, 사용자가 머리나 두부에 착용할 수 있는 프레임 구성이다. 이러한 HMD 프레임(110)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이(150) 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.
센서부(120)는, HMD 프레임(110)의 일 측에 설치되는 IMU 센서(121) 및 UWB 기반의 위치 추적을 위해 설치된 복수의 앵커(Anchor)와 통신하는 UWB 태그(122)를 포함하여 구성할 수 있다. 즉, 센서부(120)는 HMD 프레임(110)에 부착 또는 설치될 수 있으며, 그 부착 또는 설치 위치는 착용형 증강현실 장치(100)의 위치를 가장 정확하게 측정할 수 있는 곳으로서, 사용자의 양안이 위치하는 부분 사이의 중앙에 부착될 수 있고, 좌측이나 우측 측면에 부착될 수도 있다. 또한, 센서부(120)는, HMD 프레임(110)에 탈부착이 가능한 형태로 적용될 수 있다. 실시예에 따라서는, IMU 센서(121)와 UWB 태그(122)는 각각 HMD 프레임(110)의 서로 다른 부분에 부착 또는 설치될 수 있다.
IMU 센서(121)는, 3축 가속도계, 3축 자이로계 및 3축 지자계를 포함하는 9축 센서로서, 착용형 증강현실 장치(100)의 정확한 자세 파악이 가능할 수 있다. 보다 구체적으로, IMU 센서(121)는 MPU9250 센서로 구현될 수 있다. 실시예에 따라서, 센서부(120)는 여러 개의 IMU 센서(121)를 포함할 수도 있다.
UWB 태그(122)는, 복수의 앵커와 통신하여 UWB(Ultra Wideband) 신호를 수신하는 수신기일 수 있다. 앵커는 식별정보를 포함하는 UWB 신호를 송신하는 송신기로서 미리 설치되어 있을 수 있으며, 각 앵커의 설치 위치 정보가 앵커 또는 UWB 태그(122), 착용형 증강현실 장치(100) 등에 저장될 수 있다. 보다 구체적으로, 앵커는 RTLS(real-time location system) UWB 모듈을 포함하며, 일정 시간 주기 예를 들어, 100 ms 시간 주기로 전송되는 무선신호를 전송할 수 있다. UWB 태그(122)는 앵커에서 송신하는 UWB 신호를 수신하여 각 앵커와의 거리값을 획득할 수 있다. 이때, UWB 태그(122)가 통신하는 앵커(20)는 적어도 3 이상일 수 있다.
또한, 센서부(120)는 IMU 센서(121)와 UWB 태그(122) 이외에, 사용자의 위치 파악을 위한 센서를 더 포함하여 구성될 수 있고, 환경 유해 가스나 온습도 등을 검출할 수 있는 센서를 포함할 수도 있다.
위치 추정부(130)는, 센서부(120)에서 수집되는 데이터를 이용해 사용자의 위치를 추정할 수 있다. 이하에서는, 도 4를 참조하여 위치 추정부(130)의 세부적인 구성에 대해 상세히 설명하도록 한다.
도 4는 본 발명의 일실시예에 따른 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)에서, 위치 추정부(130)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)의 위치 추정부(130)는, 제1 연산부(131), 제2 연산부(132), 판단부(133), 제1 위치 추정부(134) 및 제2 위치 추정부(135)를 포함하여 구성될 수 있으며, 인공지능 학습부(136)를 더 포함하여 구성될 수 있다.
도 5는 본 발명의 일실시예에 따른 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)에서, 위치 추정부(130)에서 위치를 추정하는 과정을 설명하기 위해 도시한 도면이다. 이하에서는, 도 4 및 도 5를 참조하여 위치 추정부(130)의 세부적인 구성에 대해 상세히 설명하도록 한다.
제1 연산부(131)는, IMU 센서(121)에서 수집되는 측정 데이터에 기초하여, HMD 프레임(110)을 착용한 사용자의 움직임 정보를 연산할 수 있다. 보다 구체적으로, 제1 연산부(131)는, IMU 센서(121)에서 수집되는 측정 데이터를 이용해, 착용형 증강현실 장치(100)를 착용한 사용자의 자세 정보에 기초하여, 이동 거리, 3차원의 이동 방향 등의 움직임 정보를 연산할 수 있다.
이때, 제1 연산부(131)는, 칼만(Kalman) 필터를 이용해 IMU 센서(121)로부터 수집되는 측정 데이터로부터 노이즈를 제거할 수 있다. 즉, 칼만 필터를 적용해 측정 데이터로부터 노이즈 성분을 제거하여, 정확한 움직임 정보를 연산할 수 있다.
제2 연산부(132)는, UWB 태그(122)에서 복수의 앵커(20)와 통신하여 수집한 거리값을 이용해 UWB 기반으로, HMD 프레임(110)을 착용한 사용자의 위치 정보를 연산할 수 있다.
여기서, 제2 연산부(132)는, OWR(One-Way Ranging) 또는 TWR(Two-Way Ranging) 방식으로 UWB 태그(122)와 앵커(20)와의 거리값을 연산할 수 있다. OWR(One-Way Ranging) 방식에 의하면, 앵커(20)에서 UWB 신호를 발신하고, 각 UWB 태그(122)에서는 UWB 신호를 수신하여, 발신부터 수신까지 소요된 시간 정보를 알 수 있으며, 시간 정보에 UWB 신호의 속도를 곱하면, 착용형 증강현실 장치(100)에서부터 각각의 앵커(20)까지의 거리를 연산할 수 있다.
TWR(Two-Way Ranging) 방식에 의하면, 앵커(20)와 각 UWB 태그(122)가 복수 번 UWB 신호를 주고받으면서 발신부터 수신까지 소요된 시간 정보들을 공유할 수 있고, 시간 정보의 오차를 없앨 수 있다. 시간 정보를 연산한 후에는, OWR 방식에서와 마찬가지로, 시간 정보에 UWB 신호의 속도를 곱하여, 착용형 증강현실 장치(100)에서부터 각각의 앵커(20)까지의 거리를 연산할 수 있다.
제2 연산부(132)는 적어도 3개 이상의 앵커(20)를 이용하며, UWB 태그(122)가 3개 이상의 앵커(20)와 통신하여 획득한 거리값을 이용해 사용자 위치를 추정할 수 있다. 보다 구체적으로, 제2 연산부(132)는, 연산한 거리값에 기초해 삼각 측량법(Triangulation)을 이용하여 착용형 증강현실 장치(100)를 착용한 사용자의 위치 정보를 연산할 수 있으며, 그 외에도 핑거프린팅(Fingerprinting) 또는 Cell-ID 방식을 이용하거나 이들의 결합한 방식을 이용할 수 있다.
한편, 제2 연산부(132)는, UWB 신호의 발신에서 수신까지 소요된 시간 정보들을 통해 거리를 연산한 후 사용자의 위치를 연산하는 상기의 방식 외에도, TDOA(Time Difference Of Arrival) 방식을 이용하여 사용자의 위치를 연산할 수도 있다. TDOA 방식을 이용하면, 복수의 앵커(20)로부터 UWB 태그(122)까지 UWB 신호가 도착하는 데 소요되는 시간의 차이를 이용하여 사용자의 위치를 연산할 수 있다.
실시예에 따라서, 제2 연산부(132)는 도 5에 도시된 바와 같이, UWB 태그(122)가 4개의 앵커(20)와 통신하여 획득한 거리값을 이용해 사용자 위치를 추정할 수 있다. 보다 구체적으로, UWB 태그(122)가 UWB 신호를 수신한 4개의 앵커(20)를 3개씩 묶어 4개의 그룹을 구성하고, 각 그룹의 UWB 신호로부터 각각 그룹별 사용자 위치를 추정해, 총 4개의 그룹별 사용자 위치를 이용해 정확하게 사용자 위치를 결정할 수 있다.
또한, 제2 연산부(132)는, 칼만 필터를 이용해 UWB 태그(122)가 복수의 앵커(20)와 통신하여 수집하는 UWB 신호에서 노이즈를 제거하고, 노이즈 성분이 제거된 UWB 신호로부터 사용자 위치를 추정할 수 있다.
판단부(133)는, 제1 연산부(131)에서 연산한 움직임 정보에 따른 위치 변화량이 미리 정해진 범위 내인지 판단할 수 있다. 이때, 움직임 정보에 따른 위치 변화량은, 이동 방향과 관계없이 이동 거리로 결정될 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 위치 변화량이 착용형 증강현실 장치(100)를 중심으로 하여 미리 설정된 거리 이내의 범위(도 5에서 착용형 증강현실 장치(100) 주변의 빨간색 원으로 표시)인지를 판단할 수 있다.
제1 위치 추정부(134)는, 판단부(133)의 판단 결과 위치 변화량이 미리 정해진 범위 내이면, 제1 연산부(131)에서 연산한 움직임 정보를 이용해 사용자 위치를 추정할 수 있다. 즉, 도 5에 도시된 바와 같은 예에서, 판단부(133)가 IMU 센서(121)에 의한 사용자의 위치 변화량이 착용형 증강현실 장치(100) 주변의 빨간색 원으로 표시된 미리 정해진 범위 내라고 판단되면, IMU 센서(121)의 측정 데이터만 이용해 사용자 위치 좌표를 추정할 수 있다.
실시예에 따라서는, 제1 연산부(131)는, 9축 IMU 센서(121) 기반의 사용자 자세 정보(측정 데이터)에 기초하여, 사용자의 보폭, 이동 방향, 보행 종류(걷기, 달리기 등), 보행 속도, 걸음 수 등의 보행 정보를 움직임 정보로 추정하고, 제1 위치 추정부(134)는 판단부(133)의 판단 결과 위치 변화량이 미리 정해진 범위 내일 때, 보행 정보(움직임 정보)를 기반으로 사용자의 위치를 추정할 수 있다. 또한, 제1 위치 추정부(134)는, 수평적인 이동 방향뿐 아니라 수직적 이동 방향도 분석 및 연산하여, 복수의 층으로 이루어진 실내 공간에서 몇 층에 있는지 등 구체적인 위치를 추적할 수 있다.
특히, 제1 위치 추정부(134)는, 사용자의 위치 변화량이 적을 때 사용자의 위치를 추정하는 구성이므로, 기존 사용자 위치에 제1 연산부(131)에서 연산한 움직임 정보를 반영하여, 사용자의 현재 위치를 추정할 수 있다.
UWB 기반의 위치 추적은 사용자의 위치를 정확하게 추정하는 방법이기는 하지만, 거리상 작은 변화에도 심한 오차가 발생할 수 있는 문제가 있다. 따라서 본 발명의 일실시예에 따른 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)는, IMU 센서(121)의 측정 데이터에 기초하여 사용자의 움직임이 미리 정해진 범위 내이면 UWB 기반의 위치 추적을 고려하지 않고 IMU 센서(121)의 움직임 정보만을 이용해 사용자 위치를 추정함으로써, 작은 움직임 변화에 따른 위치 변화 시에 오차를 최소화하고, 사용자 위치를 정확하게 추정할 수 있다.
제2 위치 추정부(135)는, 판단부(133)의 판단 결과 위치 변화량이 미리 정해진 범위를 벗어나면, 제1 연산부(131)에서 연산한 움직임 정보 및 제2 연산부(132)에서 연산한 사용자의 위치 정보를 결합하여 사용자 위치를 추정할 수 있다. IMU 센서(121)를 이용한 위치 추적과 UWB 기반의 위치 추적을 결합하는 방식으로, 다음과 같은 두 가지 방식이 있을 수 있다.
첫 번째, 제2 위치 추정부(135)는, 제1 연산부(131)에서 연산한 움직임 정보를 이용해 1차 사용자 위치를 추정하고, 제2 연산부(132)에서 연산한 사용자 위치 정보로 1차 사용자 위치를 보정해 최종 사용자 위치를 추정할 수 있다. 즉, IMU 센서(121)의 측정 데이터에 기초한 움직임 정보를 이용해 제1 위치 추정부(134)와 같은 방법으로 1차 사용자 위치를 추정하고, 제2 연산부(132)에서 UWB 기반 위치 추적을 이용해 연산한 사용자 위치 정보를 보정 정보로 사용해 1차 사용자 위치를 보정하여, 최종 사용자 위치를 추정할 수 있다.
보다 구체적으로, 제1 연산부(131)는, 9축 IMU 센서(121) 기반의 사용자의 자세 정보에 기초하여, 사용자의 보폭, 이동 방향, 보행 종류(걷기, 달리기 등), 보행 속도, 걸음 수 등의 보행 정보를 움직임 정보로 추정하고, 제2 위치 추정부(135)는 보행 정보(움직임 정보)를 기반으로 1차 사용자 위치를 추정할 수 있다. 이때, 기존 사용자 위치에 제1 연산부(131)에서 연산한 움직임 정보를 반영하여 추정한 사용자의 현재 위치를 1차 사용자 위치로 할 수 있다. 그 다음, 1차 사용자 위치와 제2 연산부(132)에서 연산한 사용자 위치 정보를 비교해 1차 사용자 위치를 보정함으로써, 최종 사용자 위치를 추정할 수 있다.
두 번째, 제2 위치 추정부(135)는, 제2 연산부(132)에서 연산한 사용자 위치 정보를 이용해 1차 사용자 위치를 추정하고, 제1 연산부(131)에서 연산한 움직임 정보를 이용해 1차 사용자 위치를 보정해 최종 사용자 위치를 추정할 수 있다. 즉, UWB 기반의 위치 추적을 이용한 제2 연산부(132)의 사용자 위치 정보를 1차 사용자 위치로 사용하고, IMU 센서(121) 기반의 사용자의 움직임 정보를 보정 정보로 사용해 1차 사용자 위치를 보정하여, 최종 사용자 위치를 추정할 수 있다.
인공지능 학습부(136)는, 인공지능 기술을 이용해 사용자의 움직임 패턴을 학습하여, IMU 센서(121)에서 수집되는 측정 데이터로부터 움직임 정보를 예측하는 움직임 예측 모델을 생성할 수 있다. 제1 연산부(131)는, 움직임 예측 모델을 이용해 사용자의 움직임 정보를 연산하거나, 연산된 사용자의 움직임 정보를 보정할 수 있다.
여기서, 인공지능 기술은, CNN(Convolutional neural network), RNN(Recurrent Neural Network) 등의 인공신경망 기반의 딥러닝 기술일 수 있으며, CNN과 LSTM(Long short-term memory) RNN을 결합한 앙상블 딥러닝 기술 등을 사용할 수도 있다. 또한, 랜덤 포레스트(Random Forest), 가중 랜덤 포레스트 분류기(WRFR), 캐스케이드 회귀 포레스트(Cascade Regression Forest) 등을 사용할 수도 있다.
또한, 인공지능 학습부(136)가 학습하는 움직임 패턴은, IMU 센서(121)에서 수집된 측정 데이터와 이동 거리, 이동 방향 등의 움직임 정보 사이의 연관성에 대한 데이터일 수 있으며, 사용자의 이동 방향, 이동 거리, 보폭, 걸음 수, 보행 종류 등 다양한 각 사용자의 특징적인 패턴을 분석한 것일 수 있다.
한편, 인공지능 학습부(136)는, 사전 훈련된 모델을 기초로, 전이 학습(Transfer learning)을 통해 개별 사용자의 움직임 패턴을 학습하여 개별 사용자에 최적화된 움직임 예측 모델을 생성할 수 있다. 전이 학습은 새로운 문제에 대해 사전 훈련된 모델을 재사용하는 것이다. 이미 훈련된 모델을 사용하므로, 상대적으로 적은 데이터로 깊은 신경망을 훈련할 수 있는 장점이 있다. 또한, 대부분의 실제 문제들은 일반적으로 복잡한 모델을 훈련하기 위해 수백만 개의 라벨이 붙은 데이터를 가지고 있지 않기 때문에 유용하게 사용될 수 있다.
도 6은 본 발명의 일실시예에 따른 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)에서, 전이 학습을 통해 움직임 예측 모델을 생성하는 과정을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)는, 서버가 다양한 사용자들로부터 수집된 다수의 움직임 패턴 데이터(빅데이터)를 이용해 학습하여 구성한 사전 훈련된 모델을 전달받아 사용할 수 있다. 각각의 착용형 증강현실 장치(100)에는 착용한 사용자의 IMU 센서(121)의 측정 데이터와 움직임 정보 등을 포함하는 움직임 패턴이 저장될 수 있는데, 인공지능 학습부(136)가 착용형 증강현실 장치(100)에 저장되어 있는 개별 사용자의 움직임 패턴을 이용해 서버로부터 전달받은 사전 학습된 모델을 훈련시켜서, 개별 사용자에 최적화된 움직임 예측 모델을 생성할 수 있다. 이와 같이, 전이 학습을 이용함으로써, 개별 사용자에 대해 수집된 움직임 패턴 데이터가 상대적으로 적은 양이더라도, 효율적이고 신속하게 정확도 높은 움직임 예측 모델을 생성할 수 있다.
도 7은 본 발명의 일실시예에 따른 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)의 전체 구성을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)는, 광학계(140), 디스플레이(150) 및 제어부(160)를 더 포함하여 구성될 수 있다.
광학계(140)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 투과되어 보이는 동시에, 디스플레이(150)에서 출력된 영상 광이 사용자의 동공에 전달되도록 하는 구성이다. 이러한 광학계(140)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서 투명한 렌즈로 구성될 수 있다.
디스플레이(150)는, 광학계(140)를 통해 투과되어 보이는 실제 세계와 함께 증강현실 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 디스플레이(150)는 OLED 등으로 구현될 수 있다.
제어부(160)는, 제1 위치 추정부(134) 또는 제2 위치 추정부(135)에서 추정된 사용자 위치에 따라 사용자에게 증강현실로 제공할 영상 정보를 생성하여 디스플레이(150)로 전송 제어할 수 있다.
또한, 본 발명의 일실시예에 따른 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)는, HMD 프레임(110)에 장착되어 사용자 시선 방향의 영상을 촬영하기 위한 카메라(170), HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(175), 착용형 증강현실 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(180), 전원 공급부(180)의 온/오프를 위한 스위치부(185), 및 제어부(160)의 제어 하에 인접하는 다른 착용형 증강현실 장치(100) 및/또는 서버와 데이터 통신을 수행하는 통신부(190)를 더 포함하여 구성될 수 있다.
이때, 착용형 증강현실 장치(100)가 GPS 모듈(175)을 포함하여 구성되더라도, GPS 모듈(175)의 사용이 제한되거나 오류가 있을 때, 센서부(120) 및 위치 추정부(130)를 이용해 사용자의 위치를 정확하게 추정하고, 이에 따른 증강현실 영상 정보를 제공할 수 있게 된다. 또한, 스위치부(185)는 전원 공급부(180)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스에 형성될 수 있다. 또한, 통신부(190)는 서버와 통신하여 사전 훈련된 모델을 전달받아 IMU 센서(121)의 측정 데이터를 이용한 움직임 정보 예측을 위해 사용할 수 있으며, 실시예에 따라서는, 인접하는 다른 착용형 증강현실 장치(100)의 통신부(190)와 연동하여 연결 접속되고, 추정된 각 사용자의 위치나 증강현실 영상 정보가 서로 공유될 수 있도록 데이터 통신을 수행할 수 있다. 여기서, 통신부(190)는 인터넷 접속이 가능한 3G/4G/5G 및 LTE를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100)에 따르면, UWB 기반의 위치 추적과 IMU 센서(121)를 이용한 위치 추적을 결합하여 착용형 증강현실 장치(100)를 착용한 사용자의 위치를 정확하게 추정하되, IMU 센서(121)의 측정 데이터에 기초하여 사용자의 움직임이 미리 정해진 범위 내이면 UWB 기반의 위치 추적을 고려하지 않고 IMU 센서(121)의 움직임 정보만을 이용해 사용자 위치를 추정함으로써, 작은 움직임 변화에 따른 위치 변화도 정확하게 추정할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
20: 앵커
100: 본 발명에 따른 착용형 증강현실 장치
110: HMD 프레임
120: 센서부
121: IMU 센서
122: UWB 태그
130: 위치 추정부
131: 제1 연산부
132: 제2 연산부
133: 판단부
134: 제1 위치 추정부
135: 제2 위치 추정부
136: 인공지능 학습부
140: 광학계
150: 디스플레이
160: 제어부
170: 카메라
175: GPS 모듈
180: 전원 공급부
185: 스위치부
190: 통신부

Claims (8)

  1. 착용형 증강현실 장치(100)로서,
    사용자가 머리나 두부에 착용할 수 있는 HMD 프레임(110);
    상기 HMD 프레임(110)의 일 측에 설치되는 IMU 센서(121) 및 UWB 기반의 위치 추적을 위해 설치된 복수의 앵커(Anchor)(20)와 통신하는 UWB 태그(122)를 포함하여 구성되는 센서부(120); 및
    상기 센서부(120)에서 수집되는 데이터를 이용해 사용자의 위치를 추정하는 위치 추정부(130)를 포함하며,
    상기 위치 추정부(130)는,
    상기 IMU 센서(121)에서 수집되는 측정 데이터에 기초하여, 상기 HMD 프레임(110)을 착용한 사용자의 움직임 정보를 연산하는 제1 연산부(131);
    상기 UWB 태그(122)에서 상기 복수의 앵커(20)와 통신하여 수집한 거리값을 이용해 UWB 기반으로, 상기 HMD 프레임(110)을 착용한 사용자의 위치 정보를 연산하는 제2 연산부(132);
    상기 제1 연산부(131)에서 연산한 움직임 정보에 따른 위치 변화량이 미리 정해진 범위 내인지 판단하는 판단부(133);
    상기 판단부(133)의 판단 결과 상기 위치 변화량이 미리 정해진 범위 내이면, 상기 제1 연산부(131)에서 연산한 움직임 정보를 이용해 사용자 위치를 추정하는 제1 위치 추정부(134); 및
    상기 판단부(133)의 판단 결과 상기 위치 변화량이 미리 정해진 범위를 벗어나면, 상기 제1 연산부(131)에서 연산한 움직임 정보 및 상기 제2 연산부(132)에서 연산한 사용자의 위치 정보를 결합하여 상기 사용자 위치를 추정하는 제2 위치 추정부(135)를 포함하는 것을 특징으로 하는, UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100).
  2. 제1항에 있어서, 상기 제1 연산부(131)는,
    칼만 필터를 이용해 상기 IMU 센서(121)로부터 수집되는 측정 데이터로부터 노이즈를 제거하는 것을 특징으로 하는, UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100).
  3. 제1항에 있어서, 상기 제2 연산부(132)는,
    적어도 3개 이상의 상기 앵커(20)를 이용하며, 상기 UWB 태그(122)가 상기 3개 이상의 앵커(20)와 통신하여 획득한 거리값을 이용해 사용자의 위치 정보를 연산하는 것을 특징으로 하는, UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100).
  4. 제3항에 있어서, 상기 제2 연산부(132)는,
    OWR(One-Way Ranging) 또는 TWR(Two-Way Ranging) 방식으로 상기 UWB 태그(122)와 상기 앵커(20)와의 거리값을 연산하는 것을 특징으로 하는, UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100).
  5. 제1항에 있어서, 상기 제2 위치 추정부(135)는,
    상기 제1 연산부(131)에서 연산한 움직임 정보를 이용해 1차 사용자 위치를 추정하고, 상기 제2 연산부(132)에서 연산한 사용자 위치 정보로 상기 1차 사용자 위치를 보정해 최종 사용자 위치를 추정하는 것을 특징으로 하는, UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100).
  6. 제1항에 있어서, 상기 제2 위치 추정부(135)는,
    상기 제2 연산부(132)에서 연산한 사용자 위치 정보를 이용해 1차 사용자 위치를 추정하고, 상기 제1 연산부(131)에서 연산한 움직임 정보를 이용해 상기 1차 사용자 위치를 보정해 최종 사용자 위치를 추정하는 것을 특징으로 하는, UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100).
  7. 제1항에 있어서,
    인공지능 기술을 이용해 사용자의 움직임 패턴을 학습하여, 상기 IMU 센서(121)에서 수집되는 측정 데이터로부터 움직임 정보를 예측하는 움직임 예측 모델을 생성하는 인공지능 학습부(136)를 더 포함하며,
    상기 제1 연산부(131)는,
    상기 움직임 예측 모델을 이용해, 상기 사용자의 움직임 정보를 연산하거나, 연산된 사용자의 움직임 정보를 보정하는 것을 특징으로 하는, UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100).
  8. 제1항에 있어서,
    상기 HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있도록 하는 광학계(140);
    상기 광학계(140)를 통해 투과되어 보이는 실제 세계와 함께 증강현실 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이(150); 및
    상기 제1 위치 추정부(134) 또는 제2 위치 추정부(135)에서 추정된 사용자 위치에 따라 사용자에게 증강현실로 제공할 영상 정보를 생성하여 상기 디스플레이(150)로 전송 제어하는 제어부(160)를 더 포함하는 것을 특징으로 하는, UWB와 IMU 센서(121)를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치(100).
KR1020200115729A 2020-09-09 2020-09-09 Uwb와 imu 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치 KR102284464B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200115729A KR102284464B1 (ko) 2020-09-09 2020-09-09 Uwb와 imu 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치
PCT/KR2021/012172 WO2022055233A1 (ko) 2020-09-09 2021-09-07 텅스텐 와이어를 이용하여 제작한 격자구조 섬유를 복층으로 압착하여 만든 방사선 차폐패드 및 그 제조방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200115729A KR102284464B1 (ko) 2020-09-09 2020-09-09 Uwb와 imu 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치

Publications (1)

Publication Number Publication Date
KR102284464B1 true KR102284464B1 (ko) 2021-08-02

Family

ID=77315822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200115729A KR102284464B1 (ko) 2020-09-09 2020-09-09 Uwb와 imu 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치

Country Status (2)

Country Link
KR (1) KR102284464B1 (ko)
WO (1) WO2022055233A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224379A1 (ko) * 2022-05-18 2023-11-23 삼성전자 주식회사 Uwb 통신을 위한 방법 및 장치
WO2024085266A1 (ko) * 2022-10-17 2024-04-25 삼성전자 주식회사 초광대역 통신 신호를 이용하여 제스처를 검출하기 위한 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160017593A (ko) * 2014-08-06 2016-02-16 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 탈출경로 제공방법 및 프로그램
KR20170137042A (ko) * 2015-01-13 2017-12-12 리바다 리서치 엘엘씨 강화된 위치 기반 삼변측량을 제공하기 위한 방법 및 시스템
KR20180042546A (ko) * 2016-10-18 2018-04-26 조선대학교산학협력단 하이브리드 실내 측위 시스템 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020069053A (ko) * 2001-02-23 2002-08-29 화이버 텍 (주) 적어도 하나 이상의 금속섬유 층에 적층된 활성탄소섬유층을 포함하는 금속섬유 필터
WO2013039195A1 (ja) * 2011-09-14 2013-03-21 グンゼ株式会社 放射線防護用布帛
KR20170002683U (ko) * 2016-01-19 2017-07-27 주식회사바텍 방사선 차폐복
JP6868803B2 (ja) * 2016-11-04 2021-05-12 パナソニックＩｐマネジメント株式会社 放射線防護不織布及び繊維製品
JP6264703B1 (ja) * 2017-03-30 2018-01-24 パナソニックＩｐマネジメント株式会社 防護布及び防護服

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160017593A (ko) * 2014-08-06 2016-02-16 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 탈출경로 제공방법 및 프로그램
KR20170137042A (ko) * 2015-01-13 2017-12-12 리바다 리서치 엘엘씨 강화된 위치 기반 삼변측량을 제공하기 위한 방법 및 시스템
KR20180042546A (ko) * 2016-10-18 2018-04-26 조선대학교산학협력단 하이브리드 실내 측위 시스템 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224379A1 (ko) * 2022-05-18 2023-11-23 삼성전자 주식회사 Uwb 통신을 위한 방법 및 장치
WO2024085266A1 (ko) * 2022-10-17 2024-04-25 삼성전자 주식회사 초광대역 통신 신호를 이용하여 제스처를 검출하기 위한 방법 및 장치

Also Published As

Publication number Publication date
WO2022055233A1 (ko) 2022-03-17

Similar Documents

Publication Publication Date Title
CA3107374C (en) Systems and methods for autonomous machine tracking and localization of mobile objects
US10094910B2 (en) Location estimation system
CN110100151A (zh) 在视觉惯性测距中使用全球定位系统速度的系统及方法
US9892563B2 (en) System and method for generating a mixed reality environment
Langlois et al. Indoor localization with smartphones: Harnessing the sensor suite in your pocket
US11042028B1 (en) Relative pose data augmentation of tracked devices in virtual environments
US10134192B2 (en) Generating and displaying a computer generated image on a future pose of a real world object
CN112930484B (zh) 定位系统、定位方法和存储介质
CN108022302B (zh) 一种Inside-Out空间定位的AR立体显示装置
KR102284464B1 (ko) Uwb와 imu 센서를 이용한 위치 추적 기능을 갖는 착용형 증강현실 장치
US10976163B2 (en) Robust vision-inertial pedestrian tracking with heading auto-alignment
JP7319303B2 (ja) レーダ頭部姿勢位置特定
US20130024117A1 (en) User Navigation Guidance and Network System
CN108955673A (zh) 一种头戴式智能穿戴设备、定位系统及定位方法
CN108413965A (zh) 一种室内室外巡检机器人综合系统及巡检机器人导航方法
JP7191104B2 (ja) 対象物の現在位置を決定するための方法、位置決定システム、トラッカーおよびコンピュータプログラム
TWI714054B (zh) 用於追蹤和渲染對應於實體對象的虛擬對象的追蹤系統以及用於其的操作方法
US11914762B2 (en) Controller position tracking using inertial measurement units and machine learning
EP1152279B1 (en) Immersive display system
Ruotsalainen et al. Improving computer vision-based perception for collaborative indoor navigation
US20210157394A1 (en) Motion tracking system and method
CN115225815A (zh) 目标智能追踪拍摄方法、服务器、拍摄系统、设备及介质
KR102324129B1 (ko) 지도 정보와 imu 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치
US20190228583A1 (en) Systems and methods for tracking object location and orientation in virtual reality environments using ultra-wideband signals, inertia measurement units, and reflective markers
KR20200134401A (ko) 모바일 디바이스와 연동하는 스마트 안경 작동 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant