KR102235902B1 - Simulator system with augmented reality for detecting location at close-range using uwb signal - Google Patents

Simulator system with augmented reality for detecting location at close-range using uwb signal Download PDF

Info

Publication number
KR102235902B1
KR102235902B1 KR1020190112742A KR20190112742A KR102235902B1 KR 102235902 B1 KR102235902 B1 KR 102235902B1 KR 1020190112742 A KR1020190112742 A KR 1020190112742A KR 20190112742 A KR20190112742 A KR 20190112742A KR 102235902 B1 KR102235902 B1 KR 102235902B1
Authority
KR
South Korea
Prior art keywords
head
display device
user
uwb
uwb signal
Prior art date
Application number
KR1020190112742A
Other languages
Korean (ko)
Other versions
KR20210031153A (en
Inventor
최치원
이강휘
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020190112742A priority Critical patent/KR102235902B1/en
Publication of KR20210031153A publication Critical patent/KR20210031153A/en
Application granted granted Critical
Publication of KR102235902B1 publication Critical patent/KR102235902B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템에 관한 것으로서, 보다 구체적으로는 증강현실 시뮬레이터 시스템으로서, 사용자의 머리에 착용되어 UWB 신호를 발신하고 증강현실을 제공하는 머리 착용형 디스플레이 장치(HMD); 및 상기 UWB 신호를 수신하여 거리정보를 연산하고, 연산된 거리정보에 기초하여 상기 머리 착용형 디스플레이 장치의 위치 정보를 연산하는 적어도 3개 이상의 측위 장치를 포함하여 구성되며, 상기 머리 착용형 디스플레이 장치는, 사용자가 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계; 상기 측위 장치에서 연산된 머리 착용형 디스플레이 장치의 위치 정보에 따라서 사용자에게 제공할 영상을 판단하는 상황 연산부; 상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 상기 상황 연산부에서 판단된 영상을 제공하는 디스플레이부; 및 상기 HMD 프레임의 일 측에 설치되어 UWB 신호를 발신하는 UWB 신호 발신부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템에 따르면, 실내 공간에서의 머리 착용형 디스플레이 장치의 위치를 측정하기 위하여 UWB(Ultra Wideband) 신호를 이용함으로써, 머리 착용형 디스플레이 장치를 착용한 사용자의 위치 변화를 정확하게 측정할 수 있고, 위치 측정에 오차를 줄일 수 있으므로, 미세한 위치 변화에도 실시간으로 대응하여 사용자에게 적절한 영상이나 콘텐츠를 제공하는 것이 가능하며, 이에 따라 위험성이 높은 실내 공간 등 종래 증강현실 시뮬레이터 시스템이 사용되기에 제약이 있던 분야에서도 그 적용 가능성을 높일 수 있다.
또한, 본 발명에서 제안하고 있는 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템에 따르면, 복수의 머리 착용형 디스플레이 장치로 구성될 수 있고, 각각의 머리 착용형 디스플레이 장치에서 UWB 신호를 발신하면, 측위 장치에서 각 머리 착용형 디스플레이 장치가 지닌 ID(식별정보)와 함께 UWB 신호를 수신하여 장치들의 위치를 각각 연산할 수 있으므로, 복수의 사용자들이 한꺼번에 본 발명인 증강현실 시뮬레이터 시스템을 이용할 수 있으며, 각 사용자의 위치 정보를 연동하여 그 위치 정보에 상호대응해 사용자에게 제공할 영상이나 콘텐츠를 판단할 수도 있어, 증강현실 시뮬레이터 시스템의 활용 가능성을 더욱 높일 수 있다.The present invention relates to an augmented reality simulator system using UWB for ultra-close position detection, and more specifically, as an augmented reality simulator system, a head-worn type that is worn on the user's head to transmit UWB signals and provide augmented reality. A display device (HMD); And at least three positioning devices configured to receive the UWB signal to calculate distance information, and calculate location information of the head-worn display device based on the calculated distance information, and the head-worn display device The HMD frame that the user can wear on the head; An optical system disposed in front of both eyes of a user wearing the HMD frame, and allowing the real world through the user's field of view to be transmitted through and seen; A context calculating unit that determines an image to be provided to a user according to the location information of the head-worn display device calculated by the positioning device; A display unit that provides an image determined by the situation calculation unit together with the real world transmitted through the optical system; And a UWB signal transmitter installed on one side of the HMD frame to transmit a UWB signal.
According to the augmented reality simulator system using UWB for ultra-close position detection proposed in the present invention, by using a UWB (Ultra Wideband) signal to measure the position of a head-worn display device in an indoor space, head wearing Since it is possible to accurately measure the location change of the user wearing the type display device and reduce the error in location measurement, it is possible to provide an appropriate image or content to the user by responding in real time to even minute location changes. It is possible to increase the applicability of such a high indoor space in a field where the conventional augmented reality simulator system is limited to use.
In addition, according to the augmented reality simulator system using UWB for ultra-close position detection proposed in the present invention, it can be composed of a plurality of head-worn display devices, and each head-worn display device transmits UWB signals. Then, since the positioning device receives the UWB signal along with the ID (identification information) of each head wearable display device and calculates the positions of the devices, a plurality of users can use the augmented reality simulator system of the present invention at once. , By interworking with the location information of each user, the image or content to be provided to the user may be determined in correspondence with the location information, thereby further increasing the possibility of utilizing the augmented reality simulator system.

Description

초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템{SIMULATOR SYSTEM WITH AUGMENTED REALITY FOR DETECTING LOCATION AT CLOSE-RANGE USING UWB SIGNAL}Augmented reality simulator system using UWB for ultra-close position detection {SIMULATOR SYSTEM WITH AUGMENTED REALITY FOR DETECTING LOCATION AT CLOSE-RANGE USING UWB SIGNAL}

본 발명은 증강현실 시뮬레이터 시스템에 관한 것으로서, 보다 구체적으로는 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템에 관한 것이다.The present invention relates to an augmented reality simulator system, and more particularly, to an augmented reality simulator system using UWB for ultra-close position detection.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display; HMD)는 사용자가 머리에 착용하여 멀티미디어 콘텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
Various wearable devices are being developed according to the trend of lightening and miniaturization of digital devices. A head mounted display (HMD), which is a type of wearable device, refers to various devices that can be worn by a user to receive multimedia contents and the like. Here, the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. These head-mounted displays (HMD) are divided into see-through type and see-closed type, and the transmissive type is mainly used for Augmented Reality (AR), and the sealed type is mainly used for virtual reality (Virtual Reality). Reality, VR).

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
FIG. 1 is a diagram showing a schematic configuration of a general glasses-type head mounted display (HMD), and FIG. 2 is a diagram illustrating a schematic configuration of a general band-shaped head mounted display (HMD). As shown in FIGS. 1 and 2, respectively, the head-mounted display in the form of glasses or bands projects image information of augmented reality (AR) onto the real world through a lens worn on the face or head of the user and transmitted. Will be provided to the user.

한편, 헤드 마운티드 디스플레이 구동 시 위치에 기반하여 콘텐츠를 제공하는 경우가 많은데, 이 경우 헤드 마운티드 디스플레이를 착용하고 있는 사용자의 정확한 위치를 측정하는 것이 중요하다. 기존의 GPS를 활용한 위치 측정 시스템은 위성으로부터 송출되는 무선신호를 이용하기 때문에 실외에서의 사용만이 가능했으며, 따라서, 실내 공간에서는 Wi-Fi, 블루투스, RFID 등의 네트워크를 활용한 측위 시스템 또는 적외선, 편광 등과 같은 빛을 활용한 측위 시스템이 GPS 기술을 대체하여 활용되고 있었다. 다만, 기존의 네트워크를 활용한 측위 시스템은 m 단위의 큰 오차가 발생하고 있어, 특수성이 있는 환경에서는 활용성이 떨어지는 문제가 있으며, 기존의 빛을 활용한 측위 시스템은 햇빛, 조명 등의 외부 환경요인의 영향을 많이 받기 때문에 공간의 환경요인을 전처리하는 과정이 필요했고, 다양한 분야에 적용하기에는 기술적 한계가 존재하였다.
Meanwhile, when driving a head-mounted display, content is often provided based on a location. In this case, it is important to measure the exact location of a user wearing a head-mounted display. Existing GPS-based positioning systems use wireless signals transmitted from satellites, so they can only be used outdoors. Therefore, in indoor spaces, positioning systems using networks such as Wi-Fi, Bluetooth, and RFID, or Positioning systems using light such as infrared and polarized light have been used in place of GPS technology. However, since the existing positioning system using the network has a large error in units of m, there is a problem that it is not usable in a specific environment, and the existing positioning system using light is external environment such as sunlight and lighting. Because it is influenced by many factors, it was necessary to pre-treat the environmental factors of the space, and there were technical limitations in applying them to various fields.

따라서, 실내 공간에서의 더욱 정확한 위치 측정이 가능하고 다양한 분야에 적용될 수 있는 실내 측위 시스템이 적용된 증강현실 시뮬레이터 시스템 기술의 필요성이 대두된다.
Accordingly, there is a need for an augmented reality simulator system technology to which a more accurate position measurement in an indoor space is possible and an indoor positioning system that can be applied to various fields is applied.

한편, 본 발명과 관련된 선행기술로서, 한국공개특허 제10-2007-0075975호(발명의 명칭: 기기의 위치추적 시스템, 공고일자: 2007년 07월 24일) 등이 개시된 바 있다.On the other hand, as a prior art related to the present invention, Korean Patent Publication No. 10-2007-0075975 (name of the invention: device location tracking system, date of announcement: July 24, 2007) has been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 실내 공간에서의 머리 착용형 디스플레이 장치의 위치를 측정하기 위하여 UWB(Ultra Wideband) 신호를 이용함으로써, 머리 착용형 디스플레이 장치를 착용한 사용자의 위치 변화를 정확하게 측정할 수 있고, 위치 측정에 오차를 줄일 수 있으므로, 미세한 위치 변화에도 실시간으로 대응하여 사용자에게 적절한 영상이나 콘텐츠를 제공하는 것이 가능하며, 이에 따라 위험성이 높은 실내 공간 등 종래 증강현실 시뮬레이터 시스템이 사용되기에 제약이 있던 분야에서도 그 적용 가능성을 높일 수 있는, 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed to solve the above problems of the previously proposed methods, and by using a UWB (Ultra Wideband) signal to measure the position of a head-worn display device in an indoor space, a head-worn display Since the location change of the user wearing the device can be accurately measured and errors in location measurement can be reduced, it is possible to provide an appropriate image or content to the user by responding in real time to even minute location changes. It is an object of the present invention to provide an augmented reality simulator system using UWB for ultra-close location detection, which can increase its applicability even in fields where the conventional augmented reality simulator system is limited in use, such as indoor spaces.

또한, 본 발명은, 복수의 머리 착용형 디스플레이 장치로 구성될 수 있고, 각각의 머리 착용형 디스플레이 장치에서 UWB 신호를 발신하면, 측위 장치에서 각 머리 착용형 디스플레이 장치가 지닌 ID(식별정보)와 함께 UWB 신호를 수신하여 장치들의 위치를 각각 연산할 수 있으므로, 복수의 사용자들이 한꺼번에 본 발명인 증강현실 시뮬레이터 시스템을 이용할 수 있으며, 각 사용자의 위치 정보를 연동하여 그 위치 정보에 상호대응해 사용자에게 제공할 영상이나 콘텐츠를 판단할 수도 있어, 증강현실 시뮬레이터 시스템의 활용 가능성을 더욱 높일 수 있는, 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention may consist of a plurality of head-worn display devices, and when UWB signals are transmitted from each head-worn display device, the positioning device includes IDs (identification information) possessed by each head-worn display device. Since the UWB signal can be received together and the positions of the devices can be calculated respectively, a plurality of users can use the augmented reality simulator system of the present invention at once, and the location information of each user is interlocked and provided to the user in response to the location information. Another object is to provide an augmented reality simulator system using UWB for ultra-close location detection, which can also determine an image or content to be played, and further enhances the possibility of utilizing the augmented reality simulator system.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템은,An augmented reality simulator system using UWB for ultra-close location detection according to a feature of the present invention for achieving the above object,

증강현실 시뮬레이터 시스템로서,As an augmented reality simulator system,

사용자의 머리에 착용되어 UWB 신호를 발신하고 증강현실을 제공하는 머리 착용형 디스플레이 장치(HMD); 및 A head wearable display device (HMD) that is worn on the user's head to transmit UWB signals and provide augmented reality; And

상기 UWB 신호를 수신하여 거리정보를 연산하고, 연산된 거리정보에 기초하여 상기 머리 착용형 디스플레이 장치의 위치 정보를 연산하는 적어도 3개 이상의 측위 장치를 포함하며,It includes at least three or more positioning devices that receive the UWB signal to calculate distance information, and calculate location information of the head wearable display device based on the calculated distance information,

상기 머리 착용형 디스플레이 장치는,The head wearable display device,

사용자가 머리에 착용할 수 있는 HMD 프레임;HMD frame that the user can wear on the head;

상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계;An optical system disposed in front of both eyes of a user wearing the HMD frame, and allowing the real world through the user's field of view to be transmitted and seen;

상기 측위 장치에서 연산된 머리 착용형 디스플레이 장치의 위치 정보에 따라서 사용자에게 제공할 영상을 판단하는 상황 연산부;A context calculator that determines an image to be provided to a user according to the location information of the head-worn display device calculated by the positioning device;

상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 상기 상황 연산부에서 판단된 영상을 제공하는 디스플레이부; 및A display unit that provides an image determined by the situation calculation unit together with the real world transmitted through the optical system; And

상기 HMD 프레임의 일 측에 설치되어 UWB 신호를 발신하는 UWB 신호 발신부를 포함하는 것을 그 구성상의 특징으로 한다.
It is provided on one side of the HMD frame and characterized in that it comprises a UWB signal transmitter for transmitting the UWB signal.

바람직하게는, 상기 측위 장치는,Preferably, the positioning device,

상기 UWB 신호 발신부로부터 UWB 신호를 수신하는 UWB 신호 수신부;A UWB signal receiver for receiving a UWB signal from the UWB signal transmitter;

상기 UWB 신호 수신부에서 수신된 UWB 신호로부터 상기 머리 착용형 디스플레이 장치와 상기 측위 장치 사이의 거리정보를 연산하는 거리 연산부;A distance calculating unit that calculates distance information between the head-worn display device and the positioning device from the UWB signal received by the UWB signal receiving unit;

상기 거리 연산부에서 연산된 거리정보에 기초하여 상기 머리 착용형 디스플레이 장치의 위치 정보를 연산하는 위치 연산부; 및A position calculating unit that calculates position information of the head-worn display device based on the distance information calculated by the distance calculating unit; And

상기 위치 연산부에서 연산된 위치 정보를 상기 상황 연산부로 내보내는 전송부를 포함하여 구성될 수 있다.
It may be configured to include a transmission unit that outputs the location information calculated by the location calculation unit to the situation calculation unit.

더욱 바람직하게는, 상기 거리 연산부는,More preferably, the distance calculating unit,

OWR(One-Way Ranging) 방식으로서, 상기 UWB 신호 발신부에서 UWB 신호를 발신하고, 상기 UWB 신호 수신부에서는 상기 UWB 신호를 수신하여, 시간 정보를 통해 상기 머리 착용형 디스플레이 장치와 상기 측위 장치 사이의 거리를 연산하는 방식, 또는 TWR(Two-Way Ranging) 방식으로서, UWB 신호 발신부와 UWB 신호 수신부가 복수 번 UWB 신호를 주고받으면서 시간 정보를 공유하여 시간 오차를 없애고 상기 머리 착용형 디스플레이 장치와 상기 측위 장치 사이의 거리를 연산하는 방식을 이용할 수 있다.
As an OWR (One-Way Ranging) method, the UWB signal transmitter transmits a UWB signal, and the UWB signal receiver receives the UWB signal, and between the head-worn display device and the positioning device through time information. As a method of calculating a distance, or a two-way ranging (TWR) method, the UWB signal transmitter and the UWB signal receiver exchange UWB signals multiple times and share time information to eliminate time errors, and the head wearable display device and the A method of calculating the distance between the positioning devices can be used.

더욱 더 바람직하게는, 상기 위치 연산부는,Even more preferably, the position calculation unit,

상기 거리 연산부에서 연산된 거리정보에 기초하여 삼각 측량법을 이용하여 상기 머리 착용형 디스플레이 장치의 위치 정보를 연산할 수 있다.
The location information of the head-worn display device may be calculated using a triangulation method based on the distance information calculated by the distance calculating unit.

더욱 더 바람직하게는, 상기 상황 연산부는,Even more preferably, the situation calculation unit,

상기 측위 장치에서 연산된 머리 착용형 디스플레이 장치의 위치 정보에 따라서 기입력된 영상 중 사용자에게 제공할 영상을 판단하고, 판단된 영상에 따라서 음성 서비스 또는 알람 서비스를 함께 제공할 수 있다.
An image to be provided to a user among previously input images may be determined according to the location information of the head worn display device calculated by the positioning device, and a voice service or an alarm service may be provided together according to the determined image.

더욱 바람직하게는, More preferably,

상기 머리 착용형 디스플레이 장치는, 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치로 구성되고,The head-worn display device is composed of a plurality of head-worn display devices each user can wear,

각각의 머리 착용형 디스플레이 장치에서 UWB 신호를 발신하면, 상기 측위 장치에서 각각의 머리 착용형 디스플레이 장치가 지닌 ID와 함께 UWB 신호를 수신하여, 복수의 머리 착용형 디스플레이 장치의 위치를 각각 연산할 수 있다.
When each head wearable display device transmits a UWB signal, the positioning device receives the UWB signal along with the ID of each head wearable display device, so that the positions of the plurality of head wearable display devices can be calculated, respectively. have.

더욱 더 바람직하게는, 상기 상황 연산부는,Even more preferably, the situation calculation unit,

복수의 머리 착용형 디스플레이 장치의 위치 정보들을 연동하여, 각각의 위치 정보에 상호대응해 각 사용자에게 제공할 영상을 판단할 수 있다.
By interlocking position information of a plurality of head-worn display devices, an image to be provided to each user may be determined in correspondence with the respective position information.

바람직하게는, 상기 머리 착용형 디스플레이 장치는,Preferably, the head wearable display device,

상기 HMD 프레임에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라;A camera mounted on the HMD frame to capture an image in a user's gaze direction;

상기 머리 착용형 디스플레이 장치의 구동을 위한 전원을 공급하기 위한 전원 공급부;A power supply for supplying power for driving the head-worn display device;

상기 전원 공급부의 온/오프를 위한 스위치부; 및A switch unit for on/off of the power supply unit; And

복수의 상기 머리 착용형 디스플레이 장치의 위치 정보를 상호 송수신하기 위한 통신을 수행하는 통신부를 더 포함하여 구성될 수 있다.It may be configured to further include a communication unit for performing communication for mutually transmitting and receiving the location information of the plurality of the head wearable display device.

본 발명에서 제안하고 있는 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템에 따르면, 실내 공간에서의 머리 착용형 디스플레이 장치의 위치를 측정하기 위하여 UWB(Ultra Wideband) 신호를 이용함으로써, 머리 착용형 디스플레이 장치를 착용한 사용자의 위치 변화를 정확하게 측정할 수 있고, 위치 측정에 오차를 줄일 수 있으므로, 미세한 위치 변화에도 실시간으로 대응하여 사용자에게 적절한 영상이나 콘텐츠를 제공하는 것이 가능하며, 이에 따라 위험성이 높은 실내 공간 등 종래 증강현실 시뮬레이터 시스템이 사용되기에 제약이 있던 분야에서도 그 적용 가능성을 높일 수 있다.
According to the augmented reality simulator system using UWB for ultra-close position detection proposed in the present invention, by using a UWB (Ultra Wideband) signal to measure the position of a head-worn display device in an indoor space, head wearing Since it is possible to accurately measure the location change of the user wearing the type display device and reduce the error in location measurement, it is possible to provide an appropriate image or content to the user by responding in real time to even minute location changes. It is possible to increase the applicability of such a high indoor space in a field where the conventional augmented reality simulator system is limited to use.

또한, 본 발명에서 제안하고 있는 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템에 따르면, 복수의 머리 착용형 디스플레이 장치로 구성될 수 있고, 각각의 머리 착용형 디스플레이 장치에서 UWB 신호를 발신하면, 측위 장치에서 각 머리 착용형 디스플레이 장치가 지닌 ID(식별정보)와 함께 UWB 신호를 수신하여 장치들의 위치를 각각 연산할 수 있으므로, 복수의 사용자들이 한꺼번에 본 발명인 증강현실 시뮬레이터 시스템을 이용할 수 있으며, 각 사용자의 위치 정보를 연동하여 그 위치 정보에 상호대응해 사용자에게 제공할 영상이나 콘텐츠를 판단할 수도 있어, 증강현실 시뮬레이터 시스템의 활용 가능성을 더욱 높일 수 있다.In addition, according to the augmented reality simulator system using UWB for ultra-close position detection proposed in the present invention, it can be composed of a plurality of head-worn display devices, and each head-worn display device transmits UWB signals. Then, since the positioning device receives the UWB signal along with the ID (identification information) of each head wearable display device and calculates the positions of the devices, a plurality of users can use the augmented reality simulator system of the present invention at once. , By interworking with the location information of each user, the image or content to be provided to the user may be determined in correspondence with the location information, thereby further increasing the possibility of utilizing the augmented reality simulator system.

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 구성을 기능 블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 머리 착용형 디스플레이 장치 구성을 기능 블록으로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 측위 장치 구성을 기능 블록으로 도시한 도면.
도 6은 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 거리 연산부에서 OWR 방식으로 거리를 연산하는 방법을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 거리 연산부에서 TWR 방식으로 거리를 연산하는 방법을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 위치 연산부에서 삼각 측량법으로 위치를 연산하는 방법을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템에서 복수의 머리 착용형 디스플레이 장치 사이 위치 정보를 연동하는 모습을 도시한 도면.1 is a diagram showing a schematic configuration of a general glasses-type head mounted display (HMD).
2 is a diagram showing a schematic configuration of a general band-type head mounted display (HMD).
3 is a diagram showing the configuration of an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention as a functional block.
FIG. 4 is a diagram showing a configuration of a head-worn display device of an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention as a functional block.
5 is a diagram showing a configuration of a positioning device of an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention as a functional block.
6 is a diagram illustrating a method of calculating a distance in an OWR method in a distance calculating unit of an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a method of calculating a distance in a TWR method in a distance calculating unit of an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating a method of calculating a location by a triangulation method in a location calculation unit of an augmented reality simulator system using UWB for ultra-close location detection according to an embodiment of the present invention.
9 is a view showing a state in which position information is interlocked between a plurality of head-worn display devices in an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, throughout the specification, when a part is said to be connected to another part, this includes not only the case that it is directly connected, but also the case that it is indirectly connected with another element interposed therebetween. In addition, the inclusion of certain components means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

도 3은 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템(10)의 구성을 기능 블록으로 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템(10)은, 사용자의 머리에 착용되어 UWB 신호를 발신하고 증강현실을 제공하는 머리 착용형 디스플레이 장치(HMD)(100), 및 UWB 신호를 수신하여 거리정보를 연산하고, 연산된 거리정보에 기초하여 머리 착용형 디스플레이 장치(100)의 위치 정보를 연산하는 적어도 3개 이상의 측위 장치(200)를 포함하여 구성될 수 있다.
3 is a diagram showing the configuration of an augmented reality simulator system 10 using UWB for ultra-close position detection according to an embodiment of the present invention as a functional block. As shown in FIG. 3, the augmented reality simulator system 10 using UWB for ultra-close position detection according to an embodiment of the present invention is worn on the user's head to transmit UWB signals and provide augmented reality. A head wearable display device (HMD) 100 that receives a UWB signal and calculates distance information, and calculates location information of the head wearable display device 100 based on the calculated distance information. It may be configured to include a positioning device (200).

UWB(Ultra Wideband) 신호란, UWB(Ultra Wideband, 초광대역 통신)를 이용한 신호로써, UWB는 중심 주파수의 20% 이상의 점유 대역폭을 차지하는 시스템이나 500㎒ 이상의 점유 대역폭을 차지하는 무선 전송기술을 말한다. UWB는 고속 전송이 가능하고, 최대 전송 거리가 무선 랜의 10배에 해당하는 1㎞로 서비스 커버리지가 넓으며, 낮은 에너지 밀도를 가지고 있으므로 다른 서비스와의 간섭 없이 주파수를 공유할 수 있고, 높은 보안성을 가진다. 따라서 다양한 분야에서 UWB 신호가 사용되고 있는데, 특히 UWB 신호를 이용하면 정밀한 위치 인식 및 추적이 가능한바, 본 발명의 경우 UWB 신호를 이용함으로써, 증강현실 시뮬레이터의 초근접 위치를 정밀하게 측정할 수 있다. 또한, 본 발명은 UWB 신호를 이용하여 사용자의 위치를 정밀하게 측정함으로써, 증강현실뿐만 아니라, 가상현실이나 혼합현실 등에도 적용될 수 있다.
UWB (Ultra Wideband) signal is a signal using UWB (Ultra Wideband, ultra wideband communication), and UWB refers to a system that occupies more than 20% of the bandwidth occupied by the center frequency or a wireless transmission technology that occupies an occupied bandwidth of 500MHz or more. UWB is capable of high-speed transmission, has a wide service coverage with a maximum transmission distance of 1 km, which is 10 times that of a wireless LAN, and has a low energy density, so it can share frequencies without interference with other services, and has high security. Have a surname. Therefore, UWB signals are used in various fields. In particular, when using UWB signals, precise location recognition and tracking are possible.In the case of the present invention, by using UWB signals, the ultra-close position of the augmented reality simulator can be accurately measured. In addition, the present invention can be applied not only to augmented reality, but also to virtual reality or mixed reality by accurately measuring the location of the user using the UWB signal.

본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(HMD)(100)는, 사용자의 머리에 착용되면, 실제 세계와 함께 증강현실의 영상 정보를 최적화된 화면으로 사용자에게 제공할 수 있고, 측위 장치(200)가 사용자의 위치를 측정할 수 있도록 UWB(Ultra Wideband) 신호를 발신할 수 있다. 이하, 도면을 이용하여 머리 착용형 디스플레이 장치(100)의 구성에 대하여 보다 자세히 설명한다.
The head-worn display device (HMD) 100 according to an embodiment of the present invention, when worn on the user's head, can provide the user with an optimized screen with image information of augmented reality together with the real world, and positioning The device 200 may transmit an ultra wideband (UWB) signal so that the user's location may be measured. Hereinafter, the configuration of the head-worn display device 100 will be described in more detail with reference to the drawings.

도 4는 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 머리 착용형 디스플레이 장치(100) 구성을 기능 블록으로 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 머리 착용형 디스플레이 장치(100)는, 사용자가 머리에 착용할 수 있는 HMD 프레임(110), HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계(120), 측위 장치(200)에서 연산된 머리 착용형 디스플레이 장치(100)의 위치 정보에 따라서 사용자에게 제공할 영상을 판단하는 상황 연산부(130), 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 상황 연산부(130)에서 판단된 영상을 제공하는 디스플레이부(140), 및 HMD 프레임(110)의 일 측에 설치되어 UWB 신호를 발신하는 UWB 신호 발신부(150)를 포함하여 구성될 수 있고, 카메라(160), 전원 공급부(170), 스위치부(180), 및 통신부(190)를 더 포함하여 구성될 수 있다.
FIG. 4 is a diagram showing a configuration of a head-worn display device 100 of an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention as a functional block. As shown in FIG. 4, the head-worn display device 100 of an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention is an HMD that can be worn by a user on the head. The frame 110, an optical system 120 and a positioning device 200 that are arranged in front of both eyes of a user wearing the HMD frame 110, and allow the real world to be seen through the user's field of view. A situation calculation unit 130 that determines an image to be provided to the user according to the location information of the head wearable display device 100 calculated in, and the situation calculation unit 130 determines with the real world transmitted through the optical system 120 It may be configured to include a display unit 140 for providing the image, and a UWB signal transmitter 150 installed on one side of the HMD frame 110 to transmit a UWB signal, a camera 160, a power supply unit It may be configured to further include 170, a switch unit 180, and a communication unit 190.

HMD 프레임(110)은, 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 전체적인 외형을 구성하는 프레임 구성이다. 이러한 HMD 프레임(110)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, 머리 착용형 디스플레이 장치(100)가 헬멧 형태로 이루어지는 경우, 작업자의 머리에 착용되는 헬멧과 헬멧의 전방에 배치되는 디스플레이 프레임 구조로 구성될 수 있다. 또한, 머리 착용형 디스플레이 장치(100)가 고글 형태로 구성되는 경우, 작업자의 머리에 착용될 수 있는 밴드 프레임과, 밴드 프레임에 체결 고정되며 디스플레이를 포함하는 고글 프레임 구조로 구성될 수 있다.
The HMD frame 110 is a frame constituting the overall appearance of the head-worn display device 100 that the user can wear on the head. The HMD frame 110 may be configured in the form of a helmet or goggles having a frame structure that allows light to enter while the user is wearing it on the head. Here, when the head-worn display device 100 has a helmet shape, it may be configured with a helmet worn on a worker's head and a display frame structure disposed in front of the helmet. In addition, when the head-worn display device 100 is configured in the form of goggles, it may be configured with a band frame that can be worn on the head of a worker, and a goggle frame structure that is fastened and fixed to the band frame and includes a display.

광학계(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 즉, 광학계(120)는 사용자의 시야를 통해 실제 세계가 투과되어 보일 수 있는 형태로서, 가시광선 영역의 빛을 투과 및 반사할 수 있는 재질인 렌즈, 미러, 빔스플리터 등으로 구성될 수 있다.
The optical system 120 is disposed in front of both eyes of a user wearing the HMD frame 110, and is configured to allow the real world to be transmitted through the user's field of view. That is, the optical system 120 is a form in which the real world can be seen through the user's field of view, and may be formed of a lens, a mirror, a beam splitter, etc., which are materials capable of transmitting and reflecting light in the visible region.

상황 연산부(130)는, 측위 장치(200)에서 연산된 머리 착용형 디스플레이 장치(100)의 위치 정보에 따라서 사용자에게 제공할 영상을 판단할 수 있다. 즉, 측위 장치(200)에서 연산된 사용자의 위치 정보에 따라서 기입력된 영상 중 사용자에게 제공할 영상을 판단함으로써, 사용자의 실내 공간 내 위치에 대응하는 영상 등의 콘텐츠를 HMD의 디스플레이부(140)를 통하여 보여줄 수 있다. 뿐만 아니라, 측위 장치(200)에서 연산되는 사용자의 실시간 위치 정보와 미리 등록된 상황 이벤트 정보를 비교하여 사용자에게 음성 서비스 또는 알람 서비스를 제공할 수도 있다. 즉, 미리 등록된 위치에 대응하는 상황 이벤트 정보와 비교하여 알림 여부를 판단하고, 판단 결과에 따라 영상과 함께 적절한 음성 서비스 또는 알람 서비스를 제공할 수 있다.
The context calculator 130 may determine an image to be provided to the user according to the location information of the head-worn display device 100 calculated by the positioning device 200. That is, by determining an image to be provided to the user among the previously input images according to the user's location information calculated by the positioning device 200, the display unit 140 of the HMD displays content such as an image corresponding to the user's indoor space. ) Through. In addition, a voice service or an alarm service may be provided to the user by comparing real-time location information of the user calculated by the positioning device 200 with pre-registered situation event information. That is, it is possible to determine whether a notification is notified by comparing it with situation event information corresponding to a previously registered location, and provide an appropriate audio service or an alarm service along with an image according to the determination result.

상황 연산부(130)에서 제공하는 음성 또는 알람 서비스는, 미리 등록된 실내 지도 정보 내에서, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 위치의 매핑에 대응하여 다양한 이벤트로 제공될 수 있다. 예를 들면, 사용자가 위험 위치에 진입하는 경우를 판단하고 경고 메시지를 출력할 수 있으며, 실시간으로 사용자의 위치 정보를 추적하면서 위치에 따른 적절한 대응을 위하여 안내 영상 등의 콘텐츠를 추가적으로 제공할 수도 있다. 한편, 상황 연산부(130)에서 판단하여 사용자에게 제공되는 콘텐츠는, 실내 지도 내에서 사용자의 위치가 매핑되는 지점에 따라 미리 등록될 수 있으며, 필요 시 기등록된 서비스를 변경하거나 새로운 서비스를 추가적으로 등록할 수도 있다.
The voice or alarm service provided by the context operation unit 130 may be provided as various events in response to mapping of a location of a user wearing the head-worn display device 100 within pre-registered indoor map information. For example, it is possible to determine when a user enters a dangerous location and to output a warning message, and while tracking the user's location information in real time, it is also possible to additionally provide content such as a guide video for an appropriate response according to the location. . On the other hand, the content determined by the context calculation unit 130 and provided to the user may be registered in advance according to the point to which the user's location is mapped in the indoor map, and if necessary, the registered service may be changed or a new service is additionally registered. You may.

또한, 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템(10)은, 사용자에게 음성 또는 알람 서비스를 제공하는 헤드셋 또는 스피커를 포함할 수 있다. 따라서, 사용자는 원격지에서 지원하는 관리자 등으로부터 지시사항을 전달받을 수 있고, 필요에 따라 원격 관리자와 원활한 소통을 위해, 음성 통신이 가능한 마이크 등을 더 포함할 수 있다.
In addition, the augmented reality simulator system 10 using UWB for ultra-close location detection according to an embodiment of the present invention may include a headset or speaker that provides a voice or alarm service to a user. Accordingly, the user may receive instructions from a manager or the like supported by a remote location, and if necessary, a microphone capable of voice communication may be further included for smooth communication with the remote manager.

디스플레이부(140)는, 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 상황 연산부(130)에서 판단된 영상을 사용자에게 제공할 수 있다. 즉, 황 연산부(130)에서 판단된 영상 등의 콘텐츠가 실제 세계와 어우러져 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 디스플레이부(140)는 필요에 따라 조도 센서와 연동될 수 있으며, 주변 조도에 따라 출력되는 영상 광이 제어되어, 최적의 증강현실 영상이 제공되도록 할 수 있다. 또한, 사용자에게 현재 위치 정보를 알려주기 위하여, 미리 등록된 실내 지도에 사용자의 위치를 매핑하여 표시하는 출력부를 더 포함할 수도 있다.
The display unit 140 may provide a user with an image determined by the context calculator 130 along with the real world transmitted through the optical system 120. That is, the image light may be output so that content such as an image determined by the sulfur calculator 130 is harmonized with the real world and provided as an optimized screen to the user. The display unit 140 may be interlocked with an illuminance sensor as needed, and image light output according to ambient illuminance may be controlled to provide an optimal augmented reality image. In addition, in order to inform the user of the current location information, an output unit for mapping and displaying the user's location on a pre-registered indoor map may be further included.

UWB 신호 발신부(150)는, HMD 프레임(110)의 일 측에 설치되어 UWB 신호를 발신하는 구성이다. 즉, RTLS(real-time location system) UWB 모듈로서, 일정 시간 주기 예를 들어, 100[㎳] 시간 주기로 전송되는 무선신호를 전송할 수 있으며, HMD 프레임(110)에 부착될 수 있다. 부착 위치는 머리 착용형 디스플레이 장치(100)의 위치를 가장 정확하게 측정할 수 있고 UWB 신호를 발신하는 데 장애가 없는 위치로서, 사용자의 양안이 위치하는 부분 사이의 중앙에 부착되거나, 좌측이나 우측 측면에 부착될 수도 있다. 또한, UWB 신호 발신부(150)는, HMD 프레임(110)에 탈부착이 가능한 형태로 적용될 수 있다.
The UWB signal transmitter 150 is installed on one side of the HMD frame 110 to transmit a UWB signal. That is, as a real-time location system (RTLS) UWB module, a radio signal transmitted at a predetermined time period, for example, 100 [ms] time period may be transmitted, and may be attached to the HMD frame 110. The attachment position is a position that can most accurately measure the position of the head-worn display device 100 and has no obstacles in transmitting the UWB signal, and is attached to the center between the part where both eyes of the user are located, or on the left or right side. It can also be attached. In addition, the UWB signal transmitter 150 may be applied to the HMD frame 110 in a form that is detachable.

본 발명의 일실시예에 따른 측위 장치(200)는, 머리 착용형 디스플레이 장치(100)로부터 UWB 신호를 수신하여 거리정보를 연산하고, 연산된 거리정보에 기초하여 머리 착용형 디스플레이 장치(100)의 위치 정보를 연산할 수 있다. 뿐만 아니라, 측위 장치(200)는 그 위치가 움직임 없이 고정되어 있어야 하고, 위치 정보를 연산하기 위하여 복수 개가 필요한바, 바람직하게는 3개 또는 4개의 측위 장치(200)로 구성될 수 있다. 이하, 도면을 이용하여 측위 장치(200)의 구성에 대하여 보다 자세히 설명한다.
The positioning device 200 according to an embodiment of the present invention calculates distance information by receiving a UWB signal from the head wearable display device 100, and the head wearable display device 100 based on the calculated distance information. The location information of can be calculated. In addition, since the position of the positioning device 200 must be fixed without movement, and a plurality of positioning devices are required to calculate the position information, it may be preferably composed of three or four positioning devices 200. Hereinafter, the configuration of the positioning device 200 will be described in more detail with reference to the drawings.

도 5는 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 측위 장치(200) 구성을 기능 블록으로 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 측위 장치(200)는, UWB 신호 발신부(150)로부터 UWB 신호를 수신하는 UWB 신호 수신부(210), UWB 신호 수신부(210)에서 수신된 UWB 신호로부터 머리 착용형 디스플레이 장치(100)와 측위 장치(200) 사이의 거리정보를 연산하는 거리 연산부(220), 거리 연산부(220)에서 연산된 거리정보에 기초하여 머리 착용형 디스플레이 장치(100)의 위치 정보를 연산하는 위치 연산부(230), 및 위치 연산부(230)에서 연산된 위치 정보를 상황 연산부(130)로 내보내는 전송부(240)를 포함하여 구성될 수 있다.
5 is a diagram showing a configuration of a positioning device 200 of an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention as a functional block. As shown in Figure 5, the positioning device 200 of the augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention receives a UWB signal from the UWB signal transmitter 150 The UWB signal receiving unit 210, the distance calculating unit 220 for calculating distance information between the head wearable display device 100 and the positioning device 200 from the UWB signal received from the UWB signal receiving unit 210, and the distance calculating unit ( A location calculation unit 230 that calculates the location information of the head wearable display device 100 based on the distance information calculated by 220, and a transmission that sends the location information calculated by the location calculation unit 230 to the context calculation unit 130 It may be configured to include the unit 240.

UWB 신호 수신부(210)는, UWB 신호 발신부(150)로부터 UWB 신호를 수신하는 구성이다. 복수의 지점에서 UWB 신호가 수신되어야 하는바, 바람직하게는 3곳 또는 4곳에서 UWB 신호를 수신할 수 있다. 즉, 복수의 UWB 신호 수신부(210)는, 일정 시간 주기로 발신된 UWB 신호(식별정보 포함)를 각각 수신함으로써, 발신된 시각으로부터 각 UWB 신호 수신부(210)에서 수신된 시각까지 소요된 시간 정보를 알 수 있다. 이때, 복수의 UWB 신호 수신부(210)들은 서로 동기화된 상태일 수 있으며, 복수의 UWB 신호 수신부(210) 중 어느 하나가 마스터 UWB 신호 수신부인 경우, 마스터 UWB 신호 수신부가 UWB 신호 발신부(150)에 동기화 신호를 주어 발신 시간을 조절함으로써, UWB 신호 발신부(150) 각각은 발신 제어 신호에 따라 UWB 신호를 발신할 수 있고 UWB 신호 간의 간섭을 최소화할 수 있다. 따라서, 정확한 거리 계산이 가능하고, 복수의 머리 착용형 디스플레이 장치(100)들을 동시에 운용할 수도 있다.
The UWB signal receiving unit 210 is configured to receive a UWB signal from the UWB signal transmitting unit 150. The UWB signal must be received at a plurality of points, and preferably, the UWB signal may be received at three or four locations. That is, the plurality of UWB signal receivers 210 each receive UWB signals (including identification information) transmitted at a predetermined time period, so that time information from the transmitted time to the time received by each UWB signal receiver 210 is stored. Able to know. At this time, the plurality of UWB signal receivers 210 may be in a state in synchronization with each other, and if any one of the plurality of UWB signal receivers 210 is a master UWB signal receiver, the master UWB signal receiver is a UWB signal transmitter 150 By giving a synchronization signal to and adjusting the transmission time, each of the UWB signal transmitters 150 can transmit UWB signals according to the transmission control signal and minimize interference between UWB signals. Accordingly, accurate distance calculation is possible, and a plurality of head-worn display devices 100 may be simultaneously operated.

거리 연산부(220)는, UWB 신호 수신부(210)에서 수신된 UWB 신호와 시간 정보로부터 머리 착용형 디스플레이 장치(100)와 측위 장치(200) 사이의 거리정보를 연산할 수 있다. 다만, 실시간적인 실내 환경 변화와 전파 노이즈로 인해 실제와의 오차는 필연적으로 발생할 수밖에 없는바, 거리 연산부(220)는 오차를 줄이기 위하여, 수집한 UWB 신호 중 불안정 데이터를 필터링하거나 노이즈 제거 및 분류 등의 보정 작업을 할 수 있다. 이로써 실제 실내 환경에서 전파가 장애물들을 관통하면서 약해지는 신호를 보완할 수 있으며, 칼만 필터 또는 파티클 필터 등의 필터링 기술을 적용하여 정확한 거리정보를 연산할 수 있다.
The distance calculating unit 220 may calculate distance information between the head-worn display device 100 and the positioning device 200 from the UWB signal and time information received by the UWB signal receiving unit 210. However, due to real-time changes in the indoor environment and radio noise, errors from the real world inevitably occur.In order to reduce the error, the distance calculator 220 filters unstable data from the collected UWB signals, removes noise, and classifies them. You can do the correction work. As a result, it is possible to compensate for a signal that weakens as radio waves penetrate obstacles in an actual indoor environment, and a filtering technique such as a Kalman filter or a particle filter can be applied to calculate accurate distance information.

거리 연산부(220)는, 보정된 최종 데이터를 이용하여 OWR(One-Way Ranging) 방식 또는 TWR(Two-Way Ranging) 방식에 의하여 머리 착용형 디스플레이 장치(100)와 측위 장치(200) 사이의 거리를 연산할 수 있다. 이하 도면을 이용하여 OWR 방식과 TWR 방식에 대하여 더욱 자세히 설명한다.
The distance calculation unit 220 uses the corrected final data to determine the distance between the head-worn display device 100 and the positioning device 200 by a One-Way Ranging (OWR) method or a Two-Way Ranging (TWR) method. Can be calculated. Hereinafter, the OWR method and the TWR method will be described in more detail with reference to the drawings.

도 6은 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 거리 연산부(220)에서 OWR 방식으로 거리를 연산하는 방법을 도시한 도면이다. 도 6에 도시된 바와 같이, OWR(One-Way Ranging) 방식에 의하면, UWB 신호 발신부(150)에서 UWB 신호를 발신하고, 각 UWB 신호 수신부(210)에서는 UWB 신호를 수신하여, 발신부터 수신까지 소요된 시간 정보를 알 수 있으며, 시간 정보에 UWB 신호의 속도를 곱하면, 머리 착용형 디스플레이 장치(100)에서부터 각각의 측위 장치(200)까지의 거리를 연산할 수 있다.
6 is a diagram illustrating a method of calculating a distance in an OWR method in a distance calculating unit 220 of an augmented reality simulator system using UWB for detecting an ultra-close position according to an embodiment of the present invention. As shown in Fig. 6, according to the OWR (One-Way Ranging) method, the UWB signal transmitter 150 transmits the UWB signal, and each UWB signal receiver 210 receives the UWB signal and receives from the transmission. It is possible to know the time taken until the time information, by multiplying the time information by the speed of the UWB signal, it is possible to calculate the distance from the head wearable display device 100 to each positioning device 200.

도 7은 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 거리 연산부에서 TWR 방식으로 거리를 연산하는 방법을 도시한 도면이다. 도 7에 도시된 바와 같이, TWR(Two-Way Ranging) 방식에 의하면, UWB 신호 발신부(150)와 각 UWB 신호 수신부(210)가 복수 번 UWB 신호를 주고받으면서 발신부터 수신까지 소요된 시간 정보들을 공유할 수 있고, 시간 정보의 오차를 없앨 수 있다. 시간 정보를 연산한 후에는, OWR 방식에서와 마찬가지로, 시간 정보에 UWB 신호의 속도를 곱하여, 머리 착용형 디스플레이 장치(100)에서부터 각각의 측위 장치(200)까지의 거리를 연산할 수 있다.
FIG. 7 is a diagram illustrating a method of calculating a distance in a TWR method in a distance calculating unit of an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention. As shown in Figure 7, according to the TWR (Two-Way Ranging) method, UWB signal transmitting unit 150 and each UWB signal receiving unit 210, while sending and receiving UWB signal multiple times, information on the time taken from transmission to reception Can be shared, and the error of time information can be eliminated. After calculating the time information, as in the OWR method, the distance from the head-worn display device 100 to each positioning device 200 may be calculated by multiplying the time information by the speed of the UWB signal.

위치 연산부(230)는, 거리 연산부(220)에서 연산된 거리정보에 기초하여 머리 착용형 디스플레이 장치(100)의 위치 정보를 연산할 수 있다. 도 8은 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 위치 연산부(230)에서 삼각 측량법으로 위치를 연산하는 방법을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 위치 연산부(230)는, 거리 연산부(220)에서 연산된 거리정보에 기초해 삼각 측량법(Triangulation)을 이용하여 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 위치 정보를 연산할 수 있으며, 그 외에도 핑거프린팅(Fingerprinting) 또는 Cell-ID 방식을 이용하거나 이들의 결합한 방식을 이용할 수 있다.
The location calculation unit 230 may calculate location information of the head wearable display device 100 based on the distance information calculated by the distance calculation unit 220. FIG. 8 is a diagram illustrating a method of calculating a location by a triangulation method in a location calculation unit 230 of an augmented reality simulator system using UWB for detecting an ultra-close location according to an embodiment of the present invention. As shown in FIG. 8, the position calculation unit 230 of the augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention is based on the distance information calculated by the distance calculation unit 220. The location information of the user wearing the head-worn display device 100 can be calculated using triangulation, and in addition, a fingerprinting or Cell-ID method is used, or a combination thereof is used. Can be used.

위치 연산부(230)는, UWB 신호의 발신에서 수신까지 소요된 시간 정보들을 통해 거리를 연산한 후 사용자의 위치를 연산하는 상기의 방식 외에도, TDOA(Time Difference Of Arrival) 방식을 이용하여 사용자의 위치를 연산할 수도 있다. TDOA 방식을 이용하면, 복수의 UWB 신호 수신부(210)까지 UWB 신호가 도착하는 데 소요되는 시간의 차이를 이용하여 사용자의 위치를 연산할 수 있다.
In addition to the above method of calculating the user's location after calculating the distance based on the time information taken from the transmission to the reception of the UWB signal, the location calculation unit 230 uses a Time Difference Of Arrival (TDOA) method to determine the location of the user. You can also compute If the TDOA method is used, the user's location may be calculated using a difference in time required for the UWB signals to arrive to the plurality of UWB signal receivers 210.

전송부(240)는, 위치 연산부(230)에서 연산된 사용자의 위치 정보를 상황 연산부(130)로 내보낼 수 있다. 보다 구체적으로, 전송부(240)는 상황 연산부(130)와 무선으로 통신하여, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 실시간 위치 정보를 상황 연산부(130)로 전송할 수 있다.
The transmission unit 240 may export the user's location information calculated by the location calculation unit 230 to the context calculation unit 130. More specifically, the transmission unit 240 may wirelessly communicate with the situation calculation unit 130 to transmit real-time location information of a user wearing the head-worn display device 100 to the situation calculation unit 130.

본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 머리 착용형 디스플레이 장치(100)는, 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)로 구성될 수 있으며, 이 경우 각각의 머리 착용형 디스플레이 장치(100)에서 UWB 신호를 발신하면, 측위 장치(200)에서 각각의 머리 착용형 디스플레이 장치(100)가 지닌 ID(식별정보)와 함께 UWB 신호를 수신하여, 복수의 머리 착용형 디스플레이 장치(100)의 위치를 각각 연산할 수 있다.
The head-worn display device 100 of an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention includes a plurality of head-worn display devices 100 that can be worn by users, respectively. In this case, when the UWB signal is transmitted from each head wearable display device 100, the positioning device 200 together with the ID (identification information) of each head wearable display device 100 By receiving the UWB signal, the positions of the plurality of head-worn display devices 100 may be calculated, respectively.

도 9는 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템에서 복수의 머리 착용형 디스플레이 장치 사이 위치 정보를 연동하는 모습을 도시한 도면이다. 도 9에 도시된 바와 같이, 측위 장치(200)의 UWB 신호 수신부(210)에서 ID(식별정보)와 함께 UWB 신호를 수신할 수 있으므로, 복수의 사용자들이 동시에 본 발명인 증강현실 시뮬레이터 시스템을 이용하는 것이 가능하며, 복수의 머리 착용형 디스플레이 장치(100)의 위치 정보들을 서로 연동시켜, 각각의 위치 정보에 상호대응해 각 사용자에게 제공할 영상을 판단할 수 있다.
FIG. 9 is a diagram illustrating a state in which location information is interlocked between a plurality of head-worn display devices in an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention. As shown in Fig. 9, since the UWB signal receiving unit 210 of the positioning device 200 can receive the UWB signal together with the ID (identification information), it is possible for a plurality of users to use the augmented reality simulator system of the present invention at the same time. It is possible, and by interlocking the location information of the plurality of head-worn display devices 100 with each other, it is possible to determine an image to be provided to each user in response to the respective location information.

뿐만 아니라, UWB 신호 발신부(150)에서 무선 UWB 신호를 전송하는 시간이 외부 기기 예를 들어, 마스터 기기에 의해 제어될 수 있으며, 이에 따라 복수의 사용자들이 착용하는 머리 착용형 디스플레이 장치(100)들 각각에서 전송되는 UWB 신호가 간섭 또는 중첩되어 발생할 수 있는 오류를 방지하고, 일정 실내 공간에 배치된 측위 장치(200)들과 사용자별 머리 착용형 디스플레이 장치(100) 간의 정확한 거리 및 위치를 연산할 수 있다.
In addition, the time at which the UWB signal transmitter 150 transmits the wireless UWB signal may be controlled by an external device, for example, a master device, and accordingly, the head-worn display device 100 worn by a plurality of users Prevent errors that may occur due to interference or overlapping of UWB signals transmitted from each of them, and calculate the exact distance and position between the positioning devices 200 arranged in a certain indoor space and the head-worn display device 100 for each user can do.

본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템의 머리 착용형 디스플레이 장치(100)는, HMD 프레임(110), 광학계(120), 상황 연산부(130), 디스플레이부(140), 및 UWB 신호 발신부(150) 외에도, HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(160), 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(170), 전원 공급부(170)의 온/오프를 위한 스위치부(180), 및 복수의 머리 착용형 디스플레이 장치(100)의 위치 정보를 상호 송수신하기 위한 통신을 수행하는 통신부(190)를 더 포함하여 구성될 수 있다.
The head-worn display device 100 of an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention includes an HMD frame 110, an optical system 120, a context operation unit 130, In addition to the display unit 140 and the UWB signal transmitting unit 150, the camera 160 is mounted on the HMD frame 110 to capture an image in the user's gaze direction, and the head-worn display device 100 is driven. A power supply unit 170 for supplying power for, a switch unit 180 for on/off of the power supply unit 170, and communication for mutually transmitting and receiving location information of a plurality of head wearable display devices 100 It may be configured to further include a communication unit 190 to perform.

또한, 본 발명의 일실시예에 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템(10)은, 사용자가 위치한 위치 정보에 따라서 카메라(160)에 의해 촬영되는 일정 실내 공간에 있는 오브젝트를 판단할 수 있고, 판단된 오브젝트의 정보에 기초하여 기입력된 콘텐츠 중에서 오브젝트에 대응하는 콘텐츠를 디스플레이부(140)에 출력하여 사용자에게 제공할 수 있다. 뿐만 아니라, 카메라의 시선 각도에 맞춰 사용자에게 제공되는 콘텐츠의 위치 등을 변화시켜 디스플레이시킴으로써, 시선 각도와 디스플레이되는 콘텐츠를 일치시킬 수 있고, 이를 통해 콘텐츠가 실제 세계와 어우러져 자연스럽게 디스플레이될 수 있다.
In addition, the augmented reality simulator system 10 using UWB for ultra-close position detection according to an embodiment of the present invention is an object in a certain indoor space photographed by the camera 160 according to the location information where the user is located. May be determined, and the content corresponding to the object among the previously input content may be output to the display unit 140 and provided to the user based on the determined object information. In addition, by changing and displaying the location of the content provided to the user according to the gaze angle of the camera, the gaze angle and the displayed content can be matched, and through this, the content can be displayed naturally in harmony with the real world.

본 발명인 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템(10)을 이용함으로써, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 미세한 위치 변화도 정확하게 검출할 수 있으며, 따라서 종래에 사용되기 어려웠던 위험한 산업현장 또는 정교함이 요구되는 엔터테인먼트 활동 분야 등에도 본 발명이 사용될 수 있다. 예를 들면, 앞이 잘 보이지 않는 산업현장에서도 사용자의 위치에 따라 필요한 작업 영상을 제공할 수 있고, 이를 실제 세계와 실시간으로 비교할 수 있으며, 사용자의 미세한 위치 변화를 실시간으로 추적하고 이에 대응하여 적절한 영상이나 음성을 변화시켜 제공할 수도 있다.
By using the augmented reality simulator system 10 using UWB for the present inventor's ultra-close position detection, it is possible to accurately detect a minute change in the position of the user wearing the head-worn display device 100, and therefore, it is used in the prior art. The present invention may be used in a dangerous industrial site that was difficult to become or an entertainment activity field that requires sophistication. For example, even in an industrial site where the front is difficult to see, it is possible to provide a necessary work image according to the user's location, and it can be compared with the real world in real time. It can also be provided by changing the video or audio.

상술한 바와 같이, 본 발명의 일실시예 따른 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템에 따르면, 실내 공간에서의 머리 착용형 디스플레이 장치의 위치를 측정하기 위하여 UWB(Ultra Wideband) 신호를 이용함으로써, 머리 착용형 디스플레이 장치를 착용한 사용자의 위치 변화를 정확하게 측정할 수 있고, 위치 측정에 오차를 줄일 수 있으므로, 미세한 위치 변화에도 실시간으로 대응하여 사용자에게 적절한 영상이나 콘텐츠를 제공하는 것이 가능하며, 이에 따라 위험성이 높은 실내 공간 등 종래 증강현실 시뮬레이터 시스템이 사용되기에 제약이 있던 분야에서도 그 적용 가능성을 높일 수 있다.
As described above, according to an augmented reality simulator system using UWB for ultra-close position detection according to an embodiment of the present invention, an ultra wideband (UWB) signal is used to measure the position of a head-worn display device in an indoor space. By using, it is possible to accurately measure the position change of a user wearing a head-worn display device, and to reduce an error in position measurement, it is necessary to provide an appropriate image or content to the user by responding in real time to minute position changes. It is possible, and accordingly, it is possible to increase the applicability of the conventional augmented reality simulator system, such as a high-risk indoor space, to a field where there is a limitation in use.

또한, 본 발명은 복수의 머리 착용형 디스플레이 장치로 구성될 수 있고, 각각의 머리 착용형 디스플레이 장치에서 UWB 신호를 발신하면, 측위 장치에서 각 머리 착용형 디스플레이 장치가 지닌 ID(식별정보)와 함께 UWB 신호를 수신하여 장치들의 위치를 각각 연산할 수 있으므로, 복수의 사용자들이 한꺼번에 본 발명인 증강현실 시뮬레이터 시스템을 이용할 수 있으며, 각 사용자의 위치 정보를 연동하여 그 위치 정보에 상호대응해 사용자에게 제공할 영상이나 콘텐츠를 판단할 수도 있어, 증강현실 시뮬레이터 시스템의 활용 가능성을 더욱 높일 수 있다.
In addition, the present invention may consist of a plurality of head-worn display devices, and when UWB signals are transmitted from each head-worn display device, the positioning device together with the ID (identification information) of each head-worn display device Since the UWB signal can be received and the positions of the devices can be calculated respectively, a plurality of users can use the augmented reality simulator system of the present invention at once, and the location information of each user can be interlocked and provided to the user in response to the location information. It is also possible to determine the image or content, it is possible to further increase the possibility of using the augmented reality simulator system.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those of ordinary skill in the technical field to which the present invention belongs, and the scope of the technical idea according to the present invention should be determined by the following claims.

10: 증강현실 시뮬레이터 시스템
100: 머리 착용형 디스플레이 장치(HMD)
110: HMD 프레임
120: 광학계
130: 상황 연산부
140: 디스플레이부
150: UWB 신호 발신부
160: 카메라
170: 전원 공급부
180: 스위치부
190: 통신부
200: 측위 장치
210: UWB 신호 수신부
220: 거리 연산부
230: 위치 연산부
240: 전송부10: Augmented Reality Simulator System
100: head-worn display device (HMD)
110: HMD frame
120: optical system
130: situation operation unit
140: display unit
150: UWB signal transmitter
160: camera
170: power supply
180: switch unit
190: Ministry of Communications
200: positioning device
210: UWB signal receiver
220: distance calculation unit
230: position calculation unit
240: transmission unit

Claims (8)

증강현실 시뮬레이터 시스템(10)로서,
사용자의 머리에 착용되어 UWB 신호를 발신하고 증강현실을 제공하는 머리 착용형 디스플레이 장치(HMD)(100); 및
상기 UWB 신호를 수신하여 거리정보를 연산하고, 연산된 거리정보에 기초하여 상기 머리 착용형 디스플레이 장치(100)의 위치 정보를 연산하는 적어도 3개 이상의 측위 장치(200)를 포함하며,
상기 머리 착용형 디스플레이 장치(100)는,
사용자가 머리에 착용할 수 있는 HMD 프레임(110);
상기 HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계(120);
상기 측위 장치(200)에서 연산된 머리 착용형 디스플레이 장치(100)의 위치 정보에 따라서 사용자에게 제공할 영상을 판단하는 상황 연산부(130);
상기 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 상기 상황 연산부(130)에서 판단된 영상을 제공하는 디스플레이부(140);
상기 HMD 프레임(110)의 일 측에 탈부착이 가능하게 설치되어 UWB 신호를 발신하는 UWB 신호 발신부(150);
상기 HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(160);
상기 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(170);
상기 전원 공급부(170)의 온/오프를 위한 스위치부(180); 및
복수의 상기 머리 착용형 디스플레이 장치(100)의 위치 정보를 상호 송수신하기 위한 통신을 수행하는 통신부(190)를 포함하고,
상기 디스플레이부(140)는,
조도 센서와 연동되어 주변 조도에 따라 출력되는 영상 광을 제어하며,
상기 측위 장치(200)는,
상기 UWB 신호 발신부(150)로부터 UWB 신호를 수신하는 UWB 신호 수신부(210);
상기 UWB 신호 수신부(210)에서 수신된 UWB 신호로부터 상기 머리 착용형 디스플레이 장치(100)와 상기 측위 장치(200) 사이의 거리정보를 연산하는 거리 연산부(220);
상기 거리 연산부(220)에서 연산된 거리정보에 기초하여 상기 머리 착용형 디스플레이 장치(100)의 위치 정보를 연산하는 위치 연산부(230); 및
상기 위치 연산부(230)에서 연산된 위치 정보를 상기 상황 연산부(130)로 내보내는 전송부(240)를 포함하며,
상기 거리 연산부(220)는,
OWR(One-Way Ranging) 방식으로서, 상기 UWB 신호 발신부(150)에서 UWB 신호를 발신하고, 상기 UWB 신호 수신부(210)에서는 상기 UWB 신호를 수신하여, 시간 정보를 통해 상기 머리 착용형 디스플레이 장치(100)와 상기 측위 장치(200) 사이의 거리를 연산하는 방식, 또는 TWR(Two-Way Ranging) 방식으로서, 상기 UWB 신호 발신부(150)와 상기 UWB 신호 수신부(210)가 복수 번 UWB 신호를 주고받으면서 시간 정보를 공유하여 시간 오차를 없애고 상기 머리 착용형 디스플레이 장치(100)와 상기 측위 장치(200) 사이의 거리를 연산하는 방식을 이용하고,
상기 위치 연산부(230)는,
상기 거리 연산부(220)에서 연산된 거리정보에 기초하여 삼각 측량법을 이용하여 상기 머리 착용형 디스플레이 장치(100)의 위치 정보를 연산하며,
상기 상황 연산부(130)는,
상기 측위 장치(200)에서 연산된 머리 착용형 디스플레이 장치(100)의 위치 정보에 따라서 기입력된 영상 중 사용자에게 제공할 영상을 판단하고, 판단된 영상에 따라서 음성 서비스 또는 알람 서비스를 함께 제공하되,
상기 상황 연산부(130)에서 제공하는 음성 서비스 또는 알람 서비스는,
미리 등록된 실내 지도 정보 내에서 상기 머리 착용형 디스플레이 장치(100)의 위치의 매핑에 대응하여, 사용자가 위험 위치에 진입하는 경우를 판단하고 경고 메시지를 출력하며,
상기 머리 착용형 디스플레이 장치(100)는, 사용자들이 각각 착용할 수 있는 복수의 머리 착용형 디스플레이 장치(100)로 구성되고,
각각의 머리 착용형 디스플레이 장치(100)에서 UWB 신호를 발신하면, 상기 측위 장치(200)에서 각각의 머리 착용형 디스플레이 장치(100)가 지닌 ID와 함께 UWB 신호를 수신하여, 복수의 머리 착용형 디스플레이 장치(100)의 위치를 각각 연산하며,
상기 상황 연산부(130)는,
복수의 머리 착용형 디스플레이 장치(100)의 위치 정보들을 연동하여, 각각의 위치 정보에 상호대응해 각 사용자에게 제공할 영상을 판단하고,
사용자가 위치한 위치 정보에 따라서 상기 카메라(160)에 의해 촬영되는 일정 실내 공간에 있는 오브젝트를 판단하고, 판단된 오브젝트의 정보에 기초하여 기입력된 콘텐츠 중에서 상기 오브젝트에 대응하는 콘텐츠를 상기 디스플레이부(140)에 출력하여 사용자에게 제공하되, 상기 카메라(160)의 시선 각도에 맞춰 사용자에게 제공되는 상기 콘텐츠의 위치를 변화시켜 디스플레이시킴으로써, 시선 각도와 디스플레이되는 콘텐츠를 일치시켜 제공하는 것을 특징으로 하는, 초근접 위치 검출을 위한 UWB를 활용한 증강현실 시뮬레이터 시스템(10).As an augmented reality simulator system 10,
A head-worn display device (HMD) 100 that is worn on the user's head to transmit a UWB signal and provide augmented reality; And
It includes at least three or more positioning devices 200 that receive the UWB signal to calculate distance information, and calculate position information of the head-worn display device 100 based on the calculated distance information,
The head wearable display device 100,
HMD frame 110 that the user can wear on the head;
An optical system 120 disposed in front of both eyes of a user wearing the HMD frame 110 and allowing the real world to be transmitted through the user's field of view;
A context calculating unit 130 for determining an image to be provided to a user according to the location information of the head wearable display device 100 calculated by the positioning device 200;
A display unit 140 for providing an image determined by the situation calculation unit 130 together with the real world transmitted through the optical system 120;
A UWB signal transmitter 150 that is detachably installed on one side of the HMD frame 110 to transmit a UWB signal;
A camera 160 mounted on the HMD frame 110 to capture an image in the user's gaze direction;
A power supply unit 170 for supplying power for driving the head-worn display device 100;
A switch unit 180 for on/off of the power supply unit 170; And
Including a communication unit 190 for performing communication for mutually transmitting and receiving the location information of the plurality of head wearable display device 100,
The display unit 140,
Interlocks with the illuminance sensor to control the image light output according to the ambient illuminance,
The positioning device 200,
A UWB signal receiving unit 210 for receiving a UWB signal from the UWB signal transmitting unit 150;
A distance calculating unit 220 for calculating distance information between the head-worn display device 100 and the positioning device 200 from the UWB signal received by the UWB signal receiving unit 210;
A position calculating unit 230 for calculating position information of the head-worn display device 100 based on the distance information calculated by the distance calculating unit 220; And
It includes a transmission unit 240 for exporting the location information calculated by the location calculation unit 230 to the situation calculation unit 130,
The distance calculating unit 220,
As an OWR (One-Way Ranging) method, the UWB signal transmitter 150 transmits a UWB signal, and the UWB signal receiver 210 receives the UWB signal, and the head-worn display device through time information As a method of calculating a distance between 100 and the positioning device 200, or a two-way ranging (TWR) method, the UWB signal transmitter 150 and the UWB signal receiver 210 are configured to receive a UWB signal multiple times. Using a method of removing time errors by sharing time information while exchanging and receiving and calculating a distance between the head-worn display device 100 and the positioning device 200,
The position calculation unit 230,
Based on the distance information calculated by the distance calculating unit 220, the position information of the head-worn display device 100 is calculated using a triangulation method,
The situation calculation unit 130,
According to the location information of the head wearable display device 100 calculated by the positioning device 200, an image to be provided to the user is determined among the previously input images, and a voice service or an alarm service is provided according to the determined image. ,
The voice service or alarm service provided by the situation operation unit 130,
In response to the mapping of the location of the head wearable display device 100 within the indoor map information registered in advance, it is determined when the user enters a dangerous location and outputs a warning message,
The head-worn display device 100 is composed of a plurality of head-worn display devices 100 that users can wear, respectively,
When each head wearable display device 100 transmits a UWB signal, the positioning device 200 receives the UWB signal along with the ID of each head wearable display device 100, and a plurality of head wearable displays Each position of the display device 100 is calculated,
The situation calculation unit 130,
By interlocking the location information of the plurality of head-worn display apparatuses 100, the image to be provided to each user is determined in correspondence with each location information,
The display unit determines an object in a certain indoor space photographed by the camera 160 according to the location information in which the user is located, and displays a content corresponding to the object among pre-input contents based on the determined object information. 140) and provided to the user, but by changing and displaying the location of the content provided to the user according to the gaze angle of the camera 160, the gaze angle and the displayed content are matched and provided, Augmented reality simulator system using UWB for ultra-close location detection (10). 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020190112742A 2019-09-11 2019-09-11 Simulator system with augmented reality for detecting location at close-range using uwb signal KR102235902B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190112742A KR102235902B1 (en) 2019-09-11 2019-09-11 Simulator system with augmented reality for detecting location at close-range using uwb signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190112742A KR102235902B1 (en) 2019-09-11 2019-09-11 Simulator system with augmented reality for detecting location at close-range using uwb signal

Publications (2)

Publication Number Publication Date
KR20210031153A KR20210031153A (en) 2021-03-19
KR102235902B1 true KR102235902B1 (en) 2021-04-05

Family

ID=75261993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190112742A KR102235902B1 (en) 2019-09-11 2019-09-11 Simulator system with augmented reality for detecting location at close-range using uwb signal

Country Status (1)

Country Link
KR (1) KR102235902B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11990067B2 (en) 2021-09-15 2024-05-21 Samsung Electronics Co., Ltd. Method and device to display extended screen of mobile device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220170152A (en) * 2021-06-22 2022-12-29 삼성전자주식회사 Method and apparatus for providing uwb (ultra wide band) service
CN113778230A (en) * 2021-09-14 2021-12-10 Oppo广东移动通信有限公司 Information interaction method, device, equipment and storage medium
KR102643356B1 (en) * 2022-09-06 2024-03-07 엘지전자 주식회사 Portable sound device, display device and controlling method of the display device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101787508B1 (en) 2016-04-27 2017-11-16 (주)그린광학 Smart work cap and method thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101420016B1 (en) * 2012-11-07 2014-07-17 충남대학교산학협력단 System and method for determinating location in network based location
KR20160017593A (en) * 2014-08-06 2016-02-16 넥시스 주식회사 Method and program for notifying emergency exit by beacon and wearable glass device
KR102570208B1 (en) * 2018-01-02 2023-08-25 엘지전자 주식회사 System for providing virtual model house

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101787508B1 (en) 2016-04-27 2017-11-16 (주)그린광학 Smart work cap and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11990067B2 (en) 2021-09-15 2024-05-21 Samsung Electronics Co., Ltd. Method and device to display extended screen of mobile device

Also Published As

Publication number Publication date
KR20210031153A (en) 2021-03-19

Similar Documents

Publication Publication Date Title
KR102235902B1 (en) Simulator system with augmented reality for detecting location at close-range using uwb signal
CN111433561B (en) Head-mounted device, method of displaying virtual image in head-mounted device, and medium
US11671783B2 (en) Directional awareness audio communications system
US8498816B2 (en) Systems including mobile devices and head-mountable displays that selectively display content, such mobile devices, and computer-readable storage media for controlling such mobile devices
US20180067191A1 (en) Location Estimation System
US10360728B2 (en) Augmented reality device, system, and method for safety
US20180356492A1 (en) Vision based location estimation system
US7518641B2 (en) Multiple-image transmission method and mobile apparatus having multiple-image simultaneous photographing function
EP1588206B1 (en) Helmet for displaying environmental images in critical environments
US9374549B2 (en) Head mounted display and method of outputting audio signal using the same
US20180088339A1 (en) Display device, reception device, and method of controlling reception device
US7202815B2 (en) Method and apparatus for location determination
JP2009037487A (en) System, head mounted display device, its control method
WO2009076009A2 (en) Eyewear communications system
TW202243500A (en) Systems and methods for ultra-wideband applications
US10917736B2 (en) System and method for spatially projected audio communication
KR20200061564A (en) Comand and control system for supporting compound disasters accident
US11454700B1 (en) Apparatus, system, and method for mitigating systematic distance errors in radar-based triangulation calculations
US10225638B2 (en) Ear piece with pseudolite connectivity
EP4026353A1 (en) System and method for spatially projected audio communication
CN109302235A (en) Channel modeling method suitable for visible light communication object-oriented
KR20040091992A (en) Cyber pointer system
US20090097359A1 (en) Audio compass for motion tracking
US20220050216A1 (en) Remote field of view detector and display
US20240049218A1 (en) Systems and methods of slot scheduling

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant