KR102603467B1 - Space formation and positioning error correction system and method through digital twin-linked augmented reality camera - Google Patents
Space formation and positioning error correction system and method through digital twin-linked augmented reality camera Download PDFInfo
- Publication number
- KR102603467B1 KR102603467B1 KR1020210091121A KR20210091121A KR102603467B1 KR 102603467 B1 KR102603467 B1 KR 102603467B1 KR 1020210091121 A KR1020210091121 A KR 1020210091121A KR 20210091121 A KR20210091121 A KR 20210091121A KR 102603467 B1 KR102603467 B1 KR 102603467B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- information
- space
- augmented reality
- image
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 9
- 239000003550 marker Substances 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
- G01S19/07—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing data for correcting measured positioning data, e.g. DGPS [differential GPS] or ionosphere corrections
- G01S19/071—DGPS corrections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Abstract
본 발명은 디지털 트윈과 증강현실 카메라 연동을 통한 3D 공간 형성 및 측위 오차 보정 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 사용자가 AR SDK를 통하여 공간에 존재하는 고유한 특징의 위치를 DT 공간의 특징과 비교하여 두 점 간의 거리를 이용하여 사용자 GPS의 오차를 보정할 수 있는 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 측위 오차 보정 시스템 및 그 방법에 관한 것이다. The present invention relates to a 3D space formation and positioning error correction system and method through linking a digital twin and an augmented reality camera. More specifically, the present invention relates to a system and method for forming a 3D space through linking a digital twin and an augmented reality camera. More specifically, the present invention relates to a system and method for forming a 3D space through linking a digital twin and an augmented reality camera. More specifically, the present invention relates to a system and method for forming a 3D space through linking a digital twin and an augmented reality camera. More specifically, the present invention relates to a system and method for forming a 3D space through linking a digital twin and an augmented reality camera. More specifically, the present invention relates to a system and method for forming a 3D space through linking a digital twin and an augmented reality camera. More specifically, the present invention relates to a system and method for forming a 3D space through linking a digital twin and an augmented reality camera. This relates to a space formation and positioning error correction system and method using a digital twin-linked augmented reality camera that can correct errors in the user's GPS using the distance between two points compared to features.
Description
본 발명은 디지털 트윈과 증강현실 카메라 연동을 통한 3D 증강 및 가상현실 공간 형성 및 측위 오차 보정 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 사용자가 AR SDK를 통하여 공간에 존재하는 고유한 특징의 위치를 DT 공간의 특징과 비교하여 두 점 간의 거리를 이용하여 사용자 GPS의 오차를 보정할 수 있는 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 측위 오차 보정 시스템 및 그 방법에 관한 것이다.The present invention relates to a 3D augmented and virtual reality space formation and positioning error correction system and method through linking a digital twin and an augmented reality camera. More specifically, the present invention relates to a system and method for correcting positioning errors by linking a digital twin and an augmented reality camera. This relates to a space formation and positioning error correction system and method using a digital twin-linked augmented reality camera that can correct the error of the user's GPS using the distance between two points by comparing it with the characteristics of DT space.
현재 일반 사용자들의 스마트폰은 위성 항법 시스템(GNSS)과 이동 통신 기지국 또는 WiFi Access Point들을 이용하여 사용자의 현 위치를 식별한다. Currently, general users' smartphones identify the user's current location using a navigation satellite system (GNSS) and mobile communication base stations or WiFi Access Points.
하지만 순수 GNSS는 최대 20 ~ 30m 정도의 오차를 갖고 있으며, 네트워크를 이용한 보정 절차를 거쳐도 일반적인 스마트폰의 측위 정보는 2~3m 수준의 오차를 가질 수 있다.However, pure GNSS has an error of up to 20 to 30 m, and even after a correction procedure using a network, the positioning information of a typical smartphone can have an error of 2 to 3 m.
이러한 측위 정보는 높은 정밀도를 요구하는 위치 기반 컨텐츠에서 활용하는데 어려움이 있고, 사용자의 위치에 따라 측위 정보의 오차가 커질 경우에 대한 대안이 존재하지 않는다(연결된 위성 및 기지국의 수에 따른 한계).It is difficult to utilize such positioning information in location-based content that requires high precision, and there is no alternative in case the error in positioning information increases depending on the user's location (limitation depending on the number of connected satellites and base stations).
현재 상태 공간 정보(State Space Representation, SSR) 혹은 관측 공간 보정(Observation Space Representation, OSR)등의 보정 방법이 존재하나, 고가의 관측용 장비 혹은 추가적인 오차 보정 정보가 필요하여 일반 사용자의 측위 오차를 보정하지는 못하고 있다.Currently, there are correction methods such as State Space Representation (SSR) or Observation Space Representation (OSR), but they require expensive observation equipment or additional error correction information to correct positioning errors for general users. I can't do it.
또한 스마트폰에서 사용자의 현재 방향(Heading)을 식별하는데 쓰이는 지자기계는 지구의 자북(Magnetic North)을 기준으로 하는 센서 값을 산출하며, 지구 자기 모멘트의 강도를 감지하는 특성 상 주변 자기 환경에 따라 센서 값의 오차가 크게 달라질 수 있다.In addition, the geomagnetic machine used to identify the user's current heading on a smartphone calculates sensor values based on the Earth's magnetic north, and due to the nature of detecting the strength of the Earth's magnetic moment, the sensor is used according to the surrounding magnetic environment. The error in the value may vary greatly.
본 발명은 상기와 같은 문제점을 해결하기 위해 이루어진 것으로서, 사용자가 AR 디바이스의 위치정보(위,경도 및 고도)와 지향하고 있는 방향(피치,요,롤 값) 등으로 이루어진 자세(POSE) 정보를 AR디바이스가 실제 공간에서 수집한 해당 공간이 다른 공간과 비교하여 고유하게 갖는 특징의 위치와 DT 공간 상에 존재하는 동일한 특징을 갖는 위치와의 차이를 보정하여 실제 사용자의 위치 오차를 보정할 수 있다.The present invention was made to solve the above problems, and the user receives POSE information consisting of the location information (latitude, longitude, and altitude) of the AR device and the direction it is facing (pitch, yaw, and roll values). The actual user's location error can be corrected by correcting the difference between the location of the unique features of the space collected by the AR device in real space compared to other spaces and the location with the same features existing in the DT space. .
이때 사용할 수 있는 공간상의 특징은 현실 공간에서 DT에 미리 등록한 마커(Marker)일 수 있으며, 현실 공간과 DT 공간을 영상 인식을 통해 추출한 고정 물체의 위치 및 방향 또는 스카이라인의 모양 등 지형지물일 수 있다.Spatial features that can be used at this time may be markers pre-registered in DT in real space, and may be geographical features such as the position and direction of a fixed object or the shape of a skyline extracted through image recognition between real space and DT space. .
또한 본 발명은 단일 공간에서 사용자가 두 개 이상의 특징을 탐지 할 경우 사용자의 지자기계 오차로 인해 부정확하게 정합 된 AR 3D 공간을 정합 할 수 있으며, 그 과정은 다음과 같다.Additionally, the present invention can register AR 3D spaces that are inaccurately matched due to the user's geomagnetic error when the user detects two or more features in a single space, and the process is as follows.
1) 사용자가 탐색한 첫 번째 특징과 이에 대응하는 DT 상에 존재하는 특징 간의 위치 차이를 이용하여 위치 정합을 실시한다.1) Position matching is performed using the position difference between the first feature searched by the user and the feature existing on the corresponding DT.
2) 사용자가 추가적인 특징을 탐색할 경우, 기존에 탐색된 특징과 추가로 탐색된 특징을 잇는 벡터를 생성하고, 실제 공간에서 측정된 벡터와 DT 공간 상에서 측정하는 벡터 간의 각을 산출하여 해당 각도 만큼 가상 공간을 회전, 실제 공간에 정합, 사용자 스마트폰의 지자기계가 갖는 오차를 보정하는 효과를 얻을 수 있다.2) When the user searches for additional features, a vector connecting the existing searched feature and the additionally searched feature is created, the angle between the vector measured in real space and the vector measured in DT space is calculated, and the angle is calculated as the corresponding angle. You can achieve the effect of rotating virtual space, matching it to real space, and correcting errors in the geomagnetic machine of the user's smartphone.
상기 과제를 해결하기 위하여 본 발명은 증강 현실 카메라를 포함하고 이를 제어하는 제어 모듈로 구성된 네트워크 단말기; 상기 네트워크 단말기 내에 포함되는 사용자의 위치정보와 자세정보를 식별할 수 있는 GNSS, WiFi, 지자기계, 자이로스코프 모듈을 이용하여 주변 3D 공간 정보를 산출하는 증강 현실 모듈;을 포함하며, 상기 증강 현실 모듈의 산출 데이터를 합산하여 얻은 사용자의 주변 3D 공간 정보의 합산 정보와 상기 3D 공간 정보에서의 특정 이미지에 대한 위치 정보를 획득한다.In order to solve the above problem, the present invention includes a network terminal including an augmented reality camera and a control module for controlling it; An augmented reality module that calculates surrounding 3D spatial information using GNSS, WiFi, geomagnetic, and gyroscope modules that can identify the user's location information and posture information included in the network terminal, and the augmented reality module The sum of the user's surrounding 3D spatial information obtained by summing the calculated data and location information for a specific image in the 3D spatial information are obtained.
상기 스마트폰을 통해 사용자가 인식한 특징의 위치 정보는 DT공간 상에 존재하는 동일한 특징 또는 사전에 등록한 이미지 기반 마커 등에 대응되며, 동일한 특징이 DT 공간 상에서 갖는 기대 위치와 AR SDK를 이용하여 획득한 실측 위치를 비교 연산하여 사용자와 DT 공간 사이의 위치 오차를 보정한다.The location information of the feature recognized by the user through the smartphone corresponds to the same feature existing in the DT space or a pre-registered image-based marker, etc., and the expected position of the same feature in the DT space and obtained using the AR SDK Compare and calculate the actual measured position to correct the position error between the user and the DT space.
상기 보정된 결과의 역 연산을 통하여 높은 정밀도의 사용자 위치 정보(위도 및 경도)를 획득한다.High-precision user location information (latitude and longitude) is obtained through inverse calculation of the corrected result.
상기 오차를 보정하는 것은 추가적인 이미지 마커 위치 정보를 획득하여 두 마커를 잇는 벡터의 사이 각을 이용해 회전 오차를 보정한다.To correct the error, additional image marker position information is acquired and the rotation error is corrected using the angle between the vectors connecting the two markers.
상기 DT는 건물 정보, 지형 정보 및 DT 이미지 마커 정보에 대한 자료를 포함하며, 사용자가 증강 현실을 통해 인식한 사용자 이미지 마커의 3D 공간 정보는 상기 DT 상에 그대로 투영되고, 상기 DT는 상기 사용자 이미지 마커와 DT 이미지 마커 사이의 거리를 계산하여 사용자와 DT 공간 상의 오차를 보정한다.The DT includes data on building information, terrain information, and DT image marker information, and the 3D spatial information of the user image marker recognized by the user through augmented reality is projected onto the DT, and the DT is the user image. Calculate the distance between the marker and the DT image marker to correct errors in user and DT space.
본 발명은 네트워크 단말기 내부에 포함되는 사용자의 현재 위치와 자세 정보를 식별할 수 있는 GPS, WiFi, 지자기계, 자이로스코프 모듈을 이용하여 주변 3D 공간 정보를 산출하는 증강 현실 모듈을 이용하여 사용자의 현재 위치와 주변 3D 공간과 특징을 식별하는 단계; 상기 증강 현실 모듈을 이용하여 사용자가 위치한 공간에서 발견한 특징을 인식하여 해당 특징의 공간 정보를 획득하는 단계; DT의 3D 공간 상에 존재하는 동일한 특징의 위치 정보와 사용자가 인식한 공간상 특징의 위치 정보를 연산하여 위치 오차를 보정하는 단계; 하나 이상의 추가 특징 인식 후 특징들 간 벡터 각 연산을 통해 회전 오차를 산출하는 단계; 산출된 회전 오차 값을 월드 원점의 회전 벡터에 적용하여 회전 오차를 보정하는 단계;를 포함한다.The present invention uses an augmented reality module that calculates surrounding 3D spatial information using GPS, WiFi, geomagnetic machine, and gyroscope modules that can identify the user's current location and posture information contained within the network terminal, to determine the user's current location and posture. identifying the location and surrounding 3D space and features; Recognizing a feature found in the space where the user is located using the augmented reality module and obtaining spatial information of the feature; A step of correcting a position error by calculating the position information of the same feature existing in the 3D space of the DT and the position information of the spatial feature recognized by the user; After recognizing one or more additional features, calculating a rotation error through vector angle calculation between the features; Comprising a step of correcting the rotation error by applying the calculated rotation error value to the rotation vector of the world origin.
상기 증강 현실 3D 공간 정보는 스마트폰의 증강 현실 기능을 이용하여 인식한 사용자 주변의 3D 공간 정보와 공간 특징들의 위치 정보를 포함한다.The augmented reality 3D spatial information includes 3D spatial information around the user and location information of spatial features recognized using the augmented reality function of the smartphone.
상기 스마트폰을 통해 상기 공간 특징이 DT 공간 상에서 갖는 위치와 AR SDK를 이용하여 획득한 실제 위치를 비교 연산하여 사용자와 DT 공간 사이의 위치 오차를 보정한다.Through the smartphone, the position of the spatial feature in DT space is compared with the actual position obtained using the AR SDK to correct the position error between the user and DT space.
또한 사용자와 DT 공간 사이의 위치 및 회전 오차가 보정 되었을 경우 사용자가 AR 기능을 통해 획득한 주변의 3D 공간 정보와 DT가 보유중인 공간 정보를 이용하여 DT 공간으로부터 사용자의 위치를 역 연산하여 기존 스마트폰의 측위 정보에 비하여 정밀한 사용자의 위치를 획득할 수 있다.In addition, when the position and rotation errors between the user and the DT space are corrected, the user's position is inversely calculated from the DT space using the surrounding 3D spatial information acquired through the AR function and the spatial information held by the DT, and the existing smart It is possible to obtain a more precise user's location than the phone's positioning information.
상기와 같이 이루어지는 본 발명은 주변 자기 환경에 따라 센서 값의 오차가 크게 달라질 수 있는 문제를 해결하기 위해 증강현실이 지원되는 범용 네트워크 단말기 사용자들이 주변 공간 영상을 획득하는 것 만으로 정확한 위치와 함께 DT가 제공하는 주변 공간에 대한 정보를 함께 얻을 수 있다.The present invention, made as described above, is designed to solve the problem that the error of sensor values can vary greatly depending on the surrounding magnetic environment, so that users of general-purpose network terminals supporting augmented reality can obtain DT along with the exact location just by acquiring images of the surrounding space. You can also obtain information about the surrounding space provided.
또한 본 발명은 주변 공간 영상 획득을 이용해 획득한 주변 공간에 대한 정보로부터 사용자의 위치를 역 연산 하여 기존 스마트폰의 측위 기능보다 높은 정밀도의 사용자 위치를 확보할 수 있으며, 이를 이용하여 높은 정밀도를 요구하는 위치 기반 컨텐츠에서 꼭 필요한 정확한 측위 서비스를 제공할 수 있게 된다.In addition, the present invention can secure the user's location with higher precision than the positioning function of existing smartphones by inversely calculating the user's location from information about the surrounding space obtained using surrounding space image acquisition, and uses this to require high precision. It will be possible to provide accurate positioning services that are essential for location-based content.
도 1은 본 발명의 일실시예에 따른 부정확한 위치 정합을 좌표 평면 상에 투영하여 보여주는 도면이다.
도 2는 본 발명의 일실시예에 따른 부정확한 위치 정합의 사용자 화면을 보여주는 도면이다.
도 3은 본 발명의 일실시예에 따른 증강 현실 기반 이미지 마커 인식 예시를 보여주는 도면이다.
도 4는 본 발명의 일실시예에 따른 DT와 실제 공간 특징 간 거리 산출 예시를 보여주는 도면이다.
도 5는 본 발명에 따른 산출 거리에 따른 위치 오차 보정의 예시를 보여주는 도면이다.
도 6은 본 발명의 일실시예에 따른 위치 오차 보정을 완료하여 실제 공간에 정합 된 결과를 보여주는 도면이다.
도 7은 본 발명의 일실시예에 따른 회전 오차로 인해 부정확하게 배치된 DT 3D 공간 정보를 보여주는 도면이다.
도 8은 추가 마커를 이용한 벡터 연산을 통해 DT와 실제 공간 사이의 회전 오차를 산출하는 예를 보여주는 도면이다.
도 9는 위치 및 회전 오차 보정이 완료되어 최종적으로 공간 정합이 완료된 예를 보여주는 도면이다.
도 10은 최종적으로 공간 정합이 완료된 상태에서 DT가 보유한 실제 공간 내 특징의 위치 정보와 사용자 AR 기능이 제공하는 사용자와 특징 간의 상대적 거리를 이용한 역 연산을 통해 사용자의 위치를 산출하는 예를 보여주는 도면이다.Figure 1 is a diagram showing inaccurate position registration projected onto a coordinate plane according to an embodiment of the present invention.
Figure 2 is a diagram showing a user screen for inaccurate position registration according to an embodiment of the present invention.
Figure 3 is a diagram showing an example of augmented reality-based image marker recognition according to an embodiment of the present invention.
Figure 4 is a diagram showing an example of calculating the distance between DT and real space features according to an embodiment of the present invention.
Figure 5 is a diagram showing an example of position error correction according to the calculated distance according to the present invention.
Figure 6 is a diagram showing the results of position error correction completed and registered in real space according to an embodiment of the present invention.
Figure 7 is a diagram showing DT 3D spatial information incorrectly placed due to rotation error according to an embodiment of the present invention.
Figure 8 is a diagram showing an example of calculating the rotation error between DT and real space through vector calculation using additional markers.
Figure 9 is a diagram showing an example in which position and rotation error correction is completed and spatial registration is finally completed.
Figure 10 is a diagram showing an example of calculating the user's location through an inverse calculation using the location information of the feature in the real space held by the DT and the relative distance between the user and the feature provided by the user AR function when spatial registration is finally completed. am.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.In order to fully understand the present invention, preferred embodiments of the present invention will be described with reference to the accompanying drawings. Embodiments of the present invention may be modified in various forms, and the scope of the present invention should not be construed as being limited to the embodiments described in detail below. This example is provided to more completely explain the present invention to those with average knowledge in the art. Therefore, the shapes of elements in the drawings may be exaggerated to emphasize a clearer description. It should be noted that identical members in each drawing may be indicated by the same reference numerals. Additionally, detailed descriptions of known functions and configurations that are judged to unnecessarily obscure the gist of the present invention are omitted.
도 1과 도 2는 본 발명의 일실시예에 따른 부정확하게 위치 및 회전 정합 된 건물 이미지를 보여주고, 도 3은 본 발명의 일실시예에 따른 실제 이미지 마커 위치 산출 예시를 보여주며, 도 4는 본 발명의 일실시예에 따른 실제 이미지 마커와 DT 3D 공간 마커 사이의 거리(위치 오차)산출 예시를 보여주는 도면이다. 도 5는 본 발명의 일실시예에 따른 월드 원점 이동을 통한 위치 오차 보정 및 위치 정합 예시를 보여주고, 도 6은 위치 오차 보정이 완료되어 실제 건물과 DT의 3D 위치 정보가 일치하는 모습을 보여주는 도면이다.Figures 1 and 2 show an image of a building that is incorrectly positioned and rotated according to an embodiment of the present invention, Figure 3 shows an example of calculating the actual image marker position according to an embodiment of the present invention, and Figure 4 is a diagram showing an example of calculating the distance (position error) between an actual image marker and a DT 3D space marker according to an embodiment of the present invention. Figure 5 shows an example of position error correction and position matching through world origin movement according to an embodiment of the present invention, and Figure 6 shows the 3D position information of the actual building and DT matching after the position error correction is completed. It is a drawing.
도 3에 도시된 바와 같이 본 발명은 증강 현실 카메라(18)를 포함하고 이를 제어하는 제어 모듈로 구성된 네트워크 단말기(10); 상기 네트워크 단말기(10) 내에 포함되는 사용자의 위치정보(11)와 자세정보(12)를 식별할 수 있는 GNSS 모듈(13), WiFi 모듈(14), 지자기계 모듈(15), 자이로스코프 모듈(16)을 이용하여 주변 3D 공간 정보를 산출하는 증강 현실 모듈(17);을 포함한다.As shown in FIG. 3, the present invention includes a network terminal 10 including an augmented reality camera 18 and a control module for controlling it; A GNSS module (13), a WiFi module (14), a geomagnetic machine module (15), and a gyroscope module ( It includes an augmented reality module 17 that calculates surrounding 3D spatial information using 16).
상기 네트워크 단말기(10)로는 5G/WiFi 등의 네트워크 기능과 증강현실 카메라 등이 탑재된 네트워크 단말기, 네트워크 기능이 지원되는 AR 글래스 등이 포함된다.The network terminal 10 includes network terminals equipped with network functions such as 5G/WiFi, augmented reality cameras, etc., and AR glasses supporting network functions.
상기 GNSS 모듈(Global Navigation Satellite System; 13), WiFi 모듈(14), 지자기계 모듈(15), 자이로스코프 모듈(16)들의 결과 데이터를 합산하여 얻은 6 Degrees of Freedom (6DoF : 위치정보 x, y, z 또는 경도, 위도, 고도 + POSE정보 : Roll, Yaw, Pitch) 정보를 이용하여 사용자가 현재 어느 지점에서 어느 방향을 바라보고 있는지를 식별(위치 정보(11) 및 자세 정보(12)를 식별)한다.6 Degrees of Freedom (6DoF: location information , z or longitude, latitude, altitude + POSE information: Roll, Yaw, Pitch) to identify which point and direction the user is currently facing (identify location information (11) and attitude information (12) )do.
상기 네트워크 단말기(10)의 상기 센서 모듈들(13, 14, 15, 16)의 데이터를 합산하여 얻은 6DoF정보를 이용하면 사용자가 현재 어느 지점에서 어느 방향을 바라보고 있는지를 식별할 수 있다. Using 6DoF information obtained by summing the data of the sensor modules 13, 14, 15, and 16 of the network terminal 10, it is possible to identify which point and which direction the user is currently facing.
상기 6DoF는 위치정보로서 x,y,z 또는 경도, 위도, 고도 정보, POSE정보로서 Roll, Yaw, Pitch 정보를 포함한다.The 6DoF includes x, y, z or longitude, latitude, and altitude information as location information, and Roll, Yaw, and Pitch information as POSE information.
본 발명의 일실시예에 따라 상기 DT는 건물 및 지형 정보에 대한 자료를 포함하며, 사용자가 촬영한 정보는 상기 DT 상에 그대로 투영되고, 일련의 과정을 거쳐 위치 및 회전 오차가 보정된 상태일 시, 상기 DT는 사용자의 벡터가 DT 상의 건물과 충돌하는 지점을 계산하여, 사용자가 어떤 건물을 바라보고 있는지를 유추할 수 있다.According to one embodiment of the present invention, the DT includes data on buildings and terrain information, and the information captured by the user is projected onto the DT, and position and rotation errors are corrected through a series of processes. When the DT calculates the point where the user's vector collides with a building on the DT, it can infer which building the user is facing.
상기 네트워크 단말기(10)의 어플리케이션을 통해 촬영자가 위치한 지점에서 바라보고 있는 방향을 벡터로 변환, 이를 디지털트윈 공간에 투영(Raycast)하여 충돌 지점(hit point)을 계산하면 사용자가 현재 어떤 건물을 바라보고 있는지를 알 수 있다.Through the application of the network terminal 10, the direction the photographer is looking from is converted into a vector and projected (Raycast) into the digital twin space to calculate the hit point, which determines which building the user is currently looking at. You can tell if you are watching.
따라서 위치 및 회전 오차의 보정이 완료된 상태의 사용자가 스마트폰의 증강 현실 카메라(18)를 통해 보는 영상에 실제 건물 위로 증강현실 기술을 활용, 디지털 트윈에서 선택된 해당 건물의 모습을 네트워크 단말기 화면 속에 중첩하여 디스플레이 할 수 있게 된다. Therefore, augmented reality technology is used to overlay the actual building on the image that the user sees through the smartphone's augmented reality camera (18) after correction of position and rotation errors has been completed, and the image of the building selected from the digital twin is superimposed on the network terminal screen. This allows display.
한편, 상기 증강 현실 모듈(17)의 산출 데이터를 합산하여 얻은 사용자의 주변 3D 공간 정보의 합산 정보와 상기 3D 공간 정보에서의 고유한 특징 또는 특정 이미지에 대한 위치 정보를 획득한다.Meanwhile, the summation information of the user's surrounding 3D spatial information obtained by summing the calculated data of the augmented reality module 17 and the location information for a unique feature or specific image in the 3D spatial information are obtained.
도 3에 도시된 바와 같이 사용자는 증강 현실 카메라(18)를 포함하고 이를 제어하는 제어 모듈로 구성된 스마트폰의 증강 현실 기능을 이용하여 주변 환경을 3D 공간으로 인식할 수 있으며, 증강 현실의 이미지 인식 기능을 이용하여 특징 또는 특정한 이미지를 찾아낸 후 해당 이미지가 사용자에 대하여 갖는 상대적인 위치를 산출할 수 있다. 이러한 공간상의 고유한 특징은 미리 지정하여 놓은 간판, 조형물 등일 수 있고 또는 인공지능 학습을 통해 인식 가능한 것으로 식별한 지형지물의 배치, 상호 거리 등의 공간 특징일 수 있다. As shown in Figure 3, the user can recognize the surrounding environment as a 3D space using the augmented reality function of the smartphone, which includes an augmented reality camera 18 and a control module for controlling it, and image recognition in augmented reality. After using the function to find a feature or specific image, you can calculate the relative position of the image to the user. These unique spatial features may be pre-designated signs, sculptures, etc., or may be spatial features such as the arrangement and mutual distance of geographical features identified as recognizable through artificial intelligence learning.
도 4는 본 발명의 일실시예에 따라 사용자가 인식한 실제 이미지 특징(A)과 DT 3D 공간상에 존재하는 DT 이미지 특징(B)의 위치를 비교하여 오차를 산출하는 예시이다. Figure 4 is an example of calculating an error by comparing the position of an actual image feature (A) recognized by the user and a DT image feature (B) existing in DT 3D space according to an embodiment of the present invention.
도 4에 도시된 바와 같이 상기 DT 이미지 특징(B)은 사용자가 인식한 실제 이미지 특징(A)에 대한 공간 정보를 보유하고 있으며, 사용자가 인식한 AR 이미지(C)에 대응되는 특징을 식별하고, 실제 이미지 특징(A)와 DT 이미지 특징(B) 위치 정보를 서로 비교할 수 있다.As shown in Figure 4, the DT image feature (B) holds spatial information about the actual image feature (A) recognized by the user, identifies the feature corresponding to the AR image (C) recognized by the user, and , the actual image feature (A) and DT image feature (B) location information can be compared.
예를 들어 상기 스마트폰을 통해 사용자가 인식한 이미지의 위치 정보는 DT공간 상에 존재하는 동일한 이미지의 특징에 대응되며, 특징이 DT 공간 상에서 갖는 위치와 AR SDK를 이용하여 획득한 실제 위치를 비교 연산하여 사용자와 DT 공간 사이의 위치 오차를 보정할 수 있다.For example, the location information of the image recognized by the user through the smartphone corresponds to the features of the same image existing in the DT space, and the location of the feature in the DT space is compared with the actual location obtained using the AR SDK. By calculating, the position error between the user and the DT space can be corrected.
도 5는 본 발명의 일실시예에 따라 사용자가 인식한 실제 이미지 특징(A)과 DT 공간 상에 존재하는 DT 이미지 특징(B)의 위치 정보의 차이를 이용하여 공간 원점(World Origin)을 이동하는 예시이다.Figure 5 shows moving the spatial origin (World Origin) using the difference between the position information of the actual image feature (A) recognized by the user and the DT image feature (B) existing in DT space according to an embodiment of the present invention. This is an example.
도 5에 도시된 바와 같이 사용자가 증강 현실 기능을 이용하여 특정 이미지 특징 인식에 성공할 경우 상기 DT의 과정을 거쳐 오차를 산출한 후 사용자를 중심으로 구성된 증강 현실 공간의 원점을 해당 오차 만큼 이동하여 사용자가 인식한 이미지 특징(A)과 DT 공간 상에 존재하는 DT 이미지 특징(B)의 위치를 일치시킬 수 있다.As shown in Figure 5, when the user succeeds in recognizing a specific image feature using the augmented reality function, the error is calculated through the above DT process, and then the origin of the augmented reality space centered on the user is moved by the corresponding error to the user. The position of the recognized image feature (A) and the DT image feature (B) existing in the DT space can be matched.
도 6은 본 발명의 일실시예에 따라 회전 오차가 존재하지 않을 경우 위치 보정을 통해 올바르게 정합 된 실제 공간과 DT 3D 공간을 보여주는 예시이다.Figure 6 is an example showing the real space and DT 3D space correctly registered through position correction when there is no rotation error according to an embodiment of the present invention.
도 7은 본 발명의 일실시예에 따라 상기 지자기계의 오차로 인해 사용자와 DT 3D 공간의 회전이 부정확하게 정합 된 것을 보여주는 예시이다.Figure 7 is an example showing that the rotation of the user and the DT 3D space are inaccurately matched due to an error in the geomagnetic machine according to an embodiment of the present invention.
도 7에 도시된 바와 같이 사용자가 인식한 실제 이미지 특징(A)과 DT 공간 상에 존재하는 DT 이미지 특징(B)의 위치를 보정함에도, 회전 오차로 인해 부정확하게 정합 된 실제 건물을 확인할 수 있으며, 이는 후술할 추가 특징 인식을 통한 회전 오차 보정을 통해 보정된다.As shown in Figure 7, even though the positions of the actual image feature (A) recognized by the user and the DT image feature (B) existing in the DT space are corrected, the actual building that is inaccurately registered due to rotation error can be confirmed. , This is corrected through rotation error correction through additional feature recognition, which will be described later.
도8은 본 발명의 일실시예에 따른 추가 특징 인식 및 벡터 간 연산을 통한 회전 오차 값 산출을 보여주는 예이다.Figure 8 is an example showing additional feature recognition and rotation error value calculation through vector-to-vector calculation according to an embodiment of the present invention.
사용자가 스마트폰의 지자기계를 이용하여 산출한 진북(true north) 값은 앞서 언급한 지구 자기 모멘트를 이용하는 지자기계의 특성상 주변 자기 환경에 따라 센서 값의 오차가 크게 달라질 수 있다. 따라서 도 8에 도시된 바와 같이 추가 특징 탐색을 통해 사용자의 지자기계가 갖는 회전 오차 값을 산출하여 회전 오차를 보정할 수 있다.The true north value calculated by the user using the geomagnetic device of the smartphone may have a significant error in the sensor value depending on the surrounding magnetic environment due to the characteristics of the geomagnetic device that uses the Earth's magnetic moment as mentioned above. Therefore, as shown in FIG. 8, the rotation error value of the user's geomagnetic machine can be calculated and the rotation error corrected through additional feature search.
이 때, 수학식 1에서 보면 두 벡터(u, v)의 내적은 두 벡터의 크기에 벡터 사이각(θ)을 곱한 것과 같으므로 식을 변환하여 나온 법선 벡터와 사용자 벡터를 대입하면 두 벡터 사이의 각을 얻을 수 있다. At this time, in Equation 1, the dot product of the two vectors (u, v) is equal to the size of the two vectors multiplied by the angle between the vectors (θ), so by substituting the normal vector obtained by converting the equation and the user vector, the difference between the two vectors is The angle of can be obtained.
도8에 도시된 바와 같이 사용자가 추가 특징(A')를 인식할 경우, 위치 오차 보정을 통해 같은 위치를 갖는 첫 특징(A)과는 달리 지자기계가 갖는 회전 오차에 의해 두 번째 특징은 서로 다른 위치를 갖게 된다. As shown in Figure 8, when the user recognizes an additional feature (A'), unlike the first feature (A), which has the same position through position error correction, the second feature is different from each other due to the rotation error of the geomagnetic machine. It has a different location.
여기서 실제와 DT 공간상에 각각 첫 특징(A)과 두 번째 특징(A')을 잇는 벡터를 생성하고, 두 벡터 간의 내적 연산을 이용하여 두 벡터 사이의 각을 얻을 수 있다.Here, a vector connecting the first feature (A) and the second feature (A') can be created in reality and DT space, respectively, and the angle between the two vectors can be obtained by using the dot product operation between the two vectors.
예를 들어 상기 DT는 건물 정보, 지형 정보 및 DT 이미지 특징 정보에 대한 자료를 포함하며, 사용자가 증강 현실을 통해 인식한 사용자 이미지 마커의 3D 공간 정보는 상기 DT 상에 그대로 투영되고, 상기 DT는 상기 사용자 이미지와 특징과 DT 이미지 특징 사이의 거리를 계산하여 사용자와 DT 공간 상의 위치 오차를 보정하며, 추가적인 특징 탐색을 통해 최소 두 개 이상의 특징의 위치 정보를 이용하여 사용자와 DT 공간 상의 회전 오차를 보정한다.For example, the DT includes data on building information, terrain information, and DT image feature information, and the 3D spatial information of the user image marker recognized by the user through augmented reality is projected onto the DT, and the DT is By calculating the distance between the user image and features and the DT image features, the position error in the user and DT space is corrected, and the rotation error in the user and DT space is corrected by using the position information of at least two features through additional feature search. Correct.
도 9는 본 발명의 일실시예에 따라 위치 및 회전 정합을 완료하여 최종적으로 올바르게 공간 정합 된 사용자의 증강 현실 공간을 나타내는 예이다.Figure 9 is an example showing a user's augmented reality space that is finally correctly spatially registered by completing position and rotation registration according to an embodiment of the present invention.
상기 도8의 과정을 거쳐 산출된 위치 오차를 월드 좌표축의 원점의 회전 벡터에 더하여 사용자 증강 현실 월드를 오차 만큼 회전시킬 수 있으며, 이를 통하여 사용자의 증강 현실 월드에 생성된 DT의 3D 공간 정보를 사용자가 바라보는 실제 공간에 일치시킬 수 있다.By adding the position error calculated through the process of Figure 8 to the rotation vector of the origin of the world coordinate axis, the user's augmented reality world can be rotated by the error, and through this, the 3D spatial information of the DT generated in the user's augmented reality world can be used by the user. It can be matched to the actual space you are looking at.
이하 본 발명의 실시를 위한 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 측위 오차 보정 시스템을 이용한 방법에 대하여 자세히 설명한다.Hereinafter, a method of using a space formation and positioning error correction system using a digital twin-linked augmented reality camera for implementing the present invention will be described in detail.
본 발명은 네트워크 단말기 내부에 포함되는 사용자의 현재 위치와 자세 정보를 식별할 수 있는 GNSS, WiFi, 지자기계, 자이로스코프 모듈을 이용하여 주변 3D 공간 정보를 산출하는 증강 현실 모듈을 이용하여 사용자의 현재 위치와 주변 3D 공간을 식별하는 단계; 상기 증강 현실 모듈을 이용하여 사용자가 해당 공간이 다른 공간과 구별되는 고유한 특징을 인식하여 해당 특징의 공간 정보를 획득하는 단계; DT의 3D 공간 상에 존재하는 특징의 위치 정보와 사용자가 인식한 실제 이미지 위치 정보를 연산하여 위치 오차를 보정하는 단계; 추가 특징의 인식 후 특징 간 벡터 각 연산을 통해 회전 오차를 산출하는 단계; 산출된 회전 오차 값을 월드 원점의 회전 벡터에 적용하여 회전 오차를 보정하는 단계;를 포함한다.The present invention uses an augmented reality module that calculates surrounding 3D spatial information using GNSS, WiFi, geomagnetic machine, and gyroscope modules that can identify the user's current location and posture information contained within the network terminal, to determine the user's current location and posture. identifying a location and surrounding 3D space; Using the augmented reality module, a user recognizes a unique feature that distinguishes the space from other spaces and obtains spatial information about the feature; Compensating the position error by calculating the position information of features existing in the 3D space of the DT and the actual image position information recognized by the user; After recognizing additional features, calculating a rotation error through vector angle calculation between features; Compensating the rotation error by applying the calculated rotation error value to the rotation vector of the world origin.
상기 증강 현실 3D 공간 정보는 스마트폰의 증강 현실 기능을 이용하여 인식한 사용자 주변의 3D 공간 정보와 이미지 마커의 위치 정보를 포함한다.The augmented reality 3D spatial information includes 3D spatial information around the user recognized using the augmented reality function of the smartphone and location information of the image marker.
상기 스마트폰을 통해 상기 마커가 DT 공간 상에서 갖는 위치와 AR SDK를 이용하여 획득한 실제 위치를 비교 연산하여 사용자와 DT 공간 사이의 위치 오차를 보정한다.Through the smartphone, the position of the marker in DT space is compared with the actual position obtained using the AR SDK to correct the position error between the user and DT space.
또한 상기 도 9와 같이 최종적으로 위치 및 회전 오차의 보정이 완료된 경우 DT를 통해 사용자가 탐지한 공간 내 특징의 위치 정보를 수신할 수 있으므로, 사용자의 AR 기능이 제공하는 사용자와 특징 간의 상대적 거리와 DT를 통해 수신한 특징의 절대적 위치(위도, 경도)를 더하여 사용자의 현 위치를 역 연산할 수 있다.In addition, when the correction of the position and rotation error is finally completed as shown in FIG. 9, the location information of the feature in the space detected by the user can be received through DT, so the relative distance between the user and the feature provided by the user's AR function The user's current location can be inversely calculated by adding the absolute positions (latitude, longitude) of the features received through DT.
10 : 네트워크 단말기
11 : 사용자의 위치정보
12 : 자세정보
13 : GNSS 모듈
14 : WiFi 모듈
15 : 지자기계 모듈
16 : 자이로스코프 모듈
17 : 증강 현실 모듈
18 : 증강 현실 카메라10: network terminal
11: User location information
12: Detailed information
13: GNSS module
14: WiFi module
15: Geomagnetic machine module
16: Gyroscope module
17: Augmented reality module
18: Augmented reality camera
Claims (8)
상기 네트워크 단말기 내에 포함되는 사용자의 위치정보와 자세정보를 식별할 수 있는 GNSS, WiFi, 지자기계, 자이로스코프 모듈을 이용하여 주변 3D 공간 정보를 산출하는 증강 현실 모듈;을 포함하며,
상기 GNSS, WiFi, 지자기계, 및 자이로스코프 모듈의 결과 데이터를 합산하여 얻은 사용자의 주변 6DoF 공간 정보의 합산 정보와 상기 3D 공간 정보에서의 특정 이미지에 대한 경도, 위도, 및 고도 정보를 포함하는 위치 정보와 Roll, Yaw, 및 Pitch 정보를 포함하는 자세 정보를 획득하고 보정하며,
상기 네트워크 단말기를 통해 사용자가 인식한 고유한 특징 이미지의 위치 정보는 DT공간 상에 존재하는 동일한 이미지의 특징에 대응되며, 마커가 DT 공간 상에서 갖는 위치와 AR SDK를 이용하여 획득한 실제 위치를 비교 연산하여 사용자와 DT 공간 사이의 위치 오차를 보정하고,
상기 보정된 결과를 통해 산출 가능한 공간 내 특징의 위치 정보(위도 및 경도)와 사용자 스마트폰의 AR 기능을 이용해 산출 가능한 특징과 사용자 간의 상대적 거리를 이용한 역 연산을 통하여 일정 정밀도의 사용자 위치 정보(위도 및 경도)를 획득하며,
상기 DT는 건물 정보, 지형 정보 및 DT 이미지 마커 정보에 대한 자료를 포함하며, 사용자가 증강 현실을 통해 인식한 사용자 이미지 마커의 3D 공간 정보는 상기 DT 상에 그대로 투영되고, 상기 DT는 상기 사용자 이미지 마커와 DT 이미지 마커 사이의 거리를 계산하여 사용자와 DT 공간 상의 오차를 보정하는 것을 특징으로 하는 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 측위 오차 보정 시스템.A network terminal comprising an augmented reality camera and a control module for controlling it;
Includes an augmented reality module that calculates surrounding 3D spatial information using GNSS, WiFi, geomagnetic machine, and gyroscope modules that can identify the user's location information and posture information included in the network terminal,
A location including longitude, latitude, and altitude information for a specific image in the 3D spatial information and the sum of the user's surrounding 6DoF spatial information obtained by summing the resultant data of the GNSS, WiFi, geomagnetic, and gyroscope modules Obtain and correct posture information including roll, yaw, and pitch information,
The location information of the unique feature image recognized by the user through the network terminal corresponds to the feature of the same image existing in the DT space, and the position of the marker in the DT space is compared with the actual location obtained using the AR SDK. Calculate the position error between the user and the DT space,
User location information (latitude and longitude) with a certain precision through inverse calculation using the location information (latitude and longitude) of features in the space that can be calculated through the above-mentioned corrected results and the relative distance between the user and the features that can be calculated using the AR function of the user's smartphone and hardness),
The DT includes data on building information, terrain information, and DT image marker information, and the 3D spatial information of the user image marker recognized by the user through augmented reality is projected onto the DT, and the DT is the user image. A space formation and positioning error correction system using a digital twin-linked augmented reality camera, which calculates the distance between the marker and the DT image marker to correct errors in the user and DT space.
네트워크 단말기 내부에 포함되는 사용자의 현재 위치와 자세 정보를 식별할 수 있는 GNSS, WiFi, 지자기계, 자이로스코프 모듈을 이용하여 주변 3D 공간 정보를 산출하는 증강 현실 모듈을 이용하여 사용자의 현재 위치와 주변 3D 공간을 식별하는 단계;
상기 증강 현실 모듈을 이용하여 사용자가 특정한 이미지를 갖고 있는 마커를 인식하여 해당 마커의 공간 정보를 획득하는 단계;
DT의 3D 공간 상에 존재하는 마커의 위치 정보와 사용자가 인식한 실제 이미지 마커의 위치 정보를 연산하여 위치 오차를 보정하는 단계;
추가 마커 인식 후 마커 간 벡터 각 연산을 통해 회전 오차를 산출하는 단계;
산출된 회전 오차 값을 월드 원점의 회전 벡터에 적용하여 회전 오차를 보정하는 단계;를 포함하며,
상기 사용자의 현재 위치와 주변 3D 공간을 식별하는 단계에서,
상기 GNSS, WiFi, 지자기계, 및 자이로스코프 모듈의 결과 데이터를 합산하여 얻은 사용자의 주변 6DoF 공간 정보의 합산 정보와 상기 3D 공간 정보에서의 특정 이미지에 대한 경도, 위도, 및 고도 정보를 포함하는 위치 정보와 Roll, Yaw, 및 Pitch 정보를 포함하고,
상기 증강 현실 3D 공간 정보는 스마트폰의 증강 현실 기능을 이용하여 인식한 사용자 주변의 3D 공간 정보와 이미지 마커의 위치 정보를 포함하며,
상기 스마트폰을 통해 상기 마커가 DT 공간 상에서 갖는 위치와 AR SDK를 이용하여 획득한 실제 위치를 비교 연산하여 사용자와 DT 공간 사이의 위치 오차를 보정하는 것을 특징으로 하는 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 측위 오차 보정 시스템을 이용한 방법. In the method using the space formation and positioning error correction system using the digital twin-linked augmented reality camera of claim 1,
The user's current location and surroundings using an augmented reality module that calculates surrounding 3D spatial information using GNSS, WiFi, geomagnetic, and gyroscope modules that can identify the user's current location and posture information included inside the network terminal. identifying a 3D space;
Recognizing a marker having a specific image by the user using the augmented reality module and obtaining spatial information of the marker;
Compensating the position error by calculating the position information of the marker existing in the 3D space of the DT and the position information of the actual image marker recognized by the user;
After recognizing additional markers, calculating a rotation error through vector angle calculation between markers;
Comprising: correcting the rotation error by applying the calculated rotation error value to the rotation vector of the world origin,
In the step of identifying the user's current location and surrounding 3D space,
A location including longitude, latitude, and altitude information for a specific image in the 3D spatial information and the sum of the user's surrounding 6DoF spatial information obtained by summing the resultant data of the GNSS, WiFi, geomagnetic, and gyroscope modules information and includes Roll, Yaw, and Pitch information,
The augmented reality 3D spatial information includes 3D spatial information around the user recognized using the augmented reality function of the smartphone and location information of the image marker,
Through a digital twin-linked augmented reality camera, characterized in that the position error between the user and the DT space is corrected by comparing the position of the marker in the DT space through the smartphone and the actual position obtained using the AR SDK. Method using space formation and positioning error correction system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210091121A KR102603467B1 (en) | 2021-07-12 | 2021-07-12 | Space formation and positioning error correction system and method through digital twin-linked augmented reality camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210091121A KR102603467B1 (en) | 2021-07-12 | 2021-07-12 | Space formation and positioning error correction system and method through digital twin-linked augmented reality camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230010496A KR20230010496A (en) | 2023-01-19 |
| KR102603467B1 true KR102603467B1 (en) | 2023-11-17 |
Family
ID=85078127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210091121A KR102603467B1 (en) | 2021-07-12 | 2021-07-12 | Space formation and positioning error correction system and method through digital twin-linked augmented reality camera |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102603467B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200078948A1 (en) * | 2018-09-10 | 2020-03-12 | Fanuc America Corporation | Robot calibration for ar and digital twin |
| JP2021507393A (en) * | 2017-12-21 | 2021-02-22 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | How to calibrate an augmented reality device |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB202305331D0 (en) * | 2019-12-18 | 2023-05-24 | Motional Ad Llc | Camera-to-lidar calibration and validation |
-
2021
- 2021-07-12 KR KR1020210091121A patent/KR102603467B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021507393A (en) * | 2017-12-21 | 2021-02-22 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | How to calibrate an augmented reality device |
| US20200078948A1 (en) * | 2018-09-10 | 2020-03-12 | Fanuc America Corporation | Robot calibration for ar and digital twin |
Non-Patent Citations (1)
| Title |
|---|
| 박종수 외 2명, "비전 기반 측위 보조 알고리즘의 성능 분석", Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol.37, No.3.(2019.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230010496A (en) | 2023-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105761242B (en) | Blind person walking positioning method based on computer binocular vision and inertial measurement | |
| CN109658461B (en) | Unmanned aerial vehicle positioning method based on cooperation two-dimensional code of virtual simulation environment | |
| CN107451593B (en) | High-precision GPS positioning method based on image feature points | |
| WO2013162140A1 (en) | Method and system for determining location and position of image matching-based smartphone | |
| US20160238394A1 (en) | Device for Estimating Position of Moving Body and Method for Estimating Position of Moving Body | |
| KR101444685B1 (en) | Method and Apparatus for Determining Position and Attitude of Vehicle by Image based Multi-sensor Data | |
| CN111083633B (en) | Mobile terminal positioning system, establishment method thereof and positioning method of mobile terminal | |
| CN104820998A (en) | Human body detection and tracking method and device based on unmanned aerial vehicle mobile platform | |
| CN112556685B (en) | Navigation route display method and device, storage medium and electronic equipment | |
| KR101885961B1 (en) | Method of estimating the location of object image-based and apparatus therefor | |
| JP4132068B2 (en) | Image processing apparatus, three-dimensional measuring apparatus, and program for image processing apparatus | |
| CN114509070B (en) | Unmanned aerial vehicle navigation positioning method | |
| WO2018142533A1 (en) | Position/orientation estimating device and position/orientation estimating method | |
| KR102622585B1 (en) | Indoor navigation apparatus and method | |
| CN113039554A (en) | Method and device for determining environment map | |
| CN113296133A (en) | Device and method for realizing position calibration based on binocular vision measurement and high-precision positioning fusion technology | |
| KR102490521B1 (en) | Automatic calibration through vector matching of the LiDAR coordinate system and the camera coordinate system | |
| JP7001711B2 (en) | A position information system that uses images taken by a camera, and an information device with a camera that uses it. | |
| KR102603467B1 (en) | Space formation and positioning error correction system and method through digital twin-linked augmented reality camera | |
| WO2020243256A1 (en) | System and method for navigation and geolocation in gps-denied environments | |
| KR20180133052A (en) | Method for authoring augmented reality contents based on 360 degree image and video | |
| US20210233271A1 (en) | Information processing apparatus, server, movable object device, information processing method, and program | |
| CN115760999A (en) | Monocular camera calibration and target geographic position extraction method based on GIS assistance | |
| CN112213753B (en) | Method for planning parachuting training path by combining Beidou navigation and positioning function and augmented reality technology | |
| US20210256712A1 (en) | On-Demand Image Based Location Tracking Platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |