KR20220077089A - Augmented objects coordinate correction system and control method thereof - Google Patents

Augmented objects coordinate correction system and control method thereof Download PDF

Info

Publication number
KR20220077089A
KR20220077089A KR1020210167007A KR20210167007A KR20220077089A KR 20220077089 A KR20220077089 A KR 20220077089A KR 1020210167007 A KR1020210167007 A KR 1020210167007A KR 20210167007 A KR20210167007 A KR 20210167007A KR 20220077089 A KR20220077089 A KR 20220077089A
Authority
KR
South Korea
Prior art keywords
user terminal
point cloud
gnss
cloud data
data
Prior art date
Application number
KR1020210167007A
Other languages
Korean (ko)
Inventor
조용만
Original Assignee
주식회사 인터포
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인터포 filed Critical 주식회사 인터포
Publication of KR20220077089A publication Critical patent/KR20220077089A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 물체 좌표 보정 시스템은 사용자 단말은 GNSS 수신부를 통해 GNSS 신호를 수신하고 수신된 GNSS 신호로부터 사용자 단말의 GNSS 좌표정보를 수집하고, 카메라에 의해 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고, 지자기 센서를 통해 사용자 단말의 지자기 데이터를 수집하는 단말 제어부를 포함하고, GIS 데이터베이스에는 사용자 단말별로 수집된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보가 서로 대응되게 등록되어 있고, 사용자 단말과 네트워크 연결되고 GIS 데이터베이스와 연결된 서버는 사용자 단말로부터 수신된 GNSS 좌표정보와 지자기 데이터를 근거로 GIS 데이터베이스에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 판단된 점 구름 데이터 후보들과 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하고, 비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정하는 데이터 유사성 판단부와, 사용자 단말의 GNSS 좌표를 결정된 점 구름 데이터에 대응하는 GNSS 좌표로 보정하는 좌표 보정부와, 보정된 GNSS 좌표와, 결정된 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 사용자 단말로 전송하는 서버 제어부를 포함한다.In the augmented object coordinate correction system, the user terminal receives the GNSS signal through the GNSS receiver, collects the GNSS coordinate information of the user terminal from the received GNSS signal, and collects point cloud data, which is a cluster of feature points in the surrounding environment image taken by the camera. and a terminal control unit that collects and collects geomagnetic data of the user terminal through a geomagnetic sensor, and the GIS database includes GNSS coordinate information, point cloud data, geomagnetic data collected for each user terminal, and augmented object information that you want to register in the corresponding GNSS coordinates. is registered to correspond to each other, and the server connected to the user terminal and the GIS database has a similar global location among the point cloud data registered in the GIS database based on the GNSS coordinate information and geomagnetic data received from the user terminal. A data similarity determination unit that determines the cloud data candidates, compares the determined point cloud data candidates with the point cloud data received from the user terminal, and determines the point cloud data with the highest similarity according to the comparison result; A coordinate correction unit for correcting the GNSS coordinates into GNSS coordinates corresponding to the determined point cloud data, and a server control unit for transmitting the corrected GNSS coordinates and augmented object information stored corresponding to the determined point cloud data to the user terminal.

Description

증강 물체 좌표 보정 시스템 및 그 제어 방법{AUGMENTED OBJECTS COORDINATE CORRECTION SYSTEM AND CONTROL METHOD THEREOF}AUGMENTED OBJECTS COORDINATE CORRECTION SYSTEM AND CONTROL METHOD THEREOF

본 발명은 비 마커 기반의 증강현실 분야에 적용되는 증강 물체 좌표 보정 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to a system for correcting the coordinates of an augmented object applied to a non-marker-based augmented reality field and a method for controlling the same.

일반적으로, 증강 현실은 가상 현실의 한 분야로, 실제로 존재하는 환경에 가상의 물체나 정보를 합성하여 마치 원래의 환경에 존재하는 물체처럼 보이도록 하는 컴퓨터 그래픽 기법이다.In general, augmented reality is a field of virtual reality, and is a computer graphics technique that synthesizes a virtual object or information in an actual environment to make it look like an object existing in the original environment.

GNSS(Global Navigation Satellite System)는 지구상에서 사용자의 위치를 결정하기 위한 범지구 위성항법 시스템이다.GNSS (Global Navigation Satellite System) is a global satellite navigation system for determining a user's location on Earth.

GNSS 위성에서 송출되는 GNSS 신호는 사용자에게 도달하는 과정에서 위성궤도 및 시계 오차, 전리층 오차 등 여러 오차 요인들을 포함하기 때문에 사용자의 위치 추정시 측위 오차가 발생하게 된다.Since the GNSS signal transmitted from the GNSS satellite includes various error factors such as satellite orbit, clock error, and ionospheric error in the process of reaching the user, positioning error occurs when estimating the user's location.

최근 기술의 발전에 따라 비 마커 기반의 증강현실 분야에서 사용자의 GNSS 좌표를 기반으로 물체를 증강하고 있다. 물체를 정확한 위치에 증강하기 위해서는 사용자의 위치를 정확히 추정하는 것이 중요하다.With the recent development of technology, objects are being augmented based on the user's GNSS coordinates in the non-marker-based augmented reality field. It is important to accurately estimate the user's location in order to augment the object at an accurate location.

기존에는 사용자의 GNSS 좌표를 보정하기 위해서 고가의 추가 장비가 필요하기 때문에 제조 비용이 증가하고 시스템 구성 및 로직이 복잡해지는 문제점이 있다.Conventionally, since expensive additional equipment is required to calibrate the user's GNSS coordinates, there are problems in that manufacturing costs increase and system configuration and logic become complicated.

공개특허공보 제10-2019-0133909호(2019.12.04. 공개)Unexamined Patent Publication No. 10-2019-0133909 (published on Dec. 4, 2019) 공개특허공보 제10-2020-0102201호(2020.08.31. 공개)Publication No. 10-2020-0102201 (published on August 31, 2020)

일 측면은 고가의 추가 장비 없이 사용자의 주변 환경에서 수집된 점 구름을 이용하여 사용자의 GNSS 좌표에서 발생하는 오차를 보정하여 정확한 위치에 가상 물체를 증강시킬 수 있는 증강 물체 좌표 보정 시스템 및 그 제어 방법을 제공한다.One aspect is an augmented object coordinate correction system capable of augmenting a virtual object in an accurate position by correcting an error occurring in the user's GNSS coordinates using point clouds collected from the user's surrounding environment without expensive additional equipment, and a control method therefor provides

일 측면에 따르면, 사용자 단말; 상기 사용자 단말과 네트워크 연결된 서버; 및 상기 서버에 연결된 GIS 데이터베이스를 포함하고, 상기 사용자 단말은, 복수의 GNSS 위성으로부터 송신된 GNSS 신호를 수신하는 GNSS 수신부; 상기 사용자 단말의 주변 환경을 촬영하는 카메라; 상기 사용자 단말의 지자기 데이터를 측정하는 지자기 센서 및 상기 GNSS 수신부를 통해 상기 복수의 GNSS 위성에서 송출되는 GNSS 신호를 수신하고 수신된 GNSS 신호로부터 상기 사용자 단말의 GNSS 좌표정보를 수집하고, 상기 카메라에 의해 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고, 상기 지자기 센서를 통해 상기 사용자 단말의 지자기 데이터를 수집하는 단말 제어부를 포함하고, 상기 GIS 데이터베이스에는 사용자 단말별로 수집된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보가 서로 대응되게 등록되어 있고, 상기 서버는, 상기 사용자 단말로부터 수신된 GNSS 좌표정보와 지자기 데이터를 근거로 상기 GIS 데이터베이스에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하고, 비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정하는 데이터 유사성 판단부; 상기 사용자 단말의 GNSS 좌표를 상기 결정된 점 구름 데이터에 대응하는 GNSS 좌표로 보정하는 좌표 보정부; 및 상기 보정된 GNSS 좌표와, 상기 결정된 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 상기 사용자 단말로 전송하는 서버 제어부를 포함하는 증강 물체 좌표 보정 시스템이 제공될 수 있다.According to one aspect, the user terminal; a server connected to the user terminal in a network; and a GIS database connected to the server, wherein the user terminal includes: a GNSS receiver configured to receive GNSS signals transmitted from a plurality of GNSS satellites; a camera for photographing the surrounding environment of the user terminal; Receive GNSS signals transmitted from the plurality of GNSS satellites through a geomagnetic sensor measuring geomagnetic data of the user terminal and the GNSS receiver, and collect GNSS coordinate information of the user terminal from the received GNSS signals, and by the camera Collecting point cloud data, which is a cluster of feature points in the captured surrounding environment image, and comprising a terminal control unit for collecting geomagnetic data of the user terminal through the geomagnetic sensor, the GIS database includes GNSS coordinate information collected for each user terminal, Point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates are registered to correspond to each other, and the server is registered in the GIS database based on the GNSS coordinate information and geomagnetic data received from the user terminal. Among the point cloud data, point cloud data candidates having a similar global location are determined, the determined point cloud data candidates are compared with the point cloud data received from the user terminal, respectively, and the point cloud with the highest similarity according to the comparison result a data similarity determining unit that determines data; a coordinate correction unit for correcting the GNSS coordinates of the user terminal into GNSS coordinates corresponding to the determined point cloud data; and a server controller for transmitting the corrected GNSS coordinates and the augmented object information stored corresponding to the determined point cloud data to the user terminal may be provided.

상기 데이터 유사성 판단부는, 상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하여, 해당 점 구름 데이터에 대응하는 GNSS 좌표를 원점으로부터의 최대 탐색 거리와 각 점 구름 데이터의 오차허용 범위 중 적어도 하나를 임계값으로 사용하여 유사성이 가장 높은 점 구름 데이터를 결정할 수 있다.The data similarity determination unit compares the determined point cloud data candidates with the point cloud data received from the user terminal, respectively, and compares the GNSS coordinates corresponding to the point cloud data with the maximum search distance from the origin and each point cloud data. At least one of the error tolerance ranges can be used as a threshold to determine the point cloud data with the highest similarity.

상기 서버는, 새로운 물체 등록 요청시 요청된 사용자 단말로부터 수신된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보를 상기 GIS 데이터베이스에 등록시키는 데이터 등록부를 포함할 수 있다.The server may include a data registration unit for registering GNSS coordinate information, point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates in the GIS database received from the user terminal requested when a new object registration is requested. have.

상기 사용자 단말은, 상기 서버로부터 수신된 상기 보정된 GNSS 좌표에 따라 상기 사용자 단말에 설치된 AR 소프트웨어에 의해 실행되는 화면상에서 상기 서버로부터 수신된 증강 물체 정보에 따른 물체가 증강될 좌표를 계산하고, 상기 계산된 좌표에 상기 물체를 증강시킬 수 있다.The user terminal calculates the coordinates to be augmented according to the augmented object information received from the server on a screen executed by the AR software installed in the user terminal according to the corrected GNSS coordinates received from the server, The object may be augmented at the calculated coordinates.

다른 측면에 따르면, 사용자 단말과, 상기 사용자 단말과 네트워크 연결된 서버 및 상기 서버에 연결된 GIS 데이터베이스를 포함하고, 상기 GIS 데이터베이스에는 사용자 단말별로 수집된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보가 서로 대응되게 등록된 증강 물체 좌표 보정 시스템의 제어 방법에 있어서, 상기 사용자 단말에 의해, 복수의 GNSS 위성에서 송출되는 GNSS 신호를 수신하고 상기 수신된 GNSS 신호로부터 상기 사용자 단말의 GNSS 좌표정보를 수집하고, 카메라에 의해 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고, 상기 사용자 단말의 지자기 데이터를 수집하고, 상기 서버에 의해, 상기 사용자 단말로부터 상기 수집된 GNSS 좌표정보, 점 구름 데이터 및 지자기 데이터를 수신하고, 상기 사용자 단말로부터 수신된 GNSS 좌표정보와 지자기 데이터를 근거로 상기 GIS 데이터베이스에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하고, 비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정하고, 상기 사용자 단말의 GNSS 좌표를 상기 결정된 점 구름 데이터에 대응하는 GNSS 좌표로 보정하고, 상기 보정된 GNSS 좌표와, 상기 결정된 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 상기 사용자 단말로 전송하는 증강 물체 좌표 보정 시스템의 제어 방법이 제공될 수 있다.According to another aspect, it includes a user terminal, a server connected to the user terminal and a network, and a GIS database connected to the server, wherein the GIS database includes GNSS coordinate information, point cloud data, geomagnetic data, and corresponding GNSS coordinates collected for each user terminal. In the control method of an augmented object coordinate correction system in which augmented object information desired to be registered in correspondence with each other is registered, GNSS signals transmitted from a plurality of GNSS satellites are received by the user terminal, and from the received GNSS signals, the user Collect GNSS coordinate information of the terminal, collect point cloud data that is a cluster of feature points in the surrounding environment image taken by the camera, collect geomagnetic data of the user terminal, and collect the data from the user terminal by the server Received GNSS coordinate information, point cloud data, and geomagnetic data, and based on the GNSS coordinate information and geomagnetic data received from the user terminal, point cloud data candidates having similar global locations among the point cloud data registered in the GIS database and compares the determined point cloud data candidates with the point cloud data received from the user terminal, respectively, determines the point cloud data with the highest similarity according to the comparison result, and determines the GNSS coordinates of the user terminal as the determined A control method of an augmented object coordinate correction system may be provided that corrects the GNSS coordinates corresponding to the point cloud data, and transmits the corrected GNSS coordinates and the augmented object information stored corresponding to the determined point cloud data to the user terminal. have.

상기 유사성이 가장 높은 점 구름 데이터를 결정하는 것은, 상기 서버에 의해, 상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하여, 해당 점 구름 데이터에 대응하는 GNSS 좌표를 원점으로부터의 최대 탐색 거리와 각 점 구름 데이터의 오차허용 범위 중 적어도 하나를 임계값으로 사용하여 유사성이 가장 높은 점 구름 데이터를 결정하는 것을 포함할 수 있다.Determining the point cloud data with the highest similarity is to compare, by the server, the determined point cloud data candidates with the point cloud data received from the user terminal, respectively, to obtain GNSS coordinates corresponding to the point cloud data. It may include determining the point cloud data with the highest similarity by using at least one of the maximum search distance from the origin and the error tolerance range of each point cloud data as a threshold value.

상기 서버에 의해, 새로운 물체 등록 요청시 요청된 사용자 단말로부터 수신된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보를 상기 GIS 데이터베이스에 등록시킬 수 있다.By the server, when a new object registration is requested, GNSS coordinate information, point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates received from the requested user terminal may be registered in the GIS database.

상기 사용자 단말에 의해, 상기 서버로부터 수신된 상기 보정된 GNSS 좌표에 따라 상기 사용자 단말에 설치된 AR 소프트웨어에 의해 실행되는 화면상에서 상기 서버로부터 수신된 증강 물체 정보에 따른 물체가 증강될 좌표를 계산하고, 상기 계산된 좌표에 상기 물체를 증강시킬 수 있다.Calculate, by the user terminal, the coordinates to be augmented according to the augmented object information received from the server on the screen executed by the AR software installed in the user terminal according to the corrected GNSS coordinates received from the server, The object may be augmented at the calculated coordinates.

본 발명은 고가의 추가 장비 없이 사용자의 주변 환경에서 수집된 점 구름을 이용하여 사용자의 GNSS 좌표에서 발생하는 오차를 보정하여 정확한 위치에 가상 물체를 증강시킬 수 있다.The present invention can augment a virtual object at an accurate location by correcting an error occurring in the user's GNSS coordinates using a point cloud collected from the user's surrounding environment without expensive additional equipment.

본 발명은 GNSS 신호는 사용자의 넓은 범위를 특징짓는 용도로만 사용되며, 점 구름을 기반으로 실제 물체를 증강하기 때문에, 실내외에 구애받지 않고 사용할 수 있고, 추가 센서를 착용하는 등의 비용 소모가 없으므로 적은 비용으로 개발 및 배포를 할 수 있으며, 시스템 구성 및 로직을 단순화할 수 있다.In the present invention, the GNSS signal is used only for characterizing a wide range of users, and because it augments a real object based on point clouds, it can be used regardless of indoors or outdoors, and there is no cost consumption such as wearing an additional sensor. It can be developed and deployed at a low cost, and the system configuration and logic can be simplified.

도 1은 실시예에 따른 증강 물체 좌표 보정 시스템의 구성도이다.
도 2는 실시예에 따른 증강 물체 좌표 보정 시스템의 사용자 단말과 서버의 제어블록도이다.
도 3은 실시예에 따른 증강 물체 좌표 보정 시스템의 제어방법에 대한 제어흐름도이다.
도 4 및 도 5는 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 주변 환경을 촬영한 영상에서 점 구름 데이터를 수집하는 것을 설명한다.
도 6은 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 단말에 설치된 AR 소프트웨어, 서버 및 GIS 데이터베이스 간의 데이터 처리를 설명한다.
도 7은 실시예에 따른 증강 물체 좌표 보정 시스템에서 점 구름 데이터의 유사성 판단하는 것을 설명한다.
도 8은 실시예에 따른 증강 물체 좌표 보정 시스템에서 미터 기반의 EPSG 좌표계와 경위도 기반의 EPSG 좌표계의 데이터 변환 관계를 나타낸 표이다.
도 9는 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 단말의 AR 소프트웨어의 실행 화면을 나타낸다.1 is a block diagram of an augmented object coordinate correction system according to an embodiment.
2 is a control block diagram of a user terminal and a server of the augmented object coordinate correction system according to an embodiment.
3 is a control flowchart for a control method of an augmented object coordinate correction system according to an embodiment.
4 and 5 illustrate the collection of point cloud data from images captured by the user's surrounding environment in the augmented object coordinate correction system according to the embodiment.
6 illustrates data processing between the AR software installed in the user terminal, the server, and the GIS database in the augmented object coordinate correction system according to the embodiment.
7 illustrates determination of similarity of point cloud data in the augmented object coordinate correction system according to an embodiment.
8 is a table showing the data conversion relationship between the meter-based EPSG coordinate system and the longitude and latitude-based EPSG coordinate system in the augmented object coordinate correction system according to the embodiment.
9 shows an execution screen of the AR software of the user terminal in the augmented object coordinate correction system according to the embodiment.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 ‘부, 모듈, 부재, 블록’이 하나의 구성요소로 구현되거나, 하나의 ‘부, 모듈, 부재, 블록’이 복수의 구성요소들을 포함하는 것도 가능하다.Like reference numerals refer to like elements throughout. This specification does not describe all elements of the embodiments, and general content in the technical field to which the disclosed invention pertains or content overlapping between the embodiments is omitted. The term 'part, module, member, block' used in this specification may be implemented in software or hardware, and according to embodiments, a plurality of 'part, module, member, block' may be implemented as one component, It is also possible for one 'part, module, member, block' to include a plurality of components.

명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is “connected” with another part, it includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.

또한, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, when a part "includes" a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise stated.

명세서 전체에서, 어떤 부재가 다른 부재 “상에”위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout the specification, when a member is said to be located “on” another member, this includes not only a case in which a member is in contact with another member but also a case in which another member exists between two members.

제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.Terms such as 1st, 2nd, etc. are used to distinguish one component from another component, and the component is not limited by the above-mentioned terms. The singular expression includes the plural expression unless the context clearly dictates otherwise.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.In each step, the identification code is used for convenience of description, and the identification code does not describe the order of each step, and each step may be performed differently from the specified order unless the specific order is clearly stated in the context. have.

도 1은 실시예에 따른 증강 물체 좌표 보정 시스템의 구성도이다.1 is a block diagram of an augmented object coordinate correction system according to an embodiment.

도 1을 참조하면, 증강 물체 좌표 보정 시스템은 사용자 단말(10)과, 사용자 단말(10)과 유무선 네트워크로 연결되어 사용자 단말(10)로 증강 물체를 제공하는 서버(20)와, 이 서버(20)와 연결된 GIS(Geographic Information System) 데이터베이스(30)를 포함할 수 있다.1, the augmented object coordinate correction system includes a user terminal 10, a server 20 connected to the user terminal 10 and a wired/wireless network to provide an augmented object to the user terminal 10, and the server ( 20) and may include a Geographic Information System (GIS) database 30 connected thereto.

사용자 단말(10)은 카메라를 이용하여 특징점을 검출할 주변 환경을 촬영하고, 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집한다(A 단계).The user terminal 10 uses a camera to photograph the surrounding environment in which the key points are to be detected, and collects point cloud data, which is a cluster of key points, from the captured surrounding environment image (step A).

사용자 단말(10)은 GNSS 수신기를 통해 GNSS 위성(40)에서 송출되는 GNSS 신호를 수신하고, GNSS 신호로부터 사용자 단말(10)의 GNSS 좌표정보를 수집한다((B 단계).The user terminal 10 receives the GNSS signal transmitted from the GNSS satellite 40 through the GNSS receiver, and collects GNSS coordinate information of the user terminal 10 from the GNSS signal (step B).

사용자 단말(10)은 수집된 GNSS 좌표정보와 점 구름 데이터를 서버(20)로 전송한다. 사용자 단말(10)은 수집한 데이터를 GIS 데이터베이스(30)에 저장할지 물체 증강을 위한 비교 대상으로 사용할지 결정하여 서버(20)에 명령을 보낸다(C 단계).The user terminal 10 transmits the collected GNSS coordinate information and point cloud data to the server 20 . The user terminal 10 determines whether to store the collected data in the GIS database 30 or to use it as a comparison target for object augmentation and sends a command to the server 20 (step C).

서버(20)는 각 환경에 알맞은 GIS 쿼리(Query)를 작성하여 GIS 데이터베이스(30)로 전송하여 적절한 값을 반환받는다(D 단계). 반환받은 값은 사용자 단말(10)이 사용할 수 있도록 변환되어 다시 사용자 단말(10)로 보내진다.The server 20 prepares a GIS query suitable for each environment, transmits it to the GIS database 30, and returns an appropriate value (step D). The returned value is converted to be used by the user terminal 10 and sent back to the user terminal 10 .

도 2는 실시예에 따른 증강 물체 좌표 보정 시스템의 사용자 단말과 서버의 제어블록도이다.2 is a control block diagram of a user terminal and a server of the augmented object coordinate correction system according to an embodiment.

도 2를 참조하면, 사용자 단말(10)은 스마트폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 스마트 기기일 수 있다.Referring to FIG. 2 , the user terminal 10 may be any type of handheld-based smart device such as a smart phone, a tablet PC, or a notebook computer.

사용자 단말(10)은 카메라(11), GNSS 수신부(12), 지자기 센서(13), 통신부(14) 및 단말 제어부(15)를 포함할 수 있다.The user terminal 10 may include a camera 11 , a GNSS receiver 12 , a geomagnetic sensor 13 , a communication unit 14 , and a terminal control unit 15 .

카메라(11)는 사용자 단말(10)의 주변 환경을 촬영한다.The camera 11 captures the surrounding environment of the user terminal 10 .

GNSS 수신부(12)는 복수의 GNSS 위성으로부터 송신된 GNSS 신호를 수신하고 수신된 GNSS 신호에 기반한 GNSS 좌표 정보를 단말 제어부(10)에 제공한다. 이 GNSS 좌표 정보로부터 사용자 단말(10)의 현재 위치를 인식할 수 있다.The GNSS receiver 12 receives GNSS signals transmitted from a plurality of GNSS satellites and provides GNSS coordinate information based on the received GNSS signals to the terminal controller 10 . The current location of the user terminal 10 can be recognized from this GNSS coordinate information.

지자기 센서(13)는 사용자 단말(10)이 놓인 위치의 지구 자기를 측정하는 세 개의 센서로서, 세 개의 지자기 센서가 각각 X축, Y축, 및 Z축으로 배치되어 있으며 3차원 지자기 데이터를 측정하여 단말 제어부(15)에 제공한다.The geomagnetic sensor 13 is three sensors for measuring the earth magnetism of the location where the user terminal 10 is placed, and the three geomagnetic sensors are respectively arranged in the X-axis, Y-axis, and Z-axis, and measure three-dimensional geomagnetic data. and provides it to the terminal control unit 15 .

통신부(14)는 통신망과 연동하여 서버(20)와 데이터를 송수신하는 데 필요한 통신 인터페이스를 제공한다. 통신부(14)는 다른 네트워크 장치와 유무선 연결을 통해 데이터를 송수신하기 위해서 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The communication unit 14 provides a communication interface necessary for transmitting and receiving data to and from the server 20 by interworking with a communication network. The communication unit 14 may be a device including hardware and software necessary for transmitting and receiving data through wired/wireless connection with other network devices.

단말 제어부(15)는 프로세서(15a)와 메모리(15b)를 포함할 수 있다. 단말 제어부(15)는 하나 이상의 프로세서(15a)를 포함할 수 있다. 단말 제어부(15)에 포함되는 하나 이상의 프로세서(15a)는 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리되는 것도 가능하다.The terminal control unit 15 may include a processor 15a and a memory 15b. The terminal control unit 15 may include one or more processors 15a. One or more processors 15a included in the terminal control unit 15 may be integrated into one chip or may be physically separated.

하나 이상의 프로세서(15a)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로로서, 하드웨어에 내장된 데이터 처리 장치일 수 있다. 예를 들어, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치일 수 있다.The one or more processors 15a are circuits physically structured to perform functions expressed as codes or instructions included in a program, and may be data processing devices embedded in hardware. For example, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC), a field programmable gate array (FPGA) It may be a processing device such as

메모리(15b)는 프로세서(15a)가 데이터를 처리하기 위한 프로그램 및/또는 데이터를 저장할 수 있다. 메모리(15b)는 카메라(11), GNSS 수신부(12), 지자기 센서(13) 및 통신부(14)로부터 수신하거나 처리된 데이터를 임시로 기억할 수 있다. 메모리(15b)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.The memory 15b may store a program and/or data for the processor 15a to process data. The memory 15b may temporarily store data received or processed from the camera 11 , the GNSS receiving unit 12 , the geomagnetic sensor 13 , and the communication unit 14 . The memory 15b includes not only volatile memories such as S-RAM and D-RAM, but also flash memory, read only memory (ROM), erasable programmable read only memory (EPROM), etc. of non-volatile memory.

프로세서(15a)와 메모리(15b)가 단일 칩으로 구현될 수도 있다.The processor 15a and the memory 15b may be implemented as a single chip.

단말 제어부(15)는 카메라(11)를 통해 주변 환경을 촬영하고, 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고, GNSS 수신부(12)를 통해 GNSS 위성(40)에서 송출되는 GNSS 신호를 수신하고 GNSS 신호로부터 사용자 단말(10)의 GNSS 좌표정보를 수집하며, 지자기 센서(13)를 통해 사용자 단말(10)의 지자기 데이터를 수집한다.The terminal control unit 15 captures the surrounding environment through the camera 11, collects point cloud data that is a cluster of feature points in the captured surrounding environment image, and is transmitted from the GNSS satellite 40 through the GNSS receiver 12. Receives a GNSS signal, collects GNSS coordinate information of the user terminal 10 from the GNSS signal, and collects geomagnetic data of the user terminal 10 through the geomagnetic sensor 13 .

단말 제어부(15)는 수집된 GNSS 좌표정보, 점 구름 데이터 및 지자기 데이터 등의 데이터들을 통신부(14)를 통해 서버(20)로 전송한다.The terminal control unit 15 transmits the collected data such as GNSS coordinate information, point cloud data, and geomagnetic data to the server 20 through the communication unit 14 .

서버(20)는 통신부(21), 데이터 등록부(22), 데이터 유사성 판단부(23), 좌표 보정부(24), 서버 제어부(25) 및 GIS 데이터베이스(30)를 포함할 수 있다.The server 20 may include a communication unit 21 , a data registration unit 22 , a data similarity determination unit 23 , a coordinate correction unit 24 , a server control unit 25 , and a GIS database 30 .

통신부(21)는 사용자 단말(10)의 통신부(14)와 동일한 구성 및 기능을 수행할 수 있다.The communication unit 21 may perform the same configuration and functions as the communication unit 14 of the user terminal 10 .

데이터 등록부(22)는 사용자 단말(10)로부터 제공된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 사용자가 해당 GNSS 좌표에 등록하길 원하는 증강 물체에 대한 정보를 GIS 데이터베이스(30)에 등록시킨다.The data registration unit 22 registers, in the GIS database 30 , GNSS coordinate information, point cloud data, geomagnetic data, and information about an augmented object that the user wants to register in the corresponding GNSS coordinates provided from the user terminal 10 .

데이터 유사성 판단부(23)는 사용자 단말(10)로부터 제공된 GNSS 좌표정보와 지자기 데이터를 근거로 GIS 데이터베이스(30)에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 판단된 점 구름 데이터 후보들과 사용자 단말(10)로부터 제공된 점 구름 데이터를 각각 비교하고, 비교결과 유사성이 가장 높은 점 구름 데이터를 결정한다.The data similarity determination unit 23 determines point cloud data candidates having a similar global location among the point cloud data registered in the GIS database 30 based on the GNSS coordinate information and geomagnetic data provided from the user terminal 10, Each of the determined point cloud data candidates and the point cloud data provided from the user terminal 10 are compared, and the point cloud data having the highest similarity is determined as a result of the comparison.

좌표 보정부(24)는 데이터 유사성 판단부(23)에서 유사성이 가장 높은 점 구름 데이터가 결정되면, 사용자 단말(10)의 GNSS 좌표를 유사성이 가장 높은 점 구름 데이터에 대응하는 GNSS 좌표로 보정한다.When the point cloud data having the highest similarity is determined by the data similarity determining unit 23, the coordinate correction unit 24 corrects the GNSS coordinates of the user terminal 10 to the GNSS coordinates corresponding to the point cloud data having the highest similarity. .

서버 제어부(25)는 사용자 단말(10)의 최초 물체 등록 요청시 데이터 등록부(22)를 통해 사용자 단말(10)의 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 등록을 원하는 증강 물체 정보를 GIS 데이터베이스(30)에 등록시킨다.The server control unit 25 stores GNSS coordinate information, point cloud data, geomagnetic data, and augmented object information desired for registration of the user terminal 10 through the data registration unit 22 when the user terminal 10 requests the first object registration in the GIS database. (30) is registered.

서버 제어부(25)는 데이터 유사성 판단부(23)를 통해 GIS 데이터베이스(30)에 등록된 점 구름 데이터들 중에서 사용자 단말(10)에서 제공된 데이터와 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 판단된 점 구름 데이터 후보들과 사용자 단말(10)로부터 제공된 점 구름 데이터를 각각 비교하고, 비교결과 유사성이 가장 높은 점 구름 데이터를 결정한다.The server control unit 25 determines, through the data similarity determining unit 23, point cloud data candidates having a global location similar to the data provided from the user terminal 10 among the point cloud data registered in the GIS database 30, Each of the determined point cloud data candidates and the point cloud data provided from the user terminal 10 are compared, and the point cloud data having the highest similarity is determined as a result of the comparison.

서버 제어부(25)는 좌표 보정부(24)를 통해 데이터 유사성 판단부(23)에서 유사성이 가장 높은 점 구름 데이터가 결정되면, 사용자 단말(10)의 GNSS 좌표를 유사성이 가장 높은 점 구름 데이터에 대응하는 GNSS 좌표로 보정한다.When the point cloud data with the highest similarity is determined by the data similarity determining unit 23 through the coordinate correction unit 24 through the coordinate correction unit 24, the server control unit 25 sets the GNSS coordinates of the user terminal 10 to the point cloud data with the highest similarity. Correct with the corresponding GNSS coordinates.

서버 제어부(25)는 사용자 단말(10)의 GNSS 좌표를 보정한 후 보정된 최종 GNSS 좌표와, 유사성이 가장 높은 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 사용자 단말(10)로 전송한다.After correcting the GNSS coordinates of the user terminal 10 , the server controller 25 transmits the corrected final GNSS coordinates and the augmented object information stored corresponding to the point cloud data having the highest similarity to the user terminal 10 .

이에 따라, 사용자 단말(10)은 전달받은 보정된 최종 GNSS 좌표에 따라 카메라(11)의 화면상에 물체를 증강시킨다.Accordingly, the user terminal 10 augments the object on the screen of the camera 11 according to the received corrected final GNSS coordinates.

도 3은 실시예에 따른 증강 물체 좌표 보정 시스템의 제어방법에 대한 제어흐름도이다.3 is a control flowchart for a control method of an augmented object coordinate correction system according to an embodiment.

도 3을 참조하면, 먼저, GIS 데이터베이스(30)에 GNSS 좌표, 점 구름 데이터, 지자기 데이터 및 증강 물체 정보가 등록된 상태로 가정한다.Referring to FIG. 3 , it is assumed that GNSS coordinates, point cloud data, geomagnetic data, and augmented object information are registered in the GIS database 30 .

서버(20)는 사용자 단말(10)로부터 GNSS 좌표를 수신한다(100). 사용자 단말(10)은 GNSS 수신부(12)를 통해 GNSS 위성(40)에서 송출되는 GNSS 신호를 수신하고, GNSS 신호로부터 사용자 단말(10)의 GNSS 좌표정보를 수집하며, 수집된 GNSS 좌표정보를 서버(20)에 전송한다.The server 20 receives the GNSS coordinates from the user terminal 10 (100). The user terminal 10 receives the GNSS signal transmitted from the GNSS satellite 40 through the GNSS receiver 12, collects GNSS coordinate information of the user terminal 10 from the GNSS signal, and stores the collected GNSS coordinate information as a server Send to (20).

서버(20)는 사용자 단말(10)로부터 점 구름 데이터를 수신하고(102), 지자기 데이터를 수신한다(104).The server 20 receives the point cloud data from the user terminal 10 (102), and receives the geomagnetic data (104).

서버(20)는 수신된 GNSS 좌표와 GIS 데이터베이스(30)에 등록된 점 구름 데이터의 유사성을 비교한다(106). 서버(20)는 수신된 GNSS 좌표와 지자기 데이터를 이용하여 GIS 데이터베이스(30)에 저장된 점 구름 데이터들 중에서 사용자 단말(10)과 유사한 위치에 존재하는 점 구름 데이터 후보들을 판단하고, 판단된 점 구름 데이터 후보들과 수신된 점 구름 데이터를 각각 비교한다.The server 20 compares the similarity between the received GNSS coordinates and the point cloud data registered in the GIS database 30 ( 106 ). The server 20 determines the point cloud data candidates existing in a position similar to the user terminal 10 among the point cloud data stored in the GIS database 30 by using the received GNSS coordinates and geomagnetic data, and the determined point cloud Compare the data candidates with the received point cloud data, respectively.

서버(20)는 비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정한다(108).The server 20 determines the point cloud data having the highest similarity according to the comparison result ( 108 ).

서버(20)는 수신된 점 구름 데이터와, 유사성이 가장 높은 점 구름 데이터를 근거로 사용자 단말(10)의 GNSS 좌표를 보정한다(110). 서버(20)는 사용자 단말(10)의 GNSS 좌표를 유사성이 가장 높은 점 구름 데이터에 대응하는 GNSS 좌표로 보정한다.The server 20 corrects the GNSS coordinates of the user terminal 10 based on the received point cloud data and the point cloud data having the highest similarity ( 110 ). The server 20 corrects the GNSS coordinates of the user terminal 10 to the GNSS coordinates corresponding to the point cloud data having the highest similarity.

서버(20)는 보정된 최종 GNSS 좌표와, 유사성이 가장 높은 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 사용자 단말(10)로 전송한다(112).The server 20 transmits the stored augmented object information corresponding to the corrected final GNSS coordinates and the point cloud data having the highest similarity to the user terminal 10 (112).

상기한 구성 및 동작을 수행하는 실시예에 따른 증강 물체 좌표 보정 시스템은 사용자가 증강을 원할 때 현재 수집된 점 구름과 사용자의 GNSS 신호 근방의 과거 등록된 점 구름을 비교하여 일치할 경우 증강 물체를 제공할 수 있다.The augmented object coordinate correction system according to the embodiment of performing the above configuration and operation compares the currently collected point cloud with the point cloud registered in the past near the user's GNSS signal when the user wants to enhance the augmented object. can provide

도 4 및 도 5는 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 주변 환경을 촬영한 영상에서 점 구름 데이터를 수집하는 것을 설명한다.4 and 5 illustrate the collection of point cloud data from images captured by the user's surrounding environment in the augmented object coordinate correction system according to the embodiment.

도 4 및 도 5를 참조하면, 사용자의 주변 환경을 촬영한 영상에서 특징점을 얻어 특징점들의 군인 점 구름(도 4B의 붉은색 점들) 형태로 변환하여 사용한다.Referring to FIGS. 4 and 5 , a feature point is obtained from an image of the user's surrounding environment, and the feature point is converted into a soldier point cloud (red dots in FIG. 4B) and used.

매 프레임 카메라(11)를 이용하여 주변의 영상을 촬영하고, 해당 영상에서 구글 AR 코어(Google AR core) 엔진을 통해 사용자의 위치를 원점으로 하는 도 5의 좌측 이미지를 우측 벡터4(Vector4) 형태의 3차원 점 구름으로 변환한다.The image of the surroundings is taken using the camera 11 every frame, and the left image of FIG. 5 with the user's location as the origin through the Google AR core engine in the image is in the form of a vector 4 on the right. to a 3D point cloud of

최초 물체를 증강할 때는 최대한 많은 점을 수집한다. 충분한 점들을 모은 후 서버(20)로 전송할 때, 사용자 단말(10)에서 얻은 지자기 데이터를 같이 보낸다. 이는 수집한 모든 구름 점을 저장하여 전 방위에서 접근하는 사용자들이 물체를 증강할 위치를 원점으로 하여 전 방위에서 인식하여 물체를 증강할 수 있도록 하기 위함이다.When augmenting the first object, collect as many points as possible. When sending to the server 20 after collecting enough points, the geomagnetic data obtained from the user terminal 10 is sent together. This is to store all the collected cloud points so that users approaching from all directions can augment the object by recognizing it from all directions with the position to augment the object as the origin.

도 6은 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 단말에 설치된 AR 소프트웨어, 서버 및 GIS 데이터베이스 간의 데이터 처리를 설명한다.6 illustrates data processing between the AR software installed in the user terminal, the server, and the GIS database in the augmented object coordinate correction system according to the embodiment.

도 6을 참조하면, 유니티(Unity) 엔진을 사용하는 AR 소프트웨어가 설치된 사용자 단말(10), Node.js로 제작된 서버(20) 및 PostgreSQL의 확장 프로그램인 PostGIS가 적용된 GIS 데이터베이스(30) 간의 데이터 처리가 나타나 있다.Referring to FIG. 6 , data between a user terminal 10 installed with AR software using the Unity engine, a server 20 made with Node.js, and a GIS database 30 to which PostGIS, an extension of PostgreSQL, is applied. processing is shown.

사용자 단말(10)은 수집된 데이터를 Node.js로 제작된 서버(20)로 전송한다. 데이터는 크게 네 가지로 분류된다. 첫 번째는 사용자 단말(10)의 GNSS 좌표이다. 두 번째는 사용자의 주변 환경에서 수집된 점 구름이다. 이 점 구름은 사용자 단말(10)의 GNSS 좌표를 원점으로 한다. 세 번째는 사용자 단말(10)에서 얻은 지자기 센서 데이터이다. 이는 GIS 데이터베이스(30) 상의 모든 구름 점을 저장하여 전방위로 접근하는 사용자들이 물체를 증강할 때 사용된다. 마지막으로 서버(20)에서 생성할 쿼리문에 대한 명령어이다.The user terminal 10 transmits the collected data to the server 20 made in Node.js. The data is broadly classified into four categories. The first is the GNSS coordinates of the user terminal 10 . The second is a point cloud collected from the user's surrounding environment. This point cloud has the GNSS coordinates of the user terminal 10 as the origin. The third is geomagnetic sensor data obtained from the user terminal 10 . This is used when users who access all directions by storing all cloud points on the GIS database 30 augment objects. Finally, it is a command for a query statement to be generated by the server 20 .

서버(20)는 각 명령에 맞는 GIS 쿼리를 작성하여 GIS 데이터베이스(30)에 전송한다. 서버(20)에 내릴 수 있는 명령은 다음과 같다.The server 20 creates a GIS query for each command and transmits it to the GIS database 30 . The commands that can be given to the server 20 are as follows.

첫 번째로 새로운 데이터 세트 등록하기로 최초 물체를 증강할 때 해당 명령을 사용한다. 맨 처음 진행하는 단계는 유니티(unity) 엔진에서 플로트(Float) 기반으로 생성된 좌표를 현실 세계의 경위도 좌표로 변환하여 사용한다. 단 높이데이터는 반환되지 않고 기존 데이터를 그대로 사용한다.First, we use that command to augment the first object by registering a new data set. The first step is to convert the coordinates generated based on float in the unity engine into longitude and latitude coordinates in the real world and use them. However, the height data is not returned and the existing data is used as it is.

두 번째로는 축적된 데이터 세트와 비교하기는 등록된 물체를 증강할 때 해당 명령을 사용한다. 사용자가 데이터를 수집하여 전송하면, 데이터를 등록할 때와 마찬가지로 경위도 기반 좌표계로 변환한 후 축적된 데이터와 비교한다.Second, the comparison with the accumulated data set uses that command to augment the registered object. When the user collects and transmits data, it is converted to a longitude and latitude-based coordinate system just like when data is registered, and then compared with the accumulated data.

도 7은 실시예에 따른 증강 물체 좌표 보정 시스템에서 점 구름 데이터의 유사성 판단하는 것을 설명한다.7 illustrates determination of similarity of point cloud data in the augmented object coordinate correction system according to an embodiment.

도 7을 참조하면, 등록된 물체를 증강하기 위해서는 현재 사용자가 현재 수집된 점 구름 데이터와 과거 수집되었던 점 구름의 데이터를 비교하여, 원점으로부터의 최대 탐색 거리와 각 점의 오차허용 범위의 변수를 임계값으로 사용하여 유사성이 높으면 같은 위치에 있다는 것으로 간주한다.Referring to FIG. 7 , in order to augment the registered object, the current user compares the point cloud data currently collected with the point cloud data collected in the past, and determines the variable of the maximum search distance from the origin and the error tolerance range of each point. Using it as a threshold, if the similarity is high, it is considered to be in the same position.

데이터를 비교할 때 두 가지의 변수를 임계값으로 사용한다.When comparing data, two variables are used as thresholds.

첫 번째로 원점으로부터의 최대 탐색거리이다. 점 구름을 수집한 GNSS 좌표를 원점으로 하여 최소/최대 탐색 거리를 주어 거리상 적합한 점 구름만 탐색 대상으로 한다.First, it is the maximum search distance from the origin. With the GNSS coordinates from which the point clouds were collected as the origin, the minimum/maximum search distance is given, and only point clouds suitable for the distance are searched.

두 번째는 각 점의 오차허용 범위이다. 각 점마다 약간의 오차허용 범위를 만들어 푸른색 점 집단은 각 점마다 약간의 오차허용 범위를 갖게 되며, 붉은 색 점 집단의 점들이 그 범위 안에 있다면 같은 위치로 인정받아 유사 집단으로 판단한다.The second is the tolerance range of each point. A small error tolerance is created for each point, and the blue dot group has a little error tolerance for each point.

점점 탐색 거리를 넓혀가며 요구하는 정확도를 줄여가는 방법으로 점 구름 집단을 검색할 때, 최초 붉은색의 좁은 범위(5M)에서부터 검색을 시작한다. 이때는 오차허용범위를 최소화(2M)하여 높은 정확도를 요구한다.When searching a group of point clouds by gradually increasing the search distance and decreasing the required accuracy, the search starts from the narrow range (5M) in red. In this case, high accuracy is required by minimizing the error tolerance (2M).

만약 결과가 나오지 않는다면, 탐색 범위를 소폭 증가시키고 요구 정확도는 낮춰 원점부터 다시 탐색한다. 푸른색의 최대 범위(20M)까지 도달하거나 결과가 나올 때까지 반복한다. 탐색 범위가 최대일 때는 오차허용 범위도 최대화(3.5M)되어 요구 정확도가 낮다. 최초 높은 정확도에서 먼저 탐색하기 때문에 엉뚱한 점 구름이 먼저 잡힐 염려가 없고, 점점 정확도를 낮춰가며 범위를 넓히기 때문에 같은 환경에서 찍었지만, 유사도가 약간 낮은 집단도 놓치지 않고 검출하여 증강 물체의 좌표 오차를 줄일 수 있다.If there is no result, the search range is slightly increased and the required accuracy is lowered, and the search is performed again from the origin. Repeat until the maximum range of blue (20M) is reached or results are obtained. When the search range is maximum, the error tolerance is also maximized (3.5M), so the required accuracy is low. Because it searches first with high accuracy, there is no fear of getting the wrong point cloud first, and since the range is widened by decreasing the accuracy gradually, it was taken in the same environment, but it detects even a group with a slightly low similarity to reduce the coordinate error of the augmented object. can

도 8은 실시예에 따른 증강 물체 좌표 보정 시스템에서 미터 기반의 EPSG 좌표계와 경위도 기반의 EPSG 좌표계의 데이터 변환 관계를 나타낸 표이다.8 is a table showing the data conversion relationship between the meter-based EPSG coordinate system and the longitude and latitude-based EPSG coordinate system in the augmented object coordinate correction system according to the embodiment.

도 8을 참조하면, 주변 환경의 점 구름의 경위도 원점과 사용자 데이터의 경위도 원점의 차이를 얻어 변환할 필요가 있다. 미터 기반의 EPSG 좌표계로 반환된 최종값은 다시 유니티 엔진에서 사용할 수 있도록 GNSS 좌표를 원점으로 하는 경위도 형태의 데이터 EPSG 좌표계로 역변환하여 사용자 단말(10)의 AR 소프트웨어로 전송된다. 해당 좌표는 증강될 물체에 부여된 후 실제 화면에 나타난다.Referring to FIG. 8 , it is necessary to obtain and convert the difference between the longitude and latitude origin of the point cloud in the surrounding environment and the longitude and latitude origin of the user data. The final value returned to the meter-based EPSG coordinate system is inversely transformed into the longitude and latitude data EPSG coordinate system with the GNSS coordinate as the origin so that it can be used again in the Unity engine, and is transmitted to the AR software of the user terminal 10 . The corresponding coordinates are assigned to the object to be augmented and then appear on the actual screen.

도 9는 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 단말의 AR 소프트웨어의 실행 화면을 나타낸다.9 shows an execution screen of the AR software of the user terminal in the augmented object coordinate correction system according to the embodiment.

도 9를 참조하면, 사용자 단말(10)의 AR 소프트웨어에 의해 실행되는 화면(200)이 나타나 있다.Referring to FIG. 9 , a screen 200 executed by AR software of the user terminal 10 is shown.

화면(200)의 최상단에 있는 붉은 글자는 현재 사용자의 GNSS 좌표 및 갱신 횟수(201)를 보여준다.Red text at the top of the screen 200 shows the current user's GNSS coordinates and the number of updates 201 .

화면(200)의 중앙에는 지자기 센서를 통해 얻은 방위를 나타내는 나침반(202)이 나타나 있다.In the center of the screen 200, a compass 202 indicating the direction obtained through the geomagnetic sensor is shown.

화면(200)의 하단측에는 레인지(range) 및 마진(margin) 등의 임계값을 실시간으로 조절할 수 있는 구역(203)이 나타나 있다.On the lower side of the screen 200, a region 203 in which threshold values such as a range and a margin can be adjusted in real time is shown.

화면(200)의 최하단에는 서버(20)에 명령을 내리는 구역으로서, 비교(Compare) 버튼(204)과 업로드(upload) 버튼(205)이 나타나 있다. 업로드 버튼(205)은 현재 사용자의 데이터를 GIS 데이터베이스(30)에 등록하여 현재 위치에 물체를 새로 증강시키기 위한 명령을 위한 버튼이다. 비교(Compare) 버튼(204)은 현재 사용자의 데이터와 GIS 데이터베이스(30)에 축적된 것을 비교하여 일치하는 결과가 있다면 물체를 증강시키기 위한 명령이다.At the lower end of the screen 200 , a Compare button 204 and an upload button 205 are shown as a section for giving a command to the server 20 . The upload button 205 is a button for registering the data of the current user in the GIS database 30 and giving a command for newly augmenting the object at the current location. The Compare button 204 is a command for comparing the current user's data with that accumulated in the GIS database 30 and augmenting the object if there is a matching result.

화면(200)의 중앙에는 증강된 물체(206)가 나타나 있다.An augmented object 206 is displayed in the center of the screen 200 .

실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 단말(10)은 지속해서 GNSS 좌표를 수집하며 위치를 갱신한다. 사용자 단말(10)은 매 프레임 후면카메라를 이용하여 주변의 영상을 촬영한다. 해당 영상에서 점 구름이 추출된다. 사용자 단말(10)에 의해 수집된 GNSS 좌표와 점 구름 데이터는 GIS 데이터베이스(30)에 저장되어 관리된다. 새로운 사용자가 기존 사용자가 등록한 물체를 보기 위해서는 두 사용자의 범지구적 위치가 유사함이 증명되어야 한다. 두 사용자의 위치가 유사함이 증명되면, 실제 물체가 화면상에 증강될 좌표를 계산한다. 미터 기반의 EPSG 좌표계로 반환된 최종값은 다시 사용자 단말(10)의 AR 소프트웨어의 유니티 엔진에서 사용할 수 있도록 GNSS 좌표를 원점으로 하는 경위도 형태의 데이터 EPSG 좌표계로 역변환하여 사용자 단말(10)의 AR 소프트웨어로 전송된다. 해당 좌표는 증강될 물체에 부여된 후 실제 화면에 나타난다.In the augmented object coordinate correction system according to the embodiment, the user terminal 10 continuously collects GNSS coordinates and updates the position. The user terminal 10 shoots an image of the surroundings using the rear camera every frame. A point cloud is extracted from the image. GNSS coordinates and point cloud data collected by the user terminal 10 are stored and managed in the GIS database 30 . In order for a new user to view an object registered by an existing user, it must be proved that the global location of the two users is similar. If it is proved that the positions of the two users are similar, the coordinates of the real object to be augmented on the screen are calculated. The final value returned to the meter-based EPSG coordinate system is inversely transformed into a longitude and latitude data EPSG coordinate system with GNSS coordinates as the origin so that it can be used again in the Unity engine of the AR software of the user terminal 10, and the AR software of the user terminal 10 is sent to The corresponding coordinates are assigned to the object to be augmented and then appear on the actual screen.

이상과 같이, 본 발명은 고가의 추가 장비 없이 사용자의 주변 환경에서 수집된 점 구름을 이용하여 사용자의 GNSS 좌표에서 발생하는 오차를 보정하여 정확한 위치에 가상 물체를 증강시킬 수 있고, GNSS 신호는 사용자의 넓은 범위를 특징짓는 용도로만 사용되며 점 구름을 기반으로 실제 물체를 증강하기 때문에 실내외에 구애받지 않고 사용할 수 있고, 추가 센서를 착용하는 등의 비용 소모가 없으므로 적은 비용으로 개발 및 배포를 할 수 있으며, 시스템 구성 및 로직을 단순화할 수 있다.As described above, according to the present invention, a virtual object can be augmented at an accurate location by correcting an error occurring in the user's GNSS coordinates using point clouds collected from the user's surrounding environment without expensive additional equipment, and the GNSS signal is It is used only for characterizing a wide range of and system configuration and logic can be simplified.

한편, 전술한 제어부 및/또는 그 구성요소는 컴퓨터가 읽을 수 있는 코드/알고리즘/소프트웨어를 저장하는 컴퓨터가 읽을 수 있는 기록 매체와 결합된 하나 이상의 프로세서/마이크로프로세서(들)를 포함할 수 있다. 프로세서/마이크로프로세서(들)는 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터가 읽을 수 있는 코드/알고리즘/소프트웨어를 실행하여 전술한 기능, 동작, 단계 등을 수행할 수 있다.Meanwhile, the aforementioned control unit and/or its components may include one or more processor/microprocessor(s) coupled with a computer-readable recording medium storing computer-readable code/algorithm/software. The processor/microprocessor(s) may execute the computer-readable code/algorithm/software stored in the computer-readable recording medium to perform the above-described functions, operations, steps, and the like.

상술한 제어부 및/또는 그 구성요소는 컴퓨터로 읽을 수 있는 비 일시적 기록 매체 또는 컴퓨터로 읽을 수 있는 일시적인 기록 매체로 구현되는 메모리를 더 포함할 수 있다. 메모리는 전술한 제어부 및/또는 그 구성요소에 의해 제어될 수 있으며, 전술한 제어부 및/또는 그 구성요소에 전달되거나 그로부터 수신되는 데이터를 저장하도록 구성되거나 전술한 제어부 및/또는 그 구성요소에 의해 처리되거나 처리될 데이터를 저장하도록 구성될 수 있다.The above-described control unit and/or its components may further include a memory implemented as a computer-readable non-transitory recording medium or a computer-readable temporary recording medium. The memory may be controlled by the aforementioned control unit and/or components thereof, and configured to store data transmitted to or received from the aforementioned control unit and/or components thereof or by the above-described control unit and/or components thereof. It may be configured to store data to be processed or to be processed.

개시된 실시예는 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드/알고리즘/소프트웨어로 구현하는 것이 가능하다. 컴퓨터로 읽을 수 있는 기록 매체는 프로세서/마이크로프로세서에 의해 읽혀질 수 있는 데이터를 저장할 수 있는 데이터 저장 장치와 같은 컴퓨터로 읽을 수 있는 비 일시적 기록 매체 일 수 있다. 컴퓨터 판독 가능 기록 매체의 예로는 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 실리콘 디스크 드라이브(SDD), 읽기 전용 메모리 (ROM), CD-ROM, 자기 테이프, 플로피 디스크, 광학 데이터 저장 장치 등이 있다.The disclosed embodiment can also be implemented as computer-readable code/algorithm/software on a computer-readable recording medium. The computer-readable recording medium may be a computer-readable non-transitory recording medium such as a data storage device capable of storing data readable by a processor/microprocessor. Examples of computer-readable recording media include hard disk drives (HDDs), solid state drives (SSDs), silicon disk drives (SDDs), read-only memory (ROM), CD-ROMs, magnetic tapes, floppy disks, optical data storage devices. etc.

10: 사용자 단말 11: 카메라
12: GNSS 수신부 13: 지자기 센서
14: 통신부 15: 단말 제어부
20: 서버 22: 데이터 등록부
23: 데이터 유사성 판단부 24: 좌표 보정부
25: 서버 제어부 30: GIS 데이터베이스10: user terminal 11: camera
12: GNSS receiver 13: geomagnetic sensor
14: communication unit 15: terminal control unit
20: server 22: data register
23: data similarity determination unit 24: coordinate correction unit
25: Server control panel 30: GIS database

Claims (8)

사용자 단말;
상기 사용자 단말과 네트워크 연결된 서버; 및
상기 서버에 연결된 GIS 데이터베이스를 포함하고,
상기 사용자 단말은,
복수의 GNSS 위성으로부터 송신된 GNSS 신호를 수신하는 GNSS 수신부; 상기 사용자 단말의 주변 환경을 촬영하는 카메라; 상기 사용자 단말의 지자기 데이터를 측정하는 지자기 센서 및 상기 GNSS 수신부를 통해 상기 복수의 GNSS 위성에서 송출되는 GNSS 신호를 수신하고 수신된 GNSS 신호로부터 상기 사용자 단말의 GNSS 좌표정보를 수집하고, 상기 카메라에 의해 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고, 상기 지자기 센서를 통해 상기 사용자 단말의 지자기 데이터를 수집하는 단말 제어부를 포함하고,
상기 GIS 데이터베이스에는 사용자 단말별로 수집된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보가 서로 대응되게 등록되어 있고,
상기 서버는,
상기 사용자 단말로부터 수신된 GNSS 좌표정보와 지자기 데이터를 근거로 상기 GIS 데이터베이스에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하고, 비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정하는 데이터 유사성 판단부; 상기 사용자 단말의 GNSS 좌표를 상기 결정된 점 구름 데이터에 대응하는 GNSS 좌표로 보정하는 좌표 보정부; 및 상기 보정된 GNSS 좌표와, 상기 결정된 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 상기 사용자 단말로 전송하는 서버 제어부를 포함하는 증강 물체 좌표 보정 시스템.user terminal;
a server connected to the user terminal in a network; and
including a GIS database connected to the server;
The user terminal is
a GNSS receiver for receiving GNSS signals transmitted from a plurality of GNSS satellites; a camera for photographing the surrounding environment of the user terminal; Receives GNSS signals transmitted from the plurality of GNSS satellites through a geomagnetic sensor measuring geomagnetic data of the user terminal and the GNSS receiver, and collects GNSS coordinate information of the user terminal from the received GNSS signals, and by the camera Comprising a terminal control unit that collects point cloud data, which is a cluster of feature points in the captured surrounding environment image, and collects geomagnetic data of the user terminal through the geomagnetic sensor,
In the GIS database, GNSS coordinate information collected for each user terminal, point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates are registered to correspond to each other,
The server is
Based on the GNSS coordinate information and geomagnetic data received from the user terminal, point cloud data candidates having a similar global location are determined among the point cloud data registered in the GIS database, and the determined point cloud data candidates and the user terminal a data similarity determination unit that compares the point cloud data received from the , and determines the point cloud data with the highest similarity according to the comparison result; a coordinate correction unit for correcting the GNSS coordinates of the user terminal into GNSS coordinates corresponding to the determined point cloud data; and a server controller configured to transmit the corrected GNSS coordinates and the augmented object information stored corresponding to the determined point cloud data to the user terminal. 제1항에 있어서,
상기 데이터 유사성 판단부는,
상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하여, 해당 점 구름 데이터에 대응하는 GNSS 좌표를 원점으로부터의 최대 탐색 거리와 각 점 구름 데이터의 오차허용 범위 중 적어도 하나를 임계값으로 사용하여 유사성이 가장 높은 점 구름 데이터를 결정하는 증강 물체 좌표 보정 시스템.According to claim 1,
The data similarity determination unit,
By comparing the determined point cloud data candidates with the point cloud data received from the user terminal, respectively, the GNSS coordinates corresponding to the point cloud data are at least one of the maximum search distance from the origin and the error tolerance range of each point cloud data. An augmented object coordinate correction system that uses as a threshold to determine the point cloud data with the highest similarity. 제1항에 있어서,
상기 서버는,
새로운 물체 등록 요청시 요청된 사용자 단말로부터 수신된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보를 상기 GIS 데이터베이스에 등록시키는 데이터 등록부를 포함하는 증강 물체 좌표 보정 시스템.According to claim 1,
The server is
Augmented object coordinate correction system comprising a data register for registering GNSS coordinate information, point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates in the GIS database received from the user terminal requested when a new object registration is requested . 제1항에 있어서,
상기 사용자 단말은,
상기 서버로부터 수신된 상기 보정된 GNSS 좌표에 따라 상기 사용자 단말에 설치된 AR 소프트웨어에 의해 실행되는 화면상에서 상기 서버로부터 수신된 증강 물체 정보에 따른 물체가 증강될 좌표를 계산하고, 상기 계산된 좌표에 상기 물체를 증강시키는 증강 물체 좌표 보정 시스템.According to claim 1,
The user terminal is
Calculate the coordinates to be augmented according to the augmented object information received from the server on a screen executed by the AR software installed in the user terminal according to the corrected GNSS coordinates received from the server, and to the calculated coordinates, the coordinates to be augmented are calculated. Augmented object coordinate correction system that augments objects. 사용자 단말과, 상기 사용자 단말과 네트워크 연결된 서버 및 상기 서버에 연결된 GIS 데이터베이스를 포함하고, 상기 GIS 데이터베이스에는 사용자 단말별로 수집된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보가 서로 대응되게 등록된 증강 물체 좌표 보정 시스템의 제어 방법에 있어서,
상기 사용자 단말에 의해,
복수의 GNSS 위성에서 송출되는 GNSS 신호를 수신하고 상기 수신된 GNSS 신호로부터 상기 사용자 단말의 GNSS 좌표정보를 수집하고,
카메라에 의해 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고,
상기 사용자 단말의 지자기 데이터를 수집하고,
상기 서버에 의해,
상기 사용자 단말로부터 상기 수집된 GNSS 좌표정보, 점 구름 데이터 및 지자기 데이터를 수신하고,
상기 사용자 단말로부터 수신된 GNSS 좌표정보와 지자기 데이터를 근거로 상기 GIS 데이터베이스에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고,
상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하고,
비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정하고,
상기 사용자 단말의 GNSS 좌표를 상기 결정된 점 구름 데이터에 대응하는 GNSS 좌표로 보정하고,
상기 보정된 GNSS 좌표와, 상기 결정된 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 상기 사용자 단말로 전송하는 증강 물체 좌표 보정 시스템의 제어 방법.A user terminal, a server connected to the network with the user terminal, and a GIS database connected to the server, wherein the GIS database includes GNSS coordinate information, point cloud data, geomagnetic data, and a corresponding GNSS coordinate collected for each user terminal. In the control method of an augmented object coordinate correction system in which object information is registered to correspond to each other,
by the user terminal,
receiving GNSS signals transmitted from a plurality of GNSS satellites and collecting GNSS coordinate information of the user terminal from the received GNSS signals;
Collecting point cloud data, which is a cluster of feature points, from the surrounding environment image taken by the camera,
Collect geomagnetic data of the user terminal,
by the server,
Receive the collected GNSS coordinate information, point cloud data and geomagnetic data from the user terminal,
Based on the GNSS coordinate information and geomagnetic data received from the user terminal, among the point cloud data registered in the GIS database, point cloud data candidates having a similar global location are determined,
Comparing the determined point cloud data candidates and the point cloud data received from the user terminal, respectively,
Determine the point cloud data with the highest similarity according to the comparison result,
Correcting the GNSS coordinates of the user terminal to the GNSS coordinates corresponding to the determined point cloud data,
The control method of the augmented object coordinates correction system for transmitting the corrected GNSS coordinates and the stored augmented object information corresponding to the determined point cloud data to the user terminal. 제5항에 있어서,
상기 유사성이 가장 높은 점 구름 데이터를 결정하는 것은,
상기 서버에 의해,
상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하여, 해당 점 구름 데이터에 대응하는 GNSS 좌표를 원점으로부터의 최대 탐색 거리와 각 점 구름 데이터의 오차허용 범위 중 적어도 하나를 임계값으로 사용하여 유사성이 가장 높은 점 구름 데이터를 결정하는 것을 포함하는 증강 물체 좌표 보정 시스템의 제어 방법.6. The method of claim 5,
Determining the point cloud data with the highest similarity is
by the server,
By comparing the determined point cloud data candidates with the point cloud data received from the user terminal, respectively, the GNSS coordinates corresponding to the point cloud data are at least one of the maximum search distance from the origin and the error tolerance range of each point cloud data. A method of controlling an augmented object coordinate correction system, comprising determining point cloud data with the highest similarity by using as a threshold value. 제5항에 있어서,
상기 서버에 의해,
새로운 물체 등록 요청시 요청된 사용자 단말로부터 수신된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보를 상기 GIS 데이터베이스에 등록시키는 증강 물체 좌표 보정 시스템의 제어 방법.6. The method of claim 5,
by the server,
A control method of an augmented object coordinate correction system for registering GNSS coordinate information, point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates in the GIS database, received from a user terminal requested when a new object registration is requested. 제5항에 있어서,
상기 사용자 단말에 의해,
상기 서버로부터 수신된 상기 보정된 GNSS 좌표에 따라 상기 사용자 단말에 설치된 AR 소프트웨어에 의해 실행되는 화면상에서 상기 서버로부터 수신된 증강 물체 정보에 따른 물체가 증강될 좌표를 계산하고,
상기 계산된 좌표에 상기 물체를 증강시키는 증강 물체 좌표 보정 시스템의 제어 방법.6. The method of claim 5,
by the user terminal,
Calculate the coordinates to be augmented according to the augmented object information received from the server on a screen executed by AR software installed in the user terminal according to the corrected GNSS coordinates received from the server,
A control method of an augmented object coordinate correction system for augmenting the object at the calculated coordinates.
KR1020210167007A 2020-12-01 2021-11-29 Augmented objects coordinate correction system and control method thereof KR20220077089A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200165473 2020-12-01
KR20200165473 2020-12-01

Publications (1)

Publication Number Publication Date
KR20220077089A true KR20220077089A (en) 2022-06-08

Family

ID=81981239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210167007A KR20220077089A (en) 2020-12-01 2021-11-29 Augmented objects coordinate correction system and control method thereof

Country Status (1)

Country Link
KR (1) KR20220077089A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190133909A (en) 2018-05-24 2019-12-04 시크릿타운 주식회사 Method for providing augmented reality contents based on location
KR20200102201A (en) 2019-02-21 2020-08-31 한국가스안전공사 The guidance system for buried natural gas pipelines using GNSS and augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190133909A (en) 2018-05-24 2019-12-04 시크릿타운 주식회사 Method for providing augmented reality contents based on location
KR20200102201A (en) 2019-02-21 2020-08-31 한국가스안전공사 The guidance system for buried natural gas pipelines using GNSS and augmented reality

Similar Documents

Publication Publication Date Title
US11295472B2 (en) Positioning method, positioning apparatus, positioning system, storage medium, and method for constructing offline map database
KR101617948B1 (en) System, method and recording medium for map image recognition by using optical character reader, and file distribution system
CN109270545B (en) Positioning true value verification method, device, equipment and storage medium
US9324003B2 (en) Location of image capture device and object features in a captured image
CN110979346B (en) Method, device and equipment for determining lane where vehicle is located
CN109461208B (en) Three-dimensional map processing method, device, medium and computing equipment
JP2020067439A (en) System and method for estimating position of moving body
CN109425348B (en) Method and device for simultaneously positioning and establishing image
US11237003B2 (en) Stellar-landscape/horizon image navigation
CN113048980B (en) Pose optimization method and device, electronic equipment and storage medium
CN107193820B (en) Position information acquisition method, device and equipment
KR102622585B1 (en) Indoor navigation apparatus and method
CN111159459B (en) Landmark positioning method, landmark positioning device, computer equipment and storage medium
KR20150042544A (en) Mobile terminal for providing location information, method and system for measuring the location information
CN110926478A (en) AR navigation route deviation rectifying method and system and computer readable storage medium
KR101768522B1 (en) System, method and recording medium for map image recognition by using optical character reader, and file distribution system
Stranner et al. A high-precision localization device for outdoor augmented reality
US20240069211A1 (en) Method for determining, using an optronic system, positions in a scene, and associated optronic system
JP2014209680A (en) Land boundary display program, method, and terminal device
CN114674328B (en) Map generation method, map generation device, electronic device, storage medium, and vehicle
KR20220077089A (en) Augmented objects coordinate correction system and control method thereof
CN112097742A (en) Pose determination method and device
Venable Improving Real-World Performance of Vision Aided Navigation in a Flight Environment
Venable Improving Real World Performance for Vision Navigation in a Flight Environment
KR20220062709A (en) System for detecting disaster situation by clustering of spatial information based an image of a mobile device and method therefor

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right