KR20220077089A - Augmented objects coordinate correction system and control method thereof - Google Patents
Augmented objects coordinate correction system and control method thereof Download PDFInfo
- Publication number
- KR20220077089A KR20220077089A KR1020210167007A KR20210167007A KR20220077089A KR 20220077089 A KR20220077089 A KR 20220077089A KR 1020210167007 A KR1020210167007 A KR 1020210167007A KR 20210167007 A KR20210167007 A KR 20210167007A KR 20220077089 A KR20220077089 A KR 20220077089A
- Authority
- KR
- South Korea
- Prior art keywords
- user terminal
- point cloud
- gnss
- cloud data
- data
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 79
- 238000012937 correction Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims description 18
- 230000015654 memory Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
증강 물체 좌표 보정 시스템은 사용자 단말은 GNSS 수신부를 통해 GNSS 신호를 수신하고 수신된 GNSS 신호로부터 사용자 단말의 GNSS 좌표정보를 수집하고, 카메라에 의해 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고, 지자기 센서를 통해 사용자 단말의 지자기 데이터를 수집하는 단말 제어부를 포함하고, GIS 데이터베이스에는 사용자 단말별로 수집된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보가 서로 대응되게 등록되어 있고, 사용자 단말과 네트워크 연결되고 GIS 데이터베이스와 연결된 서버는 사용자 단말로부터 수신된 GNSS 좌표정보와 지자기 데이터를 근거로 GIS 데이터베이스에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 판단된 점 구름 데이터 후보들과 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하고, 비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정하는 데이터 유사성 판단부와, 사용자 단말의 GNSS 좌표를 결정된 점 구름 데이터에 대응하는 GNSS 좌표로 보정하는 좌표 보정부와, 보정된 GNSS 좌표와, 결정된 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 사용자 단말로 전송하는 서버 제어부를 포함한다.In the augmented object coordinate correction system, the user terminal receives the GNSS signal through the GNSS receiver, collects the GNSS coordinate information of the user terminal from the received GNSS signal, and collects point cloud data, which is a cluster of feature points in the surrounding environment image taken by the camera. and a terminal control unit that collects and collects geomagnetic data of the user terminal through a geomagnetic sensor, and the GIS database includes GNSS coordinate information, point cloud data, geomagnetic data collected for each user terminal, and augmented object information that you want to register in the corresponding GNSS coordinates. is registered to correspond to each other, and the server connected to the user terminal and the GIS database has a similar global location among the point cloud data registered in the GIS database based on the GNSS coordinate information and geomagnetic data received from the user terminal. A data similarity determination unit that determines the cloud data candidates, compares the determined point cloud data candidates with the point cloud data received from the user terminal, and determines the point cloud data with the highest similarity according to the comparison result; A coordinate correction unit for correcting the GNSS coordinates into GNSS coordinates corresponding to the determined point cloud data, and a server control unit for transmitting the corrected GNSS coordinates and augmented object information stored corresponding to the determined point cloud data to the user terminal.
Description
본 발명은 비 마커 기반의 증강현실 분야에 적용되는 증강 물체 좌표 보정 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to a system for correcting the coordinates of an augmented object applied to a non-marker-based augmented reality field and a method for controlling the same.
일반적으로, 증강 현실은 가상 현실의 한 분야로, 실제로 존재하는 환경에 가상의 물체나 정보를 합성하여 마치 원래의 환경에 존재하는 물체처럼 보이도록 하는 컴퓨터 그래픽 기법이다.In general, augmented reality is a field of virtual reality, and is a computer graphics technique that synthesizes a virtual object or information in an actual environment to make it look like an object existing in the original environment.
GNSS(Global Navigation Satellite System)는 지구상에서 사용자의 위치를 결정하기 위한 범지구 위성항법 시스템이다.GNSS (Global Navigation Satellite System) is a global satellite navigation system for determining a user's location on Earth.
GNSS 위성에서 송출되는 GNSS 신호는 사용자에게 도달하는 과정에서 위성궤도 및 시계 오차, 전리층 오차 등 여러 오차 요인들을 포함하기 때문에 사용자의 위치 추정시 측위 오차가 발생하게 된다.Since the GNSS signal transmitted from the GNSS satellite includes various error factors such as satellite orbit, clock error, and ionospheric error in the process of reaching the user, positioning error occurs when estimating the user's location.
최근 기술의 발전에 따라 비 마커 기반의 증강현실 분야에서 사용자의 GNSS 좌표를 기반으로 물체를 증강하고 있다. 물체를 정확한 위치에 증강하기 위해서는 사용자의 위치를 정확히 추정하는 것이 중요하다.With the recent development of technology, objects are being augmented based on the user's GNSS coordinates in the non-marker-based augmented reality field. It is important to accurately estimate the user's location in order to augment the object at an accurate location.
기존에는 사용자의 GNSS 좌표를 보정하기 위해서 고가의 추가 장비가 필요하기 때문에 제조 비용이 증가하고 시스템 구성 및 로직이 복잡해지는 문제점이 있다.Conventionally, since expensive additional equipment is required to calibrate the user's GNSS coordinates, there are problems in that manufacturing costs increase and system configuration and logic become complicated.
일 측면은 고가의 추가 장비 없이 사용자의 주변 환경에서 수집된 점 구름을 이용하여 사용자의 GNSS 좌표에서 발생하는 오차를 보정하여 정확한 위치에 가상 물체를 증강시킬 수 있는 증강 물체 좌표 보정 시스템 및 그 제어 방법을 제공한다.One aspect is an augmented object coordinate correction system capable of augmenting a virtual object in an accurate position by correcting an error occurring in the user's GNSS coordinates using point clouds collected from the user's surrounding environment without expensive additional equipment, and a control method therefor provides
일 측면에 따르면, 사용자 단말; 상기 사용자 단말과 네트워크 연결된 서버; 및 상기 서버에 연결된 GIS 데이터베이스를 포함하고, 상기 사용자 단말은, 복수의 GNSS 위성으로부터 송신된 GNSS 신호를 수신하는 GNSS 수신부; 상기 사용자 단말의 주변 환경을 촬영하는 카메라; 상기 사용자 단말의 지자기 데이터를 측정하는 지자기 센서 및 상기 GNSS 수신부를 통해 상기 복수의 GNSS 위성에서 송출되는 GNSS 신호를 수신하고 수신된 GNSS 신호로부터 상기 사용자 단말의 GNSS 좌표정보를 수집하고, 상기 카메라에 의해 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고, 상기 지자기 센서를 통해 상기 사용자 단말의 지자기 데이터를 수집하는 단말 제어부를 포함하고, 상기 GIS 데이터베이스에는 사용자 단말별로 수집된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보가 서로 대응되게 등록되어 있고, 상기 서버는, 상기 사용자 단말로부터 수신된 GNSS 좌표정보와 지자기 데이터를 근거로 상기 GIS 데이터베이스에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하고, 비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정하는 데이터 유사성 판단부; 상기 사용자 단말의 GNSS 좌표를 상기 결정된 점 구름 데이터에 대응하는 GNSS 좌표로 보정하는 좌표 보정부; 및 상기 보정된 GNSS 좌표와, 상기 결정된 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 상기 사용자 단말로 전송하는 서버 제어부를 포함하는 증강 물체 좌표 보정 시스템이 제공될 수 있다.According to one aspect, the user terminal; a server connected to the user terminal in a network; and a GIS database connected to the server, wherein the user terminal includes: a GNSS receiver configured to receive GNSS signals transmitted from a plurality of GNSS satellites; a camera for photographing the surrounding environment of the user terminal; Receive GNSS signals transmitted from the plurality of GNSS satellites through a geomagnetic sensor measuring geomagnetic data of the user terminal and the GNSS receiver, and collect GNSS coordinate information of the user terminal from the received GNSS signals, and by the camera Collecting point cloud data, which is a cluster of feature points in the captured surrounding environment image, and comprising a terminal control unit for collecting geomagnetic data of the user terminal through the geomagnetic sensor, the GIS database includes GNSS coordinate information collected for each user terminal, Point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates are registered to correspond to each other, and the server is registered in the GIS database based on the GNSS coordinate information and geomagnetic data received from the user terminal. Among the point cloud data, point cloud data candidates having a similar global location are determined, the determined point cloud data candidates are compared with the point cloud data received from the user terminal, respectively, and the point cloud with the highest similarity according to the comparison result a data similarity determining unit that determines data; a coordinate correction unit for correcting the GNSS coordinates of the user terminal into GNSS coordinates corresponding to the determined point cloud data; and a server controller for transmitting the corrected GNSS coordinates and the augmented object information stored corresponding to the determined point cloud data to the user terminal may be provided.
상기 데이터 유사성 판단부는, 상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하여, 해당 점 구름 데이터에 대응하는 GNSS 좌표를 원점으로부터의 최대 탐색 거리와 각 점 구름 데이터의 오차허용 범위 중 적어도 하나를 임계값으로 사용하여 유사성이 가장 높은 점 구름 데이터를 결정할 수 있다.The data similarity determination unit compares the determined point cloud data candidates with the point cloud data received from the user terminal, respectively, and compares the GNSS coordinates corresponding to the point cloud data with the maximum search distance from the origin and each point cloud data. At least one of the error tolerance ranges can be used as a threshold to determine the point cloud data with the highest similarity.
상기 서버는, 새로운 물체 등록 요청시 요청된 사용자 단말로부터 수신된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보를 상기 GIS 데이터베이스에 등록시키는 데이터 등록부를 포함할 수 있다.The server may include a data registration unit for registering GNSS coordinate information, point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates in the GIS database received from the user terminal requested when a new object registration is requested. have.
상기 사용자 단말은, 상기 서버로부터 수신된 상기 보정된 GNSS 좌표에 따라 상기 사용자 단말에 설치된 AR 소프트웨어에 의해 실행되는 화면상에서 상기 서버로부터 수신된 증강 물체 정보에 따른 물체가 증강될 좌표를 계산하고, 상기 계산된 좌표에 상기 물체를 증강시킬 수 있다.The user terminal calculates the coordinates to be augmented according to the augmented object information received from the server on a screen executed by the AR software installed in the user terminal according to the corrected GNSS coordinates received from the server, The object may be augmented at the calculated coordinates.
다른 측면에 따르면, 사용자 단말과, 상기 사용자 단말과 네트워크 연결된 서버 및 상기 서버에 연결된 GIS 데이터베이스를 포함하고, 상기 GIS 데이터베이스에는 사용자 단말별로 수집된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보가 서로 대응되게 등록된 증강 물체 좌표 보정 시스템의 제어 방법에 있어서, 상기 사용자 단말에 의해, 복수의 GNSS 위성에서 송출되는 GNSS 신호를 수신하고 상기 수신된 GNSS 신호로부터 상기 사용자 단말의 GNSS 좌표정보를 수집하고, 카메라에 의해 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고, 상기 사용자 단말의 지자기 데이터를 수집하고, 상기 서버에 의해, 상기 사용자 단말로부터 상기 수집된 GNSS 좌표정보, 점 구름 데이터 및 지자기 데이터를 수신하고, 상기 사용자 단말로부터 수신된 GNSS 좌표정보와 지자기 데이터를 근거로 상기 GIS 데이터베이스에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하고, 비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정하고, 상기 사용자 단말의 GNSS 좌표를 상기 결정된 점 구름 데이터에 대응하는 GNSS 좌표로 보정하고, 상기 보정된 GNSS 좌표와, 상기 결정된 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 상기 사용자 단말로 전송하는 증강 물체 좌표 보정 시스템의 제어 방법이 제공될 수 있다.According to another aspect, it includes a user terminal, a server connected to the user terminal and a network, and a GIS database connected to the server, wherein the GIS database includes GNSS coordinate information, point cloud data, geomagnetic data, and corresponding GNSS coordinates collected for each user terminal. In the control method of an augmented object coordinate correction system in which augmented object information desired to be registered in correspondence with each other is registered, GNSS signals transmitted from a plurality of GNSS satellites are received by the user terminal, and from the received GNSS signals, the user Collect GNSS coordinate information of the terminal, collect point cloud data that is a cluster of feature points in the surrounding environment image taken by the camera, collect geomagnetic data of the user terminal, and collect the data from the user terminal by the server Received GNSS coordinate information, point cloud data, and geomagnetic data, and based on the GNSS coordinate information and geomagnetic data received from the user terminal, point cloud data candidates having similar global locations among the point cloud data registered in the GIS database and compares the determined point cloud data candidates with the point cloud data received from the user terminal, respectively, determines the point cloud data with the highest similarity according to the comparison result, and determines the GNSS coordinates of the user terminal as the determined A control method of an augmented object coordinate correction system may be provided that corrects the GNSS coordinates corresponding to the point cloud data, and transmits the corrected GNSS coordinates and the augmented object information stored corresponding to the determined point cloud data to the user terminal. have.
상기 유사성이 가장 높은 점 구름 데이터를 결정하는 것은, 상기 서버에 의해, 상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하여, 해당 점 구름 데이터에 대응하는 GNSS 좌표를 원점으로부터의 최대 탐색 거리와 각 점 구름 데이터의 오차허용 범위 중 적어도 하나를 임계값으로 사용하여 유사성이 가장 높은 점 구름 데이터를 결정하는 것을 포함할 수 있다.Determining the point cloud data with the highest similarity is to compare, by the server, the determined point cloud data candidates with the point cloud data received from the user terminal, respectively, to obtain GNSS coordinates corresponding to the point cloud data. It may include determining the point cloud data with the highest similarity by using at least one of the maximum search distance from the origin and the error tolerance range of each point cloud data as a threshold value.
상기 서버에 의해, 새로운 물체 등록 요청시 요청된 사용자 단말로부터 수신된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보를 상기 GIS 데이터베이스에 등록시킬 수 있다.By the server, when a new object registration is requested, GNSS coordinate information, point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates received from the requested user terminal may be registered in the GIS database.
상기 사용자 단말에 의해, 상기 서버로부터 수신된 상기 보정된 GNSS 좌표에 따라 상기 사용자 단말에 설치된 AR 소프트웨어에 의해 실행되는 화면상에서 상기 서버로부터 수신된 증강 물체 정보에 따른 물체가 증강될 좌표를 계산하고, 상기 계산된 좌표에 상기 물체를 증강시킬 수 있다.Calculate, by the user terminal, the coordinates to be augmented according to the augmented object information received from the server on the screen executed by the AR software installed in the user terminal according to the corrected GNSS coordinates received from the server, The object may be augmented at the calculated coordinates.
본 발명은 고가의 추가 장비 없이 사용자의 주변 환경에서 수집된 점 구름을 이용하여 사용자의 GNSS 좌표에서 발생하는 오차를 보정하여 정확한 위치에 가상 물체를 증강시킬 수 있다.The present invention can augment a virtual object at an accurate location by correcting an error occurring in the user's GNSS coordinates using a point cloud collected from the user's surrounding environment without expensive additional equipment.
본 발명은 GNSS 신호는 사용자의 넓은 범위를 특징짓는 용도로만 사용되며, 점 구름을 기반으로 실제 물체를 증강하기 때문에, 실내외에 구애받지 않고 사용할 수 있고, 추가 센서를 착용하는 등의 비용 소모가 없으므로 적은 비용으로 개발 및 배포를 할 수 있으며, 시스템 구성 및 로직을 단순화할 수 있다.In the present invention, the GNSS signal is used only for characterizing a wide range of users, and because it augments a real object based on point clouds, it can be used regardless of indoors or outdoors, and there is no cost consumption such as wearing an additional sensor. It can be developed and deployed at a low cost, and the system configuration and logic can be simplified.
도 1은 실시예에 따른 증강 물체 좌표 보정 시스템의 구성도이다.
도 2는 실시예에 따른 증강 물체 좌표 보정 시스템의 사용자 단말과 서버의 제어블록도이다.
도 3은 실시예에 따른 증강 물체 좌표 보정 시스템의 제어방법에 대한 제어흐름도이다.
도 4 및 도 5는 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 주변 환경을 촬영한 영상에서 점 구름 데이터를 수집하는 것을 설명한다.
도 6은 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 단말에 설치된 AR 소프트웨어, 서버 및 GIS 데이터베이스 간의 데이터 처리를 설명한다.
도 7은 실시예에 따른 증강 물체 좌표 보정 시스템에서 점 구름 데이터의 유사성 판단하는 것을 설명한다.
도 8은 실시예에 따른 증강 물체 좌표 보정 시스템에서 미터 기반의 EPSG 좌표계와 경위도 기반의 EPSG 좌표계의 데이터 변환 관계를 나타낸 표이다.
도 9는 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 단말의 AR 소프트웨어의 실행 화면을 나타낸다.1 is a block diagram of an augmented object coordinate correction system according to an embodiment.
2 is a control block diagram of a user terminal and a server of the augmented object coordinate correction system according to an embodiment.
3 is a control flowchart for a control method of an augmented object coordinate correction system according to an embodiment.
4 and 5 illustrate the collection of point cloud data from images captured by the user's surrounding environment in the augmented object coordinate correction system according to the embodiment.
6 illustrates data processing between the AR software installed in the user terminal, the server, and the GIS database in the augmented object coordinate correction system according to the embodiment.
7 illustrates determination of similarity of point cloud data in the augmented object coordinate correction system according to an embodiment.
8 is a table showing the data conversion relationship between the meter-based EPSG coordinate system and the longitude and latitude-based EPSG coordinate system in the augmented object coordinate correction system according to the embodiment.
9 shows an execution screen of the AR software of the user terminal in the augmented object coordinate correction system according to the embodiment.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 ‘부, 모듈, 부재, 블록’이 하나의 구성요소로 구현되거나, 하나의 ‘부, 모듈, 부재, 블록’이 복수의 구성요소들을 포함하는 것도 가능하다.Like reference numerals refer to like elements throughout. This specification does not describe all elements of the embodiments, and general content in the technical field to which the disclosed invention pertains or content overlapping between the embodiments is omitted. The term 'part, module, member, block' used in this specification may be implemented in software or hardware, and according to embodiments, a plurality of 'part, module, member, block' may be implemented as one component, It is also possible for one 'part, module, member, block' to include a plurality of components.
명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is “connected” with another part, it includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.
또한, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, when a part "includes" a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise stated.
명세서 전체에서, 어떤 부재가 다른 부재 “상에”위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout the specification, when a member is said to be located “on” another member, this includes not only a case in which a member is in contact with another member but also a case in which another member exists between two members.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.Terms such as 1st, 2nd, etc. are used to distinguish one component from another component, and the component is not limited by the above-mentioned terms. The singular expression includes the plural expression unless the context clearly dictates otherwise.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.In each step, the identification code is used for convenience of description, and the identification code does not describe the order of each step, and each step may be performed differently from the specified order unless the specific order is clearly stated in the context. have.
도 1은 실시예에 따른 증강 물체 좌표 보정 시스템의 구성도이다.1 is a block diagram of an augmented object coordinate correction system according to an embodiment.
도 1을 참조하면, 증강 물체 좌표 보정 시스템은 사용자 단말(10)과, 사용자 단말(10)과 유무선 네트워크로 연결되어 사용자 단말(10)로 증강 물체를 제공하는 서버(20)와, 이 서버(20)와 연결된 GIS(Geographic Information System) 데이터베이스(30)를 포함할 수 있다.1, the augmented object coordinate correction system includes a
사용자 단말(10)은 카메라를 이용하여 특징점을 검출할 주변 환경을 촬영하고, 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집한다(A 단계).The
사용자 단말(10)은 GNSS 수신기를 통해 GNSS 위성(40)에서 송출되는 GNSS 신호를 수신하고, GNSS 신호로부터 사용자 단말(10)의 GNSS 좌표정보를 수집한다((B 단계).The
사용자 단말(10)은 수집된 GNSS 좌표정보와 점 구름 데이터를 서버(20)로 전송한다. 사용자 단말(10)은 수집한 데이터를 GIS 데이터베이스(30)에 저장할지 물체 증강을 위한 비교 대상으로 사용할지 결정하여 서버(20)에 명령을 보낸다(C 단계).The
서버(20)는 각 환경에 알맞은 GIS 쿼리(Query)를 작성하여 GIS 데이터베이스(30)로 전송하여 적절한 값을 반환받는다(D 단계). 반환받은 값은 사용자 단말(10)이 사용할 수 있도록 변환되어 다시 사용자 단말(10)로 보내진다.The
도 2는 실시예에 따른 증강 물체 좌표 보정 시스템의 사용자 단말과 서버의 제어블록도이다.2 is a control block diagram of a user terminal and a server of the augmented object coordinate correction system according to an embodiment.
도 2를 참조하면, 사용자 단말(10)은 스마트폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 스마트 기기일 수 있다.Referring to FIG. 2 , the
사용자 단말(10)은 카메라(11), GNSS 수신부(12), 지자기 센서(13), 통신부(14) 및 단말 제어부(15)를 포함할 수 있다.The
카메라(11)는 사용자 단말(10)의 주변 환경을 촬영한다.The
GNSS 수신부(12)는 복수의 GNSS 위성으로부터 송신된 GNSS 신호를 수신하고 수신된 GNSS 신호에 기반한 GNSS 좌표 정보를 단말 제어부(10)에 제공한다. 이 GNSS 좌표 정보로부터 사용자 단말(10)의 현재 위치를 인식할 수 있다.The
지자기 센서(13)는 사용자 단말(10)이 놓인 위치의 지구 자기를 측정하는 세 개의 센서로서, 세 개의 지자기 센서가 각각 X축, Y축, 및 Z축으로 배치되어 있으며 3차원 지자기 데이터를 측정하여 단말 제어부(15)에 제공한다.The
통신부(14)는 통신망과 연동하여 서버(20)와 데이터를 송수신하는 데 필요한 통신 인터페이스를 제공한다. 통신부(14)는 다른 네트워크 장치와 유무선 연결을 통해 데이터를 송수신하기 위해서 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The
단말 제어부(15)는 프로세서(15a)와 메모리(15b)를 포함할 수 있다. 단말 제어부(15)는 하나 이상의 프로세서(15a)를 포함할 수 있다. 단말 제어부(15)에 포함되는 하나 이상의 프로세서(15a)는 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리되는 것도 가능하다.The
하나 이상의 프로세서(15a)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로로서, 하드웨어에 내장된 데이터 처리 장치일 수 있다. 예를 들어, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치일 수 있다.The one or
메모리(15b)는 프로세서(15a)가 데이터를 처리하기 위한 프로그램 및/또는 데이터를 저장할 수 있다. 메모리(15b)는 카메라(11), GNSS 수신부(12), 지자기 센서(13) 및 통신부(14)로부터 수신하거나 처리된 데이터를 임시로 기억할 수 있다. 메모리(15b)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.The
프로세서(15a)와 메모리(15b)가 단일 칩으로 구현될 수도 있다.The
단말 제어부(15)는 카메라(11)를 통해 주변 환경을 촬영하고, 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고, GNSS 수신부(12)를 통해 GNSS 위성(40)에서 송출되는 GNSS 신호를 수신하고 GNSS 신호로부터 사용자 단말(10)의 GNSS 좌표정보를 수집하며, 지자기 센서(13)를 통해 사용자 단말(10)의 지자기 데이터를 수집한다.The
단말 제어부(15)는 수집된 GNSS 좌표정보, 점 구름 데이터 및 지자기 데이터 등의 데이터들을 통신부(14)를 통해 서버(20)로 전송한다.The
서버(20)는 통신부(21), 데이터 등록부(22), 데이터 유사성 판단부(23), 좌표 보정부(24), 서버 제어부(25) 및 GIS 데이터베이스(30)를 포함할 수 있다.The
통신부(21)는 사용자 단말(10)의 통신부(14)와 동일한 구성 및 기능을 수행할 수 있다.The
데이터 등록부(22)는 사용자 단말(10)로부터 제공된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 사용자가 해당 GNSS 좌표에 등록하길 원하는 증강 물체에 대한 정보를 GIS 데이터베이스(30)에 등록시킨다.The
데이터 유사성 판단부(23)는 사용자 단말(10)로부터 제공된 GNSS 좌표정보와 지자기 데이터를 근거로 GIS 데이터베이스(30)에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 판단된 점 구름 데이터 후보들과 사용자 단말(10)로부터 제공된 점 구름 데이터를 각각 비교하고, 비교결과 유사성이 가장 높은 점 구름 데이터를 결정한다.The data similarity determination unit 23 determines point cloud data candidates having a similar global location among the point cloud data registered in the
좌표 보정부(24)는 데이터 유사성 판단부(23)에서 유사성이 가장 높은 점 구름 데이터가 결정되면, 사용자 단말(10)의 GNSS 좌표를 유사성이 가장 높은 점 구름 데이터에 대응하는 GNSS 좌표로 보정한다.When the point cloud data having the highest similarity is determined by the data similarity determining unit 23, the coordinate
서버 제어부(25)는 사용자 단말(10)의 최초 물체 등록 요청시 데이터 등록부(22)를 통해 사용자 단말(10)의 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 등록을 원하는 증강 물체 정보를 GIS 데이터베이스(30)에 등록시킨다.The
서버 제어부(25)는 데이터 유사성 판단부(23)를 통해 GIS 데이터베이스(30)에 등록된 점 구름 데이터들 중에서 사용자 단말(10)에서 제공된 데이터와 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 판단된 점 구름 데이터 후보들과 사용자 단말(10)로부터 제공된 점 구름 데이터를 각각 비교하고, 비교결과 유사성이 가장 높은 점 구름 데이터를 결정한다.The
서버 제어부(25)는 좌표 보정부(24)를 통해 데이터 유사성 판단부(23)에서 유사성이 가장 높은 점 구름 데이터가 결정되면, 사용자 단말(10)의 GNSS 좌표를 유사성이 가장 높은 점 구름 데이터에 대응하는 GNSS 좌표로 보정한다.When the point cloud data with the highest similarity is determined by the data similarity determining unit 23 through the coordinate
서버 제어부(25)는 사용자 단말(10)의 GNSS 좌표를 보정한 후 보정된 최종 GNSS 좌표와, 유사성이 가장 높은 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 사용자 단말(10)로 전송한다.After correcting the GNSS coordinates of the
이에 따라, 사용자 단말(10)은 전달받은 보정된 최종 GNSS 좌표에 따라 카메라(11)의 화면상에 물체를 증강시킨다.Accordingly, the
도 3은 실시예에 따른 증강 물체 좌표 보정 시스템의 제어방법에 대한 제어흐름도이다.3 is a control flowchart for a control method of an augmented object coordinate correction system according to an embodiment.
도 3을 참조하면, 먼저, GIS 데이터베이스(30)에 GNSS 좌표, 점 구름 데이터, 지자기 데이터 및 증강 물체 정보가 등록된 상태로 가정한다.Referring to FIG. 3 , it is assumed that GNSS coordinates, point cloud data, geomagnetic data, and augmented object information are registered in the
서버(20)는 사용자 단말(10)로부터 GNSS 좌표를 수신한다(100). 사용자 단말(10)은 GNSS 수신부(12)를 통해 GNSS 위성(40)에서 송출되는 GNSS 신호를 수신하고, GNSS 신호로부터 사용자 단말(10)의 GNSS 좌표정보를 수집하며, 수집된 GNSS 좌표정보를 서버(20)에 전송한다.The
서버(20)는 사용자 단말(10)로부터 점 구름 데이터를 수신하고(102), 지자기 데이터를 수신한다(104).The
서버(20)는 수신된 GNSS 좌표와 GIS 데이터베이스(30)에 등록된 점 구름 데이터의 유사성을 비교한다(106). 서버(20)는 수신된 GNSS 좌표와 지자기 데이터를 이용하여 GIS 데이터베이스(30)에 저장된 점 구름 데이터들 중에서 사용자 단말(10)과 유사한 위치에 존재하는 점 구름 데이터 후보들을 판단하고, 판단된 점 구름 데이터 후보들과 수신된 점 구름 데이터를 각각 비교한다.The
서버(20)는 비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정한다(108).The
서버(20)는 수신된 점 구름 데이터와, 유사성이 가장 높은 점 구름 데이터를 근거로 사용자 단말(10)의 GNSS 좌표를 보정한다(110). 서버(20)는 사용자 단말(10)의 GNSS 좌표를 유사성이 가장 높은 점 구름 데이터에 대응하는 GNSS 좌표로 보정한다.The
서버(20)는 보정된 최종 GNSS 좌표와, 유사성이 가장 높은 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 사용자 단말(10)로 전송한다(112).The
상기한 구성 및 동작을 수행하는 실시예에 따른 증강 물체 좌표 보정 시스템은 사용자가 증강을 원할 때 현재 수집된 점 구름과 사용자의 GNSS 신호 근방의 과거 등록된 점 구름을 비교하여 일치할 경우 증강 물체를 제공할 수 있다.The augmented object coordinate correction system according to the embodiment of performing the above configuration and operation compares the currently collected point cloud with the point cloud registered in the past near the user's GNSS signal when the user wants to enhance the augmented object. can provide
도 4 및 도 5는 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 주변 환경을 촬영한 영상에서 점 구름 데이터를 수집하는 것을 설명한다.4 and 5 illustrate the collection of point cloud data from images captured by the user's surrounding environment in the augmented object coordinate correction system according to the embodiment.
도 4 및 도 5를 참조하면, 사용자의 주변 환경을 촬영한 영상에서 특징점을 얻어 특징점들의 군인 점 구름(도 4B의 붉은색 점들) 형태로 변환하여 사용한다.Referring to FIGS. 4 and 5 , a feature point is obtained from an image of the user's surrounding environment, and the feature point is converted into a soldier point cloud (red dots in FIG. 4B) and used.
매 프레임 카메라(11)를 이용하여 주변의 영상을 촬영하고, 해당 영상에서 구글 AR 코어(Google AR core) 엔진을 통해 사용자의 위치를 원점으로 하는 도 5의 좌측 이미지를 우측 벡터4(Vector4) 형태의 3차원 점 구름으로 변환한다.The image of the surroundings is taken using the
최초 물체를 증강할 때는 최대한 많은 점을 수집한다. 충분한 점들을 모은 후 서버(20)로 전송할 때, 사용자 단말(10)에서 얻은 지자기 데이터를 같이 보낸다. 이는 수집한 모든 구름 점을 저장하여 전 방위에서 접근하는 사용자들이 물체를 증강할 위치를 원점으로 하여 전 방위에서 인식하여 물체를 증강할 수 있도록 하기 위함이다.When augmenting the first object, collect as many points as possible. When sending to the
도 6은 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 단말에 설치된 AR 소프트웨어, 서버 및 GIS 데이터베이스 간의 데이터 처리를 설명한다.6 illustrates data processing between the AR software installed in the user terminal, the server, and the GIS database in the augmented object coordinate correction system according to the embodiment.
도 6을 참조하면, 유니티(Unity) 엔진을 사용하는 AR 소프트웨어가 설치된 사용자 단말(10), Node.js로 제작된 서버(20) 및 PostgreSQL의 확장 프로그램인 PostGIS가 적용된 GIS 데이터베이스(30) 간의 데이터 처리가 나타나 있다.Referring to FIG. 6 , data between a
사용자 단말(10)은 수집된 데이터를 Node.js로 제작된 서버(20)로 전송한다. 데이터는 크게 네 가지로 분류된다. 첫 번째는 사용자 단말(10)의 GNSS 좌표이다. 두 번째는 사용자의 주변 환경에서 수집된 점 구름이다. 이 점 구름은 사용자 단말(10)의 GNSS 좌표를 원점으로 한다. 세 번째는 사용자 단말(10)에서 얻은 지자기 센서 데이터이다. 이는 GIS 데이터베이스(30) 상의 모든 구름 점을 저장하여 전방위로 접근하는 사용자들이 물체를 증강할 때 사용된다. 마지막으로 서버(20)에서 생성할 쿼리문에 대한 명령어이다.The
서버(20)는 각 명령에 맞는 GIS 쿼리를 작성하여 GIS 데이터베이스(30)에 전송한다. 서버(20)에 내릴 수 있는 명령은 다음과 같다.The
첫 번째로 새로운 데이터 세트 등록하기로 최초 물체를 증강할 때 해당 명령을 사용한다. 맨 처음 진행하는 단계는 유니티(unity) 엔진에서 플로트(Float) 기반으로 생성된 좌표를 현실 세계의 경위도 좌표로 변환하여 사용한다. 단 높이데이터는 반환되지 않고 기존 데이터를 그대로 사용한다.First, we use that command to augment the first object by registering a new data set. The first step is to convert the coordinates generated based on float in the unity engine into longitude and latitude coordinates in the real world and use them. However, the height data is not returned and the existing data is used as it is.
두 번째로는 축적된 데이터 세트와 비교하기는 등록된 물체를 증강할 때 해당 명령을 사용한다. 사용자가 데이터를 수집하여 전송하면, 데이터를 등록할 때와 마찬가지로 경위도 기반 좌표계로 변환한 후 축적된 데이터와 비교한다.Second, the comparison with the accumulated data set uses that command to augment the registered object. When the user collects and transmits data, it is converted to a longitude and latitude-based coordinate system just like when data is registered, and then compared with the accumulated data.
도 7은 실시예에 따른 증강 물체 좌표 보정 시스템에서 점 구름 데이터의 유사성 판단하는 것을 설명한다.7 illustrates determination of similarity of point cloud data in the augmented object coordinate correction system according to an embodiment.
도 7을 참조하면, 등록된 물체를 증강하기 위해서는 현재 사용자가 현재 수집된 점 구름 데이터와 과거 수집되었던 점 구름의 데이터를 비교하여, 원점으로부터의 최대 탐색 거리와 각 점의 오차허용 범위의 변수를 임계값으로 사용하여 유사성이 높으면 같은 위치에 있다는 것으로 간주한다.Referring to FIG. 7 , in order to augment the registered object, the current user compares the point cloud data currently collected with the point cloud data collected in the past, and determines the variable of the maximum search distance from the origin and the error tolerance range of each point. Using it as a threshold, if the similarity is high, it is considered to be in the same position.
데이터를 비교할 때 두 가지의 변수를 임계값으로 사용한다.When comparing data, two variables are used as thresholds.
첫 번째로 원점으로부터의 최대 탐색거리이다. 점 구름을 수집한 GNSS 좌표를 원점으로 하여 최소/최대 탐색 거리를 주어 거리상 적합한 점 구름만 탐색 대상으로 한다.First, it is the maximum search distance from the origin. With the GNSS coordinates from which the point clouds were collected as the origin, the minimum/maximum search distance is given, and only point clouds suitable for the distance are searched.
두 번째는 각 점의 오차허용 범위이다. 각 점마다 약간의 오차허용 범위를 만들어 푸른색 점 집단은 각 점마다 약간의 오차허용 범위를 갖게 되며, 붉은 색 점 집단의 점들이 그 범위 안에 있다면 같은 위치로 인정받아 유사 집단으로 판단한다.The second is the tolerance range of each point. A small error tolerance is created for each point, and the blue dot group has a little error tolerance for each point.
점점 탐색 거리를 넓혀가며 요구하는 정확도를 줄여가는 방법으로 점 구름 집단을 검색할 때, 최초 붉은색의 좁은 범위(5M)에서부터 검색을 시작한다. 이때는 오차허용범위를 최소화(2M)하여 높은 정확도를 요구한다.When searching a group of point clouds by gradually increasing the search distance and decreasing the required accuracy, the search starts from the narrow range (5M) in red. In this case, high accuracy is required by minimizing the error tolerance (2M).
만약 결과가 나오지 않는다면, 탐색 범위를 소폭 증가시키고 요구 정확도는 낮춰 원점부터 다시 탐색한다. 푸른색의 최대 범위(20M)까지 도달하거나 결과가 나올 때까지 반복한다. 탐색 범위가 최대일 때는 오차허용 범위도 최대화(3.5M)되어 요구 정확도가 낮다. 최초 높은 정확도에서 먼저 탐색하기 때문에 엉뚱한 점 구름이 먼저 잡힐 염려가 없고, 점점 정확도를 낮춰가며 범위를 넓히기 때문에 같은 환경에서 찍었지만, 유사도가 약간 낮은 집단도 놓치지 않고 검출하여 증강 물체의 좌표 오차를 줄일 수 있다.If there is no result, the search range is slightly increased and the required accuracy is lowered, and the search is performed again from the origin. Repeat until the maximum range of blue (20M) is reached or results are obtained. When the search range is maximum, the error tolerance is also maximized (3.5M), so the required accuracy is low. Because it searches first with high accuracy, there is no fear of getting the wrong point cloud first, and since the range is widened by decreasing the accuracy gradually, it was taken in the same environment, but it detects even a group with a slightly low similarity to reduce the coordinate error of the augmented object. can
도 8은 실시예에 따른 증강 물체 좌표 보정 시스템에서 미터 기반의 EPSG 좌표계와 경위도 기반의 EPSG 좌표계의 데이터 변환 관계를 나타낸 표이다.8 is a table showing the data conversion relationship between the meter-based EPSG coordinate system and the longitude and latitude-based EPSG coordinate system in the augmented object coordinate correction system according to the embodiment.
도 8을 참조하면, 주변 환경의 점 구름의 경위도 원점과 사용자 데이터의 경위도 원점의 차이를 얻어 변환할 필요가 있다. 미터 기반의 EPSG 좌표계로 반환된 최종값은 다시 유니티 엔진에서 사용할 수 있도록 GNSS 좌표를 원점으로 하는 경위도 형태의 데이터 EPSG 좌표계로 역변환하여 사용자 단말(10)의 AR 소프트웨어로 전송된다. 해당 좌표는 증강될 물체에 부여된 후 실제 화면에 나타난다.Referring to FIG. 8 , it is necessary to obtain and convert the difference between the longitude and latitude origin of the point cloud in the surrounding environment and the longitude and latitude origin of the user data. The final value returned to the meter-based EPSG coordinate system is inversely transformed into the longitude and latitude data EPSG coordinate system with the GNSS coordinate as the origin so that it can be used again in the Unity engine, and is transmitted to the AR software of the
도 9는 실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 단말의 AR 소프트웨어의 실행 화면을 나타낸다.9 shows an execution screen of the AR software of the user terminal in the augmented object coordinate correction system according to the embodiment.
도 9를 참조하면, 사용자 단말(10)의 AR 소프트웨어에 의해 실행되는 화면(200)이 나타나 있다.Referring to FIG. 9 , a
화면(200)의 최상단에 있는 붉은 글자는 현재 사용자의 GNSS 좌표 및 갱신 횟수(201)를 보여준다.Red text at the top of the
화면(200)의 중앙에는 지자기 센서를 통해 얻은 방위를 나타내는 나침반(202)이 나타나 있다.In the center of the
화면(200)의 하단측에는 레인지(range) 및 마진(margin) 등의 임계값을 실시간으로 조절할 수 있는 구역(203)이 나타나 있다.On the lower side of the
화면(200)의 최하단에는 서버(20)에 명령을 내리는 구역으로서, 비교(Compare) 버튼(204)과 업로드(upload) 버튼(205)이 나타나 있다. 업로드 버튼(205)은 현재 사용자의 데이터를 GIS 데이터베이스(30)에 등록하여 현재 위치에 물체를 새로 증강시키기 위한 명령을 위한 버튼이다. 비교(Compare) 버튼(204)은 현재 사용자의 데이터와 GIS 데이터베이스(30)에 축적된 것을 비교하여 일치하는 결과가 있다면 물체를 증강시키기 위한 명령이다.At the lower end of the
화면(200)의 중앙에는 증강된 물체(206)가 나타나 있다.An
실시예에 따른 증강 물체 좌표 보정 시스템에서 사용자 단말(10)은 지속해서 GNSS 좌표를 수집하며 위치를 갱신한다. 사용자 단말(10)은 매 프레임 후면카메라를 이용하여 주변의 영상을 촬영한다. 해당 영상에서 점 구름이 추출된다. 사용자 단말(10)에 의해 수집된 GNSS 좌표와 점 구름 데이터는 GIS 데이터베이스(30)에 저장되어 관리된다. 새로운 사용자가 기존 사용자가 등록한 물체를 보기 위해서는 두 사용자의 범지구적 위치가 유사함이 증명되어야 한다. 두 사용자의 위치가 유사함이 증명되면, 실제 물체가 화면상에 증강될 좌표를 계산한다. 미터 기반의 EPSG 좌표계로 반환된 최종값은 다시 사용자 단말(10)의 AR 소프트웨어의 유니티 엔진에서 사용할 수 있도록 GNSS 좌표를 원점으로 하는 경위도 형태의 데이터 EPSG 좌표계로 역변환하여 사용자 단말(10)의 AR 소프트웨어로 전송된다. 해당 좌표는 증강될 물체에 부여된 후 실제 화면에 나타난다.In the augmented object coordinate correction system according to the embodiment, the
이상과 같이, 본 발명은 고가의 추가 장비 없이 사용자의 주변 환경에서 수집된 점 구름을 이용하여 사용자의 GNSS 좌표에서 발생하는 오차를 보정하여 정확한 위치에 가상 물체를 증강시킬 수 있고, GNSS 신호는 사용자의 넓은 범위를 특징짓는 용도로만 사용되며 점 구름을 기반으로 실제 물체를 증강하기 때문에 실내외에 구애받지 않고 사용할 수 있고, 추가 센서를 착용하는 등의 비용 소모가 없으므로 적은 비용으로 개발 및 배포를 할 수 있으며, 시스템 구성 및 로직을 단순화할 수 있다.As described above, according to the present invention, a virtual object can be augmented at an accurate location by correcting an error occurring in the user's GNSS coordinates using point clouds collected from the user's surrounding environment without expensive additional equipment, and the GNSS signal is It is used only for characterizing a wide range of and system configuration and logic can be simplified.
한편, 전술한 제어부 및/또는 그 구성요소는 컴퓨터가 읽을 수 있는 코드/알고리즘/소프트웨어를 저장하는 컴퓨터가 읽을 수 있는 기록 매체와 결합된 하나 이상의 프로세서/마이크로프로세서(들)를 포함할 수 있다. 프로세서/마이크로프로세서(들)는 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터가 읽을 수 있는 코드/알고리즘/소프트웨어를 실행하여 전술한 기능, 동작, 단계 등을 수행할 수 있다.Meanwhile, the aforementioned control unit and/or its components may include one or more processor/microprocessor(s) coupled with a computer-readable recording medium storing computer-readable code/algorithm/software. The processor/microprocessor(s) may execute the computer-readable code/algorithm/software stored in the computer-readable recording medium to perform the above-described functions, operations, steps, and the like.
상술한 제어부 및/또는 그 구성요소는 컴퓨터로 읽을 수 있는 비 일시적 기록 매체 또는 컴퓨터로 읽을 수 있는 일시적인 기록 매체로 구현되는 메모리를 더 포함할 수 있다. 메모리는 전술한 제어부 및/또는 그 구성요소에 의해 제어될 수 있으며, 전술한 제어부 및/또는 그 구성요소에 전달되거나 그로부터 수신되는 데이터를 저장하도록 구성되거나 전술한 제어부 및/또는 그 구성요소에 의해 처리되거나 처리될 데이터를 저장하도록 구성될 수 있다.The above-described control unit and/or its components may further include a memory implemented as a computer-readable non-transitory recording medium or a computer-readable temporary recording medium. The memory may be controlled by the aforementioned control unit and/or components thereof, and configured to store data transmitted to or received from the aforementioned control unit and/or components thereof or by the above-described control unit and/or components thereof. It may be configured to store data to be processed or to be processed.
개시된 실시예는 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드/알고리즘/소프트웨어로 구현하는 것이 가능하다. 컴퓨터로 읽을 수 있는 기록 매체는 프로세서/마이크로프로세서에 의해 읽혀질 수 있는 데이터를 저장할 수 있는 데이터 저장 장치와 같은 컴퓨터로 읽을 수 있는 비 일시적 기록 매체 일 수 있다. 컴퓨터 판독 가능 기록 매체의 예로는 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 실리콘 디스크 드라이브(SDD), 읽기 전용 메모리 (ROM), CD-ROM, 자기 테이프, 플로피 디스크, 광학 데이터 저장 장치 등이 있다.The disclosed embodiment can also be implemented as computer-readable code/algorithm/software on a computer-readable recording medium. The computer-readable recording medium may be a computer-readable non-transitory recording medium such as a data storage device capable of storing data readable by a processor/microprocessor. Examples of computer-readable recording media include hard disk drives (HDDs), solid state drives (SSDs), silicon disk drives (SDDs), read-only memory (ROM), CD-ROMs, magnetic tapes, floppy disks, optical data storage devices. etc.
10: 사용자 단말
11: 카메라
12: GNSS 수신부
13: 지자기 센서
14: 통신부
15: 단말 제어부
20: 서버
22: 데이터 등록부
23: 데이터 유사성 판단부
24: 좌표 보정부
25: 서버 제어부
30: GIS 데이터베이스10: user terminal 11: camera
12: GNSS receiver 13: geomagnetic sensor
14: communication unit 15: terminal control unit
20: server 22: data register
23: data similarity determination unit 24: coordinate correction unit
25: Server control panel 30: GIS database
Claims (8)
상기 사용자 단말과 네트워크 연결된 서버; 및
상기 서버에 연결된 GIS 데이터베이스를 포함하고,
상기 사용자 단말은,
복수의 GNSS 위성으로부터 송신된 GNSS 신호를 수신하는 GNSS 수신부; 상기 사용자 단말의 주변 환경을 촬영하는 카메라; 상기 사용자 단말의 지자기 데이터를 측정하는 지자기 센서 및 상기 GNSS 수신부를 통해 상기 복수의 GNSS 위성에서 송출되는 GNSS 신호를 수신하고 수신된 GNSS 신호로부터 상기 사용자 단말의 GNSS 좌표정보를 수집하고, 상기 카메라에 의해 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고, 상기 지자기 센서를 통해 상기 사용자 단말의 지자기 데이터를 수집하는 단말 제어부를 포함하고,
상기 GIS 데이터베이스에는 사용자 단말별로 수집된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보가 서로 대응되게 등록되어 있고,
상기 서버는,
상기 사용자 단말로부터 수신된 GNSS 좌표정보와 지자기 데이터를 근거로 상기 GIS 데이터베이스에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고, 상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하고, 비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정하는 데이터 유사성 판단부; 상기 사용자 단말의 GNSS 좌표를 상기 결정된 점 구름 데이터에 대응하는 GNSS 좌표로 보정하는 좌표 보정부; 및 상기 보정된 GNSS 좌표와, 상기 결정된 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 상기 사용자 단말로 전송하는 서버 제어부를 포함하는 증강 물체 좌표 보정 시스템.user terminal;
a server connected to the user terminal in a network; and
including a GIS database connected to the server;
The user terminal is
a GNSS receiver for receiving GNSS signals transmitted from a plurality of GNSS satellites; a camera for photographing the surrounding environment of the user terminal; Receives GNSS signals transmitted from the plurality of GNSS satellites through a geomagnetic sensor measuring geomagnetic data of the user terminal and the GNSS receiver, and collects GNSS coordinate information of the user terminal from the received GNSS signals, and by the camera Comprising a terminal control unit that collects point cloud data, which is a cluster of feature points in the captured surrounding environment image, and collects geomagnetic data of the user terminal through the geomagnetic sensor,
In the GIS database, GNSS coordinate information collected for each user terminal, point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates are registered to correspond to each other,
The server is
Based on the GNSS coordinate information and geomagnetic data received from the user terminal, point cloud data candidates having a similar global location are determined among the point cloud data registered in the GIS database, and the determined point cloud data candidates and the user terminal a data similarity determination unit that compares the point cloud data received from the , and determines the point cloud data with the highest similarity according to the comparison result; a coordinate correction unit for correcting the GNSS coordinates of the user terminal into GNSS coordinates corresponding to the determined point cloud data; and a server controller configured to transmit the corrected GNSS coordinates and the augmented object information stored corresponding to the determined point cloud data to the user terminal.
상기 데이터 유사성 판단부는,
상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하여, 해당 점 구름 데이터에 대응하는 GNSS 좌표를 원점으로부터의 최대 탐색 거리와 각 점 구름 데이터의 오차허용 범위 중 적어도 하나를 임계값으로 사용하여 유사성이 가장 높은 점 구름 데이터를 결정하는 증강 물체 좌표 보정 시스템.According to claim 1,
The data similarity determination unit,
By comparing the determined point cloud data candidates with the point cloud data received from the user terminal, respectively, the GNSS coordinates corresponding to the point cloud data are at least one of the maximum search distance from the origin and the error tolerance range of each point cloud data. An augmented object coordinate correction system that uses as a threshold to determine the point cloud data with the highest similarity.
상기 서버는,
새로운 물체 등록 요청시 요청된 사용자 단말로부터 수신된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보를 상기 GIS 데이터베이스에 등록시키는 데이터 등록부를 포함하는 증강 물체 좌표 보정 시스템.According to claim 1,
The server is
Augmented object coordinate correction system comprising a data register for registering GNSS coordinate information, point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates in the GIS database received from the user terminal requested when a new object registration is requested .
상기 사용자 단말은,
상기 서버로부터 수신된 상기 보정된 GNSS 좌표에 따라 상기 사용자 단말에 설치된 AR 소프트웨어에 의해 실행되는 화면상에서 상기 서버로부터 수신된 증강 물체 정보에 따른 물체가 증강될 좌표를 계산하고, 상기 계산된 좌표에 상기 물체를 증강시키는 증강 물체 좌표 보정 시스템.According to claim 1,
The user terminal is
Calculate the coordinates to be augmented according to the augmented object information received from the server on a screen executed by the AR software installed in the user terminal according to the corrected GNSS coordinates received from the server, and to the calculated coordinates, the coordinates to be augmented are calculated. Augmented object coordinate correction system that augments objects.
상기 사용자 단말에 의해,
복수의 GNSS 위성에서 송출되는 GNSS 신호를 수신하고 상기 수신된 GNSS 신호로부터 상기 사용자 단말의 GNSS 좌표정보를 수집하고,
카메라에 의해 촬영된 주변 환경 영상에서 특징점들의 군집인 점 구름 데이터를 수집하고,
상기 사용자 단말의 지자기 데이터를 수집하고,
상기 서버에 의해,
상기 사용자 단말로부터 상기 수집된 GNSS 좌표정보, 점 구름 데이터 및 지자기 데이터를 수신하고,
상기 사용자 단말로부터 수신된 GNSS 좌표정보와 지자기 데이터를 근거로 상기 GIS 데이터베이스에 등록된 점 구름 데이터들 중에서 범지구적 위치가 유사한 점 구름 데이터 후보들을 판단하고,
상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하고,
비교결과에 따라 유사성이 가장 높은 점 구름 데이터를 결정하고,
상기 사용자 단말의 GNSS 좌표를 상기 결정된 점 구름 데이터에 대응하는 GNSS 좌표로 보정하고,
상기 보정된 GNSS 좌표와, 상기 결정된 점 구름 데이터에 대응되게 저장된 증강 물체 정보를 상기 사용자 단말로 전송하는 증강 물체 좌표 보정 시스템의 제어 방법.A user terminal, a server connected to the network with the user terminal, and a GIS database connected to the server, wherein the GIS database includes GNSS coordinate information, point cloud data, geomagnetic data, and a corresponding GNSS coordinate collected for each user terminal. In the control method of an augmented object coordinate correction system in which object information is registered to correspond to each other,
by the user terminal,
receiving GNSS signals transmitted from a plurality of GNSS satellites and collecting GNSS coordinate information of the user terminal from the received GNSS signals;
Collecting point cloud data, which is a cluster of feature points, from the surrounding environment image taken by the camera,
Collect geomagnetic data of the user terminal,
by the server,
Receive the collected GNSS coordinate information, point cloud data and geomagnetic data from the user terminal,
Based on the GNSS coordinate information and geomagnetic data received from the user terminal, among the point cloud data registered in the GIS database, point cloud data candidates having a similar global location are determined,
Comparing the determined point cloud data candidates and the point cloud data received from the user terminal, respectively,
Determine the point cloud data with the highest similarity according to the comparison result,
Correcting the GNSS coordinates of the user terminal to the GNSS coordinates corresponding to the determined point cloud data,
The control method of the augmented object coordinates correction system for transmitting the corrected GNSS coordinates and the stored augmented object information corresponding to the determined point cloud data to the user terminal.
상기 유사성이 가장 높은 점 구름 데이터를 결정하는 것은,
상기 서버에 의해,
상기 판단된 점 구름 데이터 후보들과 상기 사용자 단말로부터 수신된 점 구름 데이터를 각각 비교하여, 해당 점 구름 데이터에 대응하는 GNSS 좌표를 원점으로부터의 최대 탐색 거리와 각 점 구름 데이터의 오차허용 범위 중 적어도 하나를 임계값으로 사용하여 유사성이 가장 높은 점 구름 데이터를 결정하는 것을 포함하는 증강 물체 좌표 보정 시스템의 제어 방법.6. The method of claim 5,
Determining the point cloud data with the highest similarity is
by the server,
By comparing the determined point cloud data candidates with the point cloud data received from the user terminal, respectively, the GNSS coordinates corresponding to the point cloud data are at least one of the maximum search distance from the origin and the error tolerance range of each point cloud data. A method of controlling an augmented object coordinate correction system, comprising determining point cloud data with the highest similarity by using as a threshold value.
상기 서버에 의해,
새로운 물체 등록 요청시 요청된 사용자 단말로부터 수신된 GNSS 좌표정보, 점 구름 데이터, 지자기 데이터 및 해당 GNSS 좌표에 등록하길 원하는 증강 물체 정보를 상기 GIS 데이터베이스에 등록시키는 증강 물체 좌표 보정 시스템의 제어 방법.6. The method of claim 5,
by the server,
A control method of an augmented object coordinate correction system for registering GNSS coordinate information, point cloud data, geomagnetic data, and augmented object information desired to be registered in the corresponding GNSS coordinates in the GIS database, received from a user terminal requested when a new object registration is requested.
상기 사용자 단말에 의해,
상기 서버로부터 수신된 상기 보정된 GNSS 좌표에 따라 상기 사용자 단말에 설치된 AR 소프트웨어에 의해 실행되는 화면상에서 상기 서버로부터 수신된 증강 물체 정보에 따른 물체가 증강될 좌표를 계산하고,
상기 계산된 좌표에 상기 물체를 증강시키는 증강 물체 좌표 보정 시스템의 제어 방법.6. The method of claim 5,
by the user terminal,
Calculate the coordinates to be augmented according to the augmented object information received from the server on a screen executed by AR software installed in the user terminal according to the corrected GNSS coordinates received from the server,
A control method of an augmented object coordinate correction system for augmenting the object at the calculated coordinates.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20200165473 | 2020-12-01 | ||
KR1020200165473 | 2020-12-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220077089A true KR20220077089A (en) | 2022-06-08 |
KR102675616B1 KR102675616B1 (en) | 2024-06-18 |
Family
ID=81981239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210167007A KR102675616B1 (en) | 2020-12-01 | 2021-11-29 | Augmented objects coordinate correction system and control method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102675616B1 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140210947A1 (en) * | 2013-01-30 | 2014-07-31 | F3 & Associates, Inc. | Coordinate Geometry Augmented Reality Process |
KR20150072954A (en) * | 2013-12-20 | 2015-06-30 | 배재대학교 산학협력단 | Method and Apparatus for Providing Augmented Reality Service |
KR20180075723A (en) * | 2016-12-26 | 2018-07-05 | 경희대학교 산학협력단 | Mobile terminal performing augmented reality servcie and mehod thereof |
KR20190133909A (en) | 2018-05-24 | 2019-12-04 | 시크릿타운 주식회사 | Method for providing augmented reality contents based on location |
KR20200003597A (en) * | 2018-07-02 | 2020-01-10 | 한국전자통신연구원 | Apparatus and method for correcting augmented reality image |
KR20200030767A (en) * | 2018-09-13 | 2020-03-23 | 주식회사 엘지유플러스 | Server and terminal of displaying augmented reality(ar) content |
KR20200102201A (en) | 2019-02-21 | 2020-08-31 | 한국가스안전공사 | The guidance system for buried natural gas pipelines using GNSS and augmented reality |
-
2021
- 2021-11-29 KR KR1020210167007A patent/KR102675616B1/en active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140210947A1 (en) * | 2013-01-30 | 2014-07-31 | F3 & Associates, Inc. | Coordinate Geometry Augmented Reality Process |
KR20150072954A (en) * | 2013-12-20 | 2015-06-30 | 배재대학교 산학협력단 | Method and Apparatus for Providing Augmented Reality Service |
KR20180075723A (en) * | 2016-12-26 | 2018-07-05 | 경희대학교 산학협력단 | Mobile terminal performing augmented reality servcie and mehod thereof |
KR20190133909A (en) | 2018-05-24 | 2019-12-04 | 시크릿타운 주식회사 | Method for providing augmented reality contents based on location |
KR20200003597A (en) * | 2018-07-02 | 2020-01-10 | 한국전자통신연구원 | Apparatus and method for correcting augmented reality image |
KR20200030767A (en) * | 2018-09-13 | 2020-03-23 | 주식회사 엘지유플러스 | Server and terminal of displaying augmented reality(ar) content |
KR20200102201A (en) | 2019-02-21 | 2020-08-31 | 한국가스안전공사 | The guidance system for buried natural gas pipelines using GNSS and augmented reality |
Also Published As
Publication number | Publication date |
---|---|
KR102675616B1 (en) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11295472B2 (en) | Positioning method, positioning apparatus, positioning system, storage medium, and method for constructing offline map database | |
KR101617948B1 (en) | System, method and recording medium for map image recognition by using optical character reader, and file distribution system | |
CN109270545B (en) | Positioning true value verification method, device, equipment and storage medium | |
CN110979346B (en) | Method, device and equipment for determining lane where vehicle is located | |
CN109461208B (en) | Three-dimensional map processing method, device, medium and computing equipment | |
JP2020067439A (en) | System and method for estimating position of moving body | |
CN109425348B (en) | Method and device for simultaneously positioning and establishing image | |
US11237003B2 (en) | Stellar-landscape/horizon image navigation | |
CN113048980B (en) | Pose optimization method and device, electronic equipment and storage medium | |
CN107193820B (en) | Position information acquisition method, device and equipment | |
CN111159459B (en) | Landmark positioning method, landmark positioning device, computer equipment and storage medium | |
KR20150042544A (en) | Mobile terminal for providing location information, method and system for measuring the location information | |
CN110926478A (en) | AR navigation route deviation rectifying method and system and computer readable storage medium | |
KR101768522B1 (en) | System, method and recording medium for map image recognition by using optical character reader, and file distribution system | |
Stranner et al. | A high-precision localization device for outdoor augmented reality | |
CN116704037B (en) | Satellite lock-losing repositioning method and system based on image processing technology | |
JP2014209680A (en) | Land boundary display program, method, and terminal device | |
KR102675616B1 (en) | Augmented objects coordinate correction system and control method thereof | |
CN114674328B (en) | Map generation method, map generation device, electronic device, storage medium, and vehicle | |
CN112097742A (en) | Pose determination method and device | |
CN115952248A (en) | Pose processing method, device, equipment, medium and product of terminal equipment | |
Venable | Improving real-world performance of vision aided navigation in a flight environment | |
Venable | Improving Real World Performance for Vision Navigation in a Flight Environment | |
KR20220062709A (en) | System for detecting disaster situation by clustering of spatial information based an image of a mobile device and method therefor | |
CN113112551A (en) | Camera parameter determination method and device, road side equipment and cloud control platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |