KR20220032920A - Maintenance method for underground pipeline using point cloud data and augmented reality - Google Patents
Maintenance method for underground pipeline using point cloud data and augmented reality Download PDFInfo
- Publication number
- KR20220032920A KR20220032920A KR1020200114865A KR20200114865A KR20220032920A KR 20220032920 A KR20220032920 A KR 20220032920A KR 1020200114865 A KR1020200114865 A KR 1020200114865A KR 20200114865 A KR20200114865 A KR 20200114865A KR 20220032920 A KR20220032920 A KR 20220032920A
- Authority
- KR
- South Korea
- Prior art keywords
- underground pipeline
- smart terminal
- point cloud
- pipeline
- cloud data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 28
- 238000012423 maintenance Methods 0.000 title claims abstract description 19
- 238000009434 installation Methods 0.000 claims abstract description 3
- 238000004891 communication Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 3
- 238000009412 basement excavation Methods 0.000 abstract description 5
- 238000013459 approach Methods 0.000 abstract description 3
- 239000003550 marker Substances 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000009933 burial Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 가스관, 수도관, 통신선 등 지하에 매설된 관로의 유지관리방법에 관한 것으로서, 특히 지하에 매설되어 있는 관로의 위치를 육상에서 파악할 수 있게 하는 방법에 관한 것이다. The present invention relates to a method for maintaining and managing underground pipelines, such as gas pipes, water pipes, and communication lines, and more particularly, to a method for allowing the location of underground pipelines to be identified on land.
1995년 대구 가스 폭발사고는 지하철 굴착 공사중에 가스관이 파손되면서 누출된 가스가 폭발한 사고이다. 대구 지하철 사고 이후, 상하수도관, 가스관, 전력케이블 등 라이프라인들의 지하 매설 위치를 사전에 확인하고, 굴착공사시에도 많은 주의를 기울이고 있지만 여전히 지하매설물 파손 사고가 빈번히 발생되고 있다. The Daegu gas explosion accident in 1995 was an accident in which leaked gas exploded as a gas pipe was damaged during subway excavation work. After the Daegu subway accident, the location of underground lifelines such as water and sewage pipes, gas pipes, and power cables is checked in advance, and much attention is paid to the excavation work, but damage to underground facilities still occurs frequently.
굴착공사시 지하시설물 파손 사고를 방지하기 위해서는 무엇보다도 지하시설물의 매설 위치를 정확하게 파악하는 것이 중요하다. 또한 위치 파악이 되었다고 해도 지상의 작업자가 공사 중에 매설 위치를 육안으로 확인하여 주의를 기울일 수 있도록 하는 식별 표시가 요청된다. In order to prevent damage to underground facilities during excavation work, it is important to know exactly where the underground facilities are buried. In addition, even if the location has been identified, identification marks are requested so that workers on the ground can visually check and pay attention to the location of the burial during construction.
현재 지하매설물에 대한 위치파악은 종이도면이나 전자도면을 이용하고 있다. 각 지하매설물 운영기관에서 파악하고 있는 관로의 위치 정보를 종이도면 또는 2D 전자도면 형태로 받아서 활용하고 있다. 그러나 각 운영기관에서 제공하는 위치 정보의 정확성 여부를 떠나 이 위치 정보를 현장에 적용하는 것이 용이하지 않다. 최근에는 각 운영기관에서 제공하는 전산화된 위치정보를 현장에서 인식하기 위하여 전자 태그(RFID, QR코드)를 지상시설물에 부착하고, 사용자가 단말기를 태그에 접근시키면 위치정보가 단말기의 화면상에 디스플레이 되는 시스템이 개발되었다. 그러나 이러한 마커 기반의 지하매설물 인식 시스템은 마커를 제작하여 지상매설물에 부착해야 되는 번거로움이 있다. Currently, paper drawings or electronic drawings are used to locate underground facilities. The location information of pipelines identified by each underground facility operating organization is received and utilized in the form of paper drawings or 2D electronic drawings. However, regardless of the accuracy of the location information provided by each operating organization, it is not easy to apply this location information to the field. Recently, electronic tags (RFID, QR codes) are attached to ground facilities to recognize computerized location information provided by each operating organization on site, and when the user approaches the tag, the location information is displayed on the screen of the terminal. system has been developed. However, such a marker-based underground facility recognition system has the inconvenience of manufacturing a marker and attaching it to an underground facility.
한편, 증강 현실(Augmented Reality: AR)을 이용하여 지하 관로를 휴대폰이나 태블릿 단말기에 구현해주는 방법이 제시되고 있다. 증강 현실 기술은 사용자가 눈으로 보는 현실 세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 기술이다. 예컨대, 휴대용 단말기로 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고, 주변의 건물 정보와 같은 객체 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해, 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술이다. 지하 관로에 위치 파악에 활용하는 경우라면, 지하 관로의 위치 정보를 이용하여 휴대폰 단말기의 카메라로 촬영된 실사 영상에 지하 관로를 합성하여 표출해 준다. Meanwhile, a method for implementing an underground pipeline in a mobile phone or tablet terminal using augmented reality (AR) has been proposed. Augmented reality technology is a technology that combines the real world seen by the user and the virtual world with additional information in real time as a single image. For example, by using the location and direction information of the portable terminal to determine the approximate location, and by comparing object information such as information about surrounding buildings and the actual image information input according to the movement of the camera, the service desired by the user is identified and It is a technology that provides relevant information. In the case of using the underground pipeline to identify the location, the underground pipeline is synthesized and displayed in the actual image captured by the camera of the mobile phone terminal using the location information of the underground pipeline.
지하 관로를 증강 현실을 이용하여 단말기에 표출할 때 한 가지 문제점은 지형을 반영할 수 없다는 점이다. 일반적으로 지하 관로에 대한 위치정보는 평면좌표(위도와 경도)와, 관로의 심도 정보(지표로부터의 심도)만 포함한다. 따라서 경사진 지형에서는 증강 현실 화상에서 지하 관로가 실제 관로의 위치와는 전혀 다른 곳에 위치하게 된다. One problem when displaying an underground pipeline on a terminal using augmented reality is that the terrain cannot be reflected. In general, location information for an underground pipeline includes only planar coordinates (latitude and longitude) and depth information of the pipeline (depth from the surface). Therefore, in the sloping terrain, the underground pipeline in the augmented reality image is located at a completely different location from the actual location of the pipeline.
도 1은 고도차가 있는 경사진 지형에 관로가 매설되어 있고, 지하 관로에 대한 정보는 평면 위치 좌표와, 지표로부터의 심도만 포함되어 있을 때 증강현실로 구현되는 상태를 설명하기 위한 것이다. 도 1을 참고하면, 지표면은 우상향으로 경사지며 굴곡이 존재하며, 지하 관로는 전체적으로 지표면을 따라 배치된다. 다만 각 지점에서 지표면으로부터 매설되는 심도만 조금씩 다른 상태이다. 이렇게 경사진 지형에서 종래에는 단말기 상에 증강현실로 구현된 화면에 지하 관로가 실제와는 다르게 나타난다. 지형, 즉 관로정보에 고도정보가 포함되어 있지 않기 때문이다. 거꾸로 말하면 지표 좌표에 고도가 포함되어 있지 않기 때문이라고 설명할 수도 있다. 1 is to explain a state implemented in augmented reality when a pipeline is buried in a sloping terrain with a difference in elevation, and information about the underground pipeline includes only planar location coordinates and depth from the surface. Referring to FIG. 1 , the ground surface is inclined to the right and there is a curvature, and the underground pipeline is disposed along the ground surface as a whole. However, only the depth of burial from the ground at each point is slightly different. In such a sloping terrain, an underground pipeline appears different from reality on a screen implemented in augmented reality on a terminal in the prior art. This is because altitude information is not included in topography, that is, pipeline information. Conversely, it can be explained that the elevation is not included in the surface coordinates.
상기한 문제를 해결하기 위하여 표고차를 고려할 수 있도록, 등고선, 수치 표고모형(DEM: Digital Elevation Model), 수치지형 표고모델(DTM, Digital Terrain Model), 수치표고모델(DSM, Digital Surface Model)등 지형모델과, 높이맵 기법, 쿼드트리 기법, 절두체컬링 기법 등의 3D 엔진을 이용하여 모델링하여 3D 객체를 생성하기도 하였다. 그러나 이러한 3차원 모델링은 과정이 복잡하고 시간이 소모되는 바 실제 상용화에는 한계가 있다. Terrain such as contour lines, digital elevation model (DEM: Digital Elevation Model), digital terrain elevation model (DTM, Digital Terrain Model), digital surface model (DSM, Digital Surface Model), etc. Models and 3D objects were also created by modeling using a 3D engine such as a height map technique, a quadtree technique, and a frustum culling technique. However, the 3D modeling process is complicated and time consuming, so there is a limit to actual commercialization.
본 발명은 상기한 문제점을 해결하기 위한 것으로서, 지하 관로 정보를 포인트 클라우드 데이터로 획득하여 지하 관로가 평면 좌표 이외에 고도 정보를 포함하고 있어 경사진 지형에서도 지하 관로의 매설 위치가 실제 위치에 대응되게 증강 현실로 표현될 수 있는 방법을 제공하는데 그 목적이 있다. The present invention is to solve the above problems, and by acquiring the underground pipeline information as point cloud data, the underground pipeline includes elevation information in addition to the planar coordinates, so that the buried position of the underground pipeline is augmented to correspond to the actual location even in a sloping terrain The purpose is to provide a method that can be expressed in reality.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.On the other hand, other objects not specified in the present invention will be additionally considered within the range that can be easily inferred from the following detailed description and effects thereof.
상기 목적을 달성하기 위한 본 발명에 따른 지하 관로의 유지관리방법은, The maintenance method of the underground pipeline according to the present invention for achieving the above object,
(a)신규 관로의 설치 또는 기존 관로의 유지보수를 위해 지하 관로를 외부로 노출시킨 상태에서 상기 지하 관로 표면의 다수 포인트의 3차원 좌표를 포인트클라우드 생성장치로 측정하여 지하관로 포인트 클라우드 데이터를 생성하는 단계; (b)상기 서버와 통신 네트워크를 통해 연결되어 있는 스마트 단말기의 위치정보와, 방위 및 각도를 포함하는 자세정보를 측정하는 단계; (c)상기 스마트 단말기의 위치정보 및 자세정보를 이용하여 상기 스마트 단말기의 카메라에 의해 촬영되는 촬영영역의 위치좌표를 산출하는 단계; 및 (d)상기 지하관로 포인트 클라우드 데이터의 위치좌표와 상기 촬영영역의 위치좌표를 비교하여 상기 촬영영역 내에 포함되어 있는 포인트들을 검출하고, 검출된 지하관로 포인트 클라우드 데이터를 이용하여 지하관로를 렌더링한 영상을 상기 스마트 단말기의 실사 영상에 중첩하여 증강현실로 표현하는 단계;를 포함하는 것에 특징이 있다. (a) For the installation of a new pipeline or maintenance of an existing pipeline, the three-dimensional coordinates of multiple points on the surface of the underground pipeline are measured with a point cloud generator in the state that the underground pipeline is exposed to the outside, and the underground pipeline point cloud data is generated to do; (b) measuring the position information of the smart terminal connected through the server and the communication network, and the posture information including the azimuth and angle; (c) calculating the position coordinates of the photographing area photographed by the camera of the smart terminal by using the location information and the posture information of the smart terminal; and (d) comparing the position coordinates of the underground pipeline point cloud data with the position coordinates of the photographing area to detect points included in the photographing area, and rendering the underground pipeline using the detected underground pipeline point cloud data. It is characterized in that it includes; superimposing the image on the actual image of the smart terminal and expressing it in augmented reality.
본 발명에 따르면, 상기 지하관로의 상부를 덮고 매립된 상태에서 상기 지하관로가 지나는 인접 영역 내 적어도 하나의 기준점을 설정하고, 상기 기준점의 실제 위치좌표를 취득하는 단계; 상기 스마트 단말기의 실사 화면에 대한 영상분석을 통해 상기 기준점을 검출하는 단계; 및 상기 스마트 단말기에서 파악되는 상기 기준점의 좌표값과, 실제 위치좌표를 상호 비교하여 상기 스마트 단말기의 방위값을 보정하는 단계;를 더 구비하는 것이 바람직하다. According to the present invention, the method comprising the steps of: setting at least one reference point in an adjacent area through which the underground pipe passes in a buried state while covering the upper part of the underground pipe, and acquiring the actual position coordinates of the reference point; detecting the reference point through image analysis on the actual screen of the smart terminal; and compensating the azimuth value of the smart terminal by comparing the coordinate values of the reference point identified in the smart terminal with the actual position coordinates.
특히, 상기 기준점은 특정 패턴이 형상화된 것이며, 상기 스마트 단말기의 영상검출 알고리즘에는 상기 특정 패턴에 대한 기준이미지가 기저장되어 있어, 상기 스마트 단말기의 실사화면상에 상기 기준점이 촬영되면 상기 기준이미지와 비교하여 상기 기준점을 검출할 수 있다. In particular, the reference point is a shape of a specific pattern, and the reference image for the specific pattern is pre-stored in the image detection algorithm of the smart terminal. The reference point can be detected by comparison.
또는 상기 지하관로가 매설된 상태에서 인근 지표상의 복수의 특징점의 3차원 좌표를 포인트 클라우드 생성장치로 측정하여 상기 복수의 특징점을 상기 기준점으로 설정할 수도 있다. Alternatively, the three-dimensional coordinates of a plurality of feature points on a nearby surface may be measured with a point cloud generating device in a state in which the underground pipeline is buried, and the plurality of feature points may be set as the reference point.
본 발명에서는 지하 관로 외곽(표면)의 다수의 지점을 각각 3차원 좌표로 특정한 포인트 클라우드 데이터를 확보하고, 포인트 클라우드를 렌더링하여 스마트 단말기의 실사화면에 증강 현실로 표현한다. 포인트 클라우드 데이터는 위도, 경도, 해발고도의 3차원 좌표로 특정되어 있기 때문에 기존의 2차원 평면데이터와 달리 지하관로의 해발고도가 반영되어 있다. 이에 경사진 지형에서도 증강현실로 표현되는 지하관로가 실제와 일치하게 표현된다는 이점이 있다. In the present invention, specific point cloud data is obtained for a plurality of points on the outskirts (surface) of the underground pipeline as three-dimensional coordinates, and the point cloud is rendered and expressed in augmented reality on the actual screen of the smart terminal. Since the point cloud data is specified by three-dimensional coordinates of latitude, longitude, and elevation, the elevation of the underground pipeline is reflected unlike the existing two-dimensional planar data. Accordingly, there is an advantage that the underground pipeline expressed in augmented reality is expressed in accordance with the reality even on sloping terrain.
또한 포인트 클라우드 데이터를 렌더링하고, 각 포인트들에 색채를 더하면 지하관로가 입체적으로 표현되므로. 지하관로에 대한 3차원 객체 스타일링 등의 부가적 프로세스를 필요로 하지 않는다. Also, by rendering the point cloud data and adding color to each point, the underground pipeline is three-dimensionally expressed. It does not require additional processes such as 3D object styling for the underground pipeline.
포인트 클라우드 데이터를 활용함에 따라 3차원 모델링을 하거나 객체 스타일링을 하는 등 부가적인 프로세스들이 모두 불필요해지므로 스마트 단말기 또는 서버에서 연산 속도가 향상되는 바 보다 빠른 프로세싱이 가능하다는 이점도 있다. As point cloud data is used, additional processes such as 3D modeling or object styling are all unnecessary, so there is an advantage that faster processing is possible as the operation speed is improved in a smart terminal or server.
한편, 본 발명에서는 스마트 단말기에서 방위 센싱에 오류가 있는 것을 보정하고자, 지하관로 매설 인접 영역에 실제 위치좌표를 알고 있는 기준점을 설정하여 지하관로가 실제 위치와 일치하게 스마트 단말기의 디스플레이에 증강현실로 구현될 수 있다는 이점이 있다. On the other hand, in the present invention, in order to correct an error in azimuth sensing in the smart terminal, a reference point that knows the actual location coordinates is set in an area adjacent to the underground pipeline buried so that the underground pipeline matches the actual location in augmented reality on the display of the smart terminal. It has the advantage that it can be implemented.
한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.On the other hand, even if it is an effect not explicitly mentioned herein, it is added that the effects described in the following specification expected by the technical features of the present invention and their potential effects are treated as described in the specification of the present invention.
도 1은 경사진 지형에 지하 관로가 매설된 경우 지하 관로가 증강현실로 표현될 때의 문제점을 설명하기 위한 것이다.
도 2는 본 발명의 일 예에 따른 지 하관로 유지관리방법의 개략적 흐름도이다.
도 3은
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.1 is for explaining a problem when the underground pipeline is expressed in augmented reality when the underground pipeline is buried in the inclined terrain.
2 is a schematic flowchart of an underground pipeline maintenance method according to an embodiment of the present invention.
3 is
※ It is revealed that the accompanying drawings are exemplified as a reference for understanding the technical idea of the present invention, and the scope of the present invention is not limited thereby.
본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.In the description of the present invention, if it is determined that related known functions are obvious to those skilled in the art and may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.
본 발명은 태블릿, 스마트폰, 컴퓨터 등을 포함하여 연산장치에 의하여 수행되며, 여기서 스마트폰이나 컴퓨터 등 연산장치에는 하기의 특정한 기능들을 수행할 수 있는 소프트웨어가 탑재되어 있다. 여기서 소프트웨어는 로직, 논리 블록, 알고리즘, 프로그램, 어플리케이션 등 다양한 명칭으로 호환하여 사용할 수 있다. The present invention is performed by a computing device including a tablet, a smart phone, a computer, and the like, wherein the computing device such as a smart phone or a computer is loaded with software capable of performing the following specific functions. Here, software can be used interchangeably with various names such as logic, logic block, algorithm, program, and application.
또한, 본 명세서에서는 설명의 편의상 서버, 데이터베이스, 사용자 단말기 등으로 구분하였지만, 이는 단지 기능 설명을 위한 것이며, 물리적으로 보면 서버, 데이터베이스가 개별 사용자 단말기에 모두 통합 구현되어 있을 수도 있고, 서버와 데이터베이스가 별도로 존재하고, 복수의 사용자 단말기가 서버와 통신하여 데이터를 교환하는 구조로 이루어질 수도 있다. 즉 본 발명에 따른 방법을 구현하기 위한 시스템은 물리적 독립성을 중심으로 파악하기 보다는, 특정한 기능을 구현하는 기능 단위로 이해되어야 한다. 즉 특정한 기능을 수행하는 요소들이 모두 사용자 단말기 내에 포함되어 있을 수도 있으며, 사용자 단말기는 디스플레이 역할만하고 모든 정보의 처리 및 프로세스를 서버에서 수행할 수 있다. 또는 사용자 단말기와 서버가 특정 기능을 분할하여 담당할 수도 있는 등 다양한 방법으로 시스템을 구성할 수 있다는 점을 미리 밝혀둔다. In addition, in the present specification, the server, database, and user terminal are divided for convenience of description, but this is only for function description. It may exist separately, and may have a structure in which a plurality of user terminals communicate with a server to exchange data. That is, the system for implementing the method according to the present invention should be understood as a functional unit that implements a specific function, rather than focusing on physical independence. That is, all elements performing a specific function may be included in the user terminal, and the user terminal may only serve as a display, and processing and processing of all information may be performed in the server. Alternatively, it should be clarified in advance that the system can be configured in various ways, such as the user terminal and the server can divide and take charge of specific functions.
이하, 첨부된 도면을 참고하여 본 발명의 일 예에 따른 포인트 클라우드 데이터와 증강 현실을 이용한 지하 관로의 유지관리방법에 대하여 더욱 상세히 설명하기로 한다. Hereinafter, a method for maintaining an underground pipeline using point cloud data and augmented reality according to an embodiment of the present invention will be described in more detail with reference to the accompanying drawings.
도 2는 본 발명의 일 예에 따른 지하관로 유지관리방법의 흐름도이다. 2 is a flowchart of an underground pipeline maintenance method according to an embodiment of the present invention.
본 발명에서는 먼저 지하관로에 대한 포인트 클라우드 데이터를 생성하고, 이를 데이터베이스에 저장한다. 포인트 클라우드(point cloud)는 어떤 좌표계에 속한 점들의 집합이다. 3차원 좌표계에서 점은 보통 X, Y, Z 좌표로 정의되며 사물의 외곽(표면)을 나타내는데 사용될 수 있다. 포인트 클라우드 데이터는 포인트 클라우드 생성장치, 예컨대 각종 이동수단(드론, 비행기, 차량) 등에 탑재된 Lidar를 통해 획득하거나, 드론/비행체/차량 등에서 다각도로 촬영된 비디오 영상을 CV 해석을 통해 획득할 수 있다. Lidar 기반한 포인트 클라우드 데이터이거나, open CV 해석 기반 포인트 클라우드 데이터를 획득한다. 포인트 클라우드 데이터는 객체 표면의 복수의 지점에 대한 3차원 좌표로 특정된다. 본 발명에서는 3차원 좌표계를 별도로 설정하는 것을 배제하지는 않지만, 위도/경도/해발고도에 의해 3차원 좌표를 설정한다. In the present invention, first, point cloud data for an underground pipeline is generated and stored in a database. A point cloud is a set of points belonging to a certain coordinate system. In a three-dimensional coordinate system, a point is usually defined by X, Y, and Z coordinates and can be used to represent the exterior (surface) of an object. Point cloud data can be obtained through Lidar mounted on a point cloud generating device, for example, various means of transportation (drone, airplane, vehicle), or video images shot from multiple angles from drones/aircraft/vehicles, etc. can be obtained through CV analysis. . Lidar-based point cloud data or open CV analysis-based point cloud data is acquired. The point cloud data is specified as three-dimensional coordinates for a plurality of points on the object surface. Although the present invention does not exclude that the three-dimensional coordinate system is separately set, the three-dimensional coordinates are set by latitude/longitude/altitude.
기존의 지하관로에 대한 위치 정보는 2차원 평면좌표(위도,경도)와, 지표로부터의 심도에 의하여 특정되었다. 지표는 지형에 따라 높낮이가 존재하므로, 지하관로의 Z축 좌표를 지하 심도로만 특정한 경우 종래기술에서 설명한 바와 같은 문제가 나타난다. 본 발명에서는 이러한 문제를 극복하고자 포인트 클라우드 기술을 이용한다. The location information of the existing underground pipeline was specified by two-dimensional planar coordinates (latitude, longitude) and depth from the surface. Since the surface has a height depending on the terrain, when the Z-axis coordinate of the underground pipe is specified only by the depth of the underground, the same problem as described in the prior art appears. The present invention uses a point cloud technology to overcome this problem.
본 발명에서는 신규로 지하관로를 매설하거나, 기존 관로의 유지보수를 위해 지표를 굴착한 상태, 즉 관로가 설치되어 외부로 노출되어 있는 상태에서 상기한 바와 같은 포인트 클라우드 생성장치를 이용하여 지하관로 표면의 다수의 포인트의 3차원 좌표를 획득하여 포인트 클라우드 데이터를 생성한다. 포인트 클라우드 데이터는 서버의 DB에 저장된다. In the present invention, the surface of the underground pipeline by using the point cloud generating device as described above in a state in which an underground pipeline is newly buried or the surface is excavated for maintenance of an existing pipeline, that is, in a state in which the pipeline is installed and exposed to the outside Point cloud data is generated by acquiring the three-dimensional coordinates of a plurality of points of Point cloud data is stored in the DB of the server.
본 발명에서는 특정 관로, 예컨대 가스관의 전국 배치망을 상기한 바와 같이 포인트 클라우드 데이터로 생성하여 데이터 베이스에 저장하여 추후 가스관의 유지관리에 활용하는 것을 예정하고 있다. 전국 배치망이 아니라고 해도, 각종 라이프라인과 지하 인프라가 밀집해 있고, 굴착공사가 잦은 도심지역의 배치망에 대해서는 포인트 클라우드 데이터를 생성하여 유지관리에 사용하는 것이 바람직하다.In the present invention, it is planned that a specific pipeline, for example, a nationwide network of gas pipelines, is created as point cloud data as described above and stored in a database to be utilized for maintenance of gas pipelines in the future. Even if it is not a nationwide deployment network, it is desirable to generate and use point cloud data for maintenance for deployment networks in urban areas where various lifelines and underground infrastructure are dense and excavation works are frequent.
지하관로에 대한 포인트 클라우드 데이터 베이스가 구축되면 스마트 단말기의 디스플레이 화면에 구현되는 증강현실을 이용하여 지하관로의 유지관리가 일상적으로 가능해진다. When the point cloud database for the underground pipeline is established, the maintenance of the underground pipeline becomes possible on a daily basis using augmented reality implemented on the display screen of the smart terminal.
사용자 단말기는 스마트폰이나 태블릿 PC 등 스마트 단말기가 사용될 수 있다. 본 실시예에서 스마트 단말기에는 GPS 모듈, IMU센서, AR 모듈, 동영상 카메라 모듈 및 디스플레이패널이 탑재되어 있다. As the user terminal, a smart terminal such as a smartphone or a tablet PC may be used. In this embodiment, the smart terminal is equipped with a GPS module, an IMU sensor, an AR module, a video camera module, and a display panel.
GPS 모듈은 사용자 단말기의 현재 위치, 즉 위치정보를 실시간으로 파악하여 AR 모듈로 전송한다. 물론 사용자 단말기에 기본 탑재된 GPS 모듈이 정밀하지 않은 경우라면, 사용자 단말기 근처에 정밀한 GPS 모듈을 별도로 장착하고, 사용자 단말기와 유무선 통신을 통해 위치정보를 전송할 수도 있다. The GPS module detects the current location of the user terminal, that is, location information in real time, and transmits it to the AR module. Of course, if the GPS module installed by default in the user terminal is not precise, a precise GPS module may be separately mounted near the user terminal and location information may be transmitted through wired/wireless communication with the user terminal.
IMU 센서는 사용자 단말기의 방위 및 상하각도를 포함하는 자세정보를 파악한다. IMU 센서는 3차원 공간에서 앞뒤, 상하, 좌우의 3축으로의 이동을 감지하는 가속도 센서와 피치(pitch), 롤(roll) 및 요(yaw)의 3축 회전을 검출하는 자이로스코프 센서로 이루어진다. IMU 센서를 이용하여 사용자 단말기의 정면이 향하고 있는 방위, 각도 등의 자세정보를 검출하여 실시간으로 AR 모듈로 전송한다. The IMU sensor detects posture information including the azimuth and vertical angle of the user terminal. The IMU sensor consists of an acceleration sensor that detects movement in three axes of front, back, up, down, left and right in three-dimensional space, and a gyroscope sensor that detects three-axis rotation of pitch, roll, and yaw. . Posture information such as the direction and angle of the front of the user terminal is detected using the IMU sensor and transmitted to the AR module in real time.
또한 사용자 단말기의 동영상 카메라 모듈에서는 실사화면을 실시간으로 획득한다. AR 모듈에서는 스마트 단말기의 위치정보, 자세정보, 카메라의 화각 정보 등을 이용하여 스마트 단말기에서 촬영되는 실사 화면의 촬영영역에 대한 위치좌표를 산출할 수 있다.In addition, the video camera module of the user terminal acquires the actual screen in real time. In the AR module, location coordinates for the shooting area of the actual screen shot in the smart terminal can be calculated using location information, posture information, and angle of view information of the camera of the smart terminal.
스마트 단말기의 촬영영역의 위치 좌표가 얻어지면, 상기한 서버의 데이터 베이스에 기록되어 있는 지하관로 포인트 클라우드 데이터의 위치좌표와, 촬영영역의 위치좌표를 상호 비교한다. 비교를 통해 촬영영역 내에 위치한 지하관로의 포인트 클라우드를 검출한다. When the location coordinates of the photographing area of the smart terminal are obtained, the location coordinates of the underground pipeline point cloud data recorded in the database of the server are compared with the location coordinates of the photographing area. Through comparison, the point cloud of the underground pipeline located within the shooting area is detected.
검출된 포인트라우드 데이터를 이용하여 지하관로를 렌더링한 가상의 영상을 생성하여, 스마트 단말기의 실사 영상에 가상의 영상을 중첩하여 증강현실로 구현한다. A virtual image of a rendering of an underground pipeline is generated using the detected point loud data, and the virtual image is superimposed on the actual image of the smart terminal to realize augmented reality.
상기한 증강현실을 구현해 내는 AR모듈은 앱 등 컴퓨터 프로그램 형태로 사용자 단말기에 설치되는 것이 일반적이며, 증강현실 구현 기술은 공지의 기술인 바 더 이상의 자세한 설명은 생략하기로 한다.The AR module that implements the above-described augmented reality is generally installed in the user terminal in the form of a computer program such as an app, and the augmented reality implementation technology is a well-known technology, and further detailed description will be omitted.
본 발명에서는 지하관로를 포인트 클라우드 데이터로 생성하여, 이를 유지관리에 활용한다는 점에 특징이 있다. 기존의 지하 관로는 위도 및 경도의 위치좌표로만 특정되어 있고, 고도좌표는 지표로부터의 심도로만 특정되었다. 이에 경사진 지형에서 지하관로의 증강현실을 구현할 때 실제와는 전혀 다른 형태, 즉 지하 관로가 경사를 따라가지 않고 수평하게 표현되는 문제가 있었다. 포인트 클라우드 데이터를 이용하면 위의 문제를 해결할 수 있다. 즉 실제와 마찬가지로 지하관로가 경사면을 따라 배치된 것으로 구현할 수 있다. 이는 포인트 클라우드 데이터가 3차원 좌표, 특히 해발 고도 정보를 포함하고 있기 때문에 가능한 것인데, 지형 모델이나 3D 모델링 등 복잡한 프로세싱을 거치지 않고도, 단지 포인트 클라우드를 3차원 좌표대로 렌더링하면 지하 관로가 경사면을 따라 배치된다. The present invention is characterized in that the underground pipeline is created as point cloud data and used for maintenance. Existing underground pipelines are specified only with the location coordinates of latitude and longitude, and the elevation coordinates are specified only with depth from the surface. Accordingly, when realizing augmented reality of underground pipelines in sloping terrain, there was a problem in that the underground pipelines were expressed horizontally instead of following the slopes in a completely different form from reality. Using point cloud data can solve the above problem. That is, it can be realized that the underground pipeline is arranged along the slope as in reality. This is possible because the point cloud data contains three-dimensional coordinates, especially elevation information. If the point cloud is rendered in three-dimensional coordinates without going through complex processing such as terrain model or 3D modeling, the underground pipeline is placed along the slope. do.
포인트 클라우드 데이터를 이용할 때의 또 다른 장점은 지하 관로를 증강현실로 구현할 때, 지하 관로에 대한 3D 객체 스타일링이 필요치 않다는 점이다. 기존의 지하 관로 정보는 위치정보만 있거나, 속성정보를 포함하는 경우도 있다. 속성정보에는 관로의 크기와 재질 등이 나타나 있다. 이에 AR 모듈에서는 임의로 또는 속성 정보를 근거로 지하 관로에 대한 3D 객체 스타일링을 통해, 증강현실 구현시 관로를 입체 형태로 나타내 주었다. 그러나 본 발명과 같이 포인트 클라우드는 그 자체로서 실제의 지하관로의 형상을 반영하고 있기 때문에, 객체 스타일링 등의 부가적 프로세스가 필요하지 않다는 이점이 있다. Another advantage of using point cloud data is that 3D object styling of the underground pipeline is not required when implementing the underground pipeline in augmented reality. Existing underground pipeline information has only location information or sometimes includes attribute information. The attribute information indicates the size and material of the pipe. Accordingly, in the AR module, 3D object styling of the underground pipeline was performed arbitrarily or based on attribute information, and the pipeline was displayed in a three-dimensional form when implementing augmented reality. However, as in the present invention, since the point cloud itself reflects the shape of the actual underground pipeline, there is an advantage that an additional process such as object styling is not required.
위와 같이 2차원 좌표를 모델링을 통해 3차원으로 변환한다거나, 속성정보를 이용하여 객체의 입체 스타일링을 하는 등 부가적인 프로세스가 수반되면 스마트 단말기에서의 처리속도가 문제될 수 있다. 본 발명과 같이 포인트 클라우드 데이터를 이용하면 이러한 문제를 모두 해결할 수 있다는 이점이 있다. As above, if additional processes are involved, such as transforming two-dimensional coordinates into three dimensions through modeling or performing three-dimensional styling of objects using attribute information, processing speed in smart terminals may become a problem. There is an advantage that all of these problems can be solved by using the point cloud data as in the present invention.
한편, 스마트 단말기를 사용할 때 한 가지 약점은 방위에 대한 오차이다. 스마트 단말기에서 GPS 모듈을 통해 획득하는 위치정보와 IMU 센서를 통해 얻어지는 각도 정보에 비하여, 방위는 오차가 상대적으로 높은 편이다. 방위에 오차가 있으면 AR 모듈에서 포인트 클라우드 데이터를 이용하여 가상 영상을 구현할 때 실제 위치와 다른 위치에 지하 관로가 디스플레이 되는 문제가 있다. On the other hand, one weakness when using a smart terminal is an error in orientation. Compared to the location information obtained through the GPS module in the smart terminal and the angle information obtained through the IMU sensor, the azimuth has a relatively high error. If there is an error in the orientation, there is a problem in that the underground pipeline is displayed in a location different from the actual location when the AR module implements a virtual image using the point cloud data.
본 발명에서는 이를 해결하기 위하여 스마트 단말기의 방위값을 보정할 수 있는 방법을 제공한다. In order to solve this problem, the present invention provides a method capable of correcting the azimuth value of the smart terminal.
앞에서 지하관로를 외부로 노출시킨 상태에서 포인트 클라우드 데이터를 획득하였다. 그 후에 지하관로의 상부를 다시 덮어 매립한 후에는 인접한 지표면에 하나의 기준점을 설정하고, 이 기준점에 대한 실제 위치좌표를 취득한다. 위치좌표는 GPS 모듈, 측량 등 다양한 방법을 사용할 수 있다. 기준점의 위치좌표는 서버의 데이터 베이스에 저장한다. Point cloud data were acquired while the underground pipeline was exposed to the outside. After that, after the upper part of the underground pipe is covered and buried again, one reference point is set on the adjacent ground surface, and the actual position coordinates for this reference point are acquired. The location coordinates may use various methods such as a GPS module and surveying. The location coordinates of the reference point are stored in the server's database.
본 실시예에서 기준점으로는 마커를 활용할 수 있다. 마커는 특정한 패턴이 형상화되어 있는 일종의 표식이다. 예컨대 QR코드를 표지판처럼 부착하여 사용할 수도 있다. QR코드가 아니라도 도형, 숫자, 글자 등을 단독으로 또는 조합하여 사용한 표지를 사용할 수도 있다. 또는 주변의 지형지물을 사용할 수도 있다. 예컨대 도심지역이라면 맨홀뚜껑이나, 우수받이, 도로표지판, 도로경계석 등 다양한 지형지물을 사용할 수 있다. 마커의 형상 및 패턴을 촬영한 기준이미지는 서버에 저장된다. 즉 서버에는 기준점이 되는 마커의 위치좌표와 기준이미지를 서버에 저장한다. In this embodiment, a marker may be used as a reference point. A marker is a kind of mark in which a specific pattern is embodied. For example, you can attach a QR code like a sign and use it. Even if it is not a QR code, a cover using figures, numbers, letters, etc. alone or in combination can be used. Alternatively, you can use the surrounding terrain. For example, in an urban area, various topographical features such as manhole covers, rain gutters, road signs, and road boundary stones can be used. The reference image of the shape and pattern of the marker is stored in the server. That is, the server stores the coordinates of the position of the marker as the reference point and the reference image in the server.
지하관로를 유지보수하기 위해 사용자가 지하관로 주변에 접근하고 스마트 단말기로 마커를 촬영한다. 스마트 단말기의 영상검출 알고리즘에서는 스마트 단말기의 실사 화면에 나타난 마커의 이미지와, 서버로부터 전송받은 기준이미지를 상호 비교하여 유사도를 확인함으로써 마커를 검출할 수 있다. 마커가 검출되면 스마트 단말기에서 파악되는 마커의 위치정보를 이용하여, 스마트 단말기의 방위값을 교정할 수 있다.In order to maintain the underground pipeline, the user approaches the perimeter of the underground pipeline and takes a picture of the marker with a smart terminal. In the image detection algorithm of the smart terminal, the marker can be detected by comparing the image of the marker displayed on the actual screen of the smart terminal with the reference image received from the server to check the similarity. When the marker is detected, the azimuth value of the smart terminal may be corrected using the location information of the marker recognized by the smart terminal.
스마트 단말기에 파악되는 마커의 위치정보와, 마커의 실제 위치 정보가 서로 다르게 나타날 수 있는데, 이는 스마트 단말기에서 주로 방위각에 대한 오류로 인하여 발생하는 경우가 많다. 이에 실제 마커의 위치정보를 이용하여 스마트 단말기에서 센싱되는 방위(예컨대 정북 방향)를 교정할 수 있다. 스마트 단말기의 방위 측정에 오류가 있으면, 스마트 단말기의 화면상에서 실제 위치와는 다른 위치에 지하관로가 증강현실로 표현될 수 밖에 없다. 위 문제를 해결하고자 본 발명에서는 위치를 정확히 알고 있는 마커를 이용하여 스마트 단말기의 방위 센싱 오류를 교정하고자 한다. The location information of the marker recognized by the smart terminal and the actual location information of the marker may appear different from each other. This is mainly caused by an error in the azimuth in the smart terminal. Accordingly, the orientation sensed by the smart terminal (eg, the true north direction) may be corrected using the location information of the actual marker. If there is an error in the azimuth measurement of the smart terminal, the underground pipeline is inevitably expressed in augmented reality at a location different from the actual location on the screen of the smart terminal. In order to solve the above problem, in the present invention, an error in azimuth sensing of a smart terminal is corrected by using a marker having an accurate position.
한편, 본 발명의 다른 예에서는 스마트 단말기의 방위 센싱 오류를 교정하기 위한 기준점으로서 마커 대신 포인트 클라우드를 활용할 수도 있다. 최근에 IT 인프라가 급속도로 빠르게 구축되기 시작하면서, 도심지는 물론 국토 전역에 대하여 포인트 클라우드 데이터를 확보하는 시도가 있다. 노르웨이의 경우 이미 전국토에 대하여 포인트 클라우드 데이터를 확보하고 있다. Meanwhile, in another example of the present invention, a point cloud may be used instead of a marker as a reference point for correcting an azimuth sensing error of the smart terminal. Recently, as the IT infrastructure begins to be built rapidly, there are attempts to secure point cloud data not only in downtown areas but also throughout the country. Norway already has point cloud data for all territories.
이렇게 포인트 클라우드 데이터가 누구나 접근할 수 있는 공공데이터르 확보되어 있는 경우라면, 마커를 사용하지 않고 포인트 클라우드 데이터를 기준점으로 활용할 수 있다. 즉 포인트 클라우드 데이터로부터 특징점, 예컨대 건물의 모서리, 꼭지점 등을 검출할 수 있을 것이다. 그리고 스마트 단말기의 실사 화면에서 건물이 표현되면 영상분석 알고리즘을 통해 해당 건물의 특징점(모서리, 꼭지점)을 특정할 수 있다. 포인트 클라우드 데이터에서 검출된 건물의 특징점의 위치좌표와, 스마트 단말기의 실사화면 상에서 특정된 건물의 특징점의 위치좌표를 상호 비교한다. 포인트 클라우드 데이터가 실제의 좌표이므로, 이를 기준으로 하여 스마트 단말기의 방위값 또는 위치좌표값을 교정하면 된다. 즉 본 예에서는 지하관로가 매설되어 있는 인접 영역에 대한 포인트 클라우드 데이터에서 특징점을 기준점으로 삼아서 스마트 단말기의 위치좌표값 또는 방위값을 교정할 수 있다. 특징점은 하나일 수도 있고, 복수일 수도 있다. 또한 복수의 특징점을 검출해 내는 경우 이들의 좌표값 이외에도, 복수의 특징점 사이의 간격, 3개의 특징점을 연결한 삼각형의 내각 등을 기준으로 삼을 수도 있다. 참고로, 지하관로 매설 인접 지표 영역의 포인트 클라우드 데이터는 공공데이터일 수도 있고, 지하관로의 유지관리를 위해 별도의 측량을 통해 획득한 것일 수도 있다. In this way, if the point cloud data is public data that anyone can access, the point cloud data can be used as a reference point without using a marker. That is, feature points, for example, corners and vertices of buildings, may be detected from the point cloud data. And when a building is expressed on the actual screen of the smart terminal, the characteristic points (corners, vertices) of the building can be specified through an image analysis algorithm. The location coordinates of the feature points of the building detected from the point cloud data are compared with the location coordinates of the feature points of the building specified on the actual screen of the smart terminal. Since the point cloud data is an actual coordinate, it is enough to calibrate the azimuth value or the position coordinate value of the smart terminal based on this. That is, in this example, the position coordinate value or the azimuth value of the smart terminal can be corrected by using the feature point as a reference point in the point cloud data for the adjacent area in which the underground pipeline is buried. The feature point may be one or may be plural. In addition, when detecting a plurality of feature points, in addition to their coordinate values, an interval between the plurality of feature points, an interior angle of a triangle connecting three feature points, etc. may be used as a reference. For reference, the point cloud data of the surface area adjacent to the underground pipeline buried may be public data, or may be obtained through a separate survey for maintenance of the underground pipeline.
이상에서 설명한 바와 같이, 본 발명에서는 지하 관로 외곽(표면)의 다수의 지점을 각각 3차원 좌표로 특정한 포인트 클라우드 데이터를 확보하고, 포인트 클라우드를 렌더링하여 스마트 단말기의 실사화면에 증강 현실로 표현한다.As described above, in the present invention, a plurality of points on the outskirts (surface) of an underground pipeline are secured with specific point cloud data as three-dimensional coordinates, respectively, and the point cloud is rendered and expressed in augmented reality on the actual screen of the smart terminal.
포인트 클라우드 데이터는 위도, 경도, 해발고도의 3차원 좌표로 특정되어 있기 때문에 기존의 2차원 평면데이터와 달리 지하관로의 해발고도가 반영되어 있다. 이에 경사진 지형에서도 증강현실로 표현되는 지하관로가 실제와 일치하게 표현된다는 이점이 있다. Since the point cloud data is specified by three-dimensional coordinates of latitude, longitude, and elevation, the elevation of the underground pipeline is reflected unlike the existing two-dimensional planar data. Accordingly, there is an advantage that the underground pipeline expressed in augmented reality is expressed in accordance with the reality even on sloping terrain.
또한 포인트 클라우드 데이터를 렌더링하고, 각 포인트들에 색채를 더하면 지하관로가 입체적으로 표현되므로. 지하관로에 대한 3차원 객체 스타일링 등의 부가적 프로세스를 필요로 하지 않는다. Also, by rendering the point cloud data and adding color to each point, the underground pipeline is three-dimensionally expressed. It does not require additional processes such as 3D object styling for the underground pipeline.
포인트 클라우드 데이터를 활용함에 따라 3차원 모델링을 하거나 객체 스타일링을 하는 등 부가적인 프로세스들이 모두 불필요해지므로 스마트 단말기 또는 서버에서 연산 속도가 향상되는 바 보다 빠른 프로세싱이 가능하다는 이점도 있다. As point cloud data is used, additional processes such as 3D modeling or object styling are all unnecessary, so there is an advantage that faster processing is possible as the operation speed is improved in a smart terminal or server.
한편, 본 발명에서는 스마트 단말기에서 방위 센싱에 오류가 있는 것을 보정하고자, 지하관로 매설 인접 영역에 실제 위치좌표를 알고 있는 기준점을 설정하여 지하관로가 실제 위치와 일치하게 스마트 단말기의 디스플레이에 증강현실로 구현될 수 있다는 이점이 있다. On the other hand, in the present invention, in order to correct an error in azimuth sensing in the smart terminal, a reference point that knows the actual location coordinates is set in an area adjacent to the underground pipeline buried so that the underground pipeline matches the actual location in augmented reality on the display of the smart terminal. It has the advantage that it can be implemented.
참고로, 본 발명에 따른 지하관로 유지관리방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 여기서 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.For reference, the underground pipeline maintenance method according to the present invention may be implemented as a program (or application) including an executable algorithm that can be executed on a computer. The program may be provided by being stored in a non-transitory computer readable medium. Here, the non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device. Specifically, the above-described various applications or programs may be provided by being stored in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.The protection scope of the present invention is not limited to the description and expression of the embodiments explicitly described above. In addition, it is added once again that the protection scope of the present invention cannot be limited due to obvious changes or substitutions in the technical field to which the present invention pertains.
Claims (4)
(b)상기 서버와 통신 네트워크를 통해 연결되어 있는 스마트 단말기의 위치정보와, 방위 및 각도를 포함하는 자세정보를 측정하는 단계;
(c)상기 스마트 단말기의 위치정보 및 자세정보를 이용하여 상기 스마트 단말기의 카메라에 의해 촬영되는 촬영영역의 위치좌표를 산출하는 단계; 및
(d)상기 지하관로 포인트 클라우드 데이터의 위치좌표와 상기 촬영영역의 위치좌표를 비교하여 상기 촬영영역 내에 포함되어 있는 포인트들을 검출하고, 검출된 지하관로 포인트 클라우드 데이터를 이용하여 지하관로를 렌더링한 영상을 상기 스마트 단말기의 실사 영상에 중첩하여 증강현실로 표현하는 단계;를 포함하는 것을 특징으로 하는 지하 관로의 유지관리방법. (a) For the installation of a new pipeline or maintenance of an existing pipeline, the three-dimensional coordinates of multiple points on the surface of the underground pipeline are measured with a point cloud generator in the state that the underground pipeline is exposed to the outside, and the underground pipeline point cloud data is generated to do;
(b) measuring the position information of the smart terminal connected through the server and the communication network, and the posture information including the azimuth and angle;
(c) calculating the position coordinates of the photographing area photographed by the camera of the smart terminal by using the location information and the posture information of the smart terminal; and
(d) An image obtained by comparing the location coordinates of the underground pipeline point cloud data with the location coordinates of the photographing area to detect points included in the photographing area, and using the detected underground pipeline point cloud data to render the underground pipeline Superimposed on the actual image of the smart terminal to express in augmented reality; Maintenance method of the underground pipeline comprising a.
상기 지하관로의 상부를 덮고 매립된 상태에서 상기 지하관로가 지나는 인접 영역 내 적어도 하나의 기준점을 설정하고, 상기 기준점의 실제 위치좌표를 취득하는 단계;
상기 스마트 단말기의 실사 화면에 대한 영상분석을 통해 상기 기준점을 검출하는 단계; 및
상기 스마트 단말기에서 파악되는 상기 기준점의 좌표값과, 실제 위치좌표를 상호 비교하여 상기 스마트 단말기의 방위값을 보정하는 단계;를 더 구비하는 것을 특징으로 하는 지하 관로의 유지관리방법. The method of claim 1,
setting at least one reference point in an adjacent area through which the underground pipe passes in a buried state while covering the upper part of the underground pipe, and acquiring the actual positional coordinates of the reference point;
detecting the reference point through image analysis on the actual screen of the smart terminal; and
Compensating the azimuth value of the smart terminal by comparing the coordinate value of the reference point identified in the smart terminal with the actual position coordinate;
상기 기준점은 특정 패턴이 형상화된 것이며,
상기 기준점을 촬영한 기준이미지는 상기 서버에 저장되며,
상기 스마트 단말기의 영상검출 알고리즘을 이용하여, 상기 스마트 단말기의 실사화면상에 상기 기준점이 촬영되면 촬영된 영상과 상기 서버로부터 전송받은 상기 기준이미지와 비교하여 상기 기준점을 검출하는 것을 특징으로 하는 지하 관로의 유지관리방법. 3. The method of claim 2,
The reference point is that a specific pattern is shaped,
The reference image taken by the reference point is stored in the server,
Using the image detection algorithm of the smart terminal, when the reference point is photographed on the actual screen of the smart terminal, the reference point is detected by comparing the captured image with the reference image transmitted from the server maintenance method.
상기 지하관로가 매설된 상태에서 인근 지표상의 복수의 특징점의 3차원 좌표를 포인트 클라우드 생성장치로 측정하여 상기 복수의 특징점을 상기 기준점으로 설정하는 것을 특징으로 하는 지하 관로의 유지관리방법. 3. The method of claim 2,
3D coordinates of a plurality of feature points on a nearby surface in a state in which the underground pipeline is buried are measured with a point cloud generating device, and the plurality of feature points are set as the reference point.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200114865A KR20220032920A (en) | 2020-09-08 | 2020-09-08 | Maintenance method for underground pipeline using point cloud data and augmented reality |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200114865A KR20220032920A (en) | 2020-09-08 | 2020-09-08 | Maintenance method for underground pipeline using point cloud data and augmented reality |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220032920A true KR20220032920A (en) | 2022-03-15 |
Family
ID=80816744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200114865A KR20220032920A (en) | 2020-09-08 | 2020-09-08 | Maintenance method for underground pipeline using point cloud data and augmented reality |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20220032920A (en) |
-
2020
- 2020-09-08 KR KR1020200114865A patent/KR20220032920A/en not_active Application Discontinuation
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105512646B (en) | A kind of data processing method, device and terminal | |
JP5682060B2 (en) | Image composition apparatus, image composition program, and image composition system | |
US9465129B1 (en) | Image-based mapping locating system | |
KR100997084B1 (en) | A method and system for providing real time information of underground object, and a sever and method for providing information of the same, and recording medium storing a program thereof | |
US8665263B2 (en) | Aerial image generating apparatus, aerial image generating method, and storage medium having aerial image generating program stored therein | |
CN108810473B (en) | Method and system for realizing GPS mapping camera picture coordinate on mobile platform | |
US9367962B2 (en) | Augmented image display using a camera and a position and orientation sensor | |
CN112348886B (en) | Visual positioning method, terminal and server | |
KR100822814B1 (en) | Method for overlapping real-time landscape image and gis data | |
KR102097416B1 (en) | An augmented reality representation method for managing underground pipeline data with vertical drop and the recording medium thereof | |
KR101874498B1 (en) | System and Method for Aerial Photogrammetry of Ground Control Point for Space Information Acquisition based on Unmanned Aerial Vehicle System | |
US10997785B2 (en) | System and method for collecting geospatial object data with mediated reality | |
US20220138467A1 (en) | Augmented reality utility locating and asset management system | |
US20220282967A1 (en) | Method and mobile detection unit for detecting elements of infrastructure of an underground line network | |
RU2571300C2 (en) | Method for remote determination of absolute azimuth of target point | |
KR102252607B1 (en) | System for preventing damage of underground facilties from excavating in construction field using gpas-ar technology | |
CN116883604A (en) | Three-dimensional modeling technical method based on space, air and ground images | |
US20230281942A1 (en) | Measurement processing device, method, and program | |
Kröhnert et al. | Versatile mobile and stationary low-cost approaches for hydrological measurements | |
WO2010068185A1 (en) | Method of generating a geodetic reference database product | |
CN108954016A (en) | Fuel gas pipeline leakage disposal system based on augmented reality | |
CN104978476A (en) | Method for carrying out on-site supplementary survey of indoor map by smartphone | |
KR100981588B1 (en) | A system for generating geographical information of city facilities based on vector transformation which uses magnitude and direction information of feature point | |
KR20220032920A (en) | Maintenance method for underground pipeline using point cloud data and augmented reality | |
Brata et al. | An Enhancement of Outdoor Location-Based Augmented Reality Anchor Precision through VSLAM and Google Street View |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
N231 | Notification of change of applicant | ||
E601 | Decision to refuse application |