KR102654087B1 - 3D Modeling Generation System and Method Based on Deep Learning and Point Cloud Data Acquisition Using Mobile object - Google Patents
3D Modeling Generation System and Method Based on Deep Learning and Point Cloud Data Acquisition Using Mobile object Download PDFInfo
- Publication number
- KR102654087B1 KR102654087B1 KR1020210148737A KR20210148737A KR102654087B1 KR 102654087 B1 KR102654087 B1 KR 102654087B1 KR 1020210148737 A KR1020210148737 A KR 1020210148737A KR 20210148737 A KR20210148737 A KR 20210148737A KR 102654087 B1 KR102654087 B1 KR 102654087B1
- Authority
- KR
- South Korea
- Prior art keywords
- point cloud
- cloud data
- learning
- model
- modeling
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims description 31
- 238000013526 transfer learning Methods 0.000 claims abstract description 43
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 20
- 238000013480 data collection Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000010276 construction Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000010200 validation analysis Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000007786 learning performance Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 연산기능을 가진 제어서버(10) 및 점군 데이터 정보가 저장된 데이터베이스(20)가 네트워크로 연결되고, 전이학습을 이용하여 3차원 모델링을 형성하는 시스템으로서, 제어서버(10)는 이동체(110)에 장착된 점군 데이터 취득수단(120)을 통해 시설물에 대한 점군 데이터를 수집하는 데이터 취득부(100); 상기 취득된 점군 데이터를 정합하는 데이터 정합부(200); 및 상기 정합된 데이터로 3차원 의미적 분할 모델을 선정하는 모델 선정부(310) 및 전이학습을 수행하는 전이학습 수행부(320)를 갖는 모델 학습부(300)를 포함하는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템이다.The present invention is a system in which a control server 10 with a calculation function and a database 20 storing point cloud data information are connected through a network and form three-dimensional modeling using transfer learning. The control server 10 is a moving object ( A data acquisition unit 100 that collects point cloud data for facilities through a point cloud data acquisition means 120 mounted on 110); a data matching unit 200 that matches the acquired point cloud data; and a model learning unit 300 having a model selection unit 310 for selecting a three-dimensional semantic segmentation model using the matched data and a transfer learning performing unit 320 for performing transfer learning. It is a point cloud data collection and deep learning-based 3D modeling formation system using .
Description
본 발명은 딥러닝 기반 3차원 모델링 형성 시스템 및 모델링 형성 방법에 관한 것이다. 구체적으로는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템 및 모델링 형성 방법에 관한 것이다.The present invention relates to a deep learning-based 3D modeling forming system and modeling forming method. Specifically, it relates to point cloud data collection using moving objects and a deep learning-based 3D modeling formation system and modeling formation method.
현재 건설 산업에서는 사회기반시설물의 지속적인 관리를 하기 위해 점군 데이터를 취득하고 그것으로부터 모델링(BIM: Building Information Modeling)을 형성하고 있다. 시공 이전의 모델링을 As-planned BIM이라고 하고, 시공 이후에 새로 업데이트된 모델링을 As-built BIM 이라고 한다.Currently, the construction industry acquires point cloud data and forms modeling (BIM: Building Information Modeling) from it in order to continuously manage social infrastructure. Modeling before construction is called As-planned BIM, and newly updated modeling after construction is called As-built BIM.
하지만, 현재 대부분의 모델링 형성 방법은, 사람이 직접 장시간 데이터를 취득하러 다녀야하기 때문에 비효율적이며, 취득된 점군 데이터도 마찬가지로 사람이 소프트웨어를 통해 수작업으로 분할을 해야 하는 불편함이 있다.However, most current modeling methods are inefficient because they require a person to personally acquire the data for a long time, and there is also the inconvenience of having to manually segment the acquired point cloud data using software.
이러한 문제를 해결하기 위해 취득된 점군 데이터를 자동으로 분할하는 연구, 그리고 자동 분할된 점군 데이터로부터 모델링을 형성하는 연구가 진행되고 있다.To solve this problem, research is being conducted on automatically segmenting acquired point cloud data and forming modeling from automatically segmented point cloud data.
하지만, 선행 연구에도 여전히 다음과 같은 문제점이 있다. 첫째, 점군 데이터를 취득하는 데에는 굉장히 긴 시간이 소요되는데도, 여전히 이 과정이 자동화되어 있지 않은 문제점이 있다. 둘째, 데이터 부족 문제로 인해 end-to-end 딥러닝 기반의 해석은 많이 진행되지 않은 문제점이 있다. 셋째, 선행 연구에서 사용한 데이터는 대부분 고정식 LiDAR로 취득된 것인데, 고정식 LiDAR을 사용할 경우 스캔 대상의 폐색 부위를 줄이기 위해 다수의 스캔 포인트를 지정해야 하며, 이로 인해 데이터 취득 시간이 기하급수적으로 증가하는 문제점이 있다.However, previous studies still have the following problems. First, although it takes a very long time to acquire point cloud data, there is still a problem in that this process is not automated. Second, due to the lack of data, there is a problem that not much progress has been made in end-to-end deep learning-based analysis. Third, most of the data used in previous studies were acquired with fixed LiDAR. When using fixed LiDAR, multiple scan points must be specified to reduce the occlusion of the scan target, which causes the problem of exponentially increasing data acquisition time. There is.
본 발명에 따른 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템 및 모델링 형성 방법은 다음과 같은 해결과제를 가진다.The point cloud data collection using a moving object and the deep learning-based 3D modeling forming system and modeling forming method according to the present invention have the following problems to solve.
첫째, 이동체를 이용하여 점군 데이터를 취득하고자 한다. First, we want to acquire point cloud data using a moving object.
둘째, 이동식 LiDAR을 사용하고 이를 정합하여 실시간으로 점군 데이터를 취득하고자 한다.Second, we want to acquire point cloud data in real time by using mobile LiDAR and matching it.
셋째, 딥러닝 학습 시 데이터 부족 문제를 해결하기 위해 전이학습을 사용하고자 한다. Third, we want to use transfer learning to solve the problem of insufficient data when learning deep learning.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. The problems to be solved by the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.
본 발명은 연산기능을 가진 제어서버 및 점군 데이터 정보가 저장된 데이터베이스가 네트워크로 연결되고, 전이학습을 이용하여 3차원 모델링을 형성하는 시스템으로서, 제어서버는 이동체에 장착된 점군 데이터 취득수단을 통해 시설물에 대한 점군 데이터를 수집하는 데이터 취득부; 상기 취득된 점군 데이터를 정합하는 데이터 정합부; 및 상기 정합된 데이터로 3차원 의미적 분할 모델을 선정하는 모델 선정부 및 전이학습을 수행하는 전이학습 수행부를 갖는 모델 학습부를 포함한다.The present invention is a system in which a control server with a calculation function and a database storing point cloud data information are connected to a network and form 3D modeling using transfer learning. The control server controls the facility through a point cloud data acquisition means mounted on a moving object. A data acquisition unit that collects point cloud data for; a data matching unit that matches the acquired point cloud data; and a model learning unit having a model selection unit that selects a 3D semantic segmentation model using the matched data and a transfer learning performing unit that performs transfer learning.
본 발명에 있어서, 상기 데이터 취득부의 이동체는 작업자, 보행로봇 또는 항공이동체 중 적어도 어느 하나인 것이 가능하다.In the present invention, the mobile object of the data acquisition unit may be at least one of a worker, a walking robot, or an aerial mobile object.
본 발명에 있어서, 상기 보행로봇은 4족 보행로봇으로서, 보행로봇의 조인트(joint)의 롤(roll), 피치(pitch) 및 요(yaw)의 각도를 기 설정된 각도로 조절가능하다.In the present invention, the walking robot is a four-legged walking robot, and the roll, pitch, and yaw angles of the joints of the walking robot can be adjusted to preset angles.
본 발명에 있어서, 상기 점군 데이터 취득수단은 라이다를 포함할 수 있다.In the present invention, the point cloud data acquisition means may include LIDAR.
본 발명에 있어서, 상기 데이터 정합부는 LIO-SAM 알고리즘으로 데이터를 정합할 수 있다.In the present invention, the data matching unit can match data using the LIO-SAM algorithm.
본 발명에 있어서, 상기 모델 학습부의 모델 선정부는 3차원 의미적 분할 모델로 RandLA-Net 모델을 사용할 수 있다.In the present invention, the model selection unit of the model learning unit may use the RandLA-Net model as a 3D semantic segmentation model.
본 발명에 있어서, 상기 RandLA-Net 모델은 검증 데이터의 성능을 기준으로 조기 종료를 실시하여 과적합을 방지할 수 있다.In the present invention, the RandLA-Net model can prevent overfitting by performing early termination based on the performance of verification data.
본 발명에 있어서, 상기 RandLA-Net 모델의 에폭은 100으로 기본 설정하고, 과적합이 되기 전에 에폭 100 이전에 학습이 종료되며, 학습시에 배치사이즈는 4를 사용할 수 있다.In the present invention, the default epoch of the RandLA-Net model is set to 100, learning is terminated before epoch 100 before overfitting occurs, and a batch size of 4 can be used during learning.
본 발명에 있어서, 상기 RandLA-Net 모델은 학습시 배치사이즈는 4인 것이 가능하다.In the present invention, the RandLA-Net model can have a batch size of 4 during training.
본 발명에 있어서, 상기 모델 학습부의 전이학습 수행부는 사전 학습모델로 사용되는 3차원 점군 데이터셋으로서, Semantic3D, SemanticKITTI 또는 S3DIS 중 어느 하나가 사용될 수 있다.In the present invention, the transfer learning performing unit of the model learning unit is a 3D point cloud dataset used as a dictionary learning model, and any one of Semantic3D, SemanticKITTI, or S3DIS may be used.
본 발명에 있어서, 상기 모델 학습부의 전이학습 수행부는 파인튜닝 단계를 가지며, 상기 파인튜닝 단계는 상기 모델 선정부에서 복수개의 인코더, 디코더) 및 완전연결레이어를 포함하는 RandLA-Net 모델에서 학습시 동결할 레이어와 재학습할 레이어를 결정할 수 있다.In the present invention, the transfer learning performing unit of the model learning unit has a fine tuning step, and the fine tuning step freezes during training in the RandLA-Net model including a plurality of encoders and decoders in the model selection unit and a fully connected layer. You can decide which layers to do and which layers to relearn.
본 발명에 있어서, 상기 파인튜닝 단계는 상기 RandLA-Net 모델의 3번, 4번 및 5번 인코더와 1번, 2번 및 3번 디코더를 재학습하고, 나머지 레이어들의 파라미터들은 학습시 동결하고, 기 학습된 모델에서 가져올 수 있다.In the present invention, the fine tuning step retrains encoders 3, 4, and 5 and decoders 1, 2, and 3 of the RandLA-Net model, and the parameters of the remaining layers are frozen during training, It can be imported from a previously learned model.
본 발명에 있어서, 상기 모델 학습부를 통해 모든 점군 데이터에서 구조물이 의미적 분할이 되면, 구조물에 예측된 데이터만을 전송받아, 수직 부재, 수평부재 및 경사부재를 검출하여, 3차원 모델링을 수행하는 3차원 모델링 형성부가 더 구비될 수 있다.In the present invention, when a structure is semantically divided from all point cloud data through the model learning unit, only the data predicted for the structure is transmitted, vertical members, horizontal members, and inclined members are detected, and three-dimensional modeling is performed. A dimensional modeling forming unit may be further provided.
본 발명에 있어서, 상기 수직 부재의 검출은 DBSCAN 알고리즘으로 수행되며, 점군 데이터는 x-y 평면을 기준으로 투영이 되어, 3D 히스토그램을 형성한 후에 가장 점이 많은 그리드의 70% 이상의 점을 가지는 그리드를 비계 기둥 위치의 후보군으로 선정할 수 있다.In the present invention, the detection of the vertical member is performed using the DBSCAN algorithm, and the point cloud data is projected based on the x-y plane to form a 3D histogram, and then a grid with more than 70% of the grid with the most points is selected as a scaffold pillar. Can be selected as a candidate for a position.
청본 발명에 있어서, 점 전체를 회전하고, x축에 대한 점들의 분포에 따라 피크점(peak point)를 찾아 수직 부재의 위치를 찾을 수 있다.In the present invention, the position of the vertical member can be found by rotating the entire point and finding the peak point according to the distribution of points about the x-axis.
본 발명에 있어서, 상기 수평 부재의 검출은 DBSCAN 알고리즘으로 수행되며, 점군 데이터는 x-z축을 기준으로 투영이 되어, 이후 점들의 분포에 따라 피크점을 찾아 수평 부재의 위치를 찾을 수 있다.In the present invention, the detection of the horizontal member is performed using the DBSCAN algorithm, and the point cloud data is projected based on the x-z axis, and then the position of the horizontal member can be found by finding the peak point according to the distribution of points.
본 발명에 있어서, 상기 경사 부재의 검출은 RANSAC 알고리즘을 사용하여 선 적합을 수행할 수 있다.In the present invention, the detection of the inclined member can be performed by line fitting using the RANSAC algorithm.
본 발명에 따른 하이퍼 파라미터에 있어서, 인라이어의 수는 전체의 10% 이상으로 설정되고, 인라이어를 정하기 위한 거리의 임계값은 0.07로 설정되고, 최적 선을 찾기 위한 반복 수는 50번으로 설정될 수 있다.In the hyperparameter according to the present invention, the number of inliers is set to 10% or more of the total, the distance threshold for determining inliers is set to 0.07, and the number of iterations to find the optimal line is set to 50. It can be.
본 발명은 연산기능을 가진 제어서버 및 점군 데이터 정보가 저장된 데이터베이스가 네트워크로 연결되고, 전이학습을 이용하여 3차원 모델링을 형성하는 방법으로서, 제어서버에서, 데이터 취득부가 이동체에 장착된 점군 데이터 취득수단을 통해 시설물에 대한 점군 데이터를 수집하는 S100 단계; 데이터 정합부가 상기 취득된 점군 데이터를 정합하는 S200 단계; 모델 학습부에서, 모델 선정부가 상기 정합된 데이터로 3차원 의미적 분할 모델을 선정하는 S310 단계 및 전이학습 수행부가 전이학습을 수행하는 S320 단계가 수행되는 S300 단계; 및 3차원 모델링 형성부가, 상기 모델 학습부를 통해 모든 점군 데이터에서 구조물이 의미적 분할이 되면, 구조물에 예측된 데이터만을 전송받아, 수직 부재, 수평부재 및 경사부재를 검출하여, 3차원 모델링을 수행하는 S400 단계를 포함하여 수행될 수 있다.The present invention is a method in which a control server with a calculation function and a database storing point cloud data information are connected to a network and form 3D modeling using transfer learning. In the control server, a data acquisition unit acquires point cloud data mounted on a moving object. S100 step of collecting point cloud data for facilities through means; Step S200 in which a data matching unit matches the acquired point cloud data; In the model learning unit, step S310 in which the model selection unit selects a 3D semantic segmentation model with the matched data and S320 in which the transfer learning performing unit performs transfer learning. And when the structure is semantically divided from all point cloud data through the model learning unit, the 3D modeling forming unit receives only the data predicted for the structure, detects vertical members, horizontal members, and inclined members, and performs 3D modeling. It may be performed including step S400.
본 발명은 하드웨어와 결합되어, 본 발명에 따른 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 방법을 컴퓨터에 의해 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.The present invention can be combined with hardware and implemented as a computer program stored in a computer-readable recording medium to execute the point cloud data collection and deep learning-based 3D modeling method using a moving object according to the present invention by a computer.
본 발명에 따른 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템 및 모델링 형성 방법은 다음과 같은 효과를 가진다.The point cloud data collection using a moving object and the deep learning-based 3D modeling forming system and modeling forming method according to the present invention have the following effects.
첫째, 작업자, 보행로봇 및 항공이동체 등의 다양한 이동체를 이용하여, 복잡한 건설환경 환경에서 유연하게 점군 데이터를 취득하는 효과가 있다. First, it is effective in acquiring point cloud data flexibly in a complex construction environment by using various moving objects such as workers, walking robots, and aerial vehicles.
둘째, 이동식 LiDAR을 사용하고 이를 정합하여 실시간으로 점군 데이터를 취득하는 효과가 있다.Second, it is effective in acquiring point cloud data in real time by using mobile LiDAR and matching it.
셋째, 전이학습을 사용하여, 점군 데이터로부터 사회기반시설물의 유지 관리가 가능한 3D 모델을 딥러닝 기반으로 자동 생성하여 제공하는 효과가 있다.Third, using transfer learning, there is an effect of automatically generating and providing a 3D model capable of maintaining social infrastructure from point cloud data based on deep learning.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명에 따른 3차원 모델링 형성 시스템의 개요도이다.
도 2는 본 발명에 따른 3차원 모델링 형성 시스템의 모델 학습부의 세부 구성을 나타낸다.
도 3은 본 발명에 따른 3차원 모델링 형성 방법의 순서도이다.
도 4는 4족 보행로봇의 동작이 제어되는 일 실시예를 나타낸다.
도 5a는 이동체에 의해 데이터가 취득된 현장 사진이며, 도 5b는 SLAM으로 점군 데이터를 정합하는 모습을 나타내며, 도 5c는 정합된 점군 데이터의 모습을 나타낸다.
도 6은 작업 현장의 Mock-up 구조물의 일 실시예를 나타낸다.
도 7은 전이학습을 통해 학습된 모델로 도 6의 Mock-up 구조물의 점군 데이터를 의미적 분할을 통해 분류하는 것을 나타낸다.
도 8은 전이학습 전후의 데이터셋을 비교한 자료이다.
도 9는 본 발명에 따른 수직 부재의 검출방법을 나타낸다.
도 10은 본 발명에 따른 수평 부재의 검출방법을 나타낸다.
도 11은 본 발명에 따른 경사 부재의 검출방법을 나타낸다.
도 12는 train 데이터와 test& validation 데이터를 비교한 자료이다.
도 13은 도 3의 전 과정을 시각화한 것이다.
도 14는 본 발명에 있어서, 조기 종료의 개요를 나타낸다.1 is a schematic diagram of a three-dimensional modeling forming system according to the present invention.
Figure 2 shows the detailed configuration of the model learning unit of the 3D modeling forming system according to the present invention.
Figure 3 is a flowchart of a method for forming 3D modeling according to the present invention.
Figure 4 shows an embodiment in which the movement of a four-legged walking robot is controlled.
Figure 5a is a photo of the scene where data was acquired by a moving object, Figure 5b shows matching point cloud data using SLAM, and Figure 5c shows the matched point cloud data.
Figure 6 shows an example of a mock-up structure at a work site.
Figure 7 shows a model learned through transfer learning that classifies the point cloud data of the mock-up structure in Figure 6 through semantic segmentation.
Figure 8 shows data comparing data sets before and after transfer learning.
Figure 9 shows a method for detecting vertical members according to the present invention.
Figure 10 shows a method for detecting horizontal members according to the present invention.
Figure 11 shows a method for detecting an inclined member according to the present invention.
Figure 12 is a comparison of train data and test&validation data.
Figure 13 visualizes the entire process of Figure 3.
Figure 14 shows an outline of early termination in the present invention.
이하, 첨부한 도면을 참조하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 설명한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해할 수 있는 바와 같이, 후술하는 실시예는 본 발명의 개념과 범위를 벗어나지 않는 한도 내에서 다양한 형태로 변형될 수 있다. 가능한 한 동일하거나 유사한 부분은 도면에서 동일한 도면부호를 사용하여 나타낸다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described so that those skilled in the art can easily implement the present invention. As can be easily understood by those skilled in the art to which the present invention pertains, the embodiments described below may be modified into various forms without departing from the concept and scope of the present invention. As much as possible, identical or similar parts are indicated using the same reference numerals in the drawings.
본 명세서에서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지는 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.The terminology used herein is only intended to refer to specific embodiments and is not intended to limit the invention. As used herein, singular forms include plural forms unless phrases clearly indicate the contrary.
본 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.As used herein, the meaning of "comprising" is to specify a specific characteristic, area, integer, step, operation, element, and/or component, and to specify other specific characteristic, area, integer, step, operation, element, component, and/or This does not exclude the presence or addition of the military.
본 명세서에서 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.All terms, including technical and scientific terms, used in this specification have the same meaning as those generally understood by those skilled in the art in the technical field to which the present invention pertains. Terms defined in the dictionary are further interpreted as having meanings consistent with the related technical literature and currently disclosed content, and are not interpreted in ideal or very formal meanings unless defined.
본 명세서에서 사용되는 방향에 관한 표현, 예를 들어 전/후/좌/우의 표현, 상/하의 표현, 종방향/횡방향의 표현은 도면에 개시된 방향을 참고하여 해석될 수 있다.Expressions related to direction used in this specification, for example, front/back/left/right, top/bottom, and vertical/lateral directions, can be interpreted with reference to the directions shown in the drawings.
본 발명은 머신러닝과 딥러닝 이론에 관한 인공지능 모델과, ROS(로봇 운영 체제)를 활용한 발명이다. 또한, 건설 안전, 사회기반시설물 모니터링에 관한 건설환경공학, 컴퓨터공학 및 로보틱스 지식이 융합된 기술이다.This invention is an invention that utilizes an artificial intelligence model related to machine learning and deep learning theory, and ROS (Robot Operating System). In addition, it is a technology that combines knowledge of civil and environmental engineering, computer engineering, and robotics regarding construction safety and infrastructure monitoring.
3차원 모델링은 건설 분야에서 사회기반시설물의 효과적인 관리를 위해 형성하는 모델을 의미한다.3D modeling refers to a model formed for effective management of social infrastructure in the construction field.
점군 데이터(Point Cloud Data)는 3차원의 기하학적(geometric) 특성을 알 수 있는 데이터이며, (x,y,z) 좌표로 구성된다. Point cloud data is data that shows three-dimensional geometric characteristics and consists of (x,y,z) coordinates.
본 발명에 있어서, 다양한 SLAM(Simultaneous Localization and Mapping) 알고리즘 중에서 라이다(LiDAR)로 취득된 데이터를 정합하는 Laser SLAM을 중심으로 설명한다. 이는 라이다(LiDAR)로 취득된 점군 데이터를 합치는 과정을 의미한다.In the present invention, among various SLAM (Simultaneous Localization and Mapping) algorithms, the description will focus on Laser SLAM, which matches data acquired with LiDAR. This refers to the process of combining point cloud data acquired with LiDAR.
본 발명은 점군 데이터 의미적 분할(Semantic segmentation of 3d point cloud data)을 활용하는데, '의미적 분할'은 점군 데이터의 점들을 각각 학습할 때 정한 클래스(class)로 분류하는 것을 의미한다.The present invention utilizes semantic segmentation of 3D point cloud data, and 'semantic segmentation' means classifying each point of the point cloud data into a class determined when learning.
이하에서는 도면을 참고하여 본 발명을 설명하고자 한다. 참고로, 도면은 본 발명의 특징을 설명하기 위하여, 일부 과장되게 표현될 수도 있다. 이 경우, 본 명세서의 전 취지에 비추어 해석되는 것이 바람직하다.Hereinafter, the present invention will be described with reference to the drawings. For reference, the drawings may be somewhat exaggerated in order to explain the features of the present invention. In this case, it is preferable to interpret in light of the entire purpose of this specification.
도 1은 본 발명에 따른 3차원 모델링 형성 시스템의 개요도이다. 도 2는 본 발명에 따른 3차원 모델링 형성 시스템의 모델 학습부의 세부 구성을 나타낸다.1 is a schematic diagram of a three-dimensional modeling forming system according to the present invention. Figure 2 shows the detailed configuration of the model learning unit of the 3D modeling forming system according to the present invention.
도 1 및 도 2에 도시된 바와 같이, 본 발명은 연산기능을 가진 제어서버(10) 및 점군 데이터 정보가 저장된 데이터베이스(20)가 네트워크로 연결되고, 전이학습을 이용하여 3차원 모델링을 형성하는 시스템에 관한 것이다. As shown in Figures 1 and 2, the present invention is a control server 10 with a calculation function and a database 20 storing point cloud data information are connected through a network and form three-dimensional modeling using transfer learning. It's about the system.
본 발명에 있어서, 제어서버(10)는 이동체(110)에 장착된 점군 데이터 취득수단(120)을 통해 시설물에 대한 점군 데이터를 수집하는 데이터 취득부(100); 상기 취득된 점군 데이터를 정합하는 데이터 정합부(200); 및 상기 정합된 데이터로 3차원 의미적 분할 모델을 선정하는 모델 선정부(310) 및 전이학습을 수행하는 전이학습 수행부(320)를 갖는 모델 학습부(300)를 포함한다.In the present invention, the control server 10 includes a data acquisition unit 100 that collects point cloud data for a facility through a point cloud data acquisition means 120 mounted on a mobile object 110; a data matching unit 200 that matches the acquired point cloud data; and a model learning unit 300 having a model selection unit 310 that selects a 3D semantic segmentation model using the matched data and a transfer learning performing unit 320 that performs transfer learning.
먼저, 본 발명에 따른 데이터 취득부(100)를 설명하고자 한다.First, the data acquisition unit 100 according to the present invention will be described.
본 발명에 따른 데이터 취득부(100)는 이동체(110)에 장착된 점군 데이터 취득수단(120)을 통해 시설물에 대한 점군 데이터를 수집할 수 있다.The data acquisition unit 100 according to the present invention can collect point cloud data for a facility through the point cloud data acquisition means 120 mounted on the moving object 110.
본 발명에 따른 데이터 취득부(100)의 이동체(110)는 작업자, 보행로봇 및 항공이동체를 포함한다. 본 발명에 따른 점군 데이터 취득수단(120)은 라이다(LiDAR), 사진측량장치, 심도카메라(Depth-camera) 등 다양한 취득수단을 포함한다. The mobile unit 110 of the data acquisition unit 100 according to the present invention includes a worker, a walking robot, and an air mobile unit. The point cloud data acquisition means 120 according to the present invention includes various acquisition means such as LiDAR, photogrammetry device, and depth camera.
예를 들어, 이동체인 작업자가 손 또는 신체의 일측에 라이다를 장착하거나, 이동체인 보행로봇의 일 측에 라이다를 장착하여 데이터를 취득할 수 있을 것이다. 또한, 드론(dron) 등의 항공 이동체의 일측에 라이다를 장착하여 데이터를 취득할 수도 있을 것이다.For example, a mobile chain operator may be able to acquire data by mounting a LiDAR on one side of his or her hand or body, or by mounting a LiDAR on one side of a mobile walking robot. Additionally, it may be possible to acquire data by mounting a LIDAR on one side of an aerial vehicle such as a drone.
본 명세서에서는 설명을 용이하게 하기 위하여, 라이다(LiDAR)를 중심으로 본 발명의 특징을 설명하고자 한다. In this specification, in order to facilitate explanation, the features of the present invention will be described focusing on LiDAR.
일 실시예로서 보행로봇이 4족 보행로봇인 경우를 설명하고자 한다.As an example, we will explain the case where the walking robot is a four-legged walking robot.
점군데이터 취득을 위한 4족 보행 로봇의 하드웨어는 Mobile LiDAR, 고성능 IMU, NVIDIA JETSON TX2 임베디드 보드로 구성될 수 있다.The hardware of the quadruped robot for point cloud data acquisition can be composed of Mobile LiDAR, high-performance IMU, and NVIDIA JETSON TX2 embedded board.
데이터는 ssh 통신을 통해 송수신될 수 있다. 여기서 'ssh'는 secure shell protocol, 즉 네트워크 프로토콜 중 하나로 컴퓨터와 컴퓨터가 public network를 통해 통신을 하는 방식을 의미한다.Data can be sent and received through ssh communication. Here, 'ssh' is a secure shell protocol, that is, one of the network protocols and refers to a method by which computers communicate through a public network.
로봇의 자체적인 무선통신(wifi등)을 접근점(access point)으로 하여 로봇 내에 있는 임베디드 보드에서 취득한 데이터를 메인 컴퓨터로 실시간으로 전송할 수 있다. 전송된 데이터는 SLAM (Simultaneous Localization and Mapping) 알고리즘으로 실시간 정합이 될 수 있다.By using the robot's own wireless communication (wifi, etc.) as an access point, data acquired from the embedded board within the robot can be transmitted to the main computer in real time. Transmitted data can be matched in real time using the SLAM (Simultaneous Localization and Mapping) algorithm.
이러한 방법을 통해 로봇의 임베디드 보드에 접속하여 움직임을 컨트롤 할 수 있게 되어, 조이스틱 없이 미세한 동작 조절이 가능해 질 수 있다.Through this method, it is possible to control movements by connecting to the robot's embedded board, making it possible to fine-tune movements without a joystick.
보행로봇의 경우, 로봇 시야(field of view)의 한계로 인해 데이터 취득 시 최대한 움직임을 효율적으로 제어하는 것이 중요하다.In the case of walking robots, it is important to control movement as efficiently as possible when acquiring data due to limitations in the robot's field of view.
이에, 본 발명은 로봇 시야의 한계를 극복하기 위해 조인트(joint)의 롤(roll), 피치(pitch) 및 요(yaw) 각도를 조합하여 주사점(scanning point)마다 적합한 동작을 실행하여 데이터를 취득하였다.Accordingly, in order to overcome the limitations of the robot's field of view, the present invention combines the roll, pitch, and yaw angles of the joints to execute appropriate operations for each scanning point to collect data. Acquired.
즉, 본 발명에 따른 보행로봇의 조인트(joint)의 롤(roll), 피치(pitch) 및 요(yaw)의 각도를 기 설정된 각도로 조절가능할 것이다.That is, the roll, pitch, and yaw angles of the joint of the walking robot according to the present invention may be adjusted to a preset angle.
예를 들어, 아래 표 1에 서술된 동작들을 조합해서, 구조물의 위치에 따라 다른 동작을 취할 수 있다(도 4 참조).For example, by combining the actions described in Table 1 below, different actions can be taken depending on the location of the structure (see Figure 4).
다음으로, 본 발명에 따른 데이터 정합부(200)를 설명하고자 한다.Next, the data matching unit 200 according to the present invention will be described.
데이터 정합부(200)는 상기 취득된 점군 데이터를 정합할 수 있다.The data matching unit 200 can match the acquired point cloud data.
취득된 점군 데이터는 이동식 라이다(LiDAR)의 데이터이며, 이는 여러 채널(channel)로 구성된 이산 데이터(discrete data)이다. 따라서 이를 open source SLAM 알고리즘을 이용하여 정합할 수 있다. The acquired point cloud data is data from mobile LiDAR, which is discrete data consisting of several channels. Therefore, this can be matched using the open source SLAM algorithm.
SLAM 알고리즘은 보통 자율 주행 자동차를 개발하는 로보틱스 분야에서 많이 사용되지만, 본 발명은 이를 사회기반시설물의 정합된 3차원 데이터를 얻기 위해 사용한다. The SLAM algorithm is commonly used in the field of robotics to develop self-driving cars, but the present invention uses it to obtain matched 3D data of social infrastructure.
본 발명에 따른 데이터 정합부(200)는 LIO-SAM 알고리즘으로 데이터를 정합할 수 있다.The data matching unit 200 according to the present invention can match data using the LIO-SAM algorithm.
LIO-SAM 알고리즘은 고성능 IMU의 데이터로부터 모션을 추적하고 점군 데이터의 왜곡을 제거하며 LiDAR 주행 거리 측정의 최적화를 할 수 있는 알고리즘이다. The LIO-SAM algorithm is an algorithm that can track motion from data from a high-performance IMU, remove distortion of point cloud data, and optimize LiDAR odometry.
아래 표 2 및 표 3의 데이터는 이동체를 통해 취득된 데이터의 일 예시들이다. 이하에서는 표 2의 데이터를 활용하여 설명하고자 한다.The data in Tables 2 and 3 below are examples of data acquired through a moving object. Below, we will explain using the data in Table 2.
도 5a는 이동체에 의해 데이터가 취득된 현장 사진이며, 도 5b는 SLAM으로 점군 데이터를 정합하는 모습을 나타내며, 도 5c는 정합된 점군 데이터의 모습을 나타낸다.Figure 5a is a photo of the scene where data was acquired by a moving object, Figure 5b shows matching point cloud data using SLAM, and Figure 5c shows the matched point cloud data.
다음으로, 본 발명에 따른 모델 학습부(300)를 설명하고자 한다.Next, the model learning unit 300 according to the present invention will be described.
모델 학습부(300)는 상기 정합된 데이터로 3차원 의미적 분할 모델을 선정하는 모델 선정부(310) 및 전이학습을 수행하는 전이학습 수행부(320)를 가질 수 있다.The model learning unit 300 may include a model selection unit 310 that selects a 3D semantic segmentation model using the matched data and a transfer learning performing unit 320 that performs transfer learning.
본 발명에 있어서, 모델 학습부(300)의 모델 선정부(310)는 3차원 의미적 분할 모델로 RandLA-Net 모델을 사용할 수 있다.In the present invention, the model selection unit 310 of the model learning unit 300 can use the RandLA-Net model as a three-dimensional semantic segmentation model.
학습 조건은 다음과 같이 할 수 있다. Learning conditions can be as follows.
GeForce RTX 2080Ti, python version : 3.5.6, Ubuntu 16.04.6 LTS, tensorflow== 1.11.0 GeForce RTX 2080Ti, python version: 3.5.6, Ubuntu 16.04.6 LTS, tensorflow== 1.11.0
RandLA-Net 모델은 검증 데이터(validation data)의 성능을 기준으로 조기 종료(early stopping)를 실시하여 과적합(overfitting)을 방지할 수 있다.The RandLA-Net model can prevent overfitting by performing early stopping based on the performance of validation data.
RandLA-Net 모델의 에폭(epoch)은 100으로 기본 설정하고, 과적합이 되기 전에 에폭 100 이전에 학습이 종료될 수 있다. The default epoch of the RandLA-Net model is set to 100, and learning can be terminated before epoch 100 before overfitting occurs.
학습 성능이 수렴할 수 있는 충분한 epoch을 실험에 의해 100으로 결정했다. 이때, 학습 데이터에 과적합되어 학습 데이터에 대해서는 성능이 좋지만, 실험 데이터에 대해서는 성능이 좋지 않은 과적합 문제가 발생할 수 있다. 따라서 검증 데이터를 이용하여 검증 데이터의 성능이 증가하다가 감소하는 지점, 즉 과적합이 발생하는 지점의 이전에 학습을 종료하는 방법을 이용하여 과적합을 방지하였다(도 14 참조). The sufficient epoch for learning performance to converge was experimentally determined to be 100. At this time, an overfitting problem may occur where the learning data is overfitted and the performance is good for the training data, but the performance is not good for the experimental data. Therefore, overfitting was prevented by using verification data to terminate learning before the point where the performance of the verification data increases and then decreases, that is, before the point where overfitting occurs (see Figure 14).
다만, epoch을 100으로 설정하였으나, 학습은 일반적으로 epoch이 50 정도 되었을 때 완료가 될 수 있다.However, although the epoch was set to 100, learning can generally be completed when the epoch is about 50.
RandLA-Net 모델은 학습시 배치사이즈(batch size)는 4를 사용할 수 있다.The RandLA-Net model can use a batch size of 4 when learning.
본 발명에 있어서, 모델 학습부(300)의 전이학습 수행부(320)는 사전 학습모델(pre-trained model)로 사용되는 3차원 점군 데이터셋으로서, Semantic3D, SemanticKITTI 및 S3DIS 중 어느 하나가 사용될 수 있다.In the present invention, the transfer learning unit 320 of the model learning unit 300 is a 3D point cloud dataset used as a pre-trained model, and any one of Semantic3D, SemanticKITTI, and S3DIS can be used. there is.
본 발명은 3차원 의미적 분할 모델을 학습하기 위해 전이학습을 수행한다. 전이학습(transfer learning)은 한 가지 문제에 대해 신경망을 학습하고, 이것을 다른 문제에 대한 신경망에 학습할 수 있도록 이용하는 것이다. The present invention performs transfer learning to learn a 3D semantic segmentation model. Transfer learning is learning a neural network for one problem and using it to train a neural network for another problem.
전이학습을 시도하는 이유는 첫째로 기존에 학습된 모델을 사용함으로써 학습 속도를 높이기 위함이고, 둘째로 풍부한 데이터를 바탕으로 한 좋은 성능의 모델을 활용함으로써 새로운 문제에 대한 학습 성능을 높이기 위함이며, 셋째로 새로운 문제를 학습하기 위한 데이터 수 부족의 문제를 극복하기 위함니다. The reason for attempting transfer learning is, first, to increase learning speed by using a previously learned model, and second, to increase learning performance for new problems by using a model with good performance based on abundant data. Thirdly, it is to overcome the problem of insufficient data for learning new problems.
본 발명은 경기도 안성시 한국비계기술원에서 반복적으로 취득된 데이터(도 5 참조)를 학습(training) 데이터로 사용하고, 서울 서대문구 신촌동 연세대학교의 Mock-up 구조물의 일 실시예(도 6 참조)로부터 취득한 데이터를 검증(validation) 및 시험(testing) 데이터로 사용하였다. The present invention uses data repeatedly acquired from the Korea Scaffolding Technology Institute in Anseong-si, Gyeonggi-do (see Figure 5) as training data, and acquired from an example of a mock-up structure at Yonsei University in Sinchon-dong, Seodaemun-gu, Seoul (see Figure 6). The data was used as validation and testing data.
또한, 건설 현장에서 취득할 수 있는 학습 데이터 수가 부족하여, 이를 극복하기 위해 전이학습을 수행하였다.Additionally, because the number of learning data that could be acquired from the construction site was insufficient, transfer learning was performed to overcome this.
전이학습을 시도하기 전에 모델 전체를 학습한다면, 도 8a와 같이 같이 데이터 수가 부족하기 때문에 점군 데이터에서 배경과 비계를 전혀 분류할 수 없고, 학습속도도 장시간이 소요되는 문제점이 있다. If you learn the entire model before attempting transfer learning, there is a problem that the background and scaffolding cannot be classified at all from the point cloud data due to the insufficient number of data, as shown in Figure 8a, and the learning speed also takes a long time.
이에, 본 발명은 전이학습을 수행하며, 전이 학습을 위한 사전에 학습된 모델(pre-trained model)을 확보하기 위해 대용량 학습 데이터를 사용한다.Accordingly, the present invention performs transfer learning and uses large amounts of learning data to secure a pre-trained model for transfer learning.
대용량 3차원 점군 데이터셋은 Semantic3D, SemanticKITTI, S3DIS 등을 포함하여, 다양하게 구비될 수 있다. 이러한 데이터셋들은 의미적 분할 모델들이 서로 성능을 비교할 때 사용될 수 있다.A variety of large-capacity 3D point cloud datasets can be provided, including Semantic3D, SemanticKITTI, S3DIS, etc. These datasets can be used to compare the performance of semantic segmentation models.
3차원 의미적 분할에 사용되는 데이터셋들의 일 예시는 아래 표 4와 같다. An example of the datasets used for 3D semantic segmentation is shown in Table 4 below.
본 발명에서는 표 4의 데이터셋들 중 Semantic3D를 선택하는 실시예를 제시한다.The present invention presents an example of selecting Semantic3D from the datasets in Table 4.
Semantic3D 데이터셋을 선택한 이유는 다음과 같다. 첫째, 야외에서 취득된 데이터셋이기 때문이다. 둘째, SemanticKITTI 데이터셋같은 경우는 모바일 LiDAR로 취득한 Raw data이며 정합이 되기 전이기 때문에 정합이 된 TLS로 취득된 데이터셋을 선택하였다. 셋째, 데이터셋의 공간 크기(spatial size)가 유사했기 때문이다. The reasons for choosing the Semantic3D dataset are as follows. First, because it is a dataset acquired outdoors. Second, in the case of the SemanticKITTI dataset, it is raw data acquired through mobile LiDAR and before matching, so the dataset acquired through matched TLS was selected. Third, the spatial size of the datasets was similar.
본 발명에 따른 작업(task)을 전이학습하기 위해서는, 전술한 바와 같이 사전에 대용량 데이터로 학습한 모델이 필요하다. 이에, 본 발명은 대용량 데이터인 Semantic3D 데이터셋으로 RandLA-Net 모델을 학습하였다. 도 8b 및 도 8c와 같이, 모델 전체를 Semantic3D 데이터셋으로 학습하였다.In order to transfer learn the task according to the present invention, a model previously learned using large amounts of data is required, as described above. Accordingly, the present invention learned the RandLA-Net model using the Semantic3D dataset, which is a large amount of data. As shown in Figures 8b and 8c, the entire model was learned using the Semantic3D dataset.
전이학습을 효과적으로 하기 위해서는 파인튜닝(fine-tuning) 단계가 필요하다. 파인튜닝(fine-tuning)은 학습된 모델 (pre-trained model)에서 어떤 부분을 가져와 본 발명의 작업(task)에 활용할 때 가장 성능이 좋아질지를 결정하는 단계이다. In order to perform transfer learning effectively, a fine-tuning step is necessary. Fine-tuning is a step to determine which part of the pre-trained model will have the best performance when used for the task of the present invention.
본 발명에 있어서, 모델 학습부(300)의 전이학습 수행부(320)는 파인튜닝 단계를 가지며, 상기 파인튜닝 단계는 상기 모델 선정부(310)에서 복수개의 인코더(encorder), 디코더(decorder) 및 완전연결레이어(fully-connected Layer)를 포함하는 RandLA-Net 모델에서 학습시 동결할 레이어와 재학습할 레이어를 결정할 수 있다.In the present invention, the transfer learning unit 320 of the model learning unit 300 has a fine tuning step, and the fine tuning step includes a plurality of encoders and decoders in the model selection unit 310. And in the RandLA-Net model that includes a fully-connected layer, it is possible to determine which layer to freeze and which layer to relearn during training.
아래 표 5는 사전에 학습된 모델에서 어떤 부분만을 재학습해야 성능이 가장 좋을지를 분석하는 단계를 나타낸다. Table 5 below shows the steps to analyze which parts of the pre-trained model should be retrained for the best performance.
RandLA-Net의 구조는 여러개의 인코더(encoder), 디코더(decoder) 및 완전연결레이어(fully-connected Layer)들로 구성되어 있는데, 최적의 모델을 찾기 위해 학습 시에 동결할 레이어들을 변경해가며 실험을 진행하였다. The structure of RandLA-Net consists of several encoders, decoders, and fully-connected layers. To find the optimal model, experiments are performed by changing the layers to be frozen during learning. proceeded.
표 5에 도시된 바와 같이, 모델의 중간 레이어 6개를 재학습하고 나머지 레이어들의 파라미터들을 학습된 모델에서 가져올 때 가장 성능이 좋은 것을 알 수 있다. As shown in Table 5, the best performance is obtained when retraining the six middle layers of the model and taking the parameters of the remaining layers from the learned model.
즉, 본 발명에 따른 파인튜닝 단계는 RandLA-Net 모델의 3번, 4번 및 5번 인코더와 1번, 2번 및 3번 디코더를 재학습하고, 나머지 레이어들의 파라미터들은 학습시 동결하고, 기 학습된 모델에서 가져오는 것이 바람직하다.That is, the fine tuning step according to the present invention retrains the 3rd, 4th, and 5th encoders and the 1st, 2nd, and 3rd decoders of the RandLA-Net model, freezes the parameters of the remaining layers during learning, and It is desirable to take it from a trained model.
모델을 최종적으로 평가하는 시험(testing) 데이터와 본 단계에서 최적의 모델을 찾기 위한 검증(validation) 데이터는 구분되었다.Testing data for final evaluation of the model and validation data for finding the optimal model at this stage were separated.
검정 데이터는 도 6d의 구조물, 시험 데이터는 도 6a 내지 도 6c의 각 구조물로부터 취득된 데이터이다.Test data is data obtained from the structure in FIG. 6D, and test data is data acquired from each structure in FIGS. 6A to 6C.
도 8b의 'X' 부분의 레이어들의 지식(knowledge)을 전이하고, 'Y' 부분의 레이어들은 재학습을 하였다.The knowledge of the layers in the 'X' part of Figure 8b was transferred, and the layers in the 'Y' part were relearned.
해당 모델을 시험 데이터로 적용했을 때, 비계의 인식 성능(IoU: Intersection over Union)은 0.948을 달성하였다. When the model was applied to test data, the recognition performance (IoU: Intersection over Union) of the scaffold achieved 0.948.
전이학습을 통해 학습된 모델(IoU 0.948)로 도 6의 Mock-up 구조물의 점군 데이터를 의미적 분할을 통해 분류하였다(도 7 참조). The point cloud data of the mock-up structure in Figure 6 was classified using a model learned through transfer learning (IoU 0.948) through semantic segmentation (see Figure 7).
다음으로, 본 발명에 따른 3차원 모델링 형성부(400)를 설명하고자 한다.Next, the three-dimensional modeling forming unit 400 according to the present invention will be described.
본 발명에 있어서, 상기 모델 학습부(300)를 통해 모든 점군 데이터에서 구조물이 의미적 분할이 되면, 구조물에 예측된 데이터만을 전송받아, 수직 부재, 수평부재 및 경사부재를 검출하여, 3차원 모델링을 수행하는 3차원 모델링 형성부(400)가 더 구비될 수 있다.In the present invention, when a structure is semantically divided from all point cloud data through the model learning unit 300, only the data predicted for the structure is transmitted, vertical members, horizontal members, and inclined members are detected, and three-dimensional modeling is performed. A three-dimensional modeling forming unit 400 that performs may be further provided.
모델 학습부(300)를 통해 모든 점군 데이터에서 구조물만 분할(segmentation)이 되면, 구조물로 예측된 데이터만을 로딩하여 모델링을 생성할 수 있다.If only the structure is segmented from all point cloud data through the model learning unit 300, modeling can be created by loading only the data predicted as the structure.
본 발명은 건설 현장에서의 임시구조물을 대상으로 했기 때문에, 임시구조물 부재의 기하학적 특성에 맞게 규칙 기반(rule based)으로 모델링 형성 코드를 작성하였다. Since the present invention was intended for temporary structures at construction sites, a rule-based modeling code was created to suit the geometric characteristics of temporary structure members.
먼저, 3차원 모델링 형성부(400)에서의 수직부재의 검출을 설명하고자 한다. 도 9는 본 발명에 따른 수직 부재의 검출방법을 나타낸다.First, we will explain the detection of vertical members in the 3D modeling formation unit 400. Figure 9 shows a method for detecting vertical members according to the present invention.
수직 부재의 검출은 DBSCAN(Density-Based Spatial Clustering of Applications with Noise) 알고리즘으로 수행되며, 점군 데이터는 x-y 평면을 기준으로 투영(projection)이 되어, 3D 히스토그램을 형성한 후에 가장 점(point)이 많은 그리드(grid)의 70% 이상의 점(point)을 가지는 그리드(grid)를 비계 기둥 위치의 후보군으로 선정할 수 있다.Detection of vertical members is performed using the DBSCAN (Density-Based Spatial Clustering of Applications with Noise) algorithm, and the point cloud data is projected based on the x-y plane to form a 3D histogram, and then the most points are selected. A grid with more than 70% of the points of the grid can be selected as a candidate for scaffolding column locations.
보다 구체적으로 설명하면, DBSCAN 알고리즘을 사용하여 구조물을 나누며, 이때 하이퍼 파라미터는 실험적으로 결정되었으며, epsilon은 0.5, minimum points 수는 10개로 결정하였다. 점군 데이터는 x-y 평면을 기준으로 투영(projection)이 되어, 3d 히스토그램(histogram)을 형성한 후에 가장 점(point)이 많은 그리드(grid)의 70% 이상의 점(point)을 가지는 그리드(grid)를 비계 기둥 위치의 후보군으로 선정한다. 그 이후 점(point) 전체를 회전하고 x축에 대한 점(point)의 분포를 보아 피크점을 찍어 비계 기둥의 위치를 찾을 수 있다.To be more specific, the DBSCAN algorithm was used to divide the structure, and the hyperparameters were determined experimentally, epsilon was set to 0.5, and the minimum number of points was set to 10. The point cloud data is projected based on the x-y plane to form a 3D histogram, and then a grid with more than 70% of the grid with the most points is created. Select candidates for scaffolding column locations. After that, you can find the location of the scaffold pillar by rotating the entire point and looking at the distribution of the point on the x-axis, taking the peak point.
다음으로, 3차원 모델링 형성부(400)에서의 수평부재의 검출을 설명하고자 한다. 도 10은 본 발명에 따른 수평 부재의 검출방법을 나타낸다.Next, we will explain the detection of horizontal members in the 3D modeling formation unit 400. Figure 10 shows a method for detecting horizontal members according to the present invention.
수평 부재의 검출 방법은 수직 부재(기둥)의 검출 방법과 유사하게 진행할 수 있다.The method of detecting a horizontal member may proceed similarly to the method of detecting a vertical member (column).
수평 부재의 검출은 DBSCAN(Density-Based Spatial Clustering of Applications with Noise) 알고리즘으로 수행되며, 점군 데이터는 x-z축을 기준으로 투영(projection)이 되어, 이후 점(point)들의 분포(distribution)에 따라 피크점(peak point)을 찾아 수평 부재의 위치를 찾을 수 있다.Detection of horizontal members is performed using the DBSCAN (Density-Based Spatial Clustering of Applications with Noise) algorithm, and the point cloud data is projected based on the x-z axis, and then the peak point is determined according to the distribution of the points. You can find the position of the horizontal member by finding the (peak point).
다음으로, 3차원 모델링 형성부(400)에서의 경사부재의 검출을 설명하고자 한다. 도 11은 본 발명에 따른 경사 부재의 검출방법을 나타낸다.Next, we will explain the detection of inclined members in the 3D modeling formation unit 400. Figure 11 shows a method for detecting an inclined member according to the present invention.
수직, 수평 부재의 경우 점(point)들의 분포(distribution)으로 추출이 용이하게 가능할 수 있지만, 기울여진 경사 부재의 경우 그러한 방식으로는 추출이 용이하지 않다.In the case of vertical and horizontal members, extraction may be easily possible through the distribution of points, but in the case of inclined inclined members, extraction is not easy using that method.
이에, 본 발명은 RANSAC(RANdom SAmple Consensus) 알고리즘을 사용하여 선 적합(line fitting)을 수행하는 것을 특징으로 한다.Accordingly, the present invention is characterized by performing line fitting using the RANSAC (RANdom SAmple Consensus) algorithm.
RANSAC에서 쓰인 하이퍼 파라미터는 인라이어(inlier)의 수는 전체의 10% 이상으로 설정되고, 인라이어(inlier)를 정하기 위한 거리의 임계값(threshold)은 0.07로 설정되고, 최적 선(line)을 찾기 위한 반복(iteration) 수는 50번으로 설정되는 것이 바람직하다.For the hyper parameters used in RANSAC, the number of inliers is set to 10% or more of the total, the distance threshold for determining inliers is set to 0.07, and the optimal line is set to 0.07. It is desirable that the number of iterations for searching is set to 50.
모델에 대한 모든 하이퍼 파라미터들은 훈련 데이터(train data)를 기준으로 결정되었고, 이를 검증 데이터(validation data)와 시험 데이터(test data)에 대해 동일하게 적용하였다. All hyperparameters for the model were determined based on the training data, and were applied equally to the validation data and test data.
그 결과 도 12와 같이 훈련, 검증 및 시험 데이터에 대해 모델이 형성되었다. As a result, a model was formed for training, validation, and test data as shown in Figure 12.
한편, 본 발명은 3차원 모델링 형성 방법으로 구현될 수도 있다. 이는 전술한 3차원 모델링 형성 시스템과 실질적으로 동일한 발명으로서 발명의 카테고리가 상이하다. 따라서, 공통되는 구성은 설명을 생략하고, 요지 위주로 설명하고자 한다.Meanwhile, the present invention may also be implemented as a 3D modeling method. This invention is substantially the same as the 3D modeling forming system described above, but the category of the invention is different. Therefore, explanation of common configurations will be omitted and explanation will be focused on the gist.
도 3은 본 발명에 따른 3차원 모델링 형성 방법의 순서도이다.Figure 3 is a flowchart of a method for forming 3D modeling according to the present invention.
본 발명은 연산기능을 가진 제어서버(10) 및 점군 데이터 정보가 저장된 데이터베이스(20)가 네트워크로 연결되고, 전이학습을 이용하여 3차원 모델링을 형성하는 방법에 관한 것이다.The present invention relates to a method in which a control server (10) with a calculation function and a database (20) storing point cloud data information are connected through a network and form three-dimensional modeling using transfer learning.
본 발명에 따른 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 방법은 제어서버(10)에서, 데이터 취득부(100)가 이동체(110)에 장착된 점군 데이터 취득수단(120)을 통해 시설물에 대한 점군 데이터를 수집하는 S100 단계; 데이터 정합부(200)가 상기 취득된 점군 데이터를 정합하는 S200 단계; 모델 학습부(300)에서, 모델 선정부(310)가 상기 정합된 데이터로 3차원 의미적 분할 모델을 선정하는 S310 단계 및 전이학습 수행부(320)가 전이학습을 수행하는 S320 단계가 수행되는 S300 단계; 및 3차원 모델링 형성부(400)가, 상기 모델 학습부(300)를 통해 모든 점군 데이터에서 구조물이 의미적 분할이 되면, 구조물에 예측된 데이터만을 전송받아, 수직 부재, 수평부재 및 경사부재를 검출하여, 3차원 모델링을 수행하는 S400 단계를 포함하여 수행될 수 있다.In the method of collecting point cloud data and forming deep learning-based 3D modeling using a moving object according to the present invention, the data acquisition unit 100 is used in the control server 10 through a point cloud data acquisition means 120 mounted on the moving object 110. S100 step of collecting point cloud data for facilities; Step S200 in which the data matching unit 200 matches the acquired point cloud data; In the model learning unit 300, step S310 in which the model selection unit 310 selects a 3D semantic segmentation model with the matched data and step S320 in which the transfer learning performing unit 320 performs transfer learning are performed. S300 step; And when the structure is semantically divided from all point cloud data through the model learning unit 300, the 3D modeling forming unit 400 receives only the data predicted for the structure and creates vertical members, horizontal members, and inclined members. It may be performed including step S400 of detecting and performing 3D modeling.
또한, 본 발명은 컴퓨터프로그램으로 구현될 수도 있다. 구체적으로 본 발명은 하드웨어와 결합되어, 본 발명에 따른 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 방법을 컴퓨터에 의해 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.Additionally, the present invention may be implemented as a computer program. Specifically, the present invention can be combined with hardware and implemented as a computer program stored in a computer-readable recording medium to execute the method of collecting point cloud data and forming deep learning-based 3D modeling using a moving object according to the present invention by a computer. there is.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Methods according to embodiments of the present invention may be implemented in the form of programs readable through various computer means and recorded on a computer-readable recording medium. Here, the recording medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the recording medium may be those specifically designed and constructed for the present invention, or may be known and available to those skilled in the art of computer software. For example, recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CDROMs and DVDs, and magneto-optical media such as floptical disks. optical media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions may include machine language, such as that created by a compiler, as well as high-level languages that can be executed by a computer using an interpreter, etc. These hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments described in this specification and the accompanying drawings merely illustratively illustrate some of the technical ideas included in the present invention. Accordingly, the embodiments disclosed in this specification are not intended to limit the technical idea of the present invention, but rather to explain it, and therefore, it is obvious that the scope of the technical idea of the present invention is not limited by these embodiments. All modifications and specific embodiments that can be easily inferred by a person skilled in the art within the scope of the technical idea included in the specification and drawings of the present invention should be construed as being included in the scope of the present invention.
10 : 제어서버 20 : 데이터베이스
100 : 데이터 취득부 200 : 데이터 정합부
300 : 모델 학습부 310 : 모델 선정부
320 : 학습 수행부 400 : 3차원 모델링 형성부10: Control server 20: Database
100: data acquisition unit 200: data matching unit
300: Model learning unit 310: Model selection unit
320: Learning performance unit 400: 3D modeling formation unit
Claims (20)
제어서버는 이동체에 장착된 점군 데이터 취득수단을 통해 시설물에 대한 점군 데이터를 수집하는 데이터 취득부; 상기 취득된 점군 데이터를 정합하는 데이터 정합부; 및 상기 정합된 데이터로 3차원 의미적 분할 모델을 선정하는 모델 선정부 및 전이학습을 수행하는 전이학습 수행부를 갖는 모델 학습부를 포함하며,
상기 모델 학습부의 전이학습 수행부는 파인튜닝 단계를 가지며, 상기 파인튜닝 단계는 상기 모델 선정부에서 복수개의 인코더, 디코더 및 완전연결레이어를 포함하는 RandLA-Net 모델에서 학습시 동결할 레이어와 재학습할 레이어를 결정하며, 상기 파인튜닝 단계는 상기 RandLA-Net 모델의 3번, 4번 및 5번 인코더와 1번, 2번 및 3번 디코더를 재학습하고, 나머지 레이어들의 파라미터들은 학습시 동결하고, 기 학습된 모델에서 가져오는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.It is a system in which a control server with computational functions and a database storing point cloud data information are connected through a network and form 3D modeling using transfer learning.
The control server includes a data acquisition unit that collects point cloud data for the facility through a point cloud data acquisition means mounted on the moving object; a data matching unit that matches the acquired point cloud data; and a model learning unit having a model selection unit that selects a 3D semantic segmentation model using the matched data and a transfer learning performing unit that performs transfer learning,
The transfer learning performing unit of the model learning unit has a fine tuning step, and the fine tuning step determines the layer to be frozen and re-learned during training in the RandLA-Net model including a plurality of encoders, decoders, and fully connected layers in the model selection unit. The layer is determined, and the fine tuning step retrains encoders 3, 4, and 5 and decoders 1, 2, and 3 of the RandLA-Net model, and freezes the parameters of the remaining layers during learning. Point cloud data collection and deep learning-based 3D modeling formation system using moving objects, which is characterized by taking from a previously learned model.
상기 데이터 취득부의 이동체는 작업자, 보행로봇 또는 항공이동체 중 적어도 어느 하나인 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 1,
A point cloud data collection and deep learning-based 3D modeling formation system using a moving object, characterized in that the moving object of the data acquisition unit is at least one of a worker, a walking robot, or an airborne mobile object.
상기 보행로봇은 4족 보행로봇으로서, 보행로봇의 조인트(joint)의 롤(roll), 피치(pitch) 및 요(yaw)의 각도를 기 설정된 각도로 조절가능한 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 2,
The walking robot is a four-legged walking robot, and point cloud data using a moving object is characterized in that the roll, pitch, and yaw angles of the joints of the walking robot are adjustable to a preset angle. Collection and deep learning-based 3D modeling formation system.
상기 점군 데이터 취득수단은 라이다를 포함하는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 1,
The point cloud data acquisition means is a point cloud data collection and deep learning-based 3D modeling formation system using a moving object, characterized in that it includes a lidar.
상기 데이터 정합부는 LIO-SAM 알고리즘으로 데이터를 정합하는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 1,
The data matching unit is a point cloud data collection and deep learning-based 3D modeling formation system using a moving object, characterized in that the data matching unit matches data using the LIO-SAM algorithm.
상기 모델 학습부의 모델 선정부는 3차원 의미적 분할 모델로 RandLA-Net 모델을 사용하는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 1,
The model selection unit of the model learning unit uses the RandLA-Net model as a 3D semantic segmentation model. A point cloud data collection and deep learning-based 3D modeling formation system using moving objects.
상기 RandLA-Net 모델은 검증 데이터의 성능을 기준으로 조기 종료를 실시하여 과적합을 방지하는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 6,
The RandLA-Net model is a point cloud data collection and deep learning-based 3D modeling formation system using moving objects, characterized in that it prevents overfitting by performing early termination based on the performance of verification data.
상기 RandLA-Net 모델의 에폭은 100으로 기본 설정하고, 과적합이 되기 전에 에폭 100 이전에 학습이 종료되며, 학습시에 배치사이즈는 4를 사용하는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 7,
The default epoch of the RandLA-Net model is set to 100, learning is terminated before epoch 100 before overfitting, and point cloud data collection and deep using a moving object is characterized by using a batch size of 4 during learning. Learning-based 3D modeling formation system.
상기 RandLA-Net 모델은 학습시 배치사이즈는 4인 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 6,
The RandLA-Net model is a point cloud data collection and deep learning-based 3D modeling formation system using moving objects, characterized in that the batch size during learning is 4.
상기 모델 학습부의 전이학습 수행부는
사전 학습모델로 사용되는 3차원 점군 데이터셋으로서, Semantic3D, SemanticKITTI 또는 S3DIS 중 어느 하나가 사용되는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 1,
The transfer learning unit of the model learning unit
A 3D point cloud dataset used as a pre-learning model, and a point cloud data collection and deep learning-based 3D modeling formation system using moving objects, characterized in that one of Semantic3D, SemanticKITTI, or S3DIS is used.
상기 모델 학습부를 통해 모든 점군 데이터에서 구조물이 의미적 분할이 되면,
구조물에 예측된 데이터만을 전송받아, 수직 부재, 수평부재 및 경사부재를 검출하여, 3차원 모델링을 수행하는 3차원 모델링 형성부가 더 구비되는 것은 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 1,
When the structure is semantically divided from all point cloud data through the model learning unit,
Point cloud data collection using moving objects and deep learning-based 3 are further provided with a 3D modeling forming unit that receives only data predicted for the structure, detects vertical members, horizontal members, and inclined members, and performs 3D modeling. Dimensional modeling forming system.
상기 수직 부재의 검출은 DBSCAN 알고리즘으로 수행되며,
점군 데이터는 x-y 평면을 기준으로 투영이 되어, 3D 히스토그램을 형성한 후에 가장 점이 많은 그리드의 70% 이상의 점을 가지는 그리드를 비계 기둥 위치의 후보군으로 선정하는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 13,
Detection of the vertical members is performed with the DBSCAN algorithm,
The point cloud data is projected based on the xy plane to form a 3D histogram, and then the grid with more than 70% of the grid with the most points is selected as a candidate for the location of the scaffold pillar. Point cloud data collection using a moving object and Deep learning-based 3D modeling formation system.
점 전체를 회전하고, x축에 대한 점들의 분포에 따라 피크점(peak point)를 찾아 수직 부재의 위치를 찾는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 14,
A point cloud data collection and deep learning-based 3D modeling formation system using a moving object, which is characterized by rotating the entire point and finding the position of the vertical member by finding the peak point according to the distribution of points about the x-axis.
상기 수평 부재의 검출은 DBSCAN 알고리즘으로 수행되며,
점군 데이터는 x-z축을 기준으로 투영이 되어,
이후 점들의 분포에 따라 피크점을 찾아 수평 부재의 위치를 찾는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 13,
Detection of the horizontal member is performed with the DBSCAN algorithm,
Point cloud data is projected based on the xz axis,
Afterwards, a point cloud data collection and deep learning-based 3D modeling formation system using a moving object is characterized by finding the peak point according to the distribution of points and finding the position of the horizontal member.
상기 경사 부재의 검출은 RANSAC 알고리즘을 사용하여 선 적합을 수행하는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 13,
A point cloud data collection and deep learning-based three-dimensional modeling system using a moving object, characterized in that the detection of the inclined member is performed by line fitting using the RANSAC algorithm.
하이퍼 파라미터에 있어서, 인라이어의 수는 전체의 10% 이상으로 설정되고, 인라이어를 정하기 위한 거리의 임계값은 0.07로 설정되고, 최적 선을 찾기 위한 반복 수는 50번으로 설정되는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템.In claim 17,
In the hyper parameters, the number of inliers is set to 10% or more of the total, the distance threshold for determining inliers is set to 0.07, and the number of iterations to find the optimal line is set to 50. A point cloud data collection and deep learning-based 3D modeling system using moving objects.
데이터 취득부가 이동체에 장착된 점군 데이터 취득수단을 통해 시설물에 대한 점군 데이터를 수집하는 S100 단계; 데이터 정합부가 상기 취득된 점군 데이터를 정합하는 S200 단계; 모델 학습부에서, 모델 선정부가 상기 정합된 데이터로 3차원 의미적 분할 모델을 선정하는 S310 단계 및 전이학습 수행부가 전이학습을 수행하는 S320 단계가 수행되는 S300 단계; 및 3차원 모델링 형성부가, 상기 모델 학습부를 통해 모든 점군 데이터에서 구조물이 의미적 분할이 되면, 구조물에 예측된 데이터만을 전송받아, 수직 부재, 수평부재 및 경사부재를 검출하여, 3차원 모델링을 수행하는 S400 단계를 포함하여 수행되며,
상기 모델 학습부의 전이학습 수행부는 파인튜닝 단계를 가지며, 상기 파인튜닝 단계는 상기 모델 선정부에서 복수개의 인코더, 디코더 및 완전연결레이어를 포함하는 RandLA-Net 모델에서 학습시 동결할 레이어와 재학습할 레이어를 결정하며, 상기 파인튜닝 단계는 상기 RandLA-Net 모델의 3번, 4번 및 5번 인코더와 1번, 2번 및 3번 디코더를 재학습하고, 나머지 레이어들의 파라미터들은 학습시 동결하고, 기 학습된 모델에서 가져오는 것을 특징으로 하는 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 방법.A control server with computational functions and a database storing point cloud data information are connected to a network and use transfer learning to form 3D modeling. In the control server,
Step S100 in which the data acquisition unit collects point cloud data for the facility through a point cloud data acquisition means mounted on the moving object; Step S200 in which a data matching unit matches the acquired point cloud data; In the model learning unit, a step S300 in which a step S310 in which the model selection unit selects a 3D semantic segmentation model using the matched data and a step S320 in which a transfer learning performing unit performs transfer learning are performed; And when the structure is semantically divided from all point cloud data through the model learning unit, the 3D modeling forming unit receives only the data predicted for the structure, detects vertical members, horizontal members, and inclined members, and performs 3D modeling. It is performed including step S400,
The transfer learning performing unit of the model learning unit has a fine tuning step, and the fine tuning step determines the layer to be frozen and re-learned during training in the RandLA-Net model including a plurality of encoders, decoders, and fully connected layers in the model selection unit. The layer is determined, and the fine tuning step retrains encoders 3, 4, and 5 and decoders 1, 2, and 3 of the RandLA-Net model, and freezes the parameters of the remaining layers during learning. A method of collecting point cloud data and forming deep learning-based 3D modeling using moving objects, which is characterized by taking from a previously learned model.
A computer program combined with hardware and stored in a computer-readable recording medium to execute the method of collecting point cloud data and forming deep learning-based 3D modeling using a moving object according to claim 19 by a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210148737A KR102654087B1 (en) | 2021-11-02 | 2021-11-02 | 3D Modeling Generation System and Method Based on Deep Learning and Point Cloud Data Acquisition Using Mobile object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210148737A KR102654087B1 (en) | 2021-11-02 | 2021-11-02 | 3D Modeling Generation System and Method Based on Deep Learning and Point Cloud Data Acquisition Using Mobile object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230063556A KR20230063556A (en) | 2023-05-09 |
| KR102654087B1 true KR102654087B1 (en) | 2024-04-02 |
Family
ID=86408289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210148737A KR102654087B1 (en) | 2021-11-02 | 2021-11-02 | 3D Modeling Generation System and Method Based on Deep Learning and Point Cloud Data Acquisition Using Mobile object |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102654087B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019065546A1 (en) | 2017-09-29 | 2019-04-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Three-dimensional data creation method, client device and server |
| KR102135560B1 (en) | 2018-05-16 | 2020-07-20 | 주식회사 유진로봇 | Moving Object and Hybrid Sensor with Camera and Lidar |
| CN112818999A (en) | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | Complex scene 3D point cloud semantic segmentation method based on convolutional neural network |
| JP2021149654A (en) * | 2020-03-19 | 2021-09-27 | Ｔｏｔａｌｍａｓｔｅｒｓ株式会社 | Construction site management equipment |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210090384A (en) * | 2020-01-10 | 2021-07-20 | 현대모비스 주식회사 | Method and Apparatus for Detecting 3D Object Using Camera and Lidar Sensor |
| KR102338665B1 (en) * | 2020-03-02 | 2021-12-10 | 건국대학교 산학협력단 | Apparatus and method for classficating point cloud using semantic image |
-
2021
- 2021-11-02 KR KR1020210148737A patent/KR102654087B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019065546A1 (en) | 2017-09-29 | 2019-04-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Three-dimensional data creation method, client device and server |
| KR102135560B1 (en) | 2018-05-16 | 2020-07-20 | 주식회사 유진로봇 | Moving Object and Hybrid Sensor with Camera and Lidar |
| JP2021149654A (en) * | 2020-03-19 | 2021-09-27 | Ｔｏｔａｌｍａｓｔｅｒｓ株式会社 | Construction site management equipment |
| CN112818999A (en) | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | Complex scene 3D point cloud semantic segmentation method based on convolutional neural network |
Non-Patent Citations (3)
| Title |
|---|
| Qian Wang, Automatic checks from 3D point cloud data for safety regulation compliance for scaffold work platforms, Automation in Construction 104, 2019* |
| Qingyong, et al., Randla-net: Efficient semantic segmentation of large-scale point clouds, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020* |
| Tixiao, et al., LIO-SAM: Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping, IEEE/RSJ International Conference on Intelligent Robots and Systems, 2020* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230063556A (en) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3405845B1 (en) | Object-focused active three-dimensional reconstruction | |
| Zhu et al. | Starnet: Pedestrian trajectory prediction using deep neural network in star topology | |
| US10902616B2 (en) | Scene embedding for visual navigation | |
| CN106125925B (en) | Intelligence based on gesture and voice control arrests method | |
| Boudjit et al. | Human detection based on deep learning YOLO-v2 for real-time UAV applications | |
| Li et al. | Efficient laser-based 3D SLAM for coal mine rescue robots | |
| Das et al. | Mapping, planning, and sample detection strategies for autonomous exploration | |
| JP2020038660A (en) | Learning method and learning device for detecting lane by using cnn, and test method and test device using the same | |
| CN105427293A (en) | Indoor scene scanning reconstruction method and apparatus | |
| WO2017079918A1 (en) | Indoor scene scanning reconstruction method and apparatus | |
| Senanayake et al. | Directional grid maps: modeling multimodal angular uncertainty in dynamic environments | |
| JP2020038661A (en) | Learning method and learning device for detecting lane by using lane model, and test method and test device using the same | |
| Yin et al. | Fusionvlad: A multi-view deep fusion networks for viewpoint-free 3d place recognition | |
| Zheng et al. | Point cloud-based target-oriented 3D path planning for UAVs | |
| Huang et al. | An online multi-lidar dynamic occupancy mapping method | |
| US20210031365A1 (en) | System and method for predicting robotic tasks with deep learning | |
| Wang et al. | Building a next generation AI platform for AEC: A review and research challenges | |
| Short et al. | Abio-inspiredalgorithminimage-based pathplanning and localization using visual features and maps | |
| KR102654087B1 (en) | 3D Modeling Generation System and Method Based on Deep Learning and Point Cloud Data Acquisition Using Mobile object | |
| Hong et al. | Real-time visual-based localization for mobile robot using structured-view deep learning | |
| Kakaletsis et al. | Using synthesized facial views for active face recognition | |
| Zhou et al. | Intelligent grasping with natural human-robot interaction | |
| Hong et al. | Design and Implementation of Path Planning for Wheel-Track Hybrid Mobile Robot | |
| Vargas et al. | Object recognition pipeline: Grasping in domestic environments | |
| KR102640618B1 (en) | Method, device and system for verifying construction error based on 3d scanner |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |