KR20220081482A - 딥 러닝을 이용한 3d 지형 정보 분석기 - Google Patents

딥 러닝을 이용한 3d 지형 정보 분석기 Download PDF

Info

Publication number
KR20220081482A
KR20220081482A KR1020200171001A KR20200171001A KR20220081482A KR 20220081482 A KR20220081482 A KR 20220081482A KR 1020200171001 A KR1020200171001 A KR 1020200171001A KR 20200171001 A KR20200171001 A KR 20200171001A KR 20220081482 A KR20220081482 A KR 20220081482A
Authority
KR
South Korea
Prior art keywords
data
feature
unit
point cloud
class
Prior art date
Application number
KR1020200171001A
Other languages
English (en)
Other versions
KR102517093B1 (ko
Inventor
이정수
김종완
Original Assignee
주식회사 씨에스아이비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨에스아이비젼 filed Critical 주식회사 씨에스아이비젼
Priority to KR1020200171001A priority Critical patent/KR102517093B1/ko
Publication of KR20220081482A publication Critical patent/KR20220081482A/ko
Application granted granted Critical
Publication of KR102517093B1 publication Critical patent/KR102517093B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

본 발명은, 딥 러닝을 이용한 3D 지형 정보 분석기에 관한 것으로서, 특히 3D 포인트 클라우드 데이터에 포함된 각 데이터를 통해 지형과 지물에 대한 데이터를 분리하고, 분리된 데이터를 통해 지형도를 표시하고 핸들링 할 수 있는 3D 지형 정보 분석기에 관한 것이다. 본 발명은, 입력된 3D 포인트 클라우드 데이터에 포함된 고도 데이터에 대해 정규화를 수행하는 데이터 전처리부(Data Pre-Processing); 인공지능을 이용해 분리된 각 객체에 대해 상기 지물의 클래스를 분류하고, 상기 클래스에 따라 3D 포인트 클라우드 데이터 중 색상을 부여하는 데이터 처리부(Data Processing); 및 상기 데이터 처리부(Data Processing)에 의해 분리된 3D 포인트 클라우드 데이터를 하나의 데이터로 병합하고 ASCII 인코딩 방식의 PCD 포맷 파일로 저장하는 데이터 후처리부(Data Post-Processing)를 포함하는 딥 러닝을 이용한 3D 지형 정보 분석기를 제공한다.

Description

딥 러닝을 이용한 3D 지형 정보 분석기{3D TERRAIN INFORMATION ANALYZER USING DEEP LEARNING}
본 발명은 딥 러닝을 이용한 3D 지형 정보 분석기에 관한 것으로서, 특히 3D 포인트 클라우드 데이터에 포함된 각 데이터를 통해 지형과 지물에 대한 데이터를 분리하고, 분리된 데이터를 통해 지형도를 표시하고 핸들링 할 수 있는 3D 지형 정보 분석기에 관한 것이다.
최근에는 빅데이터(Bigdata)와 딥-러닝(Deep-learning) 기술로 인해 영상 인식 분야에서 정확도가 많이 향상되고 있고, 구조 광이나 레이저 스캐너 등으로 얻어낸 3차원 정보와 같은 공간에 대해 디지털화된 자료들이 많이 생산되고 있다. 이러한 자료들은 차량용 네비게이션이나 로드뷰(road view) 등에 이용될 수 있다. 특히, 지상 라이다는 항공 라이다측량과 동일한 원리로 3차원 데이터를 취득하며 시간과 인력의 소모를 절감하면서도 고밀도의 포인트 클라우드를 취득할 수 있으므로 지리정보시스템에서의 실내 3차원 모델 구축, 건축물 유지 관리를 위한 내부 구조물의 변형 측정 및 건물 도면 구축, 문화재 관리 등에 활용되고 있다.
일반적으로 장거리 레이저 스캐너는 주로 TOF방식으로 3차원 데이터를 취득하며 수백 미터 이상의 거리까지 측정할 수 있지만 상대적으로 정밀도가 떨어지고 측량에 상대적으로 오랜 시간이 소요된다. 반면 고밀도 레이저 스캐너는 위상차 기반으로 TOF 방식에 비해 측정거리가 짧지만 고밀도의 포인트 클라우드를 취득할 수 있으므로 건물 내부, 설비 등의 3차원 실내 모델링에 이용된다.
이와 관련, 종래의 한국공개특허 제10-2017-0067373호(드론 촬영 이미지를 기반으로 3Ｄ 오브젝트를 자동으로 추출하는 시스템 및 방법)는 메쉬 데이터의 표면에 오클루젼 데이터를 이용하여 쉐도우 맵 데이터를 생성하는 3D 모델링 변환장치를 이용하여 3D 오브젝트를 추출하는 시스템 및 방법을 개시하고 있다.
다만 종래의 기술은, 오브젝트를 추출하는데 그치고 이들의 데이터를 통해 지형 지물을 자동으로 분리할 수 없으며, 사용자의 관심 영역(ROI)에 따라 추출된 지표와 지물 데이터에 대한 클래스는 예측할 수 없는 문제점이 있다.
한국공개(등록)특허 제10-2017-0067373호
본 발명은 상술한 문제점을 해결하기 위해 오브젝트 추출에 더하여 3D 포인트 클라우드 데이터에 포함된 각 데이터를 전처리하고, 훈련된 인공지능을 통해 입력된 3D 포인트 클라우드 데이터에 포함된 지형과 지물에 대한 데이터를 분리하고, 분리된 데이터를 통해 지형도를 표시하고 핸들링 할 수 있는 딥 러닝을 이용한 3D 지형 정보 분석기를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은, 입력된 3D 포인트 클라우드 데이터에 포함된 고도 데이터에 대해 정규화를 실시하고 RGB 데이터의 타입을 정수(uint8)로 변환하며, 정규화 된 3D 포인트 클라우드를 기 설정된 좌표 기준을 중심으로 일정 거리에 따라 다운샘플링(Down Sampling)을 실시하고 상기 다운샘플링(Down Sampling)이 수행된 데이터를 시각화하여 지형도를 표시하는 데이터 전처리부(Data Pre-Processing); 상기 지형도 위에 사용자가 일정 구역을 선택할 수 있도록 시각화하고 선택된 구역에 대해 지표와 지물을 포함하는 지표 외의 구성에 대해 평탄도 평가를 통해 분리하며, 딥 러닝(Deep Learning)으로 학습시킨 인공지능을 이용해 분리된 각 객체에 대해 상기 지물의 클래스를 분류하고, 상기 클래스에 따라 3D 포인트 클라우드 데이터 중 색상을 부여하는 데이터 처리부(Data Processing); 및 상기 데이터 처리부(Data Processing)에 의해 분리된 3D 포인트 클라우드 데이터를 하나의 데이터로 병합하고 ASCII 인코딩 방식의 PCD 포맷 파일로 저장하는 데이터 후처리부(Data Post-Processing)를 포함하는 딥 러닝을 이용한 3D 지형 정보 분석기를 제공한다.
바람직하게, 상기 데이터 전처리부는, 상기 3D 포인트 클라우드 데이터 중 고도 데이터를 정규화하고 RGB 데이터의 포맷을 정수로 변환하는 포맷 변환부(format converter); 상기 3D 포인트 클라우드 데이터를 상기 일정 거리를 간격으로 처리할 데이터의 총량을 줄이는 다운샘플링부(down sampler); 및 상기 지형도를 표시하고 핸들링 할 수 있도록 GUI를 제공하는 시각화부(visualizer);를 더 포함할 수 있다.
실시 예에 따라, 상기 포맷 변환부는, 상기 3D 포인트 클라우드 데이터에 포함된 고도 데이터를 Z축 값에 대한 고도값으로 정규화하는 정규화부(normalizer); 및 상기 3D 포인트 클라우드 데이터 중 색상에 대한 색상 데이터를 정수형으로 변환하는 정수 변환부(integer converter)를 더 포함할 수 있다.
바람직하게, 상기 데이터 처리부(Data Processing)는, 상기 지형도에 대해 각 구역을 지정하고 상기 사용자가 선택된 구역에 대응된 상기 지형도의 데이터를 자르는 구역 설정부(range select); 상기 구역 내에서 지표의 좌표를 추출하고 지물과 분리하는 지표면 좌표 추출부(extract surface coordinates); 및 상기 클래스에 대해 훈련된 인공지능을 이용해 상기 입력된 3D 포인트 클라우드 데이터에서 추출된 지표와 지물 데이터에 대해 클래스를 예측하는 지표면 좌표 분류부(classification)를 더 포함할 수 있다.
실시 예에 따라, 상기 데이터 후처리부(Data Post-Processing)는, 상기 지표면을 감지하고 해당 좌표를 추출하여 죄표면 외 지물과 분리를 수행하는 지표면 및 지표면 외 좌표 추출부를 더 포함할 수 있다.
실시 예에 따라, 상기 지표면 좌표 분류부(classification)는, 상기 지표면 좌표 추출부(1222)에서 분리된 데이터 중 지물에 대한 3D 포인트 클라우드 데이터를 받아 지물의 유형별로 구분을 수행하는 지물 유형별 분리부(object segmentation); 상기 지물 데이터에 대해 각 지물의 클래스를 예측하는 지물 클래스 분류부(object classification); 상기 클래스가 부여된 지물 데이터에 대해 기 설정된 설정 값에 따라 RGB 데이터 변환을 수행하는 지물 색상 변환부(set object class color); 상기 지표면 좌표 추출부(1222)에서 분리된 데이터 중 지형에 대한 3D 포인트 클라우드 데이터를 받아 지물과 지형의 구분을 수행하는 지형 지물 분리부(terrain segmentation); 상기 지물 데이터에 대해 각 지물의 지형에 대한 클래스를 예측하는 지형 클래스 분류부(terrain classification); 및 상기 클래스가 부여된 지물 데이터에 대해 기 설정된 설정 값에 따라 RGB 데이터 변환을 수행하는 지형 색상 변환부(set terrain class color)를 더 포함할 수 있다.
바람직하게, 상기 데이터 후처리부(Data Post-Processing)는, 상기 클래스의 부여 및 색상 데이터 변환을 위해 분리된 지형 지물 3D 포인트 클라우드 데이터를 하나의 3D 포인트 클라우드 데이터로 병합하는 과정을 수행하는 병합부(data merge); 및 병합된 3D 포인트 클라우드 데이터를 ASCII 인코딩의 PCD 포맷 파일로 저장하는 과정을 수행하는 저장부(data save)를 더 포함할 수 있다.
또한 본 발명은, 상술한 딥 러닝을 이용한 3D 지형 정보 분석기를 이용하여 분석을 하는 방법을 프로그램으로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 제공한다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 레이저 스캐너 또는 LiDAR와 같은 3D 스캔 장비로부터 획득한 3D 포인트 클라우드 데이터를 통해 지형과 지물의 분포도와 위치, 토지 용도, 위도, 경도, 고도까지 실제 현장에 방문하지 않아도 정확하게 파악할 수 있는 이점이 있다.
또한 본 발명은, 3D 포인트 클라우드를 가공해 지형과 지물을 유형별로 분류하고, 분류된 데이터를 바탕으로 건축 현장에서 지적 측량이나 시공 계획에서 보다 넓은 면적을 기존의 방식보다 신속하게 스캔하고 분석하여 지형 정보를 도면 작성에 활용할 수 있는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 딥 러닝을 이용한 3D 지형 정보 분석기가를 적용한 프로세스의 블록도.
도 2는 본 발명의 실시 예에 따른 분류된 지형 지물 DB를 시각화하여 표시하는 지형 지물 분류 표시기의 블록도.
도 3는 본 발명의 실시 예에 따른 지형 지물 분류기의 블록도.
도 4는 본 발명의 실시 예에 따른 데이터 전처리부의 블록도.
도 5는 본 발명의 실시 예에 따른 포맷 변환부의 블록도.
도 6는 본 발명의 실시 예에 따른 데이터 처리부의 블록도.
도 7는 본 발명의 실시 예에 따른 지표면 좌표 추출부의 블록도.
도 8는 본 발명의 실시 예에 따른 분류부의 블록도.
도 9는 본 발명의 실시 예에 따른 데이터 후처리부의 블록도.
이하, 본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명을 실시하기 위한 구체적인 내용으로서 본 발명의 바람직한 실시 예의 구성과 작용에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
또한, 본 발명에서 3D 지형 정보 분석기의 경우, 도면에 도시된 지형 지물 분류기(120)와 동일한 개념으로 적용될 수 있으며, 3D 포인트 클라우드 데이터에는 일반적으로 적용되는 3차원 좌표를 포함하여, 이들이 가지고 있는 점들로 불규칙하게 구성된 자료 즉, 점 구름 또는 점군 데이터를 포함할 수 있다.
또한, DB는 데이터 베이스와 동일한 용어로 사용되고, 포인트클라우드 데이터는 전체 형상이 수 많은 점(Point)들로 구성이 되어 있으며, 여기에는 후술할 고도 또는 색상 등을 포함할 수 있다.
도 1은 본 발명의 실시 예에 따른 딥 러닝을 이용한 3D 지형 정보 분석기를 적용한 프로세스의 블록도를 나타낸다.
도 1을 참조하면, 본 발명의 실시 예에 따른 딥 러닝을 이용한 3D 지형 정보 분석기는, 지형 지물 데이터 베이스(110), 지형 지물 분류기(120) 및 분류된 지형 지물 데이터 베이스(130, 210)를 포함할 수 있다.
딥 러닝을 이용한 3D 지형 정보 분석기에 포함된 지형 지물 데이터 베이스(110)는 드론에 장착한 레이저 스캐너, LiDAR와 같은 3D 스캔 장비로부터 획득한　3D 포인트 클라우드 정보를 저장할 수 있다.
지형 지물 분류기(120)는 데이터 전처리부(121), 데이터 처리부(122), 데이터 후처리부(123)을 포함한다. 지형 지물 분류기(120)는 지형 지물 데이터 베이스(110)로부터 3D 포인트 클라우드 데이터를 로딩하여 X, Y, Z, R, G, B 데이터 중 Z 데이터에 대해 범위 정규화를 실시하고 RGB 데이터의 타입을 정수(uint8)로 변환할 수 있다.
정규화 된 3D 포인트 클라우드를 좌표 기준 일정 거리를 두고 다운샘플링(Down Sampling)을 수행하며, 다운샘플링한 편집 포인트 클라우드 데이터를 시각화해 지형도를 표시한다.
특히, 지형 지물 분류기(120)는 시각화된 3D 포인트 클라우드 지형도에서 일정 구역을 선택할 수 있도록 GUI Rectangle을 제공하고, 제공된 구역 내에서 사용자가 수행하는 구역 설정의 경우 작게는 보행자 한 명부터 크게는 지형도 전체를 대상으로 할 수 있다.
설정된 구역에 대해 지표와 지표 외의 물체를 평탄도 평가를 통해 분리하고, 사전에 딥 러닝(Deep Learning)으로 학습시킨 인공지능을 이용해 분리된 각 객체에 대해 클래스를 분류하고, 분류된 클래스별로 3D 포인트 클라우드 데이터 중 색상을 부여한다.
지형 지물 분류기(120)는 지물과 지물 지형과 지물을 색상 별로 분리한 3D 포인트 클라우드를 다시 하나의 3D 포인트 클라우드로 병합해 PCD 포맷 파일로 분류된 지형 지물 데이터베이스(130, 210)를 저장한다.
상술한 도 1의 실시 예에 따른 지형 지물 분류 표시기(220)의 경우, 분류된 지형 지물 데이터 베이스(130, 210), 지형 지물 분류 표시기(220), 분류된 지형도 디스플레이(230)를 설명하였으나, 반드시 이에 한정되는 것은 아니고 지형 지물 분석을 위한 추가적인 구성요소도 포함하여 연동될 수 있다.
도 2는 본 발명의 실시 예에 따른 분류된 지형 지물 DB를 시각화하여 표시하는 지형 지물 분류 표시기(220)의 블록도를 나타낸다.
도 2를 참조하면, 본 발명의 실시 예에 따른 지형 지물 분류 표시기(220)는 분류된 지형 지물 데이터 베이스(130, 210), 지형 지물 분류 표시기(220), 분류된 지형도 디스플레이(230)를 포함할 수 있다.
지형 지물 분류 표시기(220)는 분류된 지형 지물 데이터 베이스(130, 210)를 입력 받아 클래스 별로 분류된 색상 정보를 좌표값과 정합해 분류된 지형도 디스플레이(230)에 표시할 수 있다.
도 3는 본 발명의 실시 예에 따른 지형 지물 분류기의 블록도를 나타낸다.
도 3을 참조하면, 본 발명은 데이터 전처리부(121), 데이터 처리부(122) 및 데이터 후처리부(123)를 포함할 수 있다.
데이터 전처리부(Data Pre-Processing)(121)는, 입력된 3D 포인트 클라우드 데이터에 포함된 고도 데이터에 대해 정규화를 실시하고 RGB 데이터의 타입을 정수(uint8)로 변환하며, 정규화 된 3D 포인트 클라우드를 기 설정된 좌표 기준을 중심으로 일정 거리에 따라 다운샘플링(Down Sampling)을 실시하고 상기 다운샘플링(Down Sampling)이 수행된 데이터를 시각화하여 지형도를 표시하는 역할을 수행한다.
데이터 처리부(Data Processing)(122)는, 지형도 위에 사용자가 일정 구역을 선택할 수 있도록 시각화하고 선택된 구역에 대해 지표와 지물을 포함하는 지표 외의 구성에 대해 평탄도 평가를 통해 분리하며, 딥 러닝(Deep Learning)으로 학습시킨 인공지능을 이용해 분리된 각 객체에 대해 상기 지물의 클래스를 분류하고, 상기 클래스에 따라 3D 포인트 클라우드 데이터 중 색상을 부여할 수 있다.
데이터 후처리부(Data Post-Processing)(123)는 데이터 처리부(Data Processing)(122)에 의해 분리된 3D 포인트 클라우드 데이터를 하나의 데이터로 병합하고 ASCII 인코딩 방식의 PCD 포맷 파일로 저장할 수 있다.
본 발명의 딥 러닝을 이용한 3D 지형 정보 분석기는 지형 지물 분류기(120)와 동일한 개념이며, 지형 지물 분류기(120)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 단일 프로그래밍적 모듈 혹은 프로그래밍적 모듈의 결합으로 구현될 수 있다.
본 발명의 실시 예에 따른 지형 지물 분류기(120)는 데이터 전처리부(121), 데이터 처리부(122) 및 데이터 후처리부(123)를 포함한다.
지형 지물 분류기(120)에 포함된 각 구성요소는 장치 내부의 프로그래밍적 모듈을 통해 데이터를 주고받으며 상호 간에 유기적으로 동작할 수 있다.
데이터 전처리부(121)는 입력된 3D 포인트 클라우드 데이터에 대한 정규화 및 데이터 변환을 수행한 편집 3D 클라우드 데이터를 다운 샘플링해 3D 지형도를 출력할 수 있다.
데이터 처리부(122)는 상기 출력된 3D 지형도에서 분류하고자 하는 구역을 설정해 추출하고 해당 구역 안의 지물과 지형을 분리하고 각각 대상에 대해 클래스 감지(detection)하며 예측(prediction)을 수행한다. 또한 클래스가 부여된 물체에 대해 설정된 색상으로 RGB 데이터를 변환할 수 있다.
데이터 후처리부(123)는 지형과 지물로 분리된 3D 포인트 클라우드 데이터를 하나로 병합하고 PCD 포맷의 파일로 데이터를 저장한다.
도 4는 본 발명의 실시 예에 따른 데이터 전처리부의 블록도를 나타낸다.
도 4를 참조하면, 데이터 전처리부(121)는, 3D 포인트 클라우드 데이터 중 고도 데이터를 정규화하고 RGB 데이터의 포맷을 정수로 변환하는 포맷 변환부(format converter); 3D 포인트 클라우드 데이터를 일정 거리를 간격으로 처리할 데이터의 총량을 줄이는 다운샘플링부(down sampler); 및 지형도를 표시하고 핸들링 할 수 있도록 GUI를 제공하는 시각화부(visualizer);를 포함할 수 있다.
본 발명의 실시 예에 따른 데이터 전처리부(121)는 포맷 변환부(1211), 다운 샘플링부(1212), 시각화부(1213)를 포함한다.
포맷 변환부(1211)는 지형 지물 분류기(120)에서 처리하는 첫 번째 처리 단계로서, 3D 포인트 클라우드 데이터에 대한 전처리 과정을 수행한다.
다운 샘플링부(1212)는 시각화부(1213)의 과부하를 최소화하기 위한 일련의 과정이며 3D 포인트 클라우드 데이터를 전달하기 전 전처리 단계로서, 포맷 변환부(1211)의 편집 3D 포인트 클라우드에 대한 다운샘플링을 수행한다.
시각화부(1213)는 데이터 처리부(122)에 대한 전처리 단계로서, GUI 방식으로 구역 설정을 위해 전처리가 완료된 편집 3D 포인트 클라우드의 시각화를 수행한다.
도 5는 본 발명의 실시 예에 따른 포맷 변환부의 블록도를 나타낸다.
도 5를 참조하면, 포맷 변환부는, 3D 포인트 클라우드 데이터에 포함된 고도 데이터를 Z축 값에 대한 고도값으로 정규화하는 정규화부(normalizer); 및 3D 포인트 클라우드 데이터 중 색상에 대한 색상 데이터를 정수형으로 변환하는 정수 변환부(integer converter)를 포함할 수 있다.
본 발명의 실시 예에 따른 포맷 변환부(1211)는 정규화부(12111), 정수변환부(12112)를 포함하고, 정규화부(12111)는 3D 포인트 클라우드 데이터 중 고도 데이터인 Z 축 데이터에 대해 정규화를 수행한다.
정수변환부(12112)는 3D 포인트 클라우드 데이터 중 색상 데이터인 RGB 데이터에 대해 실수형(double) 숫자에서 정수형(uint8) 숫자로 데이터 변환을 수행한다.
도 6는 본 발명의 실시 예에 따른 데이터 처리부의 블록도를 나타낸다.
도 6을 참조하면, 데이터 처리부(Data Processing)(122)는, 지형도에 대해 각 구역을 지정하고 사용자가 선택된 구역에 대응된 지형도의 데이터를 자르는 구역 설정부(range select)(1221); 구역 내에서 지표의 좌표를 추출하고 지물과 분리하는 지표면 좌표 추출부(extract surface coordinates)(1222); 및 클래스에 대해 훈련된 인공지능을 이용해 상기 입력된 3D 포인트 클라우드 데이터에서 추출된 지표와 지물 데이터에 대해 클래스를 예측하는 지표면 좌표 분류부(classification)(1223)를 포함할 수 있다. 본 발명의 실시 예에 따른 데이터 처리부(122)는 구역 설정부(1221), 지표면 좌표 추출부(1222), 지표면 좌표 분류부(1223)를 포함할 수 있다.
구역 설정부(1221)는 전제 3D 지형도에 가운데 원하는 구역을 설정하는 단계로서, 데이터 처리의 과부화를 줄이며 선택적 데이터 처리 가능하게 하는 과정으로 원하는 구역에 대한 범위 지정을 수행한다.
지표면 좌표 추출부(1222)는 구역 설정부(1221)에서 선택된 구역 안의 지표면을 추출하고 지물과 지표의 분리를 수행한다.
분류부(1223)는 딥 러닝으로 각 클래스에 대해 훈련된 인공지능을 이용해 추출된 지표와 지물 데이터에 대해 지물의 클래스 예측을 수행한다.
도 7는 본 발명의 실시 예에 따른 지표면 좌표 추출부의 블록도를 나타낸다.
도 7을 참조하면, 지표면 좌표 분류부(classification)는, 지표면 좌표 추출부(1222)에서 분리된 데이터 중 지물에 대한 3D 포인트 클라우드 데이터를 받아 지물의 유형별로 구분을 수행하는 지물 유형별 분리부(object segmentation); 지물 데이터에 대해 각 지물의 클래스를 예측하는 지물 클래스 분류부(object classification); 클래스가 부여된 지물 데이터에 대해 기 설정된 설정 값에 따라 RGB 데이터 변환을 수행하는 지물 색상 변환부(set object class color); 지표면 좌표 추출부(1222)에서 분리된 데이터 중 지형에 대한 3D 포인트 클라우드 데이터를 받아 지물과 지형의 구분을 수행하는 지형 지물 분리부(terrain segmentation); 지물 데이터에 대해 각 지물의 지형에 대한 클래스를 예측하는 지형 클래스 분류부(terrain classification); 및 클래스가 부여된 지물 데이터에 대해 기 설정된 설정 값에 따라 RGB 데이터 변환을 수행하는 지형 색상 변환부(set terrain class color)를 더 포함할 수 있다.
본 발명의 실시 예에 따른 지표면 좌표 추출부(1222)는 지표면 및 지표면 외 자표 추출부(12221)를 포함하고, 지표면 및 지표면 외 지표 추출부(12221)는 구역 설정부(1221)에서 선택된 구역 안의 지표면을 추출하고 지물과 지표의 분리를 수행한다. 분리는 평탄도를 기준으로 하며 지표를 우선 감지하고 지표 외의 물체를 분리한다.
도 8는 본 발명의 실시 예에 따른 분류부의 블록도를 나타낸다.
도 8을 참조하면, 본 발명의 실시 예에 따른 분류부(1223)는 지물 유형별 분리부(12231), 지물 클래스 분류부(12232), 지물 색상 변환부(12233), 지형 지물 분리부(12234), 지형 클래스 분류부(12235), 지형 색상 변환부(12236)를 포함한다.
지물 유형별 분리부(12231)는 지표면 좌표 추출부(1222)에서 분리된 데이터 중 지물에 대한 3D 포인트 클라우드 데이터를 받아 지물의 유형별로 구분을 수행한다.
지물 클래스 분류부(12232)는 분리된 지물 데이터에 대해 각 지물의 클래스 예측을 수행한다.
지물 색상 변환부(12233)는 클래스가 부여된 지물 데이터에 대해 설정값에 따라 RGB 데이터 변환을 수행한다.
지형 지물 분리부(12234)는 지표면 좌표 추출부(1222)에서 분리된 데이터 중 지형에 대한 3D 포인트 클라우드 데이터를 받아 지물(ex 도로)과 지형의 구분을 수행한다.
지형 클래스 분류부(12235)는 최종적으로 지형에서 분리된 지물 데이터에 대해 클래스 예측을 수행한다.
지형 색상 변환부(12236) 는 클래스가 부여된 지물 데이터에 대해 설정값에 따라 RGB 데이터 변환을 수행한다.
도 9는 본 발명의 실시 예에 따른 데이터 후처리부의 블록도를 나타낸다.
도 9를 참조하면, 데이터 후처리부(Data Post-Processing)는, 지표면을 감지하고 해당 좌표를 추출하여 죄표면 외 지물과 분리를 수행하는 지표면 및 지표면 외 좌표 추출부를 포함할 수 있다.
데이터 후처리부(Data Post-Processing)는, 클래스의 부여 및 색상 데이터 변환을 위해 분리된 지형 지물 3D 포인트 클라우드 데이터를 하나의 3D 포인트 클라우드 데이터로 병합하는 과정을 수행하는 병합부(data merge); 및 병합된 3D 포인트 클라우드 데이터를 ASCII 인코딩의 PCD 포맷 파일로 저장하는 과정을 수행하는 저장부(data save)를 포함할 수 있다.
본 발명의 실시 예에 따른 데이터 후처리부(123)는 병합부(1231), 저장부(1232)를 포함하고, 병합부(1231)는 클래스 부여 및 색상 데이터 변환을 위해 분리된 지형 지물 3D 포인트 클라우드 데이터를 하나의 3D 포인트 클라우드 데이터로 병합하는 과정을 수행하고, 저장부(1232)는 하나로 병합된 3D 포인트 클라우드 데이터를 ASCII 인코딩의 PCD 포맷 파일로 저장하는 과정을 수행한다.
또한 본 발명은 기록매체로 구현될 수 있다. 상술한 분석기 또는 분석기의 구성요소가 포함된 장치를 이용하여 분석을 하는 방법을 프로그램으로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체로 구현될 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
110 : 지형 지물 데이터 베이스 120 : 지형 지물 분류기
130, 210 : 분류된 지형 지물 데이터 베이스
220 : 지형 지물 분류 표시기 230 : 분류된 지형도 디스플레이
121 : 데이터 전처리부 122 : 데이터 처리부
123 : 데이터 후처리부
1211 : 포맷 변환부 1212 : 다운 샘플링부
1213 : 시각화부 1221 : 구역 설정부
1222 : 지표면 좌표 추출부 1223 : 분류부
1231 : 병합부 1232 : 저장부
12111 : 정규화부 12112 : 정수 변환부
12221 : 지표면 좌표 및 지표면 외 좌표 추출부
12231 : 지물 유형별 분리부 12232 : 지물 클래스 분류부
12233 : 지물 색상 변환부 12234 : 지형 지물 분리부
12235 : 지형 클래스 분류부 12236 : 지형 색상 변환부

Claims (7)

  1. 입력된 3D 포인트 클라우드 데이터에 포함된 고도 데이터에 대해 정규화를 실시하고 RGB 데이터의 타입을 정수(uint8)로 변환하며, 정규화 된 3D 포인트 클라우드를 기 설정된 좌표 기준을 중심으로 일정 거리에 따라 다운샘플링(Down Sampling)을 실시하고 상기 다운샘플링(Down Sampling)이 수행된 데이터를 시각화하여 지형도를 표시하는 데이터 전처리부(Data Pre-Processing);
    상기 지형도 위에 사용자가 일정 구역을 선택할 수 있도록 시각화하고 선택된 구역에 대해 지표와 지물을 포함하는 지표 외의 구성에 대해 평탄도 평가를 통해 분리하며, 딥 러닝(Deep Learning)으로 학습시킨 인공지능을 이용해 분리된 각 객체에 대해 상기 지물의 클래스를 분류하고, 상기 클래스에 따라 3D 포인트 클라우드 데이터 중 색상을 부여하는 데이터 처리부(Data Processing); 및
    상기 데이터 처리부(Data Processing)에 의해 분리된 3D 포인트 클라우드 데이터를 하나의 데이터로 병합하고 ASCII 인코딩 방식의 PCD 포맷 파일로 저장하는 데이터 후처리부(Data Post-Processing)를 포함하는 딥 러닝을 이용한 3D 지형 정보 분석기.
  2. 제 1 항에 있어서,
    상기 데이터 전처리부는,
    상기 3D 포인트 클라우드 데이터 중 고도 데이터를 정규화하고 RGB 데이터의 포맷을 정수로 변환하는 포맷 변환부(format converter);
    상기 3D 포인트 클라우드 데이터를 상기 일정 거리를 간격으로 처리할 데이터의 크기에 대한 총량을 줄이는 다운샘플링부(down sampler); 및
    상기 지형도를 표시하고 핸들링 할 수 있도록 GUI를 제공하는 시각화부(visualizer);를 더 포함하는 딥 러닝을 이용한 3D 지형 정보 분석기.
  3. 제 1 항에 있어서,
    상기 데이터 처리부(Data Processing)는,
    상기 지형도에 대해 각 구역을 지정하고 상기 사용자가 선택된 구역에 대응된 상기 지형도의 데이터를 자르는 구역 설정부(range select);
    상기 구역 내에서 지표의 좌표를 추출하고 지물과 분리하는 지표면 좌표 추출부(extract surface coordinates); 및
    상기 클래스에 대해 훈련된 인공지능을 이용해 상기 입력된 3D 포인트 클라우드 데이터에서 추출된 지표와 지물 데이터에 대해 클래스를 예측하는 지표면 좌표 분류부(classification)를 더 포함하는 딥 러닝을 이용한 3D 지형 정보 분석기.
  4. 제 3 항에 있어서,
    상기 데이터 후처리부(Data Post-Processing)는,
    상기 지표면을 감지하고 해당 좌표를 추출하여 죄표면 외 지물과 분리를 수행하는 지표면 및 지표면 외 좌표 추출부를 더 포함하는 딥 러닝을 이용한 3D 지형 정보 분석기.
  5. 제 3 항에 있어서,
    상기 지표면 좌표 분류부(classification)는,
    상기 지표면 좌표 추출부(extract surface coordinates)에서 분리된 데이터 중 지물에 대한 3D 포인트 클라우드 데이터를 받아 지물의 유형별로 구분을 수행하는 지물 유형별 분리부(object segmentation);
    상기 지물 데이터에 대해 각 지물의 클래스를 예측하는 지물 클래스 분류부(object classification);
    상기 클래스가 부여된 지물 데이터에 대해 기 설정된 설정 값에 따라 RGB 데이터 변환을 수행하는 지물 색상 변환부(set object class color);
    상기 지표면 좌표 추출부(extract surface coordinates)에서 분리된 데이터 중 지형에 대한 3D 포인트 클라우드 데이터를 받아 지물과 지형의 구분을 수행하는 지형 지물 분리부(terrain segmentation);
    상기 지물 데이터에 대해 각 지물의 지형에 대한 클래스를 예측하는 지형 클래스 분류부(terrain classification); 및
    상기 클래스가 부여된 지물 데이터에 대해 기 설정된 설정 값에 따라 RGB 데이터 변환을 수행하는 지형 색상 변환부(set terrain class color)를 더 포함하는 딥 러닝을 이용한 3D 지형 정보 분석기.
  6. 제 1 항에 있어서,
    상기 데이터 후처리부(Data Post-Processing)는,
    상기 클래스의 부여 및 색상 데이터 변환을 위해 분리된 지형 지물 3D 포인트 클라우드 데이터를 하나의 3D 포인트 클라우드 데이터로 병합하는 과정을 수행하는 병합부(data merge); 및
    병합된 3D 포인트 클라우드 데이터를 ASCII 인코딩의 PCD 포맷 파일로 저장하는 과정을 수행하는 저장부(data save)를 더 포함하는 딥 러닝을 이용한 3D 지형 정보 분석기.
  7. 제 1 항 내지 제 6 항 중 어느 한 항의 장치를 이용하여 분석을 하는 방법을 프로그램으로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
KR1020200171001A 2020-12-09 2020-12-09 딥 러닝을 이용한 3d 지형 정보 분석기 KR102517093B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200171001A KR102517093B1 (ko) 2020-12-09 2020-12-09 딥 러닝을 이용한 3d 지형 정보 분석기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200171001A KR102517093B1 (ko) 2020-12-09 2020-12-09 딥 러닝을 이용한 3d 지형 정보 분석기

Publications (2)

Publication Number Publication Date
KR20220081482A true KR20220081482A (ko) 2022-06-16
KR102517093B1 KR102517093B1 (ko) 2023-04-04

Family

ID=82217316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200171001A KR102517093B1 (ko) 2020-12-09 2020-12-09 딥 러닝을 이용한 3d 지형 정보 분석기

Country Status (1)

Country Link
KR (1) KR102517093B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160132153A (ko) * 2015-05-06 2016-11-17 고려대학교 산학협력단 외곽 공간 특징 정보 추출 방법
KR20170067373A (ko) 2015-12-08 2017-06-16 가톨릭대학교 산학협력단 드론 촬영 이미지를 기반으로 3ｄ 오브젝트를 자동으로 추출하는 시스템 및 방법
JP2019106034A (ja) * 2017-12-13 2019-06-27 Kddi株式会社 点群から対象を特定する対象識別装置、プログラム及び方法
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
JP6730502B1 (ja) * 2019-10-08 2020-07-29 アイコンヤマト株式会社 点群分布可視化装置、点群分布可視化方法および点群分布可視化プログラム
KR20200096950A (ko) * 2017-12-08 2020-08-14 아시아코소쿠 가부시키가이샤 지물 높이별 컬러 화상 생성 장치 및 지물 높이별 컬러 화상 생성 프로그램
KR20200122897A (ko) * 2019-04-19 2020-10-28 서울대학교산학협력단 라이다 측량자료를 이용한 숲틈 모니터링 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160132153A (ko) * 2015-05-06 2016-11-17 고려대학교 산학협력단 외곽 공간 특징 정보 추출 방법
KR20170067373A (ko) 2015-12-08 2017-06-16 가톨릭대학교 산학협력단 드론 촬영 이미지를 기반으로 3ｄ 오브젝트를 자동으로 추출하는 시스템 및 방법
KR20200096950A (ko) * 2017-12-08 2020-08-14 아시아코소쿠 가부시키가이샤 지물 높이별 컬러 화상 생성 장치 및 지물 높이별 컬러 화상 생성 프로그램
JP2019106034A (ja) * 2017-12-13 2019-06-27 Kddi株式会社 点群から対象を特定する対象識別装置、プログラム及び方法
KR20200122897A (ko) * 2019-04-19 2020-10-28 서울대학교산학협력단 라이다 측량자료를 이용한 숲틈 모니터링 시스템 및 방법
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
JP6730502B1 (ja) * 2019-10-08 2020-07-29 アイコンヤマト株式会社 点群分布可視化装置、点群分布可視化方法および点群分布可視化プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUOFENG TONG et al., "CSPC-Dataset: New LiDAR Point Cloud Dataset and Benchmark for Large-Scale Scene Semantic Segmentation", IEEE Access, 10.1109/ACCESS.2020.2992612(2020.05.21.)* *

Also Published As

Publication number Publication date
KR102517093B1 (ko) 2023-04-04

Similar Documents

Publication Publication Date Title
Wieland et al. Estimating building inventory for rapid seismic vulnerability assessment: Towards an integrated approach based on multi-source imaging
Kwong et al. Tree height mapping and crown delineation using LiDAR, large format aerial photographs, and unmanned aerial vehicle photogrammetry in subtropical urban forest
CN111340012B (zh) 一种地质灾害解译方法、装置、终端设备
Zeybek Classification of UAV point clouds by random forest machine learning algorithm
Ali-Sisto et al. Forest change detection by using point clouds from dense image matching together with a LiDAR-derived terrain model
Macay Moreia et al. From DSM to 3D building models: a quantitative evaluation
Li Optimising detection of road furniture (pole-like objects) in mobile laser scanning data
CN114037836A (zh) 一种将人工智能识别技术应用于三维输变电工程测算的方法
Uzar et al. Automatic building extraction using LiDAR and aerial photographs
Yastikli et al. Classification of raw LiDAR point cloud using point-based methods with spatial features for 3D building reconstruction
Elberink et al. Detection of collapsed buildings by classifying segmented airborne laser scanner data
Arastounia Automatic classification of lidar point clouds in a railway environment
Yao et al. Automated detection of 3D individual trees along urban road corridors by mobile laser scanning systems
Koc-San et al. A model-based approach for automatic building database updating from high-resolution space imagery
Vu et al. Wavelet and scale-space theory in segmentation of airborne laser scanner data
KR102517093B1 (ko) 딥 러닝을 이용한 3d 지형 정보 분석기
Alexander et al. An approach to classification of airborne laser scanning point cloud data in an urban environment
Novack et al. Classification of urban settlements types based on space-borne SAR datasets
Tang et al. Accuracy test of point-based and object-based urban building feature classification and extraction applying airborne LiDAR data
Yastikli et al. Automatic 3D building model generations with airborne LiDAR data
Di Stefano et al. Point cloud classification of an urban environment using a semi-automatic approach
Hujebri et al. Automatic building extraction from lidar point cloud data in the fusion of orthoimage
Koç San Approaches for automatic urban building extraction and updating from high resolution satellite imagery
Djenaliev et al. Extraction of built-up areas from Landsatimagery using the object-oriented classificationmethod
Lawas Complementary use of aiborne LiDAR and terrestrial laser scanner to assess above ground biomass/carbon in Ayer Hitam tropical rain forest reserve

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant