KR102223484B1 - 식생을 제거한 절토사면의 3차원 모델 생성 시스템 및 3차원 모델 생성 방법 - Google Patents

Abstract

본 발명에서는 절토사면을 서로 다른 위치에서 카메라로 촬영한 복수의 이미지를 수신하는 이미지 수신부; 수신된 복수의 이미지를 딥 러닝을 통해 분석하여 식생 영역을 식별한 식생 영역 식별정보를 생성하는 식생 영역 식별부; 복수의 이미지 각각에서 특징점을 추출하는 특징점 추출부; 추출된 특징점 사이의 관계를 매칭하여 특징점 관계 정보를 생성하는 특징점 매칭부; 복수의 이미지 각각의 추출된 특징점의 3차원 좌표 값인 스파스 포인트 클라우드 및 상기 카메라의 정보를 산출하는 스파스 포인트 및 카메라 정보 산출부; 스파스 포인트, 카메라의 정보 및 식생 영역 식별정보에 기초하여 덴스 포인트 클라우드를 산출하는 덴스 포인트 산출부; 및 상기 덴스 포인트 클라우드에 기초하여 절토 사면의 3차원 모델을 생성하는 입체 영상 생성부를 포함하는 절토사면의 3차원 모델 생성 시스템과, 이를 이용한 절토사면의 3차원 모델 생성방법이 제공된다.

Description

식생을 제거한 절토사면의 3차원 모델 생성 시스템 및 3차원 모델 생성 방법{System and method for 3D model generation of cut slopes without vegetation}

본 발명은 식생을 제거한 절토사면의 3차원 모델 생성 시스템 및 3차원 모델 생성 방법에 관한 것으로서, 구체적으로는 절토사면의 3차원 모델 생성과 안정성 해석에 부정확도를 유발하고 이미지 처리의 복잡성을 유발하는 절토사면에 포함된 식생을, 효과적이고 정확하게 제거하여 절토사면의 3차원 모델을 생성할 수 있는 "식생을 제거한 절토사면의 3차원 모델 생성 시스템 및 방법"에 관한 것이다.

자연 재해에 대한 절토사면의 붕괴를 막기 위한 대책과 방안을 세우기 위해 가상적인 시뮬레이션을 이용하여 절토사면의 3차원 모델을 생성하는 방법이 대한민국 등록공보 제10-1314054호 등을 통해서 제안되었다. 이러한 절토사면의 가상적인 시뮬레이션은 절토사면의 붕괴 예측뿐만 아니라 시공에 있어서 시행의 오류, 시간, 인력 및 비용을 감소시킬 수 있어 관련 분야의 기술 개발이 활발히 수행되고 있는 상황이다.

절토사면의 3차원 모델의 생성은 일반적으로 사진측량 기법(Photogrammetry)이 사용된다. 사진측량 기법에서는 대상 물체에 대한 사진을 다양한 각도에서 취득하고, 각 사진에 특징점을 추출하며, 특징점을 기초로 사진에 대한 여러 단계의 연산을 수행하여 대상 물체의 3차원 모델을 작성하게 된다. 이러한 사진측량 기법을 활용하여 절토사면의 3차원 모델을 생성하는 과정에서, 절토사면에 존재하는 식생은 3차원 모델 생성의 부정확도를 야기한다. 절토사면에 생육하고 있는 식물 집단에 해당하는 식생에도 특징점이 추출될 수 있고, 식생이 바람에 의해서 움직이는 경우에는 특징점의 좌표가 변하게 되므로 카메라 위치 방향을 알아내는 과정에서 에러를 유발할 수 있기 때문이다.

또한, 식생은 사면 안정성 해석에 있어 불필요한 정보이며, 사면 안정성 해석 시의 사용자 혼란 및 이미지 처리의 복잡성을 가중시킬 수 있다. 특히, 동일 사면에 대해 시간 차이를 두고 변화를 알아내고자 하는 경우, 식생은 시간에 따른 변화가 절토사면보다 크게 발생되기 때문에 식생에 의한 노이즈(noise)가 더 크게 작용될 수 있다. 따라서 3차원 모델을 구축함에 있어서 이러한 식생을 효과적이고 정확하게 제거할 수 있는 방안이 절실히 요구되고 있다.

대한민국 등록공보 제10-1314054호(2013. 10. 01. 공개).

본 발명은 위와 같은 종래 기술의 한계를 극복하기 위하여 개발된 것으로서, 구체적으로 딥 러닝(Deep Learning)기법을 사용하여 절토사면의 각 이미지에 대한 식생의 유무와 경계를 판단하여 식생에 대한 분리(Segmentation)을 수행하고, 이러한 식생 영역에 존재하는 특징점 및 식생 영역에 해당하는 픽셀을 고려하여 절토사면의 3차원 모델을 생성하는 시스템 및 방법을 제공하는 것을 목적으로 한다.

위와 같은 과제를 달성하기 위하여, 본 발명의 일 실시예에서 식생을 제거한 절토사면의 3차원 모델 생성 시스템이 제공된다. 절토사면의 3차원 모델 생성 시스템은 절토사면을 서로 다른 위치에서 카메라로 촬영한 복수의 이미지를 수신하는 이미지 수신부; 상기 수신된 복수의 이미지를 딥 러닝을 통해 분석하여 상기 수신된 복수의 이미지 내의 식생 영역을 식별한 식생 영역 식별정보를 생성하는 식생 영역 식별부; 상기 복수의 이미지 각각에서 특징점을 추출하는 특징점 추출부; 상기 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭하여 특징점 관계 정보를 생성하는 특징점 매칭부; 상기 특징점 관계 정보 및 상기 식생 영역 식별정보에 기초하여 복수의 이미지 각각의 추출된 특징점의 3차원 좌표 값인 스파스 포인트 클라우드(Sparse Point Cloud) 및 상기 카메라의 정보를 산출하는 스파스 포인트 및 카메라 정보 산출부; 상기 스파스 포인트, 상기 카메라의 정보 및 상기 식생 영역 식별정보에 기초하여 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드(Dense Point Cloud)를 산출하는 덴스 포인트 산출부; 및 상기 덴스 포인트 클라우드(Dense Point Cloud)에 기초하여 절토 사면의 3차원 모델을 생성하는 입체 영상 생성부를 포함한다.

본 발명의 다른 실시예에서 식생을 제거한 절토사면의 3차원 모델 생성을 위한 방법이 제공된다. 절토사면의 3차원 모델 생성을 위한 방법은 절토사면을 서로 다른 위치에서 카메라로 촬영한 복수의 2차원 이미지를 수신하는 단계; 상기 수신된 복수의 이미지를 딥 러닝을 통해 분석하여 상기 수신된 복수의 이미지 내의 식생 영역을 식별한 식생 영역 식별정보를 생성하는 단계; 상기 복수의 이미지 각각에서 특징점을 추출하는 단계; 상기 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭하여 특징점 관계 정보를 생성하는 단계; 상기 특징점 관계 정보 및 상기 식생 영역 식별정보에 기초하여 복수의 이미지 각각의 추출된 특징점의 3차원 좌표 값인 스파스 포인트 클라우드(Sparse Point Cloud) 및 상기 카메라의 정보를 산출하는 단계; 상기 스파스 포인트, 상기 카메라의 정보 및 상기 식생 영역 식별정보에 기초하여 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드(Dense Point Cloud)를 산출하는 단계; 및 상기 덴스 포인트 클라우드(Dense Point Cloud)에 기초하여 절토 사면의 3차원 모델을 생성하는 단계를 포함한다.

본 발명의 또 다른 실시예에서 하드웨어와 결합되어 상기 절토사면의 3차원 모델 생성 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램이 제공된다.

본 발명의 일 실시예에 따른 절토사면의 3차원 모델 생성 시스템 및 방법은 딥 러닝(Deep Learning)기법을 사용하여 각 이미지에 대한 식생의 유무와 경계를 판단하여 식생에 대한 분리(Segmentation)을 수행하고, 이러한 식생 영역에 존재하는 특징점을 제외하여 SfM을 수행하여 식생에 따른 오차를 제거할 수 있다.

또한, 사면 안정성 해석에 있어 불필요한 정보에 해당하는 식생 영역에 해당하는 픽셀을 제외하여 절토사면의 3차원 모델을 생성하는 바, 안정성 해석 시의 사용자 혼란 및 이미지 처리의 복잡성이 감소될 수 있다.

도 1은 본 발명의 일 실시예에 따른 절토사면의 3차원 모델 생성 시스템의 구성을 도시한 블록도이다.
도 2는 절토사면을 원거리에서 촬영한 예시적인 2차원 이미지를 보여주는 도면 대용 사진이다.
도 3은 도 2의 이미지에서 식생 영역과 식생 영역(vegetation)에 해당하지 않은 영역(slope)을 구분한 예시도이다.
도 4는 도 2의 이미지에서 특징점이 추출된 상태를 도시한다.
도 5는 도 4의 이미지를 확대한 확대 이미지이다.
도 6은 Structure from Motion을 설명하기 위한 예시도이다.
도 7은 Multi-View Stereopis 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 다른 실시예에 따른 절토사면의 3차원 모델 생성 방법의 개략적인 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 분석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 분석되지 않는다.

설명의 편의를 위하여 본 발명에 따른 식생을 제거한 절토사면의 3차원 모델 생성 시스템과 방법은 각각 "3차원 모델 생성 시스템" 및 "3차원 모델 생성 방법"이라고 약칭한다.

도 1에는 본 발명의 일 실시예에 따른 3차원 모델 생성 시스템(10)의 구성을 보여주는 개략적인 블록도가 도시되어 있다. 도 1을 참조하면, 본 발명에 따른 3차원 모델 생성 시스템(10)은, 이미지 수신부(100), 식생 영역 식별부(110), 특징점 추출부(120), 특징점 매칭부(130), 스파스 포인트 및 카메라 정보 산출부(140), 덴스 포인트 산출부(150), 및 입체 영상 생성부(160)를 포함하여 구성된다.

본 발명의 3차원 모델 생성 시스템(10) 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 3차원 모델 생성 시스템(10)의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭한다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. 또한, 본 명세서에서 3차원 모델 생성 시스템(10)을 구성하는 각 모듈은 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결될 수 있으며, 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되는 것은 아니다.

본 발명의 일 실시예에 따른 3차원 모델 생성 시스템(10)은 사진측량 기법(Photogrammetry)을 통해 절토사면에 대한 이미지를 여러 각도로 취득하고, 그 이미지에 대한 여러 단계의 연산을 수행하여 대상이 되는 절토사면에 대한 3차원 모델을 생성하게 된다. 사진측량 기법(Photogrammetry)에서는 3차원 모델 생성을 위하여 필요하다고 고려되는 여러 정보들, 즉, 카메라의 초점거리, 위치, 방향 등이 주어져 있지 않더라도, 이들을 추정함으로써 대상 물체의 공간상의 위치 정보를 알아낼 수 있다.

본 실시예에 따른 3차원 모델 생성 시스템(10)은 딥 러닝 기법을 통해 절토사면에서 식생을 식별하고 식별된 식생이 제거된 상태의 3차원 모델을 생성할 수 있다. 이하, 각 구성의 동작 및 특징에 대해 보다 상세히 설명하도록 한다.

이미지 수신부(100)는 절토사면을 서로 다른 위치에서 카메라로 촬영한 복수의 2차원 이미지를 수신한다. 절토사면은 원거리에서 위치한 카메라에 의해 촬영될 수 있으며, 사진측량 기법을 위해 서로 다른 위치 또는 각도에서 촬영된 복수의 이미지가 생성될 수 있다. 예를 들어, 절토사면은 카메라를 장착한 드론이 위치를 이동해 가면서 원거리에서 촬영될 수 있다. 도 2는 절토사면을 원거리에서 촬영한 예시적인 2차원 이미지에 해당한다. 도 2에 예시된 바와 같이, 절토사면에 생육하고 있는 식물의 집단에 해당하는 식생은 절토사면의 3차원 모델 생성시 부정확도를 높이는 노이즈에 해당한다.

식생 영역 식별부(110)는 복수의 2차원 이미지에서 이러한 식생 영역을 식별할 수 있다. 구체적으로 식생 영역 식별부(110)는 딥 러닝을 통해 이미지를 분석하여 이미지 내의 식생 영역을 식별할 수 있다. 식생 영역 식별부(110)는 이미지 내의 식생 영역을 식별하는 학습된 식별 모델을 포함할 수 있다. 식별 모델은 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계 학습을 수행시키는, 인공 신경망(ANN, Artificial Neural Network)에 기반한 기계 학습 방법(딥 러닝, deep learning)을 통해서 생성된 식생 영역 식별 모델일 수 있다. 여기서 식생 영역 식별부(110)에 포함된 식별 모델은 입력층과 출력층 사이에 다중의 은닉층(hidden layer)이 존재하는 심층(deep) 신경망 모델, 동물의 시각 피질의 구조와 유사하게 뉴런 사이의 연결 패턴을 형성하는 컨볼루셔널(convolutional) 신경망 모델, 시간에 따라 매순간 신경망을 쌓아올리는 재귀(recurrent) 신경망 모델, 입력 집합에 대한 확률 분포를 학습할 수 있는 제한 볼츠만 머신(restricted Boltzmann machine) 중 하나의 딥 러닝 모델을 사용할 수 있다. 다만, 상술한 방법은 일 예시일 뿐이며, 식생 영역 식별부(110)에 포함된 식별 모델이 이에 한정되는 것은 아니다.

식생 영역 식별부(110)는 식생의 존재 여부, 식생의 위치 및 식생의 경계를 순차적으로 인식할 수 있다. 여기서, 식생은 절토사면에 생육하고 있는 식물의 집단으로 잎에 해당하는 영역뿐만 아니라 줄기까지 포함하는 것이다. 식생 영역 식별부(110)는 인식된 식생의 경계에 따라 "식생 영역"과 식생 영역에 해당하지 않는 "비식생 영역"을 구분(segmentation)할 수 있으며, 식별된 식생의 영역에 대한 정보인 식생 영역 식별정보를 생성할 수 있다.

도 3은 도 2의 이미지에서 식생 영역과 식생 영역(vegetation)에 해당하지 않은 영역(slope)(비식생 영역)을 구분한 예시도이다. 식생 영역 식별부(110)는 각 이미지에 식생 영역과 비식생 영역을 구분하기 위해 식생 영역에 대한 표시(마스크) 처리를 더 수행함으로써 식생 영역 식별정보를 생성할 수 있으나, 이에 한정되는 것은 아니다. 식생 영역 식별부(110)는 입력된 복수의 이미지 각각에 대한 식생 영역 식별정보를 생성할 수 있다.

특징점 추출부(120)는 복수의 이미지 각각에서 특징점(Feature point)을 추출할 수 있다. 특징점은 각 이미지 사이의 관계를 규정하기 위한 이미지 상에 존재하는 포인트에 해당한다. 즉, 각 이미지마다 특징점들이 추출될 수 있으며, 이들 간의 상호 관계를 이용하여 카메라의 위치, 방향 및 특징점들의 공간상의 위치가 추정될 수 있다.

특징점 매칭부(130)는 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭할 수 있다. 특징점 매칭부(130)는 복수의 이미지 내에 추출되는 특징점들 중에서 동일한 특징점이 어느 이미지의 어느 위치에 나타나는지 알아낼 수 있다. 즉, 특징점 매칭부(130)는 상기 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭하여 특징점 관계 정보를 생성할 수 있다.

도 4는 도 2의 이미지에서 특징점이 추출된 상태를 도시하며, 도 5는 도 4의 이미지를 확대한 확대 이미지이다. 도 5에 예시된 바와 같이, 식생에 해당하는 영역에서도 특징점이 추출될 수 있다. 식생이 바람에 의해서 움직이는 경우 특징점의 좌표가 변하게 되므로 식생에 특징점이 추출되는 경우, 카메라의 위치, 방향 및 특징점들의 공간상의 위치의 추정 시 오차가 발생할 수 있다. 따라서 스파스 포인트 및 카메라 정보 산출부(140)는 특징점 관계 정보뿐만 아니라, 식생 영역 식별부(110)에서 생성된 식생 영역 식별정보를 더 이용하여 스파스 포인트 클라우드(Sparse Point Cloud) 및 상기 카메라의 정보를 산출할 수 있다.

스파스 포인트 및 카메라 정보 산출부(140)는 특징점 관계 정보에 기초한 멀티뷰 지오메트리(Multi-View Geometry)를 활용하여 카메라의 정보 및 스파스 포인트 클라우드를 계산하여 추정한다. 즉, 스파스 포인트 및 카메라 정보 산출부(140)는 Structure from Motion(이하 "SfM"라고 기재함)을 수행한다. 도 6은 SfM을 설명하기 위한 예시도이다. 각 2차원 이미지에서 추출된 특징점들은 도 6에 도시된 바와 같이, 복수의 카메라가 특정 위치, 방향에서 하나의 3차원 공간상의 특정점을 촬영한 것으로 추정될 수 있다. 스파스 포인트 및 카메라 정보 산출부(140)는 2차원 이미지에서 추출된 특징점 사이의 관계 정보를 통해, 카메라 정보 및 3차원 공간상의 특정점을 추정할 수 있다. 여기서, 카메라의 정보는 카메라의 내부 변수(초점거리)와 카메라의 외부 변수(카메라의 위치, 방향)을 포함한다. 스파스 포인트 및 카메라 정보 산출부(140)는 비선형 최적화를 통해 상술한 카메라의 정보 및 스파스 포인트 클라우드를 산출할 수 있다.

스파스 포인트 및 카메라 정보 산출부(140)는 식생 영역 식별정보를 더 고려하여 카메라의 정보 및 스파스 포인트 클라우드를 산출할 수 있다. 구체적으로, 스파스 포인트 및 카메라 정보 산출부(140)는 비선형 최적화에 사용되는 특징점이 식생 영역에 포함되는 경우, 해당 특징점을 제외하고 계산을 수행할 수 있다. 즉, 스파스 포인트 및 카메라 정보 산출부(140)는 오차를 발생시킬 수 있는 식생 영역에 포함된 특징점을 제외하고 카메라의 정보 및 스파스 포인트 클라우드를 계산한다. 에러의 소스를 제거한 상태로 SfM을 수행하므로, 보다 정확한 값의 카메라의 정보 및 스파스 포인트 클라우드가 산출될 수 있다.

덴스 포인트 산출부(150)는 스파스 포인트, 상기 카메라의 정보 및 상기 식생 영역 식별정보에 기초하여 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드(Dense Point Cloud)를 산출한다. 덴스 포인트 산출부(150)는 Multi-View Stereopis를 통해 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드(Dense Point Cloud)를 산출한다.

도 7은 Multi-View Stereopis 과정을 설명하기 위한 예시도이다. 도 7에 도시된 바와 같이, 왼쪽 이미지 상에 존재하는 XL 픽셀은 그 자체로 대상 구조물의 3차원 위치를 결정할 수 없고, 점 X와 점 XL을 잊는 직선상의 어느 점이라도 같은 XL 픽셀을 생성하게 된다. 추가적인 이미지 (오른쪽 이미지)가 있는 경우, Multi-View Geometry 이론에 따라, 왼쪽 이미지 상의 점 XL와 점 X를 연결하는 직선이 오른쪽 이미지에 투영되는 직선(적색)을 알아 낼 수 있고, 그 적색 직선상의 픽셀들의 RGB값과 XL 픽셀의 RGB 값을 비교하여 가장 잘 부합하는 픽셀을 찾아낸다. 그러면, triangularization을 통하여 XL에 해당하는 공간상의 점을 특정할 수 있다. 이 과정을 Multi-View Stereopis라고 하고, 결과물로써 얻어지는 수많은 3차원 좌표들을 덴스 포인트 클라우드(Dense Point Cloud)라고 한다.

덴스 포인트 산출부(150)는 스파스 포인트 및 상기 카메라의 정보를 이용하여 덴스 포인트 클라우드(Dense Point Cloud)를 생성하되, 상기 식생 영역 식별정보를 더 고려할 수 있다. 구체적으로, 식생 영역 식별정보를 기초로 식생 영역에 해당하는 픽셀들을 제외하고 덴스 포인트 클라우드를 생성할 수 있다. 즉, 덴스 포인트 산출부(150)는 식생 영역 식별정보에 기초하여 식생이 있는 부분은 제외하고 절토사면 중 암석이 있는 영역만으로 구성된 덴스 포인트 클라우드를 생성할 수 있다. 여기서, 식생이 있는 공간은 덴스 포인트 클라우드가 생성되지 않으므로 빈 공간이 될 수 있다. 몇몇 실시예에서 식생에 해당하는 공간은 블랭크(검정색)로 처리되거나, 주변 암석이나 흙과 유사한 형태로 처리될 수도 있다.

입체 영상 생성부(160)는 덴스 포인트 클라우드(Dense Point Cloud)에 기초하여 절토 사면의 3차원 모델을 생성한다. 입체 영상 생성부(160)는 덴스 포인트 클라우드(Dense Point Cloud)에 기초하여 트라이앵귤러 매쉬(triangular mesh) 3차원 모델을 생성할 수 있다. 또한, 트라이앵귤러 매쉬 3차원 모델을 기초로 이미지 텍스쳐(textured) 3차원 모델을 생성할 수 있다.

본 발명의 일 실시예에 따른 3차원 모델 생성 시스템은 딥 러닝 기법을 사용하여 각 이미지에 대한 식생의 유무와 경계를 판단하여 식생에 대한 분리(Segmentation)을 수행하고, 이러한 식생 영역에 존재하는 특징점을 제외하여 SfM을 수행하여 식생에 따른 오차를 제거할 수 있다. 또한, 사면 안정성 해석에 있어 불필요한 정보에 해당하는 식생 영역에 해당하는 픽셀을 제외하여 절토사면의 3차원 모델을 생성하는 바, 안정성 해석 시의 사용자 혼란 및 이미지 처리의 복잡성이 감소될 수 있다.

이하, 본 발명의 다른 실시예에 따른 3차원 모델 생성 방법에 대해 설명하도록 한다.

도 8은 본 발명의 다른 실시예에 따른 3차원 모델 생성 방법의 개략적인 순서도를 도시한다. 상기 방법은 도 1의 시스템에서 수행될 수 있고, 본 실시예에 설명을 위해 도 1 내지 도 7이 참조될 수 있다.

도 8을 참조하면, 본 발명의 다른 실시예에 따른 3차원 모델 생성 방법은 절토사면을 서로 다른 위치에서 카메라로 촬영한 복수의 2차원 이미지를 수신하는 단계(S100); 상기 수신된 복수의 이미지를 딥 러닝을 통해 분석하여 상기 수신된 복수의 이미지 내의 식생 영역을 식별한 식생 영역 식별정보를 생성하는 단계(S110); 상기 복수의 이미지 각각에서 특징점을 추출하는 단계(S120); 상기 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭하여 특징점 관계 정보를 생성하는 단계(S130); 상기 특징점 관계 정보 및 상기 식생 영역 식별정보에 기초하여 복수의 이미지 각각의 추출된 특징점의 3차원 좌표 값인 스파스 포인트 클라우드(Sparse Point Cloud) 및 상기 카메라의 정보를 산출하는 단계(S140); 상기 스파스 포인트, 상기 카메라의 정보 및 상기 식생 영역 식별정보에 기초하여 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드(Dense Point Cloud)를 산출하는 단계(S150); 및 상기 덴스 포인트 클라우드(Dense Point Cloud)에 기초하여 절토 사면의 3차원 모델을 생성하는 단계(S160)를 포함한다.

먼저, 절토사면을 서로 다른 위치에서 카메라로 촬영한 복수의 2차원 이미지를 수신한다(S100). 본 단계(S100)는 3차원 모델 생성 시스템(10)의 이미지 수신부(100)에서 수행된다. 이미지 수신부(100)는 절토사면을 서로 다른 위치에서 카메라로 촬영한 복수의 2차원 이미지를 수신한다. 절토사면은 원거리에서 위치한 카메라에 의해 촬영될 수 있으며, 사진측량 기법을 위해 서로 다른 위치 또는 각도에서 촬영된 복수의 이미지가 생성될 수 있으며, 이미지 수신부(100)는 생성된 복수의 2차원 이미지를 수신한다.

다음으로, 수신된 복수의 이미지를 딥 러닝을 통해 분석하여 상기 수신된 복수의 이미지 내의 식생 영역을 식별한 식생 영역 식별정보를 생성한다(S110). 본 단계(S110)는 3차원 모델 생성 시스템(10)의 식생 영역 식별부(110)에서 수행된다. 식생 영역 식별부(110)는 딥 러닝을 통해 이미지를 분석하여 이미지 내의 식생 영역을 식별할 수 있다. 식생 영역 식별부(110)는 이미지 내의 식생 영역을 식별하는 학습된 식별 모델을 포함할 수 있다. 식별 모델은 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계 학습을 수행시키는, 인공 신경망(ANN, Artificial Neural Network)에 기반한 기계 학습 방법(딥 러닝, deep learning)을 통해서 생성된 식생 영역 식별 모델일 수 있다. 여기서, 본 실시예에 식생 영역 식별부(110)에 포함된 식별 모델은 입력층과 출력층 사이에 다중의 은닉층(hidden layer)이 존재하는 심층(deep) 신경망 모델, 동물의 시각 피질의 구조와 유사하게 뉴런 사이의 연결 패턴을 형성하는 컨볼루셔널(convolutional) 신경망 모델, 시간에 따라 매순간 신경망을 쌓아올리는 재귀(recurrent) 신경망 모델, 입력 집합에 대한 확률 분포를 학습할 수 있는 제한 볼츠만 머신(restricted Boltzmann machine) 중 하나의 딥 러닝 모델을 사용할 수 있다.

식생 영역 식별부(110)는 식생의 존재 여부, 식생의 위치 및 식생의 경계를 순차적으로 인식할 수 있다. 여기서, 식생은 절토사면에 생육하고 있는 식물의 집단으로 잎에 해당하는 영역뿐만 아니라 줄기까지 포함하는 것이다. 식생 영역 식별부(110)는 인식된 식생의 경계에 따라 식생 영역과 식생 영역에 해당하지 않는 비식생 영역(암석 영역)을 구분(segmentation)할 수 있으며, 식별된 식생의 영역에 대한 정보인 식생 영역 식별정보를 생성할 수 있다.

다음으로, 상기 복수의 이미지 각각에서 특징점을 추출한다(S120). 본 단계(S120)는 3차원 모델 생성 시스템(10)의 특징점 추출부(120)에서 수행된다. 특징점 추출부(120)는 복수의 이미지 각각에서 특징점(Feature point)을 추출할 수 있다. 여기서, 특징점은 각 이미지 사이의 관계를 규정하기 위한 이미지 상에 존재하는 포인트에 해당한다. 즉, 각 이미지 마다 특징점들이 추출될 수 있으며, 이들 간의 상호 관계를 이용하여 카메라의 위치, 방향 및 특징점들의 공간상의 위치가 추정될 수 있다.

다음으로, 상기 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭하여 특징점 관계 정보를 생성한다(S130). 본 단계(S130)는 3차원 모델 생성 시스템(10)의 특징점 매칭부(130)에서 수행된다. 특징점 매칭부(130)는 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭할 수 있다. 특징점 매칭부(130)는 복수의 이미지 내에 추출되는 특징점들 중에서 동일한 특징점이 어느 이미지의 어느 위치에 나타나는지 알아낼 수 있다. 즉, 특징점 매칭부(130)는 상기 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭하여 특징점 관계 정보를 생성할 수 있다.

상기 특징점 관계 정보 및 상기 식생 영역 식별정보에 기초하여 복수의 이미지 각각의 추출된 특징점의 3차원 좌표 값인 스파스 포인트 클라우드(Sparse Point Cloud) 및 상기 카메라의 정보를 산출한다(S140). 본 단계(S140)는 3차원 모델 생성 시스템(10)의 스파스 포인트 및 카메라 정보 산출부(140)에서 수행된다. 스파스 포인트 및 카메라 정보 산출부(140)는 특징점 관계 정보에 기초한 Multi-View Geometry를 활용하여 카메라의 정보 및 스파스 포인트 클라우드를 계산하여 추정한다. 스파스 포인트 및 카메라 정보 산출부(140) 2차원 이미지에서 추출된 특징점 사이의 관계 정보를 통해, 카메라 정보 및 3차원 공간상의 특정점을 추정할 수 있다. 카메라의 정보는 카메라의 내부 변수(초점거리)와 카메라의 외부 변수(카메라의 위치, 방향)을 포함한다. 스파스 포인트 및 카메라 정보 산출부(140)는 비선형 최적화를 통해 상술한 카메라의 정보 및 스파스 포인트 클라우드를 산출할 수 있다. 스파스 포인트 및 카메라 정보 산출부(140)는 식생 영역 식별정보에 더 기초, 고려하여 카메라의 정보 및 스파스 포인트 클라우드를 산출할 수 있다. 스파스 포인트 및 카메라 정보 산출부(140)는 비선형 최적화에 사용되는 특징점이 식생 영역에 포함되는 경우, 해당 특징점을 제외하고 계산을 수행할 수 있다.

상기 스파스 포인트, 상기 카메라의 정보 및 상기 식생 영역 식별정보에 기초하여 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드(Dense Point Cloud)를 산출한다(S150). 본 단계(S150)는 3차원 모델 생성 시스템(10)의 덴스 포인트 산출부(150)에서 수행된다. 덴스 포인트 산출부(150)는 스파스 포인트, 상기 카메라의 정보 및 상기 식생 영역 식별정보에 기초하여 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드(Dense Point Cloud)를 산출한다. 덴스 포인트 산출부(150)는 Multi-View Stereopis를 통해 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드(Dense Point Cloud)를 산출한다. 덴스 포인트 산출부(150)는 스파스 포인트 및 상기 카메라의 정보를 이용하여 덴스 포인트 클라우드(Dense Point Cloud)를 생성하되, 상기 식생 영역 식별정보를 더 고려할 수 있다. 구체적으로, 식생 영역 식별정보를 기초로 식생 영역에 해당하는 픽셀들을 제외하고 덴스 포인트 클라우드를 생성할 수 있다. 즉, 덴스 포인트 산출부(150)는 식생 영역 식별정보에 기초하여 식생이 있는 부분은 제외하고 절토사면 중 암석이 있는 영역만으로 구성된 덴스 포인트 클라우드를 생성할 수 있다.

상기 덴스 포인트 클라우드(Dense Point Cloud)에 기초하여 절토 사면의 3차원 모델을 생성한다(S160). 본 단계(S160)는 3차원 모델 생성 시스템(10)의 입체 영상 생성부(160)에서 수행된다. 입체 영상 생성부(160)는 덴스 포인트 클라우드(Dense Point Cloud)에 기초하여 절토 사면의 3차원 모델을 생성한다. 입체 영상 생성부(160)는 덴스 포인트 클라우드(Dense Point Cloud)에 기초하여 트라이앵귤러 매쉬(triangular mesh) 3차원 모델을 생성할 수 있다. 또한, 트라이앵귤러 매쉬(triangular mesh) 3차원 모델을 기초로 이미지 텍스쳐(textured) 3차원 모델을 생성할 수 있다.

본 발명의 일 실시예에 따른 3차원 모델 생성 방법은 딥 러닝 기법을 사용하여 각 이미지에 대한 식생의 유무와 경계를 판단하여 식생에 대한 분리(Segmentation)을 수행하고, 이러한 식생 영역에 존재하는 특징점을 제외하여 SfM을 수행하여 식생에 따른 오차를 제거할 수 있다. 또한, 사면 안정성 해석에 있어 불필요한 정보에 해당하는 식생 영역에 해당하는 픽셀을 제외하여 절토사면의 3차원 모델을 생성하는 바, 안정성 해석 시의 사용자 혼란 및 이미지 처리의 복잡성이 감소될 수 있다.

이상에서 설명한 실시예들에 따른 식생을 제거한 절토사면의 3차원 모델 생성 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 식생을 제거한 절토사면의 3차원 모델 생성 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 분석되어서는 안 되며, 해당 기술분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 3차원 모델 생성 시스템
100: 이미지 수신부
110: 식생 영역 식별부
120: 특징점 추출부
130: 특징점 매칭부
140: 스파스 포인트 및 카메라 정보 산출부
150: 덴스 포인트 산출부
160: 입체 영상 생성부

Claims (11)

1. 절토사면을 서로 다른 위치에서 카메라로 촬영한 복수의 이미지를 수신하는 이미지 수신부;
   수신된 복수의 이미지를 딥 러닝을 통해 분석하여 상기 수신된 복수의 이미지 내의 식생 영역을 식별한 식생 영역 식별정보를 생성하는 식생 영역 식별부;
   상기 복수의 이미지 각각에서 특징점을 추출하는 특징점 추출부;
   상기 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭하여 복수의 이미지 내에 추출되는 특징점들 중에서 동일한 특징점이 어느 이미지의 어느 위치에 나타나는지를 알 수 있게 되는 특징점 관계 정보를 생성하는 특징점 매칭부;
   상기 특징점 관계 정보 및 상기 식생 영역 식별정보에 기초하여 복수의 이미지 각각의 추출된 특징점의 3차원 좌표 값인 스파스 포인트 클라우드 및 카메라의 정보를 산출하는데, 2차원 이미지에서 추출된 특징점 사이의 관계 정보를 통해, 카메라의 초점거리, 카메라의 위치, 및 카메라의 방향을 포함하는 카메라 정보, 및 3차원 공간상의 특정점을 추정하여 비선형 최적화에 의해 스파스 포인트 클라우드 및 카메라의 정보를 산출하며, 비선형 최적화에 사용되는 특징점이 식생 영역에 포함되는 경우에는 해당 특징점을 제외하고 계산을 수행함으로써 식생 영역에 포함되는 특징점을 제외시킨 채로 스파스 포인트 클라우드 및 카메라의 정보를 산출하는 스파스 포인트 및 카메라 정보 산출부;
   상기 스파스 포인트, 상기 카메라의 정보, 및 상기 식생 영역 식별정보에 기초하여 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드를 산출하는 덴스 포인트 산출부; 및
   상기 덴스 포인트 클라우드에 기초하여 절토 사면의 3차원 모델을 생성하는 입체 영상 생성부를 포함하며;
   식생 영역 식별부는 이미지 내의 식생 영역을 식별하도록 학습된 식별 모델을 포함하는데, 상기 식별 모델은 컨볼루셔널 신경망 모델, 재귀 신경망 모델, 및 제한 볼츠만 머신 중 하나의 딥 러닝 모델이고;
   식생 영역 식별부는, 식생의 존재 여부, 식생의 위치 및 식생의 경계를 순차적으로 인식하며, 상기 인식된 식생의 경계에 따라 식생 영역과 비식생 영역을 구분하고, 상기 식생 영역에 대한 표시(마스크) 처리를 더 수행함으로써 상기 식생 영역 식별정보를 생성하며;
   덴스 포인트 산출부는, 상기 식생 영역 식별정보를 기초로 이미지에서 식생 영역에 해당하는 픽셀들을 제외하고 덴스 포인트 클라우드를 생성하는 것을 특징으로 하는 절토사면의 3차원 모델 생성 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 이미지 수신부, 식생 영역 식별부, 특징점 추출부, 특징점 매칭부, 스파스 포인트 및 카메라 정보 산출부, 덴스 포인트 산출부, 및 입체 영상 생성부를 포함하는 3차원 모델 생성 시스템을 이용하여 절토사면의 3차원 모델을 생성하는 방법으로서,
   절토사면을 서로 다른 위치에서 카메라로 촬영한 복수의 2차원 이미지를 이미지 수신부에서 수신하는 단계;
   식생 영역 식별부에서, 상기 수신된 복수의 이미지를 딥 러닝을 통해 분석하여 상기 수신된 복수의 이미지 내의 식생 영역을 식별한 식생 영역 식별정보를 생성하는 단계;
   특징점 추출부에서, 상기 복수의 이미지 각각에 대해 특징점을 추출하는 단계;
   특징점 매칭부에서, 상기 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭하여 복수의 이미지 내에 추출되는 특징점들 중에서 동일한 특징점이 어느 이미지의 어느 위치에 나타나는지를 알 수 있게 되는 특징점 관계 정보를 생성하는 단계;
   스파스 포인트 및 카메라 정보 산출부에서, 상기 특징점 관계 정보 및 상기 식생 영역 식별정보에 기초하여 복수의 이미지 각각의 추출된 특징점의 3차원 좌표 값인 스파스 포인트 클라우드 및 카메라의 정보를 산출하는데, 2차원 이미지에서 추출된 특징점 사이의 관계 정보를 통해, 카메라의 초점거리, 카메라의 위치, 및 카메라의 방향을 포함하는 카메라 정보, 및 3차원 공간상의 특정점을 추정하여 비선형 최적화에 의해 스파스 포인트 클라우드 및 카메라의 정보를 산출하며, 비선형 최적화에 사용되는 특징점이 식생 영역에 포함되는 경우에는 해당 특징점을 제외하고 계산을 수행함으로써 식생 영역에 포함되는 특징점을 제외시킨 채로 스파스 포인트 클라우드 및 카메라의 정보를 산출하는 단계;
   덴스 포인트 산출부에서, 상기 스파스 포인트, 상기 카메라의 정보, 및 상기 식생 영역 식별정보에 기초하여 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드를 산출하는 단계; 및
   입체 영상 생성부에서, 상기 덴스 포인트 클라우드에 기초하여 절토 사면의 3차원 모델을 생성하는 단계를 포함하며;
   식생 영역 식별부에서 수행되는 딥 러닝을 통한 분석은, 이미지 내의 식생 영역을 식별하도록 학습된 식별 모델을 이용하여 수행되는데, 상기 식별 모델은 컨볼루셔널 신경망 모델, 재귀 신경망 모델, 및 제한 볼츠만 머신 중 하나의 딥 러닝 모델이고;
   식생 영역 식별부에서 수행되는 식생 영역 식별정보의 생성 단계에서는, 식생의 존재 여부, 식생의 위치 및 식생의 경계를 순차적으로 인식하며, 상기 인식된 식생의 경계에 따라 식생 영역과 비식생 영역을 구분하고, 상기 식생 영역에 대한 표시(마스크) 처리를 더 수행함으로써 상기 식생 영역 식별정보를 생성하게 되고;
   덴스 포인트 산출부에서 수행되는 덴스 포인트 클라우드의 산출 단계에서는, 상기 식생 영역 식별정보를 기초로 이미지에서 식생 영역에 해당하는 픽셀들을 제외하고 덴스 포인트 클라우드를 생성하게 되는 것을 특징으로 하는 절토사면의 3차원 모델 생성방법.
   
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 하드웨어와 결합되어 제6항에 따른 절토사면의 3차원 모델 생성방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.

Images