KR102495954B1 - 2d 이미지를 이용한 3d 모델 생성 방법, 3d 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램 - Google Patents

2d 이미지를 이용한 3d 모델 생성 방법, 3d 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102495954B1
KR102495954B1 KR1020220084280A KR20220084280A KR102495954B1 KR 102495954 B1 KR102495954 B1 KR 102495954B1 KR 1020220084280 A KR1020220084280 A KR 1020220084280A KR 20220084280 A KR20220084280 A KR 20220084280A KR 102495954 B1 KR102495954 B1 KR 102495954B1
Authority
KR
South Korea
Prior art keywords
image
masking
model
inpainting
images
Prior art date
Application number
KR1020220084280A
Other languages
English (en)
Inventor
성동권
김병기
장호연
손영관
Original Assignee
주식회사 네오스펙트라
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 네오스펙트라 filed Critical 주식회사 네오스펙트라
Priority to KR1020220084280A priority Critical patent/KR102495954B1/ko
Application granted granted Critical
Publication of KR102495954B1 publication Critical patent/KR102495954B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 2D 이미지를 이용한 3D 모델 생성 방법, 3D 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램에 관한 것이다.
본 발명의 실시예에 따르면, 지형지물(地形地物)을 촬영한 복수의 원본 2D 이미지에 기초하여 지형지물의 3D 모델을 생성하되, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻고 이를 이용하여 3D 모델을 생성하도록 구성된 2D 이미지를 이용한 3D 모델 생성 방법, 3D 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램이 개시된다.

Description

2D 이미지를 이용한 3D 모델 생성 방법, 3D 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램 {3D model generation method using 2D image, 3D model generation system and computer program for the same}
본 발명은 2D 이미지를 이용한 3D 모델 생성 방법, 3D 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램에 관한 것으로서, 지형지물(地形地物)을 촬영한 복수의 원본 2D 이미지에 기초하여 지형지물의 3D 모델을 생성하되, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻고 이를 이용하여 3D 모델을 생성하도록 구성된 2D 이미지를 이용한 3D 모델 생성 방법, 3D 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램에 관한 것이다.
최근 현실세계의 지형지물(地形地物), 기계, 장비 또는 사물 등을 컴퓨터 속 가상세계에 구현한 디지털 트윈 기술의 사용이 확산되고 있다. 디지털 트윈 기술은 실제 제품을 만들기 전 모의시험을 통해 발생할 수 있는 문제점을 파악하고 이를 해결하기 위해 활용될 수 있다.
일예로, 현실세계의 지형지물을 가상세계에 구현한 디지털 트윈의 경우, 드론이나 항공기를 활용한 자료(2D 이미지) 취득, 자료 처리, 3D 객체화, 검수의 과정을 거쳐 구축하게 된다.
그런데, 디지털 트윈의 구축 과정에서, 드론이나 항공기를 활용한 자료 취득시에 구름이나 빛 반사가 발생된 경우 재촬영을 하여야 하고, 움직이는 객체(예, 자동차, 사람, 바람에 흔들리는 식생(가로수 등))가 촬영 이미지에 포함된 경우에 3D 객체화의 결과 수준이 매우 떨어져 자료 취득 또는 자료 처리를 다시 하여야 한다.
이렇게 자료 취득 또는 자료 처리를 다시 하는 경우, 많은 시간과 비용이 소요되므로 디지털 트윈의 구축에 큰 방해 요인이 되고 있다.
한편, 움직이는 객체(예, 자동차, 사람, 바람에 흔들리는 식생(가로수 등))가 촬영 이미지에 포함된 경우에 불필요한 객체까지 3D 객체화하여 결과물인 3D 모델의 수준이 떨어지므로, 이를 방지하기 위해 통상적으로 자료 처리 과정에서 작업자의 수작업을 통해 각각의 원본 2D 이미지에 포함된 움직이는 객체를 삭제 처리하는 작업을 하고 있다.
그런데, 2D 이미지 자료를 3D 모델화하기 위해서는, 예를 들어 1개의 객체(예, 건물, 시설물 등)를 기준으로 30~50장(실감도를 위해서는 더 많이 찍을수록 좋음)의 2D 이미지가 필요하므로, 30~50장의 2D 이미지에 대한 자료 처리 과정에서 상당한 수작업이 필요하게 된다.
더욱이 자료 처리 과정을 거쳐 3D 객체화를 완료한 이후에, 검수 과정에서 결과물인 3D 모델에 오류가 발견된 경우에 다시 수작업인 자료 처리 과정으로 돌아가야 하므로, 작업 효율성이 떨어지는 한계점이 있었다.
대한민국 등록특허 10-2358337 (2022년01월27일) 대한민국 등록특허 10-2199940 (2021년01월04일)
본 발명은 상기와 같은 문제점을 감안하여 안출한 것으로서, 지형지물(地形地物)을 촬영한 복수의 원본 2D 이미지에 기초하여 지형지물의 3D 모델을 생성하되, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻고 이를 이용하여 3D 모델을 생성하도록 구성된 2D 이미지를 이용한 3D 모델 생성 방법, 3D 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
상기 목적을 감안한 본 발명의 일 측면에 따르면, 3D 모델 생성 시스템에서 2D 이미지를 이용하여 3D 모델을 생성하는 방법으로서, 1) 복수의 원본 2D 이미지를 입력받는 단계- 상기 원본 2D 이미지는 항공 촬영된 지형지물(地形地物)의 이미지이며, 상기 복수의 원본 2D 이미지는 하나의 지리적 지점에 대해 서로 다른 방향에서 촬영한 2 이상의 원본 2D 이미지를 포함함-; 2) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 상기 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻는 단계; 및 3) 상기 2)단계의 결과로 얻어진 복수의 인페인팅 2D 이미지에 기초하여 상기 지형지물의 3D 모델을 생성하는 단계;를 포함하여 구성된 2D 이미지를 이용한 3D 모델 생성 방법이 개시된다.
바람직하게, 상기 2)단계는, 21) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 이미지 세그멘테이션 처리를 통해 상기 복수의 원본 2D 이미지의 각각에서 3D 모델에 미포함 대상으로 분류되는 객체를 탐지하고 마스킹 처리한 마스킹 2D 이미지를 얻는 단계; 및 22) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 각각의 마스킹 2D 이미지에 인페인팅 처리를 실행하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻는 단계;를 포함하여 구성된다.
본 발명의 또다른 일 측면에 따르면, 하나 이상의 명령을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고, 상기 프로세서는, 복수의 원본 2D 이미지를 입력받고- 상기 원본 2D 이미지는 항공 촬영된 지형지물(地形地物)의 이미지이며, 상기 복수의 원본 2D 이미지는 하나의 지리적 지점에 대해 서로 다른 방향에서 촬영한 2 이상의 원본 2D 이미지를 포함함-; 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 상기 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻으며; 상기 얻어진 복수의 인페인팅 2D 이미지에 기초하여 상기 지형지물의 3D 모델을 생성하는 것;을 특징으로 하는 3D 모델 생성 시스템이 개시된다.
본 발명의 또다른 일 측면에 따르면, 3D 모델 생성 시스템에서 2D 이미지를 이용한 3D 모델 생성 방법을 실행하도록 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 2D 이미지를 이용한 3D 모델 생성 방법은, 복수의 원본 2D 이미지를 입력받는 단계- 상기 원본 2D 이미지는 항공 촬영된 지형지물(地形地物)의 이미지이며, 상기 복수의 원본 2D 이미지는 하나의 지리적 지점에 대해 서로 다른 방향에서 촬영한 2 이상의 원본 2D 이미지를 포함함-; 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 상기 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻는 단계; 및 상기 2)단계의 결과로 얻어진 복수의 인페인팅 2D 이미지에 기초하여 상기 지형지물의 3D 모델을 생성하는 단계;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 프로그램이 개시된다.
이와 같은 본 발명은, 지형지물(地形地物)을 촬영한 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻고 이를 이용하여 3D 모델을 생성하도록 구성됨으로써, 지형지물의 3D 모델을 간편하게 생성하는 장점이 있다.
도 1은 본 발명의 실시예에 따른 3D 모델 생성 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 3D 모델 생성 시스템의 하드웨어 관점의 구성도이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 3D 모델 생성 방법의 흐름도이다.
도 5 내지 도 6은 본 발명의 또다른 실시예에 따른 3D 모델 생성 방법의 흐름도이다.
도 7 내지 도 11은 본 발명의 실시예에 따른 3D 모델 생성 방법을 설명하기 위한 모식도이다.
도 12는 본 발명의 실시예에 따른 검증 모드를 설명하기 위한 모식도이다.
본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다.
본 출원에서 사용한 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서에 기재된 구성요소 또는 이들의 조합이 존재하는 것을 표현하려는 것이지, 다른 구성요소 또는 특징이 존재 또는 부가될 가능성을 미리 배제하는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 3D 모델 생성 시스템의 구성도, 도 2는 본 발명의 실시예에 따른 3D 모델 생성 시스템의 하드웨어 관점의 구성도이다.
본 실시예의 3D 모델 생성 시스템(100)은 지형지물(地形地物)을 촬영한 복수의 원본 2D 이미지에 기초하여 지형지물의 3D 모델을 생성하되, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻고 이를 이용하여 3D 모델을 생성한다.
본 실시예의 3D 모델 생성 시스템(100)은 기능적 관점에서, 항공 촬영된 지형지물(地形地物)이 포함된 원본 2D 이미지를 입력 및 저장 관리하는 2D 이미지 관리 모듈(101); 훈련된 딥러닝 모델 또는 머신러닝 모델을 포함하며, 이미지 세그멘테이션 처리를 통해 상기 복수의 원본 2D 이미지의 각각에서 3D 모델에 미포함 대상으로 분류되는 객체를 탐지하고 마스킹 처리한 마스킹 2D 이미지를 얻는 마스킹 2D 이미지 생성 모듈(102); 훈련된 딥러닝 모델 또는 머신러닝 모델을 포함하며, 각각의 마스킹 2D 이미지에 인페인팅 처리를 실행하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻는 인페인팅 2D 이미지 생성 모듈(103); 복수의 인페인팅 2D 이미지에 기초하여 상기 지형지물의 3D 모델을 생성하는 3D 모델 생성 모듈(104);을 포함한다.
또한, 본 실시예의 3D 모델 생성 시스템(100)은 기능적 관점에서, 3D 모델에 미포함 대상으로 분류되는 객체가 마스킹 처리에서 누락된 제1 오류 케이스와, 3D 모델에 미포함 대상으로 분류되지 않는 객체가 마스킹 처리에 포함된 제2 오류 케이스와, 인페인팅 2D 이미지가 얻어진 마스킹 2D 이미지에서 마스킹 처리된 객체가 인페인팅 2D 이미지에서 비정상적으로 인페인팅 처리된 제3 오류 케이스를 사용자가 시각적으로 확인 처리 가능하도록 하는 검증 모듈(105); 상기 제1 내지 제3 오류 케이스에 관한 통계 정보를 생성하는 통계 모듈(106); 상기 제1 내지 제3 오류 케이스가 확인된 이미지에 대한 오류 수정 모드를 제공하는 오류 수정 모듈(107); 3D 모델 생성 프로세스와 관련된 각종 정보의 입력/출력 처리 기능을 제공하고 관리자 모드를 포함하여 전반적인 시스템 관리 기능을 제공하는 운영 모듈(108);을 포함한다.
또한 본 실시예의 3D 모델 생성 시스템(100)은, 2D 이미지 관리 모듈(101)을 통해 입력된 원본 2D 이미지를 저장 및 갱신 관리하는 2D 이미지 저장소(111); 마스킹 2D 이미지 생성 모듈(102)을 통해 생성된 마스킹 2D 이미지를 저장 및 갱신 관리하는 마스킹 2D 이미지 저장소(112); 인페인팅 2D 이미지 생성 모듈(103)을 통해 생성된 인페인팅 2D 이미지를 저장 및 갱신 관리하는 인페인팅 2D 이미지 저장소(113); 3D 모델 생성 모듈(104)을 통해 생성된 3D 모델에 관한 데이터를 저장 및 갱신 관리하는 3D 모델 저장소(114); 통계 모듈(106)에서 생성한 통계 정보를 저장 및 갱신 관리하는 통계 정보 저장소(115);를 포함한다.
일예로, 3D 모델 생성 시스템(100)의 데이터 입출력 인터페이스(6)를 통해 입력된 원본 2D 이미지의 이미지 파일은 2D 이미지 관리 모듈(101)을 통해 이미지 식별 정보가 부여되고 이미지의 왜곡 보정 처리 등을 포함하는 전처리가 이뤄질 수 있다.
일예로, 마스킹 2D 이미지 생성 모듈(102)을 구성하는 딥러닝 모델 또는 머신러닝 모델은 공지의 이미지 세그멘테이션(Image segmentation) 모델이 사용될 수 있으며, 예를 들어 공지의 시맨틱 세그멘테이션(Semantic segmentation) 모델 또는 인스턴스 세그멘테이션(Instance segmentation) 모델이 사용될 수 있다.
이미지 세그멘테이션은 이미지의 영역을 분할해서 각각의 객체에 맞게 합쳐주는 기법을 말하며, 시맨틱 세그멘테이션은 객체 세그멘테이션을 하되 동일한 클래스(class)인 객체들은 동일한 영역 또는 컬러로 분할하는 것이며, 인스턴스 세그멘테이션은 동일한 클래스인 경우에도 서로 다른 인스턴스로 구분해주는 것이다.
일예로 본 실시예의 이미지 세그멘테이션은 공지의 R-CNN(Regions with Convolutional Neuron Networks features) 또는 DCNN(Deep Convolutional Neural Network)에 기반할 수 있으며, 이에 한정되지는 않는다.
R-CNN은 이미지 분류(Image classification)를 수행하는 CNN과 localization을 위한 regional proposal 알고리즘을 연결한 모델로서, R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 등의 모델이 알려져 있다. 일예로, Mask R-CNN을 이용하면 객체 감지뿐만 아니라 객체를 포함하는 그레이 스케일 또는 이진 마스크를 얻을 수 있다.
DCNN은 컨볼루션(Convolutional)과 폴링(Pooling)의 두가지 유형의 계층이 번갈아 사용되는 모델로서, 이미지 세그멘테이션에 사용된다. 공간 피라미드 풀링(Spatial Pyramid Pooling, SPP) 모듈을 적용하는 경우 네트워크의 고정 크기 제약을 제거하여 이미지 세그멘테이션을 실행할 수 있다. 일예로, DCNN 계열의 모델로서 DeepLabv3 모델, DeepLabv3+ 모델 등이 알려져 있다.
일예로, 이미지 세그멘테이션에 의해 복수의 원본 2D 이미지의 각각에서 3D 모델에 미포함 대상으로 분류되는 객체를 탐지하고 객체 영역을 마스킹 처리하면 마스킹 2D 이미지를 얻을 수 있다. 일예로, 마스킹 처리는 Mask R-CNN 모델과 같이 이미지 세그멘테이션 모델에서 객체 탐지와 함께 이뤄질 수 있으며, 다른예로, 이미지 세그멘테이션 모델에서 객체 탐지가 이뤄진 후 탐지된 객체에 대해 별도의 마스킹 프로세스가 이뤄지도록 구성될 수도 있다.
일예로, 3D 모델에 미포함 대상으로 분류되는 객체는 지형지물에 해당하지 않아 지형지물의 3D 모델 형태로 구현되는 디지털 트윈 서비스에 있어서 포함될 필요가 없는 객체(예, 자동차, 사람, 구름, 그림자, 자전거, 가로수 등)로 볼 수 있으며, 3D 모델 생성 시스템(100)의 설정에 의해 정해질 수 있다. 예를 들어, 자동차, 사람, 그림자, 자전거, 바람에 흔들리는 가로수 등의 객체는 움직임이 발생하는 객체이므로, 3D 모델의 시각화 수준을 저하시키는 요인이 된다. 구름 등의 객체는 빛 반사가 발생하는 객체이므로, 원본 2D 이미지 취득 시에 이미지의 수준을 저하시키며 결과적으로 3D 모델의 시각화 수준을 저하시키는 요인이 된다. 그러므로, 이러한 객체들은 3D 모델에 포함되지 않도록 삭제 처리하는 것이 좋다.
본 실시예에서, 마스킹 2D 이미지 생성 모듈(102)을 구성하는 딥러닝 모델 또는 머신러닝 모델은 다수의 학습용 이미지에 포함된 객체 중에서 3D 모델에 미포함 대상으로 분류되는 객체를 탐지하도록 훈련된다.
일예로, 인페인팅 2D 이미지 생성 모듈(103)을 구성하는 딥러닝 모델 또는 머신러닝 모델은 공지의 Generative Adversarial Networks(GANs) 모델이 사용될 수 있으며, 이에 한정되지는 않는다.
이미지 인페인팅은 이미지 복원 기술의 하나로서, 이미지 내부의 훼손된 영역을 의미적, 인지적으로 자연스럽게 생성하는 기술이며, 생성하고자 하는 영역의 인접정보가 전방향으로 존재하는 경우에 사용된다.
이미지 복원 기술들은 Generative Adversarial Networks(GANs) 기법이 제안된 이래로 많은 성능 향상이 있었다. GANs은 적대적 생성 신경망으로써, generator를 통하여 생성된 이미지를 discriminator가 진위여부를 판별하는 형태로 구성되어 있다. Generator는 discriminator가 판별할 수 없는 수준의 이미지를 생성해내고, discriminator는 생성 이미지의 진위여부를 판별하는 능력을 강화하는 형태로 적대적인 학습방법을 사용하는 방법이다. 일예로, GANs 계열의 모델로서 DCGANs(deep convolutional generative adversarial networks), WGANs(Wasserstein generative adversarial networks) 등이 알려져 있다. 일예로, 본 실시예의 인페인팅 2D 이미지 생성 모듈(103)로서 LaMa(Resolution-robust Large Mask Inpainting with Fourier Convolutions) 등이 사용될 수도 있다.
일예로, 3D 모델 생성 모듈(104)은 2D 이미지를 3D 모델로 매핑하는 공지의 2D-3D 변환 프로그램이 사용될 수 있다. 일예로, 이러한 종류의 상용 제품으로서 DJI Terra 등이 있으며, 이에 한정되지는 않는다.
도 2를 참조하면 하드웨어적 관점에서, 본 실시예의 3D 모델 생성 시스템(100)은 하나 이상의 명령을 저장하는 메모리(2) 및 상기 메모리(2)에 저장된 상기 하나 이상의 명령을 실행하는 프로세서(4)를 포함하며, 2D 이미지를 이용한 3D 모델 생성 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램이 실행되는 컴퓨팅 장치이다. 본 실시예의 3D 모델 생성 시스템(100)은 데이터 입출력 인터페이스(6)와 통신 인터페이스(8), 데이터 표시 수단(3), 데이터 저장 수단(5)을 포함할 수 있다.
도 3 내지 도 4는 본 발명의 실시예에 따른 3D 모델 생성 방법의 흐름도, 도 7 내지 도 11은 본 발명의 실시예에 따른 3D 모델 생성 방법을 설명하기 위한 모식도이다.
1)단계에서 3D 모델 생성 시스템(100)은, 복수의 원본 2D 이미지를 입력받는다.
바람직하게, 상기 원본 2D 이미지는 항공 촬영된 지형지물(地形地物)의 이미지이며, 상기 복수의 원본 2D 이미지는 하나의 지리적 지점에 대해 서로 다른 방향에서 촬영한 2 이상의 원본 2D 이미지를 포함한다.
일예로, 하나의 건물을 중심으로 주변의 지형지물의 이미지를 포함하여 3D 모델을 생성하고자 하는 경우, 다양한 방향에서 촬영되어 해당 건물이 포함된 원본 2D 이미지가 30~50장 정도 준비되는 것이 좋다. 3D 모델의 시각화 수준을 높이기 위해서는 더 많은 이미지를 이용하는 것이 좋지만, 시간 및 비용 관점을 감안하여 30~50장 정도를 사용할 수 있다. 도 7은 다양한 방향에서 촬영된 2 이상의 원본 2D 이미지를 예시한다.
2)단계에서 3D 모델 생성 시스템(100)은, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 상기 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻는다.
바람직하게, 상기 2)단계는 다음과 같은 상세 구성을 갖는다.
21)단계에서 3D 모델 생성 시스템(100)은, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 이미지 세그멘테이션 처리를 통해 상기 복수의 원본 2D 이미지의 각각에서 3D 모델에 미포함 대상으로 분류되는 객체를 탐지하고 마스킹 처리한 마스킹 2D 이미지를 얻는다.
도 8은 3 대의 자동차 객체가 포함된 원본 2D 이미지에서 이미지 세그멘테이션 처리를 통해 각각의 자동차 객체가 마스킹 처리된 마스킹 2D 이미지를 얻는 과정을 예시한다. 도 8의 빨간색 원은 객체 또는 마스킹 위치를 설명하기 위해 편의상 부기된 것이다.
22)단계에서 3D 모델 생성 시스템(100)은, 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 각각의 마스킹 2D 이미지에 인페인팅 처리를 실행하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻는다. 이를 위해, 3D 모델 생성 시스템(100)은 21)단계에서 마스킹 처리된 마스킹 2D 이미지의 마스킹 영역에 인페인팅 처리를 실행한다.
도 9는 3 대의 자동차 객체의 마스킹 영역이 포함된 마스킹 2D 이미지에서 인페인팅 처리를 통해 3 대의 자동차 객체의 마스킹 영역이 인페인팅 처리를 통해 삭제된 인페인팅 2D 이미지를 얻는 과정을 예시한다. 도 9의 빨간색 원은 객체 또는 마스킹 위치를 설명하기 위해 편의상 부기된 것이다.
3)단계에서 3D 모델 생성 시스템(100)은, 상기 2)단계의 결과로 얻어진 복수의 인페인팅 2D 이미지에 기초하여 상기 지형지물의 3D 모델을 생성한다.
도 10은 자동차 객체가 인페인팅 처리에 의해 삭제된 인페인팅 2D 이미지에 기초하여 자동차 객체가 삭제된 상태로 생성된 3D 모델을 예시한다.
만일, 자동차 객체가 마스킹 및/또는 인페인팅 처리되지 않는다면, 자동차 객체가 포함된 상태로 3D 모델이 생성된다. 도 11은 자동차 객체가 포함된 상태로 생성된 3D 모델을 예시한다.
본 실시예의 3D 모델 생성 시스템(100)은 마스킹 검증 모드를 통해 마스킹 처리 중에 발생한 오류 케이스를 검증할 수 있다.
이를 위해, 상기 2)단계 이후에, P1)단계에서 3D 모델 생성 시스템(100)은, 미리 설정된 기준에 의해 샘플링된 하나 이상의 마스킹 2D 이미지의 각각을 대상으로, 3D 모델에 미포함 대상으로 분류되는 객체(예, 자동차, 사람, 구름, 그림자, 자전거, 가로수 등)가 마스킹 처리에서 누락된 제1 오류 케이스와, 3D 모델에 미포함 대상으로 분류되지 않는 객체(예, 창고, 고정식 시설물 등)가 마스킹 처리에 포함된 제2 오류 케이스를 사용자가 시각적으로 확인하고 확인 결과를 사용자 입력할 수 있는 마스킹 검증 모드를 제공한다.
마스킹 검증 모드의 목적은 상기 21)단계를 실행하는 딥러닝 모델 또는 머신러닝 모델에서 얼마 만큼의 오류가 발생하는지를 통계적으로 파악하고, 파악된 통계 정보에 기초하여 오류가 감소하도록 튜닝 조건 변경 등을 통해 상기 21)단계를 실행하는 딥러닝 모델 또는 머신러닝 모델의 성능을 향상 관리하기 위함이다.
바람직하게, 상기 마스킹 검증 모드는 마스킹 확인 모드와 마스킹 검증 정보 입력 모드를 포함하여 구성된다.
상기 마스킹 확인 모드는 샘플링된 각각의 마스킹 2D 이미지와, 상기 각각의 마스킹 2D 이미지가 얻어진 각각의 원본 2D 이미지를 시각적으로 대조 가능한 상태를 사용자에게 제공한다.
상기 마스킹 검증 모드에서는 모든 마스킹 2D 이미지에 대해 검증하는 것이 바람직하지만, 그렇게 하는 경우 너무 많은 양의 마스킹 2D 이미지에 대해 검증이 이뤄져야 하므로 검증 작업이 실질적으로 곤란할 수 있다. 이를 감안하여, 3D 모델 생성 시스템(100)에 적절한 샘플링 비율(예, 1% 또는 2%, 3%, 4%, 5% 등)을 설정하고 검증이 필요한 전체 마스킹 2D 이미지 중 일부만 샘플링하여, 샘플링된 마스킹 2D 이미지에 대해 검증 모드를 제공할 수 있다. 일예로, 샘플링 비율은 전체 마스킹 2D 이미지의 수량을 감안하여 가변적으로 설정될 수도 있다.
샘플링은 위한 미리 설정된 기준은, 예를 들어, 샘플링 방법(예, 무작위, 일정 주기별 샘플링), 샘플링 비율, 샘플링 수량 등을 포함할 수 있다.
상기 마스킹 검증 정보 입력 모드는 상기 각각의 마스킹 2D 이미지에 대해, 상기 제1 오류 케이스와 상기 제2 오류 케이스에 관한 확인 결과를 사용자 입력 가능하도록 한다.
도 12는 본 발명의 실시예에 따른 검증 모드를 설명하기 위한 모식도로서, 3D 모델 생성 시스템(100)의 디스플레이에 표시된 검증 모드 화면을 예시한다.
도 12의 검증 모드 화면(10)에는 기초 이미지 서브 화면(11)과 비교 이미지 서브 화면(12)이 표시되며, 각각의 서브 화면 아래에 기초 이미지의 식별 정보 화면(13)과 비교 이미지의 식별 정보 화면(14)이 표시된다. 각각의 식별 정보 화면(13,14)에는 각각의 이미지의 이미지 식별 정보(예, 시스템에서 부여된 이미지 번호)가 표시된다. 이미지 식별 정보를 통해 이미지 검색, 로딩, 저장이 가능하다.
도 12의 검증 모드 화면(10)에는 기초 이미지 서브 화면(11) 또는 비교 이미지 서브 화면(12) 내의 객체 선택 입력을 위한 객체 선택 메뉴(15)와, 선택된 객체의 해제 입력을 위한 객체 해제 메뉴(16)가 표시된다. 객체 선택을 위해 기초 이미지 서브 화면(11) 및/또는 비교 이미지 서브 화면(12) 내에서 객체 선택용 화살표(20)를 사용자 인터페이스의 입력을 통해 이동시킬 수 있다.
일예로, 마스킹 확인 모드에서 기초 이미지 서브 화면(11)에는 하나의 원본 2D 이미지가 표시되며, 비교 이미지 서브 화면(12)에는 이에 상응하는 마스킹 2D 이미지가 표시된다.
상기 마스킹 검증 정보 입력 모드에서, 사용자는 표시된 원본 2D 이미지 또는 마스킹 2D 이미지에 대해 상기 제1 오류 케이스 또는 상기 제2 오류 케이스에 해당하는 객체를 객체 선택 메뉴(15)를 통해 선택 입력하고 오류 확인 메뉴(17)를 통해 오류 여부를 입력할 수 있다. 오류 여부의 입력 시에는 해당 오류가 제1 오류 케이스인지 또는 제2 오류 케이스인지를 구분하여 입력할 수 있다.
본 실시예의 3D 모델 생성 시스템(100)은 마스킹 검증 모드에서 확인된 오류 케이스에 대한 통계 정보를 생성할 수 있다.
이를 위해, 상기 P1)단계 이후에, P11)단계에서 3D 모델 생성 시스템(100)은, 상기 샘플링된 마스킹 2D 이미지와 관련하여, 상기 제1 오류 케이스와 상기 제2 오류 케이스에 관한 통계 정보를 생성한다.
일예로, 샘플링된 마스킹 2D 이미지가 총 100개이고, 상기 제1 오류 케이스가 10건이고 상기 제2 오류 케이스가 8건인 경우, 제1 오류 케이스의 발생 비율이 10%이고 상기 제2 오류 케이스의 발생 비율이 8%인 것으로 통계 정보를 생성할 수 있다.
본 실시예의 3D 모델 생성 시스템(100)은 인페인팅 검증 모드를 통해 인페인팅 처리 중에 발생한 오류 케이스를 검증할 수 있다.
이를 위해, 상기 P1)단계 이후에, P2)단계에서 3D 모델 생성 시스템(100)은, 미리 설정된 기준에 의해 샘플링된 하나 이상의 인페인팅 2D 이미지의 각각을 대상으로, 인페인팅 2D 이미지가 얻어진 마스킹 2D 이미지에서 마스킹 처리된 객체가 인페인팅 2D 이미지에서 비정상적으로 인페인팅 처리된 제3 오류 케이스를 사용자가 시각적으로 확인하고 확인 결과를 사용자 입력할 수 있는 인페인팅 검증 모드를 제공한다.
인페인팅 검증 모드의 목적은 상기 22)단계를 실행하는 딥러닝 모델 또는 머신러닝 모델에서 얼마 만큼의 오류가 발생하는지를 통계적으로 파악하고, 파악된 통계 정보에 기초하여 오류가 감소하도록 튜닝 조건 변경 등을 통해 상기 22)단계를 실행하는 딥러닝 모델 또는 머신러닝 모델의 성능을 향상 관리하기 위함이다.
상기 인페인팅 검증 모드에서는 모든 인페인팅 2D 이미지에 대해 검증하는 것이 바람직하지만, 그렇게 하는 경우 너무 많은 양의 인페인팅 2D 이미지에 대해 검증이 이뤄져야 하므로 검증 작업이 실질적으로 곤란할 수 있다. 이를 감안하여, 3D 모델 생성 시스템(100)에 적절한 샘플링 비율(예, 1% 또는 2%, 3%, 4%, 5% 등)을 설정하여 검증이 필요한 전체 인페인팅 2D 이미지 중 일부만 샘플링하여, 샘플링된 인페인팅 2D 이미지에 대해 검증 모드를 제공할 수 있다. 일예로, 샘플링 비율은 전체 인페인팅 2D 이미지의 수량을 감안하여 가변적으로 설정될 수도 있다.
샘플링은 위한 미리 설정된 기준은, 예를 들어, 샘플링 방법(예, 무작위, 일정 주기별 샘플링), 샘플링 비율, 샘플링 수량 등을 포함할 수 있다.
한편, 제1 오류 케이스 또는 제2 오류 케이스를 포함한 마스킹 2D 이미지에 기초하여 얻어진 인페인팅 2D 이미지를 검증하는 경우, 해당 인페인팅 2D 이미지에 오류가 포함되어 있더라도, 해당 오류가 인페인팅 과정에서 발생한 오류인지 또는 마스킹 과정에서 발생한 오류인지 명확하게 구분되지 않을 수 있다.
이를 감안하여 바람직하게, 상기 미리 설정된 기준에 의해 샘플링된 하나 이상의 인페인팅 2D 이미지는, 상기 P1)단계에서 상기 제1 오류 케이스 및 상기 제2 오류 케이스를 모두 포함하지 않은 것으로 확인된 마스킹 2D 이미지에 기초하여 얻어진 인페인팅 2D 이미지 중에서 샘플링된다.
일예로, 비정상적으로 인페인팅 처리된 제3 오류 케이스는 도로 위의 자동차 객체의 마스킹 영역에 인페인팅 처리를 했는데, 도로 모양으로 이미지 복원 처리되지 않고 횡단보도, 인도 또는 건물 지붕 모양으로 이미지 복원 처리된 경우를 예로 들 수 있다. 예를 들어, 원본 2D 이미지에서 자동차 객체가 있었던 도로 영역이 이미지 복원 처리되었는데, 복원된 영역 중 미리 설정된 기준(예, 50%) 이상의 영역이 도로 영역이 아닌 다른 이미지(예, 횡단보도, 인도 또는 건물 지붕)로 복원 처리된 경우에는 해당 복원 처리 영역을 제3 오류 케이스로 판단할 수 있다.
바람직하게, 상기 인페인팅 검증 모드는 인페인팅 확인 모드와 인페인팅 검증 정보 입력 모드를 포함하여 구성된다.
상기 인페인팅 확인 모드는 샘플링된 각각의 인페인팅 2D 이미지와, 상기 각각의 인페인팅 2D 이미지가 얻어진 각각의 마스킹 2D 이미지를 시각적으로 대조 가능한 상태를 사용자에게 제공한다.
상기 인페인팅 검증 정보 입력 모드는 상기 각각의 인페인팅 2D 이미지에 대해, 상기 제3 오류 케이스에 관한 확인 결과를 사용자 입력 가능하도록 한다.
도 12를 참조하여 예시 설명하면, 인페인팅 확인 모드에서 기초 이미지 서브 화면(11)에는 하나의 마스킹 2D 이미지가 표시되며, 비교 이미지 서브 화면(12)에는 이에 상응하는 인페인팅 2D 이미지가 표시된다.
상기 인페인팅 검증 정보 입력 모드에서, 사용자는 표시된 마스킹 2D 이미지 또는 인페인팅 2D 이미지에 대해 상기 제3 오류 케이스에 해당하는 객체를 객체 선택 메뉴(15)를 통해 선택 입력하고 오류 확인 메뉴(17)를 통해 오류 여부를 입력할 수 있다. 오류 여부의 입력 시에는 해당 오류가 제3 오류 케이스인지 여부를 구분하여 입력할 수 있다.
본 실시예의 3D 모델 생성 시스템(100)은 인페인팅 검증 모드에서 확인된 오류 케이스에 대한 통계 정보를 생성할 수 있다.
이를 위해, 상기 P2)단계 이후에, P21)단계에서 3D 모델 생성 시스템(100)은, 상기 샘플링된 인페인팅 2D 이미지와 관련하여, 상기 제3 오류 케이스에 관한 통계 정보를 생성한다.
일예로, 샘플링된 인페인팅 2D 이미지가 총 50개이고, 상기 제3 오류 케이스가 4건인 경우, 제3 오류 케이스의 발생 비율이 8%인 것으로 통계 정보를 생성할 수 있다.
도 5 내지 도 6은 본 발명의 또다른 실시예에 따른 3D 모델 생성 방법의 흐름도이다.
본 실시예의 3D 모델 생성 시스템(100)은 오류 케이스의 발생 비율에 기초하여 딥러닝 모델 또는 머신러닝 모델의 튜닝 조건을 변경하도록 제어할 수 있다(도 6의 P3 단계).
일예로, 상기 튜닝 조건은 딥러닝 모델 또는 머신러닝 모델의 구성에 필요한 뉴런의 개수, 활성화 함수의 종류, 훈련 에포크의 크기, 최적화 방법의 종류 중의 적어도 어느 하나일 수 있으며, 이외에도 딥러닝 모델 또는 머신러닝 모델의 성능 및/또는 오류에 영향을 주는 다양한 설정값 및 설정 조건을 포함할 수 있다.
일예로, 상기 P2)단계 이후에 3D 모델 생성 시스템(100)은, 상기 샘플링된 마스킹 2D 이미지와 관련하여 상기 제1 오류 케이스와 상기 제2 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하는 경우에 마스킹 2D 이미지를 얻는데 이용한 딥러닝 모델 또는 머신러닝 모델의 튜닝 조건을 변경하도록 안내 메시지를 출력할 수 있다.
다른예로, 상기 P2)단계 이후에 3D 모델 생성 시스템(100)은, 상기 샘플링된 인페인팅 2D 이미지와 관련하여 상기 제3 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하는 경우에 인페인팅 2D 이미지를 얻는데 이용한 딥러닝 모델 또는 머신러닝 모델의 튜닝 조건을 변경하도록 안내 메시지를 출력할 수 있다.
일예로, 제3 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하는지 여부는, 제1 오류 케이스 및/또는 제2 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하는지 여부와 함께 또는 독립적으로 판단될 수 있다.
일예로, 상기 안내 메시지는 도 12의 검증 모드 화면(10)에 표시될 수 있으며, 이에 기초하여 사용자는 딥러닝 모델 또는 머신러닝 모델의 튜닝 조건을 변경설정하거나 새로운 훈련 데이터를 마련하여 모델 학습을 실행할 수 있다.
한편, 최종적으로 생성된 3D 모델과 원본 2D 이미지를 비교하여 3D 모델의 오류를 검증하는 경우, 3D 모델에 오류가 포함되어 있더라도, 해당 오류가 인페인팅 과정에서 발생한 오류인지 또는 마스킹 과정에서 발생한 오류인지 명확하게 구분되지 않을 수 있다.
이를 감안하여 바람직하게, 본 실시예에서는 마스킹 검증 모드와 인페인팅 검증 모드를 별도로 실행하여, 3D 모델의 오류가 인페인팅 과정에서 발생한 오류인지 또는 마스킹 과정에서 발생한 오류인지 명확하게 구분하여 파악하고, 파악한 결과에 기초하여 오류가 발생한 딥러닝 모델 또는 머신러닝 모델의 튜닝 조건 변경 등을 통해 딥러닝 모델 또는 머신러닝 모델의 성능을 향상시키도록 관리한다.
튜닝 조건 변경을 통해 딥러닝 모델 또는 머신러닝 모델의 학습을 진행한 후, 상기 1)단계 이하를 새로이 진행할 수 있다.
본 실시예의 3D 모델 생성 시스템(100)은 오류 케이스의 발생 비율에 기초하여 마스킹 2D 이미지의 오류 수정 모드 또는 인페인팅 2D 이미지의 오류 수정 모드를 제공할 수 있다(도 6의 P5 단계).
제 1 내지 제3 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하지 않는 경우에는, 튜닝 조건 변경을 통해 딥러닝 모델 또는 머신러닝 모델의 학습을 새로이 진행하지 않고 현재 학습된 상태의 딥러닝 모델 또는 머신러닝 모델을 이용하여 3D 모델 생성 작업을 실행해도 좋은 상태로 볼 수 있다.
다만, 제 1 내지 제3 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하지 않더라도, 발견된 오류 케이스에 대해서는 오류 수정 모드를 통해 오류를 수정하는 것이 좋으므로, 이러한 경우에 오류 수정 모드를 제공하여 확인된 오류 케이스를 수정 처리하도록 한다.
일예로, 상기 P2)단계 이후에 3D 모델 생성 시스템(100)은, 상기 샘플링된 마스킹 2D 이미지와 관련하여 상기 제1 오류 케이스와 상기 제2 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하지 않는 경우에 상기 제1 오류 케이스 또는 상기 제2 오류 케이스가 확인된 마스킹 2D 이미지의 오류 수정 모드를 제공할 수 있다.
도 12의 검증 모드 화면(10)에는 기초 이미지 서브 화면(11) 또는 비교 이미지 서브 화면(12) 내의 객체 선택 입력을 위한 객체 선택 메뉴(15)와, 선택된 객체의 해제 입력을 위한 객체 해제 메뉴(16)가 표시된다. 객체 선택을 위해 기초 이미지 서브 화면(11) 또는 비교 이미지 서브 화면(12) 내에서 객체 선택용 화살표(20)를 사용자 인터페이스의 입력을 통해 이동시킬 수 있다.
상기 마스킹 2D 이미지의 오류 수정 모드에서, 사용자는 표시된 원본 2D 이미지 또는 마스킹 2D 이미지에 대해 상기 제1 오류 케이스 또는 상기 제2 오류 케이스에 해당하는 객체를 객체 선택 메뉴(15)를 통해 선택 입력하고 오류 확인 메뉴(17)를 통해 오류 여부를 입력한 후, 오류 수정 메뉴(18)를 실행하여 상기 제1 오류 케이스 또는 상기 제2 오류 케이스가 확인된 마스킹 2D 이미지의 오류를 수정할 수 있다. 일예로, 오류 수정은 검증 모드 화면(10)에 제공되는 통상의 이미지 편집 툴(19)을 이용하여 이뤄질 수 있다.
일예로, 상기 P2)단계 이후에 3D 모델 생성 시스템(100)은, 상기 샘플링된 인페인팅 2D 이미지와 관련하여 상기 제3 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하지 않는 경우에 상기 제3 오류 케이스가 확인된 인페인팅 2D 이미지의 오류 수정 모드를 제공할 수 있다.
상기 인페인팅 2D 이미지의 오류 수정 모드에서, 사용자는 표시된 마스킹 2D 이미지 또는 인페인팅 2D 이미지에 대해 상기 제3 오류 케이스에 해당하는 객체를 객체 선택 메뉴(15)를 통해 선택 입력하고 오류 확인 메뉴(17)를 통해 오류 여부를 입력한 후, 오류 수정 메뉴(18)를 실행하여 상기 제3 오류 케이스가 확인된 인페인팅 2D 이미지의 오류를 수정할 수 있다. 일예로, 오류 수정은 검증 모드 화면(10)에 제공되는 통상의 이미지 편집 툴(19)을 이용하여 이뤄질 수 있다.
한편 도 6을 참조하면, 제 1 내지 제3 오류 케이스의 발생 비율이 ZERO인 경우에는, 튜닝 조건 변경도 필요없고 오류 수정도 필요 없으므로, 상기 1)단계 내지 2)단계 이후에 상기 P1)단계 내지 P4) 단계를 실행하고 P5)단계를 실행하지 않고 3)단계를 후속 실행하면 된다(도 6의 P4 단계).
본 발명의 실시예들은 다양한 컴퓨터에서 실행하기 위한 프로그램과 이를 기록한 컴퓨터 판독 가능 기록 매체를 포함한다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD, USB 드라이브와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
100: 3D 모델 생성 시스템

Claims (13)

  1. 3D 모델 생성 시스템에서 2D 이미지를 이용하여 3D 모델을 생성하는 방법으로서,
    1) 복수의 원본 2D 이미지를 입력받는 단계- 상기 원본 2D 이미지는 항공 촬영된 지형지물(地形地物)의 이미지이며, 상기 복수의 원본 2D 이미지는 하나의 지리적 지점에 대해 서로 다른 방향에서 촬영한 2 이상의 원본 2D 이미지를 포함함-;
    2) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 상기 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻는 단계- 상기 3D 모델에 미포함 대상으로 분류되는 객체는 지형지물의 3D 모델 형태로 구현되는 서비스에 있어서 포함될 필요가 없는 객체로서, 상기 3D 모델 생성 시스템의 설정에 의해 정해지는 것임-; 및
    3) 상기 2)단계의 결과로 얻어진 복수의 인페인팅 2D 이미지에 기초하여 상기 지형지물의 3D 모델을 생성하는 단계;를 포함하며,
    상기 2)단계는,
    21) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 이미지 세그멘테이션 처리를 통해 상기 복수의 원본 2D 이미지의 각각에서 3D 모델에 미포함 대상으로 분류되는 객체를 탐지하고 마스킹 처리한 마스킹 2D 이미지를 얻는 단계; 및
    22) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 각각의 마스킹 2D 이미지에 인페인팅 처리를 실행하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻는 단계;를 포함하며,
    상기 2)단계 이후에,
    P1) 미리 설정된 기준에 의해 샘플링된 하나 이상의 마스킹 2D 이미지의 각각을 대상으로, 3D 모델에 미포함 대상으로 분류되는 객체가 마스킹 처리에서 누락된 제1 오류 케이스와, 3D 모델에 미포함 대상으로 분류되지 않는 객체가 마스킹 처리에 포함된 제2 오류 케이스를 사용자가 시각적으로 확인하고 확인 결과를 사용자 입력할 수 있는 마스킹 검증 모드를 제공하는 단계- 상기 마스킹 검증 모드는, 샘플링된 각각의 마스킹 2D 이미지와, 상기 각각의 마스킹 2D 이미지가 얻어진 각각의 원본 2D 이미지를 시각적으로 대조 가능한 상태를 사용자에게 제공하는 마스킹 확인 모드, 및 상기 각각의 마스킹 2D 이미지에 대해, 상기 제1 오류 케이스와 상기 제2 오류 케이스에 관한 확인 결과를 사용자 입력 가능하도록 하는 마스킹 검증 정보 입력 모드를 포함하여 구성됨-; 및
    P11) 상기 샘플링된 마스킹 2D 이미지와 관련하여, 상기 제1 오류 케이스와 상기 제2 오류 케이스에 관한 통계 정보를 생성하는 단계;를 포함하여 구성된 것을 특징으로 하는 2D 이미지를 이용한 3D 모델 생성 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 P1)단계 이후에,
    P2) 미리 설정된 기준에 의해 샘플링된 하나 이상의 인페인팅 2D 이미지의 각각을 대상으로, 인페인팅 2D 이미지가 얻어진 마스킹 2D 이미지에서 마스킹 처리된 객체가 인페인팅 2D 이미지에서 비정상적으로 인페인팅 처리된 제3 오류 케이스를 사용자가 시각적으로 확인하고 확인 결과를 사용자 입력할 수 있는 인페인팅 검증 모드를 제공하는 단계;를 더욱 포함하여 구성된 것을 특징으로 하는 2D 이미지를 이용한 3D 모델 생성 방법.
  7. 제6항에 있어서,
    상기 인페인팅 검증 모드는,
    샘플링된 각각의 인페인팅 2D 이미지와, 상기 각각의 인페인팅 2D 이미지가 얻어진 각각의 마스킹 2D 이미지를 시각적으로 대조 가능한 상태를 사용자에게 제공하는 인페인팅 확인 모드; 및
    상기 각각의 인페인팅 2D 이미지에 대해, 상기 제3 오류 케이스에 관한 확인 결과를 사용자 입력 가능하도록 하는 인페인팅 검증 정보 입력 모드;를 포함하여 구성된 것을 특징으로 하는 2D 이미지를 이용한 3D 모델 생성 방법.
  8. 제7항에 있어서,
    상기 P2)단계 이후에,
    P21) 상기 샘플링된 인페인팅 2D 이미지와 관련하여, 상기 제3 오류 케이스에 관한 통계 정보를 생성하는 단계;를 더욱 포함하여 구성된 것을 특징으로 하는 2D 이미지를 이용한 3D 모델 생성 방법.
  9. 제6항에 있어서,
    상기 미리 설정된 기준에 의해 샘플링된 하나 이상의 인페인팅 2D 이미지는,
    상기 P1)단계에서 상기 제1 오류 케이스 및 상기 제2 오류 케이스를 모두 포함하지 않은 것으로 확인된 마스킹 2D 이미지에 기초하여 얻어진 인페인팅 2D 이미지 중에서 샘플링되는 것을 특징으로 하는 2D 이미지를 이용한 3D 모델 생성 방법.
  10. 제6항에 있어서,
    상기 P2)단계 이후에,
    상기 샘플링된 마스킹 2D 이미지와 관련하여 상기 제1 오류 케이스와 상기 제2 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하는 경우에 마스킹 2D 이미지를 얻는데 이용한 딥러닝 모델 또는 머신러닝 모델의 튜닝 조건을 변경하도록 안내 메시지를 출력하고,
    상기 샘플링된 인페인팅 2D 이미지와 관련하여 상기 제3 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하는 경우에 인페인팅 2D 이미지를 얻는데 이용한 딥러닝 모델 또는 머신러닝 모델의 튜닝 조건을 변경하도록 안내 메시지를 출력하는 것을 특징으로 하는 2D 이미지를 이용한 3D 모델 생성 방법.
  11. 제6항에 있어서,
    상기 P2)단계 이후에,
    상기 샘플링된 마스킹 2D 이미지와 관련하여 상기 제1 오류 케이스와 상기 제2 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하지 않는 경우에 상기 제1 오류 케이스 또는 상기 제2 오류 케이스가 확인된 마스킹 2D 이미지의 오류 수정 모드를 제공하고,
    상기 샘플링된 인페인팅 2D 이미지와 관련하여 상기 제3 오류 케이스의 발생 비율이 미리 설정된 기준을 초과하지 않는 경우에 상기 제3 오류 케이스가 확인된 인페인팅 2D 이미지의 오류 수정 모드를 제공하는 것을 특징으로 하는 2D 이미지를 이용한 3D 모델 생성 방법.
  12. 하나 이상의 명령을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    복수의 원본 2D 이미지를 입력받고- 상기 원본 2D 이미지는 항공 촬영된 지형지물(地形地物)의 이미지이며, 상기 복수의 원본 2D 이미지는 하나의 지리적 지점에 대해 서로 다른 방향에서 촬영한 2 이상의 원본 2D 이미지를 포함함-;
    훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 상기 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻으며- 상기 3D 모델에 미포함 대상으로 분류되는 객체는 지형지물의 3D 모델 형태로 구현되는 서비스에 있어서 포함될 필요가 없는 객체로서, 상기 3D 모델 생성 시스템의 설정에 의해 정해지는 것임-;
    상기 얻어진 복수의 인페인팅 2D 이미지에 기초하여 상기 지형지물의 3D 모델을 생성하는 것;을 특징으로 하며,
    상기 인페인팅 2D 이미지를 얻는 것은,
    훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 이미지 세그멘테이션 처리를 통해 상기 복수의 원본 2D 이미지의 각각에서 3D 모델에 미포함 대상으로 분류되는 객체를 탐지하고 마스킹 처리한 마스킹 2D 이미지를 얻고;
    훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 각각의 마스킹 2D 이미지에 인페인팅 처리를 실행하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻는 것;을 포함하며,
    상기 인페인팅 2D 이미지를 얻는 것 이후에,
    미리 설정된 기준에 의해 샘플링된 하나 이상의 마스킹 2D 이미지의 각각을 대상으로, 3D 모델에 미포함 대상으로 분류되는 객체가 마스킹 처리에서 누락된 제1 오류 케이스와, 3D 모델에 미포함 대상으로 분류되지 않는 객체가 마스킹 처리에 포함된 제2 오류 케이스를 사용자가 시각적으로 확인하고 확인 결과를 사용자 입력할 수 있는 마스킹 검증 모드를 제공하고- 상기 마스킹 검증 모드는, 샘플링된 각각의 마스킹 2D 이미지와, 상기 각각의 마스킹 2D 이미지가 얻어진 각각의 원본 2D 이미지를 시각적으로 대조 가능한 상태를 사용자에게 제공하는 마스킹 확인 모드, 및 상기 각각의 마스킹 2D 이미지에 대해, 상기 제1 오류 케이스와 상기 제2 오류 케이스에 관한 확인 결과를 사용자 입력 가능하도록 하는 마스킹 검증 정보 입력 모드를 포함하여 구성됨-;
    상기 샘플링된 마스킹 2D 이미지와 관련하여, 상기 제1 오류 케이스와 상기 제2 오류 케이스에 관한 통계 정보를 생성하는 것;을 특징으로 하는 3D 모델 생성 시스템.
  13. 3D 모델 생성 시스템에서 2D 이미지를 이용한 3D 모델 생성 방법을 실행하도록 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램으로서,
    상기 2D 이미지를 이용한 3D 모델 생성 방법은,
    1) 복수의 원본 2D 이미지를 입력받는 단계- 상기 원본 2D 이미지는 항공 촬영된 지형지물(地形地物)의 이미지이며, 상기 복수의 원본 2D 이미지는 하나의 지리적 지점에 대해 서로 다른 방향에서 촬영한 2 이상의 원본 2D 이미지를 포함함-;
    2) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 상기 복수의 원본 2D 이미지의 각각에 대하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻는 단계- 상기 3D 모델에 미포함 대상으로 분류되는 객체는 지형지물의 3D 모델 형태로 구현되는 서비스에 있어서 포함될 필요가 없는 객체로서, 상기 3D 모델 생성 시스템의 설정에 의해 정해지는 것임-; 및
    3) 상기 2)단계의 결과로 얻어진 복수의 인페인팅 2D 이미지에 기초하여 상기 지형지물의 3D 모델을 생성하는 단계;를 포함하며,
    상기 2)단계는,
    21) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 이미지 세그멘테이션 처리를 통해 상기 복수의 원본 2D 이미지의 각각에서 3D 모델에 미포함 대상으로 분류되는 객체를 탐지하고 마스킹 처리한 마스킹 2D 이미지를 얻는 단계; 및
    22) 훈련된 딥러닝 모델 또는 머신러닝 모델을 이용하여, 각각의 마스킹 2D 이미지에 인페인팅 처리를 실행하여 3D 모델에 미포함 대상으로 분류되는 객체를 삭제한 인페인팅 2D 이미지를 얻는 단계;를 포함하며,
    상기 2)단계 이후에,
    P1) 미리 설정된 기준에 의해 샘플링된 하나 이상의 마스킹 2D 이미지의 각각을 대상으로, 3D 모델에 미포함 대상으로 분류되는 객체가 마스킹 처리에서 누락된 제1 오류 케이스와, 3D 모델에 미포함 대상으로 분류되지 않는 객체가 마스킹 처리에 포함된 제2 오류 케이스를 사용자가 시각적으로 확인하고 확인 결과를 사용자 입력할 수 있는 마스킹 검증 모드를 제공하는 단계- 상기 마스킹 검증 모드는, 샘플링된 각각의 마스킹 2D 이미지와, 상기 각각의 마스킹 2D 이미지가 얻어진 각각의 원본 2D 이미지를 시각적으로 대조 가능한 상태를 사용자에게 제공하는 마스킹 확인 모드, 및 상기 각각의 마스킹 2D 이미지에 대해, 상기 제1 오류 케이스와 상기 제2 오류 케이스에 관한 확인 결과를 사용자 입력 가능하도록 하는 마스킹 검증 정보 입력 모드를 포함하여 구성됨-; 및
    P11) 상기 샘플링된 마스킹 2D 이미지와 관련하여, 상기 제1 오류 케이스와 상기 제2 오류 케이스에 관한 통계 정보를 생성하는 단계;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 프로그램.
KR1020220084280A 2022-07-08 2022-07-08 2d 이미지를 이용한 3d 모델 생성 방법, 3d 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램 KR102495954B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220084280A KR102495954B1 (ko) 2022-07-08 2022-07-08 2d 이미지를 이용한 3d 모델 생성 방법, 3d 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220084280A KR102495954B1 (ko) 2022-07-08 2022-07-08 2d 이미지를 이용한 3d 모델 생성 방법, 3d 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR102495954B1 true KR102495954B1 (ko) 2023-02-06

Family

ID=85224066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220084280A KR102495954B1 (ko) 2022-07-08 2022-07-08 2d 이미지를 이용한 3d 모델 생성 방법, 3d 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102495954B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087266A (ko) * 2018-01-15 2019-07-24 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
KR102199940B1 (ko) 2020-04-28 2021-01-07 (주)제타럭스시스템 3ｄ 엔진을 통한 모바일 3ｄ 디지털 트윈의 3ｄ 지도 구축 방법
KR20210150805A (ko) * 2020-06-04 2021-12-13 네이버랩스 주식회사 고정밀지도생성장치 및 고정밀지도생성방법
KR102358337B1 (ko) 2020-11-30 2022-02-08 주식회사 업데이터 딥러닝 영상인식을 활용한 지장물 조사 서비스 방법 및 시스템
KR102362504B1 (ko) * 2021-06-11 2022-02-16 (주)그린공간정보 수치지도의 위치별 오류검출 시스템
KR20220046351A (ko) * 2020-10-07 2022-04-14 주식회사 케이티 미리 학습된 이미지 인페인팅 신경망을 파인튜닝하기 위한 장치 및 방법
KR20220049304A (ko) * 2020-10-14 2022-04-21 삼성전자주식회사 이미지를 이용한 3차원 지도의 업데이트 방법 및 이를 지원하는 전자 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087266A (ko) * 2018-01-15 2019-07-24 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
KR102199940B1 (ko) 2020-04-28 2021-01-07 (주)제타럭스시스템 3ｄ 엔진을 통한 모바일 3ｄ 디지털 트윈의 3ｄ 지도 구축 방법
KR20210150805A (ko) * 2020-06-04 2021-12-13 네이버랩스 주식회사 고정밀지도생성장치 및 고정밀지도생성방법
KR20220046351A (ko) * 2020-10-07 2022-04-14 주식회사 케이티 미리 학습된 이미지 인페인팅 신경망을 파인튜닝하기 위한 장치 및 방법
KR20220049304A (ko) * 2020-10-14 2022-04-21 삼성전자주식회사 이미지를 이용한 3차원 지도의 업데이트 방법 및 이를 지원하는 전자 장치
KR102358337B1 (ko) 2020-11-30 2022-02-08 주식회사 업데이터 딥러닝 영상인식을 활용한 지장물 조사 서비스 방법 및 시스템
KR102362504B1 (ko) * 2021-06-11 2022-02-16 (주)그린공간정보 수치지도의 위치별 오류검출 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chong Yang, et al., "Moving Car Recognition and Removal for 3D Urban Modelling Using Oblique Images", remote sensing, MDPI(2021.08.31.)* *

Similar Documents

Publication Publication Date Title
WO2023207437A1 (zh) 一种基于动态轨迹流的场景流数字孪生方法及系统
US11899748B2 (en) System, method, and apparatus for a neural network model for a vehicle
CN109061703A (zh) 用于定位的方法、装置、设备和计算机可读存储介质
CN108205797A (zh) 一种全景视频融合方法及装置
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
CN109816780B (zh) 一种双目序列影像的输电线路三维点云生成方法及装置
CN102708385A (zh) 用于视频监控场景的三维车型比对识别的方法和系统
Sinha et al. Mind the gap: Detection and traversability analysis of terrain gaps using LIDAR for safe robot navigation
Tutzauer et al. Semantic urban mesh enhancement utilizing a hybrid model
CN114399692A (zh) 基于深度学习的违建识别监控检测方法及系统
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统
CN114937177A (zh) 自动打标、检测模型训练及目标识别方法、和电子设备
KR102495954B1 (ko) 2d 이미지를 이용한 3d 모델 생성 방법, 3d 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램
CN116051980B (zh) 基于倾斜摄影的建筑识别方法、系统、电子设备及介质
Bai et al. Cyber mobility mirror for enabling cooperative driving automation: A co-simulation platform
CN113514053B (zh) 生成样本图像对的方法、装置和更新高精地图的方法
CN114140707A (zh) 一种电网故障巡检方法
KR102396329B1 (ko) 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템 및 그 방법
Laux et al. Build Your Own Training Data--Synthetic Data for Object Detection in Aerial Images
McQuat Feature extraction workflows for urban mobile-terrestrial LIDAR data
CN117807782B (zh) 一种实现三维仿真模型的方法
CN115527074B (zh) 一种车辆检测框的生成方法、生成装置及计算机设备
US11189082B2 (en) Simulated overhead perspective images with removal of obstructions
Luttrell IV Data Collection and Machine Learning Methods for Automated Pedestrian Facility Detection and Mensuration
EP4310779A1 (en) Segmenting a building scene

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant