KR20210083487A - 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템 - Google Patents

머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템 Download PDF

Info

Publication number
KR20210083487A
KR20210083487A KR1020190175766A KR20190175766A KR20210083487A KR 20210083487 A KR20210083487 A KR 20210083487A KR 1020190175766 A KR1020190175766 A KR 1020190175766A KR 20190175766 A KR20190175766 A KR 20190175766A KR 20210083487 A KR20210083487 A KR 20210083487A
Authority
KR
South Korea
Prior art keywords
image
unit
generation unit
edge
roof
Prior art date
Application number
KR1020190175766A
Other languages
English (en)
Other versions
KR102282989B1 (ko
Inventor
변영철
양지혁
데바프리야 하즈라
Original Assignee
주식회사 나눔에너지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 나눔에너지 filed Critical 주식회사 나눔에너지
Priority to KR1020190175766A priority Critical patent/KR102282989B1/ko
Publication of KR20210083487A publication Critical patent/KR20210083487A/ko
Application granted granted Critical
Publication of KR102282989B1 publication Critical patent/KR102282989B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템으로, 생성적 적대 신경망(GAN) 기반의 이미지 변환 모델에 에 있어서, 원본 이미지로부터 가장자리 경계 검출 알고리즘으로 확인된 이미지 데이터 세트를 입력으로 받아서 가장자리를 가리는 장애물을 노이즈 샘플로서 맵핑하여 출력하는 제1생성부; 상기 제1생성부에서 출력된 결과를 입력으로 받아들여서 원본 이미지와 제1생성부로부터 입력된 이미지 사이에서 각각의 영역을 식별하는 학습을 수행하는 제1식별부; 원본 이미지 데이터 세트를 입력받아 원하는 목적 이미지와 유사한 출력 이미지를 생성하기 위하여 암호화와 복호화 과정을 수행하는 제2생성부; 및 제2생성부로 입력된 원본 이미지와 제1식별부를 통과하며 적대적 훈련 결과에 따라 파라미터가 변경, 교정되어 출력된 목표 이미지의 제1쌍 및 제2생성부로 입력된 원본 이미지와 제2생성부를 통과하여 목표이미지와 유사하게 출력을 원하는 이미지의 제2쌍을 수신하여 수정되는 출력 이미지를 예측하고, 지붕 이미지의 가장자리를 가리는 장애물을 제거하고 장애물에 의해 가려졌던 가장자리를 연결하여 완전한 가장자리 이미지를 생성하는 제2식별부를 포함한다.

Description

머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템{System of roof edge extraction for solar panel installation using machine learning}
본 발명은 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템에 관한 것으로, 더욱 상세하게는 머신 러닝 모델을 이용하여 태양광 패널이 설치되는 건물 지붕의 가장자리 이미지를 추출하도록 한 것으로서 지붕 이미지의 모서리 부분을 자동으로 생산하고 장애물에 의하여 지붕 가장자리가 가려져도 지붕 모서리 부분을 자동으로 연결하여 지붕 가장자리 이미지를 생성하여 추출하는 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템에 대한 것이다.
최근에 건축물에서 태양광 발전 설치가 가능한 유휴 부지는 건물의 지붕층이 대부분을 차지하고 있으며 많은 수의 태양광 설비가 설치되고 있지만 건축물의 미관과 방수층훼손, 보호층 크랙등에 대한 안정성을 확보하지 못하고 설치되는 게 대부분이다. 이를 해소하기 위해서 건축물 설계 초기단계에서부터 건축물과 조화를 이루고 건축물의 안전성을 확보할 수 있는 태양광 설계가 필요하다.
이를 위하여 먼저 건물의 지붕의 평면도를 바탕으로 하여 태양광 패널 설치를 고려해야 하는데, 건물의 평면도를 대체해서 루프탑 원본 사진을 가지고 태양광 패널 설치를 고려할 수 있다.
그런데, 루프탑 사진에는 건물 주변의 물체가 건물 위에 위치하는 경우에는 건물 전체 이미지를 확보할 수 없게 된다.
한편, 최근 인공지능(AI)과 딥러닝(Deep Learning)의 발전으로 생성 모델 (Generative Model)이 새롭게 발전하고 있다.
생성 모델에는 생성적 적대 신경망(Generative Adversarial Network, GAN), VAE(Variational Autoencoder) 등의 종류가 있으며, 이러한 생성 모델은 이미지, 오디오와 같은 수학적으로 확률 분포를 정의하기 어려운 데이터에 대해서 데이터 내의 규칙을 학습하고 생성할 수 있는 능력을 가진 모델을 의미한다.
특히, 생성적 적대 신경망(GAN)은 산업 및 학계에서 주목을 받으며 급성장하고 있는 모델이다. 최근 발표된 CycleGAN 및 StarGAN의 경우 두 가지 이상의 도메인의 이미지 데이터가 있을 때, 하나의 도메인의 이미지를 다른 도메인으로 옮기는 생성 모델이다.
종래의 생성 모델은 예를 들어 말 사진 데이터와 얼룩말 사진 데이터가 있을 경우 말을 얼룩말처럼 바꿀 수 있으며, 또한 얼룩말을 말로 바꿀 수 있다.
이러한 종래의 생성 모델의 기술을 응용할 경우 이미지에서 원하는 정보만 변형하고, 그 외의 데이터는 보존할 수 있다.
최근에 항공촬영 사진, 위성사진 또는 드론에 의한 촬영 이미지에 이르기까지 다양한 경로를 통하여 루프탑 이미지를 얻을 수 있게 되었다.
이에 따라 이용 가능한 루프탑 이미지들로부터 태양광 패널의 배치 설계를 위해서 머신러닝을 이용한 지붕 이미지와 가장자리 이미지를 장애물 뒤에 숨겨져있는 지붕의 가장자리까지 모두 생성하여 추출하여 제공하는 시스템이 요구되고 있는 것이다.
국내공개특허공보 10-2019-0133582
본 발명은 전술한 바와 같은 종래의 문제점을 해결하고자 안출된 것으로서, 그의 목적은 머신 러닝 모델을 이용하여 태양광 패널이 설치되는 건물 지붕의 가장자리 이미지를 추출하도록 한 것으로서 지붕 이미지의 모서리 부분을 자동으로 생산하고 장애물에 의하여 지붕 가장자리가 가려져도 지붕 모서리 부분을 자동으로 연결하여 지붕 가장자리 이미지를 생성하여 추출하는 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템을 제공하기 위한 것이다.
본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템은, 생성적 적대 신경망(GAN) 기반의 이미지 변환 모델에 대한 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템에 있어서, 원본 이미지로부터 가장자리 경계 검출 알고리즘으로 확인된 이미지 데이터 세트를 입력으로 받아서 가장자리를 가리는 장애물을 노이즈 샘플로서 맵핑하여 출력하는 제1생성부; 상기 제1생성부에서 출력된 결과를 입력으로 받아들여서 원본 이미지와 제1생성부로부터 입력된 이미지 사이에서 각각의 영역을 식별하는 학습을 수행하는 제1식별부; 원본 이미지 데이터 세트를 입력받아 원하는 목적 이미지와 유사한 출력 이미지를 생성하기 위하여 암호화와 복호화 과정을 수행하는 제2생성부; 및 제2생성부로 입력된 원본 이미지와 제1식별부를 통과하며 적대적 훈련 결과에 따라 파라미터가 변경, 교정되어 출력된 목표 이미지의 제1쌍 및 제2생성부로 입력된 원본 이미지와 제2생성부를 통과하여 목표이미지와 유사하게 출력을 원하는 이미지의 제2쌍을 수신하여 수정되는 출력 이미지를 예측하고, 결과적으로 지붕 이미지의 가장자리를 가리는 장애물을 제거하고 장애물에 의해 가려졌던 가장자리를 연결하여 완전한 가장자리 이미지를 생성하는 제2식별부를 포함하는 것을 특징으로 하는 것이다.
또한, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템에 있어서, 생성적 적대 신경망(GAN) 기반의 이미지 변환 모델은 픽셀대픽셀 생성적 적대 신경망(Pix2pix GAN)인 것을 특징으로 하는 것이다.
또한, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템에 있어서, 상기 제1생성부는 캐니 가장자리 검출 이미지(Canny edge detected image)를 입력받아 암호화와 복호화를 반복하여 출력하는 것을 특징으로 하는 것이다.
또한, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템에 있어서, 상기 제1식별부는 특징맵에 대한 제1, 제2 콘볼루션 계층(convolutional layer)과 제1, 제2 서브샘플링된 통합 계층(pooling layer)을 포함하고 이들을 완전하게 연결시킨 계층(fully connected layer)들을 출력하도록 구성된 것을 특징으로 하는 것이다.
또한, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템에 있어서, 상기 제2생성부는 암호화부와 복호화부를 포함하며, 상기 암호화부는 컨볼루션부, 배치정규화부 및 정류선형유닛을 포함하고, 상기 복호화부는 디컨볼루션부, 배치정규화부 및 정류선형유닛을 포함하는 것을 특징으로 하는 것이다.
또한, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템에 있어서, 상기 제2식별부의 예측 정확도에 따라서 제2식별부와 제2생성부의 가중치들은 최적화되어 다시 훈련되는 것을 특징으로 하는 것이다.
본 발명은 머신러닝을 활용하여 다양한 루프탑 이미지 데이터로부터 태양광 패널이 설치되는 건물 지붕의 가장자리 이미지를 추출할 수 있는 효과가 있다.
본 발명은 생성적 적대 신경망의 머신러닝을 통하여 루프탑 이미지의 모서리 부분을 자동으로 생산하고 장애물에 의하여 지붕 가장자리가 가려져도 지붕 모서리 부분을 자동으로 연결하여 지붕 가장자리 이미지를 생성하여 추출하는 효과가 있다.
도1은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 구성도이다.
도2는 도1에 도시된 제1생성부의 상세 구성 블록도이다.
도3은 도1에 도시된 제1식별부의 상세 구성 블록도이다.
도4는 도1에 도시된 제2생성부의 상세 구성 블록도이다.
도5는 도1에 도시된 제2식별부의 상세 구성 블록도이다.
도6은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 플로우 챠트를 나타낸다.
도7은 본 발명에 따른 생성적 적대 신경망의 머신러닝을 위한 데이터 세트를 나타낸다.
도8은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 결과 비교 사진이다.
이하, 첨부된 도면을 참조하면서 본 발명의 실시예에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템 및 방법에 대해 상세히 설명하기로 한다.
본 발명은 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출을 목적으로 생성적 적대 신경망(Generative Adversarial Network, GAN) 기반의 이미지 변환 모델에 대한 머신러닝을 이용한 시스템 및 방법이다.
상기 이미지 변환 모델은 지붕이미지의 모서리부분을 자동으로 생산하고, 지붕 경계 주변의 물체를 무시한 채로 지붕 모서리 부분을 자동으로 연결할 수 있는 것을 배우기 위한 목적으로 훈련시킨다.
도1은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 구성도이다.
도1을 참조하면, 본 발명의 실시예에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템은 제1생성부(100), 제1식별부(150), 제2생성부(200), 제2식별부(250)를 포함한다.
도1에 도시된 바와 같이, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 구성은 원본 이미지 데이터 세트를 입력으로 받고 목표 이미지 데이터를 출력으로 생성하기 위하여 각각 2개의 생성부와 2개의 식별부를 포함한다.
상기 제1생성부(100)는 원본 이미지로부터 가장자리 경계 검출 알고리즘으로 확인된 이미지 데이터 세트를 입력으로 받아서 가장자리를 가리는 장애물을 노이즈 샘플로서 맵핑하여 출력한다.
상기 장애물은 건물 지붕 주변에서 건물의 모서리를 가리게 되는 나무, 굴뚝, 원반 같은 것으로서 건물 지붕 모서리를 정확하게 구분할 수 없게 하는 것이다.
제1식별부(150)는 상기 제1생성부(100)에서 출력된 결과를 입력으로 받아들여서 원본 이미지와 제1생성부(100)로부터 입력된 이미지 사이에서 각각의 영역을 식별하는 학습을 수행한다.
제2생성부(200)는 원본 이미지 데이터 세트를 입력받아 원하는 목적 이미지와 유사한 출력 이미지를 생성하기 위하여 암호화와 복호화 과정을 수행한다.
그리고, 제2식별부(250)는 제2생성부(200)로 입력된 원본 이미지와 제1식별부(150)를 통과하며 적대적 훈련 결과에 따라 파라미터가 변경, 교정되어 출력된 목표 이미지의 제1쌍 및 제2생성부(200)로 입력된 원본 이미지와 제2생성부(200)를 통과하여 목표이미지와 유사하게 출력을 원하는 이미지의 제2쌍을 수신하여 수정되는 출력 이미지를 예측한다.
결과적으로, 상기 제2식별부(250)는 지붕 이미지의 가장자리를 가리는 장애물을 제거하고 장애물에 의해 가려졌던 가장자리를 연결하여 완전한 가장자리 이미지를 생성하게 된다.
따라서, 본원발명의 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템에서, 상기 적대 신경망(GAN)은 상기 2개의 생성부와 상기 2개의 식별부로 구성되어 검출된 가장자리 이미지 영역을 입력으로 받고 목표 이미지 도메인 영역의 출력 이미지를 생성하는 것이다.
이미지 변환을 위한 적대 신경망(GAN)은 Cycle GAN, DiscoGAN and Pix2pix GAN를 사용할 수 있으나, 본원발명의 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템에서 가장 최상의 결과를 도출하기 위하여 픽셀대픽셀 생성적 적대 신경망(Pix2pix GAN)기반의 이미지 변환 모델이 바람직하다.
상기 이미지 변환모델(Pix2pix GAN)은 훈련을 반복하여 지붕 이미지의 모서리부분을 가리는 물체를 제거하고 자동적으로 모서리 부분을 연결하고, 지붕 모서리 부분을 자동으로 연결한 후에는 지붕 이미지의 완전한 가장자리 이미지가 생성되도록 학습된다.
또한, 픽셀대픽셀 생성적 적대 신경망(Pix2pix GAN)이 바람직한 이유는 1대 1 이미지 스타일 마이그레이션 모델로서, 하나의 이미지 영역에서 다른 이미지 영역으로 변환할 수 있는 이미지 데이터 쌍을 받아들인다.
적대 훈련을 통하여 상기 모델은 지붕 가장자리를 가리는 장애물(나무, 굴뚝, 원판 등)을 제거하도록 학습한다.
그 결과로서 장애물의 제거후 가장자리를 연결한 후 지붕 이미지의 완전한 가장자리를 자동적으로 추출할 수 있다.
픽셀대픽셀 생성적 적대 신경망(Pix2pix GAN)을 훈련시키기 위한 데이타 세트로는 루프탑 원본 사진 모음을 데이터 세트 A로 하고, 루프탑 가장자리가 확인된 이미지 모음을 데이터 세트 B로 하여 픽셀대픽셀 생성적 적대 신경망을 학습시킨다.
도7에서 본 발명에 따른 생성적 적대 신경망의 머신러닝을 위한 데이터 세트를 나타내고 있다.
또한, 데이터 세트 B는 원본 이미지 데이터 A로부터 경계 찾기 알고리즘으로 (Canny edge detection: 케니엣지검출)로 확인된 이미지 모음이다.
이와 같이, 적대 신경망(GAN)은 이미지의 한 형태에서 다른 형태로 이미지를 변환하는 것을 훈련하는 반 감독 학습 (Semi-supervised learning)을 거치게 된다.
예시로, 원본 이미지에 나무 사진을 삽입하여 모서리를 가려서 이미지 세트 A를 얻고, 데이터 세트 B의 경우 나무 없는 원본을 사용하도록 한다.
적대 신경망(GAN)은 나무가 지붕의 가장자리를 가리는 사진을 [입력]하여 나무가 없는 지붕의 가장자리를 [출력]하도록 학습한다.
이러한 방법으로, 적대 신경망(GAN)은 나무가 있는 지붕과 나무가 없는 지붕 모두를 장애물 없이 동일하게 변환 시킬 수 있다.
훈련과정에 있어서, 매개변수를 사용하여 적대 신경망(GAN)에게 지붕 사진의 가장자리 추출 훈련을 시키도록 한다.
도1을 참조하면, 상기 제1생성부(100)는 캐니 가장자리 검출 이미지(Canny edge detected image)를 입력받아 암호화와 복호화를 반복하여 출력하고, 상기 출력은 제1식별부(150)로 입력되는 것이다.
제1식별부(150)는 케니 이미지(데이터 B)와 상기 제1생성부(100)로부터 출력을 한 쌍의 입력으로 받아들이고, 목적 출력(T)을 생성한다.
한편, 제2식별부(250)는 원본 이미지(데이터 A)가 제2생성부(200)를 통과한 출력(O)과 상기 제1식별부에서 출력된 목적 출력(T)을 한쌍의 입력으로 받아들이고 각 쌍의 입력으로부터 수정된 출력 이미지를 예측한다.
예측 결과 상기 제2식별부(250)의 예측 정확도에 따라서 제2생성부(200)와 제2식별부(250)에 부여된 파라미터의 가중치(weights)는 최적화되며, 제2생성부(200)와 제2식별부(250)는 다시 훈련되는 과정을 거치게 된다.
도2는 도1에 도시된 제1생성부의 상세 구성 블록도이다.
도2를 참조하면, 도1에서 도시된 제1생성부(100)는 엔코더와 디코더 네트워크가 연결(중간 연결 구성은 생략)되는 구성을 포함하여 캐니 가장자리 검출 이미지(Canny edge detected image)를 입력받아 암호화와 복호화를 반복하여 출력하고, 상기 출력은 제1식별부(150)에 입력된다.
도3은 도1에 도시된 제1식별부의 상세 구성 블록도이다.
도3을 참조하면, 상기 제1식별부(150)는 딥 컨볼루션 신경망(Deep Convolutional Neural Network)으로서, 특징맵에 대한 제1, 제2 콘볼루션 계층(convolutional layer)과 제1, 제2 서브샘플링된 통합 계층(pooling layer)을 포함하고 이들을 완전하게 연결시킨 계층(fully connected layer)을 출력하도록 구성된 것이다.
도4는 도1에 도시된 제2생성부의 상세 구성 블록도이다.
도4를 참조하면, 상기 제2생성부는 암호화부(210)와 복호화부(220)를 포함하여 암호화 과정후 복호화 과정을 거친다.
상기 암호화부(210)는 컨볼루션부(Convolution, 211), 배치정규화부(Batch Normalization, 212), 정류선형유닛(Rectified Linear Unit, 213)으로 연결되어 있다.
상기 복호화부(220)는 디컨볼루션부(Deconvolution, 221), 배치정규화부(Batch Normalizationt, 222) 및 정류선형유닛(Rectified Linear Unit, 223)을 포함한다.
도5는 도1에 도시된 제2식별부의 상세 구성 블록도이다.
도5를 참조하면, 상기 제2식별부(250)는 접합 연산(concatenation)과정후 다수의 복호화부들을 거쳐서 출력하도록 구성된다.
도6은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 플로우 챠트를 나타낸다.
도6을 참조하면, 생성적 적대 신경망(GNA)에서 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지를 추출하는 과정은 다음과 같다.
먼저 데이타 세트로 루프탑 원본 사진 모음을 데이터 세트 A로 하고, 루프탑 가장자리가 확인된 이미지 모음을 데이터 세트 B로 하여 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템에 입력한다(S10).
상기 데이터 세트 A는 제2생성부(200)로 입력되어 제2생성부(200)를 통과하고, 제2생성부(200)는 목표 이미지(Target image)와 유사한 이미지를 출력한다(S12, S14).
여기에서, 도4를 참조하면 제2생성부(200)는 암호화 단계, 복호화단계를 거치게 된다.
상기 제2생성부(200)의 암호화 단계에는 컨볼루션 과정, 배치정규화 과정 및 정류선형 과정을 포함하고, 제2생성부(200)의 복호화 단계에는 디컨볼루션 과정, 배치정규화 과정 및 정류선형 과정을 포함한다.
한편, 상기 데이터 세트 B는 (Canny edge detection: 케니엣지검출)로 확인된 이미지 모음으로 제1생성부(100)로 입력되어 제1생성부(100)를 통과한다(S20).
상기 제1생성부(100)는 노이즈 샘플을 입력 이미지에 맵핑하여 장애물을 삽입한다(S30).
상기 장애물은 건물 지붕 주변에서 건물의 모서리를 가리게 되는 나무, 굴뚝, 원반 같은 것으로서 건물 지붕 모서리를 정확하게 구분할 수 없게 된다.
다음으로, 상기 제1식별부(150)는 원본 입력 이미지 데이터 세트에 액세스 가능하며 제1생성부(100)에서 나온 출력을 입력으로 받아들이고, 원본 이미지와 수신된 입력 간 각각의 영역을 식별하는 학습을 한다(S40, S50).
제1생성부(100)와 제1식별부(150) 간의 적대 훈련(Adversarial training)결과에 근거하여 분할(segmentation)에 대한 파라미터가 변경, 교정된다(S60).
스스로 이미지를 만드는 인공지능인 생성부와 원본 이미지를 감별하는 구분자 인공지능인 식별부는 매개변수를 다양하게 사용하여 지붕 가장자리를 추출하도록 훈련을 반복할수록 그 차이가 줄어드는 것을 확인할 수 있고 파라미터를 최적화할 수 있게 된다.
지붕 가장자리를 가리는 장애물이 분할되고, 바람직한 지붕 가장자리가 검출된 이미지(T)가 제2식별부(250)에 수신된다(S70).
제2식별부(250)는 원본 이미지 데이터와 제1식별부(250)에서 나온 출력 이미지 쌍(A, T)과 원본 이미지 데이터와 제2생성부(200)로부터 출력된 이미지쌍(A, O)을 각각 수신하여 예측하고 예측 정확도에 따라서 제2생성부(200)와 제2식별부(250)에 부여된 파라미터의 가중치(weights)는 최적화되며, 제2생성부(200)와 제2식별부(250)는 다시 훈련되는 과정을 거치게 된다(S80).
따라서, 2개의 생성부와 2개의 식별부로 구성되는 적대 신경망은 이미지 A 영역을 입력으로 받고 목표 이미지(T) 영역의 출력 이미지를 생성하도록 학습되어 GAN은 장애물 뒤에 숨겨져 있는 지붕의 가장자리까지 모두 추출해 낼 수 있게 되고 훈련을 반복하여 지붕 이미지의 모서리부분을 가리는 물체를 제거하고 자동적으로 모서리 부분을 연결하고, 지붕 모서리 부분을 자동으로 연결한 후에는 지붕 이미지의 완전한 가장자리 이미지가 생성될 수 있다(S90).
도8은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 결과 비교 사진이다.
도8에 도시된 바와 같이, 본 발명에 따른 지붕 가장자리 이미지 추출 시스템은 종래의 생성적 적대 신경망과는 다른 것으로서 가장자리 추출뿐만 아니라 목적물 검출이나 배경 회복도 가능한 것이지만, 반면 cycle GAN이나 다른 GAN과 같은 이미지 변환 GAN에서 수행될 수 없는 것이다.
이상에서 본 발명은 기재된 구체적인 실시예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.
100 : 제1생성부 150 : 제1식별부
200 : 제2생성부 210 : 암호화부
211 : 컨볼루션부 212, 222 : 배치정규화부
213, 223 : 정류선형유닛 220 : 복호화부
221 : 디컨볼루션부 250 : 제2식별부

Claims (6)

  1. 생성적 적대 신경망(GAN) 기반의 이미지 변환 모델에 대한 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템에 있어서,
    원본 이미지로부터 가장자리 경계 검출 알고리즘으로 확인된 이미지 데이터 세트를 입력으로 받아서 가장자리를 가리는 장애물을 노이즈 샘플로서 맵핑하여 출력하는 제1생성부;
    상기 제1생성부에서 출력된 결과를 입력으로 받아들여서 원본 이미지와 제1생성부로부터 입력된 이미지 사이에서 각각의 영역을 식별하는 학습을 수행하는 제1식별부;
    원본 이미지 데이터 세트를 입력받아 원하는 목적 이미지와 유사한 출력 이미지를 생성하기 위하여 암호화와 복호화 과정을 수행하는 제2생성부;및
    제2생성부로 입력된 원본 이미지와 제1식별부를 통과하며 적대적 훈련 결과에 따라 파라미터가 변경, 교정되어 출력된 목표 이미지의 제1쌍 및 제2생성부로 입력된 원본 이미지와 제2생성부를 통과하여 목표이미지와 유사하게 출력을 원하는 이미지의 제2쌍을 수신하여 수정되는 출력 이미지를 예측하고, 지붕 이미지의 가장자리를 가리는 장애물을 제거하고 장애물에 의해 가려졌던 가장자리를 연결하여 완전한 가장자리 이미지를 생성하는 제2식별부를 포함하는 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템.
  2. 제 1 항에 있어서,
    생성적 적대 신경망(GAN) 기반의 이미지 변환 모델은 픽셀대픽셀 생성적 적대 신경망(Pix2pix GAN)인 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템.
  3. 제 1 항에 있어서,
    상기 제1생성부는 캐니 가장자리 검출 이미지(Canny edge detected image)를 입력받아 암호화와 복호화를 반복하여 출력하는 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템.
  4. 제 1 항에 있어서,
    제1식별부는 특징맵에 대한 제1, 제2 콘볼루션 계층(convolutional layer)과 제1, 제2 서브샘플링된 통합 계층(pooling layer)을 포함하고 이들을 완전하게 연결시킨 계층(fully connected layer)들을 출력하도록 구성된 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템.
  5. 제 1 항에 있어서,
    상기 제2생성부는 암호화부와 복호화부를 포함하며,
    상기 암호화부는 컨볼루션부, 배치정규화부 및 정류선형유닛을 포함하고,
    상기 복호화부는 디컨볼루션부, 배치정규화부 및 정류선형유닛을 포함하는 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템.
  6. 제 1 항에 있어서,
    상기 제2식별부의 예측 정확도에 따라서 제2식별부와 제2생성부에 부여된 파라미터의 가중치들은 최적화되고, 제2식별부와 제2생성부는 다시 훈련되는 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템.
KR1020190175766A 2019-12-26 2019-12-26 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템 KR102282989B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190175766A KR102282989B1 (ko) 2019-12-26 2019-12-26 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190175766A KR102282989B1 (ko) 2019-12-26 2019-12-26 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템

Publications (2)

Publication Number Publication Date
KR20210083487A true KR20210083487A (ko) 2021-07-07
KR102282989B1 KR102282989B1 (ko) 2021-07-29

Family

ID=76862148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190175766A KR102282989B1 (ko) 2019-12-26 2019-12-26 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템

Country Status (1)

Country Link
KR (1) KR102282989B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116298935A (zh) * 2023-05-19 2023-06-23 河南科技学院 一种基于对抗编码器网络的锂离子电池健康状态估计方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018200072A1 (en) * 2017-04-25 2018-11-01 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
KR20180120478A (ko) * 2017-04-27 2018-11-06 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
KR20190004000A (ko) * 2016-06-01 2019-01-10 케이엘에이-텐코 코포레이션 반도체 애플리케이션을 위한 신경망 및 순방향 물리적 모델을 포함하는 방법 및 시스템
KR20190094133A (ko) * 2019-04-16 2019-08-12 엘지전자 주식회사 객체를 인식하는 인공 지능 장치 및 그 방법
US20190286950A1 (en) * 2018-03-16 2019-09-19 Ebay Inc. Generating a digital image using a generative adversarial network
KR20190133582A (ko) 2018-05-23 2019-12-03 한국과학기술원 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190004000A (ko) * 2016-06-01 2019-01-10 케이엘에이-텐코 코포레이션 반도체 애플리케이션을 위한 신경망 및 순방향 물리적 모델을 포함하는 방법 및 시스템
WO2018200072A1 (en) * 2017-04-25 2018-11-01 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
KR20180120478A (ko) * 2017-04-27 2018-11-06 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
US20190286950A1 (en) * 2018-03-16 2019-09-19 Ebay Inc. Generating a digital image using a generative adversarial network
KR20190133582A (ko) 2018-05-23 2019-12-03 한국과학기술원 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
KR20190094133A (ko) * 2019-04-16 2019-08-12 엘지전자 주식회사 객체를 인식하는 인공 지능 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116298935A (zh) * 2023-05-19 2023-06-23 河南科技学院 一种基于对抗编码器网络的锂离子电池健康状态估计方法
CN116298935B (zh) * 2023-05-19 2023-09-19 河南科技学院 一种基于对抗编码器网络的锂离子电池健康状态估计方法

Also Published As

Publication number Publication date
KR102282989B1 (ko) 2021-07-29

Similar Documents

Publication Publication Date Title
KR102343410B1 (ko) 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법
Chen et al. Learning context flexible attention model for long-term visual place recognition
US10970543B2 (en) Distributed and self-validating computer vision for dense object detection in digital images
US11062166B2 (en) Computer vision systems and methods for geospatial property feature detection and extraction from digital images
Doshi et al. From satellite imagery to disaster insights
Huang et al. Building extraction from multi-source remote sensing images via deep deconvolution neural networks
CN103279936B (zh) 基于画像的人脸伪照片自动合成及修正方法
CN108369651B (zh) 一种提取天空区域的方法、系统及非暂时性计算机可读存储介质
CN113689445B (zh) 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法
Tian et al. Multiscale building extraction with refined attention pyramid networks
KR102282989B1 (ko) 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템
CN113989681A (zh) 遥感影像变化检测方法、装置、电子设备及存储介质
CN106934595A (zh) 建筑工程管理系统工程进度数据录入方法
Zhang et al. Transland: An adversarial transfer learning approach for migratable urban land usage classification using remote sensing
CN106940804A (zh) 建筑工程物料管理系统表单数据自动录入方法
Liu et al. Discovering potential illegal construction within building roofs from UAV images using semantic segmentation and object-based change detection
Matsuoka et al. Automatic detection of stationary fronts around Japan using a deep convolutional neural network
Lu et al. Bi-temporal attention transformer for building change detection and building damage assessment
CN116994332A (zh) 基于轮廓图引导的跨模态行人重识别方法及系统
CN108038835B (zh) 显著性驱动的图像重要区域马赛克自动生成方法
CN114882229A (zh) 一种目标检测图片生成方法、装置、设备及介质
Jiang et al. Depth-based ensemble learning network for face anti-spoofing
CN113298102B (zh) 一种目标分类模型的训练方法及装置
Jinghui et al. Building extraction in urban areas from satellite images using GIS data as prior information
Praganingrum et al. Image Processing Applications in Construction Projects: Challenges and Opportunities

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant