KR20210116665A - 불법 건축물 식별 방법, 장치, 설비 및 저장 매체 - Google Patents

불법 건축물 식별 방법, 장치, 설비 및 저장 매체 Download PDF

Info

Publication number
KR20210116665A
KR20210116665A KR1020217028330A KR20217028330A KR20210116665A KR 20210116665 A KR20210116665 A KR 20210116665A KR 1020217028330 A KR1020217028330 A KR 1020217028330A KR 20217028330 A KR20217028330 A KR 20217028330A KR 20210116665 A KR20210116665 A KR 20210116665A
Authority
KR
South Korea
Prior art keywords
building
target
feature
image
target image
Prior art date
Application number
KR1020217028330A
Other languages
English (en)
Inventor
관하오 왕
즈 예
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210116665A publication Critical patent/KR20210116665A/ko

Links

Images

Classifications

    • G06K9/00637—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06K9/342—
    • G06K9/4676—
    • G06K9/6268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • G06Q50/163—Real estate management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753—Transform-based matching, e.g. Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

본 출원은 불법 건축물 식별 방법, 장치, 설비 및 저장 매체를 개시하고 클라우드 컴퓨팅 분야에 관한 것이다. 구체적인 구현 방안은 타겟 이미지 및 타겟 이미지와 관련된 참조 이미지를 획득하고; 타겟 이미지의 타겟 건축물 특징 및 참조 이미지의 참조 건축물 특징을 각각 추출하고; 타겟 건축물 특징 및 참조 건축물 특징에 따라, 타겟 이미지의 불법 건축물 식별 결과를 확정하는 것이다. 본 출원의 실시예는 타겟 이미지와 관련된 참조 이미지를 획득하여, 타겟 이미지와 참조 이미지를 바인딩하고, 바인딩된 이미지에 대해 특징 추출을 수행하여, 참조 이미지의 건축물 특징을 기반으로 타겟 이미지에 대해 불법 건축물 식별을 수행하는 것을 통해, 불법 건축물 자동 식별을 구현하고, 불법 건축물 식별 과정의 데이터 처리량을 줄임과 동시에, 샴 아이디어를 기반으로, 타겟 이미지와 참조 이미지에 대해 건축물 특징 추출을 수행하고, 추출된 건축물 특징에 따라 불법 건축물을 식별하여 식별 결과의 정확도를 향상시킨다.

Description

불법 건축물 식별 방법, 장치, 설비 및 저장 매체
본 출원은 2020년 3월 27일 중국특허청에 제출되고 출원번호가 202010231088.3인 중국 특허출원의 우선권을 주장하는 바, 해당 출원의 전부 내용은 참조로서 본 출원에 포함된다.
[기술분야]
본 출원은 이미지 처리 기술에 관한 것이고, 예를 들어 클라우드 컴퓨팅 분야에 관한 것이며, 구체적으로 불법 건축물 식별 방법, 장치, 설비 및 저장 매체에 관한 것이다.
도시 건설에서 불법 건축물은 도시의 모습을 파괴하는 중점 주목대상이 되었고, 아울러 불법 건물은 사람들의 생명 안전에 비교적 큰 위협이 되고 있다.
현재, 불법 건축물의 검측은 일반적으로 도시 관리 부서의 옵션을 통해 수행된다. 그러나 상기 방법은 많은 인건비가 투입되고 사람을 통해 검사하는 방법은 효율성이 떨어지고 누락되기 쉽다.
다음은 본문에 상세히 설명된 카테고리의 개요이다. 해당 개요는 청구범위의 보호범위를 한정하기 위한 것이 아니다.
본 출원의 실시예는 불법 건축물 식별 방법, 장치, 설비 및 저장 매체를 제공하여, 불법 건축물의 자동 식별을 실현하고, 식별 비용을 절감하며, 식별 효율을 향상시킨다.
제1 측면에서, 본 출원의 실시예는 불법 건축물 식별 방법을 제공하고, 상기 방법은,
타겟 이미지 및 상기 타겟 이미지와 관련된 참조 이미지를 획득하는 단계;
상기 타겟 이미지의 타겟 건축물 특징 및 상기 참조 이미지의 참조 건축물 특징을 각각 추출하는 단계;
상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 단계; 를 포함한다.
본 출원은 타겟 이미지 및 타겟 이미지와 관련된 참조 이미지를 획득하고; 타겟 이미지의 타겟 건축물 특징 및 참조 이미지의 참조 건축물 특징을 각각 추출하고; 타겟 건축물 특징 및 참조 건축물 특징에 따라, 타겟 이미지의 불법 건축물 식별 결과를 확정한다. 상기 기술방안은 타겟 이미지와 관련된 참조 이미지를 획득하여, 타겟 이미지와 참조 이미지를 바인딩하고, 바인딩된 이미지에 대해 특징 추출을 수행하여, 참조 이미지의 건축물 특징을 기반으로 타겟 이미지에 대해 불법 건축물 식별을 수행하는 것을 통해, 불법 건축물 자동 식별을 구현하고, 불법 건축물 식별 과정의 데이터 처리량을 줄임과 동시에, siamese(샴) 아이디어를 기반으로, 타겟 이미지와 참조 이미지에 대해 건축물 특징 추출을 수행하고, 추출된 건축물 특징에 따라 불법 건축물을 식별하여 식별 결과의 정확도를 향상시킨다.
일 실시예에서, 상기 타겟 이미지와 상기 참조 이미지의 수집 위치의 거리 차이값이 설정된 거리 임계값보다 작거나, 상기 타겟 이미지와 상기 참조 이미지의 수집 각도의 각도 차이값이 설정된 각도 임계값보다 작거나, 상기 타겟 이미지와 상기 참조 이미지의 수집 위치의 거리 차이값이 설정된 거리 임계값보다 작고 상기 타겟 이미지와 상기 참조 이미지의 수집 각도의 각도 차이값이 설정된 각도 임계값보다 작다.
상술한 출원의 하나의 선택 가능한 실시형태로서, 타겟 이미지와 참조 이미지의 수집 위치의 거리 차이값, 또는 수집 각도의 각도 차이값, 또는 타겟 이미지와 참조 이미지의 수집 위치의 거리 차이값과 수집 각도의 각도 차이값을 한정함으로써, 타겟 이미지와 참조 이미지의 바인딩을 실현하고, 복수의 참조 이미지를 기반하여 타겟 이미지에 대해 불법 건축물 식별을 수행하는 경우를 방지하고, 데이터의 계산량을 줄인다.
일 실시예에서, 타겟 이미지의 타겟 건축물 특징 및 상기 타겟 이미지와 관련된 참조 이미지의 참조 건축물 특징을 각각 추출하는 단계는,
상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출하는 단계;
설정된 적어도 두 개의 스케일(scale)에서, 상기 타겟 기초 특징과 상기 참조 기준 특징에 대해 각각 특징 추출을 수행하여, 상기 적어도 두 개의 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징을 획득하는 단계; 를 포함한다.
상술한 출원의 하나의 선택 가능한 실시형태로서, 건축물 특징 추출 과정을 기초 특징 추출로 세부화하고, 기초 특징에 대해 적어도 두 개의 스케일에서 추가로 특징 추출을 수행하여, 상이한 스케일에서의 이미지의 세부적 특징을 얻을 수 있으며, 나아가 적어도 두 개의 스케일에서의 건축물 특징을 기반으로 불법 건축물 식별을 수행하여, 식별 결과의 정확도 향상시킨다.
일 실시예에서, 상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 단계는,
각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징에 대해 특징 융합을 수행하는 단계;
적어도 두 개의 스케일에서의 특징 융합 결과에 따라 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 단계; 를 포함한다.
상술한 출원의 하나의 선택 가능한 실시형태로서, 불법 건축물 식별 결과 확정 과정을 각 스케일에서의 건축물 특징에 대해 융합하는 것으로 세부화하고, 적어도 두 개의 스케일에서의 특징 내용과 결과에 따라 불법 건축물 식별을 수행하는 것을 통해, 다중 스케일에서의 불법 건축물 식별 메커니즘을 개선한다.
일 실시예에서, 각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징에 대해 특징 융합을 수행하는 단계는,
각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징 간의 차이를 구하고, 차이값을 해당 스케일에서의 특징 융합 결과로 하는 단계를 포함한다.
상술한 출원의 하나의 선택 가능한 실시형태로서, 특징 융합 과정을 각 스케일에서의 타겟 건축물 특징과 참조 건축물 특징 간의 차이값을 특징 융합 결과로 하는 것으로 세부화하는 것을 통해 특징 융합 메커니즘을 개선한다.
일 실시예에서, 상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출하는 단계는,
딥 레지듀얼 네트워크에 기반하여, 상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출하는 단계를 포함한다.
상술한 출원의 하나의 선택 가능한 실시형태로서, 기초 특징 추출 과정을 딥 레지듀얼 네트워크에 기반하여 기초 특징 추출을 수행하는 것으로 세부화하는 것을 통해, 특징 추출 방식을 개선하고 특징 추출 결과의 정확도를 향상시킨다.
일 실시예에서, 상기 참조 이미지의 참조 건축물 특징을 추출하는 단계 전에, 상기 방법은,
상기 타겟 이미지에 따라 상기 참조 이미지에 대해 좌표 변환을 수행하는 단계를 더 포함하고;
여기서, 상기 좌표 변환은 수축 변환, 연신 변환, 회전 변환 및 병진 변환 중 적어도 하나를 포함한다.
상술한 출원의 하나의 선택 가능한 실시형태로서, 참조 이미지에 대해 특징을 추출하기 전에, 타겟 이미지에 따라 참조 이미지에 대해 수축, 연신, 회전 및 병진 변환 중 적어도 하나를 수행하여 변환된 이미지와 타겟 이미지의 좌표가 매칭되도록 하여 불법 건축물 식별 결과의 정확도를 보장한다.
일 실시예에서, 상기 타겟 이미지에 따라 상기 참조 이미지에 대해 좌표 변환을 수행하는 단계는,
상기 타겟 이미지의 타겟 키포인트 및 타겟 디스크립터와 상기 참조 이미지의 참조 키포인트 및 참조 디스크립터를 각각 추출하는 단계;
상기 타겟 디스크립터와 상기 참조 디스크립터에 따라 상기 타겟 키포인트와 상기 참조 키포인트에 대해 매칭 작업을 수행하는 단계;
매칭 결과에 따라 변환 행렬을 결정하고, 상기 변환 행렬에 따라 상기 참조 이미지에 대해 좌표 변환을 수행하는 단계; 를 포함한다.
상술한 출원의 하나의 선택 가능한 실시형태로서, 참조 이미지에 대해 좌표 변경을 수행하는 과정을, 타겟 이미지와 참조 이미지에 대해 키포인트 및 디스크립터를 추출하는 것으로 세부화하고, 타겟 이미지와 참조 이미지의 디스크립터의 매칭 상황에 따라 키포인트 매칭을 수행하고, 따라서 키포인트 매칭 결과에 따라 변환 행렬을 결정하고, 나아가 결정된 변환 행렬에 따라 참조 이미지의 좌표 변경을 수행하여 참조 이미지에 대해 좌표 변환을 수행하는 처리 메커니즘이 개선하고, 불법 건축물 식별 결과의 정확도를 보장한다.
일 실시예에서, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 단계는,
상기 타겟 이미지에 불법 건축물 영역이 포함되는지 여부를 확정하는 단계;
상기 타겟 이미지에 불법 건축물 영역이 포함되면, 상기 불법 건축물 영역의 위치 좌표를 확정하는 단계; 를 포함한다.
상술한 출원의 하나의 선택 가능한 실시형태로서, 불법 건축물 식별 결과를 확정하는 과정을, 타겟 이미지 중의 건축물 영역에 대해 2가지로 분류하고, 건축물 영역에 불법 건축물 영역이 포함되는 경우, 불법 건축물 영역의 위치 좌표에 대해 검측하는 것으로 세부화하여, 불법 건축물 식별 결과의 내용을 풍부하게 한다.
제2 측면에서, 본 출원의 실시예는 불법 건축물 식별 장치를 더 제공하고, 상기 불법 건축물 식별 장치는,
타겟 이미지 및 상기 타겟 이미지와 관련된 참조 이미지를 획득하는 이미지 획득 모듈;
상기 타겟 이미지의 타겟 건축물 특징 및 상기 참조 이미지의 참조 건축물 특징을 각각 추출하는 건축물 특징 추출 모듈;
상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 식별 결과 확정 모듈; 을 포함한다.
제3 측면에서, 본 출원의 실시예는 전자 설비를 더 제공하고, 상기 전자 설비는,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리; 를 포함하고,
여기서, 상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령을 저장하고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1 측면의 실시예에서 제공하는 불법 건축물 식별 방법을 실행하도록 한다.
제4 측면에서, 본 출원의 실시예는 컴퓨터 명령이 저장된 비 일시적 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 명령은 상기 컴퓨터가 제1 측면의 실시예에서 제공하는 불법 건축물 식별 방법을 실행하도록 구성된다.
상기 선택가능한 방법의 다른 효과는 아래에서 구체적인 실시예와 결합하여 설명하도록 한다.
도면과 상세한 설명을 보고 이해하면 기타 측면을 이해할 수 있다.
도면은 본 방안을 보다 잘 이해하도록 하기 위해 제공되며, 본 출원에 대한 한정을 구성하지 않는다. 여기서,
도 1은 본 출원의 실시예 1에서 제공하는 불법 건축물 식별 방법의 흐름도이다.
도 2는 본 출원의 실시예 2에서 제공하는 불법 건축물 식별 방법의 흐름도이다.
도 3은 본 출원의 실시예 3에서 제공하는 불법 건축물 식별 방법의 흐름도이다.
도 4a는 본 출원의 실시예 4에서 제공하는 불법 건축물 식별 방법의 흐름도이다.
도 4b는 본 출원의 실시예 4에서 제공하는 이미지 매칭 과정의 블록구성도이다.
도 4c는 본 출원의 실시예 4에서 제공하는 참조 이미지의 개략도이다.
도 4d는 본 출원의 실시예 4에서 제공하는 타겟 이미지의 개략도이다.
도 4e는 본 출원의 실시예 4에서 제공하는 변환된 참조 이미지의 개략도이다.
도 4f는 본 출원의 실시예 4에서 제공하는 이미지 검측 과정의 블록구성도이다.
도 4g는 본 출원의 실시예 4에서 제공하는 타겟 이미지의 표시(marking) 결과 개략도이다.
도 5는 본 출원의 실시예 5에서 제공하는 불법 건축물 식별 장치의 구조도이다.
도 6은 본 출원의 실시예의 데이터 액세스 방법을 구현하는데 사용되는 전자 설비의 블록도이다.
이하 도면을 결합하여 본 출원의 예시적인 실시예를 설명하며, 이해를 돕기 위해 본 출원의 실시예의 다양한 세부 사항을 포함하되, 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 분야의 당업자는 본 출원의 범위 및 사상을 벗어나지 않는 한, 하기에서 설명되는 실시예에 대해 다양한 개변 및 수정을 수행할 수 있음을 인식해야 한다. 마찬가지로, 명확하고 간단하게 설명하기 위해, 아래의 설명에서는 공지 기능 및 구조에 대한 설명을 생략하도록 한다.
실시예 1
도 1은 본 출원의 실시예 1에서 제공하는 불법 건축물 식별 방법의 흐름도이다. 본 출원의 실시예는 이미지에서의 불법 건축물을 식별하는 상황에 적용되며, 해당 방법은 불법 건축물 식별 장치에 의해 실행되고, 해당 장치는 소프트웨어, 하드웨어, 또는 하드웨어와 소프트웨어로 구현되며, 구체적으로 전자 설비에 배치된다.
도 1에 도시된 불법 건축물 식별 방법은 다음 단계를 포함한다.
단계(S101)에서, 타겟 이미지 및 상기 타겟 이미지와 관련된 참조 이미지를 획득한다.
여기서, 타겟 이미지는 불법 건축물 식별을 수행해야 하는 이미지이고, 참조 이미지는 불법 건축물이 없는 디폴트 이미지이다. 여기서, 타겟 이미지와 참조 이미지는 동일한 영역 또는 거의 동일한 영역에 대해 서로 다른 시간에 수집한 이미지로 이해할 수 있으며, 그 중 참조 이미지의 수집 시간은 타겟 이미지보다 빠르다.
이해할 수 있는 것은, 참조 이미지는 현재 수집 시점부터 수집 간격을 설정하여 수집한 이미지일 수도 있고, 처음으로 불법 건축물 식별을 수행할 때 수집한 이미지일 수도 있다. 물론 반복 검측을 피하기 위해, 참조 이미지를 실시간으로 또는 고정된 시간에 교체할 수도 있으며, 본 출원은 이에 대해 한정하지 않는다.
타겟 이미지와 참조 이미지의 일치성을 보장하고, 후속으로 확정하는 불법 건축물 식별 결과의 정확도를 높이기 위해, 일 실시예에서, 획득한 타겟 이미지와 참조 이미지의 수집 위치의 거리 차이값이 설정된 거리 임계값보다 작도록 하여 타겟 이미지와 참조 이미지의 수집 위치가 동일하거나 유사하도록 보장한다. 또는 일 실시예에서, 획득한 타겟 이미지와 참조 이미지의 수집 각도의 각도 차이값이 설정된 각도 임계값보다 작도록 하여 타겟 이미지와 참조 이미지의 수집 각도가 동일하거나 유사하도록 보장한다. 여기서, 설정된 거리 임계값과 설정된 각도 임계값은 기술자가 필요에 따라 또는 경험적 값에 따라 결정할 수 있다. 여기서, 수집 각도는 이미지 각도 또는 수집 설비의 피치각 등일 수 있다.
이미지에 포함된 건축물 정보의 전면성을 보장하기 위해, 일반적으로 드론을 사용하여 설정된 검사 경로 및 설정된 수집 빈도에 따라 이미지를 촬영한다. 상이한 수집 영역의 이미지를 구별하기 위해, 이미지 수집 순서에 따라 수집된 이미지 순서에 대해 번호를 매길 수 있다. 상응하게, 참조 이미지를 획득할 때, 타겟 이미지의 이미지 번호와 동일한 참조 이미지를 획득한다. 여기서, 수집 빈도는 기술자가 수집 요구 또는 드론의 렌즈 파라미터에 따라 결정할 수 있다.
예시적으로, 타겟 이미지 및 타겟 이미지와 관련된 참조 이미지는 로컬 전자 설비, 전자 설비와 관련된 기타 저장 설비 또는 클라우드에 미리 저장될 수 있으며, 불법 건축물 식별을 수행해야 하는 경우, 로컬 전자 설비, 전자 설비와 관련된 기타 저장 설비 또는 클라우드에서 타겟 이미지 및 참조 이미지의 획득을 수행한다. 타겟 이미지와 참조 이미지 간의 연관 관계를 보장하기 위해, 타겟 이미지와 참조 이미지에 대해 각각 이미지 수집 위치에 따라 번호를 매김으로써 동일한 수집 위치의 타겟 이미지와 참조 이미지 번호가 일치하도록 할 수 있다. 상응하게, 타겟 이미지와 참조 이미지를 획득할 때, 동일한 번호의 타겟 이미지와 참조 이미지를 획득한다.
예시적으로, 수집 장치(예를 들어, 드론)에서 타겟 이미지를 수집할 때, 실시간으로 전자 설비에 타겟 이미지를 전송할 수도 있고; 참조 이미지를 로컬 전자 설비, 전자 설비와 관련된 기타 저장 설비 또는 클라우드에 저장할 수 있다. 상응하게, 전자 설비가 수집 장치에 의해 실시간으로 수집된 타겟 이미지를 수신하면, 로컬 전자 설비, 전자 설비와 관련된 기타 저장 설비 또는 클라우드에서 타겟 이미지와 관련된 참조 이미지 획득을 수행할 수 있다.
단계(S102)에서, 상기 타겟 이미지의 타겟 건축물 특징 및 상기 참조 이미지의 참조 건축물 특징을 각각 추출한다.
타겟 이미지 중의 건축물 그룹이 복잡하고 다양하고, 로도상의 보행자와 차량 등도 건축물 영역에 큰 영향을 미치기 때문에, 추출된 건축물 특징의 정확도를 높이기 위해, 일 실시예에서, 딥러닝의 방식을 통해 타겟 이미지와 참조 이미지 중의 건축물 특징을 추출하여, 추출된 특징이 이미지의 의미 정보(semantic information)를 반영할 수 있도록 하여, 발굴된 특징이 보다 풍부하고 전면적이도록 한다.
이해할 수 있는 것은, 본 출원은 이미지 전체에 대해 건축물 특징 추출을 수행하므로, 이미지에서 단일 건축물에 대해 분할하고 단일 건물에 기반하여 특징 추출 수행할 필요가 없기에, 특징 추출 과정에서 계산량을 줄일 수 있다. 한편, 이미지에서 건축물의 분포가 밀집된 경우, 단일 건축물에 대해 분할한 후 분할된 단일 건축물에 대해 특징 추출을 수행하면, 추출된 특징의 정확도도 낮고, 마지막으로 불법 건축물 식별을 수행하는 건축물 식별 결과의 정확도에 영향을 미친다.
설명해야 할 것은, 불법 건축물을 식별할 때, 일반적으로 행정구역(예를 들어 향과 진 등)에 따라 식별할 영역을 분할한다. 따라서 식별할 영역에서 수집한 이미지 샘플의 수는 제한되고, 상이한 이미지 간의 차이가 크므로, 타겟 이미지와 참조 이미지를 바인딩하는 방식을 사용하고, siamese 아이디어를 기반으로 특징 추출 모델에 대해 훈련시킨다. 상응하게, 특징 추출 모델을 사용하여 특징 추출을 수행할 때, 동일한 특징 추출 모델 및 모델 파라미터를 사용하여, 타겟 이미지 및 타겟 이미지와 관련된 참조 이미지에 대해 각각 건축물 특징 추출을 수행하며, 이를 통해 추출한 건축물 특징의 일치성을 보장한다.
단계(S103)에서, 상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정한다.
예시적으로, 타겟 건축물 특징 및 참조 건축물 특징에 따라, 타겟 이미지의 불법 건축물 식별 결과를 확정하는 것은, 타겟 건축물 특징과 참조 건축물 특징에 대해 특징 융합을 수행하고; 융합 후의 특징에 따라, 타겟 이미지의 불법 건축물 식별 결과를 확정하는 것일 수 있다.
일 실시예에서, 타겟 건축물 특징과 참조 건축물 특징 간의 차이를 구하는 방식을 사용하여, 차이값 결과를 특징 융합 결과로 할 수 있다. 이해할 수 있는 것은, 차이를 구하는 방식으로 특징 융합을 수행하는 것을 통해, 타겟 이미지와 참조 이미지 양자의 상이한 영역에 대응되는 융합된 건축물 특징을 강조할 수 있고; 상응하게, 융합된 건축물 특징을 통해 불법 건축물 식별을 수행하는 경우, 식별 결과의 정확도를 현저하게 높일 수 있다.
본 출원의 실시예의 선택가능한 실시형태에서, 타겟 이미지의 불법 건축물 식별 결과를 확정하는 것은, 타겟 이미지 중의 건축물 영역에 대해 2가지 분류를 수행, 즉 불법 건축물이 존재함 및 불법 건축물이 존재하지 않음으로 분류하는 것일 수 있다. 상응하게, 타겟 이미지의 불법 건축물 식별을 수행할 때, 분류 모델을 기반으로, 타겟 건축물 특징과 참조 건축물 특징에 대해 특징 융합을 수행한 후의 융합된 건축물 특징에 따라 분류 결과를 얻을 수 있다.
본 출원의 실시예의 다른 하나의 선택가능한 실시형태에서, 타겟 이미지의 불법 건축물 식별 결과를 확정하는 것은, 또한 타겟 이미지에 불법 건축물 영역이 포함되는지 여부를 확정하고; 타겟 이미지에 불법 건축물 영역이 포함되는 경우, 불법 건축물 영역의 위치 좌표를 확정하는 것일 수 있다.
예시적으로, 검측 모델을 기반으로, 타겟 건축물 특징과 참조 건축물 특징에 대해 특징 융합을 수행한 후의 융합된 건축물 특징에 따라, 타겟 이미지 중의 불법 건축물 영역에 대해 검측하고, 불법 건축물 영역의 위치 좌표를 확정한다.
일 실시예에서, 검측 모델의 훈련 과정에서 식별 손실 함수 및 포지셔닝 손실 함수를 도입할 수 있으며, 식별 손실 함수 및 포지셔닝 편차 손실 함수를 기반으로 검측 모델의 네트워크 파라미터에 대해 최적화 조정을 수행할 수 있다. 여기서, 식별 손실 함수는 모델이 출력한 분류 결과와 실제 분류 결과 간의 편차를 표현(representation)하도록 설정되고; 포지셔닝 손실 함수는 모델이 출력한 불법 건축물 영역의 위치 좌표와 불법 건축물 영역의 실제 위치 좌표 사이의 편차를 표현하도록 설정된다.
여기서, 불법 건축물 영역은 원형 영역 또는 직사각형 영역으로 표시할 수 있다. 원형 영역을 사용하는 경우, 위치 좌표는 원의 중심 위치와 원의 반경을 포함할 수 있다. 직사각형 영역을 사용하는 경우, 위치 좌표는 직사각형 영역의 정점 좌표 중 하나, 직사각형 길이값 및 직사각형 너비값을 포함하거나, 위치 좌표는 적어도 두 개의 정점 좌표, 예를 들어 대각선에 대응되는 두 개의 정점 좌표를 포함한다.
이해할 수 있는 것은, 불법 건축물 영역이 혼란스러운 것을 방지하기 위해, 일반적으로 통일된 위치 좌표 확정 방식을 사용하고, 예를 들어, 위치 좌표는 직사각형 영역의 좌상단 정점 좌표, 직사각형 길이값 및 직사각형 너비값을 포함한다. 상응하게, 좌상단 정점을 시작점으로 하고, 타겟 이미지의 길이 방향과 평행되는 방향에서 직사각형 길이값 만큼의 거리로 직사각형의 하나의 변을 결정하고, 타겟 이미지의 너비 방향과 평행되는 방향에서, 직사각형 너비값 만큼의 거리로 직사각형의 다른 하나의 변을 결정하여 불법 건축물 영역을 확정한다.
불법 건축물 영역을 보다 직관적으로 표현하기 위해, 불법 건축물 영역의 위치 좌표에 따라 타겟 이미지 또는 참조 이미지에서 불법 건축물 영역을 표시(marking)할 수도 있다. 타겟 이미지와 참조 이미지의 수집 각도가 상이함으로 인한 양자의 좌표 차이를 방지하기 위해, 일반적으로 타겟 이미지에서 불법 건축물 영역에 대해 표시한다.
본 출원은 타겟 이미지 및 타겟 이미지와 관련된 참조 이미지를 획득하고; 타겟 이미지의 타겟 건축물 특징 및 참조 이미지의 참조 건축물 특징을 각각 추출하고; 타겟 건축물 특징 및 참조 건축물 특징에 따라, 타겟 이미지의 불법 건축물 식별 결과를 확정한다. 상기 기술방안은 타겟 이미지와 관련된 참조 이미지를 획득하여, 타겟 이미지와 참조 이미지를 바인딩하고, 바인딩된 이미지에 대해 특징 추출을 수행하여, 참조 이미지의 건축물 특징을 기반으로 타겟 이미지에 대해 불법 건축물 식별을 수행하는 것을 통해, 불법 건축물 자동 식별을 구현하고, 불법 건축물 식별 과정의 데이터 처리량을 줄임과 동시에, siamese(샴) 아이디어를 기반으로, 타겟 이미지와 참조 이미지에 대해 건축물 특징 추출을 수행하고, 추출된 건축물 특징에 따라 불법 건축물을 식별하여 식별 결과의 정확도를 향상시킨다.
실시예 2
도 2는 본 출원의 실시예 2에서 제공하는 불법 건축물 식별 방법의 흐름도이고, 본 출원의 실시예는 상술한 각 실시예의 기술방안의 기초상에서 최적화 개선을 수행하였다.
일 실시예에서, "타겟 이미지의 타겟 건축물 특징 및 상기 타겟 이미지와 관련된 참조 이미지의 참조 건축물 특징을 각각 추출"하는 작업을 "상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출하고; 설정된 적어도 두 개의 스케일에서, 상기 타겟 기초 특징과 상기 참조 기준 특징에 대해 각각 특징 추출을 수행하여, 상기 적어도 두 개의 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징을 획득"하는 것으로 세부화하여 건축물 특징의 추출 방식을 개선한다.
도 2에 도시된 불법 건축물 식별 방법은 다음 단계를 포함한다.
단계(S201)에서, 타겟 이미지 및 상기 타겟 이미지와 관련된 참조 이미지를 획득한다.
단계(S202)에서 상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출한다.
예시적으로, 딥 레지듀얼 네트워크(deep residual network)에 기반하여, 상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출한다. 여기서, 딥 레지듀얼 네트워크의 네트워크 깊이는 경험적 값 또는 많은 실험에 따라 결정할 수 있다. 예를 들어, 네트워크 깊이를 50으로 설정할 수 있다.
단계(S203)에서, 설정된 적어도 두 개의 스케일(scale)에서, 상기 타겟 기초 특징과 상기 참조 기준 특징에 대해 각각 특징 추출을 수행하여, 상기 적어도 두 개의 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징을 획득한다.
상이한 스케일에서의 특징에 포함된 상세 정보의 차원이 상이하기 때문에, 적어도 두 개의 스케일을 통해 추출된 기초 특징에 대해 추가 특징 마이닝(mining)을 수행함으로써, 표현 능력이 더 강한 특징 맵을 얻을 수 있으며, 나아가 불법 건축물 식별 결과의 식별 정확도를 높이는 것에 대해 보장을 제공한다.
여기서, 스케일의 개수는 기술자가 필요에 따라 또는 경험적 값에 따라 결정할 수 있거나, 모델 훈련 과정에서 모델 훈련 결과에 따라 결정할 수도 있다. 예시적으로, 스케일을 5로 설정할 수 있다.
예시적으로, 특징 피라미드 모델을 사용하고 설정된 적어도 두 개의 스케일(scale)에서, 타겟 기초 특징과 참조 기준 특징에 대해 각각 특징 추출을 수행하여, 적어도 두 개의 스케일에서의 타겟 건축물 특징과 참조 건축물 특징을 획득할 수 있다.
단계(S204)에서, 상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정한다.
타겟 건축물 특징과 참조 건축물 특징은 모두 스케일이 다른 특징 맵을 포함하기 때문에, 타겟 건축물 특징과 참조 건축물 특징에 따라 타겟 이미지의 불법 건축물 식별을 수행할 때, 상이한 스케일에서의 타겟 건축물 특징과 참조 건축물 특징에 대해 특징 융합을 수행해야 한다.
일 실시예에서, 상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 것은, 각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징에 대해 특징 융합을 수행하고; 적어도 두 개의 스케일에서의 특징 융합 결과에 따라 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 것일 수 있다.
예시적으로, 각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징에 대해 특징 융합을 수행하는 것은, 각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징 간의 차이를 구하고, 차이값을 해당 스케일에서의 특징 융합 결과로 하는 것일 수 있다.
설명해야 할 것은, 각 스케일에서의 타겟 건축물 특징과 참조 건축물 특징 간의 차이를 구하고, 차이값을 해당 스케일에서의 특징 융합 결과로 함으로써, 해당 스케일에서의 타겟 이미지와 참조 이미지 간의 차이를 강조할 수 있고, 나아가 적어도 두 개의 스케일에서의 특징 융합 결과에 따라 타겟 이미지의 불법 건축물 식별 결과를 확정할 때, 각 스케일에서의 타겟 이미지와 참조 이미지 간의 차이성을 참조할 수 있어, 참조 정보가 보다 풍부하고 전면적이도록 하여, 불법 건축물 식별 결과의 정확도를 향상시킨다.
본 출원의 실시예는 타겟 이미지와 참조 이미지의 건축물 특징 추출 과정을, 타겟 이미지와 참조 이미지의 기초 특징을 각각 추출하고 기초 특징에 대해 다중 스케일의 특징 추출을 수행하여 건축물 특징을 얻는 것으로 세부화함으로써, 다중 스케일의 타겟 이미지 특징과 참조 이미지 특징에 기반하여 타겟 이미지의 불법 건축물 식별 결과를 확정하여, 추출된 건축물 특징의 정확도와 풍부함을 개선하고, 건축물 특징의 표현 능력을 향상시키며, 불법 건축물 식별 결과의 정확도를 향상시킨다.
실시예 3
도 3은 본 출원의 실시예 3에서 제공하는 불법 건축물 식별 방법의 흐름도이고, 본 출원의 실시예는 상술한 각 실시예의 기술방안의 기초상에서 최적화 개선을 수행하였다.
일 실시예에서, "상기 참조 이미지의 참조 건축물 특징을 추출"하는 작업 전에, "상기 타겟 이미지에 따라 상기 참조 이미지에 대해 좌표 변환을 수행하고; 여기서, 상기 좌표 변환은 수축 변환, 연신 변환, 회전 변환 중 적어도 하나를 포함"하는 것을 추가하여, 타겟 이미지와 참조 이미지의 좌표를 매칭한다.
도 3에 도시된 불법 건축물 식별 방법은 다음 단계를 포함한다.
단계(S301)에서, 타겟 이미지 및 상기 타겟 이미지와 관련된 참조 이미지를 획득한다.
단계(S302)에서, 상기 타겟 이미지에 따라 상기 참조 이미지에 대해 좌표 변환을 수행한다.
여기서, 좌표 변환은 수축 변환, 연신 변환, 회전 변환 및 병진 변환 중 적어도 하나를 포함한다.
타겟 이미지와 참조 이미지의 수집 과정에서, 수집 설비의 수집 위치 및 수집 각도 등 수집 파라미터의 상이함으로 인해, 타겟 이미지와 참조 이미지의 좌표가 매칭되지 않는 상황이 생길 수 있다. 타겟 이미지와 참조 이미지의 좌표가 매칭되지 않는 경우, 타겟 이미지의 불법 건축물 식별 결과의 정확도에 일정한 영향을 미친다.
불법 건축물 식별 결과의 정확도를 보장하기 위해, 참조 이미지에 대해 특정 추출을 수행하기 전에, 타겟 이미지에 따라 참조 이미지에 대해 좌표 변환을 수행하여 참조 이미지와 타겟 이미지의 좌표를 매칭시켜야 한다.
일 실시예에서, 기계 학습 모델을 사용하여 타겟 이미지의 타겟 정향 특징과 참조 이미지의 참조 정향 특징을 각각 추출하고; 타겟 정향 특징과 참조 정향 특징의 매칭 상황에 따라, 타겟 이미지에 대한 참조 이미지의 변형을 확정하고; 변형된 상황에 따라 참조 이미지를 조정하여, 조정된 참조 이미지와 타겟 이미지의 좌표가 매칭되게 한다.
예시적으로, 상기 타겟 이미지의 타겟 키포인트 및 타겟 디스크립터와 상기 참조 이미지의 참조 키포인트 및 참조 디스크립터를 각각 추출하고; 상기 타겟 디스크립터와 상기 참조 디스크립터에 따라 상기 타겟 키포인트와 상기 참조 키포인트에 대해 매칭 작업을 수행하며; 매칭 결과에 따라 변환 행렬을 결정하고, 상기 변환 행렬에 따라 상기 참조 이미지에 대해 좌표 변환을 수행한다.
예를 들어, 스케일 불변 특징변환(Scale-invariant feature transform, SIFT) 알고리즘을 사용하여 타겟 이미지에 대해 키포인트와 디스크립터 추출을 수행하여 타겟 키포인트와 타겟 디스크립터를 얻고; SIFT 알고리즘을 사용하여 참조 이미지에 대해 키포인트와 디스크립터 추출을 수행하여 참조 키포인트와 참조 디스크립터를 얻는다. K 위도 트리(K dimensional tree, KD Tree)를 사용하고, 타겟 디스크립터와 참조 디스크립터의 매칭 상황에 따라 타겟 키포인트와 참조 키포인트에 대해 매칭 작업을 수행하여 초기 매칭 관계를 얻고; 랜덤 샘플 일치(Random Sample Consensus, RANSAC) 알고리즘을 사용하여, 무효한 초기 매칭 관계를 제거하고, 타겟 매칭 관계를 얻고; 타겟 매칭 관계에 따라 참조 이미지와 타겟 이미지 간의 변환 행렬을 확정하고; 변환 행렬에 따라 참조 이미지에 대해 좌표 변환을 수행하여, 변환된 참조 이미지와 타겟 이미지의 좌표가 매칭되도록 한다.
단계(S303)에서, 상기 타겟 이미지의 타겟 건축물 특징 및 변환된 참조 이미지의 참조 건축물 특징을 각각 추출한다.
설명해야 할 것은, 타겟 이미지에 대한 타겟 건축물 특징 추출 작업은 단계(S302) 이전에 수행할 수 있고, 단계(S303) 이후에 수행할 수도 있고, 단계(S302)와 동시에 수행할 수 있으며, 본 출원의 실시예는 양자의 실행 선후순서를 한정하지 않는다.
단계(S304)에서, 상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정한다.
본 출원의 실시예는 참조 이미지의 참조 건축물 특징을 추출하기 전에, 타겟 이미지에 따라 참조 이미지에 대해 좌표 변환을 수행하여 참조 이미지와 타겟 이미지의 좌표가 매칭되도록 하여 불법 건축물 식별 결과의 정확도를 보장한다.
상술한 각 실시예의 기술방안의 기초상에서, 이미지 크기, 조명 환경 및 수집 각도 등 수집 파라미터가 불법 건축물 식별 결과에 미치는 영향을 제거하기 위해, 타겟 이미지 및 참조 이미지를 획득한 후, 타겟 이미지 및 참조 이미지를 처리하기 전에, 타겟 이미지와 참조 이미지에 대해 전처리를 수행할 수도 있다.
본 출원의 실시예의 선택 가능한 실시형태에서, 타겟 이미지, 참조 이미지, 또는 타겟 이미지와 참조 이미지에 대해 스케일링 처리를 수행하여 타겟 이미지와 참조 이미지의 크기가 일치하도록 유지한다.
본 출원의 실시예의 다른 선택 가능한 실시형태에서, 타겟 이미지와 참조 이미지에 대해 그레이 스케일 변환(rgb2gray)을 수행하여, 이미지 색조 및 채도 정보를 제거하는 동시에 밝기 정보를 유지하여 RGB 이미지 또는 컬러 이미지에서 그레이 스케일 이미지로의 변환을 구현한다.
본 출원의 실시예의 또 하나의 선택 가능한 실시형태에서, 타겟 이미지와 참조 이미지에 대해 히스토그램 평활화(Histogram Equalization)를 수행하여 이미지의 명암비를 증가하고 빛과 같은 요소의 영향을 제거한다.
설명해야 할 것은, 상술한 적어도 두 가지 방법으로 이미지 전처리를 수행하는 경우, 전처리 작업의 선후 순서를 한정하지 않는다.
실시예 4
도 4a는 본 출원의 실시예 4에서 제공하는 불법 건축물 식별 방법의 흐름도이고, 본 출원의 실시예는 상술한 각 실시예의 기술방안의 기초상에서 바람직한 실시형태를 제공한다.
도 4a에 도시된 불법 건축물 식별 방법은,
이미지 수집 단계(S410);
이미지 매칭 단계(S420);
이미지 검측 단계(S430); 를 포함한다.
여기서, 이미지 수집 단계는,
타겟 이미지를 획득하는 단계(S411);
타겟 이미지와 동일한 수집 지점의 참조 이미지를 획득하는 단계(S412); 를 포함한다.
여기서, 타겟 이미지는 현재 시각에 드론을 제어하여 설정된 경로를 따라 설정된 빈도로 수집한 건축물을 포함한 이미지이다. 여기서, 참조 이미지는 드론의 역사 시각에 드론을 제어하여 설정된 경로를 따라 설정된 빈도로 수집한 건축물을 포함한 이미지이다.
여기서, 드론을 제어하여 이미지를 수행할 때마다, 이미지 수집 파라미터가 일치하도록 보장해야 한다. 여기서, 이미지 수집 파라미터는 수집 빈도와 수집 각도 등을 포함한다. 여기서, 드론의 수집 경로, 수집 빈도 및 기타 수집 파라미터는 기술자가 필요에 따라 또는 경험적 값에 따라 결정할 수 있다.
설명해야 할 것은, 드론의 수집 과정에서 적시 수집 파라미터가 모두 일치하게 설정되더라도, 외부 환경이나 시스템 오류로 인해 이미지 수집 지점 또는 수집 각도 등이 일치하지 않는 상황이 존재한다. 따라서, 새로 수집한 타겟 이미지와 참조 이미지의 수집 지점 사이의 거리 차이값이 설정된 거리 임계값을 충족하고, 수집 각도간의 각도 차이값이 설정된 각도 임계값을 충족하도록 보장하면 된다. 여기서, 설정된 거리 임계값과 설정된 각도 임계값은 기술자가 필요에 따라 또는 경험적 값에 따라 결정하거나, 많은 실험을 통해 결정할 수도 있다.
예시적으로, 드론을 통해 수집한 이미지 해상도는 4000*6000이다. 그 중 높이는 4000이고, 너비는 6000이다.
여기서, 이미지 매칭 과정은 다음 단계를 포함한다.
단계(S421)에서, 참조 이미지와 타겟 이미지에 대해 이미지 전처리를 수행한다.
도 4b에 도시된 이미지 매칭 과정의 블록구성도를 참조하면, 여기서 참조 이미지는 Img1이고, 타겟 이미지는 Img2이다.
여기서, 이미지 전처리 작업은, 참조 이미지와 타겟 이미지의 크기를 스케일링 처리하여, 처리된 타겟 이미지와 참조 이미지의 크기가 일치하도록 하는 스케일링 변환(resize)을 포함한다. 예를 들어 크기는 1000*1500으로 통일한다.
여기서, 이미지 전처리 작업은, 스케일링된 참조 이미지와 타겟 이미지를 컬러 이미지에서 그레이 스케일 이미지로 변환하도록 하는 그레이 스케일 변환(rgb2gray)을 더 포함한다.
여기서, 이미지 전처리 작업은, 타겟 이미지와 참조 이미지에서 빛 등 수집 환경이 상이함으로 인해 검측 결과에 미치는 영향을 제거하기 위한 히스토그램 평활화(EqualizeHist)를 더 포함한다.
단계(S422)에서, 참조 이미지와 타겟 이미지에 대해 이미지 매칭 작업을 수행하여, 참조 이미지에서 타겟 이미지로 변환할 때의 변환 행렬을 얻는다.
여기서, 이미지 매칭 작업은 키포인트와 디스크립터 추출을 포함하고, 이는 SIFT 알고리즘을 통해 참조 이미지에 대해 특징 추출 작업을 수행하여 참조 이미지의 참조 키포인트와 참조 디스크립터를 얻고; 동일한 알고리즘을 통해 타겟 이미지에 대해 특징 추출 작업을 수행하여 타겟 이미지의 타겟 키포인트와 타겟 디스크립터를 얻는데 사용된다.
여기서, 이미지 매칭 작업은 키포인트 매칭을 더 포함하고, 이는 KD Tree 알고리즘을 통해 참조 디스크립터와 타겟 디스크립터의 일치성에 따라 타겟 키포인트와 참조 키포인트에 대해 매칭을 수행하여 키포인트의 매칭 결과를 얻는데 사용된다.
여기서, 타겟 매칭 작업은 이상점(unusual point) 제거를 더 포함하고, 이는 RANSAC 알고리즘을 통해 키포인트 매칭 결과 중 무효 매칭 관계를 제거하여 최종 정확한 매칭 관계를 얻으며 정확한 매칭 관계에 대응되는 변환 행렬을 확정하는데 사용된다.
단계(S423)에서 변환 행렬에 따라 참조 이미지에 대해 좌표 변환을 수행한다.
여기서, 좌표 변환은 수축, 연신, 회전 및 병진 중 적어도 하나를 포함한다. 좌표 변환된 참조 이미지와 타겟 이미지의 좌표는 일치하다.
예를 들어, 도 4c 및 도 4d는 각각 참조 이미지 Img1 및 타겟 이미지 Img2이고, 도 4e는 변환된 참조 이미지 Img1_trans이다. 도 4e 및 도 4c를 비교하면, 도 4c의 참조 이미지 Img1을 회전 변환하여 도 4e를 얻는다. 도 4e와 도 4d를 비교하면, 양자의 좌표가 일치하다.
여기서, 이미지 검측 과정은 다음 단계를 포함한다.
단계(S431)에서, 제1 특징 추출 모델을 사용하여 타겟 이미지와 변환된 참조 이미지의 기초 특징을 추출한다.
도 4f에 도시된 이미지 검측 과정의 블록구성도를 참조하여 설명하도록 한다.
예를 들어, 딥 레지듀얼 네트워크를 사용하여, 타겟 이미지와 변환된 참조 이미지의 기초 특징을 각각 추출한다. 여기서, 타겟 이미지와 변환된 참조 이미지에 대해 기초 특징 추출을 수행할 때 사용하는 딥 레지듀얼 네트워크의 네트워크 파라미터는 일치하다. 여기서, 딥 레지듀얼 네트워크의 네트워크 깊이는 기술자가 필요에 따라 또는 경험적 값에 따라 결정하거나, 많은 실험을 통해 반복적으로 결정할 수 있다. 예를 들어, 네트워크 깊이는 50일 수 있다.
단계(S432)에서, 제2 특징 추출 모델을 사용하여 참조 이미지와 타겟 이미지의 기초 특징 중 상이한 스케일의 건축물 특징을 추출한다.
예를 들어, 특징 피라미드 네트워크(FPN)를 사용하여 상이한 스케일에서의 타겟 이미지와 참조 이미지의 기초 특징의 건축물 특징을 각각 추출하여 타겟 건축물 특징 Fea1과 참조 건축물 특징 Fea2를 얻는다.
이해할 수 있는 것은, 드론의 이미지 해상도가 높고 콘텐츠가 복잡하며, 건축물 영역이 비교적 작고 건축물 그룹이 복잡하고 다양하며, 보행자와 같은 기타 요소의 간섭을 받기 쉬우므로, 상이한 스케일에서의 건축물 특징을 추출하여, 후속 이미지 검측의 근거로 하여, 검측 결과의 정확도를 향상시킨다.
단계(S433)에서, 각 스케일에서의 타겟 이미지의 건축물 특징과 참조 이미지의 건축물 특징 간의 차이를 구하여 융합 특징을 얻는다.
이해할 수 있는 것은, 특징 간의 차이를 구하는 방법을 사용하여, 각 스케일에서의 타겟 건축물 특징과 참조 건축물 특징을 융합하여 융합 특징(Feature)을 얻는 것을 통해, 동일한 스케일에서의 타겟 이미지와 참조 이미지 간의 차이를 강조하여 불법 건축물로 의심되는 영역을 얻을 수 있다.
설명해야 할 것은, 차이를 구하는 연산을 수행하는 경우, 참조 이미지와 타겟 이미지의 선후 순서를 고려할 필요가 없으므로, 검측 모델의 일반화 능력을 향상시킨다.
단계(S434)에서, 검측 모델을 기반으로, 모든 스케일에서의 융합 특성에 따라, 타겟 이미지에 불법 건축물 영역이 포함되는지 여부를 확정한다.
단계(S435)에서, 타겟 이미지에 불법 건축물 영역이 포함되면, 불법 건축물 영역의 좌표를 출력한다.
단계(S436)에서, 타겟 이미지 또는 변환된 참조 이미지에서 불법 건축물 영역의 좌표에 따라 불법 건설 영역을 표시한다.
여기서, 불법 건축물 영역에는 적어도 하나의 불법 건축물이 포함된다. 여기서, 불법 건축물은 기존 건축물의 기초상 컬러 강판, 비계를 추가하는 것 및 지붕 개축 등일 수 있고, 또는 주택 건설이 불가능한 영역에 주택 건설을 하는 것일 수 있다.
여기서, 검측 모듈은 신경망 모델을 기반으로 구축될 수 있다. 검측 모델의 모델 훈련 과정에서, 식별 손실 함수(Focal_loss) 및 포지셔닝 손실 함수(SmoothL1_loss)를 도입할 수 있으며, 식별 손실 함수 및 포지셔닝 편차 손실 함수를 기반으로 검측 모델의 네트워크 파라미터에 대해 최적화 조정을 수행할 수 있다. 여기서, 식별 손실 함수는 모델이 출력한 분류 결과와 실제 분류 결과 간의 편차를 표현(representation)하도록 설정되고; 포지셔닝 손실 함수는 모델이 출력한 불법 건축물 영역의 위치 좌표와 불법 건축물 영역의 실제 위치 좌표 사이의 편차를 표현하도록 설정된다.
도 4g에 도시된 표시 결과의 개략도를 참조하면, 직사각형 프레임을 사용하여 타겟 이미지에서 불법 건축물 영역을 표시(marking)한다.
이해할 수 있는 것은, 타겟 이미지에서 불법 건축물 영역을 표시함으로써, 불법 건축물 영역이 있는 위치를 직관적으로 나타낼 수 있어, 오프라인 법 집행 요원이 표시된 불법 건축물 영역을 기반으로, 목적성 있게 법 집행을 수행할 수 있도록 근거를 제공하고, 법 집행 요원의 업무량을 줄이고, 불법 건축물 영역 식별 효율 및 식별 결과의 정확도를 향상시킨다.
실시예 5
도 5는 본 출원의 실시예 5에서 제공하는 불법 건축물 식별 장치의 구조도이다. 본 출원의 실시예는 이미지에서의 불법 건축물을 식별하는 상황에 적용되며, 해당 장치는 소프트웨어, 하드웨어, 또는 하드웨어와 소프트웨어로 구현되며, 구체적으로 전자 설비에 배치된다.
도 5에 도시된 바와 같은 불법 건축물 식별 장치(500)는, 이미지 획득 모듈(501), 건축물 특징 추출 모듈(502) 및 식별 결과 확정 모듈(503)을 포함한다. 여기서,
이미지 획득 모듈(501)은 타겟 이미지 및 상기 타겟 이미지와 관련된 참조 이미지를 획득하고;
건축물 특징 추출 모듈(502)은 상기 타겟 이미지의 타겟 건축물 특징 및 상기 참조 이미지의 참조 건축물 특징을 각각 추출하고;
식별 결과 확정 모듈(503)은 상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정한다.
본 출원은 이미지 획득 모듈을 통해 타겟 이미지 및 타겟 이미지와 관련된 참조 이미지를 획득하고; 건축물 특징 추출 모듈을 통해 타겟 이미지의 타겟 건축물 특징 및 참조 이미지의 참조 건축물 특징을 각각 추출하고; 식별 결과 확정 모듈을 통해 타겟 건축물 특징 및 참조 건축물 특징에 따라, 타겟 이미지의 불법 건축물 식별 결과를 확정한다. 상기 기술방안은 타겟 이미지와 관련된 참조 이미지를 획득하여, 타겟 이미지와 참조 이미지를 바인딩하고, 바인딩된 이미지에 대해 특징 추출을 수행하여, 참조 이미지의 건축물 특징을 기반으로 타겟 이미지에 대해 불법 건축물 식별을 수행하는 것을 통해, 불법 건축물 자동 식별을 구현하고, 불법 건축물 식별 과정의 데이터 처리량을 줄임과 동시에, siamese(샴) 아이디어를 기반으로, 타겟 이미지와 참조 이미지에 대해 건축물 특징 추출을 수행하고, 추출된 건축물 특징에 따라 불법 건축물을 식별하여 식별 결과의 정확도를 향상시킨다.
일 실시예에서, 상기 타겟 이미지와 상기 참조 이미지의 수집 위치의 거리 차이값이 설정된 거리 임계값보다 작거나, 상기 타겟 이미지와 상기 참조 이미지의 수집 각도의 각도 차이값이 설정된 각도 임계값보다 작거나, 상기 타겟 이미지와 상기 참조 이미지의 수집 위치의 거리 차이값이 설정된 거리 임계값보다 작고 상기 타겟 이미지와 상기 참조 이미지의 수집 각도의 각도 차이값이 설정된 각도 임계값보다 작다.
일 실시예에서, 건축물 특징 추출 모듈(502)은,
상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출하는 기초 특징 추출 유닛;
설정된 적어도 두 개의 스케일(scale)에서, 상기 타겟 기초 특징과 상기 참조 기준 특징에 대해 각각 특징 추출을 수행하여, 상기 적어도 두 개의 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징을 획득하는 건축물 특징 추출 유닛; 을 포함한다.
일 실시예에서, 식별 결과 확정 모듈(503)은,
각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징에 대해 특징 융합을 수행하는 특징 융합 유닛;
적어도 두 개의 스케일에서의 특징 융합 결과에 따라 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 식별 결과 확정 유닛; 을 포함한다.
일 실시예에서, 특징 융합 유닛은,
각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징 간의 차이를 구하고, 차이값을 해당 스케일에서의 특징 융합 결과로 하는 특징 융합 서브 유닛을 포함한다.
일 실시예에서, 기초 특징 추출 유닛은,
딥 레지듀얼 네트워크에 기반하여, 상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출하는 기초 특징 추출 서브 유닛을 포함한다.
일 실시예에서, 해당 장치는 좌표 변환 모듈을 더 포함하고, 상기 좌표 변환 모듈은,
상기 참조 이미지의 참조 건축물 특징을 추출하기 전에, 상기 타겟 이미지에 따라 상기 참조 이미지에 대해 좌표 변환을 수행하는데 사용되고;
여기서, 상기 좌표 변환은 수축 변환, 연신 변환, 회전 변환 및 병진 변환 중 적어도 하나를 포함한다.
일 실시예에서, 좌표 변환 모듈은,
상기 타겟 이미지의 타겟 키포인트 및 타겟 디스크립터와 상기 참조 이미지의 참조 키포인트 및 참조 디스크립터를 각각 추출하는 키포인트 추출 유닛;
상기 타겟 디스크립터와 상기 참조 디스크립터에 따라 상기 타겟 키포인트와 상기 참조 키포인트에 대해 매칭 작업을 수행하는 키포인트 매칭 유닛;
매칭 결과에 따라 변환 행렬을 결정하고, 상기 변환 행렬에 따라 상기 참조 이미지에 대해 좌표 변환을 수행하는 좌표 변환 유닛; 을 포함한다.
일 실시예에서, 식별 결과 확정 모듈(503)은,
상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지에 불법 건축물 영역이 포함되는지 여부를 확정하는 불법 건축물 확정 유닛;
상기 타겟 이미지에 불법 건축물 영역이 포함되면, 상기 불법 건축물 영역의 위치 좌표를 확정하는 위치 좌표 확정 유닛; 을 포함한다.
상술한 불법 건축물 식별 장치는 본 출원의 어느 하나의 실시예에서 제공하는 불법 건축물 식별 방법을 실행할 수 있으며, 불법 건축물 식별 방법을 실행하는데 상응한 기능 묘듈 및 유익한 효과를 가진다.
실시예 6
본 출원의 실시예에 따르면, 본 출원은 전자 설비 및 판독 가능 저장 매체를 더 제공한다.
도 6은 본 출원의 실시예의 불법 건축물 식별 방법을 구현하는 전자 설비의 블록도이다. 전자 설비는 각 형태의 디지털 컴퓨터를 표시하며, 예를 들어, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 개인용 정보 단말기(Personal Digital Assistant), 서버, 블레이드 서버, 메인프레임 컴퓨터 및 기타 적합한 컴퓨터를 표시한다. 전자 설비는 또한 각 형태의 모바일 장치를 표시할 수 있으며, 예를 들어, 개인용 정보 단말기(Personal Digital Assistant), 셀 폰, 스마트 폰, 웨어러블 설비 및 기타 유사한 컴퓨팅 장치를 표시할 수 있다. 본문에 서술된 부재, 이들의 연결과 관계, 및 이들의 기능은 단지 예시적인 것일 뿐, 본문에서 설명 및/또는 요구되는 본 출원의 구현을 한정하려는 의도가 아니다.
도 6에 도시된 바와 같이, 해당 전자 장비는 하나 이상의 프로세서(601), 메모리(602) 및 각각의 부재를 연결하기 위한 인터페이스를 포함하며, 상기 인터페이스는 고속 인터페이스 및 저속 인터페이스를 포함한다. 각각의 부재는 상이한 버스를 이용하여 서로 연결되며, 공통 메인보드 상에 설치되거나 수요에 따라 기타 방식으로 설치될 수 있다. 프로세서는 전자 설비 내에서 실행되는 명령에 대해 처리할 수 있으며, 상기 명령은 외부 입력/출력 장치(예를 들면, 인터페이스에 연결된 디스플레이 설비)상에 GUI의 그래픽 정보를 디스플레이하기 위해 메모리 중 또는 메모리 상에 저장된 명령을 포함한다. 기타 실시형태에서, 필요한 경우, 다수의 프로세서, 다수의 버스, 또는 다수의 프로세서와 다수의 버스를, 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 설비를 연결할 수 있으며, 각각의 설비는, 예를 들면, 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티 프로세서 시스템으로서, 일부분의 필요한 동작을 제공한다. 도 6에서는 하나의 프로세서(601)로 예를 들어 설명한다.
메모리(602)는 본 출원에서 제공하는 비일시적 컴퓨터 판독가능 저장매체이다. 여기서, 상기 메모리는 적어도 하나의 프로세서에 의해 실행 가능한 명령을 저장하여, 상기 적어도 하나의 프로세서가 본 출원에서 제공하는 불법 건축물 식별 방법을 실행하도록 한다. 본 출원의 비일시적 컴퓨터 판독가능 저장 매체에는 컴퓨터 명령이 저장되며, 해당 컴퓨터 명령은 컴퓨터가 본 출원에서 제공하는 불법 건축물 식별 방법을 실행하도록 설정된다.
메모리(602)는 비일시적 컴퓨터 판독가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈을 저장하도록 구성될 수 있으며, 예를 들어, 본 출원의 실시예에서의 불법 건축물 식별 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 5에 도시된 이미지 획득 모듈(501), 건축물 특징 추출 모듈(502) 및 식별 결과 확정 모듈(503))을 저장하는데 사용된다. 프로세서(601)는 메모리(602)에 저장된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 서버의 각 기능 애플리케이션 및 데이터 처리를 실행하고, 즉, 상술한 방법 실시예 중의 불법 건축물 식별 방법을 구현한다.
메모리(602)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있으며, 여기서, 프로그램 저장 영역은 운영 시스템(operation system), 적어도 하나의 기능에 필요한 애플리케이션을 저장할 수 있고; 데이터 저장 영역은 불법 건축물 식별 방법을 구현하기 위한 전자 설비의 사용에 따라 생성된 데이터 등을 저장할 수 있다. 또한, 메모리(602)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비일시적 메모리를 더 포함할 수 있는데, 예를 들어, 적어도 하나의 자기 디스크 저장 소자, 플래시 저장 소자 또는 기타 비일시적인 솔리드 스테이트 저장 소자를 포함할 수 있다. 일부 실시예에서, 메모리(602)는 프로세서(601)에 대해 원격으로 설치된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 불법 건축물 식별 방법을 구현하는 전자 설비에 연결될 수 있다. 상기 네트워크의 예시로는 인터넷, 기업 인트라넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
불법 건축물 식별 방법을 구현하는 전자 설비는 입력 장치(603) 및 출력 장치(604)를 더 포함할 수 있다. 프로세서(601), 메모리(602), 입력 장치(603) 및 출력 장치(604)는 버스 또는 기타 방식을 통해 연결될 수 있으며, 도 6에서는 버스를 통해 연결되는 것을 예로 들어 설명한다.
입력 장치(603)는 입력되는 디지털 또는 문자(Character) 정보를 수신하고, 불법 건축물 식별 방법을 구현하기 위한 전자 설비의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있는데, 예를 들어, 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 다수의 마우스 버튼, 트랙볼, 조작레버 등 입력 장치가 있다. 출력 장치(604)는 디스플레이 설비, 보조 조명 장치(예를 들어, LED) 및 햅틱 피드백 디바이스(haptic feedback device)(예를 들어, 진동 모터) 등을 포함할 수 있다. 해당 디스플레이 설비는 액정 디스플레이 장치(LCD), 발광 다이오드(LED) 디스플레이 장치 및 플라즈마 디스플레이 장치를 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 설비는 터치스크린일 수 있다.
여기서 설명된 시스템 및 기술의 각 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합에서 구현될 수 있다. 이러한 각 실시형태는, 하나 또는 다수의 컴퓨터 프로그램에서 실시되는 방식을 포함할 수 있으며, 해당 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행, 해석, 또는 실행 및 해석(interpretating)될 수 있으며, 해당 프로그램 가능한 프로세서는 전용 또는 통용 프로그램 가능한 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치로 전송할 수 있다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드라고도 함)은 프로그램 가능한 프로세서의 기계 명령을 포함하고, 이러한 컴퓨팅 프로그램을 실행하기 위해 고급 프로세스, 객체 지향 프로그램 언어, 또는 어셈블리/기계 언어를 이용할 수 있다. 본문에서 사용되는 용어 "기계 판독가능 매체" 및 "컴퓨터 판독가능 매체"는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 설비, 또는 장치(예를 들어, 디스크, 컴팩트디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 나타내며, 기계 판독가능 신호로서 기계 명령을 수신하는 기계 판독가능 매체를 포함한다. 용어 "기계 판독가능 신호"는 기계 명령 또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 나타낸다.
사용자와의 상호 작용을 제공하기 위해, 여기서 서술된 시스템 및 기술을 컴퓨터 상에서 실행할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터); 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼); 를 구비하며, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 다른 유형의 장치 또한 사용자와의 상호 작용을 제공할 수 있는데, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백 또는 햅틱 피드백)일 수 있으며; 임의의 형태(사운드 입력, 음성 입력 또는 햅틱 입력을 포함함)를 사용하여 사용자에 의한 입력을 수신할 수 있다.
여기에서 서술된 시스템 및 기술은 백엔드 구성 요소(back-end component)를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 구성 요소(middleware component)를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트엔드 구성 요소(front-end component)를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹브라우저를 구비한 사용자 컴퓨터, 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 웹브라우저를 통해 여기에서 서술된 시스템 및 기술의 실시형태와 상호 작용할 수 있음), 또는 이러한 백엔드 구성 요소, 미들웨어 구성 요소 또는 프론트엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실행될 수 있다. 시스템의 구성 요소는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 서로 연결될 수 있다. 통신 네트워크의 예시에는 근거리 네트워크(LAN), 광역 네트워크(WAN), 인터넷 및 블록 체인 네트워크가 포함된다.
컴퓨터 시스템에는 클라이언트와 서버가 포함될 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 통상적으로 통신 네트워크를 통해 상호 작용을 수행한다. 클라이언트와 서버 간의 관계는 대응되는 컴퓨터상에서 실행되고 서로 클라이언트-서버 관계를 구비하는 컴퓨터 프로그램을 통해 발생한다.
본 출원은 타겟 이미지 및 타겟 이미지와 관련된 참조 이미지를 획득하고; 타겟 이미지의 타겟 건축물 특징 및 참조 이미지의 참조 건축물 특징을 각각 추출하고; 타겟 건축물 특징 및 참조 건축물 특징에 따라, 타겟 이미지의 불법 건축물 식별 결과를 확정한다. 상기 기술방안은 타겟 이미지와 관련된 참조 이미지를 획득하여, 타겟 이미지와 참조 이미지를 바인딩하고, 바인딩된 이미지에 대해 특징 추출을 수행하여, 참조 이미지의 건축물 특징을 기반으로 타겟 이미지에 대해 불법 건축물 식별을 수행하는 것을 통해, 불법 건축물 자동 식별을 구현하고, 불법 건축물 식별 과정의 데이터 처리량을 줄임과 동시에, siamese(샴) 아이디어를 기반으로, 타겟 이미지와 참조 이미지에 대해 건축물 특징 추출을 수행하고, 추출된 건축물 특징에 따라 불법 건축물을 식별하여 식별 결과의 정확도를 향상시킨다.
상기에서 서술된 각 형태의 프로세스는, 그 순서를 재배치하거나, 단계를 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에서 기재된 각 단계들은 동시에 수행될 수 있고, 순차적으로 수행될 수 있으며, 다른 순서로 수행될 수 있으며, 본 출원에 개시된 기술 방안이 원하는 결과를 구현할 수만 있으면 되며, 본문에서는 이에 대해 한정하지 않는다.
상기 구체적 실시형태는, 본 출원의 보호 범위에 대한 한정을 구성하지 않는다. 본 분야의 당업자는 설계 요구 및 기타 요소에 따라, 각 종 수정, 조합, 부분 조합 및 대체를 수행할 수 있음을 이해해야 한다. 본 출원의 사상과 원칙 내에서 수행하는 임의의 수정, 동등한 대체 및 개선 등은 모두 본 출원의 보호 범위에 포함되어야 한다.

Claims (20)

  1. 타겟 이미지 및 상기 타겟 이미지와 관련된 참조 이미지를 획득하는 단계;
    상기 타겟 이미지의 타겟 건축물 특징 및 상기 참조 이미지의 참조 건축물 특징을 각각 추출하는 단계; 및
    상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 단계; 를 포함하는 불법 건축물 식별 방법.
  2. 제1항에 있어서,
    상기 타겟 이미지와 상기 참조 이미지의 수집 위치의 거리 차이값이 설정된 거리 임계값보다 작거나, 상기 타겟 이미지와 상기 참조 이미지의 수집 각도의 각도 차이값이 설정된 각도 임계값보다 작거나, 상기 타겟 이미지와 상기 참조 이미지의 수집 위치의 거리 차이값이 설정된 거리 임계값보다 작고 상기 타겟 이미지와 상기 참조 이미지의 수집 각도의 각도 차이값이 설정된 각도 임계값보다 작은 것을 특징으로 하는 불법 건축물 식별 방법.
  3. 제1항에 있어서,
    타겟 이미지의 타겟 건축물 특징 및 상기 타겟 이미지와 관련된 참조 이미지의 참조 건축물 특징을 각각 추출하는 단계는,
    상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출하는 단계;
    설정된 적어도 두 개의 스케일(scale)에서, 상기 타겟 기초 특징과 상기 참조 기준 특징에 대해 각각 특징 추출을 수행하여, 상기 적어도 두 개의 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징을 획득하는 단계; 를 포함하는 것을 특징으로 하는 불법 건축물 식별 방법.
  4. 제3항에 있어서,
    상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 단계는,
    각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징에 대해 특징 융합을 수행하는 단계;
    적어도 두 개의 스케일에서의 특징 융합 결과에 따라 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 단계; 를 포함하는 것을 특징으로 하는 불법 건축물 식별 방법.
  5. 제4항에 있어서,
    각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징에 대해 특징 융합을 수행하는 단계는,
    각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징 간의 차이를 구하고, 차이값을 해당 스케일에서의 특징 융합 결과로 하는 단계를 포함하는 것을 특징으로 하는 불법 건축물 식별 방법.
  6. 제3항에 있어서,
    상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출하는 단계는,
    딥 레지듀얼 네트워크에 기반하여, 상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출하는 단계를 포함하는 것을 특징으로 하는 불법 건축물 식별 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 참조 이미지의 참조 건축물 특징을 추출하는 단계 전에, 상기 불법 건축물 식별 방법은,
    상기 타겟 이미지에 따라 상기 참조 이미지에 대해 좌표 변환을 수행하는 단계를 더 포함하고;
    여기서, 상기 좌표 변환은 수축 변환, 연신 변환, 회전 변환 및 병진 변환 중 적어도 하나를 포함하는 것을 특징으로 하는 불법 건축물 식별 방법.
  8. 제7항에 있어서,
    상기 타겟 이미지에 따라 상기 참조 이미지에 대해 좌표 변환을 수행하는 단계는,
    상기 타겟 이미지의 타겟 키포인트 및 타겟 디스크립터와 상기 참조 이미지의 참조 키포인트 및 참조 디스크립터를 각각 추출하는 단계;
    상기 타겟 디스크립터와 상기 참조 디스크립터에 따라 상기 타겟 키포인트와 상기 참조 키포인트에 대해 매칭 작업을 수행하는 단계; 및
    매칭 결과에 따라 변환 행렬을 결정하고, 상기 변환 행렬에 따라 상기 참조 이미지에 대해 좌표 변환을 수행하는 단계; 를 포함하는 것을 특징으로 하는 불법 건축물 식별 방법.
  9. 제1항에 있어서,
    상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 단계는,
    상기 타겟 이미지에 불법 건축물 영역이 포함되는지 여부를 확정하는 단계;
    상기 타겟 이미지에 불법 건축물 영역이 포함되면, 상기 불법 건축물 영역의 위치 좌표를 확정하는 단계; 를 포함하는 것을 특징으로 하는 불법 건축물 식별 방법.
  10. 타겟 이미지 및 상기 타겟 이미지와 관련된 참조 이미지를 획득하는 이미지 획득 모듈;
    상기 타겟 이미지의 타겟 건축물 특징 및 상기 참조 이미지의 참조 건축물 특징을 각각 추출하는 건축물 특징 추출 모듈; 및
    상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 식별 결과 확정 모듈; 을 포함하는 불법 건축물 식별 장치.
  11. 제10항에 있어서,
    상기 타겟 이미지와 상기 참조 이미지의 수집 위치의 거리 차이값이 설정된 거리 임계값보다 작거나, 상기 타겟 이미지와 상기 참조 이미지의 수집 각도의 각도 차이값이 설정된 각도 임계값보다 작거나, 상기 타겟 이미지와 상기 참조 이미지의 수집 위치의 거리 차이값이 설정된 거리 임계값보다 작고 상기 타겟 이미지와 상기 참조 이미지의 수집 각도의 각도 차이값이 설정된 각도 임계값보다 작은 것을 특징으로 하는 불법 건축물 식별 장치.
  12. 제10항에 있어서,
    건축물 특징 추출 모듈은,
    상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출하는 기초 특징 추출 유닛;
    설정된 적어도 두 개의 스케일(scale)에서, 상기 타겟 기초 특징과 상기 참조 기준 특징에 대해 각각 특징 추출을 수행하여, 상기 적어도 두 개의 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징을 획득하는 건축물 특징 추출 유닛; 을 포함하는 것을 특징으로 하는 불법 건축물 식별 장치.
  13. 제12항에 있어서,
    식별 결과 확정 모듈은,
    각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징에 대해 특징 융합을 수행하는 특징 융합 유닛;
    적어도 두 개의 스케일에서의 특징 융합 결과에 따라 상기 타겟 이미지의 불법 건축물 식별 결과를 확정하는 식별 결과 확정 유닛; 을 포함하는 것을 특징으로 하는 불법 건축물 식별 장치.
  14. 제13항에 있어서,
    특징 융합 유닛은,
    각 스케일에서의 상기 타겟 건축물 특징과 상기 참조 건축물 특징 간의 차이를 구하고, 차이값을 해당 스케일에서의 특징 융합 결과로 하는 특징 융합 서브 유닛을 포함하는 것을 특징으로 하는 불법 건축물 식별 장치.
  15. 제12항에 있어서,
    기초 특징 추출 유닛은,
    딥 레지듀얼 네트워크에 기반하여, 상기 타겟 이미지의 타겟 기초 특징 및 상기 타겟 이미지와 관련된 상기 참조 이미지의 참조 기초 특징을 각각 추출하는 기초 특징 추출 서브 유닛을 포함하는 것을 특징으로 하는 불법 건축물 식별 장치.
  16. 제10항 내지 제15항 중 어느 한 항에 있어서,
    상기 참조 이미지의 참조 건축물 특징을 추출하기 전에, 상기 타겟 이미지에 따라 상기 참조 이미지에 대해 좌표 변환을 수행하는데 사용되는 좌표 변환 모듈을 더 포함하고;
    여기서, 상기 좌표 변환은 수축 변환, 연신 변환, 회전 변환 및 병진 변환 중 적어도 하나를 포함하는 것을 특징으로 하는 불법 건축물 식별 장치.
  17. 제16항에 있어서,
    좌표 변환 모듈은,
    상기 타겟 이미지의 타겟 키포인트 및 타겟 디스크립터와 상기 참조 이미지의 참조 키포인트 및 참조 디스크립터를 각각 추출하는 키포인트 추출 유닛;
    상기 타겟 디스크립터와 상기 참조 디스크립터에 따라 상기 타겟 키포인트와 상기 참조 키포인트에 대해 매칭 작업을 수행하는 키포인트 매칭 유닛; 및
    매칭 결과에 따라 변환 행렬을 결정하고, 상기 변환 행렬에 따라 상기 참조 이미지에 대해 좌표 변환을 수행하는 좌표 변환 유닛; 을 포함하는 것을 특징으로 하는 불법 건축물 식별 장치.
  18. 제10항에 있어서,
    식별 결과 확정 모듈은,
    상기 타겟 건축물 특징 및 상기 참조 건축물 특징에 따라, 상기 타겟 이미지에 불법 건축물 영역이 포함되는지 여부를 확정하는 불법 건축물 확정 유닛;
    상기 타겟 이미지에 불법 건축물 영역이 포함되면, 상기 불법 건축물 영역의 위치 좌표를 확정하는 위치 좌표 확정 유닛; 을 포함하는 것을 특징으로 하는 불법 건축물 식별 장치.
  19. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결된 메모리; 를 포함하고,
    여기서, 상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령을 저장하고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제9항 중 어느 한 항에 따른 불법 건축물 식별 방법을 실행하도록 하는 것을 특징으로 하는 전자 설비.
  20. 컴퓨터 명령이 저장된 비 일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제9항 중 어느 한 항에 따른 불법 건축물 식별 방법을 실행하도록 구성되는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.
KR1020217028330A 2020-03-27 2020-11-12 불법 건축물 식별 방법, 장치, 설비 및 저장 매체 KR20210116665A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010231088.3A CN111460967B (zh) 2020-03-27 2020-03-27 一种违法建筑识别方法、装置、设备及存储介质
CN202010231088.3 2020-03-27
PCT/CN2020/128257 WO2021189870A1 (zh) 2020-03-27 2020-11-12 违法建筑识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
KR20210116665A true KR20210116665A (ko) 2021-09-27

Family

ID=71680219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217028330A KR20210116665A (ko) 2020-03-27 2020-11-12 불법 건축물 식별 방법, 장치, 설비 및 저장 매체

Country Status (6)

Country Link
US (1) US20230005257A1 (ko)
EP (1) EP3916629A4 (ko)
JP (1) JP2022529876A (ko)
KR (1) KR20210116665A (ko)
CN (1) CN111460967B (ko)
WO (1) WO2021189870A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998663A (zh) * 2022-07-07 2022-09-02 郑州航空工业管理学院 一种基于图像识别的目标物提取方法及系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460967B (zh) * 2020-03-27 2024-03-22 北京百度网讯科技有限公司 一种违法建筑识别方法、装置、设备及存储介质
CN111950493B (zh) * 2020-08-20 2024-03-08 华北电力大学 图像识别方法、装置、终端设备和可读存储介质
CN112414374A (zh) * 2020-10-27 2021-02-26 江苏科博空间信息科技有限公司 基于无人机违法用地勘测系统
CN112967264A (zh) * 2021-03-19 2021-06-15 深圳市商汤科技有限公司 缺陷检测方法及装置、电子设备和存储介质
CN113920425A (zh) * 2021-09-03 2022-01-11 佛山中科云图智能科技有限公司 一种基于神经网络模型的目标违建点获取方法和获取系统
CN115049935B (zh) * 2022-08-12 2022-11-11 松立控股集团股份有限公司 一种城市违章建筑分割检测方法
US11869260B1 (en) * 2022-10-06 2024-01-09 Kargo Technologies Corporation Extracting structured data from an image
CN116070314B (zh) * 2022-12-16 2024-01-09 二十一世纪空间技术应用股份有限公司 一种自适应形状特征优化的建筑物矢量化简方法和装置
CN116385651A (zh) * 2023-04-10 2023-07-04 北京百度网讯科技有限公司 图像处理方法、神经网络模型的训练方法、装置和设备
CN118397522B (zh) * 2024-07-01 2024-08-23 武汉天业数智信息技术有限公司 基于实时分析的决策分析方法、装置、系统与存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5962497B2 (ja) * 2012-12-25 2016-08-03 富士通株式会社 画像処理方法、画像処理装置および画像処理プログラム
CN104331682B (zh) * 2014-10-11 2018-11-30 东南大学 一种基于傅里叶描述子的建筑物自动识别方法
CN107092871B (zh) * 2017-04-06 2018-01-16 重庆市地理信息中心 基于多尺度多特征融合的遥感影像建筑物检测方法
CN108805864A (zh) * 2018-05-07 2018-11-13 广东省电信规划设计院有限公司 基于图像数据的违章建筑物的获取方法以及装置
CN109145812A (zh) * 2018-08-20 2019-01-04 贵州宜行智通科技有限公司 违建监测方法及装置
TWI680440B (zh) * 2018-08-31 2019-12-21 雲云科技股份有限公司 判斷使用者之姿勢之影像偵測方法以及影像偵測裝置
CN109753928B (zh) * 2019-01-03 2022-03-29 北京百度网讯科技有限公司 违章建筑物识别方法和装置
CN110032983B (zh) * 2019-04-22 2023-02-17 扬州哈工科创机器人研究院有限公司 一种基于orb特征提取和flann快速匹配的轨迹识别方法
CN110675408A (zh) * 2019-09-19 2020-01-10 成都数之联科技有限公司 基于深度学习的高分辨率影像建筑物提取方法及系统
CN111460967B (zh) * 2020-03-27 2024-03-22 北京百度网讯科技有限公司 一种违法建筑识别方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998663A (zh) * 2022-07-07 2022-09-02 郑州航空工业管理学院 一种基于图像识别的目标物提取方法及系统

Also Published As

Publication number Publication date
CN111460967A (zh) 2020-07-28
CN111460967B (zh) 2024-03-22
WO2021189870A1 (zh) 2021-09-30
EP3916629A1 (en) 2021-12-01
JP2022529876A (ja) 2022-06-27
EP3916629A4 (en) 2022-05-11
US20230005257A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
KR20210116665A (ko) 불법 건축물 식별 방법, 장치, 설비 및 저장 매체
EP3855351B1 (en) Locating element detection method, apparatus, device and medium
CA3204361A1 (en) Image processing method, image processing apparatus, and non-transitory storage medium
Li et al. A deep learning approach for real-time rebar counting on the construction site based on YOLOv3 detector
JP7051267B2 (ja) 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
CN112949507A (zh) 人脸检测方法、装置、计算机设备及存储介质
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
US11170501B2 (en) Image analysis device
EP3951741A2 (en) Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform
JP7126586B2 (ja) 顔合成画像検出方法、顔合成画像検出装置、電子機器、記憶媒体及びコンピュータプログラム
EP4170285A1 (en) Method and apparatus for constructing three-dimensional map in high-definition map, device and storage medium
CN114998337B (zh) 一种划痕检测方法、装置、设备及存储介质
CN111597922A (zh) 细胞图像的识别方法、系统、装置、设备及介质
CN115410173B (zh) 多模态融合的高精地图要素识别方法、装置、设备及介质
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
Ling et al. Research on gesture recognition based on YOLOv5
KR102011212B1 (ko) 인공지능 신경망의 학습 데이터로 사용되는 객체의 추출 및 저장방법
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
US11792514B2 (en) Method and apparatus for stabilizing image, roadside device and cloud control platform
CN106339089B (zh) 一种人机交互动作识别系统及方法
CN113362227B (zh) 图像处理方法、装置、电子设备及存储介质
CN115359468A (zh) 一种目标网站识别方法、装置、设备及介质
Alex et al. SaaS framework for library augmented reality application
Wang et al. A stackable attention-guided multi-scale CNN for number plate detection
CN114419451B (zh) 电梯内外识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application