KR20220004074A - 이미지 라벨링 방법, 장치, 전자 기기 및 저장 매체 - Google Patents
이미지 라벨링 방법, 장치, 전자 기기 및 저장 매체 Download PDFInfo
- Publication number
- KR20220004074A KR20220004074A KR1020217035938A KR20217035938A KR20220004074A KR 20220004074 A KR20220004074 A KR 20220004074A KR 1020217035938 A KR1020217035938 A KR 1020217035938A KR 20217035938 A KR20217035938 A KR 20217035938A KR 20220004074 A KR20220004074 A KR 20220004074A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- building
- remote sensing
- labeling
- contour
- Prior art date
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 215
- 238000000034 method Methods 0.000 claims abstract description 86
- 238000013528 artificial neural network Methods 0.000 claims description 94
- 238000003709 image segmentation Methods 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 이미지 라벨링 방법, 장치, 전자 기기 및 저장 매체를 제공하고, 상기 방법은, 원격 감지 이미지를 획득하는 단계; 상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하는 단계 - 상기 방향각 정보는 상기 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함함 - ; 및 상기 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및 상기 방향각 정보에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계를 포함한다.
Description
[관련 출원의 상호 참조]
본 발명은 출원번호가 202010611570.X이고, 출원일이 2020년 06월 29일인 중국 특허 출원을 기반으로 제출되고, 해당 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.
본 발명은 컴퓨터 시각 기술 분야에 관한 것으로, 이미지 라벨링 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.
건축물 윤곽 추출은 도시 계획, 환경 관리, 지리 정보 업데이트 등에 중요한 기초 정보를 제공할 수 있다. 현재 건축물은 형상이 다양하고 복잡하기에, 건축물 윤곽의 전자동 추출 방법은 정확도가 낮아 실제 응용 수요를 만족하기 어려우므로, 기존의 수동 라벨링 방법을 대체할 수 없다. 그러나 건축물 다각형의 수동 라벨링은 많은 시간과 인력을 필요로 하는 작업이고, 일반적으로 전문적인 원격 감지 이미지 인터프리터에 의해 완성되므로, 수동 라벨링 방법은 효율이 낮다.
따라서, 라벨링 정확도와 라벨링 효율을 함께 고려하는 방법을 제기하는 것이 매우 중요하다.
이를 감안하여, 본 발명은 이미지 라벨링 방법, 장치, 전자 기기 및 저장 매체를 적어도 제공한다.
제1 측면에서, 본 발명의 실시예는,
원격 감지 이미지를 획득하는 단계;
상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하는 단계 - 상기 방향각 정보는 상기 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함함 - ; 및
상기 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및 상기 방향각 정보에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계를 포함하는 이미지 라벨링 방법을 제공한다.
상기 방법을 사용하여, 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하고, 여기서, 방향각 정보는 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함하며, 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 방향각 정보에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성함으로써, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 자동으로 생성하여, 건축물 라벨링의 효율을 향상시키킨다. 아울러, 건축물의 가장자리 윤곽 상에 위치하는 꼭짓점 위치의 픽셀점과 인접 픽셀점 사이는 상이한 윤곽변에 위치하고, 상이한 윤곽변은 상이한 방향에 대응되므로, 건축물에 대응되는 로컬 바이너리 이미지 및 방향각 정보를 통해, 건축물의 꼭짓점 위치를 정확하게 결정할 수 있어, 라벨링 이미지를 정확하게 생성할 수 있다.
일 가능한 실시형태에서, 상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하는 단계는,
상기 원격 감지 이미지 및 트레이닝된 제1 이미지 분할 신경 네트워크에 기반하여, 상기 원격 감지 이미지의 글로벌 바이너리 이미지, 상기 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 적어도 하나의 건축물의 바운딩 박스의 바운딩 박스 정보를 획득하는 단계; 및
상기 바운딩 박스 정보, 상기 글로벌 바이너리 이미지, 상기 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하는 단계를 포함한다.
상기 실시형태에서, 트레이닝된 제1 이미지 분할 신경 네트워크를 통해, 원격 감지 이미지의 글로벌 바이너리 이미지, 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 적어도 하나의 건축물의 바운딩 박스의 바운딩 박스 정보를 결정함으로써, 각각의 건축물에 대응되는 로컬 바이너리 이미지, 및 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 얻을 수 있어, 후속적인 라벨링 이미지의 생성을 위해 데이터 지원을 제공한다.
일 가능한 실시형태에서, 하기 방식에 따라, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다.
상기 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 큰 사이즈를 갖는 제1 바운딩 박스를 선택하고,
상기 제1 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 글로벌 바이너리 이미지에서 상기 제1 바운딩 박스 내의 건축물의 로컬 바이너리 이미지를 크로핑하여 얻고, 상기 글로벌 바이너리 이미지에 대응되는 상기 방향각 정보에서 크로핑된 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 추출한다.
일 가능한 실시형태에서, 하기 방식에 따라, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다.
상기 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 작거나 같은 사이즈를 갖는 제2 바운딩 박스를 선택하고,
상기 제2 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 원격 감지 이미지에서 상기 제2 바운딩 박스에 대응되는 로컬 원격 감지 이미지를 크로핑하여 얻으며,
상기 로컬 원격 감지 이미지 및 트레이닝된 제2 이미지 분할 신경 네트워크에 기반하여, 상기 로컬 원격 감지 이미지에 대응되는 상기 건축물의 로컬 바이너리 이미지, 및 상기 로컬 원격 감지 이미지에 대응되는 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다.
일반적으로, 신경 네트워크의 입력 데이터의 사이즈는 이미 설정된 것이고, 건축물의 바운딩 박스의 사이즈가 클 경우, 축소, 커팅 등 방식으로 바운딩 박스의 사이즈를 설정한 사이즈 값으로 조절하여야 하는데, 이는 바운딩 박스의 정보의 유실을 초래하여, 바운딩 박스 중 건축물의 검출 정확도를 감소시킨다. 따라서, 상기 문제점을 해결하기 위해, 상기 실시형태에서, 바운딩 박스의 사이즈에 기반하여, 건축물의 바운딩 박스를 사전 설정 사이즈 임계값보다 큰 사이즈를 갖는 제1 바운딩 박스 및 사전 설정 사이즈 임계값보다 작은 사이즈를 갖는 제2 바운딩 박스로 나누고, 제1 이미지 분할 신경 네트워크의 검출 결과를 통해, 크로핑된 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하며, 제2 이미지 분할 신경 네트워크의 검출 결과를 통해, 제2 바운딩 박스 중의 건축물에 대응되는 로컬 바이너리 이미지와 방향각 정보를 결정함으로써, 건축물의 검출 결과가 정확하도록 한다.
일 가능한 실시형태에서, 상기 적어도 하나의 바운딩 박스의 바운딩 박스 정보를 획득하는 단계 이후에,
상기 원격 감지 이미지, 및 상기 적어도 하나의 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스가 라벨링된 제1 라벨링 원격 감지 이미지를 생성하는 단계; 및
상기 제1 라벨링 원격 감지 이미지에 작용하는 바운딩 박스 조절 동작에 응답하여, 조절된 후의 바운딩 박스의 바운딩 박스 정보를 얻는 단계를 더 포함한다.
여기서, 적어도 하나의 바운딩 박스의 바운딩 박스 정보를 얻은 후, 제1 라벨링 원격 감지 이미지를 생성할 수 있어, 어노테이터로 하여금 제1 라벨링 원격 감지 이미지의 바운딩 박스에 대해, 중복된 바운딩 박스의 삭제, 결여된 바운딩 박스의 추가 등과 같은 조절 동작을 수행할 수 있도록 하여, 바운딩 박스 정보의 정확도를 향상시키고, 나아가 후속적으로 얻어지는 라벨링 이미지의 정확도를 향상시킬 수 있다. 또한, 바운딩 박스의 조절 동작은 간단하고 조작이 용이하며 소요 시간이 적고, 바운딩 박스 조절 동작은 효율이 높다.
일 가능한 실시형태에서,
제1 라벨링 결과가 구비된 제1 원격 감지 이미지 샘플을 획득하는 단계 - 상기 제1 원격 감지 이미지 샘플에는 적어도 하나의 건축물의 이미지가 포함되고, 상기 제1 라벨링 결과에는 라벨링된 적어도 하나의 건축물의 윤곽 정보, 상기 제1 원격 감지 이미지 샘플의 바이너리 이미지, 및 상기 제1 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 라벨링 방향각 정보가 포함됨 - ; 및
상기 제1 원격 감지 이미지 샘플을 트레이닝할 제1 신경 네트워크에 입력하여, 상기 제1 원격 감지 이미지 샘플에 대응되는 제1 예측 결과를 얻고, 상기 제1 예측 결과 및 상기 제1 라벨링 결과에 기반하여, 상기 트레이닝할 제1 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 상기 제1 이미지 분할 신경 네트워크를 얻는 단계;를 통해, 상기 제1 이미지 분할 신경 네트워크를 트레이닝한다.
상기 방식에서, 제1 원격 감지 이미지 샘플을 획득하여 제1 신경 네트워크를 트레이닝하고, 트레이닝이 완료된 후 제1 이미지 분할 신경 네트워크를 얻음으로써, 제1 이미지 분할 신경 네트워크를 통해, 제1 바운딩 박스 중 건축물의 로컬 바이너리 이미지 및 방향각 정보를 결정한다.
일 가능한 실시형태에서,
제2 라벨링 결과가 구비된 제2 원격 감지 이미지 샘플을 획득하는 단계 - 각각의 상기 제2 원격 감지 이미지 샘플은 상기 제1 원격 감지 이미지 샘플에서 크로핑된 목표 건축물의 영역 이미지이고, 상기 제2 라벨링 결과에는 상기 영역 이미지에서의 상기 목표 건축물의 윤곽 정보, 상기 제2 원격 감지 이미지 샘플의 바이너리 이미지, 및 상기 제2 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 라벨링 방향각 정보가 포함됨 - ; 및
상기 제2 원격 감지 이미지 샘플을 트레이닝할 제2 신경 네트워크에 입력하여, 상기 제2 원격 감지 이미지 샘플에 대응되는 제2 예측 결과를 얻고, 상기 제2 예측 결과 및 상기 제2 라벨링 결과에 기반하여, 상기 트레이닝할 제2 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 상기 제2 이미지 분할 신경 네트워크를 얻는 단계;를 통해, 상기 제2 이미지 분할 신경 네트워크를 트레이닝한다.
상기 방식에서, 제1 원격 감지 이미지 샘플에서 제2 원격 감지 이미지를 크로핑하여 얻고, 획득된 제2 원격 감지 이미지 샘플을 사용하여 제2 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 제2 이미지 분할 신경 네트워크를 얻음으로써, 제2 이미지 분할 신경 네트워크를 통해, 제2 바운딩 박스 중 건축물의 로컬 바이너리 이미지 및 방향각 정보를 결정한다.
일 가능한 실시형태에서, 상기 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및 상기 방향각 정보에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계는,
각각의 건축물에 대해, 상기 건축물에 대응되는 상기 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보에 기반하여, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하는 단계 - 상기 꼭짓점 위치 집합은 상기 건축물 다각형 윤곽의 다수의 꼭짓점의 위치를 포함함 - ; 및
각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계를 포함한다.
상기 실시형태에서, 건축물의 꼭짓점 위치에 위치하는 픽셀점과 인접 픽셀 사이는 상이한 윤곽변에 위치하고, 상이한 윤곽변은 상이한 방향에 대응되므로, 각각의 건축물에 대응되는 로컬 바이너리 이미지 및 방향각 정보를 통해, 건축물의 꼭짓점 위치 집합을 정확하게 결정할 수 있으며, 상기 꼭짓점 위치 집합에는 건축물의 다각형 윤곽 상의 각각의 꼭짓점의 위치가 포함되어, 얻은 꼭짓점 위치 집합에 기반하여, 라벨링 이미지를 정확하게 생성할 수 있다.
일 가능한 실시형태에서, 각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계 이전에,
트레이닝된 꼭짓점 보정 신경 네트워크에 기반하여, 결정된 상기 꼭짓점 위치 집합 중의 각각의 꼭짓점의 위치를 보정하는 단계를 더 포함한다.
상기 실시형태에서, 트레이닝하여 얻은 꼭짓점 보정 신경 네트워크를 통해, 꼭짓점 위치 집합 중의 각각의 꼭짓점의 위치를 보정하여, 보정된 후의 각각의 꼭짓점의 위치와 실제 위치가 더 일치하도록 할 수도 있어, 각 건축물에 각각 대응되는 보정된 후의 꼭짓점 위치 집합에 기반하여, 정확도가 높은 라벨링 이미지를 얻을 수 있다.
일 가능한 실시형태에서, 상기 각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계 이후에, 상기 방법은,
상기 라벨링 이미지에 작용하는 꼭짓점 위치 조절 동작에 응답하여, 임의의 하나의 꼭짓점의 위치를 조절하는 단계를 더 포함한다.
여기서, 라벨링 이미지의 임의의 하나의 꼭짓점의 위치에 대해 조절 동작을 수행할 수도 있어, 꼭짓점 위치 조절 동작 후의 라벨링 이미지의 정확도를 향상시킨다.
일 가능한 실시형태에서, 상기 건축물에 대응되는 상기 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보에 기반하여, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하는 단계는,
상기 로컬 바이너리 이미지 중의 건축물 윤곽에서 다수의 픽셀점을 선택하는 단계;
상기 다수의 픽셀점 중의 각각의 픽셀점에 대해, 상기 픽셀점에 대응되는 방향각 정보 및 상기 픽셀점에 대응되는 인접 픽셀점의 방향각 정보에 기반하여, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 결정하는 단계; 및
꼭짓점에 속하는 각 픽셀점의 위치에 따라, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하는 단계를 포함한다.
상기 실시형태에서, 건축물 윤곽에서 다수의 픽셀점을 선택하고, 각각의 픽셀점이 꼭짓점인지 여부를 판정하여, 꼭짓점에 속하는 각 픽셀점의 위치에 기반하여, 건축물에 대응되는 꼭짓점 위치 집합을 생성할 수 있어, 후속적인 라벨링 이미지의 생성을 위해 데이터 지원을 제공한다.
일 가능한 실시형태에서, 상기 픽셀점에 대응되는 방향각 정보 및 상기 픽셀점에 대응되는 인접 픽셀점의 방향각 정보에 기반하여, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 결정하는 단계는,
상기 픽셀점의 방향각 정보와 상기 인접 픽셀점의 방향각 정보 사이의 차이가 설정 조건을 만족할 경우, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는 것으로 결정하는 단계를 포함한다.
상기 실시형태에서, 픽셀점의 방향각 정보와 인접 픽셀점의 방향각 정보 사이의 차이가 설정 조건을 만족할 경우, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는 것으로 결정하므로, 꼭짓점을 결정하는 과정이 간단하고 소요 시간이 적다.
일 가능한 실시형태에서, 상기 각각의 픽셀점에 대응되는 라벨링 방향각 정보는 라벨링 방향 타입 정보를 포함하고; 상기 방법은,
상기 픽셀점이 위치하는 윤곽변과 설정된 기준 방향 사이의 목표 각도를 결정하는 단계; 및
상이한 사전 설정 방향 타입 정보와 각도 범위 사이의 대응 관계, 및 상기 목표 각도에 따라, 상기 픽셀점에 대응되는 라벨링 방향 타입 정보를 결정하는 단계를 더 포함한다.
여기서, 픽셀점의 목표 각도, 및 설정된 상이한 방향 타입과 각도 범위 사이의 대응 관계를 통해, 픽셀점에 대응되는 방향 타입 정보를 결정하므로, 픽셀점 방향 타입 정보의 결정 과정이 간단하고 빠르다.
이하, 장치, 전자 기기 등의 효과에 대한 설명은 상기 방법의 설명을 참조하며, 여기서 더이상 설명하지 않는다.
제2 측면에서, 본 발명의 실시예는,
원격 감지 이미지를 획득하도록 구성되는 획득 모듈;
상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하도록 구성되는 결정 모듈 - 상기 방향각 정보는 상기 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함함 - ; 및
상기 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및 상기 방향각 정보에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하도록 구성되는 생성 모듈을 포함하는 이미지 라벨링 장치를 제공한다.
일 가능한 실시형태에서, 상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정할 경우, 상기 결정 모듈은,
상기 원격 감지 이미지 및 트레이닝된 제1 이미지 분할 신경 네트워크에 기반하여, 상기 원격 감지 이미지의 글로벌 바이너리 이미지, 상기 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 적어도 하나의 건축물의 바운딩 박스의 바운딩 박스 정보를 획득하고,
상기 바운딩 박스 정보, 상기 글로벌 바이너리 이미지, 상기 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하도록 구성된다.
일 가능한 실시형태에서, 상기 결정 모듈은 하기 방식에 따라, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하도록 구성된다.
상기 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 큰 사이즈를 갖는 제1 바운딩 박스를 선택하고,
상기 제1 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 글로벌 바이너리 이미지에서 상기 제1 바운딩 박스 내의 건축물의 로컬 바이너리 이미지를 크로핑하여 얻고, 상기 글로벌 바이너리 이미지에 대응되는 상기 방향각 정보에서 크로핑된 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 추출한다.
일 가능한 실시형태에서, 상기 결정 모듈은 또한 하기 방식에 따라, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하도록 구성된다.
상기 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 작거나 같은 사이즈를 갖는 제2 바운딩 박스를 선택하고,
상기 제2 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 원격 감지 이미지에서 상기 제2 바운딩 박스에 대응되는 로컬 원격 감지 이미지를 크로핑하여 얻으며,
상기 로컬 원격 감지 이미지 및 트레이닝된 제2 이미지 분할 신경 네트워크에 기반하여, 상기 로컬 원격 감지 이미지에 대응되는 상기 건축물의 로컬 바이너리 이미지, 및 상기 로컬 원격 감지 이미지에 대응되는 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다.
일 가능한 실시형태에서, 상기 적어도 하나의 바운딩 박스의 바운딩 박스 정보를 획득한 후, 바운딩 박스 조절 모듈을 더 포함하고;
상기 바운딩 박스 조절 모듈은, 상기 원격 감지 이미지, 및 상기 적어도 하나의 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스가 라벨링된 제1 라벨링 원격 감지 이미지를 생성하고, 상기 제1 라벨링 원격 감지 이미지에 작용하는 바운딩 박스 조절 동작에 응답하여, 조절된 후의 바운딩 박스의 바운딩 박스 정보를 얻도록 구성된다.
일 가능한 실시형태에서, 상기 결정 모듈은,
제1 라벨링 결과가 구비된 제1 원격 감지 이미지 샘플을 획득하는 단계 - 상기 제1 원격 감지 이미지 샘플에는 적어도 하나의 건축물의 이미지가 포함되고, 상기 제1 라벨링 결과에는 라벨링된 적어도 하나의 건축물의 윤곽 정보, 상기 제1 원격 감지 이미지 샘플의 바이너리 이미지, 및 상기 제1 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 방향각 정보가 포함됨 - ; 및
상기 제1 원격 감지 이미지 샘플을 트레이닝할 제1 신경 네트워크에 입력하여, 상기 제1 원격 감지 이미지 샘플에 대응되는 제1 예측 결과를 얻고, 상기 제1 예측 결과 및 상기 제1 라벨링 결과에 기반하여, 상기 트레이닝할 제1 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 상기 제1 이미지 분할 신경 네트워크를 얻는 단계;를 통해, 상기 제1 이미지 분할 신경 네트워크를 트레이닝하도록 구성된다.
일 가능한 실시형태에서, 상기 결정 모듈은,
제2 라벨링 결과가 구비된 제2 원격 감지 이미지 샘플을 획득하는 단계 - 각각의 상기 제2 원격 감지 이미지 샘플은 상기 제1 원격 감지 이미지 샘플에서 크로핑된 목표 건축물의 영역 이미지이고, 상기 제2 라벨링 결과에는 상기 영역 이미지에서의 상기 목표 건축물의 윤곽 정보, 상기 제2 원격 감지 이미지 샘플의 바이너리 이미지, 및 상기 제2 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 방향각 정보가 포함됨 - ; 및
상기 제2 원격 감지 이미지 샘플을 트레이닝할 제2 신경 네트워크에 입력하여, 상기 제2 원격 감지 이미지 샘플에 대응되는 제2 예측 결과를 얻고, 상기 제2 예측 결과 및 상기 제2 라벨링 결과에 기반하여, 상기 트레이닝할 제2 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 상기 제2 이미지 분할 신경 네트워크를 얻는 단계;를 통해, 상기 제2 이미지 분할 신경 네트워크를 트레이닝하도록 구성된다.
일 가능한 실시형태에서, 상기 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및 상기 방향각 정보에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 과정에서, 상기 생성 모듈은,
각각의 건축물에 대해, 상기 건축물에 대응되는 상기 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보에 기반하여, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하고, 상기 꼭짓점 위치 집합은 상기 건축물 다각형 윤곽의 다수의 꼭짓점의 위치를 포함하며,
각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하도록 구성된다.
일 가능한 실시형태에서, 각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하기 전에, 꼭짓점 위치 보정 모듈을 더 포함하고;
상기 꼭짓점 위치 보정 모듈은, 트레이닝된 꼭짓점 보정 신경 네트워크에 기반하여, 결정된 상기 꼭짓점 위치 집합 중의 각각의 꼭짓점의 위치를 보정하도록 구성된다.
일 가능한 실시형태에서, 상기 각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성한 후, 상기 장치는 꼭짓점 위치 조절 모듈을 더 포함하고;
상기 꼭짓점 위치 조절 모듈은, 상기 라벨링 이미지에 작용하는 꼭짓점 위치 조절 동작에 응답하여, 임의의 하나의 꼭짓점의 위치를 조절하도록 구성된다.
일 가능한 실시형태에서, 상기 건축물에 대응되는 상기 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보에 기반하여, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하는 과정에서, 상기 생성 모듈은,
상기 로컬 바이너리 이미지 중의 건축물 윤곽에서 다수의 픽셀점을 선택하고,
상기 다수의 픽셀점 중의 각각의 픽셀점에 대해, 상기 픽셀점에 대응되는 방향각 정보 및 상기 픽셀점에 대응되는 인접 픽셀점의 방향각 정보에 기반하여, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 결정하며,
꼭짓점에 속하는 각 픽셀점의 위치에 따라, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하도록 구성된다.
일 가능한 실시형태에서, 상기 픽셀점에 대응되는 방향각 정보 및 상기 픽셀점에 대응되는 인접 픽셀점의 방향각 정보에 기반하여, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 결정하는 과정에서, 상기 생성 모듈은,
상기 픽셀점의 방향각 정보와 상기 인접 픽셀점의 방향각 정보 사이의 차이가 설정 조건을 만족할 경우, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는 것으로 결정하도록 구성된다.
일 가능한 실시형태에서, 라벨링된 각각의 픽셀점에 대응되는 상기 방향각 정보가 방향 타입 정보일 경우, 상기 결정 모듈은,
상기 픽셀점이 위치하는 윤곽변과 설정된 기준 방향 사이의 목표 각도를 결정하는 단계; 및
상이한 방향 타입 정보와 각도 범위 사이의 대응 관계, 및 상기 목표 각도에 따라, 상기 픽셀점에 대응되는 방향 타입 정보를 결정하는 단계;에 따라, 각각의 픽셀점에 대응되는 상기 방향 타입 정보를 획득하도록 구성된다.
제3 측면에서, 본 발명의 실시예는 프로세서, 메모리 및 버스를 포함하는 전자 기기를 제공하고, 상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령어가 저장되며, 전자 기기가 실행될 경우, 상기 프로세서와 상기 메모리 간에는 버스를 통해 통신되고, 상기 기계 판독 가능 명령어가 상기 프로세서에 의해 실행될 경우, 상기 제1 측면 또는 어느 한 실시형태에 따른 이미지 라벨링 방법의 단계가 수행된다.
제4 측면에서, 본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 상기 제1 측면 또는 어느 한 실시형태에 따른 이미지 라벨링 방법의 단계가 수행된다.
제5 측면에서, 본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서는 상기 제1 측면 또는 어느 한 실시형태에 따른 이미지 라벨링 방법의 단계를 수행한다.
본 발명의 상기 목적, 특징 및 장점이 보다 명확하고 이해되기 쉽도록 하기 위해, 아래에서는 바람직한 실시예를 첨부된 도면과 함께 상세하게 설명한다.
본 발명의 실시예의 기술적 해결수단을 보다 명확하게 설명하기 위해, 아래에서는 실시예에서 사용되어야 하는 도면을 간단히 소개하며, 여기서의 도면은 명세서에 포함되어 명세서의 일부분을 구성하고, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 실시예의 기술적 해결수단을 설명한다. 이하, 도면은 본 발명의 일부 실시예를 도시하였을 뿐이므로, 범위를 제한하는 것으로 간주되어서는 아니되며, 본 기술분야의 통상의 기술자라면 진보성 창출에 힘쓰지 않은 전제 하에 이러한 도면에 따라 다른 관련되는 도면을 획득할 수도 있음을 이해해야 한다.
도 1은 본 발명의 실시예에서 제공되는 이미지 라벨링 방법의 흐름 모식도를 도시한다.
도 2는 본 발명의 실시예에서 제공되는 방향각 정보 결정 방법의 흐름 모식도를 도시한다.
도 3은 본 발명의 실시예에서 제공되는 제1 이미지 분할 신경 네트워크 트레이닝 방법의 흐름 모식도를 도시한다.
도 4는 본 발명의 실시예에서 제공되는 건축물 다각형 윤곽의 모식도를 도시한다.
도 5는 본 발명의 실시예에서 제공되는 제2 이미지 분할 신경 네트워크 트레이닝 방법의 흐름 모식도를 도시한다.
도 6은 본 발명의 실시예에서 제공되는 라벨링 이미지 생성 방법의 흐름 모식도를 도시한다.
도 7은 본 발명의 실시예에서 제공되는 꼭짓점 위치 집합 결정 방법의 흐름 모식도를 도시한다.
도 8은 본 발명의 실시예에서 제공되는 이미지 라벨링 장치의 아키텍처 모식도를 도시한다.
도 9는 본 발명의 실시예에서 제공되는 전자 기기의 구조 모식도를 도시한다.
도 1은 본 발명의 실시예에서 제공되는 이미지 라벨링 방법의 흐름 모식도를 도시한다.
도 2는 본 발명의 실시예에서 제공되는 방향각 정보 결정 방법의 흐름 모식도를 도시한다.
도 3은 본 발명의 실시예에서 제공되는 제1 이미지 분할 신경 네트워크 트레이닝 방법의 흐름 모식도를 도시한다.
도 4는 본 발명의 실시예에서 제공되는 건축물 다각형 윤곽의 모식도를 도시한다.
도 5는 본 발명의 실시예에서 제공되는 제2 이미지 분할 신경 네트워크 트레이닝 방법의 흐름 모식도를 도시한다.
도 6은 본 발명의 실시예에서 제공되는 라벨링 이미지 생성 방법의 흐름 모식도를 도시한다.
도 7은 본 발명의 실시예에서 제공되는 꼭짓점 위치 집합 결정 방법의 흐름 모식도를 도시한다.
도 8은 본 발명의 실시예에서 제공되는 이미지 라벨링 장치의 아키텍처 모식도를 도시한다.
도 9는 본 발명의 실시예에서 제공되는 전자 기기의 구조 모식도를 도시한다.
본 발명의 실시예의 목적, 기술적 해결수단 및 장점을 보다 명확하게 하기 위해, 아래에서는 본 발명의 실시예의 도면을 결부하여 본 발명의 실시예의 기술적 해결수단을 명확하고 완전하게 설명하며, 물론, 설명되는 실시예는 본 발명의 일부 실시예일 뿐, 전부의 실시예가 아니다. 일반적으로, 여기서의 도면에서 설명되고 도시되는 본 발명의 실시예의 구성요소는 다양한 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 이하의 도면에서 제공되는 본 발명의 실시예에 대한 상세한 설명은 보호하고자 하는 본 발명의 범위를 제한하려는 것이 아니라, 본 발명의 선택된 실시예를 나타내는 것에 불과하다. 본 발명의 실시예에 기반하여, 본 기술분야의 통상의 기술자가 진보성 창출에 힘쓰지 않은 전제 하에 획득한 모든 다른 실시예들은 모두 본 발명의 보호범위에 포함된다.
일반적으로, 건축물의 전자동 추출 방법은 정확도가 낮아 실제 응용 수요를 만족하기 어렵기에, 건축물의 전자동 추출 방법은 기존의 수동 라벨링 방법을 대체할 수 없어 널리 응용되지 못한다. 건축물 다각형을 수동으로 라벨링하는 기존의 방법은 많은 시간과 인력을 필요로 하는 작업이고, 일반적으로 전문적인 원격 감지 이미지 인터프리터에 의해 완성되므로, 수동 라벨링 방법은 효율이 낮다.
상기 문제점을 해결하기 위해, 본 발명의 실시예는 건축물 라벨링 정확도를 보장하면서 건축물 라벨링의 효율을 향상시키는 이미지 라벨링 방법을 제공한다.
본 발명의 실시예에 대한 이해의 편의를 위해, 먼저 본 발명의 실시예에서 공개되는 이미지 라벨링 방법을 상세하게 설명하기로 한다.
본 발명의 실시예에서 제공되는 이미지 라벨링 방법은 단말 기기에 응용될 수 있고, 서버에 응용될 수도 있다. 여기서, 단말 기기는 컴퓨터, 스마트폰, 태블릿 PC 등일 수 있고, 본 발명의 실시예는 이에 대해 제한하지 않는다.
도 1을 참조하면, 이는 본 발명의 실시예에서 제공되는 이미지 라벨링 방법의 흐름 모식도이고, 상기 벙법은 단계 S101 내지 단계 S103을 포함한다. 여기서,
단계 S101에서, 원격 감지 이미지를 획득한다.
단계 S102에서, 원격 감지 이미지에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하고, 여기서, 방향각 정보는 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함한다.
단계 S103에서, 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 방향각 정보에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성한다.
상기 방법에서, 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하고, 여기서, 방향각 정보는 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함하며, 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 방향각 정보에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성함으로써, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 자동으로 생성하여, 건축물 라벨링의 효율을 향상시킨다.
아울러, 건축물의 가장자리 윤곽 상에 위치하는 꼭짓점 위치의 픽셀점과 인접 픽셀점 사이는 상이한 윤곽변에 위치하고, 상이한 윤곽변은 상이한 방향에 대응되므로, 건축물에 대응되는 로컬 바이너리 이미지 및 방향각 정보를 통해, 건축물의 꼭짓점 위치를 정확하게 결정할 수 있어, 라벨링 이미지를 정확하게 생성할 수 있다.
단계 S101 및 단계 S102에 대하여:
여기서, 원격 감지 이미지는 적어도 하나의 건축물이 기록된 이미지일 수 있다. 원격 감지 이미지를 획득한 후, 상기 원격 감지 이미지에 포함되는 각각의 건축물에 대응되는 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다. 예를 들어, 각각의 건축물에 대응되는 로컬 바이너리 이미지에서, 건축물 대응영역 중 픽셀점의 픽셀값은 1일 수 있고, 로컬 바이너리 이미지에서 건축물 대응영역을 제외한 배경영역 중 픽셀점의 픽셀값은 0일 수 있다. 여기서, 방향각 정보는 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함한다.
일 선택 가능한 실시형태로서, 도 2를 참조하면, 이는 본 발명의 실시예에서 제공되는 방향각 정보 결정 방법의 흐름 모식도이고, 상기 원격 감지 이미지에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하는 단계는 하기와 같은 단계를 포함할 수 있다.
단계 S201에서, 원격 감지 이미지 및 트레이닝된 제1 이미지 분할 신경 네트워크에 기반하여, 원격 감지 이미지의 글로벌 바이너리 이미지, 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 적어도 하나의 건축물의 바운딩 박스의 바운딩 박스 정보를 획득한다.
단계 S202에서, 바운딩 박스 정보, 글로벌 바이너리 이미지, 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 원격 감지 이미지에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지, 및 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다.
상기 실시형태에서, 트레이닝된 제1 이미지 분할 신경 네트워크를 통해, 원격 감지 이미지의 글로벌 바이너리 이미지, 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 적어도 하나의 건축물의 바운딩 박스의 바운딩 박스 정보를 결정함으로써, 각각의 건축물에 대응되는 로컬 바이너리 이미지, 및 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 얻을 수 있어, 후속적인 라벨링 이미지의 생성을 위해 데이터 지원을 제공한다.
단계 S201에서, 원격 감지 이미지를 트레이닝된 제1 이미지 분할 신경 네트워크에 입력하여, 원격 감지 이미지의 글로벌 바이너리 이미지, 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 적어도 하나의 건축물의 바운딩 박스의 바운딩 박스 정보를 얻을 수 있다.
예시적으로, 글로벌 바이너리 이미지와 원격 감지 이미지의 사이즈는 동일하고, 글로벌 바이너리 이미지는 건축물 영역 중 픽셀점의 픽셀값이 255이고, 건축물 영역을 제외한 배경영역 중의 픽셀점의 픽셀값이 0인 바이너리 이미지일 수 있다. 건축물 윤곽 상의 윤곽 픽셀점의 방향각 정보는 상기 윤곽 픽셀점이 위치하는 윤곽변과 설정된 방향 사이의 각도일 수 있고, 예를 들어, 윤곽 픽셀점 A의 방향각 정보는 180˚일 수 있고, 윤곽 픽셀점 B의 방향각 정보는 250˚일 수 있다. 또는, 건축물 윤곽 상의 윤곽 픽셀점의 방향각 정보는 상기 윤곽 픽셀점에 대응되는 방향 타입일 수도 있으며, 예를 들어, 윤곽 픽셀점 A의 방향각 정보는 제19 방향 타입일 수 있고, 윤곽 픽셀점 B의 방향각 정보는 제26 방향 타입일 수 있다. 여기서, 상기 방향 타입은 상기 윤곽 픽셀점이 위치하는 윤곽변과 설정된 방향 사이의 각도를 통해 결정된 것일 수 있다.
예시적으로, 글로벌 바이너리 이미지에 포함되는 각각의 건축물의 윤곽 정보에 따라, 각각의 건축물의 바운딩 박스를 결정할 수도 있고, 상기 바운딩 박스는 건축물의 윤곽영역을 둘러싸는 정사각형 박스일 수 있다. 구현 과정에서, 길이 방향에서의 건축물의 제1 사이즈 최대치, 및 폭 방향에서의 제2 사이즈 최대치를 결정할 수 있고, 제1 사이즈 최대치 및 제2 사이즈 최대치 중 큰 값을 상기 건축물의 바운딩 박스의 사이즈값으로 결정한다. 여기서, 상기 바운딩 박스의 바운딩 박스 정보에는 바운딩 박스의 사이즈 정보 및 바운딩 박스의 위치 정보 등이 포함될 수 있다.
도 3을 참조하면, 이는 본 발명의 실시예에서 제공되는 제1 이미지 분할 신경 네트워크 트레이닝 방법의 흐름 모식도이고, 하기 단계를 통해 제1 이미지 분할 신경 네트워크를 트레이닝하여, 트레이닝된 제1 이미지 분할 신경 네트워크를 얻을 수 있다.
단계 S301에서, 제1 라벨링 결과가 구비된 제1 원격 감지 이미지 샘플을 획득하며, 제1 원격 감지 이미지 샘플에는 적어도 하나의 건축물의 이미지가 포함되고, 제1 라벨링 결과에는 라벨링된 적어도 하나의 건축물의 윤곽 정보, 제1 원격 감지 이미지 샘플의 바이너리 이미지, 및 제1 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 라벨링 방향각 정보가 포함된다.
단계 S302에서, 제1 원격 감지 이미지 샘플을 트레이닝할 제1 신경 네트워크에 입력하여, 제1 원격 감지 이미지 샘플에 대응되는 제1 예측 결과를 얻고, 제1 예측 결과 및 제1 라벨링 결과에 기반하여, 트레이닝할 제1 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 제1 이미지 분할 신경 네트워크를 얻는다.
단계 S301에 대하여, 획득된 제1 원격 감지 이미지에는 하나 또는 다수의 건축물의 이미지가 포함되고, 제1 라벨링 결과에는 제1 원격 감지 이미지 샘플 중의 각각의 건축물의 윤곽 정보, 제1 원격 감지 이미지 샘플의 바이너리 이미지, 및 제1 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 라벨링 방향각 정보가 포함된다.
여기서, 제1 원격 감지 이미지 샘플 중 건축물 가장자리 윤곽 상에 위치하는 픽셀점의 라벨링 방향각 정보는, 상기 픽셀점이 위치하는 건축물 가장자리 윤곽변과 사전 설정 방향 사이의 각도에 따라 결정될 수 있고, 건축물 가장자리 윤곽 밖에 위치하는 다른 픽셀점의 라벨링 방향각 정보는 사절 설정값으로 설정될 수 있으며, 예를 들어, 건축물 가장자리 윤곽 밖에 위치하는 다른 픽셀점의 라벨링 방향각 정보를 0으로 설정할 수 있다.
라벨링된 각각의 픽셀점에 대응되는 라벨링 방향각 정보가 각도 정보일 경우, 픽셀점이 위치하는 건축물 가장자리 윤곽변과 사전 설정 기준 방향 사이의 목표 각도를 상기 픽셀점의 라벨링 방향각 정보로 결정할 수 있다.
라벨링된 각각의 픽셀점에 대응되는 라벨링 방향각 정보가 방향 타입 정보일 경우, 상기 픽셀점이 위치하는 윤곽변과 설정된 기준 방향 사이의 목표 각도를 결정하는 단계; 및 상이한 사전 설정 방향 타입 정보와 각도 범위 사이의 대응 관계, 및 목표 각도에 따라, 상기 픽셀점에 대응되는 라벨링 방향 타입 정보를 결정하는 단계;에 따라, 각각의 픽셀점에 대응되는 방향 타입 정보를 획득한다.
여기서, 픽셀점의 목표 각도, 및 설정된 상이한 사전 설정 방향 타입과 각도 범위 사이의 대응 관계를 통해, 픽셀점에 대응되는 방향 타입 정보를 결정하므로, 픽셀점의 방향 타입 정보의 결정 과정이 간단하고 빠르다.
여기서, 설정된 상이한 사전 설정 방향 타입 정보와 각도 범위 사이의 대응 관계는, 각도 범위가 [0˚, 10˚)이고, 대응되는 사전 설정 방향 타입 정보가 제1 방향 타입이며, 여기서, 상기 범위 내에는 0˚가 포함되고 10˚가 포함되지 않으며; 각도 범위가 [10˚, 20˚)이고, 대응되는 사전 설정 방향 타입 정보가 제2 방향 타입이며, ... ..., 각도 범위가 [350˚, 360˚)이고, 대응되는 사전 설정 방향 타입 정보가 제36 방향 타입인 것일 수 있다. 나아가, 픽셀점이 위치하는 윤곽변과 설정된 기준 방향 사이의 목표 각도가 결정된 후, 목표 각도, 및 상이한 사전 설정 방향 타입 정보와 각도 범위 사이의 대응 관계에 따라, 상기 픽셀점에 대응되는 라벨링 방향 타입 정보를 결정할 수 있다. 예를 들어, 픽셀점에 대응되는 목표 각도가 15˚일 경우, 상기 픽셀점에 대응되는 라벨링 방향 타입 정보는 제2 방향 타입이다.
구현 과정에서, 하기 공식 (1)에 따라, 목표 각도를 이용하여 픽셀점에 대응되는 라벨링 방향 타입 정보를 산출할 수도 있다.
여기서, 
는 픽셀점 i에 대응되는 목표 각도이고, K는 방향 타입의 수량이며, 
는 픽셀점 i에 대응되는 방향 타입 식별자이고, 여기서, 부호 []는 반올림 연산부호일 수 있다. 예를 들어, 픽셀점 i가 위치하는 윤곽변과 설정된 기준 방향 사이의 목표 각도가 180˚이고, 설정된 방향 타입의 수량이 36이며, 즉 K가 36일 경우, 
이며, 즉 상기 픽셀점 i에 대응되는 라벨링 방향 타입 정보는 제19 방향 타입이다. 픽셀점 i가 위치하는 윤곽변과 설정된 기준 방향 사이의 목표 각도가 220˚이고, 설정된 방향 타입의 수량이 36이며, 즉 K가 36일 경우, 
이며, 즉 상기 픽셀점 i에 대응되는 라벨링 방향 타입 정보는 제23 방향 타입이다.
도 4에 도시된 건축물 다각형 윤곽의 모식도를 참조하면, 도면에는 건축물의 다각형 윤곽(21) 및 각도 예시(22)가 포함되며, 각도 예시의 0˚방향은 설정된 기준 방향일 수 있고, 다각형 윤곽(21)에는 제1 윤곽변(211), 및 제1 윤곽변의 방향 ①; 제2 윤곽변(212), 및 제2 윤곽변의 방향 ②; 제3 윤곽변(213), 및 제3 윤곽변의 방향 ③; 제4 윤곽변(214), 및 제4 윤곽변의 방향 ④; 제5 윤곽변(215), 및 제5 윤곽변의 방향 ⑤; 제6 윤곽변(216), 및 제6 윤곽변의 방향 ⑥; 제7 윤곽변(217), 및 제7 윤곽변의 방향 ⑦; 제8 윤곽변(218), 및 제8 윤곽변의 방향 ⑧이 포함된다. 여기서, 각 윤곽변에 수직되고 건축물 외부를 향하는 방향을 상기 윤곽변의 방향으로 결정할 수 있다.
또한, 각도 예시(22)를 결합하면, 건축물의 다각형 윤곽(21) 중 각 윤곽변과 기준 방향 사이의 각도를 알 수 있다. 즉 제1 윤곽변과 기준 방향 사이의 각도는 0˚이고, 제2 윤곽변과 기준 방향 사이의 각도는 90˚이며, 제3 윤곽변과 기준 방향 사이의 각도는 180˚이고, 제4 윤곽변과 기준 방향 사이의 각도는 90˚이며, 제5 윤곽변과 기준 방향 사이의 각도는 0˚이며, 제6 윤곽변과 기준 방향 사이의 각도는 90˚이고, 제7 윤곽변과 기준 방향 사이의 각도는 180˚이며, 제8 윤곽변과 기준 방향 사이의 각도는 270˚이다.
단계 S302에 대하여, 획득된 제1 라벨링 결과가 구비된 제1 원격 감지 이미지 샘플을 트레이닝할 제1 신경 네트워크에 입력하여, 제1 원격 감지 이미지 샘플에 대응되는 제1 예측 결과를 얻을 수 있고, 여기서, 제1 예측 결과에는 제1 원격 감지 이미지 샘플에 포함된 각각의 건축물의 예측 윤곽 정보, 제1 원격 감지 이미지 샘플의 예측 바이너리 이미지, 및 제1 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 예측 방향각 정보가 포함된다.
또한, 제1 예측 결과 및 제1 라벨링 결과에 기반하여, 제1 신경 네트워크의 손실값을 결정하고, 결정된 손실값을 이용하여 제1 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 제1 이미지 분할 신경 네트워크를 얻을 수 있다. 예를 들어, 제1 예측 결과 중 각각의 건축물의 예측 윤곽 정보 및 제1 라벨링 결과 중 라벨링된 대응 건축물의 윤곽 정보를 이용하여, 제1 손실값 Lbound을 결정하고, 제1 예측 결과 중 제1 원격 감지 이미지 샘플의 예측 바이너리 이미지 및 제1 라벨링 결과 중의 제1 원격 감지 이미지 샘플의 바이너리 이미지를 이용하여, 제2 손실값 Lseg을 결정하며, 제1 예측 결과 중 제1 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 예측 방향각 정보 및 제1 라벨링 결과 중 제1 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 라벨링 방향각 정보를 이용하여, 제3 손실값 Lorient을 결정하고, 제1 손실값 Lbound, 제2 손실값 Lseg 및 제3 손실값 Lorient의 합 Ltotal(즉 Ltotal=Lbound+Lseg+Lorient)을 제1 신경 네트워크의 손실값으로 하여, 제1 신경 네트워크를 트레이닝할 수 있다. 예시적으로, 크로스 엔트로피 손실함수를 통해, 제1 손실값, 제2 손실값 및 제3 손실값을 산출할 수 있다.
상기 방식에서, 제1 원격 감지 이미지 샘플을 획득하여 제1 신경 네트워크를 트레이닝하고, 트레이닝이 완료된 후 제1 이미지 분할 신경 네트워크를 얻음으로써, 제1 이미지 분할 신경 네트워크를 통해, 제1 바운딩 박스 중 건축물의 로컬 바이너리 이미지 및 방향각 정보를 결정한다.
단계 S202에서, 일 선택 가능한 실시형태로서, 하기 방식에 따라, 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지, 및 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다.
방식 1: 바운딩 박스 정보에 기반하여, 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 큰 사이즈를 갖는 제1 바운딩 박스를 선택하고, 제1 바운딩 박스의 바운딩 박스 정보에 기반하여, 글로벌 바이너리 이미지에서 제1 바운딩 박스 내의 건축물의 로컬 바이너리 이미지를 크로핑하여 얻으며, 글로벌 바이너리 이미지에 대응되는 방향각 정보에서 크로핑된 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 추출한다.
방식 2: 바운딩 박스 정보에 기반하여, 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 작거나 같은 사이즈를 갖는 제2 바운딩 박스를 선택하고, 제2 바운딩 박스의 바운딩 박스 정보에 기반하여, 원격 감지 이미지에서 제2 바운딩 박스에 대응되는 로컬 원격 감지 이미지를 크로핑하여 얻으며, 로컬 원격 감지 이미지 및 트레이닝된 제2 이미지 분할 신경 네트워크에 기반하여, 로컬 원격 감지 이미지에 대응되는 건축물의 로컬 바이너리 이미지, 및 로컬 원격 감지 이미지에 대응되는 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다.
여기서, 건축물의 바운딩 박스의 사이즈에 따라, 방식 1을 선택 이용할 것인지 아니면 방식 2를 이용할 것인지 여부를 결정하여, 상기 건축물에 대응되는 로컬 바이너리 이미지, 및 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정할 수 있다. 여기서, 건축물의 바운딩 박스의 사이즈가 사전 설정 사이즈 임계값보다 클 경우, 방식 1을 선택하여 상기 건축물에 대응되는 로컬 바이너리 이미지, 및 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다. 건축물의 바운딩 박스의 사이즈가 사전 설정 사이즈 임계값보다 작거나 같을 경우, 방식 2를 선택하여 원격 감지 이미지에서 제2 바운딩 박스에 대응되는 로컬 원격 감지 이미지를 크로핑하여 얻고, 로컬 원격 감지 이미지 및 트레이닝된 제2 이미지 분할 신경 네트워크에 기반하여, 로컬 원격 감지 이미지에 대응되는 건축물의 로컬 바이너리 이미지, 및 로컬 원격 감지 이미지에 대응되는 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다.
일반적으로, 신경 네트워크의 입력 데이터의 사이즈는 이미 설정된 것이고, 건축물의 바운딩 박스의 사이즈가 클 경우, 축소, 커팅 등 방식으로 바운딩 박스의 사이즈를 설정한 사이즈 값으로 조절하여야 하는데, 이는 바운딩 박스의 정보의 유실을 초래하여, 바운딩 박스 중 건축물의 검출 정확도를 감소시킨다. 따라서, 상기 문제점을 해결하기 위해, 상기 실시형태에서, 바운딩 박스의 사이즈에 기반하여, 건축물의 바운딩 박스를 사전 설정 사이즈 임계값보다 큰 사이즈를 갖는 제1 바운딩 박스 및 사전 설정 사이즈 임계값보다 작은 사이즈를 갖는 제2 바운딩 박스로 나누고, 제1 이미지 분할 신경 네트워크의 검출 결과를 통해, 제1 바운딩 박스 중의 건축물에 대응되는 로컬 바이너리 이미지와 방향각 정보를 결정하고, 제2 이미지 분할 신경 네트워크의 검출 결과를 통해, 제2 바운딩 박스 중의 건축물에 대응되는 로컬 바이너리 이미지와 방향각 정보를 결정함으로써, 건축물의 검출 결과가 정확하도록 한다.
방식 1을 설명하면, 바운딩 박스 정보에서 지시되는 바운딩 박스의 사이즈에 기반하여, 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 큰 사이즈를 갖는 제1 바운딩 박스를 선택하고, 제1 바운딩 박스의 바운딩 박스 정보에서 지시되는 바운딩 박스의 위치에 기반하여, 글로벌 바이너리 이미지에서 제1 바운딩 박스 내 건축물의 로컬 바이너리 이미지를 크로핑하여 얻을 수 있으며, 상기 바이너리 이미지 사이즈는 제1 바운딩 박스의 사이즈와 동일할 수 있다. 또한, 글로벌 바이너리 이미지에 대응되는 방향각 정보에서 제1 바운딩 박스에 대응되는 방향각 정보를 추출하여, 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 얻는다.
방식 2를 설명하면, 바운딩 박스 정보에서 지시되는 바운딩 박스의 사이즈에 기반하여, 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 작거나 같은 사이즈를 갖는 제2 바운딩 박스를 선택할 수 있고, 상기 제2 바운딩 박스는 검출된 원격 감지 이미지의 적어도 하나의 바운딩 박스에서 제1 바운딩 박스를 제외한 다른 바운딩 박스이다. 또한, 제2 바운딩 박스의 바운딩 박스 정보에서 지시되는 바운딩 박스의 위치에 기반하여, 원격 감지 이미지에서 제2 바운딩 박스에 대응되는 로컬 원격 감지 이미지를 크로핑하여 얻고, 얻은 로컬 원격 감지 이미지를 트레이닝된 제2 이미지 분할 신경 네트워크에 입력하여, 로컬 원격 감지 이미지에 대응되는 건축물의 로컬 바이너리 이미지, 및 로컬 원격 감지 이미지에 대응되는 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다.
일 선택 가능한 실시형태에서, 도 5를 참조하면, 이는 본 발명의 실시예에서 제공되는 제2 이미지 분할 신경 네트워크 트레이닝 방법의 흐름 모식도이고, 하기 단계를 통해 제2 이미지 분할 신경 네트워크를 트레이닝하여 얻을 수 있다.
단계 S401에서, 제2 라벨링 결과가 구비된 제2 원격 감지 이미지 샘플을 획득하며, 각각의 제2 원격 감지 이미지 샘플은 제1 원격 감지 이미지 샘플에서 크로핑된 목표 건축물의 영역 이미지이고, 제2 라벨링 결과에는 영역 이미지에서의 목표 건축물의 윤곽 정보, 제2 원격 감지 이미지 샘플의 바이너리 이미지, 및 제2 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 라벨링 방향각 정보가 포함된다.
단계 S402에서, 제2 원격 감지 이미지 샘플을 트레이닝할 제2 신경 네트워크에 입력하여, 제2 원격 감지 이미지 샘플에 대응되는 제2 예측 결과를 얻고, 제2 예측 결과 및 제2 라벨링 결과에 기반하여, 트레이닝할 제2 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 제2 이미지 분할 신경 네트워크를 얻는다.
여기서, 제2 원격 감지 이미지 샘플은 제1 원격 감지 이미지 샘플에서 크로핑된 목표 건축물의 영역 이미지일 수 있고, 즉 제2 원격 감지 이미지 샘플에는 하나의 목표 건축물이 포함되며, 제2 원격 감지 이미지 샘플에 대응되는 사이즈는 제1 원격 감지 이미지 샘플보다 작다. 제2 원격 감지 이미지 샘플에 구비된 제2 라벨링 결과는 제1 원격 감지 이미지 샘플의 제2 라벨링 결과에서 획득된 것일 수 있고, 예를 들어, 제2 원격 감지 이미지 샘플 중의 목표 건축물의 윤곽 정보는, 제1 원격 감지 이미지 샘플에 포함된 각각의 건축물의 윤곽 정보에서 크로핑하여 얻을 수 있다.
획득된 제2 라벨링 결과가 구비된 제2 원격 감지 이미지 샘플을 트레이닝할 제2 신경 네트워크에 입력하여, 제2 원격 감지 이미지 샘플에 대응되는 제2 예측 결과를 얻을 수 있고, 여기서, 제2 예측 결과에는 제2 원격 감지 이미지 샘플에 포함된 각각의 건축물의 예측 윤곽 정보, 제2 원격 감지 이미지 샘플의 예측 바이너리 이미지, 및 제2 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 예측 방향각 정보가 포함된다. 또한, 제2 원격 감지 이미지 샘플에 대응되는 제2 예측 결과 및 제2 라벨링 결과에 기반하여, 제2 신경 네트워크의 손실값을 결정하고, 결정된 제2 신경 네트워크의 손실값을 이용하여 제2 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 제2 이미지 분할 신경 네트워크를 얻을 수 있다. 여기서, 제2 신경 네트워크의 트레이닝 과정은 제1 신경 네트워크의 트레이닝 과정을 참조할 수 있으므로, 여기서 더이상 상세하게 설명하지 않는다.
상기 방식에서, 제1 원격 감지 이미지 샘플에서 제2 원격 감지 이미지를 크로핑하여 얻고, 획득된 제2 원격 감지 이미지 샘플을 사용하여 제2 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 제2 이미지 분할 신경 네트워크를 얻음으로써, 제2 이미지 분할 신경 네트워크를 통해, 제2 바운딩 박스 중 건축물의 로컬 바이너리 이미지 및 방향각 정보를 결정한다.
일 선택 가능한 실시형태에서, 적어도 하나의 바운딩 박스의 바운딩 박스 정보를 획득하는 단계 이후에, 원격 감지 이미지, 및 적어도 하나의 바운딩 박스의 바운딩 박스 정보에 기반하여, 적어도 하나의 바운딩 박스가 라벨링된 제1 라벨링 원격 감지 이미지를 생성하는 단계; 및 제1 라벨링 원격 감지 이미지에 작용하는 바운딩 박스 조절 동작에 응답하여, 조절된 후의 바운딩 박스의 바운딩 박스 정보를 얻는 단계를 더 포함한다.
여기서, 적어도 하나의 바운딩 박스의 바운딩 박스 정보를 획득한 후, 원격 감지 이미지 및 결정된 적어도 하나의 바운딩 박스의 바운딩 박스 정보에 기반하여, 적어도 하나의 바운딩 박스가 라벨링된 제1 라벨링 원격 감지 이미지를 생성할 수 있고, 제1 라벨링 원격 감지 이미지를 표시 장치에 표시하여, 어노테이터가 표시 장치에서 상기 제1 라벨링 원격 감지 이미지를 볼 수 있도록 하고, 제1 라벨링 원격 감지 이미지에 대해 바운딩 박스 조절 동작을 수행할 수 있다.
예를 들어, 제1 라벨링 원격 감지 이미지 중 중복되는 바운딩 박스에 대해 삭제 동작을 수행할 수 있고, 즉 제1 라벨링 원격 감지 이미지에 존재하는 바운딩 박스 A에 건축물이 포함되지 않을 경우(제1 라벨링 원격 감지 이미지 중 상기 바운딩 박스 A는 중복되는 바운딩 박스이다), 제1 라벨링 원격 감지 이미지에서 바운딩 박스 A를 삭제할 수 있다. 또한, 제1 라벨링 원격 감지 이미지에 결여된 바운딩 박스를 추가할 수도 있으며, 즉 제1 라벨링 원격 감지 이미지에 건축물 A가 포함되지만, 상기 건축물 A에 의해 대응되는 바운딩 박스가 검출되지 않을 경우(제1 라벨링 원격 감지 이미지 중 상기 건축물 A는 결여된 바운딩 박스이다), 상기 건축물 A를 위해 대응되는 바운딩 박스를 추가할 수 있다. 나아가, 제1 라벨링 원격 감지 이미지에 작용하는 바운딩 박스 조절 동작에 응답하여, 조절된 후의 바운딩 박스의 바운딩 박스 정보를 얻는다.
여기서, 적어도 하나의 바운딩 박스의 바운딩 박스 정보를 얻은 후, 제1 라벨링 원격 감지 이미지를 생성할 수 있어, 어노테이터로 하여금 제1 라벨링 원격 감지 이미지의 바운딩 박스에 대해, 중복된 바운딩 박스의 삭제, 결여된 바운딩 박스의 추가 등과 같은 조절 동작을 수행할 수 있도록 하여, 바운딩 박스 정보의 정확도를 향상시키고, 나아가 후속적으로 얻어지는 라벨링 이미지의 정확도를 향상시킬 수 있다. 또한, 바운딩 박스의 조절 동작은 간단하고 조작이 용이하며 소요 시간이 적고, 바운딩 박스 조절 동작은 효율이 높다.
단계 S103에 대하여:
여기서, 원격 감지 이미지에 포함되는 각 건축물에 각각 대응되는 로컬 바이너리 이미지 및 방향각 정보에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성할 수 있다.
일 선택 가능한 실시형태에서, 도 6을 참조하면, 이는 본 발명의 실시예에서 제공되는 라벨링 이미지 생성 방법의 흐름 모식도이고, 상기 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 방향각 정보에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계는 하기와 같은 단계를 포함할 수 있다.
단계 S501에서, 각각의 건축물에 대해, 상기 건축물에 대응되는 로컬 바이너리 이미지, 및 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보에 기반하여, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하고, 상기 꼭짓점 위치 집합은 상기 건축물 다각형 윤곽의 다수의 꼭짓점의 위치를 포함한다.
단계 S502에서, 각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성한다.
상기 실시형태에서, 건축물의 꼭짓점 위치에 위치하는 픽셀점과 인접 픽셀 사이는 상이한 윤곽변에 위치하고, 상이한 윤곽변은 상이한 방향에 대응되므로, 각각의 건축물에 대응되는 로컬 바이너리 이미지 및 방향각 정보를 통해, 건축물의 꼭짓점 위치 집합을 정확하게 결정할 수 있으며, 상기 꼭짓점 위치 집합에는 건축물의 다각형 윤곽 상의 각각의 꼭짓점의 위치가 포함되어, 얻은 꼭짓점 위치 집합에 기반하여, 라벨링 이미지를 정확하게 생성할 수 있다.
단계 S501에 대해, 원격 감지 이미지에 포함되는 각각의 건축물에 대해, 상기 건축물에 대응되는 로컬 바이너리 이미지, 및 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보에 기반하여, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정할 수 있고, 즉 상기 건축물에 대응되는 꼭짓점 위치 집합에는 상기 건축물에 대응되는 건축물 다각형 윤곽 상의 각각의 꼭짓점의 위치 정보가 포함된다.
일 선택 가능한 실시형태로서, 도 7을 참조하면, 이는 본 발명의 실시예에서 제공되는 꼭짓점 위치 집합 결정 방법의 흐름 모식도이고, 상기 단계 S501에서, 상기 건축물에 대응되는 로컬 바이너리 이미지, 및 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보에 기반하여, 상기 건축물 다각형 윤곽의 다수의 꼭짓점 위치에 의해 구성되는 꼭짓점 위치 집합을 결정하는 단계는 하기와 같은 단계를 포함할 수 있다.
단계 S601에서, 로컬 바이너리 이미지 중의 건축물 윤곽에서 다수의 픽셀점을 선택한다.
단계 S602에서, 다수의 픽셀점 중의 각각의 픽셀점에 대해, 상기 픽셀점에 대응되는 방향각 정보 및 상기 픽셀점에 대응되는 인접 픽셀점의 방향각 정보에 기반하여, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 결정한다.
단계 S603, 꼭짓점에 속하는 결정된 각 픽셀점의 위치에 따라, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정한다.
상기 실시형태에서, 건축물 윤곽에서 다수의 픽셀점을 선택하고, 각각의 픽셀점이 꼭짓점인지 여부를 판정하여, 꼭짓점에 속하는 각 픽셀점의 위치에 기반하여, 건축물에 대응되는 꼭짓점 위치 집합을 생성할 수 있어, 후속적인 라벨링 이미지의 생성을 위해 데이터 지원을 제공한다.
단계 S601를 설명하면, 로컬 바이너리 이미지 중의 건축물 윤곽에서 다수의 픽셀점을 선택할 수 있고, 예를 들어, 집중 샘플링 방식으로 건축물 윤곽에서 다수의 픽셀점을 선택할 수 있다.
여기서, 선택된 다수의 픽셀점에 순서대로 번호를 부여할 수도 있으며, 예를 들어, 하나의 시작점을 선택하고, 시작점 위치의 픽셀점의 번호를 0으로 설정하며, 시계 방향에 따라, 번호가 0인 픽셀점에 인접하는 픽셀점의 번호를 1로 설정하며, 이와 같이, 선택된 다수의 픽셀점 중의 각각의 픽셀점을 위해, 모두 하나의 대응되는 번호를 결정할 수 있다. 다수의 픽셀점의 픽셀 좌표를 이용하여, 하나의 밀집 픽셀점 좌표 집합 P={p0, p1, ..., pn}을 생성하며, n는 양의 정수이고, 여기서 p0는 번호가 0인 픽셀점의 픽셀 좌표이며, pn는 번호가 n인 픽셀점의 픽셀 좌표이다.
단계 S602를 설명하면, 선택된 다수의 픽셀점 중의 각각의 픽셀점을 판정하고, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 판정한다.
일 선택 가능한 실시형태로서, 단계 S602에서, 상기 픽셀점에 대응되는 방향각 정보 및 상기 픽셀점에 대응되는 인접 픽셀점의 방향각 정보에 기반하여, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 결정하는 단계는, 상기 픽셀점의 방향각 정보와 인접 픽셀점의 방향각 정보 사이의 차이가 설정 조건을 만족할 경우, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는 것으로 결정하는 단계를 포함할 수 있다.
상기 실시형태에서, 픽셀점의 방향각 정보와 인접 픽셀점의 방향각 정보 사이의 차이가 설정 조건을 만족할 경우, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는 것으로 결정하므로, 꼭짓점을 결정하는 과정이 간단하고 소요 시간이 적다.
방향각 정보가 목표 각도일 경우, 상기 픽셀점의 목표 각도와 인접 픽셀점의 목표 각도 사이의 차이가 설정된 각도 임계값보다 크거나 같은지 여부를 판정하고, 차이가 설정된 각도 임계값보다 크거나 같을 경우, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는 것으로 결정하며, 차이가 설정된 각도 임계값보다 작을 경우, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하지 않는 것으로 결정할 수 있다. 예를 들어, 픽셀점 p2에 대해, 상기 픽셀점 p2의 목표 각도와 인접 픽셀점 p1의 목표 각도 사이의 차이가 설정된 각도 임계값보다 크거나 같은지 여부를 판정할 수 있다. 여기서, 상기 각도 임계값은 실제 상황에 따라 설정될 수 있다.
방향각 정보가 방향 타입일 경우, 상기 픽셀점의 방향 타입과 인접 픽셀점의 방향 타입 사이의 차이가 설정된 방향 타입 임계값보다 크거나 같은지 여부를 판정하고, 차이가 설정된 방향 타입 임계값보다 크거나 같을 경우, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는 것으로 결정하며, 차이가 설정된 방향 타입 임계값보다 작을 경우, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하지 않는 것으로 결정할 수 있다. 즉 하기 공식 (2)를 이용하여, 상기 다수의 픽셀점 중의 각각의 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 결정할 수 있다.
여기서, 
은 픽셀점 
가 건축물의 다각형 윤곽의 꼭짓점에 속함을 나타내고, 
은 픽셀점 
가 건축물의 다각형 윤곽의 꼭짓점에 속하지 않음을 나타내며; 
는 픽셀점 
의 방향 타입이고, 
는 픽셀점 
의 방향 타입이며, 
는 설정된 방향 타입 임계값이고, 
의 값은 실제 상황에 따라 설정될 수 있다.
단계 S603을 설명하면, 또한, 꼭짓점에 속하는 결정된 각 픽셀점의 위치에 따라, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정할 수 있다. 예시적으로, 꼭짓점 선택 모듈을 통해 각각의 건축물에 대응되는 꼭짓점 위치 집합을 결정할 수 있다. 예를 들어, 건축물에 대응되는 로컬 바이너리 이미지, 및 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 꼭짓점 선택 모듈에 입력하여, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정할 수 있다.
단계 S502에 대하여, 각각의 건축물에 대응되는 꼭짓점 위치 집합을 얻은 후, 각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성할 수 있다. 예를 들어, 각각의 건축물에 포함된 꼭짓점의 연결 순서를 결정하고, 각각의 건축물에 대응되는 꼭짓점을 결정된 연결 순서대로 교차되지 않게 연결하여, 각각의 건축물의 다각형 윤곽을 얻으며, 각 건축물의 다각형 윤곽, 및 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지에 대응되는 라벨링 이미지를 생성할 수 있다.
일 선택 가능한 실시형태에서, 각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계 전에, 트레이닝된 꼭짓점 보정 신경 네트워크에 기반하여, 결정된 꼭짓점 위치 집합 중의 각각의 꼭짓점의 위치를 보정하는 단계를 더 포함할 수 있다.
여기서, 꼭짓점 위치 집합을 트레이닝된 꼭짓점 보정 신경 네트워크에 입력하여, 결정된 꼭짓점 위치 집합 중의 각각의 꼭짓점의 위치를 보정하여, 보정된 후의 꼭짓점 위치 집합을 얻을 수 있고, 나아가 각 건축물에 각각 대응되는 보정된 후의 꼭짓점 위치 집합에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성할 수 있다.
상기 실시형태에서, 트레이닝하여 얻은 꼭짓점 보정 신경 네트워크를 통해, 꼭짓점 위치 집합 중의 각각의 꼭짓점의 위치를 보정하여, 보정된 후의 각각의 꼭짓점의 위치와 실제 위치가 더 일치하도록 할 수도 있어, 각 건축물에 각각 대응되는 보정된 후의 꼭짓점 위치 집합에 기반하여, 정확도가 높은 라벨링 이미지를 얻을 수 있다.
일 선택 가능한 실시형태에서, 각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계 이후에, 상기 방법은, 라벨링 이미지에 작용하는 꼭짓점 위치 조절 동작에 응답하여, 임의의 하나의 꼭짓점의 위치를 조절하는 단계를 더 포함할 수 있다.
여기서, 라벨링 이미지를 얻은 후, 라벨링 이미지를 표시 장치에 표시할 수 있고, 예를 들어, 수행 주체가 표시 장치가 구비된 단말 기기일 경우, 라벨링 이미지를 단말 기기의 표시 장치에 표시할 수 있거나, 또는, 수행 주체가 서버일 경우, 라벨링 이미지를 표시 기기에 송신하여, 표시 기기의 표시 장치에서 상기 라벨링 이미지를 표시할 수 있도록 하며, 어노테이터는 표시 장치에 표시되는 라벨링 이미지를 볼 수 있고, 라벨링 이미지 중 임의의 하나의 건축물의 임의의 하나의 꼭짓점의 위치와 실제 상황이 일치하지 않을 경우, 상기 꼭짓점의 위치를 조절하고, 나아가 라벨링 이미지에 작용하는 꼭짓점 위치 조절 동작에 응답하여, 임의의 하나의 꼭짓점의 위치를 조절하여, 꼭짓점 위치가 조절된 후의 라벨링 이미지를 얻을 수 있다. 여기서, 라벨링 이미지에 작용하는 꼭짓점 위치 조절 동작은 라벨링 이미지가 생성된 후 실시간으로 조작할 수 있는 것이고, 라벨링 이미지가 생성된 후 비실시간으로 조작될 수도 있는 것이다.
여기서, 라벨링 이미지의 임의의 하나의 꼭짓점의 위치에 대해 조절 동작을 수행할 수도 있어, 꼭짓점 위치 조절 동작 후의 라벨링 이미지의 정확도를 향상시킨다.
예시적으로, 원격 감지 이미지를 획득한 후, 원격 감지 이미지를 라벨링 네트워크에 입력하여, 상기 원격 감지 이미지에 대응되는 라벨링 이미지를 생성할 수 있고, 상기 라벨링 이미지에는 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된다. 여기서, 라벨링 네트워크에는 제1 이미지 분할 신경 네트워크, 제2 이미지 분할 신경 네트워크, 꼭짓점 선택 모듈, 꼭짓점 보정 신경 네트워크가 포함될 수 있다. 라벨링 네트워크의 작업 과정은 상기 설명을 참조할 수 있으므로, 여기서 더이상 설명하지 않는다.
본 기술분야의 통상의 기술자라면 구체적인 실시형태의 상기 방법에서, 각 단계의 작성 순서가 엄격한 수행 순서를 의미하지 않으며 구현 과정에 대한 임의의 한정을 구성하지 않는다는 것을 이해할 수 있고, 각 단계의 구체적인 수행 순서는 그 기능 및 가능한 내적 논리에 의해 결정되어야 한다.
동일한 구상에 기반하여, 본 발명의 실시예는 이미지 라벨링 장치를 더 제공하고, 도 8을 참조하면, 이는 본 발명의 실시예에서 제공되는 이미지 라벨링 장치의 아키텍처 모식도이며, 획득 모듈(301), 결정 모듈(302), 생성 모듈(303), 바운딩 박스 조절 모듈(304), 꼭짓점 위치 보정 모듈(305), 꼭짓점 위치 조절 모듈(306)을 포함하고, 여기서,
획득 모듈(301)은 원격 감지 이미지를 획득하도록 구성되며;
결정 모듈(302)은 상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하도록 구성되고, 상기 방향각 정보는 상기 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함하며;
생성 모듈(303)은 상기 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및 상기 방향각 정보에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하도록 구성된다.
일 가능한 실시형태에서, 상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정할 경우, 상기 결정 모듈(302)은,
상기 원격 감지 이미지 및 트레이닝된 제1 이미지 분할 신경 네트워크에 기반하여, 상기 원격 감지 이미지의 글로벌 바이너리 이미지, 상기 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 적어도 하나의 건축물의 바운딩 박스의 바운딩 박스 정보를 획득하고,
상기 바운딩 박스 정보, 상기 글로벌 바이너리 이미지, 상기 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하도록 구성된다.
일 가능한 실시형태에서, 상기 결정 모듈(302)은 하기 방식에 따라, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하도록 구성된다.
상기 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 큰 사이즈를 갖는 제1 바운딩 박스를 선택하고,
상기 제1 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 글로벌 바이너리 이미지에서 상기 제1 바운딩 박스 내의 건축물의 로컬 바이너리 이미지를 크로핑하여 얻고, 상기 글로벌 바이너리 이미지에 대응되는 상기 방향각 정보에서 크로핑된 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 추출한다.
일 가능한 실시형태에서, 상기 결정 모듈(302)은 또한 하기 방식에 따라, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하도록 구성된다.
상기 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 작거나 같은 사이즈를 갖는 제2 바운딩 박스를 선택하고,
상기 제2 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 원격 감지 이미지에서 상기 제2 바운딩 박스에 대응되는 로컬 원격 감지 이미지를 크로핑하여 얻으며,
상기 로컬 원격 감지 이미지 및 트레이닝된 제2 이미지 분할 신경 네트워크에 기반하여, 상기 로컬 원격 감지 이미지에 대응되는 상기 건축물의 로컬 바이너리 이미지, 및 상기 로컬 원격 감지 이미지에 대응되는 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정한다.
일 선택 가능한 실시형태에서, 상기 적어도 하나의 바운딩 박스의 바운딩 박스 정보를 획득한 후, 바운딩 박스 조절 모듈(304)을 더 포함하고;
상기 바운딩 박스 조절 모듈(304)은, 상기 원격 감지 이미지, 및 상기 적어도 하나의 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스가 라벨링된 제1 라벨링 원격 감지 이미지를 생성하고, 상기 제1 라벨링 원격 감지 이미지에 작용하는 바운딩 박스 조절 동작에 응답하여, 조절된 후의 바운딩 박스의 바운딩 박스 정보를 얻도록 구성된다.
일 가능한 실시형태에서, 상기 결정 모듈(302)은,
제1 라벨링 결과가 구비된 제1 원격 감지 이미지 샘플을 획득하는 단계 - 상기 제1 원격 감지 이미지 샘플에는 적어도 하나의 건축물의 이미지가 포함되고, 상기 제1 라벨링 결과에는 라벨링된 적어도 하나의 건축물의 윤곽 정보, 상기 제1 원격 감지 이미지 샘플의 바이너리 이미지, 및 상기 제1 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 방향각 정보가 포함됨; 및
상기 제1 원격 감지 이미지 샘플을 트레이닝할 제1 신경 네트워크에 입력하여, 상기 제1 원격 감지 이미지 샘플에 대응되는 제1 예측 결과를 얻고, 상기 제1 예측 결과 및 상기 제1 라벨링 결과에 기반하여, 상기 트레이닝할 제1 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 상기 제1 이미지 분할 신경 네트워크를 얻는 단계;를 통해, 상기 제1 이미지 분할 신경 네트워크를 트레이닝하도록 구성된다.
일 가능한 실시형태에서, 상기 결정 모듈(302)은,
제2 라벨링 결과가 구비된 제2 원격 감지 이미지 샘플을 획득하는 단계 - 각각의 상기 제2 원격 감지 이미지 샘플은 상기 제1 원격 감지 이미지 샘플에서 크로핑된 목표 건축물의 영역 이미지이고, 상기 제2 라벨링 결과에는 상기 영역 이미지에서의 상기 목표 건축물의 윤곽 정보, 상기 제2 원격 감지 이미지 샘플의 바이너리 이미지, 및 상기 제2 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 방향각 정보가 포함됨 - ; 및
상기 제2 원격 감지 이미지 샘플을 트레이닝할 제2 신경 네트워크에 입력하여, 상기 제2 원격 감지 이미지 샘플에 대응되는 제2 예측 결과를 얻고, 상기 제2 예측 결과 및 상기 제2 라벨링 결과에 기반하여, 상기 트레이닝할 제2 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 상기 제2 이미지 분할 신경 네트워크를 얻는 단계;를 통해, 상기 제2 이미지 분할 신경 네트워크를 트레이닝하도록 구성된다.
일 가능한 실시형태에서, 상기 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및 상기 방향각 정보에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 과정에서, 상기 생성 모듈(303)은,
각각의 건축물에 대해, 상기 건축물에 대응되는 상기 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보에 기반하여, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하고, 상기 꼭짓점 위치 집합은 상기 건축물 다각형 윤곽의 다수의 꼭짓점의 위치를 포함하며,
각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하도록 구성된다.
일 가능한 실시형태에서, 각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하기 전에, 꼭짓점 위치 보정 모듈(305)을 더 포함하고;
상기 꼭짓점 위치 보정 모듈(305)은, 트레이닝된 꼭짓점 보정 신경 네트워크에 기반하여, 결정된 상기 꼭짓점 위치 집합 중의 각각의 꼭짓점의 위치를 보정하도록 구성된다.
일 가능한 실시형태에서, 상기 각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성한 후, 상기 장치는 꼭짓점 위치 조절 모듈(306)을 더 포함하고;
상기 꼭짓점 위치 조절 모듈(306)은, 상기 라벨링 이미지에 작용하는 꼭짓점 위치 조절 동작에 응답하여, 임의의 하나의 꼭짓점의 위치를 조절하도록 구성된다.
일 가능한 실시형태에서, 상기 건축물에 대응되는 상기 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보에 기반하여, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하는 과정에서, 상기 생성 모듈(303)은,
상기 로컬 바이너리 이미지 중의 건축물 윤곽에서 다수의 픽셀점을 선택하고,
상기 다수의 픽셀점 중의 각각의 픽셀점에 대해, 상기 픽셀점에 대응되는 방향각 정보 및 상기 픽셀점에 대응되는 인접 픽셀점의 방향각 정보에 기반하여, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 결정하며,
꼭짓점에 속하는 각 픽셀점의 위치에 따라, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하도록 구성된다.
일 가능한 실시형태에서, 상기 픽셀점에 대응되는 방향각 정보 및 상기 픽셀점에 대응되는 인접 픽셀점의 방향각 정보에 기반하여, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 결정하는 과정에서, 상기 생성 모듈(303)은,
상기 픽셀점의 방향각 정보와 상기 인접 픽셀점의 방향각 정보 사이의 차이가 설정 조건을 만족할 경우, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는 것으로 결정하도록 구성된다.
일 가능한 실시형태에서, 라벨링된 각각의 픽셀점에 대응되는 상기 방향각 정보가 방향 타입 정보일 경우, 상기 결정 모듈(302)은,
상기 픽셀점이 위치하는 윤곽변과 설정된 기준 방향 사이의 목표 각도를 결정하는 단계; 및
상이한 방향 타입 정보와 각도 범위 사이의 대응 관계, 및 상기 목표 각도에 따라, 상기 픽셀점에 대응되는 방향 타입 정보를 결정하는 단계;에 따라, 각각의 픽셀점에 대응되는 상기 방향 타입 정보를 획득하도록 구성된다.
일부 실시예에서, 본 발명의 실시예에서 제공되는 장치가 구비하는 기능 또는 포함되는 템플릿은 상기 방법 실시예에서 설명되는 방법을 수행하도록 구성될 수 있고, 그 구현은 상기 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해 여기서 더이상 설명하지 않는다.
동일한 기술 사상에 기반하여, 본 발명의 실시예는 전자 기기를 더 제공한다. 도 9를 참조하면, 이는 본 발명의 실시예에서 제공되는 전자 기기의 구조 모식도이고, 프로세서(401), 메모리(402) 및 버스(403)을 포함한다. 여기서, 메모리(402)는 실행 명령어가 저장되도록 구성되고, 내부 메모리(4021)와 외부 메모리(4022)를 포함한다. 여기서 내부 메모리(4021)는 프로세서(401) 중의 연산 데이터, 및 하드 디스크 등 외부 메모리(4022)와 교환되는 데이터를 임시로 저장하도록 구성되는 내장 메모리라고도 하고, 프로세서(401)는 내부 메모리(4021)를 통해 외부 메모리(4022)와 데이터를 교환하며, 전자 기기(400)가 실행되는 과정에, 프로세서(401)와 메모리(402) 간에는 버스(403)를 통해 통신되어, 프로세서(401)로 하여금,
원격 감지 이미지를 획득하고;
상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하며, 여기서, 상기 방향각 정보는 상기 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함하고;
상기 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및 상기 방향각 정보에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 명령어을 실행하도록 한다.
이 밖에, 본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 상기 방법 실시예의 상기 이미지 라벨링 방법의 단계가 수행된다.
본 발명의 실시예에서 제공되는 이미지 라벨링 방법의 컴퓨터 프로그램 제품은 프로그램 코드가 저장된 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로그램 코드에 포함되는 명령어는 상기 방법 실시예 중 상기 이미지 라벨링 방법의 단계를 수행할 수 있으며, 상기 방법 실시예를 참조할 수 있으므로, 여기서 더이상 설명하지 않는다.
본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 전술한 실시예의 임의의 하나의 방법이 구현된다. 상기 컴퓨터 프로그램 제품은 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 일 선택 가능한 실시예에서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로 구현되고, 다른 선택 가능한 실시예에서, 컴퓨터 프로그램 제품은 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.
본 기술분야의 통상의 기술자들은 설명의 편의 및 간략화를 위해 상기 설명된 시스템 및 장치의 작업 과정이 전술한 방법 실시예의 대응되는 과정을 참조할 수 있음을 명확히 이해할 수 있으므로, 여기서 더이상 설명하지 않는다. 본 발명에서 제공되는 몇개의 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 이상에서 설명된 장치 실시예는 단지 예시적인 것이고, 예를 들면, 상기 유닛의 구획은 단지 논리적 기능 구획일 뿐이고, 실제 구현 시 다른 구획 방식이 있을 수 있으며, 또 예를 들면, 다수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 결합 또는 집적될 수 있거나, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 표시 또는 토론된 서로 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 통신 인터페이스를 통한 것일 수 있고, 장치 또는 유닛의 간접 커플링 또는 통신 연결은 전기적, 기계적 또는 다른 형식일 수 있다.
상기 분리 부재로 설명된 유닛은 물리적으로 분리되거나 분리되지 않은 것일 수 있고, 유닛으로 표시된 부재는 물리적 유닛일 수 있거나, 물리적 유닛이 아닐 수 있으며, 하나의 장소에 위치하거나, 다수의 네트워크 유닛에 분포될 수도 있다. 실제 수요에 따라 그 중의 일부 또는 전부 유닛을 선택하여 본 실시예의 수단의 목적을 구현할 수 있다.
이밖에, 본 발명의 각 실시예의 각 기능 유닛은 하나의 처리 유닛에 집적될 수 있거나, 각 유닛이 별도로 물리적으로 존재할 수도 있거나, 둘 또는 둘 이상의 유닛이 하나의 유닛에 집적될 수도 있다.
상기 기능이 만약 소프트웨어 기능 유닛의 형식으로 구현되고 별도의 제품으로 판매되거나 사용될 경우, 하나의 프로세서에 의해 실행 가능한 비휘발성 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반해보면, 본 발명의 기술적 해결수단은 본질적으로 또는 선행기술에 기여하는 부분 또는 해당 기술적 해결수단의 일부는 소프트웨어 제품의 형식으로 구현될 수 있고, 해당 컴퓨터 소프트웨어 제품은 약간의 명령을 포함하여 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)가 본 발명의 각 실시예에 따른 방법의 전부 또는 일부 단계를 실행하도록 하는 약간의 명령을 포함하는 하나의 저장 매체에 저장된다. 전술한 저장 매체는 USB 메모리, 외장 하드, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 디스켓 또는 CD 등 프로그램 코드를 저장할 수 있는 여러가지 매체를 포함한다.
전술한 내용은 본 발명의 구체적인 실시형태일 뿐, 본 발명의 보호범위는 이에 제한되지 않으며, 본 기술분야의 통상의 기술자라면 본 발명에 개시된 기술범위 내에서 변경 또는 대체를 용이하게 생각해낼 수 있으며, 이들은 모두 본 발명의 보호범위에 포함되어야 한다. 따라서 본 발명의 보호범위는 청구범위의 보호범위를 기준으로 한다.
본 발명의 실시예는 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하고, 여기서, 방향각 정보는 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함하며, 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 방향각 정보에 기반하여, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성함으로써, 원격 감지 이미지 중 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 자동으로 생성하여, 건축물 라벨링의 효율을 향상시킨다. 아울러, 건축물의 가장자리 윤곽 상에 위치하는 꼭짓점 위치의 픽셀점과 인접 픽셀점 사이는 상이한 윤곽변에 위치하고, 상이한 윤곽변은 상이한 방향에 대응되므로, 건축물에 대응되는 로컬 바이너리 이미지 및 방향각 정보를 통해, 건축물의 꼭짓점 위치를 정확하게 결정할 수 있어, 라벨링 이미지를 보다 정확하게 생성할 수 있다.
Claims (17)
- 이미지 라벨링 방법으로서,
원격 감지 이미지를 획득하는 단계;
상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하는 단계 - 상기 방향각 정보는 상기 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함함 - ; 및
상기 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및 상기 방향각 정보에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계를 포함하는 이미지 라벨링 방법. - 제1항에 있어서,
상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하는 단계는,
상기 원격 감지 이미지 및 트레이닝된 제1 이미지 분할 신경 네트워크에 기반하여, 상기 원격 감지 이미지의 글로벌 바이너리 이미지, 상기 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 적어도 하나의 건축물의 바운딩 박스의 바운딩 박스 정보를 획득하는 단계; 및
상기 바운딩 박스 정보, 상기 글로벌 바이너리 이미지, 상기 글로벌 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보, 및 상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하는 단계를 포함하는 이미지 라벨링 방법. - 제2항에 있어서,
상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및, 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하는 단계는,
상기 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 큰 사이즈를 갖는 제1 바운딩 박스를 선택하는 단계; 및
상기 제1 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 글로벌 바이너리 이미지에서 상기 제1 바운딩 박스 내의 건축물의 로컬 바이너리 이미지를 크로핑하여 얻고, 상기 글로벌 바이너리 이미지에 대응되는 상기 방향각 정보에서 크로핑된 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 추출하는 단계를 포함하는 이미지 라벨링 방법. - 제2항에 있어서,
상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하는 단계는,
상기 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스에서 사전 설정 사이즈 임계값보다 작거나 같은 사이즈를 갖는 제2 바운딩 박스를 선택하는 단계;
상기 제2 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 원격 감지 이미지에서 상기 제2 바운딩 박스에 대응되는 로컬 원격 감지 이미지를 크로핑하여 얻는 단계; 및
상기 로컬 원격 감지 이미지 및 트레이닝된 제2 이미지 분할 신경 네트워크에 기반하여, 상기 로컬 원격 감지 이미지에 대응되는 상기 건축물의 로컬 바이너리 이미지, 및 상기 로컬 원격 감지 이미지에 대응되는 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하는 단계를 포함하는 이미지 라벨링 방법. - 제2항 내지 제4항 중 어느 한 항에 있어서,
상기 적어도 하나의 바운딩 박스의 바운딩 박스 정보를 획득하는 단계 이후에,
상기 원격 감지 이미지, 및 상기 적어도 하나의 바운딩 박스의 바운딩 박스 정보에 기반하여, 상기 적어도 하나의 바운딩 박스가 라벨링된 제1 라벨링 원격 감지 이미지를 생성하는 단계; 및
상기 제1 라벨링 원격 감지 이미지에 작용하는 바운딩 박스 조절 동작에 응답하여, 조절된 후의 바운딩 박스의 바운딩 박스 정보를 얻는 단계를 더 포함하는 이미지 라벨링 방법. - 제2항 내지 제5항 중 어느 한 항에 있어서,
상기 방법은,
제1 라벨링 결과가 구비된 제1 원격 감지 이미지 샘플을 획득하는 단계 - 상기 제1 원격 감지 이미지 샘플에는 적어도 하나의 건축물의 이미지가 포함되고, 상기 제1 라벨링 결과에는 라벨링된 적어도 하나의 건축물의 윤곽 정보, 상기 제1 원격 감지 이미지 샘플의 바이너리 이미지, 및 상기 제1 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 라벨링 방향각 정보가 포함됨 - ;
상기 제1 원격 감지 이미지 샘플을 트레이닝할 제1 신경 네트워크에 입력하여, 상기 제1 원격 감지 이미지 샘플에 대응되는 제1 예측 결과를 얻고, 상기 제1 예측 결과 및 상기 제1 라벨링 결과에 기반하여, 상기 트레이닝할 제1 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 상기 제1 이미지 분할 신경 네트워크를 얻는 단계를 더 포함하는 이미지 라벨링 방법. - 제4항에 있어서,
상기 방법은,
제2 라벨링 결과가 구비된 제2 원격 감지 이미지 샘플을 획득하는 단계 - 각각의 상기 제2 원격 감지 이미지 샘플은 상기 제1 원격 감지 이미지 샘플에서 크로핑된 목표 건축물의 영역 이미지이고, 상기 제2 라벨링 결과에는 상기 영역 이미지에서의 상기 목표 건축물의 윤곽 정보, 상기 제2 원격 감지 이미지 샘플의 바이너리 이미지, 및 상기 제2 원격 감지 이미지 샘플 중 각각의 픽셀점에 대응되는 라벨링 방향각 정보가 포함됨 - ; 및
상기 제2 원격 감지 이미지 샘플을 트레이닝할 제2 신경 네트워크에 입력하여, 상기 제2 원격 감지 이미지 샘플에 대응되는 제2 예측 결과를 얻고, 상기 제2 예측 결과 및 상기 제2 라벨링 결과에 기반하여, 상기 트레이닝할 제2 신경 네트워크를 트레이닝하며, 트레이닝이 완료된 후 상기 제2 이미지 분할 신경 네트워크를 얻는 단계를 더 포함하는 이미지 라벨링 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및 상기 방향각 정보에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계는,
각각의 건축물에 대해, 상기 건축물에 대응되는 상기 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보에 기반하여, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하는 단계 - 상기 꼭짓점 위치 집합은 상기 건축물의 다각형 윤곽의 다수의 꼭짓점의 위치를 포함함 - ; 및
각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계를 포함하는 이미지 라벨링 방법. - 제8항에 있어서,
각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계 이전에,
트레이닝된 꼭짓점 보정 신경 네트워크에 기반하여, 결정된 상기 꼭짓점 위치 집합 중의 각각의 꼭짓점의 위치를 보정하는 단계를 더 포함하는 이미지 라벨링 방법. - 제8항 또는 제9항에 있어서,
상기 각 건축물에 각각 대응되는 꼭짓점 위치 집합에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하는 단계 이후에, 상기 방법은,
상기 라벨링 이미지에 작용하는 꼭짓점 위치 조절 동작에 응답하여, 임의의 하나의 꼭짓점의 위치를 조절하는 단계를 더 포함하는 이미지 라벨링 방법. - 제8항에 있어서,
상기 건축물에 대응되는 상기 로컬 바이너리 이미지, 및 상기 로컬 바이너리 이미지 중 상기 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보에 기반하여, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하는 단계는,
상기 로컬 바이너리 이미지 중의 건축물 윤곽에서 다수의 픽셀점을 선택하는 단계;
상기 다수의 픽셀점 중의 각각의 픽셀점에 대해, 상기 픽셀점에 대응되는 방향각 정보 및 상기 픽셀점에 대응되는 인접 픽셀점의 방향각 정보에 기반하여, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 결정하는 단계; 및
꼭짓점에 속하는 각 픽셀점의 위치에 따라, 상기 건축물에 대응되는 꼭짓점 위치 집합을 결정하는 단계를 포함하는 이미지 라벨링 방법. - 제11항에 있어서,
상기 픽셀점에 대응되는 방향각 정보 및 상기 픽셀점에 대응되는 인접 픽셀점의 방향각 정보에 기반하여, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는지 여부를 결정하는 단계는,
상기 픽셀점의 방향각 정보와 상기 인접 픽셀점의 방향각 정보 사이의 차이가 설정 조건을 만족할 경우, 상기 픽셀점이 건축물의 다각형 윤곽의 꼭짓점에 속하는 것으로 결정하는 단계를 포함하는 이미지 라벨링 방법. - 제6항 또는 제7항에 있어서,
상기 각각의 픽셀점에 대응되는 라벨링 방향각 정보는 라벨링 방향 타입 정보를 포함하고; 상기 방법은,
상기 픽셀점이 위치하는 윤곽변과 설정된 기준 방향 사이의 목표 각도를 결정하는 단계; 및
상이한 사전 설정 방향 타입 정보와 각도 범위 사이의 대응 관계, 및 상기 목표 각도에 따라, 상기 픽셀점에 대응되는 라벨링 방향 타입 정보를 결정하는 단계를 더 포함하는 이미지 라벨링 방법. - 이미지 라벨링 장치로서,
원격 감지 이미지를 획득하도록 구성되는 획득 모듈;
상기 원격 감지 이미지에 기반하여, 상기 원격 감지 이미지 중 적어도 하나의 건축물에 각각 대응되는 로컬 바이너리 이미지 및 상기 로컬 바이너리 이미지 중 건축물 윤곽 상에 위치하는 윤곽 픽셀점의 방향각 정보를 결정하도록 구성되는 결정 모듈 - 상기 방향각 정보는 상기 윤곽 픽셀점이 위치하는 윤곽변과 사전 설정 기준 방향 사이의 각도 정보를 포함함 - ; 및
상기 적어도 하나의 건축물에 각각 대응되는 상기 로컬 바이너리 이미지 및 상기 방향각 정보에 기반하여, 상기 원격 감지 이미지 중 상기 적어도 하나의 건축물의 다각형 윤곽이 라벨링된 라벨링 이미지를 생성하도록 구성되는 생성 모듈을 포함하는 이미지 라벨링 장치. - 프로세서, 메모리 및 버스를 포함하는 전자 기기로서,
상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령어가 저장되며, 전자 기기가 실행될 경우, 상기 프로세서와 상기 메모리 간에는 버스를 통해 통신되고, 상기 기계 판독 가능 명령어가 상기 프로세서에 의해 실행될 경우, 제1항 내지 제13항 중 어느 한 항에 따른 이미지 라벨링 방법의 단계가 수행되는 전자 기기. - 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제13항 중 어느 한 항에 따른 이미지 라벨링 방법의 단계가 수행되는 컴퓨터 판독 가능 저장 매체. - 컴퓨터 프로그램으로서,
컴퓨터 판독 가능 코드를 포함하며, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서는 제1항 내지 제13항 중 어느 한 항에 따른 이미지 라벨링 방법을 구현하는 단계를 수행하는 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010611570.X | 2020-06-29 | ||
| CN202010611570.XA CN111754536B (zh) | 2020-06-29 | 2020-06-29 | 图像标注方法、装置、电子设备及存储介质 |
| PCT/CN2021/084175 WO2022001256A1 (zh) | 2020-06-29 | 2021-03-30 | 图像标注方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220004074A true KR20220004074A (ko) | 2022-01-11 |
Family
ID=72678212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217035938A KR20220004074A (ko) | 2020-06-29 | 2021-03-30 | 이미지 라벨링 방법, 장치, 전자 기기 및 저장 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220392239A1 (ko) |
| JP (1) | JP2022541977A (ko) |
| KR (1) | KR20220004074A (ko) |
| CN (1) | CN111754536B (ko) |
| WO (1) | WO2022001256A1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754536B (zh) * | 2020-06-29 | 2024-04-16 | 上海商汤智能科技有限公司 | 图像标注方法、装置、电子设备及存储介质 |
| CN113806573A (zh) * | 2021-09-15 | 2021-12-17 | 上海商汤科技开发有限公司 | 标注方法、装置、电子设备、服务器及存储介质 |
| CN113989675B (zh) * | 2021-11-02 | 2022-06-14 | 四川睿迈威科技有限责任公司 | 基于遥感影像的地理信息提取深度学习训练样本交互制作方法 |
| TWI793865B (zh) * | 2021-11-18 | 2023-02-21 | 倍利科技股份有限公司 | Ai自動輔助標記之系統及方法 |
| TWI826316B (zh) * | 2023-05-11 | 2023-12-11 | 宏碁股份有限公司 | 影像分割模型訓練方法及電子裝置 |
| CN117575960B (zh) * | 2023-11-30 | 2024-07-05 | 中国科学院空天信息创新研究院 | 一种遥感影像空缺填补方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105719306B (zh) * | 2016-01-26 | 2018-09-11 | 郑州恒正电子科技有限公司 | 一种高分辨率遥感影像中的建筑物快速提取方法 |
| TWI590197B (zh) * | 2016-07-19 | 2017-07-01 | 私立淡江大學 | 影像物體特徵描述方法及影像處理裝置 |
| CN107092877B (zh) * | 2017-04-12 | 2020-01-24 | 武汉大学 | 基于建筑物基底矢量的遥感影像屋顶轮廓提取方法 |
| CN109635715B (zh) * | 2018-12-07 | 2022-09-30 | 福建师范大学 | 一种遥感图像建筑物提取方法 |
| CN110197147B (zh) * | 2019-05-23 | 2022-12-02 | 星际空间（天津）科技发展有限公司 | 遥感影像的建筑物实例提取方法、装置、存储介质及设备 |
| CN111754536B (zh) * | 2020-06-29 | 2024-04-16 | 上海商汤智能科技有限公司 | 图像标注方法、装置、电子设备及存储介质 |
-
2020
- 2020-06-29 CN CN202010611570.XA patent/CN111754536B/zh active Active
-
2021
- 2021-03-30 JP JP2021565978A patent/JP2022541977A/ja not_active Withdrawn
- 2021-03-30 KR KR1020217035938A patent/KR20220004074A/ko unknown
- 2021-03-30 WO PCT/CN2021/084175 patent/WO2022001256A1/zh active Application Filing
-
2022
- 2022-08-12 US US17/886,565 patent/US20220392239A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022001256A1 (zh) | 2022-01-06 |
| US20220392239A1 (en) | 2022-12-08 |
| CN111754536A (zh) | 2020-10-09 |
| JP2022541977A (ja) | 2022-09-29 |
| CN111754536B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220004074A (ko) | 이미지 라벨링 방법, 장치, 전자 기기 및 저장 매체 | |
| US11347971B2 (en) | Machine learning assistant for image analysis | |
| US12106438B2 (en) | Point cloud annotation device, method, and program | |
| US9549169B2 (en) | Stereoscopic map display system | |
| US10733777B2 (en) | Annotation generation for an image network | |
| US9965894B2 (en) | Three-dimensional map display system | |
| CN108922372A (zh) | 一种基于移动终端的自定义地图及坐标的定位方法 | |
| CN111028261B (zh) | 高精度半自动化图像数据标注方法、电子装置及存储介质 | |
| US9741164B2 (en) | 3D map display system | |
| CN112414403B (zh) | 一种机器人的定位定姿方法、设备及存储介质 | |
| CN108664860B (zh) | 房间平面图的识别方法及装置 | |
| CN107451958B (zh) | 一种面向ArcGIS极地矢量场可视化的角度转换方法 | |
| JP4928993B2 (ja) | 農地区画データ作成システム | |
| CN110874170A (zh) | 一种图像区域修正方法、图像分割方法及装置 | |
| TWI468849B (zh) | 建築物紋理擷取裝置及其方法 | |
| US9609309B2 (en) | Stereoscopic image output system | |
| CN112948605A (zh) | 点云数据的标注方法、装置、设备及可读存储介质 | |
| JP5841760B2 (ja) | 鉄筋領域抽出装置、鉄筋領域抽出方法及び鉄筋領域抽出プログラム | |
| CN115659900A (zh) | 用于呈现集成电路版图的方法、设备和介质 | |
| WO2021250850A1 (en) | Training apparatus, control method, and non-transitory computer-readable storage medium | |
| CN109815307B (zh) | 位置确定方法、装置、设备和介质 | |
| JP6091676B2 (ja) | ３次元地図表示システム | |
| JP7457844B2 (ja) | 情報処理装置及び方法 | |
| JPWO2017006577A1 (ja) | ３次元点群選択装置および３次元点群選択方法 | |
| CN113689549B (zh) | 一种建模方法及数字化设计系统 |