KR20100054929A - Satelite image correction method and apparatus using neural network - Google Patents

Satelite image correction method and apparatus using neural network Download PDF

Info

Publication number
KR20100054929A
KR20100054929A KR1020080113771A KR20080113771A KR20100054929A KR 20100054929 A KR20100054929 A KR 20100054929A KR 1020080113771 A KR1020080113771 A KR 1020080113771A KR 20080113771 A KR20080113771 A KR 20080113771A KR 20100054929 A KR20100054929 A KR 20100054929A
Authority
KR
South Korea
Prior art keywords
image
satellite
neural network
satellite image
pixels
Prior art date
Application number
KR1020080113771A
Other languages
Korean (ko)
Other versions
KR100991146B1 (en
Inventor
서석배
구인회
안상일
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020080113771A priority Critical patent/KR100991146B1/en
Priority to PCT/KR2009/004722 priority patent/WO2010055992A2/en
Publication of KR20100054929A publication Critical patent/KR20100054929A/en
Application granted granted Critical
Publication of KR100991146B1 publication Critical patent/KR100991146B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

PURPOSE: A satellite compensating apparatus using a neural net and a method thereof are provided to correct a color satellite image of large capacity by grouping the satellite image according to the feature of RGB and enabling a part of pixel to learn through the neural net. CONSTITUTION: A compensation processing part(220) produces a target image due to the correction of an inputted satellite image. A pattern classifying unit(230) classifies the satellite image into multiple groups according to the RGB feature. The pattern classifying unit enables RGB pixels to learn through a neural net(240). The neural net learns the relation between a target image and the satellite image. A correction video generator(250) produces the corrected satellite image through a learned neural net.

Description

신경 회로망을 이용한 위성 영상 보정 방법 및 장치{SATELITE IMAGE CORRECTION METHOD AND APPARATUS USING NEURAL NETWORK}Satellite image correction method and apparatus using neural network {SATELITE IMAGE CORRECTION METHOD AND APPARATUS USING NEURAL NETWORK}

본 발명은 신경 회로망을 이용한 위성 영상 보정 방법 및 장치에 관한 것으로, 더욱 상세하게는 위성 영상을 RGB 특성에 따라 그룹화하고 각 그룹의 일부 픽셀에 의해 학습된 신경 회로망을 이용하여 위성 영상을 보정하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for satellite image correction using neural networks, and more particularly, to group satellite images according to RGB characteristics and to correct satellite images using neural networks learned by some pixels of each group. And to an apparatus.

지구 관측 기술은 인간의 생존과 밀접한 관계가 있는 자원의 탐사, 환경의 감시 및 관리에 중요한 역할을 담당할 수 있는 기술로서 현재뿐만 아니라 미래의 사회를 위하여서도 매우 필요한 기술로 대두되고 있다. 전세계적으로 국가간의 경계가 없어지고 무한 경쟁으로 돌입하는 시대가 도래함에 따라, 지구 관측 기술은 자원 탐사 및 환경 관리에 적극적으로 활용되고 있다. Earth observation technology is a technology that can play an important role in the exploration of resources, environment monitoring and management that is closely related to human survival and is emerging as a very necessary technology for the society of present and future. As the era of borderless countries and global competition enters the world, global observation technology is actively used for resource exploration and environmental management.

최근 들어 지구 관측 위성 영상 기술의 발전에 의해 인공 위성으로부터 고정밀, 대용량의 고해상도 위성 영상을 획득할 수 있게 되었다. 고해상도 위성 영상은 농작물 모니터링 및 분석, 국토 관리, 지도 제작, 국방 안보, 환경 관리, 입지 선정 등에 있어서 매우 유용한 자료가 되고 있다. 이와 같이 다양한 분야에서 고 해상도 위성 영상의 활용도가 높아짐에 따라, 수신된 영상을 최대한 신속하게 획득하고자 하는 요구 또한 증가하고 있다.Recently, with the development of earth observation satellite imaging technology, it is possible to obtain high-precision, high-resolution satellite images from satellites. High-resolution satellite images are very useful for crop monitoring and analysis, land management, mapping, defense security, environmental management, and location selection. As the utilization of high resolution satellite images in various fields increases, the demand for obtaining the received images as quickly as possible increases.

따라서, 고해상도 지구정찰위성의 개발이 활발해짐에 따라서 큰 용량을 가지는 영상을 한 번에 보정하여 배포 및 활용할 수 있는 기술의 중요성이 부각되고 있다. 특히 고해상도 칼라 위성 영상의 경우 처리 과정이 복잡하고 용량이 크기 때문에 많은 처리 시간이 요구된다.Therefore, as the development of high-resolution geospatial satellites becomes active, the importance of a technology capable of correcting, distributing and utilizing images having large capacities at once is being highlighted. In particular, high-resolution color satellite images require a lot of processing time because of the complicated processing and large capacity.

이에 따라 신경 회로망 기법을 통하여 고해상도 칼라 영상을 처리하는 다양한 시도가 연구되고 있다. 신경 회로망(neural net)은 인간의 뇌신경 세포와 그 결합 구조를 모방하여 만든 전자 회로망으로 영상 인식, 유형 식별 및 비선형 사상(mapping)에 고도의 능력을 발휘한다. 신경 회로망은 생물의 신경 전달 과정을 단순화하고, 이를 수학적으로 해석한 모델로서, 복잡하게 얽혀 있는 신경 세포인 뉴런(Neuron, 신경 회로망에서는 네트워크를 이루는 최소 단위)을 통과시켜가면서 뉴런끼리의 연결 강도를 조절하는 일종의 학습(learning) 과정을 통해 문제를 분석한다. 현재 신경 회로망은 최적화와 예측 문제 해결 등에 많이 사용되고 있으며, 신호 처리, 영상 보정, 음성 인식, 로보틱스(robotics), 항법 시스템 등의 다방면에서 응용되고 있다. Accordingly, various attempts to process high resolution color images through neural network techniques have been studied. Neural nets are electronic networks created by mimicking human brain neurons and their associated structures, and are highly capable of image recognition, type identification, and nonlinear mapping. A neural network is a model that simplifies the process of neurotransmission in a living organism and mathematically interprets it. The neural network, which is a complex unit of neurons (Neuron, is the smallest unit of a network) passes through the neurons. Analyze problems through some sort of learning process. Currently, neural networks are widely used for optimization and prediction problem solving, and have been applied in various fields such as signal processing, image correction, speech recognition, robotics, and navigation systems.

그러나, 인공 위성에서 촬영된 칼라 위성 영상은 해상도가 높고 용량이 매우 크기 때문에 일반적인 신경 회로망을 통해 보정 처리하는데 많은 시간이 필요하며, 복잡한 보정 처리 단계를 거쳐야 한다는 문제점이 있다. However, since color satellite images photographed from satellites have high resolution and very large capacities, a large amount of time is required for correction processing through a general neural network, and a complicated correction processing step is required.

따라서 본 발명이 이루고자 하는 기술적 과제는 학습된 신경 회로망을 통하여 칼라 위성 영상의 보정 처리 시간을 단축시킬 수 있는 신경 회로망을 이용한 위성 영상 보정 방법을 제공하는 것이다.Therefore, the technical problem to be achieved by the present invention is to provide a satellite image correction method using a neural network that can shorten the processing time of color satellite image correction through the learned neural network.

이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 신경 회로망을 이용한 위성 영상 보정 방법은, 위성 영상을 입력받는 단계, 상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 단계, 상기 위성 영상을 복수의 그룹으로 그룹화하는 단계, 상기 복수의 그룹에서 각각 일정 개수의 R, G, B 픽셀을 추출하는 단계, 상기 R, G, B 픽셀과 상기 R, G, B 픽셀에 대응하는 상기 목표 영상의 R', G', B' 픽셀을 맵핑하여 신경 회로망에 입력하여 상기 신경 회로망을 학습시키는 단계, 그리고 상기 위성 영상을 학습된 상기 신경 회로망에 입력하여 보정 영상을 생성하는 단계를 포함한다. The satellite image correction method using a neural network according to an embodiment of the present invention for achieving the technical problem, the step of receiving a satellite image, generating a target image by correcting the satellite image, a plurality of satellite images Grouping into groups, extracting a predetermined number of R, G, and B pixels from the plurality of groups, and R 'of the target image corresponding to the R, G, and B pixels and the R, G, and B pixels Mapping the G 'and B' pixels to an neural network to train the neural network, and inputting the satellite image to the trained neural network to generate a corrected image.

상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 단계는, 히스토그램 보정, 레벨 조정, 다이나믹 레인지 조정 및 칼라 보정 중에서 적어도 하나를 이용하여 보정 처리할 수 있다. The step of generating the target image by correcting the satellite image may be corrected using at least one of histogram correction, level adjustment, dynamic range adjustment, and color correction.

상기 위성 영상을 복수의 그룹으로 그룹화하는 단계는, 상기 위성 영상을 RGB 특성에 따라 복수의 그룹으로 그룹화할 수 있다. In the grouping of the satellite images into a plurality of groups, the satellite images may be grouped into a plurality of groups according to RGB characteristics.

상기 위성 영상과 상기 보정된 영상 사이에는 아래 수학식과 같은 관계가 형성될 수 있다. The following equation may be formed between the satellite image and the corrected image.

R" = Cr2·R2 + Cr1·R + Cr0 R "= Cr 2 · R 2 Cr + 1 · R + Cr 0

G" = Cr2·G2 + Cr1·G + Cr0 G "= Cr 2 · G 2 Cr + 1 · G + Cr 0

B" = Cr2·B2 + Cr1·B + Cr0 B "= Cr 2 · B 2 Cr + 1 · B + Cr 0

R, G, B는 위성 영상에 포함되는 R, G, B 픽셀 값이며, R", G", B"는 보정된 영상에 포함되는 보정된 R, G, B 픽셀 값이며, Cr2, Cr1, Cr0는 RGB 특성 계수이다. R, G, and B are R, G, and B pixel values included in the satellite image, and R ", G", and B "are corrected R, G, and B pixel values included in the corrected image, and Cr 2 , Cr 1 , Cr 0 is an RGB characteristic coefficient.

본 발명의 다른 실시예에 따른 신경 회로망을 이용한 위성 영상 보정 장치는, 위성 영상을 입력받는 영상 입력부, 상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 보정 처리부, 상기 위성 영상을 복수의 그룹으로 그룹화하고, 상기 복수의 그룹에서 각각 일정 개수의 R, G, B 픽셀을 추출하는 패턴 분류부, 상기 R, G, B 픽셀과 상기 R, G, B 픽셀에 대응하는 상기 목표 영상의 R', G', B' 픽셀이 맵핑되어 입력되는 신경 회로망, 그리고 상기 위성 영상을 학습된 상기 신경 회로망에 입력하여 보정 영상을 생성하는 보정 영상 생성부를 포함한다. In accordance with another aspect of the present invention, a satellite image correction apparatus using a neural network includes an image input unit receiving a satellite image, a correction processor configured to correct the satellite image to generate a target image, and grouping the satellite image into a plurality of groups And a pattern classifying unit extracting a predetermined number of R, G, and B pixels from the plurality of groups, and R ', G of the target image corresponding to the R, G, and B pixels and the R, G, and B pixels. And a correction image generator configured to generate a correction image by inputting the satellite image to the trained neural network and a satellite image to which 'B' pixels are mapped.

이와 같이 본 발명에 의하면, 위성 영상을 RGB 특성에 따라 그룹화하고 각 그룹의 일부 픽셀에 대해 신경 회로망을 이용하여 학습시킴으로써, 용량이 큰 칼라 위성 영상을 한 번에 보정 처리함으로써 시간을 단축시킬 수 있다. As described above, according to the present invention, by grouping satellite images according to RGB characteristics and learning by using neural networks for some pixels of each group, time can be shortened by correcting large color satellite images at once. .

또한 학습된 신경 회로망에 의해서 보정 전 위성 위성과 보정된 위성 영상의 관계를 수식화함으로써 보정을 수행하는 속도를 더욱 단축시킬 수 있다. In addition, the speed of the correction can be further shortened by formulating the relationship between the satellite image before correction and the satellite image corrected by the learned neural network.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.

먼저 도 1a 및 도 1b를 통하여 일반적인 신경 회로망에 대하여 설명한다. 도 1a 및 도 1b는 일반적인 신경 회로망의 위성 영상 보정 처리 방법을 설명하기 위해 제공되는 도면이다.First, a general neural network will be described with reference to FIGS. 1A and 1B. 1A and 1B are diagrams provided to explain a satellite image correction processing method of a general neural network.

도 1a에 따르면, 입력 위성 영상(101, 102, 103)은 인공 위성에서 촬영된 영상으로, 보정 전의 칼라 위성 영상이고 목표 위성 영상(111, 112, 113)은 최종적으로 얻고자 하는 보정된 칼라 위성 영상이다. 신경 회로망에 입력 위성 영상(101, 102, 103)과 목표 위성 영상(111, 112, 113)이 서로 맵핑되어 입력되면, 입력 위성 영상(111, 112, 113)과 목표 위성 영상(111, 112, 113)의 관계는 신경 회로망의 반복적인 학습에 의해서 그 규칙과 가중치 값들이 결정된다. According to FIG. 1A, the input satellite images 101, 102, and 103 are images taken by an artificial satellite, the color satellite images before correction, and the target satellite images 111, 112, and 113 are finally corrected color satellites to be obtained. It is a video. When the input satellite images 101, 102, 103 and the target satellite images 111, 112, 113 are mapped to each other and input to the neural network, the input satellite images 111, 112, 113 and the target satellite images 111, 112, 113), the rules and weight values are determined by iterative learning of neural networks.

도 1a와 같은 반복적인 학습 단계를 마치게 되면, 도 1b에서 보는 바와 같이 신경 회로망은 학습결과를 통해 생성된 규칙과 가중치 값을 이용하여 학습에 참여한 입력 위성 영상(101, 102, 103)뿐만 아니라, 학습에 참여하지 않은 임의의 입력 위성 영상(104, 105, 106)에 대해서도 목표 위성 영상(111, 112, 113)과 유사한 출력 위성 영상(114, 115, 116)을 생성할 수 있다. When the repetitive learning step as shown in FIG. 1A is completed, as shown in FIG. 1B, the neural network not only uses the input satellite images 101, 102, and 103 participating in the learning using rules and weight values generated through the learning results. An output satellite image 114, 115, 116 similar to the target satellite image 111, 112, 113 may also be generated for any input satellite image 104, 105, 106 that does not participate in learning.

도 2는 본 발명의 실시예에 따른 위성 영상 보정 처리 장치의 구성을 나타낸 도면이다. 위성 영상 보정 처리 장치(200)는 영상 입력부(210), 보정 처리 부(220), 패턴 분류부(230), 신경 회로망(240) 및 보정 영상 생성부(250)를 포함한다. 2 is a diagram showing the configuration of a satellite image correction processing apparatus according to an embodiment of the present invention. The satellite image correction processing apparatus 200 includes an image input unit 210, a correction processor 220, a pattern classifier 230, a neural network 240, and a corrected image generator 250.

영상 입력부(210)는 외부의 인공 위성으로부터 촬영된 위성 영상을 제공받는다. 인공 위성으로부터 촬영된 위성 영상은 보정 전의 칼라 영상으로서, 각각의 픽셀은 R, G, B의 3개 색상으로 구성된다. R, G, B 픽셀이 각각 8비트로 이루어질 경우 R, G, B 픽셀을 통해 구현되는 색상은 16,677,216 종류가 된다. The image input unit 210 receives a satellite image photographed from an external satellite. The satellite image taken from the satellite is a color image before correction, and each pixel is composed of three colors of R, G, and B. When the R, G, and B pixels each consist of 8 bits, the color implemented through the R, G, and B pixels is 16,677,216.

보정 처리부(220)는 입력된 위성 영상을 히스토그램 보정, 레벨 조정, 다이나믹 레인지 조정, 칼라 보정 등 영상 향상(image enhancement)에 사용되는 알고리즘을 통해 보정 처리하여 목표 영상을 생성한다. 따라서 R, G, B 픽셀을 포함하는 위성 영상은 보정 처리부(220)를 통해 R', G', B' 픽셀을 포함하는 목표 영상으로 보정 처리된다. The correction processor 220 generates a target image by correcting the input satellite image through an algorithm used for image enhancement such as histogram correction, level adjustment, dynamic range adjustment, and color correction. Therefore, the satellite image including the R, G, and B pixels is corrected into a target image including the R ', G', and B 'pixels through the correction processor 220.

패턴 분류부(230)는 입력된 위성 영상을 RGB 특성에 따라서 복수의 그룹으로 분류하고, 각 그룹에서 일정한 개수의 R, G, B 픽셀을 추출하여 신경 회로망(240)을 통해 학습에 참여시킨다. R, G, B 픽셀을 그룹화하는 방식은 유클리드 디스턴스(euclid distance) 방식이 가장 많이 쓰이는데, 예를 들어 위성 영상에 포함되는 R 픽셀의 평균값을 계산하고, R 픽셀의 평균 값과 위성 영상에 포함된 R 픽셀 값의 차이를 구하여, 차이 값에 따라서 입력된 위성 영상을 그룹화 할 수 있다. 그 외에도 R, G, B 픽셀의 혼합 비율, 명도 또는 채도의 차이 등을 이용해서도 그룹화할 수 있다. The pattern classifier 230 classifies the input satellite image into a plurality of groups according to RGB characteristics, extracts a predetermined number of R, G, and B pixels from each group, and participates in the learning through the neural network 240. Euclid distance is the most common method of grouping R, G, and B pixels. For example, the average value of the R pixels included in the satellite image is calculated, and the average value of the R pixels and the satellite image are included. By calculating the difference between the R pixel values, the input satellite images may be grouped according to the difference value. In addition, it can be grouped using a blend ratio, brightness, or saturation difference of R, G, and B pixels.

신경 회로망(240)에는 각각의 그룹에서 추출된 R, G, B 픽셀과 R, G, B 픽셀 이 각각 보정 처리된 R', G', B' 픽셀이 맵핑(mapping)되어 입력된다. 이와 같은 과정의 반복을 통하여 신경 회로망(240)은 각각의 그룹의 RGB 특성을 반영한 학습을 수행하며, 신경 회로망(240)은 학습 과정 동안 위성 영상 보정과 관련된 가중치를 수정한다.The neural network 240 maps R, G, and B pixels extracted from each group, and R ', G' and B 'pixels, each of which is corrected with R, G and B pixels, to be mapped. By repeating the above process, the neural network 240 performs learning reflecting the RGB characteristics of each group, and the neural network 240 corrects the weight associated with satellite image correction during the learning process.

즉, 신경 회로망(240)은 위성 영상과 목표 영상의 관계에 대하여 학습하게 된다. 그리고, 추후에 입력되는 위성 영상에 따른 입력 패턴과 가장 유사한 패턴 그룹을 찾음으로써, 보정된 위성 영상을 출력하도록 한다. 따라서 위성 영상 보정 처리 장치(200)는 위성 영상의 특성을 신경 회로망(240)에 학습시켜, 추후 학습에 참여하지 않은 임의의 위성 영상에 대해서 보정을 한 번에 수행할 수 있다.That is, the neural network 240 learns about the relationship between the satellite image and the target image. Then, a pattern group most similar to an input pattern according to a satellite image input later is searched to output a corrected satellite image. Therefore, the satellite image correction processing apparatus 200 may learn the characteristics of the satellite image to the neural network 240 to perform correction on any satellite image not participating in the later learning at once.

보정 영상 생성부(250)는 학습된 신경 회로망(240)을 통해 보정된 위성 영상을 생성한다. 즉, 보정 영상 생성부(250)는 학습된 신경 회로망(240)에 위성 영상을 입력하여 보정 영상을 생성하도록 한다. 따라서 R, G, B 픽셀을 포함하는 위성 영상은 학습된 신경 회로망(240)를 통해 R", G", B" 픽셀을 포함하는 보정 영상으로 변환된다. The calibrated image generator 250 generates a calibrated satellite image through the learned neural network 240. That is, the correction image generator 250 inputs the satellite image to the learned neural network 240 to generate the correction image. Therefore, the satellite image including the R, G, and B pixels is converted into a corrected image including the R ″, G ″, and B ″ pixels through the learned neural network 240.

이하에서는 도 3 및 도 4를 통하여 신경 회로망(240)을 학습시키는 과정에 대해서 설명한다. 도 3은 본 발명의 실시예에 따른 신경 회로망을 학습시키는 방법을 나타낸 순서도이고, 도 4는 도 3에 따른 신경 회로망을 학습시키는 과정을 설명하기 위한 도면이다. Hereinafter, a process of learning the neural network 240 will be described with reference to FIGS. 3 and 4. 3 is a flowchart illustrating a method of learning a neural network according to an exemplary embodiment of the present invention, and FIG. 4 is a view for explaining a process of learning the neural network according to FIG. 3.

먼저 위성 영상 보정 처리 장치(200)의 영상 입력부(210)에 위성 영상(410)이 입력된다(S310). 도 4에서 보는 바와 같이 R, G, B 픽셀이 하나의 세트를 이루 고 있으며, 설명의 편의상 입력되는 보정 전 위성 영상(410)은 각각 25개의 R, G, B 픽셀로 이루어진 것으로 도시하였다. First, the satellite image 410 is input to the image input unit 210 of the satellite image correction processing apparatus 200 (S310). As shown in FIG. 4, R, G, and B pixels form a set, and for convenience of description, the pre-corrected satellite image 410 is illustrated as being composed of 25 R, G, and B pixels, respectively.

그리고, 보정 처리부(220)는 입력된 위성 영상(410)에 대하여 보정 처리를 하여 목표 영상(420)을 생성한다(S320). 여기서, 목표 영상(420)은 보정의 목표가 되는 위성 영상이며, 보정 전 R, G, B 픽셀들은 각각 R', G', B' 픽셀로 보정된다. The correction processor 220 generates a target image 420 by correcting the input satellite image 410 (S320). Here, the target image 420 is a satellite image that is a target of correction, and R, G, and B pixels are corrected to R ', G', and B 'pixels, respectively, before correction.

패턴 분류부(230)는 입력된 위성 영상(410)을 RGB 특성에 따라서 복수의 그룹으로 분류시킨다(S330). 도 4에서는 위성 영상을 4개의 그룹(A 그룹, B 그룹, C 그룹, D 그룹)으로 분류시켰으며, 각각의 그룹에는 7개, 11개, 4개, 3개의 R, G, B 픽셀이 나누어 그룹화되는 것으로 도시하였다. The pattern classifier 230 classifies the input satellite image 410 into a plurality of groups according to RGB characteristics (S330). In FIG. 4, satellite images are classified into four groups (Group A, Group B, Group C, and Group D), and each group is divided into seven, eleven, four, three R, G, and B pixels. Shown as grouping.

그리고, 패턴 분류부(230)는 각각의 그룹에서 1개씩의 R, G, B 픽셀을 추출한다(S340). 도 4에서는 설명의 편의상 각 그룹에서 추출되는 R, G, B 픽셀을 회색으로 도시하였다. 각 그룹에서 추출되는 R, G, B 픽셀은 해당되는 그룹의 RGB 특성을 대표할 수 있는 표준이 되는 픽셀로서, 해당 그룹에서 RGB 특성이 가장 평균치에 가까운 픽셀인 것이 바람직하다. 도 4와 같이 4개의 그룹에서 추출된 4개의 R, G, B 픽셀은 신경 회로망(240)을 학습시키는데 사용된다. 본 발명의 실시예에서는 각 그룹에서 1개의 R, G, B 픽셀을 추출하는 것으로 설명하였으나 그룹의 개수나 위성 영상의 용량에 따라서 추출되는 R, G, B 픽셀의 개수는 변경이 가능하다. The pattern classifier 230 extracts one R, G, B pixel from each group (S340). In FIG. 4, for convenience of description, the R, G, and B pixels extracted from each group are shown in gray. The R, G, and B pixels extracted from each group are pixels that become a standard that can represent the RGB characteristics of the corresponding group, and it is preferable that the RGB characteristics in the group are closest to the average. As shown in FIG. 4, four R, G, and B pixels extracted from four groups are used to train the neural network 240. In the exemplary embodiment of the present invention, one R, G, and B pixels are extracted from each group, but the number of R, G, and B pixels extracted according to the number of groups or the capacity of the satellite image may be changed.

그리고, 4개의 그룹에서 추출된 4개의 R, G, B 픽셀과 목표 영상(420)에서 추출된 R', G', B' 픽셀이 맵핑되어 신경 회로망(240)에 입력된다(S350). 여기서, R', G', B' 픽셀은 R, G, B 픽셀이 보정 처리부(220)에 의해 보정 처리된 것으로서, 각각 R, G, B 픽셀에 대응한다. The four R, G, and B pixels extracted from the four groups and the R ', G' and B 'pixels extracted from the target image 420 are mapped and input to the neural network 240 (S350). Here, the R ', G', and B 'pixels are R, G, and B pixels that have been corrected by the correction processor 220, and correspond to the R, G, and B pixels, respectively.

이와 같이, 신경 회로망(240)에는 4개의 보정 전 R, G, B 픽셀과 각각의 R, G, B 픽셀이 보정된 R', G', B' 픽셀이 맵핑되어 입력됨으로써, 4개의 그룹(A 그룹, B 그룹, C 그룹, D 그룹)의 RGB 특성을 고르게 반영한 신경 회로망(240)의 학습이 진행된다(S360). As such, the neural network 240 maps and inputs four pre-corrected R, G, and B pixels and R ', G', and B 'pixels each of which is corrected to each of the R, G, and B pixels. Learning of the neural network 240 that evenly reflects RGB characteristics of group A, group B, group C, and group D is performed (S360).

신경 회로망(240)은 학습 과정 동안 위성 영상 보정과 관련된 가중치(weight value)를 수정함으로써 학습한다. 신경 회로망(240)은 델타 규칙 등의 학습 규칙을 가지고 가중치 값을 조정하며, 학습을 통해 가중치 값은 수렴된다. 이와 같이, 추출된 4개의 R, G, B 픽셀뿐만 아니라 학습에 참여하지 않은 R, G, B 픽셀에 대해서도 학습된 신경 회로망(240)을 통한 보정이 가능해진다. The neural network 240 learns by modifying weight values associated with satellite image correction during the learning process. The neural network 240 adjusts the weight value with a learning rule such as a delta rule, and the weight value is converged through the learning. As described above, correction of the extracted R, G, and B pixels, as well as the R, G, and B pixels that do not participate in learning, may be performed through the learned neural network 240.

도 5는 신경 회로망을 이용하여 보정된 영상을 생성하는 과정을 설명하기 위한 도면이고, 도 6은 보정 전 위성 영상과 보정된 위성 영상과의 관계를 설명하기 위한 도면이다. FIG. 5 is a diagram for describing a process of generating a corrected image by using a neural network, and FIG. 6 is a diagram for describing a relationship between a satellite image before correction and a corrected satellite image.

도 5에서 보는 바와 같이 보정 전 위성 영상(410)은 학습된 신경 회로망(240)을 통하여 보정된 위성 영상(430)으로 변환된다. 즉, 신경 회로망(240)은 학습을 통하여 수렴된 가중치 값을 가지고 있으므로, 신경 회로망(240)을 이용하면 입력된 위성 영상(410)의 R, G, B 픽셀은 도 5와 같이 보정된 위성 영상(430)의 R'', G'', B'' 픽셀로 보정된다. As shown in FIG. 5, the pre-correction satellite image 410 is converted into the corrected satellite image 430 through the learned neural network 240. That is, since the neural network 240 has a weight value converged through learning, when the neural network 240 is used, the R, G, and B pixels of the input satellite image 410 are corrected as shown in FIG. 5. Corrected to the R ″, G ″, B ″ pixels of 430.

따라서, 신경 회로망(240)을 학습하는 과정은 시간이 많이 소요되지만, 학습 된 신경 회로망(240)을 이용하여 보정을 수행하는 것은 단순 변환 계산만 수행되므로 처리 시간이 빠른 장점이 있다. Therefore, the process of learning the neural network 240 takes a lot of time, but performing the correction using the learned neural network 240 has the advantage that the processing time is faster because only a simple conversion calculation is performed.

한편, 도 5에서 설명한 것과 같이, 학습된 신경 회로망(240)을 통하여 위성 영상(410)은 보정된 위성 영상(430)으로 변환되는데, 보정 전 위성 영상(410)과 보정된 위성 영상(430)으로부터 다음의 수학식 1을 유도할 수 있다. Meanwhile, as described with reference to FIG. 5, the satellite image 410 is converted into the corrected satellite image 430 through the learned neural network 240, before the corrected satellite image 410 and the corrected satellite image 430. From Equation 1 can be derived.

R" = Cr2·R2 + Cr1·R + Cr0 R "= Cr 2 · R 2 Cr + 1 · R + Cr 0

G" = Cr2·G2 + Cr1·G + Cr0 G "= Cr 2 · G 2 Cr + 1 · G + Cr 0

B" = Cr2·B2 + Cr1·B + Cr0 B "= Cr 2 · B 2 Cr + 1 · B + Cr 0

여기서, R, G, B는 위성 영상(410)에 포함되는 R, G, B픽셀 값이며, R", G", B"는 보정된 위성 영상(430)에 포함되는 보정된 R, G, B픽셀 값이며, Cr2, Cr1, Cr0는 RGB 특성 계수이다. Here, R, G, and B are R, G, and B pixel values included in the satellite image 410, and R ″, G ″, and B ″ are corrected R, G, and B included in the corrected satellite image 430. B is a pixel value, Cr 2, Cr 1, Cr 0 is a characteristic RGB coefficient.

수학식 1과 같이 보정 전 위성 영상(410)과 보정된 위성 영상(430)의 관계는 수학식 1과 같은 2차 다항식으로 변환 가능하다. 즉, 보정 전 위성 영상(410)과 보정된 위성 영상(430)의 각각의 픽셀을 구성하는 R, G, B에 대해서 수학식 1과 같은 2차 다항식을 수립하고, 그 특성을 각각의 계수 Cr2, Cr1, Cr0 로 표현할 수 있다. As shown in Equation 1, the relationship between the pre-corrected satellite image 410 and the corrected satellite image 430 may be converted into a second order polynomial such as Equation 1. That is, a quadratic polynomial, such as Equation 1, is established for R, G, and B constituting each pixel of the pre-corrected satellite image 410 and the corrected satellite image 430, and the characteristics of each coefficient Cr 2 , Cr 1 , Cr 0 can be represented.

이와 같이 보정 전 위성 영상(410)을 수학식 1을 이용해서 보정된 위성 영상(430)로 변환하면 도 6과 같이 한 번에 그리고 보다 빠르게 위성 영상에 대한 보정을 수행할 수 있다.As such, when the pre-correction satellite image 410 is converted into the corrected satellite image 430 using Equation 1, correction of the satellite image can be performed at once and faster as shown in FIG. 6.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

도 1a 및 도 1b는 일반적인 신경 회로망의 위성 영상 보정 처리 방법을 설명하기 위해 제공되는 도면이다.1A and 1B are diagrams provided to explain a satellite image correction processing method of a general neural network.

도 2는 본 발명의 실시예에 따른 위성 영상 보정 처리 장치의 구성을 나타낸 도면이다.2 is a diagram showing the configuration of a satellite image correction processing apparatus according to an embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 신경 회로망을 학습시키는 방법을 나타낸 순서도이다. 3 is a flowchart illustrating a method of learning a neural network according to an embodiment of the present invention.

도 4는 도 3에 따른 신경 회로망을 학습시키는 과정을 설명하기 위한 도면이다. FIG. 4 is a diagram for describing a process of learning a neural network according to FIG. 3.

도 5는 신경 회로망을 이용하여 보정된 영상을 생성하는 과정을 설명하기 위한 도면이다. 5 is a view for explaining a process of generating a corrected image using a neural network.

도 6은 보정 전 위성 영상과 보정된 위성 영상과의 관계를 설명하기 위한 도면이다. 6 is a view for explaining the relationship between the satellite image before correction and the corrected satellite image.

Claims (8)

위성 영상을 입력받는 단계,Receiving a satellite image, 상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 단계,Generating a target image by correcting the satellite image; 상기 위성 영상을 복수의 그룹으로 그룹화하는 단계,Grouping the satellite images into a plurality of groups; 상기 복수의 그룹에서 각각 일정 개수의 R, G, B 픽셀을 추출하는 단계, Extracting a predetermined number of R, G, and B pixels from the plurality of groups, 상기 R, G, B픽셀과 상기 R, G, B픽셀에 대응하는 상기 목표 영상의R', G', B' 픽셀을 맵핑하여 신경 회로망에 입력하여 상기 신경 회로망을 학습시키는 단계, 그리고 Mapping the R, G, and B pixels with R ', G', and B 'pixels of the target image corresponding to the R, G, and B pixels and inputting them to a neural network to train the neural network; and 상기 위성 영상을 학습된 상기 신경 회로망에 입력하여 보정 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 방법. And inputting the satellite image into the trained neural network to generate a corrected image. 제1항에 있어서, The method of claim 1, 상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 단계는, Compensating the satellite image to generate a target image, 히스토그램 보정, 레벨 조정, 다이나믹 레인지 조정 및 칼라 보정 중에서 적어도 하나를 이용하여 보정 처리하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 방법. A method of correcting satellite imagery using a neural network, characterized in that the correction process is performed using at least one of histogram correction, level adjustment, dynamic range adjustment, and color correction. 제2항에 있어서, The method of claim 2, 상기 위성 영상을 복수의 그룹으로 그룹화하는 단계는, Grouping the satellite image into a plurality of groups, 상기 위성 영상을 RGB 특성에 따라 복수의 그룹으로 그룹화하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 방법. And calibrating the satellite image into a plurality of groups according to RGB characteristics. 제3항에 있어서, The method of claim 3, 상기 위성 영상과 상기 보정된 영상 사이에는 아래 수학식과 같은 관계가 형성되는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 방법:A method of correcting satellite imagery using a neural network, characterized in that a relationship is formed between the satellite image and the corrected image: R" = Cr2·R2 + Cr1·R + Cr0 R "= Cr 2 · R 2 Cr + 1 · R + Cr 0 G" = Cr2·G2 + Cr1·G + Cr0 G "= Cr 2 · G 2 Cr + 1 · G + Cr 0 B" = Cr2·B2 + Cr1·B + Cr0 B "= Cr 2 · B 2 Cr + 1 · B + Cr 0 R, G, B는 위성 영상에 포함되는 R, G, B픽셀 값이며, R", G", B"는 보정된 영상에 포함되는 보정된 R, G, B픽셀 값이며, Cr2, Cr1, Cr0는RGB 특성 계수이다. R, G, and B are R, G, and B pixel values included in the satellite image, and R ", G", and B "are corrected R, G, and B pixel values included in the corrected image, and Cr 2 , Cr 1 and Cr 0 are RGB characteristic coefficients. 위성 영상을 입력받는 영상 입력부, Image input unit for receiving a satellite image, 상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 보정 처리부,A correction processor for correcting the satellite image to generate a target image; 상기 위성 영상을 복수의 그룹으로 그룹화하고, 상기 복수의 그룹에서 각각 일정 개수의 R, G, B 픽셀을 추출하는 패턴 분류부, A pattern classifying unit grouping the satellite images into a plurality of groups and extracting a predetermined number of R, G, and B pixels from the plurality of groups; 상기 R, G, B픽셀과 상기 R, G, B픽셀에 대응하는 상기 목표 영상의 R', G', B' 픽셀이 맵핑되어 입력되는 신경 회로망, 그리고 A neural network to which the R, G, B pixels and the R ', G', B 'pixels of the target image corresponding to the R, G, B pixels are mapped and input; 상기 위성 영상을 학습된 상기 신경 회로망에 입력하여 보정 영상을 생성하는 보정 영상 생성부를 포함하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 장치. And a correction image generator for inputting the satellite image into the trained neural network to generate a correction image. 제5항에 있어서, The method of claim 5, 상기 보정 처리부는, The correction processing unit, 히스토그램 보정, 레벨 조정, 다이나믹 레인지 조정 및 칼라 보정 중에서 적어도 하나를 이용하여 보정 처리하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 장치. And a calibration process using at least one of histogram correction, level adjustment, dynamic range adjustment, and color correction. 제5항에 있어서, The method of claim 5, 상기 패턴 분류부는, The pattern classification unit, 상기 위성 영상을 RGB 특성에 따라 복수의 그룹으로 그룹화하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 장치. And the satellite image is grouped into a plurality of groups according to RGB characteristics. 제7항에 있어서, The method of claim 7, wherein 상기 위성 영상과 상기 보정된 영상 사이에는 아래 수학식과 같은 관계가 형성되는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 장치: An apparatus for correcting satellite imagery using a neural network, wherein a relationship is formed between the satellite image and the corrected image as in the following equation: R" = Cr2·R2 + Cr1·R + Cr0 R "= Cr 2 · R 2 Cr + 1 · R + Cr 0 G" = Cr2·G2 + Cr1·G + Cr0 G "= Cr 2 · G 2 Cr + 1 · G + Cr 0 B" = Cr2·B2 + Cr1·B + Cr0 B "= Cr 2 · B 2 Cr + 1 · B + Cr 0 R, G, B는 위성 영상에 포함되는 R, G, B픽셀 값이며, R", G", B"는 보정된 영상에 포함되는 보정된 R, G, B픽셀 값이며, Cr2, Cr1, Cr0는RGB 특성 계수이다. R, G, and B are R, G, and B pixel values included in the satellite image, and R ", G", and B "are corrected R, G, and B pixel values included in the corrected image, and Cr 2 , Cr 1 and Cr 0 are RGB characteristic coefficients.
KR1020080113771A 2008-11-17 2008-11-17 Satelite image correction method and apparatus using neural network KR100991146B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080113771A KR100991146B1 (en) 2008-11-17 2008-11-17 Satelite image correction method and apparatus using neural network
PCT/KR2009/004722 WO2010055992A2 (en) 2008-11-17 2009-08-25 Method and apparatus for correcting satellite image using a neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080113771A KR100991146B1 (en) 2008-11-17 2008-11-17 Satelite image correction method and apparatus using neural network

Publications (2)

Publication Number Publication Date
KR20100054929A true KR20100054929A (en) 2010-05-26
KR100991146B1 KR100991146B1 (en) 2010-11-01

Family

ID=42170488

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080113771A KR100991146B1 (en) 2008-11-17 2008-11-17 Satelite image correction method and apparatus using neural network

Country Status (2)

Country Link
KR (1) KR100991146B1 (en)
WO (1) WO2010055992A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014106958A1 (en) * 2012-12-28 2014-07-10 한국항공우주연구원 Method for compensating degradation of detector performance using histogram specification

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062876B (en) * 2018-10-17 2023-08-08 北京地平线机器人技术研发有限公司 Method and device for correcting model training and image correction and electronic equipment
TWI738131B (en) * 2019-11-28 2021-09-01 財團法人資訊工業策進會 Imaging system and detection method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11284869A (en) 1998-03-30 1999-10-15 Toyo Ink Mfg Co Ltd Color correcting device
JP2002162954A (en) 2000-11-24 2002-06-07 Nippon Telegr & Teleph Corp <Ntt> Color reproduction method, apparatus, and color reproduction program recording medium
JP2006254336A (en) * 2005-03-14 2006-09-21 Fuji Photo Film Co Ltd White balance correction method and apparatus
KR100679052B1 (en) 2006-01-04 2007-02-06 삼성전자주식회사 Apparatus and method for editing optimized preference color

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014106958A1 (en) * 2012-12-28 2014-07-10 한국항공우주연구원 Method for compensating degradation of detector performance using histogram specification

Also Published As

Publication number Publication date
WO2010055992A3 (en) 2010-07-08
KR100991146B1 (en) 2010-11-01
WO2010055992A2 (en) 2010-05-20

Similar Documents

Publication Publication Date Title
Dev et al. CloudSegNet: A deep network for nychthemeron cloud image segmentation
CN108537742B (en) Remote sensing image panchromatic sharpening method based on generation countermeasure network
US20200250427A1 (en) Shadow and cloud masking for agriculture applications using convolutional neural networks
CN112164005B (en) Image color correction method, device, equipment and storage medium
JP7370922B2 (en) Learning method, program and image processing device
CN105469098A (en) Precise LINDAR data ground object classification method based on adaptive characteristic weight synthesis
CN108428220A (en) Satellite sequence remote sensing image sea island reef region automatic geometric correction method
Xiao et al. Deep learning-based spatiotemporal fusion of unmanned aerial vehicle and satellite reflectance images for crop monitoring
CN115861546B (en) Crop geometric perception and three-dimensional phenotype reconstruction method based on nerve volume rendering
CN102713972A (en) Pixel information reproduction using neural networks
JP2021179833A (en) Information processor, method for processing information, and program
CN111340011B (en) Self-adaptive time sequence shift neural network time sequence behavior identification method
KR100991146B1 (en) Satelite image correction method and apparatus using neural network
CN110765927B (en) Identification method of associated weeds in vegetation community
CN116128980A (en) Automatic calibration method and system for camera inner and outer parameters based on self-encoder
Li et al. A pseudo-siamese deep convolutional neural network for spatiotemporal satellite image fusion
Lysenko et al. Determination of the not uniformity of illumination in process monitoring of wheat crops by UAVs
Theran et al. A pixel level scaled fusion model to provide high spatial-spectral resolution for satellite images using LSTM networks
CN113935917A (en) Optical remote sensing image thin cloud removing method based on cloud picture operation and multi-scale generation countermeasure network
CN114092804A (en) Method and device for identifying remote sensing image
CN113781375B (en) Vehicle-mounted vision enhancement method based on multi-exposure fusion
CN115760603A (en) Interference array broadband imaging method based on big data technology
CN115689941A (en) SAR image compensation method for cross-domain generation countermeasure and computer readable medium
CA2784817C (en) Filter setup learning for binary sensor
CN114077887A (en) Processing method, device and equipment before point-by-point correction of display screen and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131029

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141028

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151027

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee