WO2010055992A2 - 신경 회로망을 이용한 위성 영상 보정 방법 및 장치 - Google Patents

신경 회로망을 이용한 위성 영상 보정 방법 및 장치 Download PDF

Info

Publication number
WO2010055992A2
WO2010055992A2 PCT/KR2009/004722 KR2009004722W WO2010055992A2 WO 2010055992 A2 WO2010055992 A2 WO 2010055992A2 KR 2009004722 W KR2009004722 W KR 2009004722W WO 2010055992 A2 WO2010055992 A2 WO 2010055992A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
satellite
neural network
pixels
satellite image
Prior art date
Application number
PCT/KR2009/004722
Other languages
English (en)
French (fr)
Other versions
WO2010055992A3 (ko
Inventor
서석배
구인회
안상일
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Publication of WO2010055992A2 publication Critical patent/WO2010055992A2/ko
Publication of WO2010055992A3 publication Critical patent/WO2010055992A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Definitions

  • the present invention relates to a method and apparatus for satellite image correction using neural networks, and more particularly, to group satellite images according to RGB characteristics and to correct satellite images using neural networks learned by some pixels of each group. And to an apparatus.
  • Earth observation technology is a technology that can play an important role in the exploration of resources, environment monitoring and management that is closely related to human survival and is emerging as a very necessary technology for the society of present and future. As eras of borders and countries enter the world of infinite competition around the world, global observation technology is actively used for resource exploration and environmental management.
  • High-resolution satellite images are very useful for crop monitoring and analysis, land management, mapping, defense security, environmental management, and location selection.
  • the utilization of high resolution satellite images increases in various fields, the demand for obtaining the received images as quickly as possible increases.
  • Neural nets are electronic networks created by mimicking human brain neurons and their associated structures, and are highly capable of image recognition, type identification, and nonlinear mapping.
  • a neural network is a model that simplifies the process of neurotransmission in a living organism and mathematically interprets it.
  • the neural network which is a complex unit of neurons (Neuron, is the smallest unit of a network) passes through the neurons. Analyze problems through some sort of learning process.
  • neural networks are widely used for optimization and prediction problem solving, and have been applied in various fields such as signal processing, image correction, speech recognition, robotics, and navigation systems.
  • the technical problem to be achieved by the present invention is to provide a satellite image correction method using a neural network that can shorten the processing time of color satellite image correction through the learned neural network.
  • the satellite image correction method using a neural network for achieving the technical problem, the step of receiving a satellite image, generating a target image by correcting the satellite image, a plurality of satellite images Grouping into groups, extracting a predetermined number of R, G, and B pixels from the plurality of groups, and R 'of the target image corresponding to the R, G, and B pixels and the R, G, and B pixels Mapping the G 'and B' pixels to an neural network to train the neural network, and inputting the satellite image to the trained neural network to generate a corrected image.
  • the step of generating the target image by correcting the satellite image may be corrected using at least one of histogram correction, level adjustment, dynamic range adjustment, and color correction.
  • the satellite images may be grouped into a plurality of groups according to RGB characteristics.
  • the following equation may be formed between the satellite image and the corrected image.
  • R " Cr 2 ⁇ R 2 + Cr 1 ⁇ R + Cr 0
  • R, G, and B are R, G, and B pixel values included in the satellite image, and R ", G", and B "are corrected R, G, and B pixel values included in the corrected image, and Cr 2 , Cr 1 , Cr 0 is an RGB characteristic coefficient.
  • a satellite image correction apparatus using a neural network including: an image input unit receiving a satellite image; a correction processor configured to correct the satellite image to generate a target image; and grouping the satellite image into a plurality of groups And a pattern classifying unit extracting a predetermined number of R, G, and B pixels from the plurality of groups, and R ', G of the target image corresponding to the R, G, and B pixels and the R, G, and B pixels. And a correction image generator configured to generate a correction image by inputting the satellite image to the trained neural network and a satellite image to which 'B' pixels are mapped.
  • the speed of the correction can be further shortened by formulating the relationship between the satellite image before correction and the satellite image corrected by the learned neural network.
  • 1 and 2 are views provided to explain a satellite image correction processing method of a general neural network.
  • FIG. 3 is a diagram showing the configuration of a satellite image correction processing apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of learning a neural network according to an embodiment of the present invention.
  • FIG. 5 is a diagram for describing a process of learning a neural network according to FIG. 4.
  • FIG. 6 is a view for explaining a process of generating a corrected image using a neural network.
  • FIG. 7 is a view for explaining the relationship between the satellite image before correction and the corrected satellite image.
  • FIGS. 1 and 2 are views provided to explain a satellite image correction processing method of a general neural network.
  • the input satellite images 101, 102, and 103 are images captured by an artificial satellite, the color satellite images before correction, and the target satellite images 111, 112, and 113 are finally corrected color satellites. It is a video.
  • the input satellite images 101, 102, 103 and the target satellite images 111, 112, 113 are mapped to each other and input to the neural network, the input satellite images 111, 112, 113 and the target satellite images 111, 112, 113), the rules and weight values are determined by iterative learning of neural networks.
  • the neural network uses not only the input satellite images 101, 102, and 103 participating in the learning using rules and weight values generated through the learning results.
  • An output satellite image 114, 115, 116 similar to the target satellite image 111, 112, 113 may also be generated for any input satellite image 104, 105, 106 that does not participate in learning.
  • the satellite image correction processing apparatus 200 includes an image input unit 210, a correction processor 220, a pattern classifier 230, a neural network 240, and a correction image generator 250.
  • the image input unit 210 receives a satellite image photographed from an external satellite.
  • the satellite image taken from the satellite is a color image before correction, and each pixel is composed of three colors of R, G, and B.
  • R, G, and B pixels each consist of 8 bits, the color implemented through the R, G, and B pixels is 16,677,216.
  • the correction processor 220 generates a target image by correcting the input satellite image through an algorithm used for image enhancement such as histogram correction, level adjustment, dynamic range adjustment, and color correction. Therefore, the satellite image including the R, G, and B pixels is corrected into a target image including the R ', G', and B 'pixels through the correction processor 220.
  • an algorithm used for image enhancement such as histogram correction, level adjustment, dynamic range adjustment, and color correction. Therefore, the satellite image including the R, G, and B pixels is corrected into a target image including the R ', G', and B 'pixels through the correction processor 220.
  • the pattern classifier 230 classifies the input satellite image into a plurality of groups according to RGB characteristics, extracts a predetermined number of R, G, and B pixels from each group, and participates in the learning through the neural network 240. Euclid distance is the most common method of grouping R, G, and B pixels. For example, the average value of the R pixels included in the satellite image is calculated, and the average value of the R pixels and the satellite image are included. By calculating the difference between the R pixel values, the input satellite images may be grouped according to the difference value. In addition, it can be grouped using a blend ratio, brightness, or saturation difference of R, G, and B pixels.
  • the neural network 240 maps R, G, B pixels extracted from each group, and R ', G', B 'pixels, in which R, G, and B pixels are corrected, and is mapped. By repeating the above process, the neural network 240 performs learning reflecting the RGB characteristics of each group, and the neural network 240 corrects the weight associated with satellite image correction during the learning process.
  • the neural network 240 learns about the relationship between the satellite image and the target image. Then, a pattern group most similar to an input pattern according to a satellite image input later is searched to output a corrected satellite image. Therefore, the satellite image correction processing apparatus 200 may learn the characteristics of the satellite image to the neural network 240 to perform correction on any satellite image not participating in the later learning at once.
  • the calibrated image generator 250 generates a calibrated satellite image through the learned neural network 240. That is, the correction image generator 250 inputs the satellite image to the learned neural network 240 to generate the correction image. Therefore, the satellite image including the R, G, and B pixels is converted into a corrected image including the R ′′, G ′′, and B ′′ pixels through the learned neural network 240.
  • FIG. 4 is a flowchart illustrating a method of learning a neural network according to an exemplary embodiment of the present invention
  • FIG. 5 is a view for explaining a process of learning the neural network according to FIG. 4.
  • the satellite image 410 is input to the image input unit 210 of the satellite image correction processing apparatus 200 (S310). As shown in FIG. 5, R, G, and B pixels form a set, and for convenience of description, the pre-corrected satellite image 410 is illustrated as being composed of 25 R, G, and B pixels, respectively.
  • the correction processor 220 generates a target image 420 by correcting the input satellite image 410 (S320).
  • the target image 420 is a satellite image that is a target of correction
  • R, G, and B pixels are corrected to R ', G', and B 'pixels, respectively, before correction.
  • the pattern classifier 230 classifies the input satellite image 410 into a plurality of groups according to RGB characteristics (S330).
  • satellite images are classified into four groups (Group A, Group B, Group C, and Group D), and each group is divided into seven, eleven, four, and three R, G, and B pixels. Shown as grouping.
  • the pattern classifier 230 extracts one R, G, B pixel from each group (S340).
  • the R, G, and B pixels extracted from each group are shown in gray.
  • the R, G, and B pixels extracted from each group are pixels that become a standard that can represent the RGB characteristics of the corresponding group, and it is preferable that the RGB characteristics in the group are closest to the average.
  • four R, G, and B pixels extracted from four groups are used to train the neural network 240.
  • one R, G, and B pixels are extracted from each group, but the number of R, G, and B pixels extracted according to the number of groups or the capacity of the satellite image may be changed.
  • the four R, G, and B pixels extracted from the four groups and the R ', G' and B 'pixels extracted from the target image 420 are mapped and input to the neural network 240 (S350).
  • the R ', G', and B 'pixels are R, G, and B pixels that are corrected by the correction processor 220, and correspond to the R, G, and B pixels, respectively.
  • the neural network 240 maps and inputs four pre-corrected R, G, and B pixels and R ', G', and B 'pixels each of which is corrected to each of the R, G, and B pixels. Learning of the neural network 240 that evenly reflects RGB characteristics of group A, group B, group C, and group D is performed (S360).
  • the neural network 240 learns by modifying weight values associated with satellite image correction during the learning process.
  • the neural network 240 adjusts the weight value with a learning rule such as a delta rule, and the weight value is converged through the learning.
  • correction of the extracted R, G, and B pixels, as well as the R, G, and B pixels that do not participate in learning may be performed through the learned neural network 240.
  • FIG. 6 is a diagram for describing a process of generating a corrected image using a neural network
  • FIG. 7 is a diagram for describing a relationship between a pre-correction satellite image and a corrected satellite image.
  • the pre-correction satellite image 410 is converted into the corrected satellite image 430 through the learned neural network 240. That is, since the neural network 240 has a weight value converged through learning, when the neural network 240 is used, the R, G, and B pixels of the input satellite image 410 are corrected as shown in FIG. 6. Corrected to the R ′′, G ′′, B ′′ pixels of 430.
  • the satellite image 410 is converted into the corrected satellite image 430 through the learned neural network 240, before the corrected satellite image 410 and the corrected satellite image 430. From Equation 1 can be derived.
  • R, G, and B are R, G, and B pixel values included in the satellite image 410, and R ′′, G ′′, and B ′′ are corrected R, G, and B included in the corrected satellite image 430.
  • B is a pixel value
  • Cr 2, Cr 1, Cr 0 is a characteristic RGB coefficient.
  • Equation 1 the relationship between the pre-corrected satellite image 410 and the corrected satellite image 430 may be converted into a second order polynomial such as Equation 1. That is, a quadratic polynomial, such as Equation 1, is established for R, G, and B constituting each pixel of the pre-corrected satellite image 410 and the corrected satellite image 430, and the characteristics of each coefficient Cr 2 , Cr 1 , Cr 0 can be expressed.
  • correction of the satellite image can be performed at once and faster as shown in FIG. 7.
  • the present invention can be used in a satellite image correction method and apparatus using a neural network that can shorten the processing time of color satellite image through the learned neural network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 신경 회로망을 이용한 위성 영상 보정 방법 및 장치에 관한 것이다. 본 발명에 따른 신경 회로망을 이용한 위성 영상 보정 방법은, 위성 영상을 입력받는 단계, 위성 영상을 보정 처리하여 목표 영상을 생성하는 단계, 위성 영상을 복수의 그룹으로 그룹화하는 단계, 복수의 그룹에서 각각 일정 개수의 R, G, B 픽셀을 추출하는 단계, R, G, B 픽셀과 R, G, B 픽셀에 대응하는 목표 영상의 R', G', B' 픽셀을 맵핑하여 신경 회로망에 입력하여 신경 회로망을 학습시키는 단계, 그리고 위성 영상을 학습된 신경 회로망에 입력하여 보정 영상을 생성하는 단계를 포함한다. 본 발명에 따르면, 위성 영상을 RGB 특성에 따라 그룹화하고 각 그룹의 일부 픽셀에 대해 신경 회로망을 이용하여 학습시킴으로써, 용량이 큰 칼라 위성 영상을 한 번에 보정 처리함으로써 시간을 단축시킬 수 있다. 또한 학습된 신경 회로망에 의해서 보정 전 위성 위성과 보정된 위성 영상의 관계를 수식화함으로써 보정을 수행하는 속도를 더욱 단축시킬 수 있다.

Description

신경 회로망을 이용한 위성 영상 보정 방법 및 장치
본 발명은 신경 회로망을 이용한 위성 영상 보정 방법 및 장치에 관한 것으로, 더욱 상세하게는 위성 영상을 RGB 특성에 따라 그룹화하고 각 그룹의 일부 픽셀에 의해 학습된 신경 회로망을 이용하여 위성 영상을 보정하는 방법 및 장치에 관한 것이다.
지구 관측 기술은 인간의 생존과 밀접한 관계가 있는 자원의 탐사, 환경의 감시 및 관리에 중요한 역할을 담당할 수 있는 기술로서 현재뿐만 아니라 미래의 사회를 위하여서도 매우 필요한 기술로 대두되고 있다. 전세계적으로 국가 간의 경계가 없어지고 무한 경쟁으로 돌입하는 시대가 도래함에 따라, 지구 관측 기술은 자원 탐사 및 환경 관리에 적극적으로 활용되고 있다.
최근 들어 지구 관측 위성 영상 기술의 발전에 의해 인공 위성으로부터 고정밀, 대용량의 고해상도 위성 영상을 획득할 수 있게 되었다. 고해상도 위성 영상은 농작물 모니터링 및 분석, 국토 관리, 지도 제작, 국방 안보, 환경 관리, 입지 선정 등에 있어서 매우 유용한 자료가 되고 있다. 이와 같이 다양한 분야에서 고해상도 위성 영상의 활용도가 높아짐에 따라, 수신된 영상을 최대한 신속하게 획득하고자 하는 요구 또한 증가하고 있다.
따라서, 고해상도 지구정찰위성의 개발이 활발해짐에 따라서 큰 용량을 가지는 영상을 한 번에 보정하여 배포 및 활용할 수 있는 기술의 중요성이 부각되고 있다. 특히 고해상도 칼라 위성 영상의 경우 처리 과정이 복잡하고 용량이 크기 때문에 많은 처리 시간이 요구된다.
이에 따라 신경 회로망 기법을 통하여 고해상도 칼라 영상을 처리하는 다양한 시도가 연구되고 있다. 신경 회로망(neural net)은 인간의 뇌신경 세포와 그 결합 구조를 모방하여 만든 전자 회로망으로 영상 인식, 유형 식별 및 비선형 사상(mapping)에 고도의 능력을 발휘한다. 신경 회로망은 생물의 신경 전달 과정을 단순화하고, 이를 수학적으로 해석한 모델로서, 복잡하게 얽혀 있는 신경 세포인 뉴런(Neuron, 신경 회로망에서는 네트워크를 이루는 최소 단위)을 통과시켜가면서 뉴런끼리의 연결 강도를 조절하는 일종의 학습(learning) 과정을 통해 문제를 분석한다. 현재 신경 회로망은 최적화와 예측 문제 해결 등에 많이 사용되고 있으며, 신호 처리, 영상 보정, 음성 인식, 로보틱스(robotics), 항법 시스템 등의 다방면에서 응용되고 있다.
그러나, 인공 위성에서 촬영된 칼라 위성 영상은 해상도가 높고 용량이 매우 크기 때문에 일반적인 신경 회로망을 통해 보정 처리하는데 많은 시간이 필요하며, 복잡한 보정 처리 단계를 거쳐야 한다는 문제점이 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는 학습된 신경 회로망을 통하여 칼라 위성 영상의 보정 처리 시간을 단축시킬 수 있는 신경 회로망을 이용한 위성 영상 보정 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 신경 회로망을 이용한 위성 영상 보정 방법은, 위성 영상을 입력받는 단계, 상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 단계, 상기 위성 영상을 복수의 그룹으로 그룹화하는 단계, 상기 복수의 그룹에서 각각 일정 개수의 R, G, B 픽셀을 추출하는 단계, 상기 R, G, B 픽셀과 상기 R, G, B 픽셀에 대응하는 상기 목표 영상의 R', G', B' 픽셀을 맵핑하여 신경 회로망에 입력하여 상기 신경 회로망을 학습시키는 단계, 그리고 상기 위성 영상을 학습된 상기 신경 회로망에 입력하여 보정 영상을 생성하는 단계를 포함한다.
상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 단계는, 히스토그램 보정, 레벨 조정, 다이나믹 레인지 조정 및 칼라 보정 중에서 적어도 하나를 이용하여 보정 처리할 수 있다.
상기 위성 영상을 복수의 그룹으로 그룹화하는 단계는, 상기 위성 영상을 RGB 특성에 따라 복수의 그룹으로 그룹화할 수 있다.
상기 위성 영상과 상기 보정된 영상 사이에는 아래 수학식과 같은 관계가 형성될 수 있다.
R" = Cr2·R2 + Cr1·R + Cr0
G" = Cr2·G2 + Cr1·G + Cr0
B" = Cr2·B2 + Cr1·B + Cr0
R, G, B는 위성 영상에 포함되는 R, G, B 픽셀 값이며, R", G", B"는 보정된 영상에 포함되는 보정된 R, G, B 픽셀 값이며, Cr2, Cr1, Cr0는 RGB 특성 계수이다.
본 발명의 다른 실시예에 따른 신경 회로망을 이용한 위성 영상 보정 장치는, 위성 영상을 입력받는 영상 입력부, 상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 보정 처리부, 상기 위성 영상을 복수의 그룹으로 그룹화하고, 상기 복수의 그룹에서 각각 일정 개수의 R, G, B 픽셀을 추출하는 패턴 분류부, 상기 R, G, B 픽셀과 상기 R, G, B 픽셀에 대응하는 상기 목표 영상의 R', G', B' 픽셀이 맵핑되어 입력되는 신경 회로망, 그리고 상기 위성 영상을 학습된 상기 신경 회로망에 입력하여 보정 영상을 생성하는 보정 영상 생성부를 포함한다.
이와 같이 본 발명에 의하면, 위성 영상을 RGB 특성에 따라 그룹화하고 각 그룹의 일부 픽셀에 대해 신경 회로망을 이용하여 학습시킴으로써, 용량이 큰 칼라 위성 영상을 한 번에 보정 처리함으로써 시간을 단축시킬 수 있다.
또한 학습된 신경 회로망에 의해서 보정 전 위성 위성과 보정된 위성 영상의 관계를 수식화함으로써 보정을 수행하는 속도를 더욱 단축시킬 수 있다.
도 1 및 도 2는 일반적인 신경 회로망의 위성 영상 보정 처리 방법을 설명하기 위해 제공되는 도면이다.
도 3은 본 발명의 실시예에 따른 위성 영상 보정 처리 장치의 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 신경 회로망을 학습시키는 방법을 나타낸 순서도이다.
도 5는 도 4에 따른 신경 회로망을 학습시키는 과정을 설명하기 위한 도면이다.
도 6은 신경 회로망을 이용하여 보정된 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 7은 보정 전 위성 영상과 보정된 위성 영상과의 관계를 설명하기 위한 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
먼저 도 1 및 도 2를 통하여 일반적인 신경 회로망에 대하여 설명한다. 도 1 및 도 2는 일반적인 신경 회로망의 위성 영상 보정 처리 방법을 설명하기 위해 제공되는 도면이다.
도 1에 따르면, 입력 위성 영상(101, 102, 103)은 인공 위성에서 촬영된 영상으로, 보정 전의 칼라 위성 영상이고 목표 위성 영상(111, 112, 113)은 최종적으로 얻고자 하는 보정된 칼라 위성 영상이다. 신경 회로망에 입력 위성 영상(101, 102, 103)과 목표 위성 영상(111, 112, 113)이 서로 맵핑되어 입력되면, 입력 위성 영상(111, 112, 113)과 목표 위성 영상(111, 112, 113)의 관계는 신경 회로망의 반복적인 학습에 의해서 그 규칙과 가중치 값들이 결정된다.
도 1과 같은 반복적인 학습 단계를 마치게 되면, 도 2에서 보는 바와 같이 신경 회로망은 학습결과를 통해 생성된 규칙과 가중치 값을 이용하여 학습에 참여한 입력 위성 영상(101, 102, 103)뿐만 아니라, 학습에 참여하지 않은 임의의 입력 위성 영상(104, 105, 106)에 대해서도 목표 위성 영상(111, 112, 113)과 유사한 출력 위성 영상(114, 115, 116)을 생성할 수 있다.
도 3은 본 발명의 실시예에 따른 위성 영상 보정 처리 장치의 구성을 나타낸 도면이다. 위성 영상 보정 처리 장치(200)는 영상 입력부(210), 보정 처리부(220), 패턴 분류부(230), 신경 회로망(240) 및 보정 영상 생성부(250)를 포함한다.
영상 입력부(210)는 외부의 인공 위성으로부터 촬영된 위성 영상을 제공받는다. 인공 위성으로부터 촬영된 위성 영상은 보정 전의 칼라 영상으로서, 각각의 픽셀은 R, G, B의 3개 색상으로 구성된다. R, G, B 픽셀이 각각 8비트로 이루어질 경우 R, G, B 픽셀을 통해 구현되는 색상은 16,677,216 종류가 된다.
보정 처리부(220)는 입력된 위성 영상을 히스토그램 보정, 레벨 조정, 다이나믹 레인지 조정, 칼라 보정 등 영상 향상(image enhancement)에 사용되는 알고리즘을 통해 보정 처리하여 목표 영상을 생성한다. 따라서 R, G, B 픽셀을 포함하는 위성 영상은 보정 처리부(220)를 통해 R', G', B' 픽셀을 포함하는 목표 영상으로 보정 처리된다.
패턴 분류부(230)는 입력된 위성 영상을 RGB 특성에 따라서 복수의 그룹으로 분류하고, 각 그룹에서 일정한 개수의 R, G, B 픽셀을 추출하여 신경 회로망(240)을 통해 학습에 참여시킨다. R, G, B 픽셀을 그룹화하는 방식은 유클리드 디스턴스(euclid distance) 방식이 가장 많이 쓰이는데, 예를 들어 위성 영상에 포함되는 R 픽셀의 평균값을 계산하고, R 픽셀의 평균 값과 위성 영상에 포함된 R 픽셀 값의 차이를 구하여, 차이 값에 따라서 입력된 위성 영상을 그룹화할 수 있다. 그 외에도 R, G, B 픽셀의 혼합 비율, 명도 또는 채도의 차이 등을 이용해서도 그룹화할 수 있다.
신경 회로망(240)에는 각각의 그룹에서 추출된 R, G, B 픽셀과 R, G, B 픽셀이 각각 보정 처리된 R', G', B' 픽셀이 맵핑(mapping)되어 입력된다. 이와 같은 과정의 반복을 통하여 신경 회로망(240)은 각각의 그룹의 RGB 특성을 반영한 학습을 수행하며, 신경 회로망(240)은 학습 과정 동안 위성 영상 보정과 관련된 가중치를 수정한다.
즉, 신경 회로망(240)은 위성 영상과 목표 영상의 관계에 대하여 학습하게 된다. 그리고, 추후에 입력되는 위성 영상에 따른 입력 패턴과 가장 유사한 패턴 그룹을 찾음으로써, 보정된 위성 영상을 출력하도록 한다. 따라서 위성 영상 보정 처리 장치(200)는 위성 영상의 특성을 신경 회로망(240)에 학습시켜, 추후 학습에 참여하지 않은 임의의 위성 영상에 대해서 보정을 한 번에 수행할 수 있다.
보정 영상 생성부(250)는 학습된 신경 회로망(240)을 통해 보정된 위성 영상을 생성한다. 즉, 보정 영상 생성부(250)는 학습된 신경 회로망(240)에 위성 영상을 입력하여 보정 영상을 생성하도록 한다. 따라서 R, G, B 픽셀을 포함하는 위성 영상은 학습된 신경 회로망(240)를 통해 R", G", B" 픽셀을 포함하는 보정 영상으로 변환된다.
이하에서는 도 4 및 도 5를 통하여 신경 회로망(240)을 학습시키는 과정에 대해서 설명한다. 도 4는 본 발명의 실시예에 따른 신경 회로망을 학습시키는 방법을 나타낸 순서도이고, 도 5는 도 4에 따른 신경 회로망을 학습시키는 과정을 설명하기 위한 도면이다.
먼저 위성 영상 보정 처리 장치(200)의 영상 입력부(210)에 위성 영상(410)이 입력된다(S310). 도 5에서 보는 바와 같이 R, G, B 픽셀이 하나의 세트를 이루고 있으며, 설명의 편의상 입력되는 보정 전 위성 영상(410)은 각각 25개의 R, G, B 픽셀로 이루어진 것으로 도시하였다.
그리고, 보정 처리부(220)는 입력된 위성 영상(410)에 대하여 보정 처리를 하여 목표 영상(420)을 생성한다(S320). 여기서, 목표 영상(420)은 보정의 목표가 되는 위성 영상이며, 보정 전 R, G, B 픽셀들은 각각 R', G', B' 픽셀로 보정된다.
패턴 분류부(230)는 입력된 위성 영상(410)을 RGB 특성에 따라서 복수의 그룹으로 분류시킨다(S330). 도 5에서는 위성 영상을 4개의 그룹(A 그룹, B 그룹, C 그룹, D 그룹)으로 분류시켰으며, 각각의 그룹에는 7개, 11개, 4개, 3개의 R, G, B 픽셀이 나누어 그룹화되는 것으로 도시하였다.
그리고, 패턴 분류부(230)는 각각의 그룹에서 1개씩의 R, G, B 픽셀을 추출한다(S340). 도 5에서는 설명의 편의상 각 그룹에서 추출되는 R, G, B 픽셀을 회색으로 도시하였다. 각 그룹에서 추출되는 R, G, B 픽셀은 해당되는 그룹의 RGB 특성을 대표할 수 있는 표준이 되는 픽셀로서, 해당 그룹에서 RGB 특성이 가장 평균치에 가까운 픽셀인 것이 바람직하다. 도 5와 같이 4개의 그룹에서 추출된 4개의 R, G, B 픽셀은 신경 회로망(240)을 학습시키는데 사용된다. 본 발명의 실시예에서는 각 그룹에서 1개의 R, G, B 픽셀을 추출하는 것으로 설명하였으나 그룹의 개수나 위성 영상의 용량에 따라서 추출되는 R, G, B 픽셀의 개수는 변경이 가능하다.
그리고, 4개의 그룹에서 추출된 4개의 R, G, B 픽셀과 목표 영상(420)에서 추출된 R', G', B' 픽셀이 맵핑되어 신경 회로망(240)에 입력된다(S350). 여기서, R', G', B' 픽셀은 R, G, B 픽셀이 보정 처리부(220)에 의해 보정 처리된 것으로서, 각각 R, G, B 픽셀에 대응한다.
이와 같이, 신경 회로망(240)에는 4개의 보정 전 R, G, B 픽셀과 각각의 R, G, B 픽셀이 보정된 R', G', B' 픽셀이 맵핑되어 입력됨으로써, 4개의 그룹(A 그룹, B 그룹, C 그룹, D 그룹)의 RGB 특성을 고르게 반영한 신경 회로망(240)의 학습이 진행된다(S360).
신경 회로망(240)은 학습 과정 동안 위성 영상 보정과 관련된 가중치(weight value)를 수정함으로써 학습한다. 신경 회로망(240)은 델타 규칙 등의 학습 규칙을 가지고 가중치 값을 조정하며, 학습을 통해 가중치 값은 수렴된다. 이와 같이, 추출된 4개의 R, G, B 픽셀뿐만 아니라 학습에 참여하지 않은 R, G, B 픽셀에 대해서도 학습된 신경 회로망(240)을 통한 보정이 가능해진다.
도 6은 신경 회로망을 이용하여 보정된 영상을 생성하는 과정을 설명하기 위한 도면이고, 도 7은 보정 전 위성 영상과 보정된 위성 영상과의 관계를 설명하기 위한 도면이다.
도 6에서 보는 바와 같이 보정 전 위성 영상(410)은 학습된 신경 회로망(240)을 통하여 보정된 위성 영상(430)으로 변환된다. 즉, 신경 회로망(240)은 학습을 통하여 수렴된 가중치 값을 가지고 있으므로, 신경 회로망(240)을 이용하면 입력된 위성 영상(410)의 R, G, B 픽셀은 도 6과 같이 보정된 위성 영상(430)의 R'', G'', B'' 픽셀로 보정된다.
따라서, 신경 회로망(240)을 학습하는 과정은 시간이 많이 소요되지만, 학습된 신경 회로망(240)을 이용하여 보정을 수행하는 것은 단순 변환 계산만 수행되므로 처리 시간이 빠른 장점이 있다.
한편, 도 6에서 설명한 것과 같이, 학습된 신경 회로망(240)을 통하여 위성 영상(410)은 보정된 위성 영상(430)으로 변환되는데, 보정 전 위성 영상(410)과 보정된 위성 영상(430)으로부터 다음의 수학식 1을 유도할 수 있다.
수학식 1
Figure PCTKR2009004722-appb-M000001
여기서, R, G, B는 위성 영상(410)에 포함되는 R, G, B픽셀 값이며, R", G", B"는 보정된 위성 영상(430)에 포함되는 보정된 R, G, B픽셀 값이며, Cr2, Cr1, Cr0는 RGB 특성 계수이다.
수학식 1과 같이 보정 전 위성 영상(410)과 보정된 위성 영상(430)의 관계는 수학식 1과 같은 2차 다항식으로 변환 가능하다. 즉, 보정 전 위성 영상(410)과 보정된 위성 영상(430)의 각각의 픽셀을 구성하는 R, G, B에 대해서 수학식 1과 같은 2차 다항식을 수립하고, 그 특성을 각각의 계수 Cr2, Cr1, Cr0 로 표현할 수 있다.
이와 같이 보정 전 위성 영상(410)을 수학식 1을 이용해서 보정된 위성 영상(430)로 변환하면 도 7과 같이 한 번에 그리고 보다 빠르게 위성 영상에 대한 보정을 수행할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
본 발명은 학습된 신경 회로망을 통하여 칼라 위성 영상의 보정 처리 시간을 단축시킬 수 있는 신경 회로망을 이용한 위성 영상 보정 방법 및 장치에 이용될 수 있다.

Claims (8)

  1. 위성 영상을 입력받는 단계,
    상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 단계,
    상기 위성 영상을 복수의 그룹으로 그룹화하는 단계,
    상기 복수의 그룹에서 각각 일정 개수의 R, G, B 픽셀을 추출하는 단계,
    상기 R, G, B 픽셀과 상기 R, G, B 픽셀에 대응하는 상기 목표 영상의 R', G', B' 픽셀을 맵핑하여 신경 회로망에 입력하여 상기 신경 회로망을 학습시키는 단계, 그리고
    상기 위성 영상을 학습된 상기 신경 회로망에 입력하여 보정 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 방법.
  2. 제1항에 있어서,
    상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 단계는,
    히스토그램 보정, 레벨 조정, 다이나믹 레인지 조정 및 칼라 보정 중에서 적어도 하나를 이용하여 보정 처리하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 방법.
  3. 제2항에 있어서,
    상기 위성 영상을 복수의 그룹으로 그룹화하는 단계는,
    상기 위성 영상을 RGB 특성에 따라 복수의 그룹으로 그룹화하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 방법.
  4. 제3항에 있어서,
    상기 위성 영상과 상기 보정된 영상 사이에는 아래 수학식과 같은 관계가 형성되는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 방법:
    R" = Cr2·R2 + Cr1·R + Cr0
    G" = Cr2·G2 + Cr1·G + Cr0
    B" = Cr2·B2 + Cr1·B + Cr0
    R, G, B는 위성 영상에 포함되는 R, G, B픽셀 값이며, R", G", B"는 보정된 영상에 포함되는 보정된 R, G, B픽셀 값이며, Cr2, Cr1, Cr0는 RGB 특성 계수이다.
  5. 위성 영상을 입력받는 영상 입력부,
    상기 위성 영상을 보정 처리하여 목표 영상을 생성하는 보정 처리부,
    상기 위성 영상을 복수의 그룹으로 그룹화하고, 상기 복수의 그룹에서 각각 일정 개수의 R, G, B 픽셀을 추출하는 패턴 분류부,
    상기 R, G, B픽셀과 상기 R, G, B픽셀에 대응하는 상기 목표 영상의 R', G', B' 픽셀이 맵핑되어 입력되는 신경 회로망, 그리고
    상기 위성 영상을 학습된 상기 신경 회로망에 입력하여 보정 영상을 생성하는 보정 영상 생성부를 포함하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 장치. .
  6. 제5항에 있어서,
    상기 보정 처리부는,
    히스토그램 보정, 레벨 조정, 다이나믹 레인지 조정 및 칼라 보정 중에서 적어도 하나를 이용하여 보정 처리하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 장치.
  7. 제5항에 있어서,
    상기 패턴 분류부는,
    상기 위성 영상을 RGB 특성에 따라 복수의 그룹으로 그룹화하는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 장치.
  8. 제7항에 있어서,
    상기 위성 영상과 상기 보정된 영상 사이에는 아래 수학식과 같은 관계가 형성되는 것을 특징으로 하는 신경 회로망을 이용한 위성 영상의 보정 장치:
    R" = Cr2·R2 + Cr1·R + Cr0
    G" = Cr2·G2 + Cr1·G + Cr0
    B" = Cr2·B2 + Cr1·B + Cr0
    R, G, B는 위성 영상에 포함되는 R, G, B픽셀 값이며, R", G", B"는 보정된 영상에 포함되는 보정된 R, G, B 픽셀 값이며, Cr2, Cr1, Cr0는 RGB 특성 계수이다.
PCT/KR2009/004722 2008-11-17 2009-08-25 신경 회로망을 이용한 위성 영상 보정 방법 및 장치 WO2010055992A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080113771A KR100991146B1 (ko) 2008-11-17 2008-11-17 신경 회로망을 이용한 위성 영상 보정 방법 및 장치
KR10-2008-0113771 2008-11-17

Publications (2)

Publication Number Publication Date
WO2010055992A2 true WO2010055992A2 (ko) 2010-05-20
WO2010055992A3 WO2010055992A3 (ko) 2010-07-08

Family

ID=42170488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/004722 WO2010055992A2 (ko) 2008-11-17 2009-08-25 신경 회로망을 이용한 위성 영상 보정 방법 및 장치

Country Status (2)

Country Link
KR (1) KR100991146B1 (ko)
WO (1) WO2010055992A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062876A (zh) * 2018-10-17 2020-04-24 北京地平线机器人技术研发有限公司 用于校正模型训练和图像校正的方法和装置及电子设备
CN112861900A (zh) * 2019-11-28 2021-05-28 财团法人资讯工业策进会 影像系统及检测方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101473415B1 (ko) * 2012-12-28 2014-12-18 한국항공우주연구원 히스토그램 명세화를 이용한 검출기 성능저하 보상 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002162954A (ja) * 2000-11-24 2002-06-07 Nippon Telegr & Teleph Corp <Ntt> 色再現方法，装置および色再現プログラム記録媒体
JP2006254336A (ja) * 2005-03-14 2006-09-21 Fuji Photo Film Co Ltd ホワイトバランス補正方法および装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11284869A (ja) 1998-03-30 1999-10-15 Toyo Ink Mfg Co Ltd 色補正装置
KR100679052B1 (ko) 2006-01-04 2007-02-06 삼성전자주식회사 최적 선호색 편집 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002162954A (ja) * 2000-11-24 2002-06-07 Nippon Telegr & Teleph Corp <Ntt> 色再現方法，装置および色再現プログラム記録媒体
JP2006254336A (ja) * 2005-03-14 2006-09-21 Fuji Photo Film Co Ltd ホワイトバランス補正方法および装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062876A (zh) * 2018-10-17 2020-04-24 北京地平线机器人技术研发有限公司 用于校正模型训练和图像校正的方法和装置及电子设备
CN111062876B (zh) * 2018-10-17 2023-08-08 北京地平线机器人技术研发有限公司 用于校正模型训练和图像校正的方法和装置及电子设备
CN112861900A (zh) * 2019-11-28 2021-05-28 财团法人资讯工业策进会 影像系统及检测方法
CN112861900B (zh) * 2019-11-28 2023-08-01 财团法人资讯工业策进会 影像系统及检测方法

Also Published As

Publication number Publication date
WO2010055992A3 (ko) 2010-07-08
KR20100054929A (ko) 2010-05-26
KR100991146B1 (ko) 2010-11-01

Similar Documents

Publication Publication Date Title
Dev et al. CloudSegNet: A deep network for nychthemeron cloud image segmentation
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN111783748B (zh) 人脸识别方法、装置、电子设备及存储介质
CN105933617A (zh) 一种用于克服动态问题影响的高动态范围图像融合方法
CN111402306A (zh) 一种基于深度学习的微光/红外图像彩色融合方法及系统
CN112384946A (zh) 一种图像坏点检测方法及装置
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
JP7370922B2 (ja) 学習方法、プログラム及び画像処理装置
CN113205507A (zh) 一种视觉问答方法、系统及服务器
WO2010055992A2 (ko) 신경 회로망을 이용한 위성 영상 보정 방법 및 장치
CN110728718B (zh) 改进摄像机标定各参数的方法
CN113935917B (zh) 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法
CN113298177A (zh) 夜间图像着色方法、装置、介质和设备
CN116977880A (zh) 一种基于无人机图像的草地鼠洞检测方法
CN107341773A (zh) 一种多光谱图像的渐晕校正方法
CN111353412A (zh) 端到端的3D-CapsNet火焰检测方法及装置
CN115376184A (zh) 一种基于生成对抗网络的ir图像活体检测方法
CN113781375B (zh) 一种基于多曝光融合的车载视觉增强方法
CA2784817C (en) Filter setup learning for binary sensor
CN114529488A (zh) 图像融合方法、装置及设备、存储介质
CN114077887A (zh) 显示屏逐点校正前的处理方法、装置、设备及存储介质
CN112633158A (zh) 一种输电线路走廊车辆识别方法、装置、设备和存储介质
CN102667863B (zh) 使用二值化传感器确定颜色信息
CN112991200B (zh) 一种红外图像自适应增强的方法与装置
CN114494038B (zh) 基于改进yolox-s的靶面透视失真矫正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09826225

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09826225

Country of ref document: EP

Kind code of ref document: A2