KR101985241B1 - 위성 탑재 카메라의 영상 처리 시스템 및 방법 - Google Patents

위성 탑재 카메라의 영상 처리 시스템 및 방법 Download PDF

Info

Publication number
KR101985241B1
KR101985241B1 KR1020170148984A KR20170148984A KR101985241B1 KR 101985241 B1 KR101985241 B1 KR 101985241B1 KR 1020170148984 A KR1020170148984 A KR 1020170148984A KR 20170148984 A KR20170148984 A KR 20170148984A KR 101985241 B1 KR101985241 B1 KR 101985241B1
Authority
KR
South Korea
Prior art keywords
image
satellite
sensors
butting zone
butting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170148984A
Other languages
English (en)
Other versions
KR20190053030A (ko
Inventor
박종억
이승훈
이상규
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020170148984A priority Critical patent/KR101985241B1/ko
Publication of KR20190053030A publication Critical patent/KR20190053030A/ko
Application granted granted Critical
Publication of KR101985241B1 publication Critical patent/KR101985241B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 서로 인접하게 설치된 복수의 영상 센서를 이용하여 위성 영상 이미지를 생성하는 위성 탑재 카메라의 영상 처리 시스템 및 방법에 관한 것으로, 본 발명에 따른 시스템은 복수의 영상 센서로부터 제1 이미지 및 제2 이미지를 순차적으로 획득하는 이미지 획득부, 그리고 복수의 영상 센서 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 제1 이미지의 버팅존 영역을 제2 이미지를 이용하여 채우는 이미지 합성부를 포함한다. 본 발명에 의하면, 버팅존 영역이 커버된 고해상도 및 대용량의 위성 이미지를 전송 용량의 크기에 상관없이 지상으로 용이하게 전송할 수 있다.

Description

위성 탑재 카메라의 영상 처리 시스템 및 방법{Image Processing System and Method for Camera of Satellite Payload}
본 발명은 위성 탑재 카메라의 영상 처리 시스템 및 방법에 관한 것으로, 보다 자세하게는 복수의 영상 센서에서 촬영된 복수의 이미지를 조합하여 위성 영상 이미지를 생성하는 위성 탑재 카메라의 영상 처리 시스템 및 방법에 관한 것이다.
일반적으로, 위성의 구조는 크게 위성체와 탑재체로 구분되는데, 위성체는 위성의 시스템을 운영하기 위한 위성의 본체에 해당하고, 탑재체는 위성의 운용 목적에 따라 카메라, 통신 중계기, 과학 관측 장비 또는 기상 관측 장비 등이 탑재될 수 있다.
이러한 탑재체 중에서도 카메라는 위성체에 탑재되어 지상의 영상을 촬영하는 기능을 수행하며, 주로 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등과 같은 영상 센서를 사용할 수 있다.
그리고 위성 탑재 카메라는 우주 공간에서 발생 가능한 모든 경우의 고장에 대비하고 동작의 안정성을 확보하기 위하여 주센서 및 부센서를 사용하여 주센서 또는 부센서 중 하나에서 고장이 발생하는 경우에도 지상 관측의 임무 수행에 차질이 없도록 한다.
한편, 종래의 위성 탑재 카메라는 영상 센서의 크기가 제한됨에 따라 초점면의 크기가 제한되어 대용량의 영상 정보를 획득하기 어려운 문제점이 있었다. 왜냐하면 단순히 영상 센서의 크기를 크게 만드는 것만으로는 반도체 웨이퍼의 크기가 제한되어 불가능하기 때문이다.
이에 종래에는 복수 개의 영상 센서를 조합하여 대용량의 영상 정보를 획득하는 방식을 사용하였다.
도 1은 복수의 영상 센서가 조합된 형태를 보여주는 도면을 나타낸다.
도 1과 같이, 복수 개의 영상 센서를 묶어서 사용할 경우, A 영역과 같이, 두 개의 영상 센서가 맞닿는 부분에 영상의 미획득 영역인 버팅 존이 수십um~수mm까지 존재하는 문제점이 있었다.
예컨대, 1개의 픽셀이 5m라고 가정할 때, 영상 화소의 크기(Image Pixel Size)와 지상 공간 해상도(GSD)의 관계를 고려하여 버팅 존의 크기는 1Km의 지상 관측 폭에 해당되기 때문에 대략 200픽셀의 차이가 발생하고, 픽셀이 20um일 경우, 대략 4mm의 버팅 존이 발생하는 문제점이 있었다.
한국등록특허공보 제10-0359125호 (등록일 2002. 10. 17.)
따라서 본 발명이 해결하고자 하는 기술적 과제는 대용량의 이미지를 획득하기 위해 서로 인접하게 설치된 복수 개의 영상 센서에서 촬영된 이미지를 조합하여 사용할 경우, 복수의 영상 센서 간의 맞닿는 부분에 발생되는 영상의 미획득 영역인 버팅존 영역에 대하여 위성의 미세 흔들림이나 위성의 자세 제어를 통해 버팅존 영역에 대응하는 영상을 획득하여 커버할 수 있는 위성 탑재 카메라의 영상 처리 시스템 및 방법을 제공하는 것이다.
또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 서로 인접하게 설치된 복수의 영상 센서를 이용하여 위성 영상 이미지를 생성하는 위성 탑재 카메라의 영상 처리 시스템은 상기 복수의 영상 센서로부터 제1 이미지 및 제2 이미지를 순차적으로 획득하는 이미지 획득부, 그리고 상기 복수의 영상 센서 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 상기 제1 이미지의 버팅존 영역을 상기 제2 이미지를 이용하여 채우는 이미지 합성부를 포함한다.
상기 이미지 합성부는 상기 제1 이미지의 버팅존 영역을 상기 제1 이미지와 상기 제2 이미지의 비교를 통해 상기 제2 이미지로부터 추출하고, 상기 제1 이미지와 상기 추출된 상기 제1 이미지의 버팅존 영역을 합성하여 상기 위성 영상 이미지를 생성할 수 있다.
상기 생성된 위성 영상 이미지를 지상으로 전송하는 이미지 전송부를 더 포함할 수 있다.
상기 제1 이미지 및 상기 제2 이미지는 상기 복수의 영상 센서에서 촬영된 복수의 촬영 영상이 조합된 형태로 이루어질 수 있다.
상기 이미지 획득부는 상기 복수의 영상 센서에서 복수 회 촬영된 복수의 제2 이미지를 획득하고, 상기 이미지 합성부는 상기 제1 이미지의 버팅존 영역을 상기 제1 이미지와 상기 복수의 제2 이미지의 비교를 통해 상기 복수의 제2 이미지로부터 추출하고, 상기 제1 이미지와 상기 복수의 제2 이미지로부터 추출된 상기 제1 이미지의 버팅존 영역을 합성하여 상기 위성 영상 이미지를 생성할 수 있다.
상기 복수의 영상 센서의 촬영 각도를 조절하는 각도 조절부를 더 포함하고, 상기 이미지 획득부는 상기 촬영 각도가 조절된 상기 복수의 영상 센서로부터 상기 제2 이미지를 획득할 수 있다.
상기 복수의 영상 센서의 촬영 각도는 상기 제2 이미지로부터 상기 제1 이미지의 버팅존 영역을 획득하기 위한 각도일 수 있다.
한편, 본 발명의 실시예에 따른 서로 인접하게 설치된 복수의 영상 센서를 이용하여 위성 영상 이미지를 생성하는 위성 탑재 카메라의 영상 처리 방법은 상기 복수의 영상 센서로부터 제1 이미지를 획득하는 단계, 상기 복수의 영상 센서로부터 제2 이미지를 획득하는 단계, 그리고 상기 복수의 영상 센서 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 상기 제1 이미지의 버팅존 영역을 상기 제2 이미지를 이용하여 채우는 단계를 포함한다.
상기 복수의 영상 센서 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 상기 제1 이미지의 버팅존 영역을 상기 제2 이미지를 이용하여 채우는 단계는 상기 제1 이미지의 버팅존 영역을 상기 제1 이미지와 상기 제2 이미지의 비교를 통해 상기 제2 이미지로부터 추출하고, 상기 제1 이미지와 상기 추출된 상기 제1 이미지의 버팅존 영역을 합성하여 상기 위성 영상 이미지를 생성할 수 있다.
상기 생성된 위성 영상 이미지를 지상으로 전송하는 단계를 더 포함할 수 있다.
상기 복수의 영상 센서로부터 제2 이미지를 획득하는 단계는 상기 복수의 영상 센서에서 복수 회 촬영된 복수의 제2 이미지를 획득하고, 상기 복수의 영상 센서 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 상기 제1 이미지의 버팅존 영역을 상기 제2 이미지를 이용하여 채우는 단계는 상기 제1 이미지의 버팅존 영역을 상기 제1 이미지와 상기 복수의 제2 이미지의 비교를 통해 상기 복수의 제2 이미지로부터 추출하고, 상기 제1 이미지와 상기 복수의 제2 이미지로부터 추출된 상기 제1 이미지의 버팅존 영역을 합성하여 상기 위성 영상 이미지를 생성할 수 있다.
상기 복수의 영상 센서의 촬영 각도를 조절하는 단계를 더 포함하고, 상기 복수의 영상 센서로부터 제2 이미지를 획득하는 단계는 상기 촬영 각도가 조절된 상기 복수의 영상 센서로부터 상기 제2 이미지를 획득할 수 있다.
상기 복수의 영상 센서의 촬영 각도는 상기 제2 이미지로부터 상기 제1 이미지의 버팅존 영역을 획득하기 위한 각도일 수 있다.
이와 같이 본 발명의 실시예에 따른 위성 탑재 카메라의 영상 처리 시스템 및 방법에 따르면, 서로 인접하게 설치된 복수 개의 영상 센서에서 촬영된 이미지를 조합하여 사용할 경우, 복수의 영상 센서 간의 맞닿는 부분에 발생되는 영상의 미획득 영역인 버팅존 영역에 대하여 위성의 미세 흔들림이나 위성의 자세 제어를 통해 버팅존 영역에 대응하는 영상을 획득하여 커버할 수 있는 장점이 있다.
이에 따라, 버팅존 영역이 커버된 고해상도 및 대용량의 위성 이미지를 전송 용량의 크기에 상관없이 지상으로 용이하게 전송할 수 있는 장점이 있다.
한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.
도 1은 복수의 영상 센서가 조합된 형태를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 위성 탑재 카메라의 영상 처리 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 제2 이미지를 이용하여 제1 이미지의 버팅존 영역을 채우는 과정을 보여주는 예시도이다.
도 4는 본 발명의 다른 실시예에 따른 복수의 제2 이미지를 이용하여 제1 이미지의 버팅존 영역을 채우는 과정을 보여주는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 위성 탑재 카메라의 영상 처리 과정을 보여주는 동작 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 위성 탑재 카메라의 영상 처리 시스템의 구성도를 나타낸다.
도 2에 도시한 바와 같이, 위성 탑재 카메라의 영상 처리 시스템(1)은 이미지 획득부(100), 이미지 합성부(200), 각도 조절부(300) 및 이미지 전송부(400)를 포함하여 구성된다.
여기서 위성 탑재 카메라(50)는 복수의 영상 센서(55)가 조합된 형태로 이루어질 수 있으며, 복수의 영상 센서(55)는 도 1과 같이 서로 인접하게 설치되어 복수의 촬영 영상이 조합된 이미지를 생성할 수 있다. 즉 위성 탑재 카메라(50)는 여러 개의 영상 센서(55)를 묶어서 대용량의 위성 영상 이미지를 획득할 수 있도록 한다.
복수의 영상 센서(55)는 렌즈의 초점면에 모인 광 신호를 전기 신호로 변환하는 구성요소로서, CCD(Charge-coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서 등으로 이루어질 수 있으며, 광 신호에는 지상 관측 결과물인 이미지가 포함될 수 있다.
그리고 복수의 영상 센서(55)에서 생성된 이미지는 위성 탑재 카메라의 영상 처리 시스템(1)으로 전달될 수 있다.
이미지 획득부(100)는 복수의 영상 센서(55)로부터 제1 이미지 및 제2 이미지를 순차적으로 획득할 수 있다.
이미지 합성부(200)는 복수의 영상 센서(55) 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 제1 이미지의 버팅존 영역을 제2 이미지를 이용하여 채울 수 있다. 즉 이미지 합성부(200)는 제1 이미지의 버팅존 영역에 대응하는 영상을 제2 이미지로부터 추출한 후, 제2 이미지로부터 추출된 제1 이미지의 버팅존 영역에 대응하는 영상과 제1 이미지를 합성하여 위성 영상 이미지를 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 제2 이미지를 이용하여 제1 이미지의 버팅존 영역을 채우는 과정을 보여주는 예시도이다.
도 3에 도시한 바와 같이, 복수의 영상 센서(55)는 4개인 것을 예로 들어 설명하도록 한다. 제1 이미지(Image 1)는 4개의 영상 센서(55)에서 촬영된 4개의 촬영 영상(P1~P4)이 조합된 형태로 이루어질 수 있다. 예컨대, 제1 이미지는 4개의 영상 센서(55)가 동시에 촬영되거나 순차적으로 촬영된 4개의 촬영 영상이 조합된 형태일 수 있다.
제1 이미지(Image 1)에서 B 영역은 4개의 영상 센서(55)의 맞닿는 부분에 대응하여 영상이 획득되지 않은 버팅존 영역이라고 한다. 예컨대, 4개의 영상 센서(55)를 매우 인접하게 설치하더라도 4개의 영상 센서(55) 사이에는 빈틈이나 빈 공간이 발생할 수 있기 때문에 4개의 촬영 영상 사이에는 버팅존 영역이 '+'형태로 발생되는 것이다.
그리고 제2 이미지(Image 2)는 제1 이미지의 촬영 시점 이후에 촬영되어 획득되는 이미지로서, 위성의 미세 흔들림에 의하여 위성 탑재 카메라(50)에서도 미세 움직임이 발생하여 제1 이미지의 버팅존 영역에 해당되는 영상이 제2 이미지에서는 나타날 수 있게 된다.
이에 따라 이미지 합성부(200)는 복수의 영상 센서(55) 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 제1 이미지의 버팅존 영역을 제1 이미지와 제2 이미지의 비교를 통해 제2 이미지로부터 추출하고, 제2 이미지로부터 제1 이미지의 버팅존 영역에 대응하는 영상을 획득하여 채울 수 있다. 그리고 이미지 합성부(200)는 제1 이미지와, 제2 이미지로부터 추출된 제1 이미지의 버팅존 영역에 대응하는 영상을 합성하여 위성 영상 이미지를 생성할 수 있다.
예컨대, 정지궤도 위성의 경우, 위성의 미세 흔들림 등에 의해 초점면에 맺히는 영상에서도 지상관측폭 대략 1Km 이상으로 흔들림이 발생하게 된다. 이에 흔들림이 발생된 제2 이미지를 이용하여 제1 이미지의 버팅존 영역에 해당하는 영상을 커버할 수 있게 된다.
이와 같이, 이미지 합성부(200)는 위성의 움직임보다 빠른 영상 촬영을 수행하여 획득된 제2 이미지를 이미지 프로세싱을 통해 제1 이미지의 버팅존 영역을 커버하여 최종 위성 영상 이미지를 생성할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 복수의 제2 이미지를 이용하여 제1 이미지의 버팅존 영역을 채우는 과정을 보여주는 예시도이다.
도 4를 참조하면, 이미지 획득부(100)는 제1 이미지와 복수의 영상 센서(55)에서 복수 회 촬영된 복수의 제2 이미지를 획득할 수 있고, 이미지 합성부(200)는 제1 이미지의 버팅존 영역을 복수의 제2 이미지를 이용하여 채울 수 있다.
예컨대, 이미지 획득부(100)는 4개의 영상 센서(55)로부터 제1 이미지를 획득한 후, 복수의 제2 이미지를 순차적으로 획득할 수 있다. 이때 복수의 제2 이미지(Image 2)는 위성의 미세 흔들림에 의하여 미세 움직임의 발생 시 4개의 영상 센서(55)에서 촬영된 영상이기 때문에 제1 이미지의 버팅존 영역에 대응하는 영상이 복수의 제2 이미지에서는 나타날 수 있다.
이에 따라, 이미지 합성부(200)는 제1 이미지의 버팅존 영역을 제1 이미지와 복수의 제2 이미지의 비교를 통해 추출하고, 복수의 제2 이미지에서 나타난 제1 이미지의 버팅존 영역들에 대응하는 영상들을 이미지 프로세싱을 통해 조합하는 과정을 통해 채울 수 있다.
이와 같이, 복수의 제2 이미지를 이용하여 제1 이미지의 버팅존 영역을 채울 수 있기 때문에 도 3의 방식에 비해 버팅존 영역에 대응하는 영상의 정확도를 높일 수 있다.
도 1을 다시 참조하면, 각도 조절부(300)는 복수의 영상 센서(55)의 촬영 각도를 조절할 수 있다.
보다 자세하게는, 각도 조절부(300)는 제2 이미지를 이용하여 제1 이미지의 버팅존 영역을 획득하기 위하여 제1 이미지의 버팅존 영역에 대응하는 영역이 제2 이미지에서 나타나도록 복수의 영상 센서(55)의 촬영 각도를 조절할 수 있다.
이를 위하여 각도 조절부(300)는 복수의 영상 센서(55)의 촬영 각도에 대응하는 위성(40)의 자세를 산출하고, 산출된 위성(40)의 자세에 따라 위성(40)의 위치를 조정하여 복수의 영상 센서(55)의 촬영 각도를 조절할 수 있다.
이미지 획득부(100)는 촬영 각도가 조절된 복수의 영상 센서(55)로부터 제2 이미지를 획득하고, 이미지 합성부(200)는 제1 이미지의 버팅존 영역을 제2 이미지를 이용하여 채울 수 있다. 즉 제1 이미지와 제2 이미지를 비교하여 제2 이미지로부터 제1 이미지의 버팅존 영역에 대응하는 영상을 추출하고, 추출된 제1 이미지의 버팅존 영역에 대응하는 영상과 제1 이미지를 합성하여 위성 촬영 이미지를 생성할 수 있다.
이와 같이, 위성의 움직임을 고려한 위성의 자세 제어 값을 활용하여 제1 이미지의 버팅존 영역에 대응하는 제2 이미지의 영상과 제1 이미지를 중첩함으로써 제1 이미지의 버팅존 영역을 처리할 수 있다.
이미지 전송부(400)는 이미지 합성부(200)에서 생성된 고해상도의 대용량 위성 영상 이미지를 지상으로 전송할 수 있다.
이하에서는 본 발명의 일 실시예에 따른 위성 탑재 카메라의 영상 처리 방법에 대하여 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 위성 탑재 카메라의 영상 처리 과정을 보여주는 동작 흐름도를 나타낸다.
도 5에 도시한 바와 같이, 복수의 영상 센서로부터 제1 이미지를 획득할 수 있다(S500). 제1 이미지(Image 1)는 복수의 영상 센서에서 촬영된 복수의 촬영 영상이 조합된 형태로 이루어질 수 있다. 예컨대, 제1 이미지는 4개의 영상 센서가 동시에 촬영되거나 순차적으로 촬영된 4개의 촬영 영상이 조합된 형태일 수 있다.
도 3의 제1 이미지(Image 1)에서 B 영역은 4개의 영상 센서의 맞닿는 부분에 대응하여 영상이 획득되지 않은 버팅존 영역이라고 한다. 예컨대, 4개의 영상 센서를 매우 인접하게 설치하더라도 4개의 영상 센서 사이에는 빈틈이나 빈 공간이 발생할 수 있기 때문에 4개의 촬영 영상 사이에는 버팅존 영역이 '+'형태로 발생되는 것이다.
다음으로, 복수의 영상 센서로부터 제2 이미지를 획득할 수 있다(S510). 제2 이미지(Image 2)는 제1 이미지의 촬영 시점 이후에 촬영되어 획득되는 이미지로서, 위성의 미세 흔들림에 의하여 위성 탑재 카메라에서도 미세 움직임이 발생하여 제1 이미지의 버팅존 영역에 해당되는 영상이 제2 이미지에서는 나타날 수 있게 된다.
이에 따라 복수의 영상 센서 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 제1 이미지의 버팅존 영역을 제2 이미지를 이용하여 채움으로써 위성 영상 이미지를 생성할 수 있다(S520).
즉 이미지 합성부는 복수의 영상 센서 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 제1 이미지의 버팅존 영역을 제1 이미지와 제2 이미지의 비교를 통해 추출하고, 제1 이미지의 버팅존 영역을 제2 이미지로부터 획득하여 채울 수 있다. 그리고 이미지 합성부는 제1 이미지와, 제2 이미지로부터 추출된 제1 이미지의 버팅존 영역에 대응하는 영상을 합성하여 위성 영상 이미지를 생성할 수 있다.
한편 이미지 획득부는 제1 이미지와 복수의 영상 센서에서 복수 회 촬영된 복수의 제2 이미지를 획득할 수 있고, 이미지 합성부는 제1 이미지의 버팅존 영역을 복수의 제2 이미지를 이용하여 채울 수 있다.
예컨대, 이미지 획득부는 4개의 영상 센서로부터 제1 이미지를 획득한 후, 복수의 제2 이미지를 순차적으로 획득할 수 있다. 이때 복수의 제2 이미지(Image 2)는 위성의 미세 흔들림에 의하여 미세 움직임의 발생 시 4개의 영상 센서에서 촬영된 영상이기 때문에 제1 이미지의 버팅존 영역에 대응하는 영상이 복수의 제2 이미지에서는 나타날 수 있다.
이에 따라, 이미지 합성부는 제1 이미지의 버팅존 영역을 제1 이미지와 복수의 제2 이미지의 비교를 통해 추출하고, 복수의 제2 이미지에서 나타난 제1 이미지의 버팅존 영역들에 대응하는 영상들을 이미지 프로세싱을 통해 조합하는 과정을 통해 채울 수 있다.
이와 같이, 복수의 제2 이미지를 이용하여 제1 이미지의 버팅존 영역을 채울 수 있기 때문에 버팅존 영역에 대응하는 영상의 정확도를 높일 수 있다.
그리고 각도 조절부는 복수의 영상 센서의 촬영 각도를 조절할 수 있다.
보다 자세하게는, 각도 조절부는 제2 이미지를 이용하여 제1 이미지의 버팅존 영역을 획득하기 위하여 제1 이미지의 버팅존 영역에 대응하는 영역이 제2 이미지에서 촬영되도록 복수의 영상 센서의 촬영 각도를 조절할 수 있다.
이를 위하여 각도 조절부는 복수의 영상 센서의 촬영 각도에 대응하는 위성의 자세를 산출하고, 산출된 위성의 자세에 따라 위성의 위치를 조정하여 복수의 영상 센서의 촬영 각도를 조절할 수 있다.
이미지 획득부는 촬영 각도가 조절된 복수의 영상 센서로부터 제2 이미지를 획득하고, 이미지 합성부는 제1 이미지의 버팅존 영역을 제2 이미지를 이용하여 채울 수 있다. 즉 제1 이미지와 제2 이미지를 비교하여 제2 이미지로부터 제1 이미지의 버팅존 영역에 대응하는 영상을 추출하고, 추출된 제1 이미지의 버팅존 영역에 대응하는 영상과 제1 이미지를 합성하여 위성 촬영 이미지를 생성할 수 있다.
이와 같이, 위성의 움직임을 고려한 위성의 자세 제어 값을 활용하여 제1 이미지의 버팅존 영역에 대응하는 제2 이미지의 영상과 제1 이미지를 중첩함으로써 제1 이미지의 버팅존 영역을 처리할 수 있다.
그 다음으로 생성된 위성 영상 이미지를 지상으로 전송할 수 있다(S530).
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 위성 탑재 카메라의 영상 처리 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
1: 위성 탑재 카메라의 영상 처리 시스템
100: 이미지 획득부
200: 이미지 합성부
300: 각도 조절부
400: 이미지 전송부

Claims (13)

  1. 서로 인접하게 설치된 복수의 영상 센서를 이용하여 위성 영상 이미지를 생성하는 위성 탑재 카메라의 영상 처리 시스템에 있어서,
    상기 복수의 영상 센서로부터 제1 이미지 및 제2 이미지를 순차적으로 획득하는 이미지 획득부,
    상기 복수의 영상 센서 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 상기 제1 이미지의 버팅존 영역을 상기 제2 이미지를 이용하여 채우는 이미지 합성부, 그리고
    상기 제1 이미지의 버팅존 영역에 대응하는 영역이 상기 제2 이미지에서 나타나도록 상기 복수의 영상 센서의 촬영 각도를 조절하되, 상기 복수의 영상 센서의 촬영 각도에 대응하는 위성의 자세를 산출하고, 상기 산출된 위성의 자세에 따라 상기 위성의 위치를 조정하여 상기 복수의 영상 센서의 촬영 각도를 조절하는 각도 조절부
    를 포함하고,
    상기 이미지 합성부는, 위성의 흔들림에 의한 상기 위성 탑재 카메라에서 발생하는 움직임에 의해 상기 제1 이미지의 버팅존 영역에 해당하는 영상이 상기 제2 이미지에 나타나면, 상기 제2 이미지를 이용하여 상기 제1 이미지의 버팅존 영역을 채우며,
    상기 이미지 획득부는, 상기 촬영 각도가 조절된 상기 복수의 영상 센서로부터 상기 제2 이미지를 획득하며,
    상기 복수의 영상 센서의 촬영 각도는, 상기 제2 이미지로부터 상기 제1 이미지의 버팅존 영역을 획득하기 위한 각도인 위성 탑재 카메라의 영상 처리 시스템.
  2. 제 1 항에서,
    상기 이미지 합성부는,
    상기 제1 이미지의 버팅존 영역을 상기 제1 이미지와 상기 제2 이미지의 비교를 통해 상기 제2 이미지로부터 추출하고, 상기 제1 이미지와 상기 추출된 상기 제1 이미지의 버팅존 영역을 합성하여 상기 위성 영상 이미지를 생성하는 위성 탑재 카메라의 영상 처리 시스템.
  3. 제 2 항에서,
    상기 생성된 위성 영상 이미지를 지상으로 전송하는 이미지 전송부를 더 포함하는 위성 탑재 카메라의 영상 처리 시스템.
  4. 제 1 항에서,
    상기 제1 이미지 및 상기 제2 이미지는,
    상기 복수의 영상 센서에서 촬영된 복수의 촬영 영상이 조합된 형태로 이루어지는 위성 탑재 카메라의 영상 처리 시스템.
  5. 제 1 항에서,
    상기 이미지 획득부는,
    상기 복수의 영상 센서에서 복수 회 촬영된 복수의 제2 이미지를 획득하고,
    상기 이미지 합성부는,
    상기 제1 이미지의 버팅존 영역을 상기 제1 이미지와 상기 복수의 제2 이미지의 비교를 통해 상기 복수의 제2 이미지로부터 추출하고, 상기 제1 이미지와 상기 복수의 제2 이미지로 추출된 제1 이미지의 버팅존 영역을 합성하여 상기 위성 영상 이미지를 생성하는 위성 탑재 카메라의 영상 처리 시스템.
  6. 삭제
  7. 삭제
  8. 서로 인접하게 설치된 복수의 영상 센서를 이용하여 위성 영상 이미지를 생성하는 위성 탑재 카메라의 영상 처리 방법에 있어서,
    상기 복수의 영상 센서로부터 제1 이미지를 획득하는 단계,
    상기 복수의 영상 센서로부터 제2 이미지를 획득하는 단계, 그리고
    상기 복수의 영상 센서 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 상기 제1 이미지의 버팅존 영역을 상기 제2 이미지를 이용하여 채우는 단계
    를 포함하고,
    상기 제1 이미지의 버팅존 영역에 대응하는 영역이 상기 제2 이미지에서 나타나도록 상기 복수의 영상 센서의 촬영 각도를 조절하되, 상기 복수의 영상 센서의 촬영 각도에 대응하는 위성의 자세를 산출하고, 상기 산출된 위성의 자세에 따라 상기 위성의 위치를 조정하여 상기 복수의 영상 센서의 촬영 각도를 조절하는 단계를 더 포함하고,
    위성의 흔들림에 의한 상기 위성 탑재 카메라에서 발생하는 움직임에 의해 상기 제1 이미지의 버팅존 영역에 해당하는 영상이 상기 제2 이미지에 나타나면, 상기 제2 이미지를 이용하여 상기 제1 이미지의 버팅존 영역을 채우며,
    상기 복수의 영상 센서로부터 제2 이미지를 획득하는 단계는, 상기 촬영 각도가 조절된 상기 복수의 영상 센서로부터 상기 제2 이미지를 획득하며,
    상기 복수의 영상 센서의 촬영 각도는, 상기 제2 이미지로부터 상기 제1 이미지의 버팅존 영역을 획득하기 위한 각도인 위성 탑재 카메라의 영상 처리 방법.
  9. 제 8 항에서,
    상기 복수의 영상 센서 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 상기 제1 이미지의 버팅존 영역을 상기 제2 이미지를 이용하여 채우는 단계는,
    상기 제1 이미지의 버팅존 영역을 상기 제1 이미지와 상기 제2 이미지의 비교를 통해 상기 제2 이미지로부터 추출하고, 상기 제1 이미지와 상기 추출된 상기 제1 이미지의 버팅존 영역을 합성하여 상기 위성 영상 이미지를 생성하는 위성 탑재 카메라의 영상 처리 방법.
  10. 제 9 항에서,
    상기 생성된 위성 영상 이미지를 지상으로 전송하는 단계를 더 포함하는 위성 탑재 카메라의 영상 처리 방법.
  11. 제 8 항에서,
    상기 복수의 영상 센서로부터 제2 이미지를 획득하는 단계는,
    상기 복수의 영상 센서에서 복수 회 촬영된 복수의 제2 이미지를 획득하고,
    상기 복수의 영상 센서 간의 맞닿는 부분에 대응하여 영상이 획득되지 않은 상기 제1 이미지의 버팅존 영역을 상기 제2 이미지를 이용하여 채우는 단계는,
    상기 제1 이미지의 버팅존 영역을 상기 제1 이미지와 상기 복수의 제2 이미지의 비교를 통해 상기 복수의 제2 이미지로부터 추출하고, 상기 제1 이미지와 상기 복수의 제2 이미지로부터 추출된 상기 제1 이미지의 버팅존 영역을 합성하여 상기 위성 영상 이미지를 생성하는 위성 탑재 카메라의 영상 처리 방법.


  12. 삭제
  13. 삭제
KR1020170148984A 2017-11-09 2017-11-09 위성 탑재 카메라의 영상 처리 시스템 및 방법 Active KR101985241B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170148984A KR101985241B1 (ko) 2017-11-09 2017-11-09 위성 탑재 카메라의 영상 처리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170148984A KR101985241B1 (ko) 2017-11-09 2017-11-09 위성 탑재 카메라의 영상 처리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190053030A KR20190053030A (ko) 2019-05-17
KR101985241B1 true KR101985241B1 (ko) 2019-06-03

Family

ID=66678404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170148984A Active KR101985241B1 (ko) 2017-11-09 2017-11-09 위성 탑재 카메라의 영상 처리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101985241B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011223A (ja) * 2008-06-27 2010-01-14 Sony Corp 信号処理装置、信号処理方法、プログラム及び記録媒体
KR101214582B1 (ko) 2012-08-30 2012-12-24 에스제이공간정보(주) 항공촬영 이미지의 이해도를 높인 영상이미지 편집처리 시스템
KR101252680B1 (ko) 2012-11-28 2013-04-08 네이버시스템(주) 디지털 항공이미지를 이용한 영상도화시스템
KR101547951B1 (ko) 2014-10-15 2015-08-27 경일대학교산학협력단 고해상도 지도를 제작하기 위한 풍선 위성 및 이를 위한 방법
JP2016115190A (ja) * 2014-12-16 2016-06-23 株式会社日立ソリューションズ 画像生成システム及び画像生成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100359125B1 (ko) 2000-12-19 2002-11-04 한국항공우주연구원 위성 탑재용 선형 고체촬상소자 카메라의 영상데이터처리방법
KR20020054215A (ko) * 2000-12-27 2002-07-06 오길록 멀티 위성 영상을 이용한 영상 합성 장치 및 그 방법
KR100787153B1 (ko) * 2005-12-26 2007-12-21 한국항공우주연구원 양방향 영상촬영이 가능한 위성탑재용 광학카메라 시스템
KR101047477B1 (ko) * 2009-12-31 2011-07-08 한국항공우주연구원 위성체 영상 제어 시스템
KR101569354B1 (ko) * 2014-01-08 2015-11-17 인하대학교 산학협력단 영상센서를 이용한 위성항법시스템 신호의 오차 보정 방법 및 장치
KR101685432B1 (ko) * 2014-12-10 2016-12-13 한국항공우주연구원 위성 카메라의 손상된 이미지센서를 이용한 이미지 생성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011223A (ja) * 2008-06-27 2010-01-14 Sony Corp 信号処理装置、信号処理方法、プログラム及び記録媒体
KR101214582B1 (ko) 2012-08-30 2012-12-24 에스제이공간정보(주) 항공촬영 이미지의 이해도를 높인 영상이미지 편집처리 시스템
KR101252680B1 (ko) 2012-11-28 2013-04-08 네이버시스템(주) 디지털 항공이미지를 이용한 영상도화시스템
KR101547951B1 (ko) 2014-10-15 2015-08-27 경일대학교산학협력단 고해상도 지도를 제작하기 위한 풍선 위성 및 이를 위한 방법
JP2016115190A (ja) * 2014-12-16 2016-06-23 株式会社日立ソリューションズ 画像生成システム及び画像生成方法

Also Published As

Publication number Publication date
KR20190053030A (ko) 2019-05-17

Similar Documents

Publication Publication Date Title
CN108171733B (zh) 使两个或更多个三维3d点云配准的方法
JP5027746B2 (ja) 位置測定方法、位置測定装置、およびプログラム
JP5027747B2 (ja) 位置測定方法、位置測定装置、およびプログラム
US8390728B2 (en) Image processing apparatus and method
JP4181800B2 (ja) ステレオ画像を用いた地形計測システム及び記憶媒体並びにプログラム
US7149346B2 (en) Three-dimensional database generating system and method for generating three-dimensional database
EP3447730A1 (en) Three-dimensional reconstruction method
WO2010001940A1 (ja) 位置測定方法、位置測定装置、およびプログラム
US10602067B2 (en) Image processing apparatus, image processing method, image pickup apparatus and storage medium that calculates a correction quality to correct a shake of viewpoint images and a mixture ratio for generation of a virtual viewpoint when generating the virtual viewpoint image using an amount of change in position of an imaging unit
JP2015073185A (ja) 画像処理装置、画像処理方法およびプログラム
AU2022231762B2 (en) A bundle adjustment system
JP6021489B2 (ja) 撮像装置、画像処理装置およびその方法
CN110532853B (zh) 遥感超时相数据的分类方法及装置
Zheng et al. Self-calibration adjustment of CBERS-02B long-strip imagery
KR101985241B1 (ko) 위성 탑재 카메라의 영상 처리 시스템 및 방법
JP5602530B2 (ja) 目視検査装置及び目視検査用映像の作成方法
KR101249369B1 (ko) 전방위 영상 광속 조정 장치 및 방법
WO2021119982A1 (zh) 图像传输系统及方法、控制装置、可移动平台
Barbieux et al. Correction of airborne pushbroom images orientation using bundle adjustment of frame images
Wu et al. Geo-registration and mosaic of UAV video for quick-response to forest fire disaster
JP2010187194A (ja) 画像処理装置、撮像装置および画像処理方法
Dohr et al. Image motion compensation–the vexcel approach
KR101323099B1 (ko) 모자이크 영상 생성 장치
JP5409451B2 (ja) ３次元変化検出装置
CN114586335A (zh) 图像处理装置、图像处理方法、程序及记录介质

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171109

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181115

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190519

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190528

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190528

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220321

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230313

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240313

Start annual number: 6

End annual number: 6