KR101144660B1 - 위성 검출기 경계 부분의 불연속성을 보정하기 위한 방법 및 시스템 - Google Patents

위성 검출기 경계 부분의 불연속성을 보정하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR101144660B1
KR101144660B1 KR1020100136596A KR20100136596A KR101144660B1 KR 101144660 B1 KR101144660 B1 KR 101144660B1 KR 1020100136596 A KR1020100136596 A KR 1020100136596A KR 20100136596 A KR20100136596 A KR 20100136596A KR 101144660 B1 KR101144660 B1 KR 101144660B1
Authority
KR
South Korea
Prior art keywords
boundary
junction region
satellite image
image
region
Prior art date
Application number
KR1020100136596A
Other languages
English (en)
Inventor
최명진
장연욱
채태병
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020100136596A priority Critical patent/KR101144660B1/ko
Application granted granted Critical
Publication of KR101144660B1 publication Critical patent/KR101144660B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 방법은 제1 위성 영상과 제2 위성 영상의 접합 영역에서 상기 제1 위성 영상의 화질이 상기 제2 위성 영상보다 좋은 영역을 제1 접합 영역으로 선택하고, 상기 제2 위성 영상의 화질이 상기 제1 위성 영상보다 좋은 영역을 제2 접합 영역으로 선택하는 단계, 상기 제1 접합 영역에 대해 폐루프를 구성하는 경계 부분 중에서 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분의 경계 조건은 상기 제2 위성 영상에서 구하고, 상기 제1 접합 영역에 대해 폐루프를 구성하는 경계 부분 중 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분을 제외한 나머지 경계 부분의 경계 조건은 상기 제1 위성 영상에서 구하여 PIC(Poisson Image Cloning) 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하는 단계, 그리고 상기 제2 접합 영역에 대해 폐루프를 구성하는 경계 부분 중에서 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분의 경계 조건은 상기 제1 위성 영상에서 구하고, 상기 제2 접합 영역에 대해 폐루프를 구성하는 경계 부분 중에서 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분을 제외한 나머지 경계 부분의 경계 조건은 상기 제2 위성 영상에서 구하여 PIC 알고리즘을 이용한 인터폴레이션을 수행하는 단계를 포함한다.

Description

위성 검출기 경계 부분의 불연속성을 보정하기 위한 방법 및 시스템{Method and System for Correcting Unequal Conversion Characteristic of Satellite Detector}
본 발명은 위성 검출기 경계 부분의 불연속성을 보정하기 위한 방법 및 시스템에 관한 것으로, 보다 자세하게는 위성 영상의 경계를 매끄럽게 접합하는 위성 영상 복원 방법 및 시스템에 관한 것이다.
고화질의 대형 위성 영상은 그 자체로 고가에 수출이 가능하여 경제성이 매우 높다. 그런데 위성 영상은 경계부에서 극심한 화질 열화를 보이므로 한 영상의 경계와 다른 영상의 경계를 매끄럽게 접합하는 것은 상당히 어려운 문제이다.
위성 영상의 연결 부위 화질 열화의 주된 원인은 영상의 가장자리로 갈수록 그 밝기가 급격히 어두워지기 때문인데, 이는 촬영 디바이스인 CCD(Charge Coupled Device)의 비선형적인 응답 특성에 기인한다. CCD의 응답 특성을 측정하면 어느 정도 화질 열화를 보정할 수 있는데 NUC(Nun Uniformity Correction) 기법이 이용될 수 있다. NUC 기법은 사전에 측정한 CCD 응답 특성에 기초하여 보정에 필요한 계수들을 룩업 테이블 형태로 저장하고 있다가 입력 영상을 테이블 값을 사용해서 간단하게 보정하는 방법이다. 도 1은 NUC 기법을 통해 보정한 위성 접합 영상의 예를 나타낸다. 도 1을 참고하면, NUC 적용으로 경계부의 극심한 화질 열화는 어느 정도 해결되지만 연결부에 이음매(seam)가 보이는 문제는 여전히 남아있다.
따라서 본 발명이 해결하고자 하는 기술적 과제는 위성 영상을 결합할 때 영상의 경계를 매끄럽게 접합할 수 있는 위성 검출기 경계 부분의 불연속성을 보정하기 위한 방법 및 시스템을 제공하는 것이다.
상기한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 위성 영상 복원 방법은 제1 위성 영상과 제2 위성 영상의 접합 영역에서 상기 제1 위성 영상의 화질이 상기 제2 위성 영상보다 좋은 영역을 제1 접합 영역으로 선택하고, 상기 제2 위성 영상의 화질이 상기 제1 위성 영상보다 좋은 영역을 제2 접합 영역으로 선택하는 단계, 상기 제1 위성 영상에서 상기 제1 접합 영역으로 선택된 영역의 경계 부분 중에서 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분의 경계 조건은 상기 제2 위성 영상에서 구하고, 상기 제1 위성 영상에서 상기 제1 접합 영역으로 선택된 영역의 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분을 제외한 나머지 경계 부분의 경계 조건은 상기 제1 위성 영상에서 구하여 PIC(Poisson Image Cloning) 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하는 단계, 그리고 상기 제2 위성 영상에서 상기 제2 접합 영역으로 선택된 영역의 경계 부분 중에서 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분의 경계 조건은 상기 제1 위성 영상에서 구하고, 상기 제2 위성 영상에서 상기 제2 접합 영역으로 선택된 영역의 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분을 제외한 나머지 경계 부분의 경계 조건은 상기 제2 위성 영상에서 구하여 PIC 알고리즘을 이용한 인터폴레이션을 수행하는 단계를 포함한다.
상기 제1 접합 영역 및 상기 제2 접합 영역을 각각 미리 정해진 크기의 블록 단위로 나누어 상기 PIC 알고리즘을 이용한 인터폴레이션을 수행할 수 있다.
상기 제1 접합 영역 및 상기 제2 접합 영역에 대한 PIC 알고리즘을 이용한 인터폴레이션 수행 전에 상기 제1 접합 영역과 상기 제2 접합 영역의 경계에 해당하는 라인에서 제1 위성 영상 및 제2 위성 영상의 휘도 평균과 분산 값을 측정하여 휘도 재맵핑(Luminance Remapping)을 수행하는 단계를 더 포함할 수 있다.
상기한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 위성 영상 복원 방법은 제1 위성 영상과 제2 위성 영상의 접합 영역에서 상기 제1 위성 영상의 화질이 상기 제2 위성 영상보다 좋은 영역을 제1 접합 영역으로 선택하고, 상기 제2 위성 영상의 화질이 상기 제1 위성 영상보다 좋은 영역을 제2 접합 영역으로 선택하는 단계, 상기 제1 접합 영역 및 상기 제2 접합 영역을 각각 미리 정해진 크기의 블록 단위로 나누는 단계, 상기 각 블록에 대해, 상기 각 블록이 속한 위성 영상에서 추출한 'ㄷ' 자 모양의 경계와 상기 각 블록이 속하지 않은 위성 영상에서 추출한 '｜' 자 모양 경계가 만나는 점에서 불연속점이 생기는 문제를 해결하기 위해, 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인에 대해서 왼쪽 끝점과 오른쪽 끝점을 각각 경계 조건으로 설정하되, 상기 왼쪽 끝과 오른쪽 끝점 중에서 상기 '｜' 자 모양 경계와 만나는 점의 경계 조건은 상기 '｜' 자 모양 경계의 경계 조건으로 설정하고, 상기 블록 경계 위쪽과 아래쪽 라인의 내부를 상기 블록 경계 위쪽과 아래쪽 라인의 그라디언트를 사용하여 채워주는 1차원 PIC(Poisson Image Cloning) 알고리즘을 수행하는 단계, 상기 각 블록 중에서 상기 제1 접합 영역에 속하는 블록에 대해서는, 상기 제2 위성 영상에서 구해진 상기 '｜' 자 모양 경계의 경계 조건, 상기 1차원 PIC 알고리즘을 통해 내부가 채워진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인의 경계 조건 및 상기 제1 위성 영상에서 구해진 상기 'ㄷ' 자 모양 경계의 나머지 부분의 경계 조건을 이용하여 PIC 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하는 단계, 그리고 상기 각 블록 중에서 상기 제2 접합 영역에 속하는 블록에 대해서는, 상기 제1 위성 영상에서 구해진 상기 '｜' 자 모양 경계의 경계 조건, 상기 1차원 PIC 알고리즘을 통해 내부가 채워진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인의 경계 조건 및 상기 제2 위성 영상에서 구해진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인을 제외한 나머지 부분의 경계 조건을 이용하여 PIC 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에 실행시키기 위한 프로그램을 기록한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 위성 영상 복원 시스템은, 제1 위성 영상과 제2 위성 영상의 접합 영역에서 상기 제1 위성 영상의 화질이 상기 제2 위성 영상보다 좋은 영역을 제1 접합 영역으로 선택하고, 상기 제2 위성 영상의 화질이 상기 제1 위성 영상보다 좋은 영역을 제2 접합 영역으로 선택하고, 상기 제1 위성 영상에서 상기 제1 접합 영역으로 선택된 영역의 경계 부분 중에서 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분의 경계 조건은 상기 제2 위성 영상에서 구하고, 상기 제1 위성 영상에서 상기 제1 접합 영역으로 선택된 영역의 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분을 제외한 나머지 경계 부분의 경계 조건은 상기 제1 위성 영상에서 구하여 PIC(Poisson Image Cloning) 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하며, 상기 제2 위성 영상에서 상기 제2 접합 영역으로 선택된 영역의 경계 부분 중에서 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분의 경계 조건은 상기 제1 위성 영상에서 구하고, 상기 제2 위성 영상에서 상기 제2 접합 영역으로 선택된 영역의 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분을 제외한 나머지 경계 부분의 경계 조건은 상기 제2 위성 영상에서 구하여 PIC 알고리즘을 이용한 인터폴레이션을 수행하는 PIC 처리부를 포함한다.
상기 PIC 처리부는, 상기 제1 접합 영역 및 상기 제2 접합 영역을 각각 미리 정해진 크기의 블록 단위로 나누어 상기 PIC 알고리즘을 이용한 인터폴레이션을 수행할 수 있다.
상기 제1 접합 영역 및 상기 제2 접합 영역에 대한 PIC 알고리즘을 이용한 인터폴레이션 수행 전에 상기 제1 접합 영역과 상기 제2 접합 영역의 경계에 해당하는 라인에서 제1 위성 영상 및 제2 위성 영상의 휘도 평균과 분산 값을 측정하여 휘도 재맵핑(Luminance Remapping)을 수행하는 휘도 재맵핑부를 더 포함할 수 있다.
상기한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 위성 영상 복원 시스템은, 제1 위성 영상과 제2 위성 영상의 접합 영역에서 상기 제1 위성 영상의 화질이 상기 제2 위성 영상보다 좋은 영역을 제1 접합 영역으로 선택하고, 상기 제2 위성 영상의 화질이 상기 제1 위성 영상보다 좋은 영역을 제2 접합 영역으로 선택하며, 상기 제1 접합 영역 및 상기 제2 접합 영역을 각각 미리 정해진 크기의 블록 단위로 나누고, 상기 각 블록에 대해, 상기 각 블록이 속한 위성 영상에서 추출한 'ㄷ' 자 모양의 경계와 상기 각 블록이 속하지 않은 위성 영상에서 추출한 '｜' 자 모양 경계가 만나는 점에서 불연속점이 생기는 문제를 해결하기 위해, 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인에 대해서 왼쪽 끝점과 오른쪽 끝점을 각각 경계 조건으로 설정하되, 상기 왼쪽 끝과 오른쪽 끝점 중에서 상기 '｜' 자 모양 경계와 만나는 점의 경계 조건은 상기 '｜' 자 모양 경계의 경계 조건으로 설정하고, 상기 블록 경계 위쪽과 아래쪽 라인의 내부를 상기 블록 경계 위쪽과 아래쪽 라인의 그라디언트를 사용하여 채워주는 1차원 PIC(Poisson Image Cloning) 알고리즘을 수행하며, 상기 각 블록 중에서 상기 제1 접합 영역에 속하는 블록에 대해서는, 상기 제2 위성 영상에서 구해진 상기 '｜' 자 모양 경계의 경계 조건, 상기 1차원 PIC 알고리즘을 통해 내부가 채워진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인의 경계 조건 및 상기 제1 위성 영상에서 구해진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인을 제외한 나머지 부분의 경계 조건을 이용하여 PIC 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하고, 상기 각 블록 중에서 상기 제2 접합 영역에 속하는 블록에 대해서는, 상기 제1 위성 영상에서 구해진 상기 '｜' 자 모양 경계의 경계 조건, 상기 1차원 PIC 알고리즘을 통해 내부가 채워진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인의 경계 조건 및 상기 제2 위성 영상에서 구해진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인을 제외한 나머지 부분의 경계 조건을 이용하여 PIC 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하는 영상 접합부를 포함할 수 있다.
삭제
삭제
삭제
삭제
본 발명에 의하면, 위성 영상을 결합할 때 영상의 경계를 매끄럽게 접합할 수 있다. 특히 블록 PIC를 수행하면 연산 시간을 크게 단축할 수 있다. 또한 경계 조건의 불연속면을 해결하기 위한 방법인 1-차원 PIC나 휘도 재맵핑을 적용하면 경계 조건의 불연속에 기인하는 블록 아티팩트를 제거할 수 있다.
도 1은 NUC 기법을 통해 보정한 위성 접합 영상의 예를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 위성 영상 복원 시스템을 설명하기 위해 제공되는 블록도이다.
도 3은 본 발명에 따른 영상 접합 처리부에서 위성 영상 경계 접합에 사용하는 PIC 알고리즘을 설명하기 위해 제공되는 도면이다.
도 4는 위성 검출기의 Pan2-Pan4 및 Pan3-Pan5의 접합 부분에 PIC 기법을 적용하는 경우를 설명하기 위해 제공되는 도면이다.
도 5a는 본 발명의 일 실시예에 따른 블록 PIC에서 블록 별 경계 조건 설정을 예시한 도면이고, 도 5b는 본 발명의 일 실시예에 따른 블록 PIC 아티팩트를 설명하기 위해 제공되는 도면이다.
도 6은 본 발명의 일 실시예에 따른 1-차원 PIC를 설명하기 위해 제공되는 도면이다.
도 7은 1-차원 PIC를 이용해서 생성한 경계 조건을 이용한 경우와 이용하지 않은 경우를 대비하기 위해 제공되는 도면이다.
일반적으로 위성 영상을 매끄럽게 접합하기 위해서는 크게 두 가지 문제를 해결해야 한다. 그 중 하나는 두 영상 간의 대응점을 찾아서 기하학적으로 두 영상을 정렬(align)하는 것이고, 다른 하나는 밝기와 색상을 조절하여 이음매(sema)가 자연스럽게 연결되도록 하는 것이다.
이하에서는 두 영상 간에 기하학적 정렬이 완료된 상태에서 영상 처리를 통해 영상의 이음매를 자연스럽게 연결하는 방법에 대해 자세하게 설명한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 위성 영상 복원 시스템을 설명하기 위해 제공되는 블록도이다.
도 2를 참고하면, 본 발명에 따른 위성 영상 복원 시스템은 이미지 전처리부(100)와 영상 접합 처리부(200)를 포함할 수 있다.
영상 접합 처리부(200)는 위성 영상의 접합 부분(butting zone)을 부드럽게 이어주는 스티칭(stitching) 처리를 수행한다.
이미지 전처리부(100)는 영상 접합 처리부(200)에서 스티칭 처리를 수행할 때 그 효과를 최대화하기 위해 사전에 이루어지는 영상 처리 과정을 수행할 수 있다. 이미지 전처리부(100)는 화질열화개선부(110), 노이즈제거부(120) 및 플래터링부(130)를 포함할 수 있다.
화질열화개선부(110)는 위성 영상 촬영 모듈인 CCD 디바이스(도시하지 않음)의 비선형 응답 특성에 기인한 화질 열화를 보정하는 기능을 수행한다. 화질열화개선부(110)는 사전에 측정한 CCD 응답 특성에 기초하여 보정에 필요한 계수들을 룩업 테이블 형태로 저장하고 있다가 입력 영상을 테이블 값을 사용해서 간단하게 보정하는 NUC 기법을 위성 영상에 적용하여 화질 열화를 보정할 수 있다. 그외 다른 화질 개선 알고리즘이 이용될 수도 있다.
노이즈제거부(120)는 위성 영상에서 발생할 수 있는 대각선 노이즈를 제거하는 기능을 수행할 수 있다.
플래터링부(130)는 영상의 중심에서 끝으로 갈수록 밝기값이 떨어지는 비네팅(Vignetting) 현상을 보정하는 기능을 수행하며, 이를 위해 공지된 디비네팅(Devignetting) 알고리즘으로 위성 영상의 밝기 값들을 플래터링하는 기능을 수행할 수 있다.
지금까지 설명한 이미지 전처리부(100)는 영상 접합 처리부(200)의 위성 영상의 접합 부분(butting zone)을 부드럽게 이어주는 스티칭 처리를 지원하기 위한 것으로 위에서 설명한 방법 외에 다른 방법이 사용될 수도 있으며, 실시예에 따라 이미지 전처리부(100)의 일부 구성요소를 생략할 수도 있음은 물론이다. 예를 들어 플래터링 기법은 위성 영상에 적용하였을 때 큰 효과를 보이지 못하고 실질적으로 시간적 손해만 보기 때문에 제외하는 것이 바람직할 수 있다.
다음으로 영상 접합 처리부(200)에서 위성 영상의 접합 부분을 부드럽게 이어주는 스티칭 처리 방법에 대해 자세히 설명한다.
위성 영상 접합 부분에 적용되는 스티칭 기법은 밝기 도메인(Intensity domain)에서 처리해주는 선형 블렌딩(Linear Blending) 기법과 주파수 밴드(frequency band) 별로 분해해서 블렌딩해주는 멀티밴드 블렌딩(Multiband blending), 그리고 그래디언트 도메인(Gradient domain)에서 처리해주는 PIC(Poisson Image Cloning) 기법과 GIST(Gradient Domain Image Stitching) 기법이 존재한다.
경계 영역에서 위성 영상의 화질열화가 극심함을 고려하면, 블렌딩 기법을 이용하는 것보다는 화질 열화가 심한 부분을 제거해서 사용하는 방법이 바람직하다. 또한, 블렌딩 기법은 기하학적 부정합(Geometric misalignment)에 강력하지가 않고 심(seam) 부분에서 영상이 다소 블러링(blurring)되는 단점이 있다. 위의 이유들을 고려하여 본 발명에 따른 영상 접합 처리부(200)에서는 위성 영상의 화질열화가 적은 부분들을 이용하여 가장 연속적이고 부드러운 결과를 가져오는 PIC를 이용한 스티칭 방법을 적용할 수 있다.
위성 영상 접합 처리부(200)는 PIC 처리부(210)와 휘도 재맵핑부(220)를 포함할 수 있다.
PIC 처리부(210)는 위성 영상 접합 영역에 대해 PIC 알고리즘을 적용하여 인터폴레이션을 수행한다.
PIC 기법은 소스 이미지(Source Image)와 타겟 이미지(Target Image)의 심리스 보간기법(Seamless Interpolation)으로 타겟의 경계 조건(Boundary Condition)을 정확하게 만족하면서 소스의 그라디언트 유도 필드(nt guidance field)를 최대한 그대로 적용하는 해결책을 찾아준다.
도 3은 본 발명에 따른 영상 접합 처리부에서 위성 영상 경계 접합에 사용하는 PIC 알고리즘을 설명하기 위해 제공되는 도면이다.
도 3을 참고하면, 함수 f*를 가지는 임의의 타겟 이미지(S⊂R2)에 소스 이미지(G)가 인터폴레이트(interpolate)되는 영역(Ω)의 경계(∂Ω)를 고려한다. 함수 g를 가지는 소스 이미지(G)를 붙인다고 할 때 영역(Ω)에 원하는 함수 f의 크리테리아(criteria)는 다음 수학식 1과 같다.
Figure 112010086713011-pat00001
수학식 1에서 오른쪽의 수식은 매끄럽게(seamless) 보이기 위해서 경계조건의 값들이 서로 같아야 함을 의미하고 있다. 수학식 1에서 왼쪽의 수식은 경계값을 만족하면서 함수 f와 소스 함수 g 사이의 그라디언트(gradient) 차이를 최소화 시켜주는 것을 의미한다. 그라디언트 값은 이미지의 텍스처(texture)를 표현하기 때문에 그라디언트의 값이 비슷하다면 소스 이미지의 텍스처를 타겟에 복사하는 효과를 거두게 되며 경계 조건(boundary condition)이 정확하게 지켜진다면 매끄럽게 영상을 복사하는 것이 가능해진다. 함수 f와 g의 관계를 보정 함수
Figure 112010086713011-pat00002
를 도입하여
Figure 112010086713011-pat00003
와 같이 표현을 하면, 다음 수학식 2와 같이 나타내어 진다.
Figure 112010086713011-pat00004
수학식 2는 타겟에 복사되는 부분을 나타내는 함수 f는 원 소스 함수 g와 비슷하지만 보정 함수
Figure 112010086713011-pat00005
만큼 소스와 살짝 다르게 되어서 소스의 내용을 살리면서도 타겟 부분의 경계 조건을 정확하게 만족하여 이음매 부분이 보이지 않도록 할 수 있는 것을 나타낸다.
수학식 2에서 오른쪽 수식의 경계 조건(Boundary condition)에 의해서 보정 항(correction term)은 경계에서 함수 f*와 함수 g의 부정합을 해결하며, 왼쪽 수식에 의해서 접합 이미지의 보정(correction)의 총 양은 최소화 된다. 따라서 수학식 2는 소스 이미지에 최소의 변화를 주면서 부드럽게 영상을 인터폴레이트 함을 의미한다. 수학식 2의 연속 해(continuous solution)는 다음과 같이 경계 조건을 가지는 라플라스 방정식(Laplace equation)으로 나타난다.
Figure 112010086713011-pat00006
위의 과정을 위성 영상으로 적용시키기 위해서 이산 데이터에 적용한 이산(discrete) PIC의 해(solution)는 다음 수학식 4와 같아진다.
Figure 112010086713011-pat00007
여기서 p는 영역(Ω)에 존재하는 픽셀을 나타내고, Np는 픽셀 p의 인접 픽셀의 집합을 나타내며, 그리고 fp는 픽셀 p의 함수 값(function value)을 의미한다. vpq는 vpq=gp-gq로 소스 이미지의 그라디언트 벡터(gradient vector)이다.
수학식 4의 해는 전형적인 스파스(Sparse)(banded), SPD(Symmetric Positive Definite) 시스템의 솔루션으로 가우스-자이델 이터레이션(Gauss-Seidel iteration with successive relaxation) 등을 이용해서 반복법에 의해 구할 수 있다.
지금까지 설명한 PIC 기법을 적용하여 위성 영상 접합 부분을 매끄럽게 개선하기 위해서 아래와 같이 적용할 수 있다.
도 4는 위성 검출기의 Pan2-Pan4 및 Pan3-Pan5의 접합 부분에 PIC 기법을 적용하는 경우를 설명하기 위해 제공되는 도면이다.
도 4를 참고하면, 위성 검출기는 PAN 1 ~ PAN 6의 총 6 장의 영상으로 위성 영상이 이루어지는데, 이 중에서 접합 영역에 화질 열화가 발생하는 Pan2-Pan4, 그리고 Pan3-Pan5의 경계 영역을 보면, 상대적으로 Pan4와 Pan5의 화질 열화가 접합 부위에 가까워질수록 심해지는 현상을 볼 수 있다. 따라서 상대적으로 화질 열화가 적은 Pan2와 Pan3의 왼쪽(빨간색)부분을 접합 영역의 왼쪽으로 사용하고 이를 화질 열화가 심한 Pan4와 Pan5의 왼쪽에 붙이는 것이 바람직하다. 즉 Pan2에서 화질이 상대적으로 좋은 빨간색 영역을 제1 접합 영역으로 선택하고 Pan4에서는 화질이 상대적으로 좋은 흰색 영역을 제2 접합 영역으로 선택하여 합치는 것이 바람직하다.
이때, Pan2와 Pan3의 붉은색 영역을 Pan4와 Pan5의 흰색 영역과 매끄럽게 접합하기 위해서 노란 선을 경계조건으로 취하여 PIC를 이용해서 인터폴레이션한다. 붉은 영역의 오른쪽 경계조건은 Pan4, Pan5를 사용하고 왼쪽은 Pan2, Pan3를 취하게 될 경우 접합부분을 매끄럽게 처리 할 수 있기 때문이다. 위쪽, 아래쪽의 경계조건은 그림에서 노랗게 표시된 것과 같이 화질이 상대적으로 좋은 Pan2, Pan3에서 취할 수 있다.
이때 빨간색 부분의 폭을 어느 정도로 설정 하느냐가 중요한 변수가 되는데, 도 4에서 예시한 실시예의 경우는 Pan2-Pan4를 접합 Pan4의 영상이 전반적으로 Pan2의 영상 보다 화질이 좋기 때문에 마스크 폭(mask width)을 평균적으로 25 픽셀(pixel) 정도를 사용하여 Pan2에서 25 픽셀만큼 Pan4에서 46 픽셀 즉 Pan4를 더 많이 사용하는 것으로 선택할 수 있다. Pan3-Pan5의 경우 Pan5의 화질이 상대적으로 안 좋기 때문에 Pan3을 영상을 더 많이 사용하여 마스크 폭(mask width)을 45 픽셀 정도로 크게 선택할 수 있다. 마스크 폭 선택은 실시예와 접합되는 위성 영상의 경계 부분의 화질에 따라 달라질 수 있다.
위의 방식으로 PIC를 이용해서 영상을 스티칭하면 경계에서 심(seam)이 거의 나타나지 않는 부드러운 영상을 얻을 수 있다. 하지만 16000(픽셀)×마스크 폭(픽셀)의 매우 큰 이미지에 대해서 PIC를 수행할 경우 대략 500000(픽셀)×500000(픽셀)정도의 큰 스파스 매트릭스(sparse matrix)에 대한 선형 해(Linear Solution)를 구해야 하고 이는 30분 이상의 연산 시간이 걸린다. 따라서 스티칭이 필요한 접합 영역을 블록(Block)으로 쪼개서 연산을 수행할 수 있다.
블록 PIC의 원리는 단일 영상을 이용하여 PIC 하는 대신 블록 단위로 쪼개서 각각의 블록에 대해서 PIC를 수행하는 것이다. 이렇게 할 경우 PIC를 수행해야 하는 매트릭스의 개수는 많아지지만 단일 매트릭스의 크기가 획기적으로 감소해 연산시간을 크게 줄일 수 있다. 각 블록의 세로 크기를 500 픽셀로 설정할 경우 PIC 수행시간은 1분이 조금 넘어가는 시간이 걸린다. 따라서 블록 PIC를 하게 되면 합리적인 시간 내에 큰 영상에 대한 PIC 결과를 얻을 수 있다.
도 5a는 본 발명의 일 실시예에 따른 블록 PIC에서 블록 별 경계 조건 설정을 예시한 도면이고, 도 5b는 본 발명의 일 실시예에 따른 블록 PIC 아티팩트를 설명하기 위해 제공되는 도면이다.
도 5a에 예시한 것과 같이 블록 PIC를 위해 각 블록 별로 경계 조건을 잡아주어야 하는데 이때 Pan2에서 추출한 ㄷ 자모양의 경계와 Pan4에서 추출한 오른쪽 경계가 만나는 점에서 불연속점이 생기는 문제가 발생한다. 이는 위성 영상의 접합부에서 경계 값들을 취할 때는 2개의 서로 다른 Pan에서 가져온 값들을 합쳐주기 때문에 이 경계 값들 자체에서 불연속이 생길 수 있다. 이 경우에는 PIC의 결과에서 2개의 서로 다른 Pan의 경계 값들이 만나는 지점에서 아티팩트(artifact)가 발생하게 된다. 블록 PIC 아티팩트는 도 5b에 예시한 것과 같이 나타난다.
도 5b에서 보면 매 블록마다 하얀색 흰 점의 발생하는 현상을 볼 수 있다. 이는 도 5b에서 표시한 빨간 박스의 한 블록에서 오른쪽 Pan에서 취한 녹색 경계와 왼쪽 Pan에서 취한 노란색 경계가 만나는 부분(빨간원)에서 발생하는 현상임을 알 수 있다. 이러한 현상은 두 경계 값들이 만나는 부분에서 불연속적인 값이 생기기 때문인데 이러한 불연속은 주로 두 Pan의 접합 영역에서의 전체적인 휘도(Luminance)의 차이에서 발생한다.
따라서 휘도 재맵핑부(220)는 두 Pan 간의 전체적인 휘도를 맞춰주기 위한 휘도 재맵핑(Luminance remapping)을 수행해서 블록 PIC 아티팩트를 줄여 줄 수 있다. 휘도 재맵핑은 초록색 선과 노란색 선이 어느 정도 비슷한 값을 가지도록 하는 것이 목적으로 각 Pan의 초록선 위치(제1 접합 영역과 제2 접합 영역의 경계 부분)의 라인에 대한 휘도 평균과 분산 값을 측정한 후에 다음 수학식 5를 통해서 양쪽의 평균과 분산을 맞출 수 있다.
Figure 112010086713011-pat00008
여기서 σA, σB는 제1 접합 영역과 제2 접합 영역 각각에 대한 휘도의 편차값을 나타내며 μA, μB는 제1 접합 영역과 제2 접합 영역 각각에 대한 휘도의 평균값을 나타내며 Y(p)는 각 픽셀의 재맵핑 전 휘도값이고,
Figure 112010086713011-pat00009
는 재맵핑된 휘도값 을 의미한다. 위의 수학식 5를 통해서 휘도 재맵핑을 하게 되면 대부분의 경우는 블록 PIC 아티팩트가 거의 생기지 않는다. 하지만, 휘도 차이가 워낙 많이 나거나 접합 영역에서의 화질 열화가 심한 경우 휘도 재맵핑을 하더라도 이러한 아티팩트가 일부 발생하였다. 특히 휘도 값이 접합 영역에서만 급격하게 바뀌는 경우가 많아서, 접합 영역을 기준으로 휘도 재맵핑을 할 경우 접합 영역을 제외한 나머지 화상이 지나치게 밝아지는 등의 문제가 발생할 수 있다. 이를 해결하기 위해서 실시예에 따라 휘도 재맵핑 대신에 아래에서 설명할 1차원 PIC 기법을 적용할 수 있다.
PIC를 수행하는 블록별로 불연속이 생기는 블록 경계의 위쪽과 아래쪽 라인에 대해서 1차원 PIC를 해줄 수 있다. 불연속이 생기는 라인의 양끝을 경계 조건으로 잡아주고, 내부를 노란선의 그라디언트(gradient)를 사용하여 채워주는 PIC를 수행해주면 양쪽 Pan 간의 휘도가 다르거나 불연속이 있더라도 연속적인 선이 생겨서 부드러운 경계를 생성해 줄 수 있다. 또한 PIC를 이용하기 때문에 부드럽게 이어지더라도 내부의 텍스처 정보에는 손실이 거의 없다.
1-차원 PIC의 해는 2D의 경우와 달리 비교적 간단하게 해결이 가능하다.
이하 도 6을 참고하여 1-차원 PIC 해를 구하는 방법에 대해 설명한다.
도 6은 본 발명의 일 실시예에 따른 1-차원 PIC를 설명하기 위해 제공되는 도면이다.
도 6을 참고하면, χ0와 χ1 사이의 선상에 함수 g(x)를 경계조건 f*(x1)에 맞추어서 인터폴레이트 하여 최종적으로 구하고자 하는 함수를 f(x)라 할 때 이때의 크리테리아(criteria)는 2-D PIC와 마찬가지로 보정 항을 사용해서 표현하면 다음 수학식 6과 같다.
Figure 112010086713011-pat00010
수학식 6의 해는 Cauchy-Schwarz inequality을 사용하면, 아래 수학식 7이 되어 수학식 8과 같이 구해질 수 있다.
Figure 112010086713011-pat00011
Figure 112010086713011-pat00012
따라서 보정 항은 선형 단조증가 함수가 되며 이는 그라디언트 도메인에서 보면 상수 함수가 되어 쉽게 계산이 가능하다.
도 7은 1-차원 PIC를 이용해서 생성한 경계 조건을 이용한 경우와 이용하지 않은 경우를 대비하기 위해 제공되는 도면이다.
도 7(a)는 1-차원 PIC를 사용한 경우의 경계 조건으로 서로 다른 Pan의 경계가 붙는 45 픽셀 부근에서도 부드럽게 이어지는 것을 확인할 수 있다. 도 7(b)는 경계를 그냥 붙인 경우로 마스크 폭인 45 픽셀 부근에서 큰 불연속이 생기는 것을 확인할 수 있다.
이렇게 블록 PIC를 수행한 결과 블록을 사용하지 않고 한 PIC와 거의 동일한 화질의 영상을 얻을 수 있었으며 연산 시간은 30배가량 단축시킬 수 있었다. 그리고 경계 조건의 불연속면을 해결하기 위한 방법인 1-차원 PIC나 휘도 재맵핑의 경우 블록 PIC 뿐만 아니라, 일반 PIC의 경우에도 더욱 좋은 경계조건을 생성해 주기 때문에 일반 PIC에서도 적용하면 좀 더 좋은 결과를 보여 줄 수 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 위성 영상 복원 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (9)

  1. 제1 위성 영상과 제2 위성 영상의 접합 영역에서 상기 제1 위성 영상의 화질이 상기 제2 위성 영상보다 좋은 영역을 제1 접합 영역으로 선택하고, 상기 제2 위성 영상의 화질이 상기 제1 위성 영상보다 좋은 영역을 제2 접합 영역으로 선택하는 단계,
    상기 제1 위성 영상에서 상기 제1 접합 영역으로 선택된 영역의 경계 부분 중에서 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분의 경계 조건은 상기 제2 위성 영상에서 구하고, 상기 제1 위성 영상에서 상기 제1 접합 영역으로 선택된 영역의 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분을 제외한 나머지 경계 부분의 경계 조건은 상기 제1 위성 영상에서 구하여 PIC(Poisson Image Cloning) 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하는 단계, 그리고
    상기 제2 위성 영상에서 상기 제2 접합 영역으로 선택된 영역의 경계 부분 중에서 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분의 경계 조건은 상기 제1 위성 영상에서 구하고, 상기 제2 위성 영상에서 상기 제2 접합 영역으로 선택된 영역의 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분을 제외한 나머지 경계 부분의 경계 조건은 상기 제2 위성 영상에서 구하여 PIC 알고리즘을 이용한 인터폴레이션을 수행하는 단계를 포함하는 것을 특징으로 하는 위성 영상 복원 방법.
  2. 제 1 항에서,
    상기 제1 접합 영역 및 상기 제2 접합 영역을 각각 미리 정해진 크기의 블록 단위로 나누어 상기 PIC 알고리즘을 이용한 인터폴레이션을 수행하는 것을 특징으로 하는 위성 영상 복원 방법.
  3. 제 2 항에서,
    상기 제1 접합 영역 및 상기 제2 접합 영역에 대한 PIC 알고리즘을 이용한 인터폴레이션 수행 전에 상기 제1 접합 영역과 상기 제2 접합 영역의 경계에 해당하는 라인에서 제1 위성 영상 및 제2 위성 영상의 휘도 평균과 분산 값을 측정하여 휘도 재맵핑(Luminance Remapping)을 수행하는 단계를 더 포함하는 것을 특징으로 하는 위성 영상 복원 방법.
  4. 제1 위성 영상과 제2 위성 영상의 접합 영역에서 상기 제1 위성 영상의 화질이 상기 제2 위성 영상보다 좋은 영역을 제1 접합 영역으로 선택하고, 상기 제2 위성 영상의 화질이 상기 제1 위성 영상보다 좋은 영역을 제2 접합 영역으로 선택하는 단계,
    상기 제1 접합 영역 및 상기 제2 접합 영역을 각각 미리 정해진 크기의 블록 단위로 나누는 단계,
    상기 각 블록에 대해, 상기 각 블록이 속한 위성 영상에서 추출한 'ㄷ' 자 모양의 경계와 상기 각 블록이 속하지 않은 위성 영상에서 추출한 '｜' 자 모양 경계가 만나는 점에서 불연속점이 생기는 문제를 해결하기 위해, 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인에 대해서 왼쪽 끝점과 오른쪽 끝점을 각각 경계 조건으로 설정하되, 상기 왼쪽 끝과 오른쪽 끝점 중에서 상기 '｜' 자 모양 경계와 만나는 점의 경계 조건은 상기 '｜' 자 모양 경계의 경계 조건으로 설정하고, 상기 블록 경계 위쪽과 아래쪽 라인의 내부를 상기 블록 경계 위쪽과 아래쪽 라인의 그라디언트를 사용하여 채워주는 1차원 PIC(Poisson Image Cloning) 알고리즘을 수행하는 단계,
    상기 각 블록 중에서 상기 제1 접합 영역에 속하는 블록에 대해서는, 상기 제2 위성 영상에서 구해진 상기 '｜' 자 모양 경계의 경계 조건, 상기 1차원 PIC 알고리즘을 통해 내부가 채워진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인의 경계 조건 및 상기 제1 위성 영상에서 구해진 상기 'ㄷ' 자 모양 경계의 나머지 부분의 경계 조건을 이용하여 PIC 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하는 단계, 그리고
    상기 각 블록 중에서 상기 제2 접합 영역에 속하는 블록에 대해서는, 상기 제1 위성 영상에서 구해진 상기 '｜' 자 모양 경계의 경계 조건, 상기 1차원 PIC 알고리즘을 통해 내부가 채워진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인의 경계 조건 및 상기 제2 위성 영상에서 구해진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인을 제외한 나머지 부분의 경계 조건을 이용하여 PIC 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하는 단계를 포함하는 것을 특징으로 하는 위성 영상 복원 방법.
  5. 컴퓨터에 제1항 내지 제4항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  6. 제1 위성 영상과 제2 위성 영상의 접합 영역에서 상기 제1 위성 영상의 화질이 상기 제2 위성 영상보다 좋은 영역을 제1 접합 영역으로 선택하고, 상기 제2 위성 영상의 화질이 상기 제1 위성 영상보다 좋은 영역을 제2 접합 영역으로 선택하고, 상기 제1 위성 영상에서 상기 제1 접합 영역으로 선택된 영역의 경계 부분 중에서 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분의 경계 조건은 상기 제2 위성 영상에서 구하고, 상기 제1 위성 영상에서 상기 제1 접합 영역으로 선택된 영역의 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분을 제외한 나머지 경계 부분의 경계 조건은 상기 제1 위성 영상에서 구하여 PIC(Poisson Image Cloning) 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하며, 상기 제2 위성 영상에서 상기 제2 접합 영역으로 선택된 영역의 경계 부분 중에서 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분의 경계 조건은 상기 제1 위성 영상에서 구하고, 상기 제2 위성 영상에서 상기 제2 접합 영역으로 선택된 영역의 상기 제1 접합 영역과 상기 제2 접합 영역의 경계 부분을 제외한 나머지 경계 부분의 경계 조건은 상기 제2 위성 영상에서 구하여 PIC 알고리즘을 이용한 인터폴레이션을 수행하는 PIC 처리부를 포함하는 것을 특징으로 하는 위성 영상 복원 시스템.
  7. 제 6 항에서,
    상기 PIC 처리부는, 상기 제1 접합 영역 및 상기 제2 접합 영역을 각각 미리 정해진 크기의 블록 단위로 나누어 상기 PIC 알고리즘을 이용한 인터폴레이션을 수행하는 것을 특징으로 하는 위성 영상 복원 시스템.
  8. 제 7 항에서,
    상기 제1 접합 영역 및 상기 제2 접합 영역에 대한 PIC 알고리즘을 이용한 인터폴레이션 수행 전에 상기 제1 접합 영역과 상기 제2 접합 영역의 경계에 해당하는 라인에서 제1 위성 영상 및 제2 위성 영상의 휘도 평균과 분산 값을 측정하여 휘도 재맵핑(Luminance Remapping)을 수행하는 휘도 재맵핑부를 더 포함하는 것을 특징으로 하는 위성 영상 복원 시스템.
  9. 제1 위성 영상과 제2 위성 영상의 접합 영역에서 상기 제1 위성 영상의 화질이 상기 제2 위성 영상보다 좋은 영역을 제1 접합 영역으로 선택하고, 상기 제2 위성 영상의 화질이 상기 제1 위성 영상보다 좋은 영역을 제2 접합 영역으로 선택하며, 상기 제1 접합 영역 및 상기 제2 접합 영역을 각각 미리 정해진 크기의 블록 단위로 나누고, 상기 각 블록에 대해, 상기 각 블록이 속한 위성 영상에서 추출한 'ㄷ' 자 모양의 경계와 상기 각 블록이 속하지 않은 위성 영상에서 추출한 '｜' 자 모양 경계가 만나는 점에서 불연속점이 생기는 문제를 해결하기 위해, 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인에 대해서 왼쪽 끝점과 오른쪽 끝점을 각각 경계 조건으로 설정하되, 상기 왼쪽 끝과 오른쪽 끝점 중에서 상기 '｜' 자 모양 경계와 만나는 점의 경계 조건은 상기 '｜' 자 모양 경계의 경계 조건으로 설정하고, 상기 블록 경계 위쪽과 아래쪽 라인의 내부를 상기 블록 경계 위쪽과 아래쪽 라인의 그라디언트를 사용하여 채워주는 1차원 PIC(Poisson Image Cloning) 알고리즘을 수행하며, 상기 각 블록 중에서 상기 제1 접합 영역에 속하는 블록에 대해서는, 상기 제2 위성 영상에서 구해진 상기 '｜' 자 모양 경계의 경계 조건, 상기 1차원 PIC 알고리즘을 통해 내부가 채워진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인의 경계 조건 및 상기 제1 위성 영상에서 구해진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인을 제외한 나머지 부분의 경계 조건을 이용하여 PIC 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하고, 상기 각 블록 중에서 상기 제2 접합 영역에 속하는 블록에 대해서는, 상기 제1 위성 영상에서 구해진 상기 '｜' 자 모양 경계의 경계 조건, 상기 1차원 PIC 알고리즘을 통해 내부가 채워진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인의 경계 조건 및 상기 제2 위성 영상에서 구해진 상기 'ㄷ' 자 모양 경계의 위쪽과 아래쪽 라인을 제외한 나머지 부분의 경계 조건을 이용하여 PIC 알고리즘을 이용한 인터폴레이션(Interpolation)을 수행하는 영상 접합부를 포함하는 것을 특징으로 하는 위성 영상 복원 시스템.
KR1020100136596A 2010-12-28 2010-12-28 위성 검출기 경계 부분의 불연속성을 보정하기 위한 방법 및 시스템 KR101144660B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100136596A KR101144660B1 (ko) 2010-12-28 2010-12-28 위성 검출기 경계 부분의 불연속성을 보정하기 위한 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100136596A KR101144660B1 (ko) 2010-12-28 2010-12-28 위성 검출기 경계 부분의 불연속성을 보정하기 위한 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101144660B1 true KR101144660B1 (ko) 2012-05-11

Family

ID=46271857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100136596A KR101144660B1 (ko) 2010-12-28 2010-12-28 위성 검출기 경계 부분의 불연속성을 보정하기 위한 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101144660B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149340A (zh) * 2020-09-11 2020-12-29 兰州空间技术物理研究所 一种pic与充电电流拟合相结合的卫星表面充电电位计算方法
CN112488942A (zh) * 2020-12-02 2021-03-12 北京字跳网络技术有限公司 修复图像的方法、装置、设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020054215A (ko) * 2000-12-27 2002-07-06 오길록 멀티 위성 영상을 이용한 영상 합성 장치 및 그 방법
KR20050063992A (ko) * 2003-12-23 2005-06-29 한국전자통신연구원 에스.엘.씨가 오프된 랜드셋-7 영상을 이용한 위성영상지도제작 방법
KR20090096142A (ko) * 2008-03-07 2009-09-10 한국항공우주연구원 위성 영상 융합 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020054215A (ko) * 2000-12-27 2002-07-06 오길록 멀티 위성 영상을 이용한 영상 합성 장치 및 그 방법
KR20050063992A (ko) * 2003-12-23 2005-06-29 한국전자통신연구원 에스.엘.씨가 오프된 랜드셋-7 영상을 이용한 위성영상지도제작 방법
KR20090096142A (ko) * 2008-03-07 2009-09-10 한국항공우주연구원 위성 영상 융합 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149340A (zh) * 2020-09-11 2020-12-29 兰州空间技术物理研究所 一种pic与充电电流拟合相结合的卫星表面充电电位计算方法
CN112149340B (zh) * 2020-09-11 2023-02-24 兰州空间技术物理研究所 一种pic与充电电流拟合相结合的卫星表面充电电位计算方法
CN112488942A (zh) * 2020-12-02 2021-03-12 北京字跳网络技术有限公司 修复图像的方法、装置、设备和计算机可读介质

Similar Documents

Publication Publication Date Title
US7965311B2 (en) Apparatus and recording medium for patching divisional images to form a re-synthesized image
US10467735B2 (en) Inverse tone mapping based on luminance zones
US7502522B2 (en) Video processing system and method for automatic enhancement of digital video
JP4350706B2 (ja) 画像処理装置及び画像処理プログラム
US5390264A (en) Image processing method for correcting a target pixel using emphasizing and smoothing components
US20080050032A1 (en) Image Processing Apparatus, Image Processing Method, and Image Display Apparatus
JP6409872B2 (ja) ぶれ画像をぶれ修正する方法およびシステム
TWI449417B (zh) 用以實現視訊穩定化之方法與裝置
US20100245672A1 (en) Method and apparatus for image and video processing
US7454081B2 (en) Method and system for video edge enhancement
JP2001509971A (ja) フィルタされた影像の中の妨害生成物を最小にする方法及び装置
US20100290714A1 (en) Image processing apparatus and image processing method
JP2009049482A (ja) 画像処理装置、撮像装置、画像処理プログラム、画像処理方法
US20020114532A1 (en) Method and apparatus for deblurring and re-blurring image segments
US20110096366A1 (en) Image processing apparatus, control method and storage medium
KR101144660B1 (ko) 위성 검출기 경계 부분의 불연속성을 보정하기 위한 방법 및 시스템
US9762850B2 (en) Image processing apparatus, image processing method, and storage medium
JP2004139219A (ja) 画像処理方法および画像処理装置
Facciolo et al. Temporally consistent gradient domain video editing
KR102270230B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2023537939A (ja) ハイダイナミックレンジビデオ用のピクチャメタデータ
JP4189565B2 (ja) 画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置
Choi et al. Cnn-based pre-processing and multi-frame-based view transformation for fisheye camera-based avm system
US9761007B2 (en) Method and system for approximating fully calculated image sequence from a subset of calculated image data
US9361673B2 (en) Image interpolation device, image processing device, and image interpolation method

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150430

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160502

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 8