KR101174130B1 - 초해상도 향상 처리장치 및 방법 - Google Patents

초해상도 향상 처리장치 및 방법 Download PDF

Info

Publication number
KR101174130B1
KR101174130B1 KR1020050108270A KR20050108270A KR101174130B1 KR 101174130 B1 KR101174130 B1 KR 101174130B1 KR 1020050108270 A KR1020050108270 A KR 1020050108270A KR 20050108270 A KR20050108270 A KR 20050108270A KR 101174130 B1 KR101174130 B1 KR 101174130B1
Authority
KR
South Korea
Prior art keywords
patch
resolution image
intermediate frequency
image
pair
Prior art date
Application number
KR1020050108270A
Other languages
English (en)
Other versions
KR20070016909A (ko
Inventor
조대성
김현문
라스즐로 크쥬니
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050108270A priority Critical patent/KR101174130B1/ko
Priority to US11/431,514 priority patent/US7715658B2/en
Publication of KR20070016909A publication Critical patent/KR20070016909A/ko
Application granted granted Critical
Publication of KR101174130B1 publication Critical patent/KR101174130B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

초해상도 향상 처리장치 및 방법이 개시된다. 초해상도 향상 처리장치는 저해상도 영상을 획득하는 저해상도 영상 획득부; 복수개의 고해상도 영상들을 각각 패치 단위로 분할하고, 상기 패치에 대하여 중간주파수 패치와 고주파수 패치로 이루어진 패치쌍을 생성하는 패치쌍 생성부; 상기 패치쌍 생성부에서 얻어지는 복수개의 패치쌍을 저장하는 패치쌍 데이터베이스; 및 상기 저해상도 영상을 패치 단위로 분할하고, 상기 패치쌍 데이터베이스로부터 상기 저해상도 영상의 중간주파수 패치와 유사한 중간주파수 패치를 포함하는 패치쌍을 탐색하고, 탐색된 패치쌍에 포함된 고주파수 패치를 저해상도 영상에서 해당하는 패치에 삽입하여 재구성된 고해상도 영상을 생성하는 고해상도 영상 재구성부로 이루어진다.

Description

초해상도 향상 처리장치 및 방법{Apparatus and method of processing super-resolution enhancement}
도 1은 본 발명의 일실시예에 따른 초해상도 향상 처리장치의 개략적인 구성을 나타낸 블럭도,
도 2는 도 1에 도시된 패치쌍 생성부의 일실시예에 따른 구성을 나타낸 블럭도,
도 3a 및 도 3b는 도 1에 도시된 패치쌍 데이터베이스의 리던던시를 줄이기 위한 패치병합 과정을 설명하는 도면,
도 4a 내지 도 4c는 도 1에 도시된 패치쌍 데이터베이스의 탐색속도를 증가시키기 위한 패치분류 과정을 설명하는 도면,
도 5는 도 1에 도시된 고해상도 영상 재구성부의 일실시예에 따른 구성을 나타낸 블럭도,
도 6은 도 5에 도시된 탐색부의 일실시예에 따른 세부적인 구성을 나타내는 블럭도,
도 7는 도 6에 도시된 패치변환부로부터 제공되는 패치의 기학학적 변환버전을 보여주는 도면,
도 8은 KD-트리에서 쿼리를 탐색하면서 후보 리스트를 생성하는 과정을 설명 하는 도면,
도 9는 쿼리에 대한 두개의 기하학적 변환버전에 대한 독립적인 탐색과정을 나타낸 도면,
도 10은 쿼리에 대한 두개의 기하학적 변환버전에 대한 탐색과정을 공유 후보 리스트와 함께 나타낸 도면,
도 11은 허용한도 탐색을 설명하기 위한 도면,
도 12는 원래의 보트 영상을 나타낸 도면,
도 13은 절반 크기의 보트 영상에 대한 바이큐빅 보간 및 초해상도 향상 처리 결과를 비교한 도면,
도 14는 원래의 고추 영상을 나타낸 도면,
도 15는 절반 크기의 고추 영상에 대한 바이큐빅 보간 및 초해상도 향상 처리 결과를 비교한 도면, 및
도 16은 절반 크기의 고추 영상에 대해 바이큐빅 보간된 영상의 일부를 확대한 것과 초해상도 향상 처리된 영상의 일부를 확대한 것이다.
본 발명은 영상의 해상도 조절에 관한 것으로서, 특히 저해상도 영상으로부터 고해상도 영상을 생성하기 위한 초해상도(super-resolution) 향상 처리장치 및 방법에 관한 것이다.
일반적으로 원거리 촬영으로 얻어지는 저해상도 영상을 보다 인식가능한 고해상도 영상으로 만들기 위해서 주밍(zooming) 및 보간 기법 혹은 필터링 기법을 사용한다. 즉, 저해상도 픽셀들 사이 혹은 다수의 픽셀들로 이루어지는 그룹들 사이를 보간하여 고해상도 픽셀들을 추정하거나, 영상 데이터를 필터링하여 영상에서 에지의 고주파수 정보를 향상시킨다. 그러나, 보간 기법을 이용할 경우, 고해상도 영상을 생성할 수 있으나, 영상의 선명도를 개선시키기 위하여 필요로 하는 고주파수 영상데이터를 얻을 수 없는 단점이 있다. 한편, 필터링 기법을 이용할 경우, 영상의 선명도를 개선시킬 수 있으나, 영상의 잡음을 증가시킴으로써 고해상도 영상의 전체적인 화질을 감소시키는 단점이 있다.
초해상도 향상 처리는 바이리니어(bilinear) 보간 혹은 바이큐빅(bicubic) 보간과 같은 보간 기법이나 필터링 기법에 의해 생성되는 고해상도 영상에 비하여 보다 미세한 디테일(fine details)을 포함하는 고해상도 영상을 생성하기 위한 것이다. 초해상도 처리와 관련된 종래기술로는 미국특허번호 6,766,067호와 미국공개특허번호 2004-0218834호 등을 들 수 있다. 여기서, 미국특허번호 6,766,067호는 정지영상에 대한 초해상도 처리를, 미국공개특허번호 2004-0218834호는 동영상에 대한 초해상도 처리를 각각 개시하고 있다.
본 발명이 이루고자 하는 기술적 과제는 낮은 해상도의 영상으로부터 높은 해상도의 영상을 생성함에 있어서 처리속도와 정확도를 향상시킬 수 있는 초해상도 향상 처리장치 방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 초해상도 향상 처리장치는 저해상도 영상을 획득하는 저해상도 영상 획득부; 복수개의 고해상도 영상들을 각각 패치 단위로 분할하고, 상기 패치에 대하여 중간주파수 패치와 고주파수 패치로 이루어진 패치쌍을 생성하는 패치쌍 생성부; 상기 패치쌍 생성부에서 얻어지는 복수개의 패치쌍을 저장하는 패치쌍 데이터베이스; 및 상기 저해상도 영상을 패치 단위로 분할하고, 상기 패치쌍 데이터베이스로부터 상기 저해상도 영상의 중간주파수 패치와 유사한 중간주파수 패치를 포함하는 패치쌍을 탐색하고, 탐색된 패치쌍에 포함된 고주파수 패치를 저해상도 영상에서 해당하는 패치에 삽입하여 재구성된 고해상도 영상을 생성하는 고해상도 영상 재구성부를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 초해상도 향상 처리방법은 복수개의 고해상도 영상들을 각각 패치 단위로 분할하고, 상기 패치에 대하여 중첩되지 않는 중간주파수 패치와 고주파수 패치로 이루어진 패치쌍을 생성하여 패치쌍 데이터베이스로 저장하는 단계; 및 저해상도 영상을 패치 단위로 분할하고, 상기 패치쌍 데이터베이스로부터 상기 저해상도 영상의 중첩되지 않는 중간주파수 패치와 유사한 중간주파수 패치를 포함하는 패치쌍을 탐색하고, 탐색된 패치쌍에 포함된 고주파수 패치를 상기 저해상도 영상에서 해당하는 패치에 삽입하여 재구성된 고해상도 영상을 생성하는 단계를 포함한다.
상기 초해상도 향상 처리방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하기로 한다.
먼저, 본 발명에서 적용된 초해상도 향상 처리 알고리즘과 기존의 미국특허번호 6,766,067호와 미국공개특허번호 2004-0218834호의 유사점을 요약하기로 한다.
첫째, 패치쌍 데이터베이스(150)가 중간주파수 패치 및 고주파수 패치의 쌍을 포함하는 예제 기반의 해상도 향상 기술이다.
둘째, 패치쌍 데이터베이스(150)는 트리 구조로 인덱싱된다.
셋째, 재구성은 패치쌍 데이터베이스(150)에서 쿼리영상에서 보이는 유사한 중간주파수 패치를 탐색하여 이루어진다. 양호한 중간주파수 패치가 패치쌍 데이터베이스(150)에서 찾아지면 중간주파수 패치의 고주파수 패치가 얻어지고 미세 디테일을 얻도록 쿼리영상에 더해진다.
넷째, 재구성된 고해상도 영상에서 인접하는 고주파수 패치들의 코히런스(coherence)를 유지하기 위하여 좌측 상단 패치들로부터 에지픽셀들이 고려되는 원런(one-run) 래스터 스캐닝 알고리즘을 적용한다.
도 1은 본 발명의 일실시예에 따른 초해상도 향상 처리장치의 개략적인 구성을 나타낸 블럭도로서, 저해상도 영상 획득부(110), 패치쌍(patch pairs) 생성부(130), 패치쌍 데이터베이스(150) 및 고해상도 영상 재구성부(170)를 포함하여 이루어진다.
도 1을 참조하면, 저해상도 영상 획득부(110)는 스트리밍 비디오 서버 혹은 카메라로 구현되며, 저해상도 프레임들로 이루어지는 영상 시퀀스 혹은 저해상도 영상을 획득하여 고해상도 영상 재구성부(170)로 제공한다.
패치쌍 생성부(130)는 수집된 복수개의 고해상도 영상들 각각을 패치(patch) 단위로 분할하고, 고해상도 영상의 각 패치에 대하여 중간주파수 패치와 고주파수 패치로 이루어진 패치쌍을 생성한다. 여기서, 패치는 일정한 픽셀들로 이루어지는 블럭 형태이다. 한편, 본 발명에서 영상의 사이즈를 축소시키거나 확대시키기 위하여 바이큐빅 보간을 적용하는 경우, 패치쌍 생성부(130)에서 학습되어 생성되는 패치쌍은 바이큐빅 보간에 의해 재구성된 고해상도 영상과 원래의 고해상도 영상간의 차이에 대한 정보를 포함한다. 또한, 하나의 패치쌍에는 재구성된 고해상도 영상에서 인접하는 고주파수 패치들간의 코히어런스(coherence)를 유지하기 위하여, 좌측 상단 패치들의 에지 픽셀들이 고려된다.
패치쌍 데이터베이스(150)는 패치쌍 생성부(130)에서 얻어지는 복수개의 패치쌍을 데이터베이스화한다. 이때, 바람직하게는 고속탐색을 위하여 트리 구조, 예를 들면, KD-트리 구조의 데이터베이스를 사용한다. 또한, 패치쌍에 포함된 중간주파수 패치와 고주파수 패치, 고주파수 패치에서 중첩부분인 에지픽셀들은 벡터로 표현될 수 있다. 패치쌍에 포함된 중간주파수 패치와 고주파수 패치, 고주파수 패치의 에지픽셀들은 함께 저장하거나, 중간주파수 패치에 해당하는 고주파수 패치를 나타내는 포인터를 부가하여 별도로 저장할 수 있다. 이와 같이 패치를 벡터를 표현하게 되면 효율적인 탐색이 가능해진다. 즉, 패치쌍에 포함되는 중간주파수 패치는 인접 패치와 중첩되지 않도록 구성되고, 고주파수 패치는 이미 재구성된 인 접 패치들, 즉 상부 인접 패치와 좌측 인접 패치에 일부, 바람직하게는 1 픽셀만큼 중첩되도록 구성된다. 다른 일시예에서는 그레이 채널에서만 인접패치와 1 픽셀만큼 중첩되도록 중간주파수 패치를 구성할 수 있다.
고해상도 영상 재구성부(170)는 저해상도 영상 획득부(110)로부터 제공되는 저해상도 영상을 패치 단위로 분할하고, 패치쌍 데이터베이스(150)로부터 저해상도 영상의 중간주파수 패치와 유사한 중간주파수 패치를 포함하는 패치쌍을 탐색하고, 탐색된 패치쌍에 포함된 고주파수 패치를 저해상도 영상에서 해당하는 패치에 삽입하여 고해상도 영상의 패치를 생성한다.
일실시예로서, 서버로 구현되는 저해상도 영상 획득부(110))로부터 제공되는 저해상도 영상은 통신 네트워크를 통하여 클라이언트로 구현되는 고해상도 영상 생성부(170)로 제공될 수 있다. 다른 실시예로서, 저해상도 영상 획득부(110)는 패치쌍 생성부(130), 패치쌍 데이터베이스(150) 및 고해상도 영상 재구성부(170)와 함께 클라이언트에 구현되거나, 클라이언트와 결합된 저장매체에 저장될 수 있다.
도 2는 도 1에 도시된 패치쌍 생성부(130)의 일실시예에 따른 구성을 나타낸 블럭도로서, 제1 다운샘플링부(210), 제2 다운샘플링부(220), 제1 업샘플링부(230), 제2 업샘플링부(240), 제1 감산부(250), 제2 감산부(260), 및 패치쌍 구성부(270)를 포함하여 이루어진다. 여기서, 패치쌍 구성부(270)의 전단에 제1 감산부(250) 및 제2 감산부(260)로부터 각각 제공되는 고주파수 영상과 중간주파수 영상을 정규화시키는 제1 정규화부(미도시)를 더 포함할 수 있다.
도 2를 참조하면, 제1 다운샘플링부(210)는 고해상도 영상에 대하여 저역통 과필터링을 위한, 예를 들면, 바이큐빅 보간을 이용하여 1차 다운샘플링을 수행함으로써 영상의 사이즈를 축소한다. 일실시예에서는 원래의 고해상도 영상의 1/2배로 축소한다. 이때, 바이큐빅 보간 이전에 옵션으로 가우시안 커널 혹은 스무딩(smoothing) 콘볼루션 커널을 이용하여 스무딩을 수행할 수 있다.
제2 다운샘플링부(220)는 제1 다운샘플링부(210)에서 1차 다운샘플링된 영상에 대하여 저역통과필터링을 위한, 예를 들면, 바이큐빅 보간을 이용하여 2차 다운샘플링함으로써 영상의 사이즈를 축소한다. 일실시예에서는 1차 다운샘플링된 영상의 1/2배로 축소한다. 마찬가지로 바이큐빅 보간 이전에 옵션으로 스무딩을 수행할 수 있다.
제1 업샘플링부(230)는 제1 다운샘플링부(210)에서 1차 다운샘플링된 영상을 예를 들면, 바이큐빅 보간과 함께 1차 업샘플링함으로써 영상의 사이즈를 확대한다. 일실시예에서는 1차 다운샘플링된 영상의 2배로 확대하고, 제1 업샘플링부(230)는 고해상도 영상에 비하여 보다 낮은 해상도 영상 즉, 중간 영상을 생성한다.
제2 업샘플링부(240)는 제2 다운샘플링부(220)에서 2차 다운샘플링된 영상을 예를 들면, 바이큐빅 보간과 함께 2차 업샘플링함으로써 영상의 사이즈를 확대한다. 일실시예에서는 2차 다운샘플링된 영상의 4배로 확대하고, 제2 업샘플링부(240)는 중간 영상에 비하여 보다 낮은 해상도 영상 즉, 저주파수 영상을 생성한다.
제1 감산부(250)는 고해상도 영상으로부터 제1 업샘플링부(230)로부터 제공 되는 중간 영상을 감산하여 고주파수 영상을 생성한다. 제2 감산부(260)는 제1 업샘플링부(230)로부터 제공되는 중간 영상(intermediate image)으로부터 제2 업샘플링부(240)로부터 제공되는 저주파수영상을 감산하여 중간주파수 영상을 생성한다.
패치쌍 구성부(270)는 제1 감산부(250)로부터 제공되는 고주파수 영상과 제2 감산부(260)로부터 제공되는 중간주파수 영상을 각각 패치 단위로 분할하고, 공간상의 동일한 위치에 대한 패치쌍을 구성하여 패치쌍 데이터베이스(150)에 저장한다. 기존에는 고주파수 영상 뿐만 아니라 중간주파수 영상에 대해서도 인접한 패치들과 일부 중첩되는 패치 구조를 사용하였으나, 본 발명에서는 고주파수 영상에 대해서만 인접한 패치들과 일부 중첩되는 패치 구조를 사용한다. 기존에는 중간주파수 영상에서 중첩되는 패치가 7×7 픽셀들로 이루어지고, 따라서 칼라영상의 경우 하나의 패치를 나타내는 벡터는 7×7×3의 차원을 가지게 됨으로써 주성분분석(Principal Component Analysis) 등과 같은 별도의 차원축소과정을 필요로 한다. 그러나, 본 발명에서는 다운 샘플링 및 업 샘플링에 의해 얻어지는 중간주파수 영상에서 중첩되지 않는 패치가 바람직하게는 2×2 픽셀들로 이루어지고, 따라서 칼라영상의 경우 하나의 패치를 나타내는 벡터는 2×2×3의 차원을 가지게 된다. 이와 같이 다운 샘플링 및 업 샘플링을 통하여 얻어지는 중간주파수 영상은 강하게 스무딩된 영상들간의 차이이기 때문에 별도의 정보손실없이 하나의 패치를 나타내는 벡터의 차원을 줄일 수 있다. 그 결과, 패치쌍 데이터베이스(150)의 사이즈를 대폭 줄일 수 있게 되고, 탐색속도를 증가시킬 수 있다.
제1 정규화부(미도시)는 제2 감산부(260)로부터 제공되는 중간주파수 영상에 포함된 각 픽셀의 인텐서티(intensity)의 자승근(square root)로 이루어지는 로컬 에너지 영상을 구하고, 구해진 로컬 에너지 영상으로 제1 감산부(250)로부터 제공되는 고주파수 영상과 제2 감산부(260)로부터 제공되는 중간주파수 영상을 나눔으로써 인텐서티 정규화를 수행한다.
일실시예에서는 재구성된 고해상도 영상의 시각적인 선명도와 PSNR로 측정된 신뢰도간의 균형을 맞추기 위하여, 패치쌍 구성부(270)에서 얻어지는 고주파수 패치에 대하여 스무딩을 수행한다.
도 3a 및 도 3b는 도 1에 도시된 패치쌍 데이터베이스(150)의 리던던시를 줄이기 위한 패치병합 과정을 설명하는 것이다. 도 3a를 참조하면, 패치병합부(330)는 패치쌍 구성부(310)와 패치쌍 데이터베이스(350) 사이에 위치하며, KD-트리의 리프들에 있는 유사한 패턴들을 병합한다.
도 3b를 참조하여 패치병합부(330)의 동작을 설명하면 다음과 같다.
361 단계에서는 패치쌍 데이터베이스(350)에 저장되어 있는 KD-트리의 각 리프에서 평균 패치를 획득한다. 363 단계에서는 각 리프에서 평균 패치와 개별 패치의 차이를 획득한다. 365 단계에서는 363 단계에서 획득된 차이와 소정 임계치를 비교하고, 차이가 임계치보다 작거나 같은 경우에는 해당 개별 패치를 평균 패치로 대체한다(367). 한편, 차이가 임계치보다 큰 경우에는 해당 개별 패치는 그대로 둔다. 여기서, 임계치는 당업자라면 실험적 혹은 경험적으로 최적의 값으로 설정가능하다.
369 단계에서는 367 단계에 의한 대체 과정을 통하여 감소된 수의 패치들로 이루어지는 새로운 KD-트리를 재구성한다.
도 4a 내지 도 4c는 도 1에 도시된 패치쌍 데이터베이스(150)의 탐색속도를 증가시키기 위한 패치분류 과정을 설명하는 것이다. 도 4a를 참조하면, 패치분류부(430)는 패치쌍 구성부(410)와 패치쌍 데이터베이스(450) 사이에 위치한다.
도 4b를 참조하여 패치분류부(430)의 동작을 설명하면 다음과 같다. 461 단계에서는 트래이닝동안 중간주파수 패치들의 분산을 계산한다. 463 단계에서는 계산된 분산에 따라서 복수개의 패치 클래스로 분류한다. 465 단계에서는 각 중간주파수 패치를 패치쌍 데이터베이스(450)내의 해당 클래스에 저장한다.
이와 같이 패치분류과정이 수행된 패치쌍 데이터베이스(450)를 이용하는 쿼리의 탐색과정을 도 4c를 참조하여 설명하면 다음과 같다. 471 단계에서는 재구성동안 쿼리의 중간주파수 패치의 분산을 산출한다. 473 단계에서는 산출된 분산에 따라서 클래스를 결정한다. 475 단계에서는 패치쌍 데이터베이스(450)에서 결정된 클래스에 포함된 패치들을 이용하여 쿼리를 탐색한다. 즉, 패치분류부(430)는 도 5의 탐색부(540)와 패치쌍 데이터베이스(150) 사이에 위치할 수도 있다.
간단한 경우를 예로 들면, 중간주파수 패치들은 임계치가 1인 저분산 및 고분산 패치 클래스들로 분류된다. 패치쌍 데이터베이스(150)내에는 두 클래스들에 대해 서로 다른 데이터베이스가 생성된다.
도 5는 도 1에 도시된 고해상도 영상 재구성부(170)의 일실시예에 따른 구성을 나타낸 블럭도로서, 제3 다운샘플링부(510), 제3 업샘플링부(520), 제3 감산부(530), 탐색부(540), 및 가산부(550)를 포함하여 이루어진다. 여기서, 탐색부 (540)의 전단에 제3 감산부(530)로부터 제공되는 중간주파수 영상을 정규화시키는 제2 정규화부(미도시)와, 탐색부(540)의 후단에 탐색결과 얻어지는 패치쌍에 포함된 고주파수 패치를 역정규화시키는 역정규화부(미도시)를 더 포함할 수 있다.
도 5를 참조하면, 제3 다운샘플링부(510)는 쿼리영상인 저해상도 영상에 대하여 저역통과필터링을 위한, 예를 들면, 바이큐빅 보간을 이용하여 다운샘플링을 수행함으로써 영상의 사이즈를 축소한다. 일실시예에서는 원래의 저해상도 영상의 1/2배로 축소한다. 이때, 바이큐빅 보간 이전에 옵션으로 가우시안 커널 혹은 스무딩(smoothing) 콘볼루션 커널을 이용하여 스무딩을 수행할 수 있다. 여기서, 쿼리영상인 저해상도 영상은 재구성될 고해상도 영상의 중간 영상에 해당한다.
제3 업샘플링부(520)는 제3 다운샘플링부(510)에서 다운샘플링된 영상을 예를 들면, 바이큐빅 보간을 이용하여 업샘플링함으로써 영상의 사이즈를 확대한다. 일실시예에서는 다운샘플링된 영상의 2배로 확대하고, 제3 업샘플링부(520)는 저해상도 영상에 대한 저주파수 영상을 생성한다.
제3 감산부(530)는 저해상도 영상으로부터 제3 업샘플링부(520)로부터 제공되는 저주파수 영상을 감산하여 중간주파수 영상을 생성한다.
탐색부(540)는 제3 감산부(530)로부터 제공되는 중간주파수 영상을 패치 단위로 분할하고, 패치쌍 데이터베이스(150)로부터 저해상도 영상의 중간주파수 패치와 유사한 중간주파수 패치와, 이미 탐색된 이전의 고주파수 패치들의 에지 픽셀들과 유사한 중첩부분을 갖는 고주파수 패치를 포함하는 패치쌍을 탐색한다. 만약 라스터 스캔 순서로 재구성되는 경우, 고주파수 패치들의 에지 픽셀들은 우측 하부 에지 픽셀들이 된다. 이때, 패치쌍 생성부(130)의 패치쌍 구성부(270)에서와 마찬가지로 중간주파수 패치는 중첩되지 않는 패치로서, 2×2 픽셀들로 이루어진다.
탐색부(540)의 동작을 좀 더 세부적으로 살펴보면, 이미 재구성된 고해상도 영상에서 인접하는 고주파수 패치들의 에지 픽셀들을 얻는다. 영상이 라스터 스캔 순서로 재구성되는 경우, 통상 이웃 패치들의 우측 하단 픽셀들이 패치쌍 데이터베이스(150)에 저장된 후보 고주파수 패치들의 좌측 상단의 에지픽셀들과 정합시킨다. 이를 위하여 정규화된 중간주파수 패치들와 에지픽셀들로부터 생성된 벡터들이 학습되어 저장된 패치쌍 데이터베이스(150)에서 가장 유사한 벡터를 찾는다.
패치쌍 데이터베이스(150)로부터 저해상도 영상의 중간주파수 패치와 가장 유사한 중간주파수 패치 및 고주파수 패치의 에지픽셀을 찾기 위하여 다음 수학식 1에 정의된 비용함수(cost function, E)를 최소로 하는 패치쌍을 구한다.
Figure 112005065129125-pat00001
여기서, 비용함수(E)는 쿼리와 패치쌍 데이터베이스(150)에 저장된 후보 중간주파수 패치, 이미 재구성된 인접 패치의 에지픽셀과 패치쌍 데이터베이스(150)에 저장된 후보 고주파수 패치의 에지픽셀로 이루어지는 함수이다. 따라서, E1 은 쿼리의 중간주파수 패치 및 후보 중간주파수 패치간의 L1 또는 L2 거리를 나타내고, E2 는 이미 재구성된 인접 패치 즉, 상부 좌측 패치와 후보 고주파수 패치들에서 중 첩되는 에지픽셀들간의 L1 또는 L2 거리를 나타낸다. 여기서, L1은 절대 놈(absolute norm), L2는 유클리디안 놈(Euclidean norm)을 각각 나타낸다.
즉, 수학식 1에서와 같이 두 항을 갖는 비용함수를 사용하여 두 벡터의 유사도를 계산한다. 다시 말하면, 비용함수의 첫번째 항은 정규화된 중간주파수 패치들(쿼리 및 후보들)간의 유사도를 계산한다. 비용함수의 두번째 항은 저장된 후보 고주파수 패치들의 상부 좌측 에지픽셀들과 이미 재구성된 인접 고주파수 패치들의 하부 우측 에지픽셀들과 비교하여 유사도를 계산한다.
일 실시예에서는 트리 탐색이 완료되었을 때 하나의 후보 리스트를 유지하고, 후보 리스트에 포함된 베스트 매칭 히트들에 대해서만 E2를 계산하여 가장 최소값을 갖는 에지픽셀을 포함하는 패치쌍을 최적의 해로 결정한다.
가산부(550)는 탐색부(540)에서의 탐색결과 얻어진 패치쌍에 포함된 고주파수 패치를 저해상도 영상에서 해당하는 패치에 삽입하여 고해상도 영상의 패치를 생성한다.
제2 정규화부(미도시)는 제3 감산부(530)로부터 제공되는 중간주파수 영상에 포함된 각 픽셀의 인텐서티(intensity)의 자승근(square root)로 이루어지는 로컬 에너지 영상을 구하고, 제3 감산부(530)로부터 제공되는 중간주파수 영상을 구해진 로컬 에너지 영상으로 나눔으로써 인텐서티 정규화를 수행한다. 한편, 역정규화부(미도시)는 탐색부(540)에서의 탐색결과 얻어진 패치쌍에 포함된 고주파수 패치에 동일한 로컬 에너지 영상을 곱함으로써 역정규화를 수행한다.
도 6은 도 5에 도시된 탐색부(540)의 일실시예에 따른 세부적인 구성을 나타내는 블럭도로서, 패치 변환부(610) 및 동시 탐색 실행부(630)를 포함하여 이루어진다.
도 6을 참조하면, 패치 변환부(610)는 저해상도 영상에 대한 중간주파수 영에서 정의되는 각 쿼리 즉, 각 패치를 회전 변환 및 미러링 변환시켜 하나의 패치에 대하여 복수개의 기하학적 변환버전을 획득한다. 패치 변환부(610)로부터 제공되는 패치의 기학학적 변환버전의 종류는 도 7에 도시된 바와 같다. 도 7을 참조하면, 2×2 사이즈인 원래의 패치(710)를 회전 변환시켜 패치들(720,730,740)을 얻고, 각 패치(710,720,730,740)을 미러링 변환하여 패치들(750,760,770,780)을 얻는다.
동시 탐색 실행부(630)는 패치 변환부(610)로부터 제공되는 하나의 패치에 대한 복수개의 기하학적 변환버전에 대하여, 하나의 공유 후보 리스트를 이용하여 트리 구조인 패치쌍 데이터베이스(150)에 대한 동시 탐색을 실행한다. 복수개의 기하학적 변환버전에 대한 동시 탐색 실행결과, 매칭 히트들이 재배열된 하나의 공유 후보 리스트를 제공한다.
이와 같이 패치쌍 데이터베이스(150)에서 보다 우수한 정합을 찾기 위하여 쿼리의 기하학적 변환버전을 획득한다. 즉 쿼리 패치 자체를 회전시키거나 미러링시킴으로써 쿼리 패치에 대한 보다 우수한 정합을 찾을 가능성을 직접적으로 증가시킬 수 있다. 이러한 접근은 고해상도 영상으로부터 저해상도 영상으로의 열화 과정은 등방적(isotropic)이고, 미러링 변환된 영상에서 동일한 방식으로 동작한다 는 일반적인 사실을 기반으로 한다. 즉, 쿼리 패치 자체에 대해서는 후보를 찾지 못했다면 쿼리 패치를 회전하고 미러링시켜서 용이하게 7개의 대안을 추가로 얻을 수 있다. 또한, 패치쌍 데이터베이스(150)에서 최상의 정합을 발견했을 때에는 역 기하변환을 적용해야한다. 기본적으로, 쿼리의 복수개의 기하학적 변환버전을 이용함으로써 탐색 시간을 8배 증가시킬 수 있으나, 본 발명에서는 동시 탐색을 실행하여 탐색 시간이 과도하게 소요되는 것을 방지한다.
도 8은 KD-트리에서 후보 리스트를 이용하여 쿼리(Q)를 탐색하는 과정을 설명하기 위한 것이다.
도 8을 참조하면, 쿼리(Q)에 대한 탐색 궤적(810)은 전체 특징공간(feature space, 820)을 나타내는 루트 트리에서부터 개시한다. 이때, 탐색결과로서 베스트 매칭 히트들 즉, 베스트 히트(840)에서부터 워스트 히트(850)까지를 포함하는 후보 리스트(830)가 생성된다. 각 노드에서 특징공간은 차원에 따라서 서브공간들로 분할된다. 탐색은 쿼리가 위치한 분할평면(dividing plane) 즉 서브공간에 있는 서브트리, 즉 브랜치에서 계속된다. 그 브랜치가 조사될 때 다른 쪽 서브공간에서도 탐색이 계속된다. 서브트리에서는 볼-큐브-중첩(ball-cube-overlap) 테스트가 수행된다. 각 노드에 위치한 서브트리를 포함하는 박스 중에서 쿼리(Q)에 대한 워스트 히트(worst hit)의 거리(dmax)를 반경(R)으로 하는 볼(860)과 중첩되지 않는 서브트리는 조사할 필요가 없다. 왜냐하면 이러한 경우, 이미 후보 리스트에 포함된 워스트 히트보다 더 잘 정합되는 것을 찾을 수 없기 때문이다. 또한, 이 볼(860)이 서브트리를 포함하는 박스안에 있는 경우에는 해당 서브트리만 검사해도 충분하 다. 왜냐하면 그 볼(860)은 다른 브랜치의 어떤 다른 박스들과도 중첩되지 않을 것이기 때문이다. 이와 같은 상태를 확인하는 것을 큐브내 볼(ball-within-cube) 테스트라 한다. 큐브내 볼 테스트가 성공한다면 탐색은 종료되고, 베스트 매칭 히트들 즉, 포인트들로 이루어진 후보리스트가 만들어진다.
도 8에 도시된 특징공간(820)은 2차원이다. 루트노드는 특징공간(820)을 H1과 H2로 분할하고, H1은 H3과 H4로 분할된다. 쿼리(Q)에 가까운 포인트들을 탐색할 때, 처음 H1과 H3가 검사되고 여기에서 히트들이 발견된다. H4로 들어가기 전에 볼-큐브-중첩 테스트가 수행된다. 쿼리(Q) 주변의 워스트 히트(worst-hit)에 해당하는 볼은 H4와 중첩되지 않고, 따라서 H4는 무시된다. 또한, 볼이 H1안에 있다면 다른 브랜치는 탐색되지 않고 탐색은 H1에서 종료된다.
도 9는 쿼리에 대한 두개의 기하학적 변환버전에 대한 독립적인 탐색과정을 나타낸 도면이다.
도 9를 참조하면, 각 쿼리(Q1,Q2)는 자신의 후보 리스트(930,940)를 갖는다. 탐색은 후보 리스트(930,940)에서 워스트 히트의 거리에 의해 좌우된다. 왜냐하면, 워스트 히트의 거리는 큐브 내의 볼 및 볼-큐브-중첩 테스트에서 쿼리 포인트 주위의 볼의 반경이기 때문이다. 쿼리(Q1)에 대한 탐색은 볼-큐브-중첩 테스트 결과, Q1이 중심이고 R=d1 ,max 이면 성공적이기 때문에, H2 서브공간으로 계속된다. 이 와는 대조적으로, H4 서브공간에 대해서는 쿼리(Q2)가 중심이고, R=d2 ,max이면 중첩되지 않기 때문에 탐색되지 않는다. H2 서브공간이 제외되었기 때문에, Q1을 찾는데는 R=d2 ,max를 사용하는 것이 더 효율적이다. 더 많은 쿼리들에 대한 동시 탐색시에는 가장 작은 반경의 볼이 사용될 필요가 있다.
모든 기하학적 변환버전에 대해 하나의 후보 리스트만을 공유하는 것은 탐색 시간을 상당히 줄일 수 있다. 본 발명에서 제안된 탐색방법에서는 순차적으로 기하학적인 변형버전을 선택하고 소정의 순서로 유사도를 계산하는 동시에 유사한 패치들을 탐색한다. 먼저, 쿼리 1번을 택하여, KD-트리의 루트 노드에서 시작하여 한 단계 밑으로 진행하여 어느 브랜치로 먼저 들어갈 것인지 또는 어느 브랜치들로는 한꺼번에 들어갈 것인지를 결정한다. 그리고 나서 쿼리 2번을 택하여 다른 쿼리들과는 독립적으로 트리의 루트 노드로부터 한 단계 진행한다. 각 단계에서 공유 후보 리스트를 갱신한다. 공유 후보 리스트가 모든 8개의 쿼리들에 대해 이미 발견된 베스트 매칭 히트들을 가지고 있기 때문에, 다른 쿼리들은 리스트를 채우기위해 서로 경주하게 된다. 공유 후보 리스트는 트리의 새로운 브랜치에 들어갈지 여부를 결정하는데 강력한 영향을 미친다. 이 경우 8개의 기하학적 변환버전들은 공유 후보 리스트를 채우기 위해 경주하고, 일부의 기하학적 변환버전들은 KD-트리 브랜치들을 돌아다닐 기회를 보다 적게 갖는다. 왜냐하면, 다른 기하학적 변환버전들은 이미 탐색되지 않은 브랜치들에 있는 기하학적 변환버전들보다 더 좋은 후보를 발견했기 때문이다. 결국, 공유 후보 리스트상에서 모든 기하학적 변환버전 들을 경주시킴으로써 트리에서의 움직임을 줄일 수 있고, 시간도 상당히 줄일 수 있다. 기본적으로, 모든 기하학적 변환버전들은 경주함에 있어서, 동일한 시간내에서 동일한 우선권(priority)을 갖는다. 그러나 제한된 공유 후보 리스트에 더 많은 패치들을 제공하는 후보들에게 더 많은 시간 슬롯을 할당한다면 해당 후보들은 보다 빠른 스피드를 얻을 수도 있다. 이는 쿼리들에게 우선권 번호를 할당함으로써 달성할 수 있다. 우선권이 높은 쿼리는 트리에서 해당 단계들을 처리하는데 보다 더 많은 시간을 얻을 수 있다.
도 10은 쿼리에 대한 두개의 기하학적 변환버전에 대한 동시 탐색과정을 공유 후보 리스트와 함께 나타낸 도면이다.
도 10을 참조하면, 쿼리들은 병렬로 동시에 탐색을 수행하고, 각 단계에서 공유 후보 리스트에 있는 워스트 히트들이 탐색을 좌우한다. 탐색에서 빠른 수렴과 양호한 히트는 다른 탐색에서 탐색해야 할 트리 브랜치들의 세트를 조밀하게 한다. 독립 쿼리로 사용되는 것과 동일한 길이를 가정하면, 공유 후보 리스트에서 워스트 히트는 독립 후보 리스트들에서 워스트 히트들중 베스트 히트가 (dmax ,공유 ≤ min(dmaxi),i=1..n)의 거리보다 더 큰 값을 갖지 않는다. 도 10의 예에서는 dmax ≤d1,max 및 dmax ≤ d2 ,max이다. H2는 Q1에 대한 쿼리에서 탐색되지 않는다. 왜냐하면 dmax의 반경을 갖는 Q1주변의 볼은 H2 서브 공간과 중첩하지 않기 때문이다.
다음은 동시 탐색과정을 설명하면 다음과 같다.
트리의 노드를 처리하는 과정은 탐색할 자손(children)(정션들, 예를 들어 트리의 내부 노드)의 순서를 결정하거나, 패치들의 수를 세거나(enumerating), 리프들, 즉 트리의 종단 노드들에 대하여 쿼리를 비교하는 단계들을 포함한다.
트레이스i는 현재 쿼리 동안 트리에서 탐색된 노드들의 리스트이다. 처음에 리스트는 루트 노드만을 포함한다. 리프가 아닌 루트 노드를 처리함으로써 그 자손의 처리 순서가 결정된다. 첫 자손(child) 즉, 서브 트리는 부모 노드의 분기된 평면에서 쿼리 포인트와 동일한 쪽에 있다. 다음 반복(iteration)에서 루트 노드의 첫 자손이 처리되고 트레이스에 위치하게 된다. 한 노드의 양 자손이 처리될 때, 또는 리프의 경우 패치들이 쿼리와 비교되는 경우, 노드는 트레이스에서 제거된다. 트레이스가 한번 비워지면(empty), 탐색은 종료된다.
테스트는 노드가 처리되기 전에 그 서브 트리에 진짜로 필요한지를 보기 위해 몇몇 조건들이 평가된다. 이 테스트들은 볼-큐브-중첩 테스트, 큐브내 볼 테스트를 포함하고, 허용한도 탐색의 경우에는 인터벌(interval)-큐브-중첩 테스트를 포함한다.
본 발명에서는 최적이나 매우 느린 과도 탐색과 빠르지만 최적이 아닌 베스트 브랜치 탐색 간의 중간 단계로 정의할 수 있는 허용한도 탐색이라고 하는 균형 기술을 제안한다. 간단한 파라미터를 이용하여 두가지 탐색 사이에서 최적의 해를 찾을 수 있다. 이 파라미터는 0보다 큰 값의 입실론(ε)으로서, 쿼리의 벡터 성분 주위의 범위 즉, 쿼리 주변의 하이퍼 공간을 규정한다. 기본적으로, KD-트리 브랜치들은 다음 절차에 의거하여 조사된다. 첫째, 브랜치가 차지하는 공간이 쿼리 하 이퍼-큐브에 의해 정의된 공간과 교차(intersection)되지 않는다면, 보다 가까운 브랜치로 진행한다. 한편, 교차된다면, 해당 브랜치로 진입한다.
입실론이 0이면, 가장 빠른 베스트 브랜치 탐색 알고리즘을 사용한다. 그러나 입실론이 증가함에 따라 교차점들이 많아지므로 더 많은 브랜치들이 조사되고, 결국 완전 탐색모드에 도달한다.
도 11을 참조하여 허용한도 탐색을 보다 상세히 설명하기로 한다.
허용한도 탐색에서는, 볼-큐브-중첩 테스트 및 큐브내 볼 테스트에 부가하여 인터벌-큐브-중첩 테스트라고 하는 다른 테스트가 도입된다. 서브트리로 들어가기 전에 특징공간에서 서브트리의 하이퍼-큐브를 한정하는 것은 부모 노드의 분기되는 차원에서 쿼리 주변의 허용한도(1130)와 중첩된다. 따라서, 허용한도가 0으로 설정될 때에는 주요 서브트리만 검사되어 베스트 브랜치만 탐색된다.
다음, 본 발명에서는 도 2에 도시된 패치쌍 구성부(270)에 제공되는 고주파수 영상에 다양한 스무딩 커널을 적용함으로써, 재구성된 고해상도 영상의 강한 시각적인 선명도와 고신뢰도 사이의 균형을 달성한다. 고주파수 영상은 원래의 고해상도 영상과 이 영상의 스무딩된 버전간의 차이이기 때문에 서로에게 가깝게 위치하여 +와 -값들을 갖는다. 통계적으로, 고주파수 영상을 강하게 스무딩함으로써 H고주파수 영상은 제로(0) 영상쪽으로 움직인다. 고주파수 영상에 강한 스무딩을 적용하더라도 해상도의 향상을 이룰 수는 없다. 왜냐하면 제로 영상이 저해상도 영상에 더해지기 때문이다. 반대로, 고주파수 영상을 약하게 스무딩함으로써 재구성된 고해상도 영상의 에러를 줄일 수는 있다. 스무딩을 적용하지 않는다면, 가장 선명도가 높은 결과를 얻을 수 있으나 약간의 시각적인 결함이 있을 수 있다. 예를 들어, 다음과 같은 형태의 콘볼루션 커널들(K1, K2)은 좋은 신뢰도의 초해상도를 얻기 위해 HR 대역을 스무딩하는데 적용될 수 있다.
K1 =
Figure 112005065129125-pat00002
K2 =
Figure 112005065129125-pat00003
여기서, K1은 K2에 비해 약한 스무딩 동작을 수행한다. 기본적으로, 패치쌍 데이터베이스(150)가 보다 덜 최적의 상태, 즉 결함을 더 많이 만드는 경우, 보다 강한 스무딩을 적용해야 한다. 반면에 다른 경우들에는 약한 스무딩 동작이 적용된다.
다음, 본 발명에서는 트레이닝 및 재구성동안, 저역통과필터링을 위해 바이큐빅 보간을 사용하여 중간주파수 영상 및 저주파수 영상들을 생성한다. 이 경우, 예제 기반의 초해상도 기술에 따르면, 원래의 고해상도 영상과 바이큐빅 보간 영상간의 차이가 트레이닝된다. 실제로, 재구성될 고해상도 영상들의 열화된 모델을 알고 있다면, 다른 저역통과필터링 메커니즘이 사용될 수 있다. 패치의 에일리어싱 발생을 방지하기 위해 몇가지 프리-스무딩이 바이큐빅 보간 이전에 사용될 수도 있다. 이 프리-스무딩은 가우시안(Gaussian) 또는 더 약한 스무딩 콘볼루션 커널로 수행할 수 있다.
다음, 본 발명에서는 일반 영상의 블러링(blurring) 과정에서 세가지 칼라 채널 모두가 동일한 방식으로 열화될 수 있다고 가정한다. 이러한 가정에 따라, 만일 원래의 저해상도 영상을 초해상도 향상 처리를 통해 재구성하고자 한다면, 채널들은 서로 독립적으로 다뤄질 수 있다. 이전의 변형예에서는 RGB 채널들이 함께 하나의 벡터로 사용되었다. 이러한 가정에 따라, 예를 들어 청색 에지 패턴은 녹색 또는 적색 패턴과 동일한 방식으로 스무딩된다. 즉, 청색 예제를 재구성을 위한 녹색 및 적색 채널에 대해 또는 그 반대로 사용할 수 있다. 이러한 방식으로 동일한 크기의 데이터베이스를 적용함으로써 트레이닝 패턴의 다양성을 증가시킬 수 있다. 다른 실시예로서, 종래의 방법으로는 재구성이 잘 이루어지지 않는 패치들에서 대해서만 채널들을 독립적인 방식으로 처리할 수 있다. 수학식 1에 있어서 중간주파수 패치들의 정합 에러인 E1을 계산함으로써 별도의 칼라 재구성 과정을 시작한 경우 임계치 구속장을 정의할 수 있다.
이하, 본 발명에 적용된 각 기술적 특징에 따른 성능 향상을 세부적으로 살펴보면 다음과 같다.
첫째, 다운샘플링 및 업샘플링에 의해 얻어지는 중첩되지 않는 중간주파수 패치를 사용하는 경우, 칼라영상의 경우 벡터들의 차원이 적어도 7×7×3인 종래의 초해상도 처리기법과는 달리 본 발명에서 사용되는 벡터들의 차원은 2×2×3이다. 고차원 데이터 공간에서의 인덱싱 및 탐색은 계산상 복잡도가 크기 때문에 패치쌍 데이터베이스에 저장되는 데이터가 작을수록 탐색시간을 크게 줄일 수 있다. 다음 표 1은 서로 다른 타입의 중간주파수 패치에 대하여, 패치쌍 데이터베이스 사이즈와 탐색시간을 서로 비교하기 위한 것이다.
Figure 112005065129125-pat00004
표 1에 있어서 타입 1은 미국특허번호 6,766,067호와 미국공개특허번호 2004-0218834호에서 적용된 중첩된 중간주파수 패치를, 타입 3 및 타입 4는 본 발명에 적용된 그레이 채널에서만 1 픽셀만큼 중첩되는 중간주파수 패치 및 중첩되지 않는 중간주파수 패치를 각각 나타낸다. 이에 따르면, 타입 4인 경우 패치쌍 데이터베이스의 사이즈와 탐색시간이 대폭 감소되었음을 알 수 있다.
둘째, 쿼리 즉, 저해상도 영상의 중간주파수 패치에 대한 복수의 기하학적 변형을 적용하는 경우, 패치쌍 데이터베이스의 사이즈가 비교적 작거나 패치쌍 데이터베이스를 구성하기 위하여 사용된 고해상도 영상이 저해상도 영상으로부터 재구성될 고해상도 영상과 그 특성이 매우 다른 경우 유용하다. 즉, 쿼리에 대한 8가지의 기하학적 변형을 적용하면, 더 큰 패치쌍 데이터베이스를 구비할 필요없이 8배 더 큰 패치쌍 데이터베이스를 갖는 것과 동일한 효과를 제공한다. 상기 표 1의 8번째 컬럼은 8가지의 기하학적 변형이 적용되었을 때 재구성된 고해상도 영상의 화질 향상을 나타내는 피크 신호 대 잡음비(PSNR) 데이터이며, 이는 다음 표 2로 보다 세부적으로 나타낼 수 있다.
Figure 112005065129125-pat00005
표 2를 참조하면, 중간주파수 패치에 대하여 기하학적 변환을 포함한 탐색모드를 적용할 경우, 모든 타입에 대하여 화질 향상이 이루어짐을 알 수 있다. 여기서, 화질 향상은 0.01 dB 에서부터 0.24 dB에까지 이르며, 대체적으로 완전 탐색모드인 경우 베스트 브랜치 탐색모드시보다 양호한 성능을 나타낸다.
셋째, 기하학적으로 변환된 각 쿼리에 대하여 공유 후보 리스트에 의한 동시 탐색모드를 적용하는 경우, 동일한 성능을 제공하면서 탐색시간을 적어도 40 % 감소시킬 수 있다. 탐색시간 감소에 대한 두가지 예는 다음과 같다. 여기서, 탐색시간은 (완전 재구성 러닝 타임/KD-트리 탐색 러닝 타임)으로 주어진다.
첫번째 예로서, 영상 "flower"을 13,000 개의 패치들을 갖는 작은 데이터베이스를 이용하여 재구성함에 있어서, 8가지의 기하학적 변환을 수행하는 경우 시리얼 탐색모드로 완전(과도) 탐색시 19250 ms/17087 ms 가 걸리는 반면, 동시 탐색모드로 완전(과도) 탐색시 11813 ms/9600 ms 가 걸린다. 두번째 예로서, 영상 "birdhouse"을 300,000 개의 패치들을 갖는 큰 데이터베이스로 재구성함에 있어서, 8가지의 기하학적 변환을 수행하는 갖는 경우 시리얼 탐색모드로 완전(과도) 탐색시 686500 ms/653818 ms 가 걸리는 반면, 동시 탐색모드로 완전(과도) 탐색시 298484 ms/268291 ms 가 걸린다.
넷째, 허용한도 탐색을 적용하는 경우, 수학식 1의 E(epsilon) 값을 0에서부터 더 큰 값으로 증가시킴에 따라 더 많은 탐색시간을 필요로 하나, 모노 톤 출력에서 더 양호한 재구성 화질을 얻을 수 있다. 테스트를 통해 과도 탐색시 적어도 50 %의 속도 향상과 더불어 약 95 %의 화질에 도달할 수 있음을 확인할 수 있다. 두가지 테스트 영상, "Cameraman"과 "Leaves"에 대한 허용한도 탐색시 소요되는 탐색시간 및 화질 향상은 다음 표 3에서와 같이 나타낼 수 있다.
Figure 112005065129125-pat00006
다섯째, 시각적인 선명도와 높은 신뢰성 간의 균형을 적용하는 경우, 인간의 눈을 만족시키는 선명한 영상을 얻기 위해서 고주파수 영상을 강하게 스무딩시킬 필요가 없으나, 초해상도의 목적이 신뢰할 수 있는 미세한 디테일 영상을 얻는 것인 경우에는 고주파수 영상을 강하게 스무딩시킬 필요가 있다. 따라서, 시각적인 선명도와 높은 신뢰성 간의 균형을 적용하면, 선명도가 약간 떨어진 고해상도 영상을 얻게 되나, 미리 알고 있는 미세한 디테일 영상에 근접한 고해상도 영상을 얻을 수 있다. 즉, 선명도가 약간 떨어진 고해상도 영상은 당연히 더 적은 결함(artifacts) 즉, 보다 높은 신뢰성을 가지게 된다.
여섯째, 트레이닝 및 재구성시, 중간주파수 영상 및 저주파수 영상을 생성하기 위하여 저역통과 필터링을 위한 바이큐빅 보간을 이용함으로써 사람의 눈을 위한 양호한 주밍 결과를 제공한다. 초해상도 처리에 의하여, 바이큐빅 보간된 영상을 작은 미세한 디테일 영상들을 이용하여 향상시키는 것이다.
일곱째, 칼라 채널을 분리시킴으로써 큰 E1 에러를 갖는 패치에 대한 재구성시 추가적인 탐색시간을 필요로 하는 반면, 재구성된 고해상도 영상의 화질을 대폭적으로 개선시킬 수 있다.
여덟째, KD-트리를 컴팩트화시킴으로써 더 작은 데이터베이스를 얻을 수 있고, 그 결과 더 작은 공간을 필요로 하며, 탐색시간 또한 줄일 수 있다.
아홉째, 패치의 사전분류를 적용할 경우 탐색 속도를 향상시킬 수 있다. 다음 실험 데이터를 통해 이와 같은 효과를 입증할 수 있다.
이를 위하여, 고해상도 영상 "garden" 및 "neighbor"를 이용한 트레이닝 결과 얻어지는 132,243 개의 패치들을 제1 클래스로, 170,339 개의 패치들을 제2 클래스를 설정하였다. 저해상도 영상 "birdhouse"에 대한 고해상도 영상을 재구성함에 있어서, 고주파수 영상에 대하여 저역통과필터링을 수행하지 않으면서 베스트 브랜치 탐색모드시 패치 분류를 적용하였을 경우 30.55 dB/39 sec의 결과를 얻은 반면, 패치 분류를 적용하지 않았을 경우 30.41 dB/42.5 sec의 결과를 얻었다. 고주파수 영상에 대하여 저역통과필터링을 수행하지 않으면서 과도 탐색모드시 패치 분류를 적용하였을 경우 30.55 dB/155 sec의 결과를 얻은 반면, 패치 분류를 적용하지 않았을 경우 30.48 dB/216 sec의 결과를 얻었다. 트레이닝시 고주파수 영상에 대하여 저역통과필터링을 수행하면서 베스트 브랜치 탐색모드시 패치 분류를 적용하였을 경우 31.97 dB/39.5 sec의 결과를 얻었고, 패치 분류를 적용하지 않았을 경우 31.93 dB/42.5 sec의 결과를 얻었다. 트레이닝시 고주파수 영상에 대하여 저역통과필터링을 수행하면서 과도 탐색모드시 패치 분류를 적용하였을 경우 31.97 dB/156 sec의 결과를 얻었고, 패치 분류를 적용하지 않았을 경우 32 dB/216.5 sec의 결과를 얻었다.
도 12 내지 도 16는 종래의 바이큐빅 보간과 본 발명에 따른 초해상도 향상 처리 간의 주관적인 성능을 비교하기 위한 것이다. 도 13의 좌측 영상(1310)은 도 12의 보트 영상의 사이즈를 1/2로 축소시킨 다음, 바이큐빅 보간 결과로서 얻어진 것으로서 PSNR은 29.85dB 이며, 우측 영상(1330)은 도 12의 보트 영상의 사이즈를 1/2로 축소시킨 다음, 초고해상도 향상 처리 결과로 얻어진 것으로서 PSNR은 30.12dB이다. 도 15의 좌측 영상(1510)은 도 14의 고추 영상의 사이즈를 1/2로 축소시킨 다음, 바이큐빅 보간 결과로서 얻어진 것으로서 PSNR은 31.93dB 이며, 우측 영상(1530)은 도 14의 고추 영상의 사이즈를 1/2로 축소시킨 다음, 초고해상도 향상 처리 결과로 얻어진 것으로서 PSNR은 32.34dB이다. 도 16의 좌측영상(1650)은 절반 크기의 고추 영상에 대한 바이큐빅 보간한 영상(1610)의 일부를 확대한 것이며, 우측영상(1670)은 초해상도 향상 처리된 영상(1630)의 일부를 확대한 것이다.
도 13, 도 15 및 도 16에 도시된 영상을 참조하면, 본 발명에 따른 초해상도 향상 처리를 수행할 경우 종래의 바이큐빅 보간과 비교할 때 시각적인 화질 개선을 달성하였음을 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 바와 같이 본 발명에 따르면, 다운 및 업샘플링에 의해 얻어지는 중첩되지 않은 중간주파수 패치를 이용하여 패치쌍 데이터베이스를 탐색하더라도 재구성된 고해상도 영상의 화질을 열화시키지 않으면서 탐색시간을 대폭 줄일 수 있다. 특히, 바이큐빅 보간에 의해 얻어지는 고해상도 영상과 비교할 경우 주관적인 화질 즉, 시각적인 화질을 개선시킬 수 있다.
본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (20)

  1. 저해상도 영상을 획득하는 저해상도 영상 획득부;
    복수개의 고해상도 영상들을 각각 패치 단위로 분할하고, 상기 패치에 대하여 중간주파수 패치와 고주파수 패치로 이루어진 패치쌍을 생성하는 패치쌍 생성부;
    상기 패치쌍 생성부에서 얻어지는 복수개의 패치쌍을 저장하는 패치쌍 데이터베이스; 및
    상기 저해상도 영상을 패치 단위로 분할하고, 상기 패치쌍 데이터베이스로부터 상기 저해상도 영상의 중간주파수 패치와 유사한 중간주파수 패치를 포함하는 패치쌍을 탐색하고, 탐색된 패치쌍에 포함된 고주파수 패치를 저해상도 영상에서 해당하는 패치에 삽입하여 재구성된 고해상도 영상을 생성하는 고해상도 영상 재구성부를 포함하며,
    상기 재구성부는 하나의 중간주파수 패치에 대한 복수개의 기하학적 변형버젼을 생성하고, 생성된 복수개의 기하학적 변형버젼에 대하여 공유 후보 리스트를 이용하여 동시 탐색을 실행하고, 상기 중간주파수 패치는 인접하는 패치와 중첩하지 않도록 구성하는 것을 특징으로 하는 초해상도 향상 처리장치.
  2. 제1 항에 있어서, 상기 패치쌍 생성부와 상기 패치쌍 데이터베이스 사이에 위치하며, 상기 패치쌍 데이터베이스의 리던던시를 줄이기 위하여 트리의 리프들에서 유사한 패치들을 병합하는 패치병합부를 더 포함하는 것을 특징으로 하는 초해상도 향상 처리장치.
  3. 제2 항에 있어서, 상기 패치병합부는 상기 트리의 각 리프에서 평균패치와 개별패치간의 차이를 획득하고, 상기 평균패치에 가까운 개별패치는 상기 평균패치로 대체하여 새로운 트리를 생성하는 것을 특징으로 하는 초해상도 향상 처리장치.
  4. 제1 항에 있어서, 상기 패치쌍 생성부와 상기 패치쌍 데이터베이스 사이에 위치하며, 상기 중간주파수 패치들의 분산에 따라서 서로 다른 데이터베이스를 구성하거나 사용하도록 상기 중간주파수 패치들을 분류하는 패치분류부를 더 포함하는 것을 특징으로 하는 초해상도 향상 처리장치.
  5. 제1 항에 있어서, 상기 패치쌍 생성부는
    상기 고해상도 영상에 대하여 바이큐빅 보간을 적용하여 고주파수 패치를 생성하는 고주파수 패치 생성부;
    상기 바이큐빅 보간에 의해 얻어지는 중간영상에 대하여 재차 바이큐빅 보간을 적용하여 중간주파수 패치를 생성하는 중간주파수 패치 생성부; 및
    상기 고주파수 패치 및 상기 중간주파수 패치와, 상기 고주파수 패치의 중첩된 복수개의 에지픽셀로 패치쌍을 구성하는 패치쌍 구성부를 포함하는 것을 특징으로 하는 초해상도 향상 처리장치.
  6. 제5 항에 있어서, 상기 패치쌍 구성부는 상기 고주파수 패치에 대하여 스무딩을 수행하는 것을 특징으로 하는 초해상도 향상 처리장치.
  7. 제1 항에 있어서, 상기 고해상도 영상 재구성부는
    상기 저해상도 영상에 대하여 바이큐빅 보간을 적용하여 중간주파수 패치를 생성하는 중간주파수 패치 생성부;
    상기 중간주파수 패치 및 재구성된 고해상도 영상에 포함되는 고주파수 패치의 복수개의 에지픽셀들을 이용하여 상기 패치쌍 데이터베이스를 탐색하는 탐색부; 및
    상기 탐색부에서 탐색결과 얻어지는 고주파수 패치를 상기 저해상도 영상의 해당 패치에 가산하는 가산부를 포함하는 것을 특징으로 하는 초해상도 향상 처리장치.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제1 항 내지 제7 항 중 어느 한 항에 있어서, 상기 중간주파수 패치는 그레이 채널에서만 인접하는 패치와 1 픽셀만큼 중첩하도록 구성하는 것을 특징으로 하는 초해상도 향상 처리장치.
  12. 복수개의 고해상도 영상들을 각각 패치 단위로 분할하고, 상기 패치에 대하여 중간주파수 패치와 고주파수 패치로 이루어진 패치쌍을 생성하여 패치쌍 데이터베이스로 저장하는 단계; 및
    저해상도 영상을 패치 단위로 분할하고, 상기 패치쌍 데이터베이스로부터 상기 저해상도 영상의 중첩되지 않는 중간주파수 패치와 유사한 중간주파수 패치를 포함하는 패치쌍을 탐색하고, 탐색된 패치쌍에 포함된 고주파수 패치를 상기 저해상도 영상에서 해당하는 패치에 삽입하여 재구성된 고해상도 영상을 생성하는 단계를 포함하며,
    상기 재구성된 고해상도 영상을 생성하는 단계는 하나의 중간주파수 패치에 대한 복수개의 기하학적 변형버젼을 생성하고, 생성된 복수개의 기하학적 변형버젼에 대하여 공유 후보 리스트를 이용하여 동시 탐색을 실행하고, 상기 중간주파수 패치는 인접하는 패치와 중첩하지 않도록 구성하는 것을 특징으로 하는 초해상도 향상 처리방법.
  13. 제12 항에 있어서, 상기 방법은 상기 패치쌍 데이터베이스의 리던던시를 줄이기 위하여 트리의 리프들에서 유사한 패치들을 병합하는 단계를 더 포함하는 것을 특징으로 하는 초해상도 향상 처리방법.
  14. 제13 항에 있어서, 상기 패치병합단계는
    상기 트리의 각 리프에서 평균패치를 획득하는 단계;
    상기 각 리프에서 상기 평균패치와 개별패치간의 차이를 획득하는 단계; 및
    상기 평균패치와 상기 개별패치간의 차이가 임계치보다 작은 경우 상기 개별패치는 상기 평균패치로 대체하여 새로운 트리를 생성하는 단계를 포함하는 것을 특징으로 하는 초해상도 향상 처리방법.
  15. 제12 항에 있어서, 상기 방법은 상기 중간주파수 패치들의 분산에 따라서 서로 다른 데이터베이스를 구성하거나 사용하도록 상기 중간주파수 패치들을 분류하는 단계를 더 포함하는 것을 특징으로 하는 초해상도 향상 처리방법.
  16. 제15 항에 있어서, 상기 패치분류단계는
    트레이닝동안 상기 고해상도 영상의 상기 중간주파수 패치들의 분산을 계산하는 단계;
    상기 분산에 따라서 클래스를 결정하는 단계;
    상기 중간주파수 패치들을 상기 패치쌍 데이터베이스에서 상기 결정된 클래스에 저장하는 단계;
    재구성동안 상기 저해상도 영상의 상기 중간주파수 패치들의 분산을 계산하는 단계; 및
    상기 패치쌍 데이터베이스에서 상기 저해상도 영상의 상기 중간주파수 패치들의 분산에 따라서 결정된 클래스에 저장된 상기 고해상도 영상의 상기 중간주파 수 패치들을 탐색하는 단계를 포함하는 것을 특징으로 하는 초해상도 향상 처리방법.
  17. 삭제
  18. 삭제
  19. 제12 항에 있어서, 상기 고해상도 영상의 상기 고주파수 패치에 대하여 스무딩을 수행하는 단계를 더 포함하는 것을 특징으로 하는 초해상도 향상 처리방법.
  20. 제12 항 내지 제16 항 혹은 제19 항 중 어느 한 항에 기재된 초해상도 향상 처리방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020050108270A 2005-08-03 2005-11-11 초해상도 향상 처리장치 및 방법 KR101174130B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050108270A KR101174130B1 (ko) 2005-08-03 2005-11-11 초해상도 향상 처리장치 및 방법
US11/431,514 US7715658B2 (en) 2005-08-03 2006-05-11 Apparatus and method for super-resolution enhancement processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050071157 2005-08-03
KR1020050108270A KR101174130B1 (ko) 2005-08-03 2005-11-11 초해상도 향상 처리장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070016909A KR20070016909A (ko) 2007-02-08
KR101174130B1 true KR101174130B1 (ko) 2012-08-14

Family

ID=43650849

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050108270A KR101174130B1 (ko) 2005-08-03 2005-11-11 초해상도 향상 처리장치 및 방법

Country Status (1)

Country Link
KR (1) KR101174130B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544171B1 (ko) * 2014-12-29 2015-08-12 연세대학교 산학협력단 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법
US10909700B2 (en) 2019-04-02 2021-02-02 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
US12039693B2 (en) 2019-12-18 2024-07-16 Samsung Electronics Co., Ltd. Apparatus and method of controlling the same

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101509254B1 (ko) * 2008-11-10 2015-04-08 삼성전자주식회사 고해상도 영상 재구성 방법
KR101037023B1 (ko) * 2009-10-05 2011-05-25 인하대학교 산학협력단 클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치
WO2011097013A1 (en) * 2010-02-02 2011-08-11 Thomson Licensing Methods and apparatus for reducing vector quantization error through patch shifting
KR101632917B1 (ko) * 2010-02-08 2016-07-04 삼성전자주식회사 고화질 영상 획득을 위한 학습 기반 고해상도 향상 장치 및 방법
KR101106613B1 (ko) * 2010-03-24 2012-01-20 전자부품연구원 에지 프로파일을 이용한 영상의 해상도 변환 장치 및 방법
KR101624210B1 (ko) 2010-08-27 2016-05-31 한화테크윈 주식회사 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템
KR101870234B1 (ko) * 2012-04-04 2018-06-22 엘지디스플레이 주식회사 표시장치의 영상품질 향상 방법 및 그 장치
KR101873038B1 (ko) * 2012-04-04 2018-07-02 엘지디스플레이 주식회사 표시장치의 영상품질 향상 방법 및 그 장치
US10008030B2 (en) 2015-09-07 2018-06-26 Samsung Electronics Co., Ltd. Method and apparatus for generating images
KR102384234B1 (ko) 2016-10-26 2022-04-07 삼성전자주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
KR102253982B1 (ko) * 2018-10-31 2021-05-18 건국대학교 산학협력단 뇌파도의 증강된 해상도 데이터 생성 장치 및 방법
CN113554047A (zh) * 2020-04-24 2021-10-26 京东方科技集团股份有限公司 图像处理模型的训练方法、图像处理方法及对应的装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218834A1 (en) * 2003-04-30 2004-11-04 Microsoft Corporation Patch-based video super-resolution

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218834A1 (en) * 2003-04-30 2004-11-04 Microsoft Corporation Patch-based video super-resolution

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C.M. Bishop et al., "Super-resolution enhancement of video", Proc. Artificial Intelligence and Statistics, 2003.*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544171B1 (ko) * 2014-12-29 2015-08-12 연세대학교 산학협력단 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법
US10909700B2 (en) 2019-04-02 2021-02-02 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
US12039693B2 (en) 2019-12-18 2024-07-16 Samsung Electronics Co., Ltd. Apparatus and method of controlling the same

Also Published As

Publication number Publication date
KR20070016909A (ko) 2007-02-08

Similar Documents

Publication Publication Date Title
KR101174130B1 (ko) 초해상도 향상 처리장치 및 방법
US7715658B2 (en) Apparatus and method for super-resolution enhancement processing
Li et al. Recurrent feature reasoning for image inpainting
CN110992262B (zh) 一种基于生成对抗网络的遥感图像超分辨重建方法
Zhang et al. SDNet: A versatile squeeze-and-decomposition network for real-time image fusion
Wang et al. Deep learning for image super-resolution: A survey
Demir et al. Patch-based image inpainting with generative adversarial networks
Bishop et al. Super-resolution enhancement of video
Acharya et al. Towards high resolution video generation with progressive growing of sliced wasserstein gans
Shahdoosti et al. Image denoising using sparse representation classification and non-subsampled shearlet transform
Khmag et al. Natural image noise removal using nonlocal means and hidden Markov models in transform domain
Xie et al. Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering
Khmag Additive Gaussian noise removal based on generative adversarial network model and semi-soft thresholding approach
Davy et al. Non-local video denoising by CNN
CN113313663B (zh) 基于零样本学习的多聚焦图像融合方法
CN111260580A (zh) 一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质
Chen et al. Single depth image super-resolution using convolutional neural networks
Hallabia et al. An optimal use of SCE-UA method cooperated with superpixel segmentation for pansharpening
Wang et al. No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
Pandey et al. A novel technique for non-overlapping image mosaicing based on pyramid method
Lu et al. SAR image despeckling via structural sparse representation
CN110866888B (zh) 基于潜在信息表征gan的多模态mri合成方法
Satti et al. DIBS: Distance-and intensity-based separation filter for high-density impulse noise removal
Lepcha et al. An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151014

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160808

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170605

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180531

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 8