KR20160115925A - 이미지 품질을 강화하는 방법 및 장치 - Google Patents

이미지 품질을 강화하는 방법 및 장치 Download PDF

Info

Publication number
KR20160115925A
KR20160115925A KR1020167020891A KR20167020891A KR20160115925A KR 20160115925 A KR20160115925 A KR 20160115925A KR 1020167020891 A KR1020167020891 A KR 1020167020891A KR 20167020891 A KR20167020891 A KR 20167020891A KR 20160115925 A KR20160115925 A KR 20160115925A
Authority
KR
South Korea
Prior art keywords
image
patches
patch
resolution image
child
Prior art date
Application number
KR1020167020891A
Other languages
English (en)
Inventor
메멧 투르칸
도미니끄 또로
필리쁘 기요뗄
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160115925A publication Critical patent/KR20160115925A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G06T7/0026—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

이미지의 품질을 강화하는 방법은, 초기 저해상도 이미지 (LRI) 로부터, 업샘플링에 의해 초기 고해상도 이미지 (IHRI) 를 유도하는 단계 (S2, S3); 상기 초기 저해상도 이미지 (LRI) 에 기초하여, 상기 초기 고해상도 이미지 (IHRI) 의 것보다 낮은 해상도를 갖는 보조 이미지 (AIij, AIi'j') 로서 적어도 하나의 다운샘플링된 필터링된 이미지를 제공하는 단계 (S4); 상기 초기 저해상도 이미지 (LRI) 에 기초하여, 상기 적어도 하나의 다운샘플링된 필터링된 이미지와 동일한 해상도를 갖는 비필터링된 이미지 (LRI, UIi'j') 를 제공하는 단계 (S6); 상기 초기 고해상도 이미지 (IHRI) 로부터 패치 (PI) 를 선택하는 단계; 상기 적어도 하나의 다운샘플링된 필터링된 이미지 (AIij, AIi'j') 에서 상기 선택된 패치와 유사한 둘 이상의 자식 패치들 (PAk) 을 검색하는 단계 (S8); 상기 비필터링된 이미지들 (LRI, UIi'j') 에서, 상기 자식 패치들 (PAk) 과 국부적으로 연관된 부모 패치들 (PPk) 을 검색하는 단계; 및 강화된 품질 패치 (EP) 를 형성하기 위하여 상기 부모 패치들 (PPk) 을 선형 결합하는 단계 (S14) 를 포함한다. 마지막으로, 강화된 품질의 고해상도 이미지 (EIp) 를 형성하기 위해, 단계들 d) 내지 f) 를 반복적으로 수행하는 것에 의해 획득되는 강화된 품질 패치들 (EP) 이 결합된다 (S15).

Description

이미지 품질을 강화하는 방법 및 장치{METHOD AND DEVICE FOR ENHANCING QUALITY OF AN IMAGE}
본 발명은 이미지 품질을 강화하는 기술에 관한 것이고, 보다 구체적으로, 주어진 저해상도 (low-resolution; LR) 이미지에서의 손실한 고주파수 디테일들을 복구하는 것에 관한 것이다. 이러한 기술들은 이 기술들이 감소된 저장 공간에서 이미지 정보를 저장하는 것을 허용하고 그리고 이 기술들이 이미지 정보를 프로세싱 및/또는 송신하는데 요구되는 대역폭을 감소시키기 때문에 상당한 상업적 관심 대상이다.
자신의 최고 공간 주파수 성분은 이미지의 단위 길이 당 픽셀들의 수의 1/2 보다 더 높을 수 없기 때문에 픽처가 가질 수 있는 디테일의 정도에 물리적 한계가 존재한다. 이 한계 하에서, 이미지의 디테일의 정도는 프로세싱 품질에 대해 나타내어진 대상 요소 등에 의존하여 변화할 수 있다. 다음의 설명에서, 우리는 위의 물리적 상한값과 연계한 용어 "해상도" 및 특정 이미지에서 뷰어에 의해 인식되는 디테일의 양과 연계한 용어 "이미지 품질"을 이용하는 것에 의해 이들 2 개의 양태들 간을 구별할 것이다.
본 출원의 첨부부분에 리스트된 예를 들어, 문헌 [1] 내지 문헌 [3] 에서 통상의 이미지 품질 강화 기술은, 비디오 데이터에 있어서, 후속하는 이미지들의 컨텐츠가 부분적으로 반복적이라는 점과, 이들 충분한 양의 이미지가 존재한다고 가정하면, 주어진 이미지에서 손실한 고주파수 정보가 이전 또는 후속하는 이미지들로부터 취출될 수 있다는 점에 의존한다. 따라서, 재구성된 고해상도 (HR) 의 품질은 LR 이미지들에서 이용가능한 데이터의 양에 매우 의존한다. 그러나, 실제적으로, 불충분한 수의 LR 관측들, 모션 추정 (레지스트레이션) 에러들, 및 알려지지 않은 포인트 스프레드 함수 (point spread function; PSF) 는 일반 조건들 하에서 이들 멀티-이미지 SR 방법들의 적용 능력을 2 미만의 작은 업-스케일링 비들로 제한한다.
본 발명의 목적은 이미지 시퀀스에서 이전 또는 후속 이미지들에 대한 리코스 (recourse) 를 갖지 않고 개별적인 이미지들의 품질이 강화될 수 있는 방법 및 디바이스를 제공하는 것이다.
한편, 본 발명의 목적은 하기 단계들:
a) 초기 저해상도 이미지로부터, 업샘플링에 의해 초기 고해상도 이미지를 유도하는 단계;
b) 초기 저해상도 이미지에 기초하여, 초기 고해상도 이미지의 것보다 낮은 해상도를 갖는 보조 이미지로서 적어도 하나의 다운샘플링된 필터링된 이미지를 제공하는 단계;
c) 초기 저해상도 이미지에 기초하여, 상기 적어도 하나의 다운샘플링된 필터링된 이미지와 동일한 해상도를 갖는 비필터링된 이미지를 제공하는 단계;
d) 상기 초기 고해상도 이미지로부터 패치를 선택하는 단계;
e) 상기 적어도 하나의 다운샘플링된 필터링된 이미지에서 상기 선택된 패치와 유사한 둘 이상의 자식 패치들 (또는 차일드 패치들) 을 검색하는 단계;
f) 상기 비필터링된 이미지들에서, 상기 자식 패치들과 국부적으로 연관된 부모 패치들을 검색하는 단계;
g) 강화된 품질 패치를 형성하기 위하여 부모 패치들을 선형 결합하는 단계; 및
h) 강화된 품질의 고해상도 이미지를 형성하기 위해, 단계들 d) 내지 f) 를 반복적으로 수행하는 것에 의해 얻어진 강화된 품질 패치들을 결합하는 단계를 포함하는 방법에 의해 실현된다.
본 발명은 2 개의 상이한 부모 패치들이 통상 동일한 오브젝트 (또는 오브젝트의 동일한 부분들) 를 보여주지 않는 경우에도, 복수의 신중하게 선택된 부모 패치들을 결합하는 것에 의해 디테일들이 재구성되는 것을 허용할 정도로 이들 패치들이 충분히 유사할 수도 있다는 지견에 기초한다. 즉, 이미지에 나타난 것이 2 개의 상이하게 컬러링된 영역들, 예를 들어, 화이트 영역과 블랙 영역 사이의 바운더리라면, 이 바운더리는 그레이의 상이한 음영들로 픽셀들에 의해 이미지에 표현될 것이며, 이 음영은 픽셀이 화이트로의 또는 블랙 측으로의 경향이 심하면 픽셀 내부에서 바운더리가 실제로 존재하는 영역에 의존한다. 바운더리는 이들 픽셀들에 대하여 상이하게 위치되기 때문에, 픽셀 내부의 바운더리의 포지션은 가장자리 픽셀들의 그레이 음영들이 상이한 바운더리의 다른 영역들을 나타내는 패치들에 기초하여 보다 정확하게 판단될 수 있다.
상기 적어도 하나의 보조 이미지들 중 제 1 이미지가 초기 저해상도 이미지와 동일한 해상도를 가지면, 상기 제 1 보조 이미지와 연관된 비필터링된 이미지는 초기 저해상도 이미지일 수도 있다.
종종 실제로 나타나는 실시형태에서, 동일한 초기 저해상도 이미지로부터 형성된 하나보다 많은 보조 이미지가 존재할 것이며, 이 경우에, 상기 보조 이미지들 중 제 2 이미지는 초기 저해상도 이미지의 해상도보다 낮은 해상도를 가질 수도 있으며, 상기 제 2 보조 이미지와 연관된 제 2 비필터링된 이미지는 초기 저해상도 이미지를 제 2 보조 이미지의 해상도로 다운샘플링하는 것에 의해 획득된다.
일 실시형태에서, 각각의 보조 이미지는 초기 고해상도 이미지를 다운샘플링하는 것에 의해 얻어진다.
업샘플링은 단순하게, 초기 저해상도 이미지의 2 개의 인접하는 픽셀들 사이의 미리 정해진 수의 픽셀들을 삽입하는 것 및 이들에 표준값, 예를 들어, 0 또는 인접하는 픽셀들 중 하나의 값을 할당하는 것을 포함한다. 그 경우에, 로우 패스 필터링 단계는 보조 이미지들이 초기 저해상도 이미지의 해상도로 다운샘플링하는 것에 의해 획득되면, 이들 보조 이미지들은 오리지널 저해상도 이미지와 상이하고 그리고 서로 상이할 수 있다.
로우 패스 필터링은 업샘플링된 이미지의 공간 스펙트럼에서 고주파수 성분들을 약화 (dampening) 시키는 것에 의해 수행될 수 있다.
일 실시형태에서, 단계 e) 에서, 선택된 패치에 대한 유사도는 상기 적어도 하나의 보조 이미지에서의 매 패치에 대해 평가되며, 최고 유사도를 갖는 미리 정해진 수의 패치들만이 상기 자식 패치들로서 유지된다.
2 개의 패치들의 유사성은 여러 방식들로 정의될 수 있다. 편리한 것은 이들 유사성의 척도로서 2 개의 패치들의 교차 상관을 이용하는 것이다.
단계 g) 에서, 강화된 품질 패치는 일 실시형태에서 하기의 하위 단계:
g1) 선택된 패치에 대한 선형 결합의 유사성이, 가장 유사한 단일 자식 패치의 것보다 더 양호하게 되도록 선형 계수를 각각의 자식 패치에 할당하는 것에 의해 상기 자식 패치들의 선형 결합을 형성하는 단계;
g2) 이들의 개별적인 자식 패치들에 할당된 선형 계수들을 이용하여 부모 패치들의 선형 결합을 형성하는 단계에 의해 획득된다.
단계 g1) 에서, 선형 계수들은 반복적으로, 상기 자식 패치들 중 하나를 선택하는 것, 가설 패치와 상기 선택된 자식 패치의 선형 결합을 형성하는 것, 및 중첩의 유사성이 가설 패치의 것보다 더 양호하면, 가설 패치를 상기 가설 패치 및 자식 패치의 선형 결합으로 대체하는 것에 의해 결정될 수도 있다.
제 1 반복에서, 가설 패치는 임의적으로 선택될 수도 있고, 바람직하게는 자식 패치들 중 하나가 가설 패치로서 선택된다.
단계 g1) 의 선형 결합에서, 가설 패치와 자식 패치의 선형 계수들은 선택된 패치에 대한 이들의 선형 결합의 유사성을 최적화하도록 설정된다.
자식 패치들의 선형 결합의 유사성이 가설 패치의 것보다 양호하지 않으면, 최적화가 발견된 것으로 추정될 수 있고 반복을 중단한다 (즉, 만료한다). 가설 패치의 선형 계수들 또는 자식 패치들의 상기 선형 결합의 선형 계수들은 그 후 단계 g) 에서 부모 패치들의 선형 계수들로서 취해질 수 있다.
대안으로서, 제 1 임시 강화된 품질 패치는 가설 패치의 선형 계수들을 이용하여 부모 패치들을 선형 결합하는 것에 의해 형성될 수 있고, 제 2 임시 강화된 품질 패치는 상기 가설 패치와 상기 선택된 자식 패치의 선형 결합의 선형 계수들을 이용하여 부모 패치들을 선형 결합하는 것에 의해 형성될 수 있다. 단계 d) 에서 선택된 패치와 제 2 임시 강화된 품질 패치의 유사성이 단계 d) 에서 선택된 패치와 제 1 임시 강화된 품질 패치의 유사성보다 양호하지 않으면, 반복이 중단된다 (즉, 만료된다).
반복 횟수를 최소화하기 위해, 단계 g1) 에서 자식 패치들이 감소하는 유사성 순으로 선택되어야 한다.
단계들 b) 내지 h) 가, 단계 h) 의 이전 실행에서 획득된 강화 품질 고해상도 이미지를 후속 단계 b) 에서의 초기 고해상도 이미지로서 이용하여 반복되면 이미지 품질은 추가로 개선될 수도 있다.
딘계들 b) 내지 h) 의 반복 횟수는 바람직하게 3 과 5 사이여야 하는데, 그 이유는 반복 횟수가 크면, 강화된 품질 고해상도 이미지의 실질적인 개선들이 실현되지 않기 때문이다.
본 발명의 추가의 특징들 및 이점들은 첨부된 도면들을 참조하여 그 실시형태들의 후속하는 설명으로부터 명백하게 될 것이다.
도 1 은 본 발명의 방법의 플로우차트이다.
도 2 는 청구항 1 의 방법에 이용되는 여러 이미지들 사이의 관계를 예시한다.
도 3 은 청구항 15 의 디바이스의 블록도이다.
도 1 을 참조하여 후속하여 설명된 초기 저해상도 이미지로부터 강화 품질 고해상도 이미지를 형성하는 방법은 마이크로프로세서 상에서 또는 많은 수의 병렬 프로세서들을 갖는 마이크로프로세서 시스템에서 바람직하게 실행된다.
단계 S1 에서, 시스템은 예를 들어, n 개의 로우들 및 m 개의 컬럼들의 픽셀들로 형성된 초기 저해상도 이미지 (LRI) 를 수신한다. 간략화를 위하여, 이미지 LRI 이 블랙 또는 화이트 단독으로 되는 것으로 여기서는 가정할 것이며, 각각의 픽셀은 자신의 명암을 특정하는 하나의 정수에 대응한다. 컬러 이미지에 대한 일반화는 당해 기술 분야에 잘 알려져 있다.
단계 S2 에서, 이미지 LRI 는 LRI 의 임의의 2 개의 인접하는 로우들 사이에 (i-1) 개의 추가 로우들을 삽입하고, LRI 의 임의의 2 개의 인접하는 컬럼들 사이에 (j-1) 개의 추가 컬럼들을 삽입하여, i*n 개의 로우들 곱하기 j*m 개의 컬럼들의 이미지를 산출하는 것에 의해 팩터 i, j 로 업샘플링된다. i 및 j 는 작은 정수들이고, 이들 중 적어도 하나는 1 보다 크고; 가장 실용적인 실시형태에서, i=j 가 유지된다.
삽입된 픽셀들은 S2 에서 획득된 이미지를 공간적으로 로우 패스 필터링하는 것에 의해 또는 쌍2차 또는 쌍3차 보간 (bilinear or bicubic interpolation) 에 의해 이들에 할당된 데이터를 갖는다. 이러한 식으로, 초기 고해상도 이미지 (IHRI) 가 S3 에서 획득된다. 이 이미지의 물리적 해상도가 초기 저해상도 이미지 (LRI) 의 것보다 상당히 높은 경우에도, 디테일의 정도는 LRI 의 것보다 양호하지 못하고 가능하게는 훨씬 더 낮음에 유념해야 한다.
단계 S4 에서, 보조 이미지들 (AIij) 은 팩터들 (i, j) 로 초기 고해상도 이미지 (IHRI) 를 다운샘플링하는 것에 의해 유도된다. 이러한 보조 이미지 (AIij) 의 해상도는 초기 저해상도 이미지 (LRI) 의 것과 동일하고 i*j 개의 상이한 보조 이미지들 (AIij) 이 유도될 수 있다. 도 1 에서, i=j=2 이 되어, 4 개의 상이한 보조 이미지들 (AI22) 이 존재한다. 초기 고해상도 이미지 (IHRI) 가 보간에 의해 획득되었다면, 초기 저해상도 이미지 (LRI) 로부터의 오리지널 픽셀들의 픽셀 데이터가 변경되지 않은 상태로 되도록, i*j 개의 보조 이미지들 (AIij) 중 하나가 LRI 와 동일하게 될 수도 있다.
i, j 보다 더 큰 다운샘플링 팩터들 (i', j') 을 갖는 추가의 보조 이미지들 (AIi'j') 이 생성될 수도 있다. 예를 들어, 도 1 에서, i'=j'=3 이다. 이들 보조 이미지들 (AIi'j') 은 팩터들 (i'/i, j'/j) 에 의해 각각 보조 이미지들 (AIij) 을 다운샘플링하는 것에 의해 또는 IHRI 를 직접 다운샘플링하는 것에 의해 획득될 수 있다. 다운샘플링 팩터들 (i', j' 및 i'/i, j'/j) 은 정수들을 갖지 않아야 하며, 특히, 바람직하게 i'/i, j'/j 는 1 과 2 사이의 유리수임을 주지해야 한다. 비정수 유리수 (i'=r/m) 에 의해 다운샘플링하는 것은 정수 팩터 (m) 에 의해 먼저 보간한 다음, 정수 팩터 (r) 에 의해 다운샘플링하는 것에 의해 수행될 수 있다.
IHRI 로부터 유도될 수 있는 상이한 보조 이미지들의 수 (AIij) 는 i*j 이다. 따라서, 다운샘플링 팩터들이 높으면, 특히, 팩터들 i', j' 의 경우에, 이들 보조 이미지들의 서브세트만을 생성하는 것이 충분할 수도 있다.
에일리어싱 효과들을 회피하기 위하여, 보조 이미지들 (AIij, AIi'j') 은 단계 S5 에서, 공간 로우 패스 필터링을 받는다.
이들 모두의 보조 이미지들 (AIij, AIi'j') 은 마이크로프로세서 시스템의 프로세서들의 세트 또는 상이한 프로세서에 각각의 보조 이미지의 생성을 할당하는 것에 의해 동시에 획득될 수도 있다.
각각의 보조 이미지 (AIij, AIi'j' ) 에 대해, 동일한 해상도를 갖는 필터링되지 않은 다운샘플링된 이미지 (UIi'j') 는 단계 S6 에서, 팩터들 (i'/i, j'/j) 에 의해 초기 저해상도 이미지 (LRI) 를 다운샘플링하는 것에 의해 획득된다.
단계 S7 에서, 패치들 (PI, PA) 이 초기 고해상도 이미지 (IHRI) 와 보조 이미지들 (AIij, AIi'j') 에서 정의된다. 실제로, 패치들 (PI, PA) 은 적은 수의 로우들 및 컬럼들, 예를 들어, 6 곱하기 6 을 포함하는 직사각형들일 수도 있고, 이 수는 이들 개별적인 다운샘플링 팩터들과 무관하게, 초기 고해상도 이미지 (IHRI) 와 보조 이미지들 (AIij, AIi'j') 의 패치들에 대해 동일하다.
IHRI 의 각각의 픽셀은 적어도 하나의 패치 (PI) 에 속한다. 패치들 (PI) 은 서로 오버랩할 수도 있고 그러한 것이 바람직할 수도 있다.
단계 S8 에서, 모든 패치 (PI) 에 대해, 즉, 보조 이미지들 (AIij, AIi'j') 의 모든 패치들 (PA) 에 대해 (최근접 이웃 탐색이 수행되고, 패치 (PI) 에 대한 유사도가 평가된다. 각각의 패치 (PI) 에 대해, 주어진 패치 (PI) 에 대해 최고의 유사성을 갖는 이들 K 개의 패치들 (PA) 을 포함하는 세트 (NN(PI)) 가 유지된다.
수학적 시점으로부터, 패치들 (PI) 은 벡터들로서 간주될 수 있다. 여기에서 고려되는 경우, 이들 벡터들은 6*6=36 개의 컴포넌트들 (pii,j, pai,j) 을 갖고, 이들 벡터 공간은 36 차원을 갖는다.
이들 2 개의 패치들의 유사성 (S) 은 예를 들어, 이러한 벡터들의 정규화된 스칼라곱으로서 평가될 수도 있다:
Figure pct00001
(1)
S 는 0 과 1 사이의 값들에서 취해질 수 있다. 단계 S8 에서 유지된 패치들은 1 과 가장 가까운 S 를 갖는 것들이다. 각각의 입력 이미지 (LRI) 의 프로세싱이 엄청난 수의 유사성들 (S) 을 계산하는 것을 수반하기 때문에, 프로세싱 시간은 마이크로프로세서 시스템의 프로세서들 중에 이들 계산들을 분산시키는 것에 의해 단축될 수도 있다.
오리지널 입력 이미지 (LRI) 와 동일한 해상도를 갖는 이들 보조 이미지들 (AIij) 중 하나에서의 각각의 패치 (PA) 는 동일한 요소를 묘사하는 오리지널 입력 이미지 (LRI) 에서 패치 (PP) 와 연관되고 (도 2 에서의 패치들 (PA1, PP1) 을 비교), 이것으로부터 위에 설명된 연속하는 업샘플링 및 다운샘플링 동작들에 의해 유도되는 것으로 말할 수 있다. 따라서, 패치 (PP) 는 본원에서 부모 패치로 지칭되고 패치 (PA) 는 자식 패치로 지칭된다. 유사성에 있어서, 동일한 해상도를 갖는 비필터링된 다운샘플링된 이미지 (Ui'j') 에서 그리고 보조 이미지 (AIi'j') 에서 동일한 요소를 묘사하는 패치들 (즉, 도 2 에서의 패치들 (PA2, PP2)) 은 자식 및 부모 패치들로 또한 지칭된다.
NN(PI) 에서의 패치들 (PA0 내지 PA(K-1)) 은 PI 에 대하여 감소하는 유사성으로 정렬되는 것으로 가정된다, 즉,
Figure pct00002
단계 S9 에서, 패치 (PI) 에 대해 최고 유사성 (S) 을 갖는 자식 패치 (PA0) 는 가설 패치 (HP) 로서 세트 (NN(PI)) 로부터 선택된다.
패치 (PI), 이 경우 패치 (PA1) 에 대해 다음의 최고 유사성을 갖는 자식 패치 (PAk) 는 단계 S10 에서 선택된다.
단계 S11 에서, 선형 결합의 선형 계수들 (ck1, ck2),
Figure pct00003
(2)
(이 경우, k=1) 은, 한편으로 ck1+ck2=1 와 같은 정규화 조건이 충족되고 다른 한편으로 LC 및 PI 의 유사성 (S(LC,PI)) 이 최대가 되도록 선택된다. 단계 S12 는 이 유사성 (S(LC,PI)) 이 PI 와 가설 패치 (HP) 사이의 유사성 (S(HP,PI)) 보다 더 양호한지의 여부를 체크하고, yes 라면, 선형 결합 (LC) 은 단계 S13 에서 가설 패치 (HP) 를 대체하고, 프로세스는 단계 S10 로 리턴하고 이때 NN(PI) 의 나머지 패치들 중 가장 유사한 하나, 즉, PA2 를 선택한다. 단계 S10 에서, 선형 결합 (LC=c21 HP + c22 PA2)(즉, k 는 2 와 같음) 의 선형 계수들 (ck1, ck2) 은, 정규화 조건이 충족되고 LC 및 PI 의 유사성 (S(LC,PI)) 이 최대가 되게 하도록 선택된다.
패치들 (PA, PI) 이 벡터들로서 간주되면, 이들의 벡터 공간은 36 차원들을 갖고 PI 는 36 개의 기본 벡터들의 선형 결합으로서 간주될 수 있다. 따라서, NN(PI) 에서 패치들 (PAk) 의 수 (K) 는 패치들에서의 픽셀들의 수 (즉, 패치들의 벡터들의 차원) 보다 상당히 더 크면, 이들 패치들 (PAk) 중 많은 것이 불필요하게 되고, 절차의 마지막 결과물을 개선시키지 못한다. 따라서, NN(PI) 에서의 패치들의 수 (K) 는 패치들에서의 픽셀들의 수의 0.5 배와 2 배 사이의 일정 값으로 제한될 수 있다.
명확히, NN(PI) 의 모든 K 개의 벡터들이 프로세싱되는 것이 아닌 한 단계 S10, S11 는 반복될 수 있다. 실제로, 반복이 보다 조기에 중단 (즉, 만료) 하는 것은, 프로세싱 시간을 절감할 뿐만 아니라, 중단 조건이 적절하게 선택되면, 이는 또한 최종 HR 이미지의 품질을 개선할 수도 있다.
제 1 실시형태에 따르면, 유사성 (S(LC,PI)) 이 S(HP,PI)(이는 S11 에서 ck2=0 에서 검색한 최적의 유사성에 상응함) 보다 더 양호하지 않게 되자마자, 반복은 S12 에서 중단된다.
이 단계에서, HP 에 기여하는 NN(PI) 및 이들 각각의 선형 계수들로부터의 패치들 (PA0 내지 PAk-1) 모두는 기지되어 있다. 반복이 k=3 에서 중단되는 것으로 가정하면, HP 는:
Figure pct00004
. (3)
일반적으로,
Figure pct00005
.(4)
반복이 중단될 때, 방법은 S14 로 브랜치하고, 여기에서 강화된 패치 (EP) 는 식 (4) 에서 자식 패치들을 이들 각각의 부모 패치들 (PP) 로 대체하는 것에 의해 획득된다:
Figure pct00006
.(5)
제 2 실시형태에 따르면, 강화된 패치 (EPk) 는 이 동일 단계에서 획득된 최적의 선형 결합:
LC = ck1 HP + ck2 PAk
에 기초하여 식 (5) 를 이용하여 단계 S11 에서 이미 계산된다. 초기 저해상도 이미지 (LRI) 에서의 동일한 요소를 묘사하는 패치 (LP) 에 대한 이 패치 (EPk) 의 유사성이 계산된다. 이미지 (LRI) 에서의 패치 (EPk) 와 패치 (LP) 는 동일한 수의 픽셀들을 갖고 있지 않고, 따라서, 이들 사이의 유사성은 식 (1) 에서와 같이 정규화된 스칼라 곱에 의해 계산되면, 패치 (EPk) 는 양쪽 패치들 (EP, LP) 이 동일한 해상도를 갖게 되도록 먼저 다운샘플링될 것이다. 여기에서, 단계 S12 는 단계들 S10, S11 에서의 반복 k 에서 획득된 LP 와 EPk 사이의 유사성이 이전 반복 (k-1) 에서 획득된 유사성보다 더 양호한지의 여부를 판단한다. 이것이 아니라면, 반복은 중단되고, 단계 S14 에서의 강화된 패치 (EP) 출력은 EPk-1 이다.
단계들 S10-S14 이 다수의 프로세서들 간에 분산되어, 초기 고해상도 이미지 (IHRI) 의 모든 패치들 (PI) 에 대하여 루프식으로 또는 동시에 수행된다. 따라서, 단계 S15 에서 모든 강화된 패치들 (EP) 을 결합하는 것은 완전한 강화된 품질 이미지 (EI1) 를 산출한다. 강화된 패치들 (EP) 이 오버랩하는 경우, 이들은 S16 에서, 강화된 품질 이미지 (EI1) 에서의 패치들 사이의 원활한 트랜지션들을 보장하기 위하여 평균화된다.
방법은 이미지 (EI1) 가 출력되는 것에 의해 종료할 수 있다. 그러나 바람직한 실시형태에 따르면, 초기 고해상도 이미지 (IHRI) 는 S17 에서의 이미지 (EI1) 에 의해 중복기록되고, 절차는 단계 S4 로 리턴하여, 제 2 강화된 품질 이미지 (EI2) 가 S16 에서 획득되게 된다.
단계들 S4 내지 S16 은 1 이상의 횟수들로 재반복될 수도 있고, 단계 S18 에서, p 의 일부 정해진 값, 이를 테면 3, 4 또는 5 가 도달될 때까지, 또는 이미지들 (EIp-1, EIp) 의 유사성이 너무 높아 더 이상의 추가적인 상당한 개선이 예상되지 못할 때까지 각각의 횟수마다, 단계 S4 에서 이미지 (EIp-1, p=2, 3, …) 를 이전 단계 S16 에서 획득된 이미지 (EIp) 로 중복 기록한다.
도 3 으로 가면, 일 실시형태에서, 이미지 품질을 강화하는 디바이스 (30) 는 하기:
a) 초기 저해상도 이미지로부터, 업샘플링에 의해 초기 고해상도 이미지 (IHRI) 를 유도하는 업샘플링 수단 (31);
b) 초기 저해상도 이미지에 기초하여, 초기 고해상도 이미지 (IHRI) 의 것보다 낮은 해상도를 갖는 적어도 하나의 보조 이미지 (AI) 를 제공하는 수단 (32);
c) 초기 저해상도 이미지에 기초하여, 상기 적어도 하나의 보조 이미지와 동일한 해상도를 갖는 비필터링된 이미지 (UI) 를 제공하는 수단 (33);
d) 상기 초기 고해상도 이미지로부터 패치를 선택하는 수단 (34);
e) 상기 적어도 하나의 보조 이미지에서 상기 선택된 패치와 유사한 자식 패치들을 검색하는 수단 (35);
f) 상기 비필터링된 이미지에서 상기 자식 패치들과 국부적으로 연관된 부모 패치들을 검색하는 수단 (36);
g) 강화된 품질 패치를 형성하기 위하여 부모 패치들을 선형 결합하는 수단 (37); 및
h) 강화된 품질의 고해상도 이미지를 형성하기 위해, 상기 수단들 d) 내지 f) 에 의해 획득된 복수의 강화된 품질 패치들을 결합하는 수단 (38) 을 포함한다.
디바이스의 일 실시형태에서, 적어도 하나의 보조 이미지는 초기 고해상도 이미지를 다운샘플링하는 것에 의해 획득된다.
디바이스의 일 실시형태에서, 상기 적어도 하나의 보조 이미지들 중 제 1 이미지가 초기 저해상도 이미지와 동일한 해상도를 가지며, 상기 제 1 다운샘플링된 필터링된 이미지와 연관된 비필터링된 이미지는 초기 저해상도 이미지이다.
디바이스의 일 실시형태에서, 상기 보조 이미지들 중 제 2 보조 이미지는 초기 저해상도 이미지의 해상도보다 더 낮은 해상도를 가지며, 제 2 비필터링된 이미지는 제 2 보조 이미지의 해상도로 초기 저해상도 이미지를 다운샘플링하는 다운샘플링 수단에 의해 획득된다.
디바이스의 일 실시형태에서, 초기 고해상도 이미지를 유도하는 수단 (31) 은 로우 패스 필터 (301), 특히, 보간 필터를 더 포함한다.
일 실시형태에서, 디바이스 (30) 는 상기 적어도 하나의 보조 이미지에서의 매 패치에 대해 선택된 패치에 대한 유사도를 평가하고 최고 유사도를 갖는 미리 정해진 수 (K) 의 패치들을 상기 자식 패치들로서 유지하기 위해 적응된 비교 수단 (310) 을 더 포함한다.
디바이스의 일 실시형태에서, 부모 패치들을 선형 결합하는 수단 (37) 은 하기:
g1) 선택된 패치에 대한 선형 결합의 유사성이, 가장 유사한 단일 자식 패치의 것보다 더 양호하게 되도록 선형 계수를 각각의 자식 패치에 할당하는 것에 의해 상기 자식 패치들의 선형 결합을 형성하기 위해 적응된 제 1 결합기 수단 (371), 및
g2) 이들의 개별적인 자식 패치들에 할당된 선형 계수들을 이용하여 부모 패치들의 선형 결합을 형성하기 위해 적응된 제 2 결합기 수단 (372) 을 포함한다.
일 실시형태에서, 제 1 결합기 수단 (371) 은 또한, 반복적으로, 상기 자식 패치들 중 하나를 선택하는 것, 가설 패치와 상기 선택된 자식 패치의 선형 결합을 형성하는 것, 및 중첩의 유사성이 가설 패치의 것보다 더 양호하면, 가설 패치를 상기 가설 패치 및 자식 패치의 선형 결합으로 대체하는 것에 의해 선형 계수들을 결정하기 위해 적응된다.
디바이스의 일 실시형태에서, 가설 패치와 자식 패치의 선형 계수들은 이들의 선형 결합의 유사성을 최적화하도록 설정된다.
일 실시형태에서, 디바이스는 자식 패치들의 선형 결합의 유사성이 가설 패치의 것보다 더 양호하지 않으면 반복을 중단하기 위해 적응된 만료 제어 수단 (39) 을 더 포함한다.
디바이스의 일 실시형태에서, 가설 패치는 자식 패치들의 선형 결합이며, 제 1 임시 강화된 품질 패치는 가설 패치의 선형 결합들을 이용하여 부모 패치들을 선형결합하는 것에 의해 형성되고, 제 2 임시 강화된 품질 패치는 상기 가설 패치와 상기 선택된 자식 패치의 선형 결합의 선형 계수들을 이용하여 부모 패치들을 선형 결합하는 것에 의해 형성되며, 만료 제어 수단 (39) 은 수단 d) 에서 선택된 패치와 제 2 임시 강화된 품질 패치의 유사성이 수단 d) 에서 선택된 패치와 제 1 임시 강화된 품질 패치의 유사성보다 더 양호하지 않다면, 반복을 중단한다.
디바이스의 일 실시형태에서, 수단 g1) 은 감소하는 유사성 순으로 자식 패치들을 선택하기 위해 적응된다.
디바이스의 일 실시형태에서, 수단들 b) 내지 h) 의 반복되는 동작 사이클들을 제어하기 위해 적응된 반복 제어 수단 (311) 을 더 포함하고, 수단 h) 로부터의 동작 사이클에서 획득된 강화된 품질 고해상도 이미지는 수단 b) 의 후속하는 동작 사이클에서의 초기 고해상도 이미지로서 이용된다.
디바이스의 일 실시형태에서, 반복 제어 수단 (311) 은 수단 b) 내지 h) 의 3 내지 5 의 동작 사이클들을 실행하도록 디바이스를 제어한다.
상술한 수단 각각은 하나 이상의 프로세싱 엘리먼트들 또는 프로세서들에 의해 구현될 수도 있고, 상술한 수단 중 둘 이상은 단일의 프로세싱 엘리먼트 또는 프로세서에 의해 구현될 수도 있다.
일 실시형태에서, 컴퓨터 프로그램은 컴퓨터로 하여금 하기:
a) 초기 저해상도 이미지로부터, 업샘플링에 의해 초기 고해상도 이미지를 유도하게 하고;
b) 초기 저해상도 이미지에 기초하여, 초기 고해상도 이미지의 것보다 낮은 해상도를 갖는 적어도 하나의 보조 이미지를 제공하게 하고;
c) 초기 저해상도 이미지에 기초하여, 상기 적어도 하나의 보조 이미지와 동일한 해상도를 갖는 비필터링된 이미지를 제공하게 하고;
d) 상기 초기 고해상도 이미지로부터 패치를 선택하게 하고;
e) 상기 적어도 하나의 보조 이미지에서 상기 선택된 패치와 유사한 자식 패치들을 검색하게 하고;
f) 상기 비필터링된 이미지들에서, 상기 자식 패치들과 국부적으로 연관된 부모 패치들을 검색하게 하고;
g) 강화된 품질 패치를 형성하기 위하여 부모 패치들을 선형 결합하게 하고; 그리고
h) 강화된 품질의 고해상도 이미지를 형성하기 위해, 단계들 d) 내지 f) 를 반복적으로 수행하는 것에 의해 얻어진 강화된 품질 패치들을 결합하게 하는 소프트웨어 코드를 포함한다.
여러 실시형태들에서, 컴퓨터 프로그램은 위에 설명된 바와 같이 컴퓨터로 하여금 추가의 기능들을 실행하게 하는 소프트웨어 코드를 포함한다.
본 발명은 순수하게 예를 들어 설명하였지만, 세부 사항들의 변경들이 행해질 수도 있고 묵시적으로 포함될 수도 있다. 명세서 및 (필요에 따라) 청구항들 및 도면들에 개시된 각각의 특징은 임의의 적절한 조합들로 또는 독립적으로 제공될 수도 있다. 예를 들어, 특징은 필요에 따라 하드웨어, 소프트웨어 또는 이들의 둘의 조합으로 구현될 수도 있다. 청구항들에 나타내어진 참조 번호들은 예시적인 목적일 뿐, 청구항들의 범위에 대하여 어떠한 제한 효과도 없다.
인용 문헌들
[1] Irani, M., Peleg, S.: Improving resolution by image registration. CVGIp: Graphical Models Image Process. 53 (1991) 231-239
[2] Irani, M., Peleg, S.: Motion analysis for image enhancement: Resolution, occlusion, and transparency. J. Vis. Comm. Image Repres. 4 (1993) 324-335
[3] Farsiu, S., Robinson, M., Elad, M., Milanfar, P.: Fast and robust multiframe superresolution. IEEE Trans. Image Process. 13 (2004) 1327-1344
LRI: 초기 저해상도 이미지
IHRI: 초기 고해상도 이미지
AIij, AIi'j': 보조 이미지
UIi'j': 비필터링된 다운샘플링된 이미지
PI: IHRI 에서의 패치
PA, PAk: 보조 이미지에서의 자식 패치
PP, PPk: LRI 또는 UIi'j' 에서의 부모 패치
EP: 강화된 패치
EI: 강화된 이미지

Claims (21)

  1. 이미지의 품질을 강화하는 방법으로서,
    a) 초기 저해상도 이미지 (LRI) 로부터, 업샘플링에 의해 초기 고해상도 이미지 (IHRI) 를 유도하는 단계 (S2, S3);
    b) 상기 초기 저해상도 이미지 (LRI) 에 기초하여, 상기 초기 고해상도 이미지 (IHRI) 의 것보다 낮은 해상도를 갖는 보조 이미지 (AIij, AIi'j') 로서 적어도 하나의 다운샘플링된 필터링된 이미지를 제공하는 단계 (S4);
    c) 상기 초기 저해상도 이미지 (LRI) 에 기초하여, 상기 적어도 하나의 다운샘플링된 필터링된 이미지와 동일한 해상도를 갖는 비필터링된 이미지 (LRI, UIi'j') 를 제공하는 단계 (S6);
    d) 상기 초기 고해상도 이미지 (IHRI) 로부터 패치 (PI) 를 선택하는 단계;
    e) 상기 적어도 하나의 다운샘플링된 필터링된 이미지 (AIij, AIi'j') 에서 상기 선택된 패치와 유사한 둘 이상의 자식 (filial) 패치들 (PAk) 을 검색하는 단계 (S8);
    f) 상기 비필터링된 이미지들 (LRI, UIi'j') 에서, 상기 자식 패치들 (PAk) 과 국부적으로 연관된 부모 패치들 (PPk) 을 검색하는 단계;
    g) 강화된 품질 패치 (EP) 를 형성하기 위하여 상기 부모 패치들 (PPk) 을 선형 결합하는 단계 (S14); 및
    h) 강화된 품질의 고해상도 이미지 (EIp) 를 형성하기 위해, 단계들 d) 내지 f) 를 반복적으로 수행하는 것에 의해 획득된 강화된 품질 패치들 (EP) 을 결합하는 단계 (S15) 를 포함하는, 이미지의 품질을 강화하는 방법.
  2. 제 1 항에 있어서,
    적어도 하나의 보조 이미지 (AIij, AIi'j') 는 상기 초기 고해상도 이미지 (IHRI) 를 다운샘플링하는 것 (S4, S6) 에 의해 획득되는, 이미지의 품질을 강화하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    적어도 하나의 보조 이미지들 (AIij, AIi'j') 중 제 1 이미지 (AIij) 가 상기 초기 저해상도 이미지 (LRI) 와 동일한 해상도를 가지며, 제 1 다운샘플링된 필터링된 이미지와 연관된 비필터링된 이미지는 상기 초기 저해상도 이미지 (LRI) 인, 이미지의 품질을 강화하는 방법.
  4. 제 3 항에 있어서,
    상기 보조 이미지들 중 제 2 보조 이미지 (AIi'j') 는 상기 초기 저해상도 이미지 (LRI) 의 해상도보다 더 낮은 해상도를 가지며, 제 2 비필터링된 이미지 (UIi'j') 는 상기 제 2 보조 이미지의 해상도로 상기 초기 저해상도 이미지 (LRI) 를 다운샘플링하는 것에 의해 획득되는 (S6), 이미지의 품질을 강화하는 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 초기 고해상도 이미지 (IHRI) 를 유도하는 단계는, 로우 패스 필터링 단계 (S3), 특히 보간을 더 포함하는, 이미지의 품질을 강화하는 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    단계 e) 에서, 상기 선택된 패치에 대한 유사도 (degree of similarity) 는 적어도 하나의 보조 이미지 (AIij, AIi'j') 에서의 매 패치 (PA) 에 대해 평가되며 (S8), 최고 유사도를 갖는 미리 정해진 수 (K) 의 패치들 (PAk) 이 상기 자식 패치들로서 유지되는, 이미지의 품질을 강화하는 방법.
  7. 제 6 항에 있어서,
    단계 g) 는,
    g1) 상기 선택된 패치에 대한 선형 결합 (LC) 의 유사성이, 가장 유사한 단일 자식 패치 (PA0) 의 것보다 더 양호하게 되도록 선형 계수를 각각의 자식 패치 (PAk) 에 할당하는 것에 의해 상기 자식 패치들 (PAk) 의 선형 결합 (LC) 을 형성하는 하위 단계, 및
    g2) 상기 부모 패치들의 개별적인 자식 패치들 (PAk) 에 할당된 선형 계수들을 이용하여 상기 부모 패치들 (PPk) 의 상기 선형 결합을 형성하는 하위 단계를 포함하는, 이미지의 품질을 강화하는 방법.
  8. 제 7 항에 있어서,
    단계 g1) 에서, 상기 선형 계수들은 반복적으로, 상기 자식 패치들 (PAk) 중 하나를 선택하는 것 (S10), 가설 패치 (HP) 와 상기 선택된 자식 패치 (PAk) 의 선형 결합을 형성하는 것, 및 중첩의 유사성이 상기 가설 패치 (HP) 의 것보다 더 양호하면, 상기 가설 패치 (HP) 를 상기 가설 패치 (HP) 및 상기 자식 패치 (PAk) 의 선형 결합 (LC) 으로 대체하는 것 (S13) 에 의해 결정되는, 이미지의 품질을 강화하는 방법.
  9. 제 8 항에 있어서,
    상기 가설 패치 (HP) 와 자식 패치 (PAk) 의 선형 계수들은 이들의 선형 결합 (LC) 의 유사성을 최적화하도록 설정되는, 이미지의 품질을 강화하는 방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 자식 패치들 (PAk) 의 상기 선형 결합 (LC) 의 유사성이 상기 가설 패치 (HP) 의 것보다 더 양호하지 않으면 반복이 중단되는, 이미지의 품질을 강화하는 방법.
  11. 제 8 항 또는 제 9 항에 있어서,
    상기 가설 패치 (HP) 는 자식 패치들 (PAk) 의 선형 결합이며, 제 1 임시 강화된 품질 패치 (EP) 는 상기 가설 패치 (HP) 의 상기 선형 결합들을 이용하여 상기 부모 패치들 (PPk-1) 을 선형 결합하는 것에 의해 형성되고, 제 2 임시 강화된 품질 패치 (PPk) 는 상기 가설 패치 (HP) 와 상기 선택된 자식 패치 (PAk) 의 상기 선형 결합의 상기 선형 계수들을 이용하여 상기 부모 패치들을 선형 결합하는 것에 의해 형성되며, 단계 d) 에서 선택된 상기 패치 (PI) 와 상기 제 2 임시 강화된 품질 패치 (PPk) 의 유사성이 단계 d) 에서 선택된 상기 패치 (PI) 와 상기 제 1 임시 강화된 품질 패치 (PPk-1) 의 유사성보다 더 양호하지 않다면, 반복이 중단되는 (S12), 이미지의 품질을 강화하는 방법.
  12. 제 8 항 내지 제 11 항 중 어느 한 항에 있어서,
    단계 g1) 에서 상기 자식 패치들 (PAk) 이 감소하는 유사성 순으로 선택되는, 이미지의 품질을 강화하는 방법.
  13. 제 2 항 내지 제 12 항 중 어느 한 항에 있어서,
    단계들 b) 내지 h) 가, 단계 b) 에 후속하여 상기 초기 고해상도 이미지 (IHRI) 로서 단계 h) 의 이전 실행에서 획득된 상기 강화된 품질 고해상도 이미지 (EIp) 를 이용하여 반복되는 (S17), 이미지의 품질을 강화하는 방법.
  14. 제 13 항에 있어서,
    단계들 b) 내지 h) 는 3 내지 5 회 반복되는, 이미지의 품질을 강화하는 방법.
  15. 이미지의 품질을 강화하는 디바이스 (30) 로서,
    a) 초기 저해상도 이미지로부터, 업샘플링에 의해 초기 고해상도 이미지 (IHRI) 를 유도하는 업샘플링 수단 (31);
    b) 초기 저해상도 이미지에 기초하여, 초기 고해상도 이미지의 것보다 낮은 해상도를 갖는 적어도 하나의 보조 이미지를 제공하는 수단 (32);
    c) 상기 초기 저해상도 이미지에 기초하여, 상기 적어도 하나의 보조 이미지와 동일한 해상도를 갖는 비필터링된 이미지를 제공하는 수단 (33);
    d) 상기 초기 고해상도 이미지로부터 패치를 선택하는 수단 (34);
    e) 상기 적어도 하나의 보조 이미지에서 상기 선택된 패치와 유사한 자식 패치들을 검색하는 수단 (35);
    f) 상기 비필터링된 이미지에서 상기 자식 패치들과 국부적으로 연관된 부모 패치들을 검색하는 수단 (36);
    g) 강화된 품질 패치를 형성하기 위하여 부모 패치들을 선형 결합하는 수단 (37); 및
    h) 강화된 품질의 고해상도 이미지를 형성하기 위해, 상기 수단들 d) 내지 f) 에 의해 획득된 복수의 강화된 품질 패치들을 결합하는 수단 (38) 을 포함하는, 이미지의 품질을 강화하는 디바이스.
  16. 제 15 항에 있어서,
    자식 패치들의 선형 결합의 유사성이 가설 패치의 것보다 더 양호하지 않으면 반복을 중단하기 위해 구성된 만료 제어 수단 (39) 을 더 포함하는, 이미지의 품질을 강화하는 디바이스.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 적어도 하나의 보조 이미지에서의 매 패치에 대해, 상기 선택된 패치에 대한 유사도를 평가하고 최고 유사도를 갖는 미리 정해진 수 (K) 의 패치들을 상기 자식 패치들로서 유지하기 위해 구성된 비교 수단 (310) 을 더 포함하는, 이미지의 품질을 강화하는 디바이스.
  18. 제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 부모 패치들을 선형 결합하는 수단 (37) 은,
    g1) 상기 선택된 패치에 대한 선형 결합의 유사성이, 가장 유사한 단일 자식 패치의 것보다 더 양호하게 되도록 선형 계수를 각각의 자식 패치에 할당하는 것에 의해 상기 자식 패치들의 선형 결합을 형성하기 위해 구성된 제 1 결합기 수단 (371), 및
    g2) 상기 부모 패치들의 개별적인 자식 패치들에 할당된 선형 계수들을 이용하여 상기 부모 패치들의 선형 결합을 형성하기 위해 구성된 제 2 결합기 수단 (372) 을 포함하는, 이미지의 품질을 강화하는 디바이스.
  19. 제 15 항 내지 제 18 항 중 어느 한 항에 있어서,
    수단들 b) 내지 h) 의 반복되는 동작 사이클들을 제어하기 위해 구성된 반복 제어 수단 (311) 을 더 포함하고, 수단 h) 로부터의 동작 사이클에서 획득된 강화된 품질 고해상도 이미지는 수단 b) 의 후속하는 동작 사이클에서의 초기 고해상도 이미지로서 이용되는, 이미지의 품질을 강화하는 디바이스.
  20. 제 15 항 내지 제 19 항 중 어느 한 항에 있어서,
    초기 고해상도 이미지를 유도하는 수단 (31) 은 로우 패스 필터 (301) 또는 보간 필터를 더 포함하는, 이미지의 품질을 강화하는 디바이스.
  21. 소프트웨어 코드를 포함하는 컴퓨터 프로그램으로서,
    상기 소프트웨어 코드는 컴퓨터로 하여금,
    a) 초기 저해상도 이미지로부터, 업샘플링에 의해 초기 고해상도 이미지를 유도하게 하고;
    b) 상기 초기 저해상도 이미지에 기초하여, 상기 초기 고해상도 이미지의 것보다 낮은 해상도를 갖는 적어도 하나의 보조 이미지를 제공하게 하고;
    c) 상기 초기 저해상도 이미지에 기초하여, 상기 적어도 하나의 보조 이미지와 동일한 해상도를 갖는 비필터링된 이미지를 제공하게 하고;
    d) 상기 초기 고해상도 이미지로부터 패치를 선택하게 하고;
    e) 상기 적어도 하나의 보조 이미지에서 상기 선택된 패치와 유사한 자식 패치들을 검색하게 하고;
    f) 상기 비필터링된 이미지들에서, 상기 자식 패치들과 국부적으로 연관된 부모 패치들을 검색하게 하고;
    g) 강화된 품질 패치를 형성하기 위하여 상기 부모 패치들을 선형 결합하게 하고; 그리고
    h) 강화된 품질의 고해상도 이미지를 형성하기 위해, 단계들 d) 내지 f) 를 반복적으로 수행하는 것에 의해 획득되는 강화된 품질 패치들을 결합하게 하는, 소프트웨어 코드를 포함하는 컴퓨터 프로그램.
KR1020167020891A 2014-01-30 2015-01-15 이미지 품질을 강화하는 방법 및 장치 KR20160115925A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14305136 2014-01-30
EP14305135.7 2014-01-30
EP14305136.5 2014-01-30
EP14305135 2014-01-30
PCT/EP2015/050664 WO2015113826A1 (en) 2014-01-30 2015-01-15 Method and device for enhancing quality of an image

Publications (1)

Publication Number Publication Date
KR20160115925A true KR20160115925A (ko) 2016-10-06

Family

ID=53756244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167020891A KR20160115925A (ko) 2014-01-30 2015-01-15 이미지 품질을 강화하는 방법 및 장치

Country Status (6)

Country Link
US (1) US9984442B2 (ko)
EP (1) EP3100233B1 (ko)
JP (1) JP2017505951A (ko)
KR (1) KR20160115925A (ko)
CN (1) CN106415657A (ko)
WO (1) WO2015113826A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051772A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 영상처리장치 및 영상처리방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014220639A (ja) * 2013-05-08 2014-11-20 ソニー株式会社 撮像装置および撮像方法
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
CN108369289A (zh) * 2015-12-18 2018-08-03 埃克森美孚上游研究公司 使用全波场反演点扩展函数分析设计地球物理勘测的方法
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체
CN107316323B (zh) * 2017-06-28 2020-09-25 北京工业大学 基于多尺度分析法建立的无参考图像质量评估方法
CN108171657B (zh) * 2018-01-26 2021-03-26 上海富瀚微电子股份有限公司 图像插值方法及装置
CN108648143B (zh) * 2018-04-17 2022-03-29 中国科学院光电技术研究所 一种利用序列图像的图像分辨率增强方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218796B2 (en) 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
US7542053B2 (en) * 2005-03-30 2009-06-02 Intel Corporation Methods and apparatus for re-scaling image by variable re-scaling factor
JP2013518336A (ja) * 2010-01-28 2013-05-20 イーサム リサーチ ディベロップメント カンパニー オブ ザ ヘブリュー ユニバーシティ オブ エルサレム，リミテッド 入力画像から増加される画素解像度の出力画像を生成する方法及びシステム
US8571328B2 (en) * 2010-08-16 2013-10-29 Adobe Systems Incorporated Determining correspondence between image regions
US8705828B2 (en) 2011-08-31 2014-04-22 Carestream Health, Inc. Methods and apparatus for super resolution scanning for CBCT system and cone-beam image reconstruction
US8917948B2 (en) * 2011-09-16 2014-12-23 Adobe Systems Incorporated High-quality denoising of an image sequence
CN102360498B (zh) 2011-10-27 2013-09-18 江苏省邮电规划设计院有限责任公司 图像超分辨率重建方法
EP2823461A1 (en) * 2012-03-05 2015-01-14 Thomson Licensing Method and apparatus for performing super-resolution
EP2823460B1 (en) 2012-03-05 2018-05-23 Thomson Licensing DTV Method and apparatus for performing hierarchical super-resolution of an input image
EP2662824A1 (en) * 2012-05-10 2013-11-13 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
FR2994307B1 (fr) * 2012-08-06 2015-06-05 Commissariat Energie Atomique Procede et dispositif pour la reconstruction d'images a super-resolution
US20150324953A1 (en) * 2013-01-24 2015-11-12 Thomas Licensing Method and apparatus for performing single-image super-resolution
US9142009B2 (en) * 2013-07-30 2015-09-22 Adobe Systems Incorporated Patch-based, locally content-adaptive image and video sharpening
US9569684B2 (en) * 2013-09-09 2017-02-14 Adobe Systems Incorporated Image enhancement using self-examples and external examples
CN103514580B (zh) * 2013-09-26 2016-06-08 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051772A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 영상처리장치 및 영상처리방법
WO2018088806A1 (ko) * 2016-11-09 2018-05-17 삼성전자 주식회사 영상처리장치 및 영상처리방법
EP3525164A4 (en) * 2016-11-09 2019-08-21 Samsung Electronics Co., Ltd. IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US11195261B2 (en) 2016-11-09 2021-12-07 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method

Also Published As

Publication number Publication date
WO2015113826A1 (en) 2015-08-06
US9984442B2 (en) 2018-05-29
US20170169545A1 (en) 2017-06-15
EP3100233A1 (en) 2016-12-07
CN106415657A (zh) 2017-02-15
JP2017505951A (ja) 2017-02-23
EP3100233B1 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
KR20160115925A (ko) 이미지 품질을 강화하는 방법 및 장치
US5325449A (en) Method for fusing images and apparatus therefor
JP6192670B2 (ja) 入力画像の階層的超解像を実行する方法及び装置
JP5517954B2 (ja) 変換の高速でメモリ効率の良い実施のための方法
US8098962B2 (en) Signal processing method, apparatus, and program
EP1814075B1 (en) Method and apparatus for enhancing the resolution of a digital image
JP2015507273A (ja) 低解像入力データ構造の超解像バージョンを生成する方法及び装置
US20130004061A1 (en) Image processing device, image processing program, and method for generating image
KR20140135968A (ko) 초해상도화를 수행하는 방법 및 장치
JP2013235594A (ja) 低解像度の入力データ構造の超解像度バージョンを生成する方法及び装置
Dai et al. Dictionary-based multiple frame video super-resolution
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
CN112598587A (zh) 一种联合人脸去口罩和超分辨率的图像处理系统和方法
US20120076403A1 (en) System and method for all-in-focus imaging from multiple images acquired with hand-held camera
US20150324953A1 (en) Method and apparatus for performing single-image super-resolution
Conger et al. Multi-seam carving via seamlets
JP5514132B2 (ja) 画像縮小装置、画像拡大装置、及びこれらのプログラム
JP5498970B2 (ja) 画像縮小装置、画像拡大装置、及びこれらのプログラム
Pickup et al. Multiframe super-resolution from a Bayesian perspective
JP2015197818A (ja) 画像処理装置およびその方法
EP3166069A1 (en) Method for denoising an image and apparatus for upscaling an image
JP5076758B2 (ja) 画像処理方法およびプログラム
Huang et al. A sharp edge-preserving joint color demosaicking and zooming algorithm using integrated gradients and an iterative back-projection technique
Lopez-Tapia et al. Multiple-degradation video super-resolution with direct inversion of the low-resolution formation model
Protter et al. Super-resolution with probabilistic motion estimation

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination