KR101116800B1 - 저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법 - Google Patents

저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법 Download PDF

Info

Publication number
KR101116800B1
KR101116800B1 KR1020110008819A KR20110008819A KR101116800B1 KR 101116800 B1 KR101116800 B1 KR 101116800B1 KR 1020110008819 A KR1020110008819 A KR 1020110008819A KR 20110008819 A KR20110008819 A KR 20110008819A KR 101116800 B1 KR101116800 B1 KR 101116800B1
Authority
KR
South Korea
Prior art keywords
data
block
pixel
original
range
Prior art date
Application number
KR1020110008819A
Other languages
English (en)
Inventor
위영철
Original Assignee
주식회사 큐램
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 큐램 filed Critical 주식회사 큐램
Priority to KR1020110008819A priority Critical patent/KR101116800B1/ko
Application granted granted Critical
Publication of KR101116800B1 publication Critical patent/KR101116800B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 해상도 변환 방법에 관한 것으로서, 더욱 상세하게는, 저해상도 이미지로부터 더 높은 해상도의 이미지를 생성하는 방법에 관한 것이다.
본 발명은 다수의 원본 픽셀로 구성되는 저해상도 원본 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법에 있어서, 상기 원본 이미지의 원본 픽셀 하나에 대응하는 레인지 블록을 생성하는 단계를 포함하고, 상기 레인지 블록들의 집합이 상기 고해상도 이미지를 형성하고, 상기 레인지 블록은 다수의 블록 픽셀로 형성되며, 상기 레인지 블록의 블록 픽셀의 데이터는 상기 원본 픽셀의 데이터와, 상기 고해상도 이미지상에서 상기 레인지 블록의 픽셀에 인접하는 적어도 하나의 인접 픽셀의 데이터에 기초하여 결정되어, 먼저 생성된 상기 레인지 블록의 픽셀 데이터는 상기 인접 픽셀의 데이터로서 나중에 생성되는 상기 레인지 블록의 픽셀 데이터 결정에 반영되는 것을 특징으로 한다.
본 발명의 알고리즘은 기존 리사이즈 필터와 비교할 때 선명도, 에러율, 처리 속도에 있어서 탁월한 성능을 보여준다.
예를 들어, 기존 리사이즈 필터 중 선명도가 가장 뛰어난 Lanczos 필터와 비교할 때, 본 발명의 알고리즘은 약 3-5 dB 정도 더 우수한 PSNR 특성을 갖는 리사이즈 이미지를 생성할 수 있으며, 처리 속도는 최대 68 배 더 빠르며, 원본 이미지 대비 에러 이미지 생성시 눈에 보이지 않을 정도로 에러가 무시할 만큼 적다. 본 발명의 알고리즘은 종래 리사이즈 필터 중 Lanczos 보다 선명도가 현저히 떨어지나 빠른 처리 속도의 장점이 있는 bilinear/bicubic 필터에 비해서도 처리 속도가 더 빠르다. 이러한 본 발명의 장점은 처리 시간이 긴 대용량 동영상의 해상도 변환에 더욱 효과적이다.

Description

저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법{RESOLUTION CONVERSION METHOD FOR MAKING A HIGH RESOLUTION IMAGE FROM A LOW RESOLUTION IMAGE}
본 발명은 해상도 변환 방법에 관한 것으로서, 더욱 상세하게는, 저해상도 이미지로부터 더 높은 해상도의 이미지를 생성하는 방법에 관한 것이다.
해상도를 변환한다는 것은 해상도를 낮추거나 높이는 것이다.
디지털 기술 수준이 낮았던 1990년대에는 저해상도를 고해상도로 변환하는 것이 관심의 대상이었지만, 최근에는 고해상도의 이미지를 저해상도의 이미지로 변환하는 기술이 더욱 관심을 받는 듯하다.
저가의 디지털 카메라는 물론이고 DSLR 카메라가 널리 보급되면서 사용자들은 사진을 인화하기보다는 디지털 형태로 이미지를 저장하고 웹사이트에 올려 이미지를 여러 사람과 공유하는 일이 잦아졌는데, 많은 웹사이트가 업로드시 이미지의 용량을 제한하고 있기 때문에 업로드 전에 고화질의 원본 이미지를 다운 사이즈 또는 저해상도 이미지로 변환시켜야할 필요성이 커진 것이다.
따라서 포토샵과 같은 이미지 편집 소프트웨어의 리사이즈 필터(resize filter) 예컨대, Bilinear, Bicubic, Lanczos 등 리사이즈 필터 활용법이 유저들에게 큰 관심의 대상이 되고 있다. 물론 이미지의 해상도를 높일 때에도 리사이즈 필터들이 활용될 수 있다.
Bilinear/Bicubic 필터는 1차원/2차원 보간법에 의한 리사이징 방법으로서, 선명도는 Lanczos 필터에 비해 다소 떨어지나 잡음 제거에 더 우수하며 RAM과 같은 낮은 비트 레이트를 갖는 영상에 더 적합한 것으로 알려져 있다. 반면, Lanczos 필터는 리샘플링(resampling)에 의한 리사이징을 제공하며, Sharpness가 우수하여 상대적으로 우수한 선명도를 제공하고, HD 영상에 효과적인 것으로 알려져 있으나, 오랜 인코딩 시간이 문제점으로 지적되고 있다.
이 밖에, 저해상도 이미지로부터 고해상도 이미지를 얻는 방법으로 전후 프레임을 참조하여 현재 이미지 프레임의 데이터를 복원하는 방법이 있다. 예컨대, CCTV 상에 촬영된 저화질의 동영상으로부터 이동 중인 차량의 번호판을 판독하고자 할 때, 원본 프레임만으로는 식별이 불가능하지만 앞선 프레임과 이후 프레임들을 참조하여 현재 프레임의 특정 이미지 정보를 복원하는 것이다.
이와 유사한 기술로 이미지 프레임 사이의 움직임 벡터 정보를 활용하여 리사이즈 함으로써 더욱 선명한 이미지를 획득하는 기술도 알려져 있다.
이와 같은 기술은 동영상으로서 서로 다른 시간에 찍은 복수의 이미지를 토대로 하는 것이어서, 하나의 정지 영상 이미지만 존재하는 경우에는 적용할 수 없는 단점이 있다.
따라서 본 발명은 기존 해상도 변환 방법에 비해 처리 속도가 더 빠르고, 선명도가 더 양호한 해상도 변환 방법을 제공하는 것을 목적으로 한다.
상기 목적은 본 발명의 일 양태에 따른, 다수의 원본 픽셀로 구성되는 저해상도 원본 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법에 있어서, 상기 원본 이미지의 원본 픽셀 하나에 대응하는 레인지 블록을 생성하는 단계를 포함하고, 상기 레인지 블록들의 집합이 상기 고해상도 이미지를 형성하고, 상기 레인지 블록은 다수의 블록 픽셀로 형성되며, 상기 레인지 블록의 블록 픽셀의 데이터는 상기 원본 픽셀의 데이터와, 상기 고해상도 이미지상에서 상기 레인지 블록의 픽셀에 인접하는 적어도 하나의 인접 픽셀의 데이터에 기초하여 결정되어, 먼저 생성된 상기 레인지 블록의 픽셀 데이터는 상기 인접 픽셀의 데이터로서 나중에 생성되는 상기 레인지 블록의 픽셀 데이터 결정에 반영되는 것을 특징으로 하는 해상도 변환 방법에 의해 달성될 수 있다.
여기에서, 상기 레인지 블록의 블록 픽셀의 데이터는 상기 인접 픽셀의 데이터를 반영하여 상기 원본 픽셀의 데이터 값을 증감함으로써 결정되도록 할 수 있다. 구체적으로, 상기 레인지 블록의 블록 픽셀의 데이터는 다음 수식에 따라 상기 인접 픽셀의 데이터를 반영하여 상기 원본 픽셀의 데이터 값을 증감함으로써 결정되도록 할 수 있다:
Figure 112011007146521-pat00001
(여기에서,
Figure 112011007146521-pat00002
은 레인지 블록의 블록 픽셀들의 데이터를 나타내는 행렬,
Figure 112011007146521-pat00003
은 원본 픽셀의 데이터, U는 모든 원소의 값이 1이고 행과 열의 개수가 레인지 블록의 행렬에 대응하는 행렬,
Figure 112011007146521-pat00004
는 인접 픽셀 데이터를 반영하여 원본 이미지의 대응 픽셀 데이터를 조정하도록 결정된 데이터들로 구성된 조정 행렬, c,s는 미리 결정된 비례 상수)
또한, 상기 레인지 블록의 블록 픽셀의 데이터는, 상기 블록 픽셀의 데이터가 존재하고 있는 경우, 기존의 상기 블록 픽셀의 데이터, 상기 원본 픽셀 데이터, 및 적어도 하나의 인접 픽셀의 데이터에 기초하여 결정되도록 할 수 있다. 여기에서, 상기 레인지 블록의 블록 픽셀의 데이터는 상기 기존 블록 픽셀의 데이터와 상기 적어도 하나의 인접 픽셀의 데이터를 반영하여 결정된 조정값을 상기 원본 픽셀 데이터에 반영하여 상기 원본 픽셀 데이터를 증감함으로써 결정되도록 할 수 있다.
또한, 상기 레인지 블록의 블록 픽셀의 데이터는 다음 수식에 의해 결정되도록 할 수 있다:
Figure 112011007146521-pat00005
(여기에서,
Figure 112011007146521-pat00006
은 레인지 블록의 블록 픽셀들의 데이터를 나타내는 행렬,
Figure 112011007146521-pat00007
은 원본 픽셀의 데이터, U는 모든 원소의 값이 1이고 행과 열의 개수가 레인지 블록의 행렬에 대응하는 행렬,
Figure 112011007146521-pat00008
는 인접 픽셀 데이터를 반영하여 원본 이미지의 대응 픽셀 데이터를 조정하도록 결정된 데이터들로 구성된 조정 행렬,
Figure 112011007146521-pat00009
는 상기 조정 행렬 원소의 평균값, c,s는 미리 결정된 비례 상수)
여기에서, 상기 레인지 블록은 2×2 행렬이고, 상기 조정 행렬은 다음의 수식에 의해 결정되는 것을 특징으로 하는 해상도 변환 방법:
Figure 112011007146521-pat00010
(여기에서, bij는 상기 조정 행렬의 i행, j열 원소이고, rij는 레인지 블록의블록 픽셀의 데이터이고 상기 레인지 블록의 행렬
Figure 112011007146521-pat00011
의 원소, a, b는 블록 픽셀에 가장 인접한 2개의 픽셀 데이터)
또한, 상기 블록 픽셀의 데이터를 구함으로써 상기 원본 이미지의 모든 원본 픽셀에 대응하는 모든 상기 레인지 블록들의 생성한 후, 상기 블록 픽셀의 데이터를 다시 산출하여 상기 레인지 블록들을 갱신하는 단계를 더 포함하는 것이 바람직하다. 여기에서, 상기 레인지 블록들의 갱신 단계는 상기 원본 이미지상의 원본 픽셀에 대해 순차적으로 적용하여 수행되도록 할 수 있다.
본 발명의 알고리즘은 기존 리사이즈 필터와 비교할 때 선명도, 에러율, 처리 속도에 있어서 탁월한 성능을 보여준다.
예를 들어, 기존 리사이즈 필터 중 선명도가 가장 뛰어난 Lanczos 필터와 비교할 때, 본 발명의 알고리즘은 약 3-5 dB 정도 더 우수한 PSNR 특성을 갖는 리사이즈 이미지를 생성할 수 있으며, 처리 속도는 최대 68 배 더 빠르며, 원본 이미지 대비 에러 이미지 생성시 눈에 보이지 않을 정도로 에러가 무시할 만큼 적다. 본 발명의 알고리즘은 종래 리사이즈 필터 중 Lanczos 보다 선명도가 현저히 떨어지나 빠른 처리 속도의 장점이 있는 bilinear/bicubic 필터에 비해서도 처리 속도가 더 빠르다. 이러한 본 발명의 장점은 처리 시간이 긴 대용량 동영상의 해상도 변환에 더욱 효과적이다.
도1은 본 발명의 실시예에 따른 해상도 변환 방법의 순서도;
도2는 본 발명의 실시예에 따른 원본 이미지의 픽셀과 변환 후 리사이즈 이미지의 픽셀간의 관계를 나타내는 도면;
도3은 레인지 블록 및 그 인접 픽셀로 구성되는 도메인 블록의 관계를 나타내는 도면;
도4의 (a) 내지 (d)는 본 발명의 실시예에 따른 해상도 변환 방법의 성능 평가를 위해 사용된 샘플 사진들;
도5의 (a) 및 (b)는 Bicubic/Lanczos 필터에 의해 복원된 이미지, (c)는 본 발명의 실시예에 따라 제안된 OFSR에 의해 복원된 이미지, (d)는 원본 이미지이며, (e) 내지 (f)는 육안 관찰의 용이성을 위하여 (a) 내지 (d) 각각의 이미지로부터 모델의 눈 주위의 영상을 확대한 이미지들; 및
도6의 (a) 내지 (d)는 원본 이미지와 각각의 복구 이미지들 사이의 에러 성분들을 이미지로 표현한 에러 이미지들이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하도록 한다.
도1은 본 발명의 실시예에 따른 해상도 변환 방법의 순서도이며, 도2는 도1의 해상도 변환 방법을 설명하기 위한 원본 이미지의 픽셀과 변환된 후 리사이즈 이미지의 레인지 블록간의 관계를 이해할 수 있도록 개념적으로 표현된 도면이다.
도1을 참조하면, 본 실시예의 해상도 변환 방법은 원본 이미지의 제1 원본 픽셀에 대응하는 제1 레인지 블록을 생성함으로써 시작된다(S1,S2).
본 실시예에서는, 도2에 도시된 바와 같이, m×n 해상도를 갖는 임의의 원본 이미지 즉, m×n 개의 원본 픽셀로 구성되는 임의의 원본 이미지를 대상으로, 가로와 세로가 각각 2배 확대된 2m×2n 해상도를 갖는 리사이즈 이미지를 생성하는 방법을 설명하도록 한다. 여기에서, m, n은 임의의 자연수이며, 특별한 제약 없이 임의로 선택될 수 있다.
원본 이미지의 원본 픽셀들(a11, a12...amn) 각각은 리사이즈 이미지의 레인지 블록들(R11, R12...Rmn) 각각에 매칭된다. 즉, 하나의 원본 픽셀로부터 하나의 레인지 블록이 생성되며, 가로/세로 2배 확대되는 경우 레인지 블록의 사이즈는 가로/세로 2 픽셀 즉, 2×2 픽셀 사이즈가 된다. 리사이즈 이미지는 레인지 블록들의 조합으로 구성되고, 각각의 레인지 블록을 구성하는 픽셀을 블록 픽셀이라고 부르기로 한다.
다시 도1을 참조하면, 제1 원본 픽셀(a11)에 대응하는 제1 레인지 블록(R11)을 결정한다(S1,S2). 즉, 제1 레인지 블록(R11)의 블록 픽셀들의 데이터를 결정한다. 블록 픽셀 데이터를 결정하는 방법에 대한 설명은 잠시 뒤로 미루도록 하고, 다만 리사이즈 이미지의 픽셀들은 특별히 할당된 값이 없으므로 모든 픽셀들이 디폴트로 0의 값이 할당되어 있다는 점을 유의하도록 한다.
다음 제2 원본 픽셀(a12)에 대응하는 제2 레인지 블록(R12)을 구한다(S3,S4,S2). 즉, 레인지 블록(R12)의 블록 픽셀 데이터 값을 결정한다. 여기에서, 제1 레인지 블록(R11)을 결정할 때와 달리, 제2 레인지 블록(R12)에 인접한 픽셀들 중 제1 레인지 블록의 블록 픽셀들의 데이터가 더 이상 0이 아니라는 점에 주목할 필요가 있다.
이제 임의의 제k 원본 픽셀(aij)에 대응하는 제k 레인지 블록(Rij)을 구하는 과정을 도3을 참조하여 설명하도록 한다.
제k 레인지 블록(Rij)은 인접 픽셀들과 함께 도메인 블록(Dij)을 구성한다. 블록 픽셀들(r11, r12, r21, r22)의 데이터 값은 대응 관계에 있는 제k 원본 픽셀과 도메인 블록(Dij) 내의 인접 픽셀들(d11~d44)의 데이터를 기초로 결정된다.
2×2 레인지 블록은, 수학적으로 2×2 행렬로 간단히 표현될 수 있으며, 따라서 다음의 행렬 연산에 의해 정의되어 산출될 수 있다:
[수식 1]
Figure 112011007146521-pat00012
여기에서,
Figure 112011007146521-pat00013
은 레인지 블록(Rij)의 블록 픽셀들(r11~r22)의 데이터를 나타내는 2×2 행렬,
Figure 112011007146521-pat00014
은 원본 픽셀의 데이터 값, U는 모든 원소의 값이 1인 2×2 행렬,
Figure 112011007146521-pat00015
는 인접 픽셀 데이터를 반영하여 원본 이미지의 대응 픽셀 데이터를 조정하도록 결정된 데이터들로 구성된 조정 행렬이며, c와 s는 미리 결정된 비례 상수다.
블록 픽셀들 중 r11을 예를 들어 설명하면, r11은 원본 픽셀(aij)의 데이터(
Figure 112011007146521-pat00016
)를 기준으로 하여 r11에 인접한 픽셀들 즉, 도메인 블록(Dij) 내에서 r11에 인접한 픽셀들의 데이터 값 내지 그 조합에 일정한 비례 상수(s)를 곱한 후 가산하여 결정된다.
r11에 가산되는 조정 행렬 즉,
Figure 112011007146521-pat00017
행렬은 2×2 행렬이므로 4×4 도메인 블록(Dij)의 축소 행렬로 정의될 수 있다:
[수식 2]
Figure 112011007146521-pat00018
= Contract(D)
축소 함수(Contract)의 변환 식은 다양하게 정의될 수 있어 특정할 수 없지만, 어느 경우에나 도메인 블록 내에 위치하는 인접 픽셀들의 데이터 값이 조정 행렬에 반영된다는 점에 주목해야 한다.
인접 픽셀들의 데이터 값만이 반영되는 경우, 예컨대 조정 행렬의 임의의 원소는 블록 픽셀들을 둘러싸고 있는 픽셀들의 평균으로 정의될 수 있다. 즉, 도3의 경우, b11은 r11의 인접 픽셀들(d11,d12,d21)의 평균값으로 정의될 수 있으며, 거리가 1인 인접 픽셀들과 대각선에 위치하는 인접 픽셀의 가중치를 불균등하게 가산하는 등 인접 픽셀들의 데이터가 반영되는 다양한 관계식들을 정의하여 사용할 수 있다.
한편, 인접 픽셀들의 데이터 외에도, 예컨대 이하 [수식 3]과 같이, 블록 픽셀의 값을 조정 행렬에 반영하는 것이 가능하다는 점을 주목해야 한다.
[수식 3]
Figure 112011007146521-pat00019
여기에서, rij는 제k 레인지 블록의 i행 j열의 블록 픽셀이며, c와 d는 rij 픽셀과의 거리가 1이고 제k 레인지 블록에 속하지 않는 인접 픽셀들의 데이터이다.
도3에 [수식 3]을 적용하면 조정 행렬의 원소들은 다음과 같다:
[수식 4]
Figure 112011007146521-pat00020
Figure 112011007146521-pat00021
Figure 112011007146521-pat00022
Figure 112011007146521-pat00023
이제 [수식 4]의 결과를 [수식 1]에 반영함으로써 레인지 블록을 결정할 수 있을 것이다.
한편, [수식 1]은 다음과 같은 수식으로 대체될 수 있다:
[수식 5]
Figure 112011007146521-pat00024
[수식 5]는
Figure 112011007146521-pat00025
가 포함된 것을 제외하고 [수식 1]과 같다.
Figure 112011007146521-pat00026
는 조정 행렬 원소들의 평균값을 의미하며, [수식 2] 내지 [수식 4]를 반영함으로써 [수식 5]를 계산하는 것이 가능하다. 예컨대, 원본 픽셀(aij)의 데이터(
Figure 112011007146521-pat00027
)는 이미 알고 있는 값이며, c와s는 미리 결정된 상수이므로, [수식 4]에서 구한 조정 행렬(
Figure 112011007146521-pat00028
)을 반영하고, b11~b22의 평균값(
Figure 112011007146521-pat00029
)을 구하여 대입함으로써 레인지 블록을 결정할 수 있는 것이다.
이제 다시 도1의 순서도를 참조하면, 원본 이미지의 제1 원본 픽셀(a11)로부터 원본 이미지의 마지막 픽셀(amn)에 이르기까지 순차적으로 레인지 블록들의 블록 픽셀 데이터들을 결정해 나감으로써 1차 리사이즈 이미지를 완성한다(S3,S5).
이제 구해진 1차 리사이즈 이미지와 원본 이미지를 기초로 1차 리사이즈 이미지를 갱신함으로써 더욱 우수한 2차 리사이즈 이미지를 생성하는 것이 가능하다(S5, S1~S4). 1차 리사이즈 이미지 생성시 사용되었던 디폴트 값들을 대신하여 1차 리사이즈 이미지의 픽셀 데이터가 활용되므로, 갱신된 2차 리사이즈 이미지는 더욱 원본에 가까운 화질을 갖게 된다.
2차 리사이즈 이미지를 얻는 방식과 마찬가지로 3차 리사이즈 이미지를 얻을 수 있으며, 반복적으로 본 실시예의 알고리즘을 반복하게 될 때 더욱 우수한 리사이즈 이미지를 얻을 수 있다.
본 발명의 실시예에 따른 해상도 변환 방법(이하, 'OFSR'이라 함)의 성능 평가를 위해 도4의 (a) 내지 (d)에 도시된 4장의 샘플 사진을 대상으로 비교 실험을 수행하였다.
실험은 원본 샘플 사진들을 1/4로 축소시키고, 종래 리사이즈 필터들을 적용하여 4배 확대하여 얻은 복원 이미지와 본 발명의 OFSR을 1회, 2회, 3회,...6회 반복 적용하여 4배 확대하여 얻은 복원 이미지들을 각각 비교하는 방법으로 수행되었다. 특히, OFSR은 [수식 1]을 대신하여 [수식 5]에 [수식 2] 내지 [수식 4]를 적용하였고, [수식 5]에서 c 값을 1로 하고 s 값으로 0.75로 하여 OFSR을 반복하였다.
<표 1>은 원본 이미지 대비 각각의 필터에 의해 복원된 이미지의 PSNR(Peak Signal-to-Noise Ratio)을 보여준다.
Figure 112011007146521-pat00030
<표 1>을 참조하면, OFSR이 1회 적용된 복원 이미지라고 하더라도 bilinear, bicubic, Lanczos 필터에 비해 약 3~5 dB 정도 더 우수한 PSNR 성능이 있음을 알 수 있다.
OFSR이 거듭 적용될수록 복원 이미지의 PSNR은 더욱 향상되지만, 3차 내지 4차 OFSR을 거듭 적용한 후에는 일정 수준으로 수렴되는 결과를 나타내고 있어, OFSR의 반복 횟수로서 3 내지 4회가 중요한 의의를 갖는다는 것을 알 수 있다.
더 구체적으로, 복원 이미지의 품질을 비교하기 위하여 각종 필터별 도4(a)의 Lenna 이미지에 대한 복원 이미지들을 비교하도록 한다. Bicubic/Lanczos 필터에 의한 복원 이미지들이 도5의 (a) 및 (b)에, 본 발명의 실시예에 따라 제안된 OFSR에 의한 복원 이미지는 도5의 (c)에, 마지막으로 원본 이미지가 도5의 (d)에 개시되어 있다.
또한, 육안 관찰의 용이성을 위하여 도5의 (a) 내지 (d) 이미지에서 모델의 눈 주위의 영상을 확대한 이미지들을 도5의 (e) 내지 (h)에 도시하였다. 이들 영상을 관찰 비교해 보면, Bicubic/Lanczos 필터에 의해 복원된 이미지에서는 눈 가의 고주파 성분들이 흐릿해지고 뭉개져 사라지지만, 본 실시예의 OFSR 기법에 의한 복원 이미지에서는 눈 가의 고주파 성분들이 두렷하게 복구되는 것을 용이하게 관찰할 수 있다.
OFSR 기법의 효과는 도7의 (a) 내지 (d)에서 더욱 명확하게 이해할 수 있다. 도7의 (a) 내지 (d)는 '원본 이미지'와 각각의 복구 이미지들 사이의 에러 성분들을 이미지로 표현한 에러 이미지들이다. 에러 이미지에서 볼 수 있는 바와 같이, OFSR 기법에 의한 복원 이미지의 에러가 다른 필터의 복원 이미지에 비해 현저히 작아, OFSR 기법에 의한 복원 이미지는 보이질 않을 정도 즉, 무시할 수 있을 만큼의 에러를 내포하고 있다는 결론을 얻을 수 있다.
이상 살펴 본 바와 같이, 종래의 보간 필터들은 원본 이미지의 샤프한 에지들을 흐릿하게 또는 일그러져 두리 뭉실하게 표현되도록 하여 에지 주변의 큰 에러들을 감쇄시키도록 한다. 본 발명의 기법 또한 불충분한 정보로 인하여 이 샤프한 에지들을 완벽하게 재현하는데 미치지 못하지만, 복원 이미지가 원본 이미지와 비교하여 매우 작은 차이만을 갖도록 복원하는 것이 가능하다.
<표 2>는 종래 리사이즈 필터 대비 본 발명의 알고리즘의 성능을 보여준다:
Figure 112011007146521-pat00031
실험은 펜티엄 프로세서(2.83GHz) 및 4GB 메모리의 사양을 갖는 PC에서 수행되었다. 테스트는 이미지 편집 프리웨어로 널리 보급되어 있는 GIMP가 이용되었으며, 특정 스케일링 팩터에 대해 최적화하지 않은 상태에서 진행되었다.
<표 2>를 참조하면, 본 발명에 따른 OFSR을 1회 수행하는데 1.27ms의 처리 시간이 소요되는 것으로 측정되었다. 이는 기존 필터 중 가장 선명도가 뛰어난 Lanczos와 비교하여 68배 빠른 속도이다.
본 발명에 따른 OFSR을 3회 수행하더라도 3.67ms의 처리 시간이 소요된다. 이는 Lanczos와 비교하여 약 24배 빠른 속도이다.
OFSR 1 및 OFSR 3을 기준으로 볼 때, bilinear/bicubic 와 비교할 때에도 적게는 4배, 많게는 11배가량 본 발명의 알고리즘 처리 속도가 더 빠르다는 것을 알 수 있다.
이상 본 발명의 몇몇 실시예를 설명하였으나, 당업자는 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다양한 변형, 치환 등이 가능하다는 것을 이해할 것이다.
예를 들어, 상기 실시예는 가로, 세로에 대해 각각 2배 확대하는 알고리즘을 설명하였으나, 임의의 확대 배수에 대해서 본 발명의 알고리즘이 적용될 수 있다는 점을 이해할 수 있을 것이다. 또한, 원본 픽셀들에 대해 좌측 상단에서 우측 하단으로, 행과 열에 대해 순차적으로 원본 픽셀들에 대해 본 알고리즘이 적용되었으나, 반드시 순차적일 필요는 없으며 적용되는 원본 픽셀들의 순번은 임의로 선택될 수 있는 것이다.
상기 실시예는 이미지 또는 정지 영상에 대해 실험, 비교 분석되었으나, 동영상에 대해서도 활용가능하며 기존의 필터에 비해 더 우수한 성능을 보일 수 있다는 사실을 이해할 수 있을 것이다.
따라서, 상기 실시예는 본 발명의 예시적인 실시 형태로 이해되어야 할 것이다. 본 발명의 기술적 사상은 이하 특허청구범위의 기재로부터 결정되며, 그 보호범위는 균등 범위까지 미친다.

Claims (9)

  1. 다수의 원본 픽셀로 구성되는 저해상도 원본 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법에 있어서,
    상기 원본 이미지의 원본 픽셀 하나에 대응하는 레인지 블록을 생성하는 단계를 포함하고,
    상기 레인지 블록들의 집합이 상기 고해상도 이미지를 형성하고,
    상기 레인지 블록은 다수의 블록 픽셀로 형성되며,
    상기 레인지 블록의 블록 픽셀의 데이터는 상기 원본 픽셀의 데이터와, 상기 고해상도 이미지상에서 상기 레인지 블록의 픽셀에 인접하는 적어도 하나의 인접 픽셀의 데이터에 기초하여 결정되어, 먼저 생성된 상기 레인지 블록의 픽셀 데이터는 상기 인접 픽셀의 데이터로서 나중에 생성되는 상기 레인지 블록의 픽셀 데이터 결정에 반영되는 것을 특징으로 하는 해상도 변환 방법.
  2. 제1항에 있어서,
    상기 레인지 블록의 블록 픽셀의 데이터는 상기 인접 픽셀의 데이터를 반영하여 상기 원본 픽셀의 데이터 값을 증감함으로써 결정되는 것을 특징으로 하는 해상도 변환 방법.
  3. 제1항에 있어서,
    상기 레인지 블록의 블록 픽셀의 데이터는 다음 수식에 따라 상기 인접 픽셀의 데이터를 반영하여 상기 원본 픽셀의 데이터 값을 증감함으로써 결정되는 것을 특징으로 하는 해상도 변환 방법:
    Figure 112011007146521-pat00032

    (여기에서,
    Figure 112011007146521-pat00033
    은 레인지 블록의 블록 픽셀들의 데이터를 나타내는 행렬,
    Figure 112011007146521-pat00034
    은 원본 픽셀의 데이터, U는 모든 원소의 값이 1이고 행과 열의 개수가 레인지 블록의 행렬에 대응하는 행렬,
    Figure 112011007146521-pat00035
    는 인접 픽셀 데이터를 반영하여 원본 이미지의 대응 픽셀 데이터를 조정하도록 결정된 데이터들로 구성된 조정 행렬, c,s는 미리 결정된 비례 상수)
  4. 제1항에 있어서,
    상기 레인지 블록의 블록 픽셀의 데이터는, 상기 블록 픽셀의 데이터가 존재하고 있는 경우, 기존의 상기 블록 픽셀의 데이터, 상기 원본 픽셀 데이터, 및 적어도 하나의 인접 픽셀의 데이터에 기초하여 결정되는 것을 특징으로 하는 해상도 변환 방법.
  5. 제4항에 있어서,
    상기 레인지 블록의 블록 픽셀의 데이터는 상기 기존 블록 픽셀의 데이터와 상기 적어도 하나의 인접 픽셀의 데이터를 반영하여 결정된 조정값을 상기 원본 픽셀 데이터에 반영하여 상기 원본 픽셀 데이터를 증감함으로써 결정되는 것을 특징으로 하는 해상도 변환 방법.
  6. 제1항에 있어서,
    상기 레인지 블록의 블록 픽셀의 데이터는 다음 수식에 의해 결정되는 것을 특징으로 하는 해상도 변환 방법:
    Figure 112011007146521-pat00036

    (여기에서,
    Figure 112011007146521-pat00037
    은 레인지 블록의 블록 픽셀들의 데이터를 나타내는 행렬,
    Figure 112011007146521-pat00038
    은 원본 픽셀의 데이터, U는 모든 원소의 값이 1이고 행과 열의 개수가 레인지 블록의 행렬에 대응하는 행렬,
    Figure 112011007146521-pat00039
    는 인접 픽셀 데이터를 반영하여 원본 이미지의 대응 픽셀 데이터를 조정하도록 결정된 데이터들로 구성된 조정 행렬,
    Figure 112011007146521-pat00040
    는 상기 조정 행렬 원소의 평균값, c,s는 미리 결정된 비례 상수)
  7. 제6항에 있어서,
    상기 레인지 블록은 2×2 행렬이고, 상기 조정 행렬은 다음의 수식에 의해 결정되는 것을 특징으로 하는 해상도 변환 방법:
    Figure 112011007146521-pat00041

    (여기에서, bij는 상기 조정 행렬의 i행, j열 원소이고, rij는 레인지 블록의블록 픽셀의 데이터이고 상기 레인지 블록의 행렬
    Figure 112011007146521-pat00042
    의 원소, a, b는 블록 픽셀에 가장 인접한 2개의 픽셀 데이터)
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 블록 픽셀의 데이터를 구함으로써 상기 원본 이미지의 모든 원본 픽셀에 대응하는 모든 상기 레인지 블록들의 생성한 후, 상기 블록 픽셀의 데이터를 다시 산출하여 상기 레인지 블록들을 갱신하는 단계를 더 포함하는 것을 특징으로 하는 해상도 변환 방법.
  9. 제8항에 있어서,
    상기 레인지 블록들의 갱신 단계는 상기 원본 이미지상의 원본 픽셀에 대해 순차적으로 적용하여 수행되는 것을 특징으로 하는 해상도 변환 방법.




KR1020110008819A 2011-01-28 2011-01-28 저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법 KR101116800B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110008819A KR101116800B1 (ko) 2011-01-28 2011-01-28 저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110008819A KR101116800B1 (ko) 2011-01-28 2011-01-28 저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법

Publications (1)

Publication Number Publication Date
KR101116800B1 true KR101116800B1 (ko) 2012-02-28

Family

ID=45840516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110008819A KR101116800B1 (ko) 2011-01-28 2011-01-28 저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법

Country Status (1)

Country Link
KR (1) KR101116800B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102095518B1 (ko) 2018-10-11 2020-03-31 옥임식 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법
KR20200042742A (ko) 2018-10-16 2020-04-24 주식회사 화력대전 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970078571A (ko) * 1996-05-15 1997-12-12 김광호 고해상도 영상 확대방법 및 장치
KR20010034255A (ko) * 1998-11-20 2001-04-25 요트.게.아. 롤페즈 비디오 프레임의 해상도 증가 방법
KR20070070452A (ko) * 2005-12-29 2007-07-04 엠텍비젼 주식회사 디지털 영상 신호를 ｔｖ 신호로 변환하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970078571A (ko) * 1996-05-15 1997-12-12 김광호 고해상도 영상 확대방법 및 장치
KR20010034255A (ko) * 1998-11-20 2001-04-25 요트.게.아. 롤페즈 비디오 프레임의 해상도 증가 방법
KR20070070452A (ko) * 2005-12-29 2007-07-04 엠텍비젼 주식회사 디지털 영상 신호를 ｔｖ 신호로 변환하는 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102095518B1 (ko) 2018-10-11 2020-03-31 옥임식 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법
KR20200042742A (ko) 2018-10-16 2020-04-24 주식회사 화력대전 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
Sun et al. Learned image downscaling for upscaling using content adaptive resampler
US7652700B2 (en) Interpolation method for captured color image data
CN103098089B (zh) 图像超分辨率的方法
CN102576454B (zh) 利用空间图像先验的图像去模糊法
JP5188205B2 (ja) カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法
Li et al. Color filter array demosaicking using high-order interpolation techniques with a weighted median filter for sharp color edge preservation
KR101377733B1 (ko) 업-스케일링
WO2011111819A1 (ja) 画像処理装置、画像処理プログラム、および、画像を生成する方法
Trentacoste et al. Blur‐aware image downsampling
CN115841420A (zh) 一种基于深度学习的偏振图像超分辨率重建方法
CN115147274A (zh) 获取图像超分辨率方法、获取系统设备以及存储介质
KR101116800B1 (ko) 저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법
Wu et al. Lapepi-net: A Laplacian pyramid EPI structure for learning-based dense light field reconstruction
Jakhetiya et al. Image interpolation by adaptive 2-D autoregressive modeling
JP5410232B2 (ja) 画像復元装置、そのプログラム、及び、多次元画像復元装置
Ousguine et al. A new image interpolation using gradient-orientation and cubic spline interpolation
CN108681988B (zh) 一种基于多幅图像的鲁棒的图像分辨率增强方法
Mousavi et al. Sparsity based super resolution using color channel constraints
JPWO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
Geetha et al. Efficient rhombus mean interpolation for reversible data hiding
Banik et al. Transformer based technique for high resolution image restoration
Okuhata et al. Implementation of super-resolution scaler for Full HD and 4K video
Chen et al. Structural similarity-based nonlocal edge-directed image interpolation
KR102362805B1 (ko) 모바일 디지털 이미지 확대 필터 장치 및 방법
JP5963166B2 (ja) 画像復元装置、方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141205

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151228

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 9