KR20080048385A - 새로운 거리 가중치를 이용한 적응적 선형 보간 방법,지역적 패턴을 고려한 적응적 선형 보간 방법, 패턴가중치를 이용한 적응적 선형 보간 방법 - Google Patents

새로운 거리 가중치를 이용한 적응적 선형 보간 방법,지역적 패턴을 고려한 적응적 선형 보간 방법, 패턴가중치를 이용한 적응적 선형 보간 방법 Download PDF

Info

Publication number
KR20080048385A
KR20080048385A KR1020070077508A KR20070077508A KR20080048385A KR 20080048385 A KR20080048385 A KR 20080048385A KR 1020070077508 A KR1020070077508 A KR 1020070077508A KR 20070077508 A KR20070077508 A KR 20070077508A KR 20080048385 A KR20080048385 A KR 20080048385A
Authority
KR
South Korea
Prior art keywords
interpolation
pattern
weight
value
pixel value
Prior art date
Application number
KR1020070077508A
Other languages
English (en)
Other versions
KR100903817B1 (ko
Inventor
정제창
김태양
전영균
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20080048385A publication Critical patent/KR20080048385A/ko
Application granted granted Critical
Publication of KR100903817B1 publication Critical patent/KR100903817B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 새로운 거리 가중치를 이용한 적응적 선형 보간 방법, 지역적 패턴을 고려한 적응적 선형 보간 방법, 패턴 가중치를 이용한 적응적 선형 보간 방법과, 상기 각 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 보간 대상 화소가 자신과 가까운 화소에 더욱 많은 영향을 받는 점을 고려해 2차 다항식 또는 3차 다항식으로 거리 가중치[s′]를 새로이 정의하여 보간 화소값[F]을 결정하는 적응적 선형 보간 방법과, 보간 대상 화소의 상,하,좌,우 지역적 패턴을 고려하여 보간 화소값[F]을 결정하는 적응적 선형 보간 방법과, 배율 인자[λ]의 크기로 인해 잘못된 보간 화소값[F]이 결정되는 것을 패턴 가중치[β]를 이용하여 방지하는 적응적 선형 보간 방법과, 상기 각 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은 적응적 선형 보간 방법에 있어서, 영상을 입력받으면 상기 입력 영상에 대해 공지의 이진 선형 보간법을 사용해 제1 보간 화소값을 계산하는 단계; 상기 입력 영상에 대해 보간 대상 화소의 상,하,좌,우에 위치한 화소들의 화소값을 고려해 제2 보간 화소값을 계산하는 단계; 상기 계산한 제1 보간 화소값 및 제2 보간 화소값을 이용해 패턴 가중치[β]를 구하는 단계; 및 상기 구한 패턴 가중치[β]를 이용하여 보간 화소값[F]을 결정하는 단계를 포함함.
4. 발명의 중요한 용도
본 발명은 영상 보간 등에 이용됨.
영상, 화소, 적응적 선형 보간, 새로운 거리 가중치, 지역적 패턴, 패턴 가중치, 배율 인자

Description

새로운 거리 가중치를 이용한 적응적 선형 보간 방법, 지역적 패턴을 고려한 적응적 선형 보간 방법, 패턴 가중치를 이용한 적응적 선형 보간 방법{The Adaptive Linear Interpolation Method using the New Distance Weights and Local Patterns and Pattern Weights}
본 발명은 영상 보간 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 더욱 상세하게는 보간 대상 화소가 자신과 가까운 화소에 더욱 많은 영향을 받는 점을 고려해 2차 다항식 또는 3차 다항식으로 거리 가중치[s′]를 새로이 정의하여 보간 화소값[F]을 결정하는 적응적 선형 보간 방법과, 보간 대상 화소의 상,하,좌,우 지역적 패턴을 고려하여 보간 화소값[F]을 결정하는 적응적 선형 보간 방법과, 배율 인자[λ]의 크기로 인해 잘못된 보간 화소값[F]이 결정되는 것을 패턴 가중치[β]를 이용하여 방지하는 적응적 선형 보간 방법과, 상기 각 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
영상 보간 알고리즘으로는 낮은 계산 복잡도를 갖는 이진 선형(bilinear) 보간법, 이진 큐빅(bicubic) 보간법 등과 같은 전통적인 방식이 있으며, 최근에는 이러한 전통적인 방식의 뿌옇게 흐려지는 현상(blurring effect)을 개선하기 위한 다양한 알고리즘이 제안되고 있다.
예컨대, "K. P. Hong, J. K. Paik, H, J. Kim and C. H. Lee, "An edge-preserving image interpolation system for a digital camcoders", IEEE Trans. on Consumer Electronics, vol. 42, pp. 279-284, Aug. 1996."에서는 선처리 필터링(pre-filtering), 후처리 필터링(post-filtering)과 함께 에지(edge)의 방향을 고려한 보간법을 제안하였으며, "H. Greenspan, C. H. Anderson and S. Akber, "Image enhancement by nonlinear extrapolation in frequency space", IEEE Trans. on Image Processing, vol. 9, no. 6, pp. 1035-1048, June 2000."에서는 높은 주파수 성분을 예측하기 위해 라플라시안 피라미드(laplacian pyramid)를 이용한 보간법을 제안하였으며, "W. K. Carey, D. B. Chung and S. S. Hemami, "Regularity-preserving image interpolation", IEEE Trans. on Image Processing, vol. 8, no. 9, pp. 1293-1297, Semptember 1999."에서는 웨이블릿(wavelet) 구조를 이용한 보간법을 제안하였으며, "Murensan, D. D., "Fast edge directed polynomial interpolation", IEEE International Conference on Image Processing, vol. 2, pp. 990-993, September 2005."에서는 에지(edge)의 방향성을 고려한 보간법을 제안하였으며, "J. W. Hwang and H. S. Lee, "Adaptive image interpolation based on local gradient features", IEEE Signal Processing Letters, vol. 11, no. 3, pp. 359-362, March 2004."에서는 보간 대상 화소의 주변 화소들의 기울기 역수(inverse gradient)를 기존의 이진 선형 보간법에 2차원적으로 적용한 보간법을 제안하였으며, "Shuai Yuan, Abe. M, Taguchi. A and Kawamata. M, "High accuracy WaDi image interpolation with local gradient features", in Proceedings of 2005 International Symposium on Intelligent Singal Processing and Communication, pp. 85-88, December 2006."에서는 지역적 비대칭적 특성과 기울기를 기존의 WaDi(Warped Distance) 알고리즘에 적용한 보간법을 제안하였다.
그런데, 상기와 같은 종래 기술들은 에지의 방향성에 따라 모드를 세분화하여 보간을 수행함으로써 에지 부분에서 매우 선명한 보간을 할 수는 있으나, 그로 인한 계산 복잡도가 증가되는 문제점이 있다.
또한, 상기와 같은 종래 기술들은 기울기 역수를 이용하여 보간을 수행함으로써 보다 높은 정확도를 갖을 수는 있으나, 하나의 화소 보간에 소요되는 계산량이 매우 증가되는 문제점이 있다.
특히, 상기와 같은 종래 기술들에서는 기울기 반영 정도를 결정하는데 있어서 선명도 상수(sharpness constant)가 필요한데, 이러한 선명도 상수는 보간을 수행하는데 있어 민감한 변화를 발생시키며, 더군다나 최적의 선명도 상수를 계산하는 과정 역시 매우 많은 계산량이 요구되어져 그 복잡도가 증가되는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하고 상기와 같은 요구에 부응하기 위하여 제안된 것으로, 보간 대상 화소가 자신과 가까운 화소에 더욱 많은 영향을 받는 점을 고려해 2차 다항식 또는 3차 다항식으로 거리 가중치[s′]를 새로이 정의하여 보간 화소값[F]을 결정하는 적응적 선형 보간 방법과, 보간 대상 화소의 상,하,좌,우 지역적 패턴을 고려하여 보간 화소값[F]을 결정하는 적응적 선형 보간 방법과, 배율 인자[λ]의 크기로 인해 잘못된 보간 화소값[F]이 결정되는 것을 패턴 가중치[β]를 이용하여 방지하는 적응적 선형 보간 방법과, 상기 각 방법을 실현시 키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 제1 실시예에 따른 방법은, 적응적 선형 보간 방법에 있어서, 영상을 입력받으면 상기 입력 영상 중에서 보간 대상 화소에 가까이 위치한 화소들의 화소값을 토대로 3차 다항식 또는 2차 다항식으로 표현되는 거리 가중치[s′]를 새로이 정하는 단계; 및 상기 정한 새로운 거리 가중치[s′]를 이용하여 보간 화소값[F]을 결정하는 단계를 포함한다.
한편, 본 발명의 제1 실시예는, 프로세서를 구비한 영상 보간 장치에, 영상을 입력받으면 상기 입력 영상 중에서 보간 대상 화소에 가까이 위치한 화소들의 화소값을 토대로 3차 다항식 또는 2차 다항식으로 표현되는 거리 가중치[s′]를 새로이 정하는 기능; 및 상기 정한 새로운 거리 가중치[s′]를 이용하여 보간 화소값[F]을 결정하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
한편, 본 발명의 제2 실시예에 따른 방법은, 적응적 선형 보간 방법에 있어 서, 영상을 입력받으면 상기 입력 영상 중에서 보간 대상 화소의 상,하,좌,우에 위치한 화소들의 화소값을 토대로 왼쪽 패턴 반영값[temp1] 및 오른쪽 패턴 반영값[temp2]을 구하는 단계; 및 상기 구한 왼쪽 패턴 반영값[temp1] 및 오른쪽 패턴 반영값[temp2]을 이용하여 보간 화소값[F]을 결정하는 단계를 포함한다.
한편, 본 발명의 제2 실시예는, 프로세서를 구비한 영상 보간 장치에, 영상을 입력받으면 상기 입력 영상 중에서 보간 대상 화소의 상,하,좌,우에 위치한 화소들의 화소값을 토대로 왼쪽 패턴 반영값[temp1] 및 오른쪽 패턴 반영값[temp2]을 구하는 기능; 및 상기 구한 왼쪽 패턴 반영값[temp1] 및 오른쪽 패턴 반영값[temp2]을 이용하여 보간 화소값[F]을 결정하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
한편, 본 발명의 제3 실시예에 따른 방법은, 적응적 선형 보간 방법에 있어서, 영상을 입력받으면 상기 입력 영상에 대해 공지의 이진 선형 보간법을 사용해 제1 보간 화소값을 계산하는 단계; 상기 입력 영상에 대해 보간 대상 화소의 상,하,좌,우에 위치한 화소들의 화소값을 고려해 제2 보간 화소값을 계산하는 단계; 상기 계산한 제1 보간 화소값 및 제2 보간 화소값을 이용해 패턴 가중치[β]를 구하는 단계; 및 상기 구한 패턴 가중치[β]를 이용하여 보간 화소값[F]을 결정하는 단계를 포함한다.
한편, 본 발명의 제3 실시예는, 프로세서를 구비한 영상 보간 장치에, 영상 을 입력받으면 상기 입력 영상에 대해 공지의 이진 선형 보간법을 사용해 제1 보간 화소값을 계산하는 기능; 상기 입력 영상에 대해 보간 대상 화소의 상,하,좌,우에 위치한 화소들의 화소값을 고려해 제2 보간 화소값을 계산하는 기능; 상기 계산한 제1 보간 화소값 및 제2 보간 화소값을 이용해 패턴 가중치[β]를 구하는 기능; 및 상기 구한 패턴 가중치[β]를 이용하여 보간 화소값[F]을 결정하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기와 같은 본 발명은 영상 보간을 수행하는데 있어 정확도를 향상시키면서도 낮은 계산 복잡도만이 요구되는 우수한 성능을 갖는다.
또한, 본 발명은 새로운 거리 가중치[s′]를 이용함으로써 기존의 보간 알고리즘들에 비해 훨씬 향상된 PSNR 값을 갖는 효과가 있다.
또한, 본 발명은 지역 패턴을 고려해 영상 보간을 수행함으로써, 객관적인 수치적 성능 평가값뿐만 아니라 주관적인 사람의 시각을 통해서도 선명한 화질을 확인할 수 있는 효과가 있다.
또한, 본 발명은 배율 인자(MF)[λ]의 크기 변화에 따라 보다 선명한 보간 영상을 획득할 수 있는 효과가 있다.
또한, 본 발명은 패턴 가중치[β]를 이용함으로써, 배율 인자[λ]의 크기로 인해 잘못된 보간 화소값[F]이 결정되는 것을 방지하는 효과가 있다.
또한, 본 발명은 배율 인자(MF)[λ]의 크기가 작을수록 영상 보간 성능이 기 존의 보간 알고리즘들에 비해 훨씬 향상되는 효과가 있다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
본 발명에서는 선형 보간법(Linear Interpolation)을 기반으로 하여 계산 복잡도를 줄이면서도 선명한 영상으로 보간하는 적응적 영상 보간 방법을 제시하는데, 특히 본 발명의 제1 실시예에서는 선형 보간법에서 영상 보간에 사용할 새로운 거리 가중치(new distance weight)에 대한 개념을 확립, 예컨대 보간 대상 화소가 자신과 가까운 화소에 더욱 많은 영향을 받는 점을 고려해 2차 다항식 또는 3차 다항식으로 거리 가중치[s′]를 새로이 정의하여 보간 화소값[F]을 결정하는 "새로운 거리 가중치를 이용한 적응적 선형 보간 방법"을 제시하며, 본 발명의 제2 실시예에서는 보간 대상 화소의 상,하,좌,우 지역적 패턴(local pattern)을 고려하여 보간 화소값[F]을 결정하는 "지역적 패턴을 고려한 적응적 선형 보간 방법"을 제시하며, 본 발명의 제3 실시예에서는 배율 인자(MF; Magnification Factor)[λ]의 크기 로 인해 잘못된 보간 화소값[F]이 결정되는 것을 패턴 가중치(pattern weight)[β]를 이용하여 방지하는 "패턴 가중치를 이용한 적응적 선형 보간 방법"을 제시한다.
이하, 도 1a 및 도 1b를 참조하여 상기 "새로운 거리 가중치를 이용한 적응적 선형 보간 방법"[제1 실시예]에 대해 상세히 설명하기로 한다.
도 1a 및 도 1b는 본 발명에서 제시하는 새로운 거리 가중치를 설명하기 위한 일실시예 그래프이다.
이진 선형(bilinear) 보간법 등과 같은 기존의 선형 보간법에서 사용하는 거리 가중치는, 입력 영상의 화소들 중에서 보간 대상 화소에 대해 가장 가까운 화소들과의 거리에 선형적으로 비례하는 함수로부터 구해지며, 이러한 선형 거리 함수를 사용해 보간 화소값[F]을 결정한다.
그러나 상기와 같은 선형 거리 함수는 뭉그러짐 현상을 발생시키는 요인이며, 대부분의 영상에 있어 보간 화소값은 해당 보간 대상 화소에 가까이 위치한 원본 화소값에 매우 밀접한 영항을 받는다. 이에, 본 발명에서는 거리에 선형적으로 비례하는 가중치 개념에서 벗어나서, 보간 대상 화소가 자신과 가까운 화소에 더욱 많은 영향을 받는 점을 고려해 2차 다항식 또는 3차 다항식으로 거리 가중치[s′]를 새로이 정의하여 보간 화소값[F]을 결정한다.
그럼, 상기와 같이 본 발명에서 제시하는 새로운 거리 가중치[s′]를 구하는 함수(이하 "거리 가중치 함수"라 함)를 설명하기로 한다.
본 발명의 거리 가중치 함수는 3차 다항식으로 표현되는 "3차 거리 가중치 함수"와 2차 다항식으로 표현되는 "2차 거리 가중치 함수"로 구분된다. 3차 거리 가중치 함수는 다음의 [수학식 1]과 같다.
Figure 112007056338118-PAT00001
여기서, "s"는 거리에 선형적으로 영향을 받는 기존의 선형 거리 가중치를 나타낸다.
상기 [수학식 1]로 표현되는 3차 거리 가중치 함수는 (0,0), (0.5,0.5) 및 (1,1)을 지나는 3차 다항식으로부터 유도되며, 그 유도 과정은 다음과 같다.
먼저, 상기 3차 다항식이 (0,0)에서 이중근을 갖고, (b,0)에서 하나의 근을 갖는다고 가정하면, 이 조건에 부합한 3차 다항식은 다음의 [수학식 2]와 같다.
Figure 112007056338118-PAT00002
그렇다면, 상기 [수학식 2]로 표현된 3차 다항식은 초기 조건인 (0.5,0.5)과 (1,1)을 지나야 한다. 그러므로 상기 [수학식 1]과 같이 상기 [수학식 2]에 있어 "a"는 "-2"로, "b"는 "1.5"로 되는 것이다.
다음으로, 2차 거리 가중치 함수를 설명한다.
2차 거리 가중치 함수는 2차 함수가 한번만 구부러지는 포물선 특성 때문에 구간을 두 부분으로 나누어서 정의하면 되며, 제1 구간인 "0≤s≤0.5"에 대해 2차 거리 가중치 함수를 표현하면 다음의 [수학식 3]과 같다.
Figure 112007056338118-PAT00003
상기 [수학식 3]으로 표현되는 제1 구간 2차 거리 가중치 함수는 (0,0) 및 (0.5,0.5)을 지나는 2차 다항식으로부터 유도되며, 그 유도 과정은 다음과 같다.
먼저, 상기 2차 다항식이 (0,0)에서 이중근을 갖는다고 가정하면, 이 조건에 부합한 2차 다항식은 다음의 [수학식 4]와 같다.
Figure 112007056338118-PAT00004
그렇다면, 상기 [수학식 4]로 표현된 2차 다항식은 초기 조건인 (0.5,0.5)을 지나야 한다. 그러므로 상기 [수학식 3]과 같이 상기 [수학식 4]에 있어 "a"는 "2"로 되는 것이다.
그리고 2차 거리 가중치 함수 중 제2 구간인 "0.5≤s≤1"에 대해 2차 거리 가중치 함수를 표현하면 다음의 [수학식 5]와 같다.
Figure 112007056338118-PAT00005
상기 [수학식 5]로 표현되는 제2 구간 2차 거리 가중치 함수는 (0.5,0.5) 및 (1,1)을 지나는 2차 다항식으로부터 유도되며, 그 유도 과정은 다음과 같다.
먼저, 상기 2차 다항식이 (0,0)에서 이중근을 갖는다고 가정하면, 이 조건에 부합한 2차 다항식은 다음의 [수학식 6]과 같다.
Figure 112007056338118-PAT00006
그렇다면, 상기 [수학식 6]으로 표현된 2차 다항식은 (-0.5,-0.5)을 지나야 한다. 그러므로 상기 [수학식 6]에 있어 "a"는 "-2"로 되며, 상기 [수학식 6]이 2차 거리 가중치 함수의 제2 구간에 적합하도록 "s"축으로 "1"만큼, "s′"축으로 "1"만큼 평행 이동시켜 상기 [수학식 5]와 같은 제2 구간 2차 거리 가중치 함수를 유도한다.
상기 [수학식 3]으로 표현되는 제1 구간 2차 거리 가중치 함수와 상기 [수학식 5]로 표현되는 제2 구간 2차 거리 가중치 함수를 합치면 최종적인 2차 거리 가중치 함수를 다음의 [수학식 7]로 표현할 수 있다.
Figure 112007056338118-PAT00007
도 1a 및 도 1b에는 앞서 설명했던 본 발명의 3차 거리 가중치 함수 및 2차 거리 가중치 함수와, 기존의 선형 거리 함수가 도시되어 있다.
그럼, 앞서 설명한 본 발명의 새로운 거리 가중치를 이용하여 보간 화소값[F]을 결정하는(구하는) 식은 다음의 [수학식 8]과 같다.
Figure 112007056338118-PAT00008
여기서, "F"는 보간 화소값을, "fi" 및 "fi+1" 각각은 입력 영상의 원본 화소값을 나타낸다.
다음의 [표 1]은 상기와 같이 본 발명에서 제시한 "새로운 거리 가중치를 이용한 적응적 선형 보간 알고리즘"의 성능을 나타낸다.
영상 보간 알고리즘 성능 평가에 널리 사용되는 5가지의 영상, 예컨대 레나(LENA) 정지 영상, 에어플레인(AIRPLANE) 정지 영상, 보트(Boats) 정지 영상, 핑거(FINGER) 정지 영상 및 골드힐(GOLDHILL) 정지 영상을 사용하여 알고리즘 성능 평가를 하였다.
Figure 112007056338118-PAT00009
상기 [표 1]에서는 본 발명의 새로운 거리 가중치를 이용한 적응적 선형 보간 알고리즘 성능 평가 결과에 대해, 각각의 배율 인자(MF; Magnification Factor)[λ]에 따른 5가지 영상들의 PSNR(Peek Signal To Noise Rate)을 기존 이진 선형 보간법과 비교하여 평균 상승치로 표현하였다.
상기 [표 1]에 보이는 배율 인자[λ]는 "
Figure 112007056338118-PAT00010
"와 같이 정의된다.
[표 1]을 종합해 보면, 본 발명의 새로운 거리 가중치를 이용한 적응적 선형 보간 알고리즘은, 배율 인자[λ]의 크기에 따라 약간의 차이는 있지만 기존 이진 선형 보간법 대비 "0.1 ~ 0.196 dB" 정도 상승하는 효과가 있음을 알 수 있다.
또한, 배율 인자[λ]가 "2.0"인 경우에 새로운 거리 가중치[s′]가 "0.5"로서 기존의 선형 거리 가중치[s]와 동일하기 때문에, 본 발명의 새로운 거리 가중치를 이용한 적응적 선형 보간 알고리즘은 기존 이진 선형 보간법과 같은 동일한 PSNR을 얻을 수 있음을 확인하였다. 덧붙여, 본 발명의 2차 거리 가중치 함수보다 3차 거리 가중치 함수를 사용한 경우에 약간 더 성능이 우수함을 알 수 있었고, 이하 본 발명의 다른 알고리즘들을 설명하는데 있어 3차 거리 가중치 함수를 인용하기로 한다.
이하, 도 2 및 도 3을 참조하여 본 발명의 "지역적 패턴을 고려한 적응적 선형 보간 방법"[제2 실시예]에 대해 상세히 설명하기로 한다[주; 도면에서는 본 발명의 지역적 패턴을 고려한 적응적 선형 보간 방법을 "NAL; New Adaptive Linear"이라고 함].
도 2는 종래 방식에 따른 이진 선형(bilinear) 보간법과 이진 큐빅(bicubic) 보간법을 설명하기 위한 일실시예 그래프이며, 도 3은 본 발명에서 제시하는 지역적 패턴을 고려한 적응적 선형 보간 방법의 개념을 설명하기 위한 일실시예 그래프이다.
기존의 이진 선형 보간법과 이진 큐빅 보간법 등에서는 기울기, 에지 방향성만을 고려해 선형 보간을 수행하기 때문에 보간된 영상이 뿌옇게 흐려지는 현상이 발생된다. 예컨대, 이러한 전통적인 보간법들은 영상 보간에 있어 지역적 특성을 고려하지 않는데, 대부분의 영상들의 화소값은 지역적 특성, 특히 주변의 패턴에 많은 영향을 받는다. 이에, 본 발명에서는 보간 대상 화소의 상,하,좌,우 지역적 패턴을 고려하여 보간 화소값[F]을 결정함으로서 보다 선명한 보간 영상을 획득하기 위한 알고리즘을 제시한다.
도 2에 도시된 바와 같이, 입력 영상의 화소값들[f1, f2, f3, f4]가 (80, 50, 55, 80)라면, 기존 이진 선형 보간법에 의해 보간될 화소[x]가 "2 ~ 3" 사이의 구간에 위치한 경우에는 보간되는 화소값들이 이 보간 대상 화소 주변의 패턴 특성을 잘 반영하지 못함을 알 수 있다.
예컨대, 보간 대상 화소[x]의 위치가 "2"에 더욱 가깝다면 왼쪽의 패턴 영향으로 보간되는 화소값은 "f2"보다 작아야 한다. 이러한 사실은 보간 대상 화소[x]의 위치가 "3"에 가까울 때 오른쪽 패턴 영향을 받는 것과 마찬가지이다. 그러나 도 2와 같이 기존 보간법들에서는 이러한 사실을 해당 알고리즘에 반영하지 않았으며, 이에 본 발명에서는 지역적 패턴을 고려한 적응적 선형 보간 알고리즘을 제시한다. 이를 도 3을 참조하여 설명하면 다음과 같다.
도 3에 도시된 바와 같이, 기존 보간법들(특히, 이진 선형 보간법)에서는 주변 패턴을 고려하지 않고서 보간 대상 화소에 가장 가까운 좌우 화소값들[f2, f3]만을 단지 고려한다. 그런데, f1과 f2에 의해 형성된 패턴을 살펴보면 보간 대상 화소값이 왼쪽 패턴을 반영한 적응적인 값인 "temp1"[이하, "왼쪽 패턴 반영값"이라고도 함]에 더욱 많은 영향을 받아야 됨을 확인할 수 있다. 이는 보간 대상 화소값이 오른쪽 패턴을 반영한 적응적인 값인 "temp2"[이하, "오른쪽 패턴 반영값"이라고도 함]에도 더욱 많은 영향을 받아야 됨을 확인할 수 있다. 즉, 보간 대상 화소값은 상,하,좌,우 지역적 패턴을 반영한 적응적인 값인 "temp1" 및 "temp2" 모두에 더욱 많은 영향을 받아야 한다. 물론, 보간 대상 화소값이 자신과 가까운 화소에 더욱 많은 영향을 받아야 하기에 기존 선형 보간법 또는 앞서 설명했던 본 발명의 "새로운 거리 가중치를 이용한 적응적 선형 보간 방법"과 같이 거리에 따른 가중치도 적용되어야 함을 당업자라면 쉽게 이해할 수 있을 것이다.
그럼, 상기 상,하,좌,우 지역적 패턴을 반영한 적응적인 값인 "temp1" 및 "temp2"를 구하는 과정을 살펴보기로 한다.
도 3에 도시된 바와 같이, "f1"과 "f2"에 의해 형성된 왼쪽 패턴의 기울기가 "(f2 - f1) / 1"임을 알 수 있으며, 이에 상기 "temp1"을 다음의 [수학식 9]를 사용해 구한다.
Figure 112007056338118-PAT00011
여기서, "s"는 공지의 선형 거리 가중치를, "f1"과 "f2"는 보간 대상 화소의 왼쪽에 위치한 화소들의 원본 화소값을 각각 나타낸다.
상기 [수학식 9]와 같은 방식으로, "f3"과 "f4"에 의해 형성된 오른쪽 패턴의 기울기가 "(f4 - f3) / 1"임을 알 수 있으며, 이에 상기 "temp2"를 다음의 [수학식 10]을 사용해 구한다.
Figure 112007056338118-PAT00012
여기서, "s"는 공지의 선형 거리 가중치를, "f3"과 "f4"는 보간 대상 화소의 오른쪽에 위치한 화소들의 원본 화소값을 각각 나타낸다.
상기 [수학식 9] 및 [수학식 10]을 통해 각각 구한 "temp1" 및 "temp2"를 이 용해 보간 화소값[F]을 결정하는(구하는) 식, 예컨대 앞서 설명했던 보간 화소값[F]을 결정하는 [수학식 8]의 "f2" 및 "f3"에 각각 대체하면, 보간 대상 화소의 상,하,좌,우 지역적 패턴이 고려된 보간 화소값[F]을 결정할 수 있다.
다음의 [수학식 11]은 본 발명에서 기존 선형 거리 가중치[s]를 함께 사용해 보간 대상 화소의 상,하,좌,우 지역적 패턴을 고려하여 보간 화소값[F]을 결정하는 식을 나타낸다.
Figure 112007056338118-PAT00013
다음의 [수학식 12]는 본 발명에서 앞서 제시했던 새로운 거리 가중치[s′]를 함께 사용해 보간 대상 화소의 상,하,좌,우 지역적 패턴을 고려하여 보간 화소값[F]을 결정하는 식을 나타낸다.
Figure 112007056338118-PAT00014
한편, 상기 본 발명의 지역적 패턴을 고려한 적응적 선형 보간 알고리즘 성능 평가 결과, 배율 인자(MF)[λ]의 크기가 작은 경우에는 우수한 성능을 내지만 배율 인자(MF)[λ]의 크기가 커질수록 약간의 성능 저하를 보임을 확인하였다. 이는 기울기 "f2 - f1", "f4 - f3"의 절대값이 너무 큰 경우에 "temp1"과 "temp2"가 "0"보다 너무 작아지거나 "255"보다 너무 커지기 때문이다. 또한, 배율 인자(MF)[λ]의 크기가 커지면 너무 거리가 먼 화소값의 패턴을 이용해 보간 되었기에 정확하지 못한 패턴 정보가 반영될 가능성이 높다. 이에, 지역적 패턴을 고려하여 보간 화소값[F]을 결정하는데 있어 반영 패턴 효과를 적절히 조정할 필요가 있다.
이하, 도 4a 및 도 4b를 참조하여 본 발명의 "패턴 가중치를 이용한 적응적 선형 보간 방법"[제3 실시예]에 대해 상세히 설명하기로 한다.
도 4a 및 도 4b는 본 발명에서 제시하는 패턴 가중치를 설명하기 위한 일실시예 그래프이다.
본 발명에서는 배율 인자[λ]의 크기 변화에 따라 보다 선명한 보간 영상을 획득함과 아울러 반영 패턴 효과를 적절히 조정하기 위한 파라미터로서 패턴 가중치(pattern weight)[β]를 정의한다.
즉, 본 발명에서는 지역적 패턴을 고려하지 않는 기존 이진 선형 보간법에 의해 보간된 화소값과 앞서 설명했던 본 발명의 제2 실시예에 따른 지역적 패턴을 고려한 적응적 선형 보간 방법에 의해 보간된 화소값의 가중치 평균을 이용해 배율 인자[λ]의 크기로 인해 잘못된 보간 화소값[F]이 결정되는 것을 방지한다. 여기서, 가중치 평균에 사용되는 가중치를 본 발명에서는 패턴 가중치(pattern weight)[β]라고 정의하였다.
다음의 [수학식 13]은 본 발명에서 기존 선형 거리 가중치[s], 제2 실시예에 따른 지역적 패턴을 함께 고려해 패턴 가중치를 이용하여 보간 화소값[F]을 결정하는 식을 나타낸다[주; 이하 참조되는 도면을 포함해 하기의 [수학식 13]에 의한 보간법을 "NAL-1 보간법"이라고 함].
Figure 112007056338118-PAT00015
다음의 [수학식 14]는 본 발명에서 제1 실시예에 따른 새로운 거리 가중치[s′], 제2 실시예에 따른 지역적 패턴을 함께 고려해 패턴 가중치를 이용하여 보간 화소값[F]을 결정하는 식을 나타낸다[주; 이하 참조되는 도면을 포함해 하기의 [수학식 14](특히 3차 거리 가중치 함수를 사용한)에 의한 보간법을 "NAL-2 보간법"이라고 함].
Figure 112007056338118-PAT00016
상기 [수학식 13] 및 [수학식 14] 각각에서, 패턴 가중치[β]는 "0 ~ 1" 사이에 위치해야 된다.
그렇다면, 최적의 패턴 가중치[β]를 구하는 과정을 설명하기로 한다.
컴퓨터 시뮬레이션을 통해 패턴 가중치[β]가 배율 인자(MF)[λ]와 어느 정도의 상관 관계가 있음을 확인했으며, 이로서 배율 인자(MF)[λ]와 패턴 가중치[β]간의 상관 관계를 통해 최적의 패턴 가중치[β]를 도출하기로 한다.
본 발명에서는 배율 인자(MF)[λ]와 패턴 가중치[β]간의 상관 관계식을 "MATLAB"의 "Data Fitting tool"을 사용해 유도한다. 여기서, 상기 본 발명의 NAL-1 보간법에 사용할 패턴 가중치를 β1으로, 상기 본 발명의 NAL-2 보간법에 사용할 패턴 가중치를 β2로 각각 정의한다.
도 4a에는 입력 영상에 관한 배율 인자(MF)[λ]에 대해 PSNR 값이 최대인 경우에 패턴 가중치[β1]의 가중치 분포가, 도 4b에는 입력 영상에 관한 배율 인자(MF)[λ]에 대해 PSNR 값이 최대인 경우에 패턴 가중치[β2]의 가중치 분포가 각각 도시되어 있다.
도 4a 및 도 4b에 도시된 바와 같이, 데이터 피팅(data fitting) 결과로 배율 인자(MF)[λ]와 패턴 가중치[β]간의 상관 관계식을 1차 다항식, 2차 다항식 및 3차 다항식 중 어느 하나의 수식으로 유도할 수 있다. 예컨대, 컴퓨터 시뮬레이션 결과를 통해 확인했듯이 본 발명의 NAL-1 보간법 및 NAL-2 보간법이 패턴 가중치의 작은 변화에도 민감하지 않기에 3가지 다항식 중 어떠한 수식을 사용해도 성능에는 큰 차이가 없었다. 다만, 3차 다항식이 데이터 피팅 과정에 있어서 잔여 차분치(residual error)가 가장 적고 각각의 배율 인자(MF)[λ]에 대해 비교적 안정적으로 작동한 점을 고려해, 바람직하게는 본 발명에서는 3차 다항식으로 각각 표현되는 패턴 가중치[β1] 및 패턴 가중치[β2]를 사용하기로 한다.
상기 3차 다항식으로 표현되는 패턴 가중치[β1](이하 "3차 패턴 가중치[β1]"이라 함)을 구하는 식은 다음의 [수학식 15]와 같다.
Figure 112007056338118-PAT00017
상기 3차 다항식으로 표현되는 패턴 가중치[β2](이하 "3차 패턴 가중치[β2]"라 함)를 구하는 식은 다음의 [수학식 16]과 같다.
Figure 112007056338118-PAT00018
다음의 [표 2]는 상기 배율 인자(MF)[λ]의 크기에 따른 3차 패턴 가중치[β1]와 3차 패턴 가중치[β2]를 나타낸다.
Figure 112007056338118-PAT00019
다음의 [표 3]은 상기 최대 PSNR 값과 패턴 가중치를 사용해 구한 PSNR의 차분치를 나타낸다.
Figure 112007056338118-PAT00020
상기 [표 3]은 패턴 가중치를 "0.01" 간격으로 변화시키면서 얻은 최대 PSNR 값과 패턴 가중치[β1], 패턴 가중치[β2]를 이용해 얻은 PSNR 값을 비교한 것으로서, 상기 5가지의 영상들에 대한 최대 PSNR값과 패턴 가중치[β1], 패턴 가중치[β2]를 이용해 구한 PSNR 값의 차분치를 각각의 배율 인자(MF)[λ]에 따른 평균값으로 표현하였다.
상기 [표 3]을 통해, 최대 PSNR 값과 패턴 가중치를 사용해 구한 PSNR 값들의 차분치는 매우 작음을 확인할 수 있으며, 이로서 본 발명에서 제시한 패턴 가중치[β]가 매우 유용함이 입증되었다.
이제, 도 5, 도 6a 내지 도 6d, 도 7a 내지 도 7d과 [표 4] 내지 [표 8]을 함께 참조해, 상기 전술했던 본 발명의 알고리즘, 예컨대 본 발명의 NAL-1 보간법 및 NAL-2 보간법을 기존의 이진 큐빅(bicubic) 보간법 및 이 이진 큐빅 보간법을 개량한 공지의 적응적 이진 큐빅(A_bicubic) 보간법과 비교해 보겠다.
도 5는 본 발명에서 제시한 알고리즘 성능 평가 과정을 설명하기 위한 일실시예 블록도이며, 도 6a 내지 도 6d는 레나(LENA) 정지 영상에 본 발명에서 제시한 알고리즘을 적용한 결과를 보여주기 위한 일실시예 영상도이며, 도 7a 내지 도 7d는 골드힐(GOLDHILL) 정지 영상에 본 발명에서 제시한 알고리즘을 적용한 결과를 보여주기 위한 일실시예 영상도이다.
먼저, 본 발명에서 실시한 알고리즘 성능 평가 과정은 다음과 같다.
도 5에 도시된 바와 같이, "512×512" 크기의 원본 영상을 {-0.0087, 0, 0.2518, 0.5138, 0.2518, 0, -0.0087}를 계수로 갖는 "7-tab 저역 통과 필터"를 통과시키고서, 각각의 배율 인자(MF)[λ]에 따라 공지의 선형 보간법을 사용해 서브샘플링한 후에, 다시 원래의 영상 크기로 보간을 수행한다. 여기서 "7-tab 저역 통과 필터"는 "MATLAB"에서 서브샘플링 시 사용되는 표준 필터이다.
본 발명의 알고리즘 성능 평가에서는 정지 영상과 동영상을 사용하였다. 예컨대, 정지 영상으로는 레나(LENA) 정지 영상, 에어플레인(AIRPLANE) 정지 영상, 핑거(FINGER) 정지 영상 및 골드힐(GOLDHILL) 정지 영상을 사용하였고, 동영상으로는 포맨(FOREMAN) 동영상, 모바일(MOBILE) 동영상을 사용하였으며, 각 영상에 대해 "1,1 ~ 2.5" 범위에서 "0.1" 간격으로 배율 인자(MF)[λ]를 변화시켜 가면서 알고리즘 성능 평가를 실시하였다.
다음의 [표 4]는 레나(LENA) 정지 영상에 대한 PSNR 값을 비교한 것이다.
Figure 112007056338118-PAT00021
다음의 [표 5]는 에어플레인(AIRPLANE) 정지 영상에 대한 PSNR 값을 비교한 것이다.
Figure 112007056338118-PAT00022
다음의 [표 6]은 핑거(FINGER) 정지 영상에 대한 PSNR 값을 비교한 것이다.
Figure 112007056338118-PAT00023
다음의 [표 7]은 골드힐(GOLDHILL) 정지 영상에 대한 PSNR 값을 비교한 것이다.
Figure 112007056338118-PAT00024
상기 [표 4] 내지 [표 7]을 통해, 본 발명의 NAL-1 보간법 및 NAL-2 보간법 각각에서는 배율 인자(MF)[λ]의 크기가 작은 경우에["1.1 ~ 1.8"] 기존의 이진 큐빅 보간법 및 적응적 이진 큐빅 보간법보다 훨씬 좋은 PSNR 값을 갖음을 확인할 수 있다.
예컨대, 레나(LENA) 정지 영상에 있어서는 본 발명의 NAL 보간법이 이진 큐빅 보간법보다 대략 "1.7 dB", 적응적 이진 큐빅 보간법보다 대략 "0.8 dB" 정도의 PSNR 값이 상승하는 것을 알 수 있다. 그리고 핑거(FINGER) 정지 영상에 있어서는 본 발명의 NAL 보간법이 이진 큐빅 보간법보다 대략 "2.6 dB", 적응적 이진 큐빅 보간법보다 대략 "1.6 dB" 정도의 PSNR 값이 상승하는 것을 알 수 있다.
한편, 상기 [표 4] 내지 [표 7]에 보이는 바와 같이, 본 발명의 NAL-1 보간법 및 NAL-2 보간법이 기존의 이진 큐빅 보간법 및 적응적 이진 큐빅 보간법보다 더 우수한 성능을 갖으며, 특히 상기 새로운 거리 가중치[s′]를 이용한 NAL-2 보간법이 NAL-1 보간법보다 약간 더 우수한 성능을 갖음을 알 수 있다.
도 6a에는 레나(LENA) 정지 영상의 원본 영상이 도시되어 있고, 도 6b에는 도 6a의 레나(LENA) 정지 영상이 이진 큐빅 보간법으로 영상 보간된 결과 영상이 도시되어 있고, 도 6c에는 도 6a의 레나(LENA) 정지 영상이 적응적 이진 큐빅 보간법으로 영상 보간된 결과 영상이 도시되어 있고, 도 6d에는 도 6a의 레나(LENA) 정지 영상이 본 발명의 NAL-2 보간법으로 영상 보간된 결과 영상이 도시되어 있다.
도 6a 내지 도 6d에 보이는 바와 같이, 본 발명의 NAL-2 보간법이 기존 보간법에 비해 모자의 주름 부분에서 더욱 선명함을 드러냄을 알 수 있다.
도 7a에는 골드힐(GOLDHILL) 정지 영상의 원본 영상이 도시되어 있고, 도 7b에는 도 7a의 골드힐(GOLDHILL) 정지 영상이 이진 큐빅 보간법으로 영상 보간된 결과 영상이 도시되어 있고, 도 7c에는 도 7a의 골드힐(GOLDHILL) 정지 영상이 적응적 이진 큐빅 보간법으로 영상 보간된 결과 영상이 도시되어 있고, 도 7d에는 도 7a의 골드힐(GOLDHILL) 정지 영상이 본 발명의 NAL-2 보간법으로 영상 보간된 결과 영상이 도시되어 있다.
도 7a 내지 도 7d에 보이는 바와 같이, 본 발명의 NAL-2 보간법이 기존 보간법에 비해 지붕의 세밀한 부분을 더욱 선명하게 보간했음을 알 수 있다.
상기와 같이, 본 발명에서 제시한 NAL 보간법이 객관적 화질 평가 기준인 PSNR 값뿐만 아니라 사람의 시각으로 평가되는 주관적 화질에서도 매우 우수함을 확인할 수 있겠다.
다음의 [표 8]은 포맨(FOREMAN) 동영상에 대한 평균 PSNR 값을 비교한 것이다.
Figure 112007056338118-PAT00025
다음의 [표 9]는 모바일(MOBILE) 동영상에 대한 평균 PSNR 값을 비교한 것이다.
Figure 112007056338118-PAT00026
상기 [표 8] 및 [표 9]를 통해, 정지 영상과 마찬가지로 동영상에 있어서도 본 발명의 NAL-1 보간법 및 NAL-2 보간법 각각에서는 배율 인자(MF)[λ]의 크기가 작은 경우에["1.1 ~ 1.8"] 기존의 이진 큐빅 보간법 및 적응적 이진 큐빅 보간법보다 훨씬 좋은 PSNR 값을 갖음을 확인할 수 있다.
예컨대, 본 발명의 NAL 보간법이 이진 큐빅 보간법보다 대략 "1 ~ 1.56 dB", 적응적 이진 큐빅 보간법보다 대략 "0.6 ~ 0.8 dB" 정도의 PSNR 값이 상승하는 것을 알 수 있다. 또한, 배율 인자(MF)[λ]의 크기가 커질수록 각 보간법에 의해 구해진 PSNR 값의 차이는 점점 작아짐을 확인할 수 있었다. 특히 상기 새로운 거리 가중치[s′]를 이용한 NAL-2 보간법이 NAL-1 보간법보다 약간 더 우수한 성능을 갖음을 알 수 있다.
한편, 각 보간법의 계산 복잡도를 비교하면 다음과 같다.
본 발명에서 제시한 NAL-1 보간법 및 NAL-2 보간법은 선형 보간법을 기반으로 하기 때문에 선형 보간법의 최대 장점인 낮은 계산 복잡도를 그대로 갖는다. 물론 정확한 보간에 비중을 두어서 이진 선형 보간법보다는 조금 더 복잡하겠지만 이진 큐빅 보간법, 적응적 이진 큐빅 보간법보다는 훨씬 낮은 계산 복잡도를 갖는다. 이는 다음의 [표 10]을 통해 확인할 수 있다.
다음의 [표 10]은 하나의 화소 보간에 대한 각 보간법의 계산량을 비교한 것이다.
Figure 112007056338118-PAT00027
앞서 언급한 적응적 이진 큐빅 보간법은 2차원 보간법이기에 본 발명에서 제시한 1차원적 NAL-1 보간법 및 NAL-2 보간법과 계산량을 비교하는 것이 쉽지 않겠지만, 보편적으로 1차원 보간법이 2차원 보간법보다 계산량이 적고, 또한 상기 적응적 이진 큐빅 보간법이 2차원 이진 큐빅 보간법에 몇 가지 식을 추가하여 변형한 알고리즘이기에 본 발명의 NAL-1 보간법 및 NAL-2 보간법이 적응적 이진 큐빅 보간법보다 계산량이 훨씬 적음을 당업자라면 쉽게 이해할 수 있겠다.
덧붙여, 본 발명의 패턴 가중치[β]는 보간을 수행하기 전에 배율 인자(MF)[λ]의 크기에 따라 한 번만 계산하면 되기 때문에 모든 화소값을 보간했을 때의 계산량에 비해 무시할 정도이기에 상기 [표 10]에는 반영하지 않았다.
전술한 본 발명은, 실시간에 가까운 영상 보간이 요구되는 분야, 다양한 화면 크기를 갖는 디스플레이 장치의 발달로 하나의 영상을 다양한 크기로 보간해야 되는 분야 등에 매우 유용하게 사용될 것으로 보인다. 또한, 디지털 영상 확대(digital zooming), 압축된 영상의 복원(restoration for compression data), 포토그래픽 프린팅(photographic printing) 등과 같은 다양한 영상 처리 분야에서 우수한 성능을 백분 발휘할 것으로 기대된다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1a 및 도 1b는 본 발명에서 제시하는 새로운 거리 가중치를 설명하기 위한 일실시예 그래프이고,
도 2는 종래 방식에 따른 이진 선형(bilinear) 보간법과 이진 큐빅(bicubic) 보간법을 설명하기 위한 일실시예 그래프이고,
도 3은 본 발명에서 제시하는 지역적 패턴을 고려한 적응적 선형 보간 방법의 개념을 설명하기 위한 일실시예 그래프이고,
도 4a 및 도 4b는 본 발명에서 제시하는 패턴 가중치를 설명하기 위한 일실시예 그래프이고,
도 5는 본 발명에서 제시한 알고리즘 성능 평가 과정을 설명하기 위한 일실시예 블록도이고,
도 6a 내지 도 6d는 레나(LENA) 정지 영상에 본 발명에서 제시한 알고리즘을 적용한 결과를 보여주기 위한 일실시예 영상도이고,
도 7a 내지 도 7d는 골드힐(GOLDHILL) 정지 영상에 본 발명에서 제시한 알고리즘을 적용한 결과를 보여주기 위한 일실시예 영상도이다.

Claims (20)

  1. 적응적 선형 보간 방법에 있어서,
    영상을 입력받으면 상기 입력 영상 중에서 보간 대상 화소에 가까이 위치한 화소들의 화소값을 토대로 3차 다항식 또는 2차 다항식으로 표현되는 거리 가중치[s′]를 새로이 정하는 단계; 및
    상기 정한 새로운 거리 가중치[s′]를 이용하여 보간 화소값[F]을 결정하는 단계
    를 포함하는 새로운 거리 가중치를 이용한 적응적 선형 보간 방법.
  2. 제 1 항에 있어서,
    상기 3차 다항식으로 표현되는 거리 가중치[s′]는, 다음의 [수학식 1]과 같이 표현되는 것을 특징으로 하는 새로운 거리 가중치를 이용한 적응적 선형 보간 방법.
    [수학식 1]
    Figure 112007056338118-PAT00028
    여기서, "s"는 공지의 선형 거리 가중치를 나타냄.
  3. 제 1 항에 있어서,
    상기 2차 다항식으로 표현되는 거리 가중치[s′]는, 다음의 [수학식 7]과 같이 표현되는 것을 특징으로 하는 새로운 거리 가중치를 이용한 적응적 선형 보간 방법.
    [수학식 7]
    Figure 112007056338118-PAT00029
    여기서, "s"는 공지의 선형 거리 가중치를 나타냄.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 보간 화소값[F]을 결정하는 단계는, 다음의 [수학식 8]을 사용하여 보간 화소값[F]을 결정하는 것을 특징으로 하는 새로운 거리 가중치를 이용한 적응적 선형 보간 방법.
    [수학식 8]
    Figure 112007056338118-PAT00030
    여기서, "fi" 및 "fi+1" 각각은 보간 대상 화소의 주변 화소의 화소값을 나타냄.
  5. 프로세서를 구비한 영상 보간 장치에,
    영상을 입력받으면 상기 입력 영상 중에서 보간 대상 화소에 가까이 위치한 화소들의 화소값을 토대로 3차 다항식 또는 2차 다항식으로 표현되는 거리 가중치[s′]를 새로이 정하는 기능; 및
    상기 정한 새로운 거리 가중치[s′]를 이용하여 보간 화소값[F]을 결정하는 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  6. 적응적 선형 보간 방법에 있어서,
    영상을 입력받으면 상기 입력 영상 중에서 보간 대상 화소의 상,하,좌,우에 위치한 화소들의 화소값을 토대로 왼쪽 패턴 반영값[temp1] 및 오른쪽 패턴 반영값[temp2]을 구하는 단계; 및
    상기 구한 왼쪽 패턴 반영값[temp1] 및 오른쪽 패턴 반영값[temp2]을 이용하여 보간 화소값[F]을 결정하는 단계
    를 포함하는 지역적 패턴을 고려한 적응적 선형 보간 방법.
  7. 제 6 항에 있어서,
    상기 왼쪽 패턴 반영값[temp1]은, 다음의 [수학식 9]를 사용하여 구하는 것을 특징으로 하는 지역적 패턴을 고려한 적응적 선형 보간 방법.
    [수학식 9]
    Figure 112007056338118-PAT00031
    여기서, "s"는 공지의 선형 거리 가중치를, "f1"과 "f2"는 보간 대상 화소의 왼쪽에 위치한 화소들의 화소값을 각각 나타냄.
  8. 제 6 항에 있어서,
    상기 오른쪽 패턴 반영값[temp2]은, 다음의 [수학식 10]을 사용하여 구하는 것을 특징으로 하는 지역적 패턴을 고려한 적응적 선형 보간 방법.
    [수학식 10]
    Figure 112007056338118-PAT00032
    여기서, "s"는 공지의 선형 거리 가중치를, "f3"과 "f4"는 보간 대상 화소의 오른쪽에 위치한 화소들의 화소값을 각각 나타냄.
  9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 보간 화소값[F]을 결정하는 단계는, 다음의 [수학식 11]을 사용하여 보간 화소값[F]을 결정하는 것을 특징으로 하는 지역적 패턴을 고려한 적응적 선형 보간 방법.
    [수학식 11]
    Figure 112007056338118-PAT00033
    여기서, "s"는 거리 가중치를 나타냄.
  10. 프로세서를 구비한 영상 보간 장치에,
    영상을 입력받으면 상기 입력 영상 중에서 보간 대상 화소의 상,하,좌,우에 위치한 화소들의 화소값을 토대로 왼쪽 패턴 반영값[temp1] 및 오른쪽 패턴 반영값[temp2]을 구하는 기능; 및
    상기 구한 왼쪽 패턴 반영값[temp1] 및 오른쪽 패턴 반영값[temp2]을 이용하여 보간 화소값[F]을 결정하는 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 적응적 선형 보간 방법에 있어서,
    영상을 입력받으면 상기 입력 영상에 대해 공지의 이진 선형 보간법을 사용해 제1 보간 화소값을 계산하는 단계;
    상기 입력 영상에 대해 보간 대상 화소의 상,하,좌,우에 위치한 화소들의 화소값을 고려해 제2 보간 화소값을 계산하는 단계;
    상기 계산한 제1 보간 화소값 및 제2 보간 화소값을 이용해 패턴 가중치[β]를 구하는 단계; 및
    상기 구한 패턴 가중치[β]를 이용하여 보간 화소값[F]을 결정하는 단계
    를 포함하는 패턴 가중치를 이용한 적응적 선형 보간 방법.
  12. 제 11 항에 있어서,
    상기 패턴 가중치[β]는, 배율 인자(MF)[λ]와 패턴 가중치[β]간의 상관 관계를 사용하여 1차 다항식 또는 2차 다항식 또는 3차 다항식 중 어느 하나의 다항식으로부터 구하는 것을 특징으로 하는 패턴 가중치를 이용한 적응적 선형 보간 방법.
  13. 제 11 항에 있어서,
    상기 제2 보간 화소값을 계산하는 단계는,
    상기 입력 영상 중에서 보간 대상 화소의 상,하,좌,우에 위치한 화소들의 화소값을 토대로 왼쪽 패턴 반영값[temp1] 및 오른쪽 패턴 반영값[temp2]을 계산하는 것을 특징으로 하는 패턴 가중치를 이용한 적응적 선형 보간 방법.
  14. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 보간 화소값[F]을 결정하는 단계는,
    상기 구한 패턴 가중치[β]와 공지의 선형 거리 가중치[s]를 함께 사용하여 보간 화소값[F]을 결정하는 것을 특징으로 하는 패턴 가중치를 이용한 적응적 선형 보간 방법.
  15. 제 14 항에 있어서,
    상기 보간 화소값[F]을 결정하는 단계는, 다음의 [수학식 13]을 사용하여 보간 화소값[F]을 결정하는 것을 특징으로 하는 패턴 가중치를 이용한 적응적 선형 보간 방법.
    [수학식 13]
    Figure 112007056338118-PAT00034
    여기서, "s"는 공지의 선형 거리 가중치를, temp1은 왼쪽 패턴 반영값을, temp2는 오른쪽 패턴 반영값을, "f2"와 "f3"는 보간 대상 화소의 주변 화소들의 화소값을 각각 나타냄.
  16. 제 15 항에 있어서,
    상기 패턴 가중치[β](이하, 공지의 선형 거리 가중치[s]와 함께 사용되는 패턴 가중치를 "β1"이라 함)를 다음의 "
    Figure 112007056338118-PAT00035
    " 또는 "
    Figure 112007056338118-PAT00036
    " 또는 "
    Figure 112007056338118-PAT00037
    " 중 어느 하나의 다항식으로부터 구하는 것을 특징으로 하는 패턴 가중치를 이용한 적응적 선형 보간 방법.
    여기서, "λ"는 배율 인자(MF)를 나타냄.
  17. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 보간 화소값[F]을 결정하는 단계는,
    상기 구한 패턴 가중치[β]와, 상기 보간 대상 화소에 가까이 위치한 화소들 의 화소값을 토대로 새로이 정의한 거리 가중치[s′](이하, "새로운 거리 가중치[s′]"라 함)를 함께 사용하여 보간 화소값[F]을 결정하는 것을 특징으로 하는 패턴 가중치를 이용한 적응적 선형 보간 방법.
  18. 제 17 항에 있어서,
    상기 보간 화소값[F]을 결정하는 단계는, 다음의 [수학식 14]를 사용하여 보간 화소값[F]을 결정하는 것을 특징으로 하는 패턴 가중치를 이용한 적응적 선형 보간 방법.
    [수학식 14]
    Figure 112007056338118-PAT00038
    여기서, "s′"는 새로운 거리 가중치를, temp1은 왼쪽 패턴 반영값을, temp2는 오른쪽 패턴 반영값을, "f2"와 "f3"는 보간 대상 화소의 주변 화소들의 화소값을 각각 나타냄.
  19. 제 18 항에 있어서,
    상기 패턴 가중치[β](이하, 새로운 거리 가중치[s′]와 함께 사용되는 패턴 가중치를 "β2"라 함)를 다음의 "
    Figure 112007056338118-PAT00039
    " 또는 "
    Figure 112007056338118-PAT00040
    " 또는 "
    Figure 112007056338118-PAT00041
    " 중 어느 하나의 다항식으로부터 구하는 것을 특징으로 하는 패턴 가중치를 이용한 적응적 선형 보간 방법.
    여기서, "λ"는 배율 인자(MF)를 나타냄.
  20. 프로세서를 구비한 영상 보간 장치에,
    영상을 입력받으면 상기 입력 영상에 대해 공지의 이진 선형 보간법을 사용해 제1 보간 화소값을 계산하는 기능;
    상기 입력 영상에 대해 보간 대상 화소의 상,하,좌,우에 위치한 화소들의 화소값을 고려해 제2 보간 화소값을 계산하는 기능;
    상기 계산한 제1 보간 화소값 및 제2 보간 화소값을 이용해 패턴 가중치[β]를 구하는 기능; 및
    상기 구한 패턴 가중치[β]를 이용하여 보간 화소값[F]을 결정하는 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020070077508A 2006-11-28 2007-08-01 새로운 거리 가중치를 이용한 적응적 선형 보간 방법,지역적 패턴을 고려한 적응적 선형 보간 방법, 패턴가중치를 이용한 적응적 선형 보간 방법 KR100903817B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060118316 2006-11-28
KR20060118316 2006-11-28

Publications (2)

Publication Number Publication Date
KR20080048385A true KR20080048385A (ko) 2008-06-02
KR100903817B1 KR100903817B1 (ko) 2009-06-25

Family

ID=39804609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070077508A KR100903817B1 (ko) 2006-11-28 2007-08-01 새로운 거리 가중치를 이용한 적응적 선형 보간 방법,지역적 패턴을 고려한 적응적 선형 보간 방법, 패턴가중치를 이용한 적응적 선형 보간 방법

Country Status (1)

Country Link
KR (1) KR100903817B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100949137B1 (ko) * 2008-07-17 2010-03-25 한양대학교 산학협력단 영상 보간 장치와 그 방법 및 그 방법이 기록된 컴퓨터로읽을 수 있는 기록매체
CN111179169A (zh) * 2019-12-18 2020-05-19 兰州恒达彩印包装有限责任公司 一种双三次图像插值模型的参数优化方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101387267B1 (ko) 2007-08-14 2014-04-18 삼성전자주식회사 영상 확대 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100468786B1 (ko) * 2003-04-02 2005-01-29 삼성전자주식회사 방향성을 예측하고 다항식 필터로 보간을 수행하여스케일링 해상도를 높이는 보간기, 이를 구비한 스케일링장치, 및 그 방법
JP4104495B2 (ja) * 2003-06-18 2008-06-18 シャープ株式会社 データ処理装置、画像処理装置およびカメラ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100949137B1 (ko) * 2008-07-17 2010-03-25 한양대학교 산학협력단 영상 보간 장치와 그 방법 및 그 방법이 기록된 컴퓨터로읽을 수 있는 기록매체
CN111179169A (zh) * 2019-12-18 2020-05-19 兰州恒达彩印包装有限责任公司 一种双三次图像插值模型的参数优化方法
CN111179169B (zh) * 2019-12-18 2023-10-27 兰州恒达彩印包装有限责任公司 一种双三次图像插值模型的参数优化方法

Also Published As

Publication number Publication date
KR100903817B1 (ko) 2009-06-25

Similar Documents

Publication Publication Date Title
JP5243477B2 (ja) ブラー補正装置およびブラー補正方法
JP2007188493A (ja) 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置
JP2010087614A (ja) 画像処理装置、画像処理方法、及び、プログラム
EP3637363B1 (en) Image processing device, image processing method and image processing program
EP2145476B1 (en) Image compression and decompression using the pixon method
JPWO2014083857A1 (ja) 画像処理装置、及び、画像処理方法
Jakhetiya et al. Maximum a posterior and perceptually motivated reconstruction algorithm: A generic framework
Zhang et al. On kernel selection of multivariate local polynomial modelling and its application to image smoothing and reconstruction
US20130004095A1 (en) Image Processing Method and Program
Makwana et al. Single image super-resolution via iterative back projection based Canny edge detection and a Gabor filter prior
Vasanth et al. An adaptive content based closer proximity pixel replacement algorithm for high density salt and pepper noise removal in images
KR100903817B1 (ko) 새로운 거리 가중치를 이용한 적응적 선형 보간 방법,지역적 패턴을 고려한 적응적 선형 보간 방법, 패턴가중치를 이용한 적응적 선형 보간 방법
US8111939B2 (en) Image processing device and image processing method
Sadek et al. A variational model for gradient-based video editing
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5493191B2 (ja) 画像復元装置および画像復元方法
KR101556625B1 (ko) 영상 확대 보간 방법
Chen et al. Blind restoration for nonuniform aerial images using nonlocal Retinex model and shearlet-based higher-order regularization
Chang et al. Super resolution using trilateral filter regression interpolation
CN106611405B (zh) 图像插值方法及装置
Singh et al. A content adaptive method of de-blocking and super-resolution of compressed images
CN103618904A (zh) 基于像素的运动估计方法及装置
KR100311481B1 (ko) 영상 처리 시스템의 정규화 복원방법과 장치
US20100080488A1 (en) Fast directional image interpolator with difference projection
Hung et al. Real-time interpolation using bilateral filter for image zoom or video up-scaling/transcoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee