KR101332030B1 - 영상 확대방법 및 이를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 - Google Patents

Abstract

본 발명은 영상 확대방법에 관한 것으로서, 구체적으로 본 발명에 따른 영상 확대 방법은 다음과 같은 단계를 포함한다. 제1 단계에서는 상기 원본 이미지를 축소하고 다시 재확대하여 레퍼런스 이미지를 생성한다. 제2 단계에서는 상기 레퍼런스 이미지와 상기 원본 이미지의 차이로부터 레퍼런스맵을 생성한다. 제3 단계에서는 상기 원본 이미지와 상기 생성된 레퍼런스맵을 각각 확대한 후 합성한다.
본 발명에 따르면, 에지 특성이 약한 이미지, 즉 고주파 성분이 약한 이미지를 확대하는 경우에도 종래의 이미지 확대 방법에 비하여 에지 품질이 향상되는 효과가 있다.

Description

영상 확대방법 및 이를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체{Method of magnifying image and computer readable medium storing the program thereof}

본 발명은 영상 확대방법에 관한 것으로서, 보다 상세하게는 고해상도의 이미지를 얻을 수 있는 영상 확대방법과 그 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

영상 정보들이 디지털 처리되어 가면서 기존의 아날로그 신호처리에서는 쉽게 제공하지 못하던 응용 및 기능들이 요구되고 있다. 예를 들어 주어진 영상의 해상도를 최대한 확보하면서 해당 영상을 확대하거나 축소하는 기술들이 제안되고 있다. 영상신호의 확대 및 축소는 여러 분야에서 이용되고 있다. 근래에는 멀티미디어 데이터가 스마트폰이나 테블릿 PC와 같은 모바일 기기로 전송되는 일이 빈번하게 발생한다. 이 때에 저장 공간을 줄이고 전송 시간을 단축하기 위하여 이미지는 압축되거나 다운 스케일 된다. 이러한 경우 전송된 이미지를 해당 모바일 기기에서 디스플레이하는 데에는 큰 문제가 발생하기 않는다.

반대로 고해상도를 가진 TV나 모니터 등에 이미지를 전송하여야 하는 경우에는 보간법(interpolation technique)을 이용하여 영상을 확대하게 된다. 그러나 이미지는 이러한 변환 과정에서 필연적으로 손상을 입게 된다. 이러한 이유로 변환과정에서의 손상을 최소화 하면서 고 해상도의 이미지를 확대하는 기술의 필요성이 대두된다.

이미지 확대하는 기술의 예로서 보간법 기반 영상처리기법(interpolation based methods), 재구성 영상처리기법(reconstruction based methods) 및 통계적 영상처리기법(statistical or learning based methods)을 들 수 있다.

종래의 바이리니어(bilinear) 또는 바이큐빅(bicubic) 보간법과 같은 기법들은 처리 속도가 빠르기 때문에 실시간 영상 처리에 적합하다. 그러나 보간법은 저해상도 이미지에 적합하며 고해상도의 이미지의 처리에는 적합하지 않다. 재구성 영상처리기법은 영상신호를 주파수 성분별로 분리하여 각기 다른 신호 처리를 한 다음 다시 각 성분들로부터 원래의 영상을 구성하는 방법이다. 그러나 다운 샘플링된 고해상도의 이미지는 필연적으로 저해상도의 이미지와 같이 변경될 수 밖에 없다. 통계적 영상처리 기법은 고품질의 확대 영상을 얻을 수 있기는 하지만, 언제나 큰 이미지 데이터 베이스가 가능한 것은 아니라는 문제가 있다. 또한 이러한 종래의 기법들은 블러링 효과를 줄이기 어려우며 계산량이 많은 단점이 있다.

한편, 경계 등이 부드럽게 된(blurry) 이미지를 선명하게(sharpen) 하기 위해서 에지를 강조하는 라플라시안 필터링이 종종 이용된다. 그러나 라플라시안 필터링된 이미지들은 에지가 과도하게 강조되기 때문에 자연스럽지 못한 결과를 얻을 수 있다.

본 발명은 공간 도메인 값의 변수의 변동이 주파수 도메인에서의 값에 미치는 영향을 분석하고, 이를 이용하여 확대 이미지의 재구성 품질을 향상시키는 방법과 이를 수행하는 프로그램을 제공한다.

또한 본 발명은 확대된 이미지의 품질을 향상시키기 위하여 고주파 영역에서 신호를 보정할 수 있는 레퍼런스맵을 제공한다.

본 발명에 따른 영상 확대 방법은 다음과 같은 단계를 포함한다. 제1 단계에서는 상기 원본 이미지를 축소하고 다시 재확대하여 레퍼런스 이미지를 생성한다. 제2 단계에서는 상기 레퍼런스 이미지와 상기 원본 이미지의 차이로부터 레퍼런스맵을 생성한다. 제3 단계에서는 상기 원본 이미지와 상기 생성된 레퍼런스맵을 각각 확대한 후 합성한다.

또한 상기 제3 단계에서는 합성 전에 상기 확대된 원본 이미지와 레퍼런스맵 각각을 주파수 영역으로 변환하고, 합성 이후에 상기 합성된 이미지를 역변환할 수 있다.

나아가 상기 주파수 영역으로의 변환은 DCT(이산 코사인 변환)에 의하여 수행되고, 상기 역변환은 IDCT(역이산 코사인 변환)에 의하여 수행될 수 있다.

또한 상기 역변환 이전에 상기 합성된 이미지의 저주파수 영역의 성분을 상기 원본 이미지의 저주파수 영역의 성분으로 대체할 수 있다.

또한 상기 제2 단계는 다음과 같은 단계를 포함할 수 있다. 제2-1단계에서는 상기 원본 이미지와 상기 레퍼런스 이미지를 각각 복수의 블록으로 나누어 각 블록별 계수를 산출한다. 제2-2 단계에서는 상기 원본 이미지와 상기 레퍼런스 이미지의 블록 별 계수의 차(difference)를 산출한다. 제2-3단계에서는 상기 산출된 계수의 차를 인수로 하는 시그넘 함수의 값을 각 블록별로 산출하여 레퍼런스 맵을 생성한다.

한편, 본 발명에 따른 영상 확대기능을 수행하는 소프트웨어를 기록한 컴퓨터로 읽을 수 있는 기록 매체는 사용자로부터 원본 이미지를 입력받는 입력 수단; 상기 입력된 원본 이미지를 순차적으로 축소 후 다시 재확대한 레퍼런스 이미지를 생성하고, 상기 생성된 레퍼런스 이미지와 상기 원본 이미지의 차로부터 레퍼런스 맵을 생성하는 레퍼런스 맵 생성 수단; 및 상기 레퍼런스 맵과 상기 원본 이미지를 각각 확대한 후 합성하는 최종 확대 이미지 생성 수단;를 포함한다.

또한 상기 이미지 생성 수단에 의하여 합성되는 상기 레퍼런스 맵과 상기 원본 이미지를 주파수 영역으로 변환하고, 상기 합성된 이미지를 다시 공간 영역으로 변환하는 영역 변환 수단을 포함할 수 있다.

또한 상기 최종 확대 이미지 생성 수단에 의하여 합성된 이미지의 저주파수 영역의 성분을 상기 원본 이미지의 저주파수 영역의 성분으로 대체하는 저주파수 영역 대체수단을 포함할 수 있다.

본 발명에 따르면, 에지 특성이 약한 이미지, 즉 고주파 성분이 약한 이미지를 확대하는 경우에도 종래의 이미지 확대 방법에 비하여 에지 품질이 향상되는 효과가 있다.

또한 본 발명에 따르면 이미지 확대 시에 에지 특성을 향상시키면서도 이미지의 주 정보를 포함하고 있는 저주파수 영역의 신호를 유지함으로써 이미지의 왜곡을 최소화하는 효과가 있다.

또한 본 발명에 따르면 확대의 대상이 되는 이미지의 영상 크기, 배율에 따른 제한없이 해당 이미지를 최적의 품질을 갖도록 확대할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 확대기능을 수행하는 프로그램의 구성을 나타내는 블록도이다.
도 2는 일 실시예에 따른 영상 확대방법을 나타내는 순서도이다.
도 3은 일 실시예에 따른 영상 확대방법의 구체적인 흐름을 나타내는 블록도이다.
도 4는 일 실시예에 따른 레퍼런스 맵을 생성하는 방법을 나타내는 블록도이다.
도 5a는 Nearest neighbor 보간법에 따라 확대된 결과 이미지이다.
도 5b는 Bilinear 보간법에 따라 확대된 결과 이미지이다.
도 5c는 Bicubic 보간법에 따라 확대된 결과 이미지이다.
도 5d은 일 실시예에 따른 확대방법에 따라 확대된 결과 이미지이다.
도 6a 및 도 6b는 각각 일 실시예에 따라 확대된 컬러 이미지와 Bicubic 보간법에 따라 확대된 컬러 이미지를 비교하기 위한 사진이다.
도 7a 및 도 7b는 각각 도 6a 및 도 6b의 일부를 확대한 이미지이다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다. 특별한 정의나 언급이 없는 경우에 본 설명에 사용하는 방향을 표시하는 용어는 도면에 표시된 상태를 기준으로 한다.

먼저 도 1을 참조하여 일 실시예에 따른 영상 확대 기능을 수행하는 모듈(10) 또는 프로그램에 대하여 설명한다. 도 1은 본 발명의 일 실시예에 따른 영상 확대기능을 수행하는 프로그램의 구성을 나타내는 블록도이다.

입력 수단(11)은 사용자로부터 확대 대상인 원본 이미지와 확대될 배율 등을 입력받는다. 입력될 이미지의 크기나 확대될 배율에는 제한이 없다.

레퍼런스 맵 생성 수단(12)은 레퍼런스 이미지와 레퍼런스 맵을 순차적으로 생성한다. 레퍼런스 이미지는 입력된 원본 이미지를 축소한 후 다시 원본 이미지의 크기로 재확대하여 생성한다. 이어서 생성된 레퍼런스 이미지와 원본 이미지의 계수의 차를 이용하여 레퍼런스 맵을 생성한다.

최종 확대 이미지 생성 수단(13)은 레퍼런스 맵과 상기 원본 이미지를 각각 확대한 후 합성한다. 이 때 최종 확대 이미지 생성 수단에 의하여 합성되는 상기 레퍼런스 맵과 상기 원본 이미지는 영역 변환 수단(14)에 의하여 주파수 영역으로 변환된 상태에서 합성되고, 합성된 이미지는 다시 영역 변환 수단(14)에 의하여 공간 영역으로 변환되어 최종 확대 이미지를 생성한다. 한편, 저주파수 영역 대체수단(15)은 이미지의 주요 정보가 포함되어 있는 저주파수 영역의 성분을 원본 이미지의 저주파수 영역의 성분으로 대체할 수 있다. 각 단계에서의 구체적인 내용들은 이하에서 구체적으로 설명한다.

도 2 내지 도 4를 참조하여 일 실시예에 따른 영상 확대 방법을 설명한다. 도 2는 일 실시예에 따른 영상 확대방법을 나타내는 순서도이고, 도 3은 일 실시예에 따른 영상 확대방법의 구체적인 흐름을 나타내는 블록도이며, 도 4는 일 실시예에 따른 레퍼런스 맵을 생성하는 방법을 나타내는 블록도이다.

먼저 사용자로부터 원본 이미지를 입력 받는다(S10). 다음으로 입력된 원본 이미지로부터 레퍼런스 이미지를 생성한다(S20). 레퍼런스 이미지는 원본 이미지를 축소한 후 다시 원본 이미지의 크기대로 재확대함으로써 생성된다. 예를 들어 영상의 크기를 작게 할 때는 원 영상을 16X16 블록들로 구분한 후 16X16 DCT 처리를 한다. 크기가 16X16인 DCT 계수에서 저주파수 쪽의 계수 8X8만 떼어내서 8X8 IDCT를 취하면 바로 저역 통과되고 다운샘플링된 데이터를 얻을 수 있다. 영상의 크기를 크게 할 때는 8X8 DCT 계수를 16X16 DCT 계수 블록의 8X8 저주파수 계수로 사용하고 그 이외의 부분을 0으로 채운 후 16X16 IDCT를 함으로써 원 영상크기보다 가로 세로 각각 2개씩 큰 영상을 얻는다.

다음으로 레퍼런스 이미지와 원본 이미지의 차이로부터 레퍼런스맵을 생성한다(S30). 구체적으로 설명하면, 레퍼런스 맵을 생성하기 위해서 먼저 도 3에 도시된 바와 같이 원본 이미지와 레퍼런스 이미지를 각각 복수의 블록으로 나누어 각 블록별 DCT 계수를 산출하고, 원본 이미지와 레퍼런스 이미지의 블록 별 DCT 계수의 차(difference)를 산출한다. 이어서 상기 산출된 DCT 계수의 차를 인수로 하는 시그넘 함수의 값을 각 블록별로 산출하여 레퍼런스 맵을 생성한다.

주파수 영역에서의 값은 공간영역에서의 값보다 직관적이지 않다. 따라서 주파수 영역에서의 값을 예측하는 것은 쉽지 않다. 각 블록에서의 DCT계수는 해당 블럭의 전체적인 기울기를 나타낸다. DCT 계수들은 각 블록에서의 에지(edge)의 방향에 의하여 영향을 받기 때문에 불필요하게 DCT 계수를 변경하는 것은 각 영역에서의 불필요한 패턴이나 노이즈를 유발시킬 수 있다. 이러한 이유로 에지의 방향을 고려하여 이미지를 확대하는 방법을 생각해 볼 수 있으나 에지의 방향을 계산하는데 많은 시간이 소요되며, 그 결과도 정확하지 않을 수 있다. DCT 계수를 적당한 값으로 변경한다면 해당 계수들이 DCT 블록의 전체 값들에 영향을 미치기 때문에 보다 자연스러운 결과를 얻을 수 있다. 따라서 어떤 컴포넌트가 얼마나 바뀌어야 하는지를 결정하는 것이 중요하며, 레퍼런스 맵을 통하여 이러한 기능 및 효과를 얻을 수 있다. 이미지를 확대할 경우 보간법을 이용하면 원본 이미지와 확대된 이미지 사이에는 차이가 존재한다. 이러한 차이는 실수임에도 불구하고 생성된 픽셀의 값들은 정수로 표현되기 때문에 확대된 이미지는 원본에 비하여 왜곡이 일어나게 된다. 따라서 확대된 영상의 품질을 향상시키기 위해서는 원본 이미지와 레퍼런스 이미지와의 차이를 평가하여야 한다. 공간 영역에서의 차이가 주파수 영역에서의 DCT 계수에 얼마나 영향을 미치는지가 중요하다. 이하에서는 이러한 차이를 나타내는 계수들을 레퍼런스 맵이라고 한다. 레퍼런스 맵에 이산 코사인 변환(DCT)을 적용하면 픽셀값의 변동이 DCT 계수에 미치는 영향을 예측할 수 있다. 각각의 블록에서의 DC 컴포넌트 블록의 평균값을 의미한다. 블록의 평균값은 0에 가깝다. 결과적으로 AC 계수를 변화시키더라도 전체 이미지의 값에는 영향이 없으나, 이미지의 디테일을 강조할 수 있다.

한편, 레퍼런스 맵은 다음의 식 1과 같이 원본 이미지와 레퍼런스 이미지의 블록 별 DCT 계수 차에 시그넘(signum) 함수를 적용함으로써 얻을 수 있다. x가 실수인 경우에 시그넘 함수는 다음의 식 (2)와 같이 표현된다.

[식 1]

[식 2]

다음으로 원본 이미지와 레퍼런스맵을 각각 확대(S40)한다. 이 때 원본 이미지와 레퍼런스 맵은 최종적으로 확대하기를 원하는 배율에 따라 확대된다. 이 때 종래의 일반적인 보간법(conventional interpolation method)을 이용할 수 있다. 이어서 확대된 원본 이미지와 레퍼런스 맵을 주파수 영역으로 변환한다(S50). 이 때에도 마찬가지로 DCT 변환을 적용할 수 있다. 레퍼런스 맵의 DCT 계수들은 이미지가 확대되면서 손실된 정보를 포함하고 있다. 여기서 손실된 정보는 이미지의 에지에서의 손실된 정보, 즉 주파수 영역에서는 고주파 컴포넌트를 의미한다. 이에 비하여 종래의 샤프닝(sharpening) 기법들은 에지 컴포넌트를 강화한다. 그러나 이미지의 에지를 강화하여 보다 선명하게 보이도록 에지를 강화하기는 하지만 이미지의 디테일과 손실된 정보를 재구성할 수는 없다. 다음으로 주파수 영역으로 변환된 원본 이미지와 레퍼런스 맵을 합성한다(S60). 마지막으로 합성 이후에 합성된 이미지를 공간 영역으로 역변환할 수 있다. 이 때 역변환은 IDCT(역이산 코사인 변환)에 의하여 수행될 수 있다. 한편, 역이산 코사인 변환을 수행하기 전에 확대된 이미지의 저주파 영역을 원본의 DC 성분과 AC 성분 중 일부로 대체할 수 있다. 공간 영역에서 이미지가 확대되는 경우 이미지의 생성된 픽셀값들은 실재 원본 이미지의 픽셀들 사이에서 보간된다. 이때 고주파 영역에서는 생성된 DCT 계수들에 의하여 손실된 정보를 예측하여 확대된 이미지에 이를 반영한다. 반면 저주파 계수들은 이미지의 가장 중요한 정보를 갖고 있다. 따라서 저주파 영역을 원본의 DC 성분과 AC 성분 중 일부로 대체하는 것에 의하여 확대된 이미지의 윤곽 정보를 보호하고 인위적이거나 잘못된 패턴이 발생하는 것을 방지할 수 있다.

도 5a 내지 도 7b를 참조하여 일 실시예에 따른 영상 확대방법에 따라 확대된 결과 이미지와 종래의 방법에 따라 확대된 결과 이미지를 비교 설명한다.

먼저 도 5a 내지 도 5d를 참조하여 흑백 이미지에 대한 테스트 결과를 설명한다. 테스트에 사용된 이미지는 256 X 256 픽셀의 해상도를 갖는다. 도 5a는 Nearest neighbor 보간법에 따라 확대된 결과 이미지이고, 도 5b는 Bilinear 보간법에 따라 확대된 결과 이미지이다. 또한 도 5c는 Bicubic 보간법에 따라 확대된 결과 이미지이고, 도 5d은 일 실시예에 따른 확대방법에 따라 확대된 결과 이미지이다.

Nearest neighbor 보간법과 Bilinear 보간법의 경우에는 에지 주위에서 블러(blur) 현상이 발생하여 고주파수 성분이 약화된 것을 알 수 있다. 한편, Bicubic 보간법의 경우에는 에지 부근이 도 5a 및 도 5b의 경우에 비하여 강조되었으나, 도 5d의 본 실시예에 따른 확대 이미지에 비하여 블러 현상이 있으며, 마찬가지로 고주파수 영역의 정보가 약화된 것을 알 수 있다.

다음으로 도 6a 내지 도 7b를 참조하여 컬러 이미지에 대한 테스트 결과를 설명한다. 도 6a 및 도 6b는 각각 일 실시예에 따라 확대된 컬러 이미지와 Bicubic 보간법에 따라 확대된 컬러 이미지를 비교하기 위한 사진이고, 도 7a 및 도 7b는 각각 도 6a 및 도 6b의 일부를 확대한 이미지이다.

RGB 칼라 영역에서의 테스트를 진행하였다. 각 RGB 채널에서 본 실시예에 따른 방법에 의하여 확대된 이미지는 Bicubic 보간법에 의하여 확대된 이미지에 비하여 에지 부근에서의 성분 즉 고주파수 성분이 유지되고 있음을 알 수 있다. 이는 도 7a와 도 7b의 확대된 이미지를 보면 더욱 확연히 확인할 수 있다. 즉, 본 실시예에 따른 확대 컬러 이미지가 Bicubic 보간법에 의하여 확대된 컬리 이미지에 비하여 디테일한 면에서 우월한 품질을 나타내고 있다. 따라서 본 실시예에 따른 이미지 확대 방법이 컬러 이미지에서 효과가 있음을 알 수 있다.

이상 본 발명의 바람직한 실시예에 대하여 설명하였으나, 본 발명의 기술적 사상이 상술한 바람직한 실시예에 한정되는 것은 아니며, 특허청구범위에 구체화된 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 영상 확대방법 및 이를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

10: 영상확대 모듈 12: 레퍼런스 맵 생성수단
13: 최종 확대 이미지 생성수단
14: 영역 변환수단 15: 저주파수 영역 대체수단

Claims (8)

1. 원본 이미지를 축소하고 다시 재확대하여 레퍼런스 이미지를 생성하는 제1 단계;
   상기 레퍼런스 이미지와 상기 원본 이미지의 차이로부터 레퍼런스맵을 생성하는 제2 단계; 및
   상기 원본 이미지와 상기 생성된 레퍼런스맵을 각각 확대한 후 합성하는 제3 단계;를 포함하는 영상 확대방법.
2. 제1항에 있어서,
   상기 제3 단계에서는 합성 전에 상기 확대된 원본 이미지와 레퍼런스맵 각각을 주파수 영역으로 변환하고, 합성 이후에 상기 합성된 이미지를 역변환하는 영상 확대방법.
3. 제2항에 있어서,
   상기 주파수 영역으로의 변환은 DCT(이산 코사인 변환)에 의하여 수행되고, 상기 역변환은 IDCT(역이산 코사인 변환)에 의하여 수행되는 영상 확대방법.
4. 제2항에 있어서,
   상기 역변환 이전에 상기 합성된 이미지의 저주파수 영역의 성분을 상기 원본 이미지의 저주파수 영역의 성분으로 대체하는 영상 확대방법.
5. 제1항에 있어서,
   상기 제2 단계는,
   상기 원본 이미지와 상기 레퍼런스 이미지를 각각 복수의 블록으로 나누어 각 블록별 계수를 산출하는 제2-1 단계;
   상기 원본 이미지와 상기 레퍼런스 이미지의 블록 별 계수의 차(difference)를 산출하는 제2-2 단계; 및
   상기 산출된 계수의 차를 인수로 하는 시그넘 함수의 값을 각 블록별로 산출하여 레퍼런스 맵을 생성하는 제2-3단계;를 포함하는 영상 확대방법.
6. 사용자로부터 원본 이미지를 입력받는 입력 단계;
   상기 입력된 원본 이미지를 순차적으로 축소 후 다시 재확대한 레퍼런스 이미지를 생성하고, 상기 생성된 레퍼런스 이미지와 상기 원본 이미지의 차로부터 레퍼런스 맵을 생성하는 레퍼런스 맵 생성 단계; 및
   상기 레퍼런스 맵과 상기 원본 이미지를 각각 확대한 후 합성하는 최종 확대 이미지 생성 단계를 포함하는 영상 확대기능을 실행하기 위한 소프트웨어를 기록한 컴퓨터로 읽을 수 있는 기록 매체.
7. 제6항에 있어서,
   상기 최종 확대 이미지 생성 단계에 의하여 합성되는 상기 레퍼런스 맵과 상기 원본 이미지를 주파수 영역으로 변환하고, 상기 주파수 영역으로 변환된 이미지를 다시 공간 영역으로 변환하는 영역 변환 단계를 더 포함하는 영상 확대기능을 실행하기 위한 소프트웨어를 기록한 컴퓨터로 읽을 수 있는 기록 매체.
8. 제6항에 있어서,
   상기 최종 확대 이미지 생성 단계에 의하여 합성된 이미지의 저주파수 영역의 성분을 상기 원본 이미지의 저주파수 영역의 성분으로 대체하는 저주파수 영역 대체 단계를 더 포함하는 영상 확대기능을 실행하기 위한 소프트웨어를 기록한 컴퓨터로 읽을 수 있는 기록 매체.
   
   

Images