KR100809686B1

KR100809686B1 - 이산 여현 변환을 이용한 영상 리사이징 방법 및 장치

Info

Publication number: KR100809686B1
Application number: KR1020060017881A
Authority: KR
Inventors: 조남익; 박찬율
Original assignee: 삼성전자주식회사; 재단법인서울대학교산학협력재단
Priority date: 2006-02-23
Filing date: 2006-02-23
Publication date: 2008-03-06
Also published as: US7876976B2; CN101039431A; KR20070087455A; US20070237414A1

Abstract

이산 여현 변환(DCT, Discrete Cosine Transform)을 이용하여 입력 영상을 임의의 리사이징 비율로 용이하게 업스케일링 및 다운스케일링하기 위한 방법 및 장치가 개시된다. 본 발명에 따른 리사이징 방법은 입력 영상의 DCT(Discrete Cosine Transform) 계수를 수신하는 단계, 리사이징 비율에 근사한 비율로 입력 영상을 변환하기 위한 변환 행렬(transformation matrix)을 결정하는 변환 행렬 결정 단계, 변환 행렬을 이용하여 입력 영상을 DCT 영역에서 근사 리사이징(coarse resizing)하는 근사 리사이징 단계, 근사 리사이징된 영역에 IDCT(Inverse Discrete Cosine Transform)를 수행하여 공간 영상을 획득하는 IDCT 단계, 및 공간 영역에서 공간 영상에 정밀 리사이징(fine resizing)을 수행하여 출력 영상을 형성하는 정밀 리사이징 단계를 포함한다. 본 발명에 의하면, 입력 영상을 임의의 리사이징 비율로 용이하게 리사이징할 수 있을 뿐만 아니라, 입력 영상의 가로 및 세로를 서로 상이한 리사이징 비율로 리사이징할 수도 있다.

Description

이산 여현 변환을 이용한 영상 리사이징 방법 및 장치{Method and apparatus for resizing images using discrete cosine transform}

도 1은 종래 기술에 의한 영상 인코딩 및 디코딩 과정을 나타내는 블록도이다.

도 2는 종래 기술에 의한, 공간 도메인에서 영상을 리사이징하기 위한 기법을 설명하는 블록도이다.

도 3은 종래 기술에 의한, DCT 도메인에서 영상을 리사이징하기 위한 기법을 설명하는 블록도이다.

도 4는 본 발명의 일 측면에 의한 영상 리사이징 방법을 나타내는 흐름도이다.

도 5는 도 4에 도시된 영상 리사이징 방법을 상세하게 도시하는 흐름도이다.

도 6은 변환 행렬의 연산 과정을 설명하기 위한 도면이다.

도 7a 본 발명의 일 측면에 의한 영상 리사이징 방법에 따라 다운스케일링 과정이 수행되는 매크로블록을 설명하기 위한 도면이다.

도 7b는 본 발명의 일 측면에 의한 영상 리사이징 방법에 따라 업스케일링 과정이 수행되는 매크로블록을 설명하기 위한 도면이다.

도 8은 본 발명의 다른 측면에 의한 영상 리사이징 장치를 나타내는 블록도 이다.

본 발명은 이산 여현 변환(DCT, Discrete Cosine Transform)을 이용하여 입력 영상을 리사이징하기 위한 방법 및 장치에 관한 것으로서, 특히, 입력 영상을 임의의 리사이징 비율로 용이하게 업스케일링 및 다운스케일링하기 위한 방법 및 장치에 관한 것이다.

멀티미디어 기술의 발달에 힘입어, 영상 정보를 압축하기 위한 다양한 방법이 소개되어 왔다. 영상 압축 기술은 다양한 기술 분야에 사용된다. 예를 들어, 위성 방송(satellite broadcasting)의 경우, 영상 압축을 이용하여 많은 정보를 한정된 채널을 통하여 전송할 수 있다. 위성 방송의 한 채널에 상응하는 전송 대역은 현재 27MHz이며, 이 영역을 이용하여 디지털 방송을 할 경우 30-50Mbps의 디지털 정보를 전송할 수 있다. 하지만, 위성 방송에 영상 압축 기술을 적용하면, 한 채널당 5Mbps의 비트율(bit rate)로 영상을 전송할 수 있으므로, 한 채널의 전송 대역으로 6개 내지 10개의 프로그램을 동시에 전송할 수 있다. 또한, 영상 압축 기술을 이용함으로써 기록에 필요한 메모리 등 부수 장치들의 크기를 줄일 수 있으며, 저렴한 비용으로 고품질의 영상 정보를 저장할 수 있다.

영상을 압축하는 방법은 매우 다양한데, 영상 압축 방법에는 한 화면의 공간적 상관 관계를 이용하는 방법, 연속하는 화면 간의 시간적 상관 관계를 이용하는 방법, 그리고 부호의 발생확률이 서로 다름을 이용하는 방법이 대표적이다. 이러한 방법 중 공간적 상관 관계를 이용하는 방법이 도 1에 도시된다.

원 영상은 송신부(110)에서 인코딩되어 송신된다. 우선, 입력된 원 영상은 DCT부(120)에서 변환된다. DCT는 직교 변환방식중 하나로서, 현재 JPEG 과 MPEG을 비롯하여 다양한 국제 표준 규격에 채택되고 있다. DCT를 이용하여 영상을 인코딩하는 이유는, 입력 영상에 DCT를 수행하면 영상의 정보가 저주파 영역으로 집중되어 엔트로피(Entropy)가 감소하기 때문이다. 영상 정보의 주된 부분(domination portion)이 저주파 영역으로 집중되기 때문에, 고주파 영역을 제거하더라도 영상 정보의 손실이 적다. 그러므로, DCT를 이용하면 용이하게 영상 정보를 압축할 수 있다.

DCT 변환된 영상 정보는 양자화부(130)에서 양자화된다. 양자화라는 동작은 직교 변환된 각 주파수 성분 값을 일정한 양자화 스텝 사이즈(quantization step size)로 나눔으로써 감소시키는 것이다. 양자화 스텝 사이즈를 증가시킬수록 거의 모든 항들이 0에 가까워지므로 압축률을 높일 수 있지만, 오차가 증가하는 단점을 가진다. 반대로 양자화 스텝 사이즈가 너무 작으면 압축률이 저하된다.

양자화된 영상 정보는 엔트로피 인코더(140)를 통하여 인코딩된다. 이러한 부호화는 부호의 발생 확률에 따라서 발생 확률이 높은 값에 길이가 짧은 부호를 할당하고, 발생 확률이 낮은 값에는 길이가 긴 부호를 할당함으로써 평균 부호 길 이를 감소시키는 것이다.

인코딩된 신호는 소정의 통신 채널(150)을 통하여 수신부(190)로 송신된다. 그러면, 엔트로피 디코더(160)가 엔트로피 부호화된 신호를 복호화하고, 복호화된 신호는 역양자화부(170)에서 역양자화된다.

그런데, 영상 정보를 디스플레이하는 매체가 매우 다양하므로 영상 정보를 표시하기 위한 디스플레이의 크기에 따라서 영상 정보의 크기를 리사이징할 필요성이 있다. 예를 들어, 7인치 규격에 적합하도록 송신된 DMB 방송(Digital Multimedia Broadcasting)을 3.5인치 규격의 PMP(Personal Multimedia Player)에서 재생할 경우, 수신된 영상 정보의 크기를 다운스케일링하여야 한다.

도 2에 도시된 방법에 따르면, 수신된 영상은 우선 공간 도메인(spatial domain) 신호로 디코딩된다. 공간 도메인 신호는 공간 보간기(250)를 통하여 크기가 변경된다. 공간 도메인에서의 크기 변환 과정에서는 겹선형 보간(bilinear interpolation) 및 겹삼차 보간(bicubic interpolation)) 등이 사용된다.

공간 도메인에서 영상을 리사이징하는 동작은 보간을 수행하기가 용이하다는 장점을 가지나, DCT를 수행하는 과정에서 요구되는 많은 연산량을 줄이기 위한 방안으로 DCT 도메인에서 수신된 신호를 DCT 도메인에서 직접 리사이징하기 위한 방법이 제안된다.

도 3은 종래 기술에 의한, DCT 도메인에서 영상을 리사이징하기 위한 기법을 설명하는 블록도이다. 도 3에 도시된 방법은, 8x8 입력 영상을 4x4 출력 영상으로 변환하는 과정을 예시한다.

도 3에 도시된 방법에 따르면, 8x8의 DCT 신호는 공간 도메인 신호로 변환되지 않은 채 4x4 DCT 보간기(310)에 의하여 DCT 도메인에서 직접 리사이징된다. 리사이징 과정에서는 입력 DCT 계수 중 저주파 계수들만을 남겨두고 고주파 계수들을 제거하는 방법이 흔히 사용된다. 리사이징된 영상 정보는 4x4 IDCT부(350)에서 공간 도메인 신호로 변환된다.

이와 같이 영상 정보를 DCT 도메인에서 직접 리사이징함으로써, 영상 리사이징 과정에 소요되는 계산량이 감소된다는 장점을 가진다. 또한, 공간 도메인에서 리사이징을 수행하는 경우에 비하여 첨두 신호대 잡음비(PSNR, peak signal to noise ratio)가 향상된다는 장점을 가진다.

하지만, 종래의 DCT 도메인에서 영상을 리사이징하는 방법은 한정된 리사이징 비율에서만 제대로 동작할 수 있다. 예를 들어, 8x8 입력 영상을 4x4 출력 영상으로 변환하거나, 2x2 출력 영상으로 변환하는 과정에서만 사용될 수 있다. 그 이유는, DCT 도메인에서 임의의 비율로 영상을 리사이징하기 위해서는 매우 복잡합 구조의 시스템이 요구되는데다, 고속화 알고리즘을 적용하기 어렵기 때문이다.

뿐만 아니라, 종래 기술에 의하면 입력 영상의 가로 비율 및 세로 비율이 동일한 경우에만 리사이징 동작을 수행할 수 있다.

따라서, 입력 영상을 임의의 리사이징 비율을 이용하여 리사이징하기 위한 방법이 절실히 요구된다.

본 발명의 목적은 입력된 영상 정보에 대해 근사 리사이징(coarse resizing)을 수행한 이후에 정밀 리사이징(fine resizing)을 수행함으로써, 입력 영상을 용이하게 리사이징하기 위한 방법 및 장치를 제공하는 것이다.

본 발명의 다른 목적은 입력된 영상 정보를 DCT 도메인 및 공간 도메인에서 개별적으로 리사이징함으로써, 임의의 리사이징 비율로 입력 영상을 리사이징하기 위한 방법 및 장치를 제공하는 것이다.

본 발명의 또다른 목적은 입력된 영상 정보를 서로 상이한 가로 비율 및 세로 비율로 리사이징하기 위한 방법 및 장치를 제공하는 것이다.

상기와 같은 목적들을 달성하기 위한 본 발명의 일면은, 입력 영상을 소정의 리사이징 비율(resizing ratio)로 리사이징하기 위한 방법에 관한 것으로서, 입력 영상의 DCT(Discrete Cosine Transform) 계수를 수신하는 단계; 리사이징 비율에 근사한 비율로 입력 영상을 변환하기 위한 변환 행렬(transformation matrix)을 결정하는 변환 행렬 결정 단계; 변환 행렬을 이용하여 입력 영상을 DCT 영역에서 근사 리사이징(coarse resizing)하는 근사 리사이징 단계; 근사 리사이징된 영역에 IDCT(Inverse Discrete Cosine Transform)를 수행하여 공간 영상을 획득하는 IDCT 단계; 및 공간 영역에서 공간 영상에 정밀 리사이징(fine resizing)을 수행하여 출력 영상을 형성하는 정밀 리사이징 단계를 포함한다. 특히, 변환 행렬 결정 단계는, Y:y=N:N'를 만족하는 N' 및 X:x=M:M'를 만족하는 M'를 연산하는 단계; N' 및 M'에 근사한 자연수 N'' 및 M''를 선택하는 단계; 및 N''xN'' 변환 행렬 및 M''xM'' 변환 행렬을 결정하는 단계를 포함한다. 여기서, Y 및 X 는 각각 입력 영상의 세로 및 가로 방향 화소수이며, y 및 x는 각각 출력 영상의 세로 및 가로 방향 화소수이고, N, M, N'', 및 M''는 각각 이용가능한 소정 DCT(Discrete Cosine Transform) 필터의 세로 및 가로 크기를 나타낸다. 그리고 N' 및M'는 각각의 비례식을 만족시키는 임의의 정수 및 실수값을 의미한다.

뿐만 아니라, 근사 리사이징 단계는, N''xN'' 변환 행렬 및 M''xM'' 변환 행렬을 이용하여 입력 영상으로부터 N''xM'' 변환 행렬을 연산하는 단계를 포함하고, 정밀 리사이징 단계는, N''xM'' 변환 행렬에 겹선형(bilinear) 및 겹삼차(bicubic) 필터링 중 하나를 수행하여 출력 영상을 획득하는 단계를 포함하는 것을 특징으로 한다. 또한, 본 발명의 일면에 따른 리사이징 방법에서, N'' 및 M''는 주어진 시스템에서 이용할 수 있는 IDCT 필터들 중 한 필터의 크기를 의미하며, N' 및 M'보다 크면서 최대한 작은 자연수로서 선택되는 것을 특징으로 한다.

상기와 같은 목적들을 달성하기 위한 본 발명의 다른 면은, 입력 영상을 소정의 리사이징 비율(resizing ratio)로 리사이징하기 위한 장치에 관한 것이다. 본 발명에 따른 리사이징 장치는, 입력 영상의 DCT(Discrete Cosine Transform) 계수를 수신하는 수신부; 리사이징 비율에 근사한 비율로 입력 영상을 변환하기 위한 변환 행렬(transformation matrix)을 결정하는 변환 행렬 결정부; 변환 행렬을 이용하여 입력 영상을 DCT 영역에서 근사 리사이징(coarse resizing)하는 근사 리사이징부; 근사 리사이징된 영역에 IDCT(Inverse Discrete Cosine Transform)를 수행 하여 공간 영상을 획득하는 IDCT부; 및 공간 영역에서 공간 영상에 정밀 리사이징(fine resizing)을 수행하여 출력 영상을 형성하는 정밀 리사이징부를 포함하는 것을 특징으로 한다. 특히, 본 발명에 따른 근사 리사이징부는, N''xN'' 변환 행렬 및 M''xM'' 변환 행렬을 이용하여 입력 영상에 데시메이션을 수행하여 입력 영상을 다운스케일링하거나, N''xN'' 변환 행렬 및 M''xM'' 변환 행렬을 이용하여 입력 영상에 보간을 수행하여 입력 영상을 업스케일링하는 것을 특징으로 한다. 뿐만 아니라, N'' 및 M''는 N' 및 M'보다 큰 가장 작은 자연수로서 선택되는 것을 특징으로 한다.

본 발명에 의하여 입력 영상을 임의의 리사이징 비율로 용이하게 리사이징할 수 있을 뿐만 아니라, 입력 영상의 가로 및 세로를 서로 상이한 리사이징 비율로 리사이징할 수도 있다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 각 도면에 대하여, 동일한 참조부호는 동일한 부재임을 나타낸다.

우선, 입력 영상이 수신된다. 입력 영상은 인코딩되어 DCT 계수들의 행렬 형태로 수신된다(S410). 그러면, 입력 영상을 임의의 리사이징 비율에 따라서 변환하기 위한 변환 행렬이 결정된다(S420). 변환 행렬은 입력 영상을 DCT 도메인에서 직접 리사이징하기 위하여 이용되는 행렬이며, 변환 행렬이 선택되는 과정은 도 5를 이용하여 상세하게 후술된다.

S420 단계에서 결정되는 변환 행렬은 리사이징 비율에 상응하여 입력 영상을 직접 변환하기 위하여 사용되는 것이 아니다. 오히려, 변환 행렬은 주어진 리사이징 비율에 근사한 비율로 입력 영상을 변환하는데 사용된다. 그러면, 결정된 변환 행렬을 이용하여 DCT 영역에서 직접 근사 리사이징 동작을 수행한다(S430). 본 발명에서 근사 리사이징이란 거친 리사이징, 또는 대략적 리사이징이라고도 불릴 수 있으며, 주어진 리사이징 비율에 근접하도록 입력 영상을 리사이징하는 동작을 의미한다.

예를 들어, 입력 영상을 3:1의 리사이징 비율로 리사이징하는 경우에 대해서 설명한다.

입력 영상을 리사이징하기 위하여 우선 근사 리사이징을 수행하기 위한 변환 행렬을 선택하여야 한다. 3:1에 해당하는 리사이징 비율을 모듈화된 8x8 DCT 필터를 이용하여 구현하기 위하여, 3:1=8:x 에 해당하는 x를 연산한다. 그러면, 3:1=8:2.67 이라는 관계를 얻을 수 있다. 본 발명에 따른 영상 리사이징 방법에서는 2.67에 근사한 정수로서 3을 선택한다. 따라서, 3x3 변환 행렬을 얻을 수 있다(S420). 여기에서 3은 3x3 IDCT가 지원된다는 가정하에 선택된 것이고 만약 3x3 IDCT가 지원되지 않고 4x4 IDCT가 지원된다면 4가 선택되어야 한다.

그러면, 3x3 변환 행렬을 이용하여 입력 영상의 8x8 DCT 계수 행렬를 3x3 행렬로 근사 리사이징 동작을 수행한다(S430).

그러면, 근사적으로 리사이징된 영상 정보에 IDCT를 수행하여 공간 도메인으로 변환한다(S440). 이러한 변환 단계에서는 종래 기술에 의한 IDCT 기법이 모두 사용될 수 있다. 영상 정보가 공간 도메인으로 변환되면, 공간 도메인 영역에서 정밀 리사이징을 수행한다(S450). 정밀 리사이징이란 근사 리사이징된 영상 정보를 원하는 비율로 다시 리사이징하는 과정을 나타낸다. 제시된 예시에 따르면, 8:2.67 에 해당하는 리사이징 비율이 원하는 리사이징 비율이고, 근사 리사이징에 이용된 리사이징 비율은 8:3이므로, 3:2.67 에 대항하는 리사이징 비율로 정밀 리사이징을 수행한다.

정밀 리사이징 단계(S450)는 공간 도메인에서 수행되며, 일반적인 겹선형 또는 겹삼차 보간법을 이용하여 수행될 수 있다. 특히, 겹선형 또는 겹삼차 보간 방법은 리사이징 비율이 1:1 에 가까울수록 향상된 성능을 보이므로 본 발명과 같이 근사 리사이징을 수행한 이후에 수행하기에 더욱 적합하다.

도 4에 도시된 방법에 따라서, 근사 리사이징 동작은 DCT 도메인에서 수행하고, 정밀 리사이징 동작을 공간 도메인에서 수행하므로 리사이징 과정의 복잡도가 개선될 뿐만 아니라, 임의의 리사이징 비율로 입력 영상을 리사이징할 수 있다.

도 4에서, 변환 행렬은 8x8 DCT 필터를 이용할 수 있는 정방 행렬인 것으로 예시된다. 하지만, 이는 본 발명을 한정하는 것이 아니다. 2차원 DCT 기법은 1차원 DCT 기법을 두 번 수행하는 것에 불과하므로, 입력 영상의 가로 비율 및 세로 비율을 서로 상이하게 설정하여 리사이징하는 것도 물론 가능하다. 가로 비율 및 세로 비율이 서로 상이하도록 입력 영상을 리사이징하는 방법은 도 5를 이용하여 상세히 후술된다.

도 5는 YxX 의 크기를 가지는 입력 영상을 y*x 의 크기로 줄이는 일반적인 경우에 대하여 설명한다. 본 명세서에서 AxB 라는 것은 행렬의 차원을 나타내며, A는 행렬의 세로 길이를, B는 행렬의 가로 길이를 각각 나타내는 것으로 약속된다.

입력 영상이 서로 상이한 가로 비율 및 세로 비율을 이용하여 리사이징될 경우, 가로 방향 및 세로 방향 중 임의의 한 방향으로 입력 영상을 우선 리사이징한다. 도 5에서 입력 영상의 세로 방향으로 먼저 리사이징을 수행하는 것이 예시되나, 이는 본 발명을 한정하는 것이 아니다.

우선, YxX 입력 영상의 DCT 계수가 독출된다(S510). 전술된 바와 같이, 입력 영상의 DCT 계수에 대해서는, DCT 도메인에서 우선 근사 리사이징 동작이 수행된다.

그러면, 세로 방향에 대해 원하는 리사이징 비율을 구한다(S520). 세로 방향의 리사이징 비율은 Y:y 이므로, Y;y=N:N'를 만족하는 N'를 연산한다. 여기서, N은 이용가능한 DCT 계수행렬(Coefficient Matrix)의 세로 방향 크기를 나타내며, 일반적으로 8x8 DCT 필터가 이용되므로 N=8의 관계가 성립한다.

그러면, 연산된 N' 값에 가장 근사한 자연수인 N'' 값이 설정된다. 예를 들어, 1080x1920의 크기를 가지는 HDTV(High Definition Television) 영상을 360x320 으로 리사이징하는 과정에 대해서 설명하면, 1080:360=8:2.67의 비율이 성립되므로, N'=2.67이 성립된다. 그러면, 가장 근사한 자연수로서 N''=3이 선택된다(S530). 본 발명에 따른 영상 정보 리사이징 방법에서, N''는 N' 보다 큰 자연수 중 가장 작은 값으로 선택되는 것이 바람직하다. 만일, N''이 N'보다 작은 자연수로서 선택된다면, 정밀 리사이징 단계에서 영상을 다운스케일링하는 것이 아니라 업스케일링하여야 하기 때문에 화질의 열화가 발생된다.

그러면, 가로 비율에 대해 원하는 리사이징 비율을 구한다(S540). 가로 방향의 리사이징 비율은 X:x 이므로, X;x=M:M'를 만족하는 M'를 연산한다. 여기서, M은 이용가능한 DCT 계수행렬의 가로 방향 크기를 나타내며, 일반적으로 8x8 DCT 필터가 이용되므로 M=8의 관계가 성립한다.

그러면, 연산된 M' 값에 가장 근사한 자연수인 M'' 값이 설정된다. 1080x1920의 크기를 가지는 HDTV 영상의 360x320 으로 리사이징하는 주어진 예시에 대해서 설명하면, 1920:320=8:1.33의 과정이 성립되므로, M'=1.33이 성립된다. 그러면, 가장 근사한 자연수로서 M''=2가 선택된다(S550). 여기서 N'' 및 M'' 는 시스템에서 지원하는 DCT 필터의 크기를 의미한다.

그러면, 얻어진 N'' 및 M''를 이용하여 N''xN'' 및 M''xM'' 변환 행렬을 결정한다. 결정된 변환 행렬을 이용하면 NxM 입력 영상으로부터 N''xM'' 출력 영상을 획득할 수 있다(S560). 본 명세서에서 변환 행렬은 입력 영상의 DCT 계수 행렬로부터, 저주파 부분의 소정 개수의 계수들만을 선택하는 동작을 수행한다. 이러한 동작은 실제로는 메모리에 저장된 값을 이용하므로 별도의 프로세스가 없이 수 행될 수도 있다. 그러므로, 변환 행렬을 선택한다는 것은 입력 영상의 DCT 계수 행렬로부터 떼어내야할 계수 행렬의 크기를 결정함으로써 수행될 수도 있다. 또한, 변환 행렬을 적용하는 동작은 입력 영상의 DCT 계수 행렬로부터 변환 행렬의 크기에 상응하는 계수 행렬를 추출함으로써 수행될 수 있다. Z

N''xN'' 및 M''xM'' 변환 행렬들을 이용하여 N''xM'' 출력 영상을 획득하는 연산 과정은 도 6에서 도식적으로 설명된다.

도 6은 변환 행렬의 연산 과정을 설명하기 위한 도면이다.

도 6에서 N''xN'' 변환 행렬(610)을 우선 적용하여 세로 방향으로 입력 영상(650)을 리사이징하고, 그 이후 M''xM'' 변환 행렬(620)을 적용하여 가로 방향으로 입력 영상(650)을 리사이징한다. 이와 같은 리사이징 과정을 거침으로써 N''xM'' 출력 영상(690)이 획득된다. 리사이징 순서는 상호 교환될 수 있음은 전술된 바와 같다.

행렬 연산을 도식적으로 도시하기 위하여, 입력 영상(650) 중 행렬 연산되는 영역 만이 도시되었다. 즉, 도 6에 도시된 입력 영상(650)은 전체 YxX 의 크기를 가지는 입력 영상 중 일부를 나타낸다. 따라서, N''xN'' 변환 행렬(610) 및 M''xM'' 변환 행렬(620)의 적용 순서가 바뀌더라도 행렬 연산이 용이하게 수행될 수 있다.

다시 도 5를 참조하면, 행렬 연산 단계(S560)가 수행되면 얻어진 출력 영상에 IDCT가 수행된다(S570). IDCT를 수행함으로써, N''xM'' 출력 영상에 대한 공간 도메인 표현(spatial domain representations)을 얻을 수 있다. 공간 도메인 표현 은 출력 영상의 화소값 등을 나타낼 수 있다.

그러면, N''xM'' 출력 영상에 정밀 리사이징을 수행한다(S580).

제안된 예시에 따르면, 원하는 가로 비율은 1080:360=8:2.67 이고, 근사 리사이징을 통하여 8:3에 해당하는 리사이징이 수행되었다. 그러므로, 정밀 리사이징 과정에서는 3:2.67에 해당하는 리사이징 비율을 이용하여 수행된다.

또한, 제안된 예시에서 세로 비율은 1920:320=8:1.33이고, 근사 리사이징을 통하여 8:2에 해당하는 리사이징이 수행되었다. 그러므로, 정밀 리사이징 과정은 2:1.33에 해당하는 리사이징 비율을 이용하여 수행된다. 비록, 정밀 리사이징이 수행되는 비율은 3:2.67 및 2:1.33 과 같은 비율로 제시되었으나, 이러한 비율은 자연수비로 용이하게 변환된다. 그러므로, 정밀 리사이징 단계는 변화된 자연수비를 이용하여 수행되는 것이 바람직하다.

본 명세서에서 근사 리사이징 및 정밀 리사이징 동작은 입력 영상을 다운스케일링하는 동작은 물론 업스케일링하는 동작을 나타낼 수도 있다. 다운스케일링 동작에서, 리사이징 동작은 입력 영상의 DCT 계수들 중 일부를 선택적으로 취하는 데시메이션 동작을 나타낼 수 있다. 반면에, 업스케일링 동작에서, 리사이징 동작은 입력 영상의 DCT 계수들에 제로(zero)를 패딩하여 원하는 비율의 출력 영상을 생성하는 보간 동작을 나타낼 수 있다. 그러므로, 본 발명에서 리사이징 동작이란 용어는 업스케일링 및 다운스케일링 동작을 모두 포함하는 개념이며, 각각의 경우에 따라 보간 및 데시메이션을 선택적으로 수행한다.

도 7a에 도시된 바와 같이, YxX의 크기를 가진 입력 영상 중 NxM의 크기를 가지는 매크로블록이 선택된다. 또한, Y;y=N:N' 및 X:x=M:M' 의 관계를 만족하는 N' 및 M' 가 연산된다. 그러면, 연산된 N' 및 M' 에 근사한 자연수인 N'' 및 M''가 각각 선택된다. 도 7a에서 N'' 및 M'' 는 각각 N' 및 M' 보다 큰 자연수로서 선택되는 것으로 도시된다. 도 7a의 두번째 화살표 및 세번째 화살표는 리사이징 과정을 나타낸다. NxM 매크로블록이 N''xM'' 매크로블록으로 리사이징되는 과정이 근사 리사이징 동작에 상응한다. N''xM'' 매크로블록이 N'xM' 매크로블록으로 리사이징되는 과정은 정밀 리사이징 동작에 상응한다. 그러면, 정밀 리사이징된 매크로블록들을 배열하여 원하는 x:y 크기를 가지는 출력 영상을 형성한다.

우선, YxX의 크기를 가진 입력 영상으로부터 NxM 의 크기를 가지는 매크로블록이 선택된다. 또한, Y;y=N:N' 및 X:x=M:M' 의 관계를 만족하는 N' 및 M' 가 연산된다. 연산된 N' 및 M' 에 근사한 자연수인 N'' 및 M''가 각각 선택되는 과정은 도 7a에 도시된 것과 동일하다. 도 7a와 마찬가지로, N'' 및 M'' 는 각각 N' 및 M' 보다 큰 자연수로서 선택되는 것으로 도시된다. 그러면, 선택된 매크로블록에 제로를 패딩함으로써 N''xM''의 크기를 가지는 매크로블록이 형성된다. 도 7b의 두번째 및 세번째 화살표는 리사이징 과정을 나타낸다. NxM 매크로블록이 N''xM'' 매크로블록으로 리사이징되는 과정이 근사 리사이징 동작에 상응한다. N''xM'' 매 크로블록이 N'xM' 매크로블록으로 리사이징되는 과정은 정밀 리사이징 동작에 상응한다. 그러면, 정밀 리사이징된 매크로블록들을 배열하여 원하는 x:y 크기를 가지는 출력 영상을 형성한다.

도 8은 본 발명의 다른 측면에 의한 영상 리사이징 장치(800)를 나타내는 블록도이다.

도 8에 도시된 영상 리사이징 장치(800)는 수신부(810), 리사이징부(850), IDCT부(880), 및 정밀 리사이징부(890)를 포함하며, 리사이징부(850)는 변환 행렬 결정부(820) 및 근사 리사이징부(830)를 포함한다.

수신부(810)는 입력 영상의 DCT 계수를 수신한다. 입력 영상의 DCT 계수는 소정 비율의 행렬 형태를 가진다.

그러면, 변환 행렬 결정부(820)가 소정의 리사이징 비율에 근사한 비율로 상기 입력 영상을 변환하기 위한 변환 행렬(transformation matrix)을 결정한다. 전술된 바와 같이, 변환 행렬은 목표치인 리사이징 비율보다 큰 크기를 가지도록 입력 영상을 변환한다. 도 6에 제시된 예시에 따르면, 변환 행렬 결정부(820)는 Y:y=N:N'를 만족하는 N' 및 X:x=M:M'를 만족하는 M'를 연산하고, 연산된 N' 및 M'에 근사한 자연수 N'' 및 M''를 각각 선택한다. 그리고, 선택된 N'' 및 M''를 이용하여 N''xN'' 변환 행렬 및 M''xM'' 변환 행렬을 결정한다.

그러면, 근사 리사이징부(830)는 결정된 N''xN'' 변환 행렬 및 M''xM'' 변환 행렬 변환 행렬을 이용하여 입력 영상을 DCT 영역에서 근사 리사이징한다. 근사 리사이징을 통하여, 원하는 크기의 출력 영상에 근접하는 영상을 얻을 수 있다.

근사 리사이징이 수행되면, IDCT부(880)가 근사 리사이징된 영역에 IDCT(Inverse Discrete Cosine Transform)를 수행하여 공간 영상을 획득한다. 획득된 공간 영상은 정밀 리사이징부(890)로 제공되며, 정밀 리사이징부(890)는 공간 영역에서 수신된 공간 영상에 정밀 리사이징(fine resizing)을 수행하여 출력 영상을 형성한다. 정밀 리사이징 동작을 위하여 겹선형 또는 겹삼차 필터링 중 하나가 이용될 수 있음은 전술된 바와 같다.

도 8에 도시된 영상 리사이징 장치(800)는 영상을 다운스케일링하는 것은 물론, 업스케일링할 수도 있다. 영상을 다운스케일링하여야 할 경우, 근사 리사이징부(830)는 데시메이션을 수행하며, 업스케일링을 수행하여야 할 경우에는 제로 패딩을 수행할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 예를 들면, 도 6에 제시된 예시는 본 발명을 한정하는 것이 아니다. 뿐만 아니라, 본 발명에 다른 근사 리사이징 과정에는 겹선형 또는 겹삼차 필터링이 이용되는 것으로 설명되었으나, 공간 도메인에서 영상 정보를 리사이징하기 위한 이와 다른 다양한 방법도 이용될 수 있다. 또한, 본 발명에서는 근사 리사이징을 수행한 이후에 정밀 리사이징을 수행하기 이전에 IDCT가 수행된다. 이 경우 IDCT는 DCT 영역의 영상을 공간 영역의 영상으로 변환한다. IDCT 과정에서 입출력 영상의 에너지를 정합시키기 위하여 스케일링 동작이 수반될 수도 있음은 물론이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명에 의하여, 입력된 영상 정보에 대해 근사 리사이징(coarse resizing)을 수행한 이후에 정밀 리사이징(fine resizing)을 수행함으로써, 입력 영상을 용이하게 리사이징할 수 있다.

또한, 본 발명에 의하여, 입력된 영상 정보를 DCT 도메인 및 공간 도메인에서 개별적으로 리사이징함으로써, 임의의 리사이징 비율로 입력 영상을 리사이징할 수 있다.

뿐만 아니라, 본 발명에 의하여, 입력된 영상 정보를 서로 상이한 가로 비율 및 세로 비율로 리사이징할 수 있다.

Claims

입력 영상을 소정의 리사이징 비율(resizing ratio)로 리사이징하기 위한 방법에 있어서,

입력 영상의 DCT(Discrete Cosine Transform) 계수를 수신하는 단계;

상기 리사이징 비율에 근사한 비율로 상기 입력 영상을 변환하기 위한 변환 행렬(transformation matrix)을 결정하는 변환 행렬 결정 단계;

상기 변환 행렬을 이용하여 상기 입력 영상을 DCT 영역에서 근사 리사이징(coarse resizing)하는 근사 리사이징 단계;

근사 리사이징된 영역에 IDCT(Inverse Discrete Cosine Transform)를 수행하여 공간 영상을 획득하는 IDCT 단계; 및

공간 영역에서 상기 공간 영상에 정밀 리사이징(fine resizing)을 수행하여 출력 영상을 형성하는 정밀 리사이징 단계를 포함하는 것을 특징으로 하는 영상 리사이징 방법.
제1항에 있어서, 상기 변환 행렬 결정 단계는,

Y:y=N:N'를 만족하는 N' 및 X:x=M:M'를 만족하는 M'를 연산하는 단계;

N' 및 M'에 근사한 자연수 N'' 및 M''를 선택하는 단계; 및

N''xN'' 변환 행렬 및 M''xM'' 변환 행렬을 결정하는 단계를 포함하며,

상기 Y 및 상기 X 는 각각 상기 입력 영상의 세로 및 가로방향 화소수이며, 상기 y 및 상기 x는 각각 상기 출력 영상의 세로 및 가로방향 화소수이고, 상기 N 및 M은 각각 이용가능한 소정 DCT 필터의 세로 및 가로비인 것을 특징으로 하는 영상 리사이징 방법.
제2항에 있어서, 상기 근사 리사이징 단계는,

상기 N''xN'' 변환 행렬 및 상기 M''xM'' 변환 행렬을 이용하여 상기 입력 영상으로부터 N''xM'' 변환 행렬을 연산하는 단계를 포함하는 것을 특징으로 하는 영상 리사이징 방법.
제3항에 있어서, 상기 정밀 리사이징 단계는,

상기 N''xM'' 변환 행렬에 겹선형(bilinear) 및 겹삼차(bicubic) 필터링 중 하나를 수행하여 상기 출력 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 영상 리사이징 방법.
제2항에 있어서, 상기 N''xN'' 변환 행렬 및 상기 M''xM'' 변환 행렬은,

NxM 변환 행렬의 DCT 계수 중 일부를 추출하여 형성되며,

상기 근사 리사이징 단계는,

상기 N''xN'' 변환 행렬 및 상기 M''xM'' 변환 행렬을 이용하여 상기 입력 영상에 데시메이션을 수행하여 상기 입력 영상을 다운스케일링하는 것임을 특징으로 하는 영상 리사이징 방법.
제2항에 있어서, 상기 N''xN'' 변환 행렬 및 상기 M''xM'' 변환 행렬은,

NxM 변환 행렬에 제로 패딩(zero padding)을 수행함으로써 형성되며,

상기 근사 리사이징 단계는,

상기 N''xN'' 변환 행렬 및 상기 M''xM'' 변환 행렬을 이용하여 상기 입력 영상에 보간을 수행하여 상기 입력 영상을 업스케일링하는 것임을 특징으로 하는 영상 리사이징 방법.
제2항에 있어서, 상기 이용가능한 DCT 필터는,

8x8 DCT 필터인 것을 특징으로 하는 영상 리사이징 방법.
제2항에 있어서,

상기 N'' 및 M''는 상기 N' 및 M'보다 큰 가장 작은 자연수로서 선택되는 것을 특징으로 하는 영상 리사이징 방법.
입력 영상을 소정의 리사이징 비율(resizing ratio)로 리사이징하기 위한 장치에 있어서,

입력 영상의 DCT(Discrete Cosine Transform) 계수를 수신하는 수신부;

상기 리사이징 비율에 근사한 비율로 상기 입력 영상을 변환하기 위한 변환 행렬(transformation matrix)을 결정하는 변환 행렬 결정부;

상기 변환 행렬을 이용하여 상기 입력 영상을 DCT 영역에서 근사 리사이징(coarse resizing)하는 근사 리사이징부;

근사 리사이징된 영역에 IDCT(Inverse Discrete Cosine Transform)를 수행하여 공간 영상을 획득하는 IDCT부; 및

공간 영역에서 상기 공간 영상에 정밀 리사이징(fine resizing)을 수행하여 출력 영상을 형성하는 정밀 리사이징부를 포함하는 것을 특징으로 하는 영상 리사이징 장치.
제9항에 있어서, 상기 변환 행렬 결정부는,

Y:y=N:N'를 만족하는 N' 및 X:x=M:M'를 만족하는 M'를 연산하고,

N' 및 M'에 근사한 자연수 N'' 및 M''를 선택하여, 선택된 N'' 및 M''를 이용하여 N''xN'' 변환 행렬 및 M''xM'' 변환 행렬을 결정하며,

상기 Y 및 상기 X 는 각각 상기 입력 영상의 세로 및 가로방향 화소수이고, 상기 y 및 상기 x는 각각 상기 출력 영상의 세로 및 가로방향 화소수이며, 상기 N 및 M은 각각 이용가능한 소정 DCT 필터의 세로 및 가로비인 것을 특징으로 하는 영상 리사이징 장치.
제10항에 있어서, 상기 근사 리사이징부는,

상기 N''xN'' 변환 행렬 및 상기 M''xM'' 변환 행렬을 이용하여 상기 입력 영상으로부터 N''xM'' 변환 행렬을 연산하는 것을 특징으로 하는 영상 리사이징 장치.
제11항에 있어서, 상기 정밀 리사이징부는,

상기 N''xM'' 변환 행렬에 겹선형(bilinear) 및 겹삼차(bicubic) 필터링 중 하나를 수행하여 상기 출력 영상을 획득하는 것을 특징으로 하는 영상 리사이징 장치.
제10항에 있어서, 상기 N''xN'' 변환 행렬 및 상기 M''xM'' 변환 행렬은,

NxM 변환 행렬의 DCT 계수 중 일부를 추출하여 형성되며,

상기 근사 리사이징부는,

상기 N''xN'' 변환 행렬 및 상기 M''xM'' 변환 행렬을 이용하여 상기 입력 영상에 데시메이션을 수행하여 상기 입력 영상을 다운스케일링하는 것을 특징으로 하는 영상 리사이징 장치.
제10항에 있어서, 상기 N''xN'' 변환 행렬 및 상기 M''xM'' 변환 행렬은,

NxM 변환 행렬에 제로 패딩(zero padding)을 수행함으로써 형성되며,

상기 근사 리사이징부는,

상기 N''xN'' 변환 행렬 및 상기 M''xM'' 변환 행렬을 이용하여 상기 입력 영상에 보간을 수행하여 상기 입력 영상을 업스케일링하는 것을 특징으로 하는 영상 리사이징 장치.
제10항에 있어서, 상기 이용가능한 DCT 필터는,

8x8 DCT 필터인 것을 특징으로 하는 영상 리사이징 장치.
제10항에 있어서,

상기 N'' 및 M''는 상기 N' 및 M'보다 큰 가장 작은 자연수로서 선택되는 것을 특징으로 하는 영상 리사이징 장치.