KR101522261B1 - 해상도 변환 방법 및 그 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 영상 신호의 해상도 스케일링 방법은 부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 단계; 상기 복호화된 영상 신호에 기반하여, 스케일링 방식을 선택하는 단계; 상기 선택된 스케일링 방식에 따라 상기 영상 신호의 제1 방향 및 제2 방향에 대응하여 적응적으로 스케일링을 수행하는 단계; 및 상기 스케일링 수행에 따라 해상도 변환된 영상을 출력하는 단계를 포함한다.

Description

해상도 변환 방법 및 그 장치{Method for scaling a resolution and an apparatus thereof}

본 발명은 비디오 영상의 해상도 변환 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 큐빅 컨볼루션 스케일러를 이용하여 화면 해상도를 변화시킴으로써 해상도 변환 성능을 개선시키는 해상도 변환 방법 및 그 장치에 관한 것이다.

최근 고해상도, 고화질 영상에 대한 요구가 증가함에 따라 차세대 영상 서비스를 위한 고효율의 비디오 압축 기술에 대한 필요성이 대두되었다. 이러한 시장의 요구에 따라 MPEG과 VCEG이 공동으로 구성한 JVT는 1990년대 후반부터 표준화를 시작하여 2004년에 H.264/AVC를 완성하였다. H.264/AVC 인코더 및 디코더는 이전 표준 코덱들의 구조와 유사하지만, 코덱 내부에 성능이 개선된 세부 모듈들이 추가 되었다. 또한, 현재 MPEG과 VCEG은 2010년 1월 JCT-VC(Joint Collaborative Team on Video Coding)를 구성하였으며, JCT-VC를 통하여 2013년 1월에 HEVC(High Efficiency Video Coding)라는 차세대 비디오 표준 기술을 제정하였다. 이러한 HEVC는 종래에 가장 높은 압축 효율을 갖는 것으로 알려진 비디오 표준인 H.264/AVC High 프로파일에 비하여 주관적 화질 관점에서 비교한 경우 약 50% 이상의 압축 효율을 갖는다.

한편, 화면 해상도를 변환하기 위한 해상도 변환 장치는 입력 영상에 대한 스케일링을 수행하여, 해상도를 확대 하거나 축소할 수 있다. 해상도 변환 장치에 적용되는 다양한 스케일러로서 Sample and hold, Bilinear, Cubic B-spline, Cubic convolution 등 여러 가지 기법이 제안되고 있다. 이 기법들 중 대표적으로 많이 사용되고 있는 기술로서 4개의 필터 탭으로 구성된 4 tap Cubic convolution scaler 기법이 예시될 수 있다. 4 tap Scaler는 영상의 가로와 세로 방향으로 적용될 수 있다. 그리고, 4 tap Scaler는 가로 및 세로축 폭을 각 4개 디지털 샘플에 대응시켜 4 tap Cubic convolution 커널의 basis 함수들을 적용함으로써 해상도 변환된 영상을 획득하는 방식을 사용할 수 있다.

*이와 같은 4 tap Cubic convolution scaler는 지금까지 많은 연구 개발에서 사용되어 오고 있다. 그러나, 영상신호의 특성과 해상도가 큰 폭으로 향상되는 추세에 따라 4 tap Scaler만으로는 성능이 제한될 수밖에 없고, 그 결과 해상도 변환된 영상의 화질이 저하되는 등의 문제점이 나타나고 있다.

본 발명의 일 실시 예는 기존대비 향상된 커널을 이용하여 해상도 변환 모듈의 화질 및 성능을 개선하는데 그 목적이 있다.

또한, 본 발명의 다른 일 실시 예는 영상의 화소값을 이용한 적응적 커널 적용에 따라 해상도 변환 모듈의 화질 및 성능을 개선하는데 그 목적이 있다.

그리고, 본 발명의 다른 일 실시 예는 영상 분석에 따른 선택적 스케일러 적용으로 해상도 변환 모듈의 화질 및 성능을 개선하는데 그 목적이 있다.

한편, 본 발명의 다른 일 실시 예는 스케일링 방향에 따른 선택적 스케일러 적용으로 해상도 변환 모듈의 화질 및 성능을 개선하는데 그 목적이 있다.

본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 방법은 영상 신호의 해상도 스케일링 방법에 있어서, 부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 단계; 상기 복호화된 영상 신호에 기반하여, 스케일링 방식을 선택하는 단계; 상기 선택된 스케일링 방식에 따라 상기 영상 신호의 제1 방향 및 제2 방향에 대응하여 적응적으로 스케일링을 수행하는 단계; 및 상기 스케일링 수행에 따라 해상도 변환된 영상을 출력하는 단계를 포함한다.

또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 장치는 영상 신호의 해상도 변환 장치에 있어서, 부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 입력부; 상기 복호화된 영상 신호에 기반하여, 스케일링 방식을 선택하고, 상기 선택된 스케일링 방식에 따라 상기 영상 신호의 제1 방향 및 제2 방향에 대응하여 적응적으로 스케일링을 수행하는 적어도 하나의 스케일러; 및 상기 스케일링 수행에 따라 해상도 변환된 영상을 출력하는 출력부를 포함한다.

본 발명의 일 실시 예는 기존대비 향상된 6 tap 커널을 이용하여 보다 많은 샘플들을 해상도 변환에 이용함으로써, 해상도 변환 모듈의 화질 및 성능을 개선할 수 있게 된다.

또한, 본 발명의 다른 일 실시 예는 영상의 화소값을 이용하여, 적응적으로 적절한 커널을 적용함에 따라 해상도 변환 모듈의 화질 및 성능을 개선할 수 있게 된다.

그리고, 본 발명의 다른 일 실시 예는 영상 분석에 따라 가장 최적화된 스케일러를 선택적으로 적용함으로써, 해상도 변환 모듈의 화질 및 성능을 개선할 수 있게 된다.

한편, 본 발명의 다른 일 실시 예는 스케일링 방향에 따라 가로와 세로에 대한 스케일러를 상이하게 적용함으로써, 해상도 변환 모듈의 화질 및 성능을 개선할 수 있게 된다.

본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.그리고, 미래에는 현재 영상보다 훨씬 큰 해상도의 영상 신호의 해상도를 스케일링할 것이고, 이런 환경에서 본 특허 기술의 효과는 매우 효율적으로 나타날 것이다.

도 1은 본 발명의 실시 예에 따른 해상도 변환 장치를 포함하는 복호화기를 나타내는 블록도이다.
도 2는 본 발명의 실시 예에 따른 해상도 변환 장치의 구성을 설명하기 위한 도면이다.
도 3 및 도 4는 본 발명의 제1 실시 예에 따른 스케일링 방법을 보다 구체적으로 설명하기 위한 도면들이다.
도 5 및 도 6은 본 발명의 제2 실시 예에 따른 영상 화소값에 따른 적응적 스케일링 방법을 설명하기 위한 도면들이다.
도 7은 본 발명의 제3 실시 예에 따른 선택적 스케일링 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 제4 실시 예에 따른 해상도 변환 장치의 구성을 설명하기 위한 블록도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재상에 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

이하에서는, 본 발명의 일 실시 예에 따른 해상도 변환 방법 및 그 장치를 설명한다.

도 1은 본 발명의 실시 예에 따른 해상도 변환 장치를 포함하는 영상 복호화 장치의 구성에 대한 일 예를 블록도로 도시한 것으로, H.264의 복호화가 선행되는 영상 복호화 장치를 나타낸 것이나, HEVC 또는 이외 다른 코덱에 대한 복호화에도 동일 구조가 적용될 수 있다.

도 1을 참조하면, 복호화 장치에서 데이터를 처리하는 단위는 가로 세로 16x16화소 크기의 매크로블록(Macroblock)일 수 있으며, 소정 단위의 코딩 유닛(Coding Unit)일 수 있다. 복호화 장치는 비트스트림을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 복호화를 수행하여 재구성된 영상을 출력(output)한다.

인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다. 복호화 과정의 주요한 흐름은 먼저 예측 블록을 생성한 후, 입력 받은 비트스트림을 복호화한 결과 블록과 예측 블록을 더하여 재구성된 블록을 생성하는 것이다.

먼저 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다. 먼저 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성하며, 인터 모드일 경우에는 움직임 벡터를 이용하여 참조 영상 버퍼에 저장되어 있는 참조 영상에서 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성한다.

엔트로피 복호화부(Entropy Decoder)에서는 입력된 비트스트림을 확률 분포에 따른 엔트로피 복호화를 수행하여 양자화된 계수(Quantized Coefficient)를 출력한다. 복호화 장치는 양자화된 계수를 역양자화 과정과 역 변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 다음 디블록킹 필터 또는 샘플 적응적 오프셋 필터 중 적어도 하나를 통해 필터링한 후, 복호화된 영상으로 출력함과 동시에 참조 영상 버퍼에 저장한다.

이후, 이와 같이 재구성되어 복호화된 영상은 해상도 변환 장치(100)로 입력된다.

해상도 변환 장치(100)는 복호화된 영상을 입력 영상으로 수신하고, 해상도를 변환(스케일링)하여 확대 또는 축소된 영상을 출력할 수 있다. 특히, 본 발명의 제1 실시 예에 따르면, 해상도 변환 장치에서 사용되는 스케일러는 6 탭 기반의 큐빅 컨볼루션(cubic convolution) 커널을 이용한 스케일러가 사용될 수 있다. 이에 따라, 후술할 화면 해상도 변환 및 보간을 수행함으로써, 해상도 변환 효율 및 변환 화질을 향상시킬 수 있다.

*또한, 본 발명의 제2 실시 예에 따르면, 해상도 변환 장치(100)에서 사용되는 스케일러는 영상 화소값에 따라 적응적으로 결정된 커널을 사용할 수 있다. 예를 들어, 스케일러는 영상 화소의 일부 영역에 대한 분산 값에 따라 서로 다른 튜닝파라미터 값을 할당하고, 이에 기초하여 적응적 큐빅 컨볼루션(cubic convolution) 커널을 사용할 수 있다.

또한, 본 발명의 제3 실시 예에 따르면, 해상도 변환 장치(100)에서 사용되는 스케일러는 블록화된 영상 영역별로 효율을 계산하여, 4 탭 또는 6 탭 커널 중 어느 하나의 커널을 선택적으로 결정할 수 있다. 예를 들어, 스케일러는 영역별 cost 값을 연산하고, 이에 기초하여 4탭 또는 6탭 큐빅 컨볼루션(cubic convolution) 커널 중 어느 하나의 커널을 선택적으로 적용할 수 있다.

한편, 본 발명의 제4 실시 예에 따르면, 해상도 변환 장치(100)에서 사용되는 스케일러는 영상의 제1 방향으로의 스케일링에는 6 탭 커널을 사용하고, 제2 방향으로의 스케일링에는 상이한 커널을 사용할 수 있다. 예를 들어, 스케일러는 가로 방향으로 6 탭 커널을 적용할 수 있으며, 세로 방향으로는 4 탭 커널을 적용함으로써 연산 효율을 높일 수 있다.

이하에서는 도 2 내지 도 5를 참조하여 본 발명의 실시 예에 따른 해상도 변환 장치(100)의 해상도 변환 과정을 보다 구체적으로 설명하도록 한다.

도 2를 참조하면, 해상도 변환 장치(100)는 다음과 같은 단계로 해상도 변환을 수행할 수 있다.

해상도 변환 장치(100)는 가로 방향 스케일러(101) 및 세로 방향 스케일러(102)를 포함할 수 있다.

본 발명의 제1 실시 예에 따르면, 가로 방향 스케일러(101) 및 세로 방향 스케일러(102)는 각각 6 탭 큐빅 컨볼루션 스케일링 방식을 사용하여 해상도 변환을 수행할 수 있다.

보다 구체적으로, 본 발명의 제1 실시 예에 따른 6 탭 큐빅 컨볼루션 스케일러를 적용하기 위해 각각의 스케일러(101, 102)는 6개의 필터 탭으로 디지털 샘플들을 추출하여 가로 방향 및 세로 방향에 대한 디지털 샘플들의 스케일링 및 그 사이에 위치한 화소들의 보간을 수행할 수 있다.

이는 각각의 스케일러(101, 102)가 보간을 위해, 보간 위치 주위에 있는 6개의 픽셀정보를 사용하여 보간을 수행하는 것을 의미할 수 있다. 이와 같은 6 탭 큐빅 컨볼루션 방식을 이용한 보간을 위해, 각 스케일러(101, 102)는 하기와 같은 수식으로 Filter Kernel

을 적용할 수 있다.

수학식 1의 미지수

는

를 이용하여 얻어진 연속신호

의 연속성등을 이용해서 계산될 수 있으며 다음 수학식 2와 같이 표현될 수 있다.

수학식 2의 알파(α) 값은

의 모양을 결정하는 튜닝 파라미터로써 α = 0.083으로 설정한

를 도식화하면 도 3에 도시된 바와 같다. 일반적으로 알파 값(α)은 선택 가능한 튜닝 파라미터일 수 있으며, 알파 값 선택에 따라 해상도 변환된 영상의 엣지 부분 표현 강도가 가변될 수 있다.

한편, 위 수식과 그림의

를 이용하여 연속함수

를 계산하는 식은 다음의 수학식 3과 같다. 여기서 보간 위치는

와

사이인

로 가정될 수 있다.

이에 따라, 보간 하려는 위치에서 가장 인접한 화소 6개를 이용하여 보간을 수행할 수 있다.

이 화소들을 각각 기호로 다시 나타내면 f(x_(k-2)), f(x_(k-1) ), f(x_k ), f(x_(k+1) ), f(x_(k+2)), f(x_(k+3))으로 표현될 수 있다. 보간 하려는 위치 x_{k} + t 에서 x_{k}까지의 거리를 t 라고 하면, 0 ≤t≤ 1이라고 할 수 있다.

이와 같은 방법으로 가로 방향 스케일러(101)는 주어진 영상신호의 모든 화소에 대해 가로 방향으로 6 탭 큐빅 컨볼루션 스케일링을 적용할 수 있다. 그리고, 세로 방향 스케일러(102)는 가로 방향으로 스케일링된 신호의 데이터에 기초하여, 상기의

를 사용하는 6 탭 큐빅 컨볼루션 스케일러를 세로 방향으로 적용하여 해상도 스케일링을 수행할 수 있다. 그리고, 가로 방향 및 세로 방향 스케일링이 종료되면, 해상도 변환 장치(100)는 해상도 변환된 영상을 raw 데이터의 형태로 프레임 단위 또는 실시간으로 출력할 수 있다.

도 4는 이와 같은 과정을 통해 도출되는 6탭 큐빅 컨볼루션 스케일러를 이용하여 주어진 디지털 신호로부터 아날로그 신호를 얻는 과정을 나타낸다. 도 4에서는 편의를 위해 단일 축 기준으로 도시하고 있으며, 기존의 4 탭 큐빅 컨볼루션 스케일러와 달리 6 탭을 가지는 basis 커널을 이용하여 영상신호의 해상도를 보다 세밀하게 변경함으로써 기존의 성능 제약을 극복할 수 있으며, 해상도 변환 영상의 화질 향상을 기대할 수 있게 된다.

도 5 및 도 6은 본 발명의 실시 예에 따른 영상 화소값에 따른 적응적 스케일링 방법을 설명하기 위한 도면들이다.

앞에서 설명한 바와 같이, 4 탭 큐빅 컨볼루션 스케일러와 6 탭 큐빅 컨볼루션 스케일러에는 각각의 튜닝 파라미터 값이 존재할 수 있다. 일반적으로 이 값은 알파 값으로 정의되어 고정된 값으로 설정되고 있으나, 본 발명의 제2 실시 예에서는 화소값의 국지적 특성에 최적화 된 알파 값을 선택하는 방식을 제안한다.

이에 따라, 도 5에 도시된 바와 같이, 본 발명의 제2 실시 예에 따른 해상도 변환 장치(100)는, 영상을 각각의 M x M 블록으로 분할하고, 각 분할 영역에 대한 큐빅 컨볼루션에 있어서, 서로 다른 튜닝 파라미터 알파를 적용할 수 있다. 즉, 해상도 변환 장치(100)의 스케일러는 블록마다 서로 다른 알파 값에 기초한 커널 함수를 적용할 수 있다. 이 때, 블록의 형태는 가로 길이와 세로 길이가 같은 정사각형일 수 있으며, 가로 길이와 세로 길이가 상이한 직사각형일 수 있다.

이 때, 각 블록의 특성을 고려하는 방법은 다양할 수 있다. 일 실시 예에 따르면, 블록 내부 화소값들의 분산값을 이용하여 알파 값을 선택할 수 있다.

도 6에서는 이와 같은 본 발명의 제2 실시 예에 따른 해상도 변환 방법을 설명하기 위한 흐름도를 도시하고 있다.

도 6을 참조하면, 먼저 해상도 변환 장치(100)는 원본 영상을 수신한다(S101).

원본 영상은 앞서 설명한 바와 같이, 이미 복호화된 영상 데이터를 포함할 수 있다.

그리고, 해상도 변환 장치(100)는 영상을 블록화한다(S103).

해상도 변환 장치(100)는, 예를 들어 영상의 각 프레임을 M x M블록으로 분할함으로써 영상을 블록화할 수 있다. 이 때, 블록의 형태는 가로 길이와 세로 길이가 같은 정사각형일 수 있으며, 가로 길이와 세로 길이가 상이한 직사각형일 수 있다. 각 블록화된 영상들은 개별적으로 상이한 방식의 해상도 변환이 적용될 수 있다. 영상이 블록화되면 각 블록에 대응되는 처리 순서가 결정될 수 있으며, 순서에 따라 순차적으로 해상도 변환이 수행될 수 있다.

이후, 해상도 변환 장치(100)는 현재 블록에 대응되는 분산 값을 연산한다(S105).

본 발명의 실시 예에서, 해상도 변환 장치(100)는 현재 블록에 대응되는 블록 내 픽셀들의 화소값들을 이용하여 그 화소값들의 분산 값을 연산할 수 있다.

그리고, 해상도 변환 장치(100)는 연산된 분산 값에 대응되는 알파 값을 획득한다(S107).

해상도 변환 장치(100)는 미리 저장된 테이블에 기반하여 분산 값에 대응되는 최적의 알파 값을 획득할 수 있다. 이를 위해, 해상도 변환 장치(100)는 별도의 저장부를 포함할 수 있으며, 저장부에는 적어도 하나의 알파 값 테이블이 포함될 수 있다.

또한, 알파 값 테이블은 복수 개 존재할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 스케일러가 분할 영역에 따라 적응적으로 적용되는 경우, 분산 값을 획득하기 위한 알파 값 테이블은 상이할 수 있다. 예를 들어, 해상도 변환 장치(100)에는 4 탭 컨볼루션 스케일러에 대응되는 4 탭용 알파 값 테이블이 포함될 수 있으며, 6 탭 컨볼루션 스케일러에 대응되는 6 탭용 알파 값 테이블이 별도 포함될 수 있다. 앞서 설명한 바와 같이, 각 알파 값에 따라 엣지의 표현 강도 등이 상이할 수 있으므로, 해상도 변환 장치(100) 설계자는 적절한 알파 값을 테이블로 미리 지정할 수 있게 된다.

그리고, 해상도 변환 장치(100)는 획득한 알파 값을 이용하여 해상도 변환을 수행한다(S109).

앞서 설명한 바와 같이, 해상도 변환 장치(100)는 알파 값이 획득되면, 이를 적용한 커널 함수를 생성할 수 있으며, 생성된 커널 함수를 이용하여 큐빅 컨볼루션 스케일링을 수행함으로써 해상도 변환된 영상 블록을 생성할 수 있게 된다. 또한, 알파 값은 커널 함수가 일반적인 4 탭 커널인지 본 발명에 따른 6 탭 커널인지에 따라 상이하게 적용될 수 있다.

이후, 해상도 변환 장치(100)는 현재 블록이 마지막 블록인지 판단하고(S111), 마지막 블록인 경우, 해상도 변환된 영상을 출력한다(S113).

해상도 변환 장치(100)에서 변환된 영상은 프레임 단위 또는 블록 단위로 출력될 수 있다. 한편, 해상도 변환 장치(100)는 마지막 블록이 아닌 경우 다음 블록에 대응되는 분산 연산 단계(S105)부터 다시 수행할 수 있다.

이와 같이, 영상 블록의 특징에 따라 서로 다른 알파 값을 사용한 커널을 적용함으로써, 화질 향상을 가져올 수 있다. 본 발명의 실시 예에서는 블록 내 분산 값을 사용하고 있으나, 이는 예시일 뿐이며, 본 발명이 영상 블록의 특징을 분류하는 방법에 대해서 제한하는 것은 아님은 자명하다. 또한, 본 발명은 4 탭 큐빅 컨볼루션 스케일러 또는 6 탭 큐빅 컨볼루션 스케일러가 사용되는 경우 모두에 대해서 적용될 수 있으며, 복수 테이블을 구비하게 함으로써 적응적으로 적용되는 경우에도 이용 가능하도록 확장될 수 있다.

도 7은 본 발명의 제3 실시 예에 따른 선택적 스케일링 방법을 설명하기 위한 흐름도이다.

본 발명의 제3 실시 예에 따른 선택적 스케일링 방법에서는 각 블록마다 선택적으로 최적의 스케일링 방식을 사용하는 방식을 제안한다.

도 7을 참조하면, 먼저 해상도 변환 장치(100)는 원본 영상을 수신한다(S201). 원본 영상은 앞서 설명한 바와 같이, 이미 복호화된 영상 데이터를 포함할 수 있다.

그리고, 해상도 변환 장치(100)는 영상을 블록화한다(S203).

해상도 변환 장치(100)는, 예를 들어 영상의 각 프레임을 N x N블록으로 분할함으로써 영상을 블록화할 수 있다. 이 때, 블록의 형태는 가로 길이와 세로 길이가 같은 정사각형일 수 있으며, 가로 길이와 세로 길이가 상이한 직사각형일 수 있다. 각 블록화된 영상들은 개별적으로 상이한 방식의 해상도 변환이 적용될 수 있다. 영상이 블록화되면 각 블록에 대응되는 처리 순서가 결정될 수 있으며, 순서에 따라 순차적으로 해상도 변환이 수행될 수 있다.

그리고, 해상도 변환 장치(100)는 cost 연산을 수행하여 J4와 J6를 획득하고(S204), 두 값을 비교하여 J4가 작거나 같은지를 판단한다(S205).

여기서, 본 발명의 제3 실시 예에 따른 해상도 변환 장치(100)는 각 블록마다 선택적으로 최적의 스케일링 방식을 결정할 수 있다. 특히, 바람직하게는 4 탭 큐빅 컨볼루션 스케일러와 6 탭 큐빅 컨볼루션 스케일러 중 더 적절한 스케일링 방식을 선택할 수 있다.

이 때, 각 블록에서 어느 scaler를 사용할 지, 즉 어느 스케일러가 최적인지는 경우에 따라 상이할 수 있다. 예를 들어, 블록마다 계산되어진 cost 값 J4와 J6을 비교 한 후 더 작은 cost 값을 갖는 scaler를 선택하여 사용할 수 있다. 여기서 J4는 해당 블록을 4 tap Cubic convolution scaler를 사용했을 경우의 cost 값이고, J6은 6 tap Cubic convolution scaler를 사용했을 경우의 cost 값을 의미할 수 있다. 뿐만 아니라, J4와 J6이 해당블록을 4 tap 또는 6 tap Cubic convolution scaler로 해상도를 변화시켰을 경우 발생하는 왜곡도로 정의될 수도 있다.

또한, J4와 J6에 대한 Cost 함수는 화질, 연산량, 왜곡도 중 적어도 하나에 기초하여 결정될 수 있다. 또한 각각의 변수에 대한 가중치가 설정될 수 있으며, 이에 기초하여 생성된 해상도 변환을 위한 새로운 Cost 함수가 정의될 수도 있다. 따라서, 본 발명의 실시 예에서는 Cost 함수의 조건을 제한하는 것은 아니며, 다양한 방식으로 최적의 스케일링 방식을 수행할지를 결정할 수 있다.

J4가 J6보다 작거나 같은 경우, 해상도 변환 장치(100)는 4탭 큐빅 컨볼루션 스케일러를 이용한 확대 또는 축소를 수행할 수 있다(S207).

그리고, J6가 J4보다 작은 경우, 해상도 변환 장치(100)는 6탭 큐빅 컨볼루션 스케일러를 이용한 확대 또는 축소를 수행할 수 있다(S209).

이후, 해상도 변환 장치(100)는 현재 블록이 마지막 블록인지 판단하고(S211), 마지막 블록인 경우, 해상도 변환된 영상을 출력한다(S213).

해상도 변환 장치(100)에서 변환된 영상은 프레임 단위 또는 블록 단위로 출력될 수 있다. 한편, 해상도 변환 장치(100)는 마지막 블록이 아닌 경우 다음 블록의 cost J4와 J6를 연산하는 단계(S204)부터 다시 수행할 수 있다.

이와 같은 방식을 통해, 각 블록 별 최적의 스케일러가 선택될 수 있으며, 이에 따라 해상도 변환된 영상의 화질이 향상될 뿐만 아니라, cost 함수 설계에 따른 연산 성능 및 화질에 대한 최적화을 기대할 수 있게 된다.

도 8은 본 발명의 제4 실시 예에 따른 해상도 변환 장치(100)의 구성을 설명하기 위한 블록도이다.

도 8을 참조하면, 본 발명에 제4 실시 예에 따른 해상도 변환 장치(100)는 가로 방향 6 탭 스케일링부(103) 및 세로 방향 4 탭 스케일링부(105)를 포함할 수 있다.

본 발명의 제4 실시 예에 따르면, 해상도 변환 장치(100)는 앞서 설명한 바와 같은 6탭 큐빅 컨볼루션 스케일링을 가로 방향에 대해서만 수행할 수 있다. 그리고, 세로 방향에 대해서는 4 탭 큐빅 스케일링을 수행할 수 있다.

이와 같은 본 발명의 실시 예에 따르면, 영상의 해상도 변환시 가로 방향으로는 일반적으로 성능이 좋은 6 탭 큐빅 컨볼루션 스케일러로 변환을 하고, 세로 방향으로는 4 탭 큐빅 컨볼루션 스케일러로 변환하는 결과를 가져올 수 있다.

이와 같은 본 발명의 실시 예는 하드웨어 구현 시에 유리하게 적용될 수 있다. 일반적으로, 가로 방향으로 해상도 변환은 탭 수와 관계 없이 1개의 라인 메모리(line memory)를 이용하여 변환이 이루어질 수 있다.

그러나, 세로 방향으로의 해상도 변환과정에서는 탭 수에 따라 복수 개의 라인 메모리(line memory)가 사용되어야 하기 때문에 6개의 라인 메모리(line memory)를 사용하는 6 탭 큐빅 컨볼루션 스케일러보다 4개의 라인 메모리(line memory)만 사용하는 4 탭 큐빅 컨볼루션 스케일러가 세로 방향으로 적용할 때의 메모리 요구량을 감축시킬 수 있다.

따라서, 본 발명의 실시 예에 따르면, 해상도 변환 장치(100)는 가로 방향에 대해서만 6 탭 큐빅 컨볼루션 스케일링 수행부(103)를 구비함으로써, 라인 메모리 요구량은 유지하면서도 성능 향상을 가져올 수 있게 된다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (9)

1. 영상 신호의 해상도 스케일링 방법에 있어서,
   부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 단계;
   상기 복호화된 영상 신호에 기반하여, 스케일링 방식을 선택하는 단계;
   상기 선택된 스케일링 방식에 따라 상기 영상 신호의 제1 방향 및 제2 방향에 대응하여 적응적으로 스케일링을 수행하는 단계; 및
   상기 스케일링 수행에 따라 해상도 변환된 영상을 출력하는 단계를 포함하고,
   상기 스케일링 방식을 선택하는 단계는,
   상기 영상 신호를 블록 분할하는 단계; 및
   상기 분할된 블록에 대응되는 복수의 스케일러 별 코스트 값을 획득하고, 최적의 코스트 값을 갖는 스케일러를 선택하는 단계를 포함하는 영상 신호의 해상도 스케일링 방법.
2. 제1항에 있어서,
   상기 복수의 스케일러는 4 탭 큐빅 컨볼루션 스케일러 및 6 탭 큐빅 컨볼루션 스케일러 중 적어도 하나를 포함하는 영상 신호의 해상도 스케일링 방법.
3. 제1항에 있어서,
   상기 제1 방향은 상기 영상 신호에 대응되는 가로 방향이며, 상기 제2 방향은 상기 영상 신호에 대응되는 세로 방향인 것을 특징으로 하는 영상 신호의 해상도 스케일링 방법.
4. 제1항에 있어서,
   상기 코스트 값은 상기 복수의 스케일러 별로 산출되는 화질, 연산량, 왜곡도 중 적어도 하나에 의해 결정되는 것을 특징으로 하는 영상 신호의 해상도 스케일링 방법.
5. 영상 신호의 해상도 변환 장치에 있어서,
   부호화된 비트스트림에 기초하여 복호화된 영상 신호를 수신하는 입력부;
   상기 복호화된 영상 신호에 기반하여, 스케일링 방식을 선택하고, 상기 선택된 스케일링 방식에 따라 상기 영상 신호의 제1 방향 및 제2 방향에 대응하여 적응적으로 스케일링을 수행하는 적어도 하나의 스케일러; 및
   상기 스케일링 수행에 따라 해상도 변환된 영상을 출력하는 출력부를 포함하고,
   상기 스케일러는 상기 영상 신호를 블록 분할하고, 상기 분할된 블록에 대응되는 복수의 스케일러 별 코스트 값을 획득하며, 최적의 코스트 값을 갖는 스케일러를 선택하는 영상 신호의 해상도 변환 장치.
6. 제5항에 있어서,
   상기 복수의 스케일러는 4 탭 큐빅 컨볼루션 스케일러 및 6 탭 큐빅 컨볼루션 스케일러 중 적어도 하나를 포함하는 영상 신호의 해상도 변환 장치.
7. 제5항에 있어서,
   상기 제1 방향은 상기 영상 신호에 대응되는 가로 방향이며, 상기 제2 방향은 상기 영상 신호에 대응되는 세로 방향인 것을 특징으로 하는 영상 신호의 해상도 변환 장치.
8. 제5항에 있어서,
   상기 코스트 값은 상기 복수의 스케일러 별로 산출되는 화질, 연산량, 왜곡도 중 적어도 하나에 의해 결정되는 것을 특징으로 하는 영상 신호의 해상도 변환 장치.
9. 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 기록 매체.

Images