KR102661525B1 - 고속 율-왜곡 최적화 기반 양자화 방법 및 장치 - Google Patents

Abstract

본 발명은 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 고속 율-왜곡 최적화 기반 양자화 방법에 관한 것이다. 본 발명에 따르면, 변환 블록 내 제1 문맥 정보의 값을 1로 초기화하고, 상기 변환 블록 내 제2 문맥 정보의 값을 0으로 초기화하여 문맥 정보를 초기화하는 단계; 상기 변환 블록 내 변환 계수를 스캔하고, 상기 변환 계수를 양자화하는 단계; 상기 변환 계수의 양자화된 레벨 값을 계산하고, 상기 변환 블록 내 일부 변환 계수의 위치 또는 상기 변환 블록 내 부블록에 대하여 최적의 양자화된 레벨 값을 결정하는 단계; 및 상기 일부 변환 계수의 위치 또는 상기 부블록에 대하여 최적의 마지막 중요 계수를 결정하는 단계를 포함하고, 상기 일부 변환 계수의 위치 또는 상기 부블록에 대하여 데드존을 이용한 스칼라 양자화를 적용하는 단계를 더 포함하는, 고속 율-왜곡 최적화 기반 양자화 방법이 제공된다. 본 발명에 따르면, 양자화의 복잡도를 감소시킬 수 있다.

Description

고속 율-왜곡 최적화 기반 양자화 방법 및 장치{METHOD FOR QUANTIZATION BASED ON FAST RATE-DISTORTION OPTIMIZATION, AND APPARATUS FOR THE SAME}

본 발명은, 고속 율-왜곡 최적화 기반 양자화 방법 및 장치에 관한 것이다.

최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다.

이에 따라서, 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한, HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.

또한, 영상 압축을 위하여, 시간적으로 이전 또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 픽셀값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 픽셀값을 예측하는 인트라(intra) 예측 기술이 사용될 수 있다. 또한, 영상 압축을 위하여, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.

하지만, 기존의 기술은, 양자화의 복잡도가 크다는 문제점이 있다. 이에, 양자화의 복잡도를 감소시킬 수 있는 기술을 제안하고자 한다.

본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.

본 발명은, 양자화의 복잡도를 감소시키는 것을 제공하는 것을 다른 목적으로 한다.

본 발명은, 율-왜곡 최적화 기반 양자화의 복잡도를 감소시키는 것을 또 다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

일실시예에 따른, 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 고속 율-왜곡 최적화 기반 양자화 방법에 있어서, 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 고속 율-왜곡 최적화 기반 양자화 방법은, 변환 블록 내 제1 문맥 정보의 값을 1로 초기화하고, 상기 변환 블록 내 제2 문맥 정보의 값을 0으로 초기화하여 문맥 정보를 초기화하는 단계; 상기 변환 블록 내 변환 계수를 스캔하고, 상기 변환 계수를 양자화하는 단계; 상기 변환 계수의 양자화된 레벨 값을 계산하고, 상기 변환 블록 내 일부 변환 계수의 위치 또는 상기 변환 블록 내 부블록에 대하여 최적의 양자화된 레벨 값을 결정하는 단계; 및 상기 일부 변환 계수의 위치 또는 상기 부블록에 대하여 최적의 마지막 중요 계수를 결정하는 단계를 포함하고, 상기 일부 변환 계수의 위치 또는 상기 부블록에 대하여 데드존을 이용한 스칼라 양자화를 적용하는 단계를 더 포함할 수 있다.

다른 실시예에 따른, 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 고속 율-왜곡 최적화 기반 양자화 방법에 있어서, 상기 양자화하는 단계는, 상기 변환 블록 내 변환 계수들을 역 대각(reverse diagonal) 순서로 스캔하고, 양자화 오프셋 값 0.5를 이용하여 상기 변환 계수를 양자화하는 것을 포함할 수 있다.

또 다른 실시예에 따른, 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 고속 율-왜곡 최적화 기반 양자화 방법에 있어서, 상기 스칼라 양자화를 적용하는 단계는, 라운딩(rounding) 연산자, 부호, 양자화 스텝 크기 및 양자화 오프셋을 이용하여 상기 변환 계수를 이산 양자화된 레벨로 매핑하고, 상기 데드존은, 입력 값을 0으로 출력하는 구간이고, 상기 양자화 오프셋은, 상기 데드존의 구간을 조절하는 것을 포함할 수 있다.

또 다른 실시예에 따른, 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 고속 율-왜곡 최적화 기반 양자화 방법에 있어서, 상기 최적의 양자화된 레벨 값을 결정하는 단계는, 상기 변환 블록 내 마지막 중요 계수를 고정하는 단계; 및 0이 아닌 나머지 변환 계수들에 대한 율-왜곡 비용을 계산하는 단계를 포함할 수 있다.

또 다른 실시예에 따른, 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 고속 율-왜곡 최적화 기반 양자화 방법에 있어서, 상기 최적의 마지막 중요 계수를 결정하는 단계는, 상기 변환 블록에 대하여 초기 율-왜곡 비용 값으로 초기화하는 단계; 및 상기 변환 블록 내 양자화된 레벨 값을 이용하여 역 대각 순서로 스캔하고 율-왜곡 비용을 계산하는 단계를 포함할 수 있다.

일실시예에 따른, 고속 율-왜곡 최적화 기반 양자화 장치에 있어서, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록 내 제1 문맥 정보의 값을 1로 초기화하고, 상기 변환 블록 내 제2 문맥 정보의 값을 0으로 초기화하여 문맥 정보를 초기화하는 문맥 정보 초기화부; 상기 변환 블록 내 변환 계수를 스캔하고, 상기 변환 계수를 양자화하는 변환 계수 양자화부; 상기 변환 계수의 양자화된 레벨 값을 계산하고, 상기 변환 블록 내 일부 변환 계수의 위치 또는 상기 변환 블록 내 부블록에 대하여 최적의 양자화된 레벨 값을 결정하는 양자화 레벨 결정부; 및 상기 일부 변환 계수의 위치 또는 상기 부블록에 대하여 최적의 마지막 중요 계수를 결정하는 최적 마지막 중요 계수 결정부를 포함하고, 상기 일부 변환 계수의 위치 또는 상기 부블록에 대하여 데드존을 이용한 스칼라 양자화를 적용하는 스칼라 양자화부를 더 포함할 수 있다.

다른 실시예에 따른, 고속 율-왜곡 최적화 기반 양자화 장치에 있어서, 상기 변환 계수 양자화부는, 상기 변환 블록 내 변환 계수들을 역 대각(reverse diagonal) 순서로 스캔하고, 양자화 오프셋 값 0.5를 이용하여 상기 변환 계수를 양자화하는 것을 포함할 수 있다.

다른 실시예에 따른, 고속 율-왜곡 최적화 기반 양자화 장치에 있어서, 상기 스칼라 양자화부는, 라운딩(rounding) 연산자, 부호, 양자화 스텝 크기 및 양자화 오프셋을 이용하여 상기 변환 계수를 이산 양자화된 레벨로 매핑하고, 상기 데드존은, 입력 값을 0으로 출력하는 구간이고, 상기 양자화 오프셋은, 상기 데드존의 구간을 조절하는 것을 포함할 수 있다.

또 다른 실시예에 따른, 고속 율-왜곡 최적화 기반 양자화 장치에 있어서, 상기 양자화 레벨 결정부는, 상기 변환 블록 내 마지막 중요 계수를 고정하고, 0이 아닌 나머지 변환 계수들에 대한 율-왜곡 비용을 계산하는 것을 포함할 수 있다.

또 다른 실시예에 따른, 고속 율-왜곡 최적화 기반 양자화 장치에 있어서, 계수 결정부는, 상기 변환 블록에 대하여 초기 율-왜곡 비용 값으로 초기화하고, 상기 변환 블록 내 양자화된 레벨 값을 이용하여 역 대각 순서로 스캔하고 율-왜곡 비용을 계산하는 것을 포함할 수 있다.

본 발명은, 양자화의 복잡도를 감소시키는 것을 제공할 수 있다. 그러므로, 본 발명은, 양자화의 복잡도를 감소시킬 수 있는 효과가 있다.

본 발명은, 율-왜곡 최적화 기반 양자화의 복잡도를 감소시키는 것을 제공할 수 있다. 그러므로, 본 발명은, 율-왜곡 최적화 기반 양자화의 복잡도를 감소시킬 수 있는 효과가 있다.

도 1은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법을 나타내는 흐름도이다.
도 2는 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 장치를 나타내는 블록도이다.
도 3은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 장치로서, 세부 구성을 나타내는 것이다.
도 4는 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법이 적용된 영상 복호화 장치를 나타내는 것이다.
도 5는 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법으로 영상을 부호화 및 복호화시 영상의 분할 구조를 개략적으로 나타내는 것이다.
도 6은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법이 적용된 부호화 유닛이 포함할 수 있는 예측 유닛의 형태를 나타내는 것이다.
도 7은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법이 적용된 부호화 유닛이 포함할 수 있는 변환 유닛의 형태를 나타내는 것이다.
도 8은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법 중 최적의 양자화된 레벨 값을 결정하는 단계를 나타내는 것이다.
도 9는 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법 중 최적의 마지막 중요 계수를 결정하는 단계를 나타내는 것이다.
도 10은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법이 적용된 변환 블록을 나타내는 것이다.
도 11은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법을 나타내는 것이다.
도 12는 일실시예에 따른 변환 블록을 이용한 고속 율-왜곡 최적화 기반 양자화 방법을 나타내는 것이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법을 나타내는 흐름도이다.

일실시예에 따르면, 고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화기는 영상 부호화 과정에서 변환 계수에 대해서 양자화를 수행하여 양자화된 변환 계수 레벨을 얻을 수 있다. 이때, 변환 계수를 양자화하는 것은, 계수의 비트 깊이(bit depth)를 감소시키는 것일 수도 있다. 또한, 양자화된 변환 계수 레벨은 양자화된 레벨(quantized level)일 수도 있다.

고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화기는, 양자화를 수행할 때 데드존(deadzone)을 이용한 스칼라(scalar) 양자화 방식을 사용하거나, 율-왜곡 최적화 기반 양자화(rate-distortion optimized quantization) 방식을 사용할 수 있다.

또한, 고속 율-왜곡 최적화 기반 양자화 장치는, 부호화된 영상 데이터의 비트율인, 율과, 복원된 영상과 원 영상 사이의 차이인, 왜곡 사이의 트레이드오프를 최적화할 수 있다.

도 1을 참조하면, 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 고속 율-왜곡 최적화 기반 양자화 방법은 하기와 같은 단계로 구성된다. 물론, 경우에 따라서, 각 단계는 동시에 수행될 수도 있으며, 순서가 바뀔 수도 있으나, 이에 한정되지는 않는다.

단계(S101)에서, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록 내 제1 문맥 정보의 값을 1로 초기화하고, 변환 블록 내 제2 문맥 정보의 값을 0으로 초기화하여 문맥 정보를 초기화할 수 있다.

예를 들면, 고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화기는 문맥(context) 정보를 초기화한다. 이때, 문맥 정보 C1 값은 1로 초기화하고, C2 값은 0으로 초기화할 수 있다.

단계(S102)에서, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록 내 변환 계수를 스캔하고, 변환 계수를 양자화할 수 있다. 이때, 변환 블록 내 변환 계수들을 역 대각(reverse diagonal) 순서로 스캔하고, 양자화 오프셋 값 0.5를 이용하여 변환 계수를 양자화하는 고속 율-왜곡 최적화 기반 양자화할 수 있다.

예를 들면, 고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화기는 변환 블록 내 변환 계수를 스캔하면서 변환 계수를 양자화하고 양자화된 레벨 값을 계산할 수 있다. 또한, 고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화기는 변환 계수 블록 내의 변환 계수들을 역 대각(reverse diagonal) 스캔 순서로 스캔한다. 이때, 변환 계수를 스캔하면서 양자화 오프셋 값 0.5를 이용하여 변환 계수를 양자화하고 양자화된 레벨 값을 계산할 수 있다.

단계(S103)에서, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 계수의 양자화된 레벨 값을 계산하고, 변환 블록 내 일부 변환 계수의 위치 또는 변환 블록 내 부블록에 대하여 최적의 양자화된 레벨 값을 결정 할 수 있다.

예를 들면, 고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화기는 변환 계수 블록 내의 변환 계수들에 대해 최적의 양자화된 레벨 값을 결정할 수 있다.

구체적으로, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록 내 마지막 중요 계수를 고정할 수 있다.

다음으로, 고속 율-왜곡 최적화 기반 양자화 장치는, 0이 아닌 나머지 변환 계수들에 대한 율-왜곡 비용을 계산할 수 있다.

단계(S104)에서, 고속 율-왜곡 최적화 기반 양자화 장치는, 일부 변환 계수의 위치 또는 부블록에 대하여 최적의 마지막 중요 계수를 결정 할 수 있다.

예를 들면, 고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화기는 최적의 마지막 중요 계수(last significant coefficient)를 결정할 수 있다.

구체적으로, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록에 대하여 초기 율-왜곡 비용 값으로 초기화 할 수 있다. 다음으로, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록 내 양자화된 레벨 값을 이용하여 역 대각 순서로 스캔하고 율-왜곡 비용을 계산할 수 있다.

또한, 단계(S101) 내지 단계(S104)의 사이의 단계에서, 고속 율-왜곡 최적화 기반 양자화 장치는, 일부 변환 계수의 위치 또는 부블록에 대하여 데드존을 이용한 스칼라 양자화를 적용할 수 있다. 또한, 경우에 따라서, 단계(S101) 이전의 단계에서, 고속 율-왜곡 최적화 기반 양자화 장치는, 일부 변환 계수의 위치 또는 부블록에 대하여 데드존을 이용한 스칼라 양자화를 적용할 수 있다.

이때, 고속 율-왜곡 최적화 기반 양자화 장치는, 라운딩(rounding) 연산자, 부호, 양자화 스텝 크기 및 양자화 오프셋을 이용하여 변환 계수를 이산 양자화된 레벨로 매핑할 수 있다.

물론, 데드존은, 입력 값을 0으로 출력하는 구간일 수 있으며, 양자화 오프셋은, 데드존의 구간을 조절할 수도 있다.

예를 들면, 고속 율-왜곡 최적화 기반 양자화 장치는, 하기 수학식 1을 이용하여 변환 계수를 이산 양자화된 레벨(discrete quantized level)로 매핑(mapping)할 수 있다.

이때, 연산자 ·은 최인접 정수 값으로 라운딩(rounding)하는 연산이고, Δ은 양자화 스텝 크기이다. 또한, f는 양자화 오프셋이고, 함수 sign()은 입력 값 W에 대한 부호를 출력한다. 이때, 양자화 오프셋 f는 데드존의 구간을 조절할 수 있으며, z는 양자화된 레벨 값일 수 있다.

또한, 고속 율-왜곡 최적화 기반 양자화 장치인 영상 복호화기가 역양자화를 수행시 하기의 수학식 2를 이용할 수 있다.

이때, W’는 역양자화된 계수이고, Z는 양자화된 레벨일 수 있다. 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 역양자화 방식은, 율-왜곡 최적화 기반 양자화 방식이 적용된 양자화된 레벨뿐만 아니라 데드존을 이용한 스칼라 양자화 방식이 적용된 양자화된 레벨에도 사용될 수 있다.

도 2는 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 장치를 나타내는 블록도이다.

도 2를 참조하면, 고속 율-왜곡 최적화 기반 양자화 장치(200)는, 문맥 정보 초기화부(210), 변환 계수 양자화부(220), 양자화 레벨 결정부(230), 최적 마지막 중요 계수 결정부(240), 스칼라 양자화부(250)를 포함하여 구성될 수 있다. 이때, 문맥 정보 초기화부(210), 변환 계수 양자화부(220), 양자화 레벨 결정부(230), 최적 마지막 중요 계수 결정부(240), 스칼라 양자화부(250)는 전자 회로, 전기 회로, 집적 회로를 포함하여 구성될 수 있다. 또한, 문맥 정보 초기화부(210), 변환 계수 양자화부(220), 양자화 레벨 결정부(230), 최적 마지막 중요 계수 결정부(240), 스칼라 양자화부(250)는 프로세서, 메모리, 데이터 송수신기를 포함하여 구성될 수도 있으나, 이에 한정되지는 않는다.

문맥 정보 초기화부(210)는, 변환 블록 내 제1 문맥 정보의 값을 1로 초기화하고, 변환 블록 내 제2 문맥 정보의 값을 0으로 초기화하여 문맥 정보를 초기화할 수 있다.

변환 계수 양자화부(220)는, 변환 블록 내 변환 계수를 스캔하고, 변환 계수를 양자화할 수 있다. 또한, 변환 계수 양자화부(220)는, 변환 블록 내 변환 계수들을 역 대각(reverse diagonal) 순서로 스캔하고, 양자화 오프셋 값 0.5를 이용하여 변환 계수를 양자화할 수 있다.

양자화 레벨 결정부(230)는, 변환 계수의 양자화된 레벨 값을 계산하고, 변환 블록 내 일부 변환 계수의 위치 또는 변환 블록 내 부블록에 대하여 최적의 양자화된 레벨 값을 결정할 수 있다. 또한, 양자화 레벨 결정부(230)는, 변환 블록 내 마지막 중요 계수를 고정하고, 0이 아닌 나머지 변환 계수들에 대한 율-왜곡 비용을 계산할 수 있다.

최적 마지막 중요 계수 결정부(240)는, 일부 변환 계수의 위치 또는 부블록에 대하여 최적의 마지막 중요 계수를 결정할 수 있다. 최적 마지막 중요 계수 결정부(240)는, 변환 블록에 대하여 초기 율-왜곡 비용 값으로 초기화하고, 변환 블록 내 양자화된 레벨 값을 이용하여 역 대각 순서로 스캔하고 율-왜곡 비용을 계산할 수 있다.

스칼라 양자화부(250)는, 일부 변환 계수의 위치 또는 부블록에 대하여 데드존을 이용한 스칼라 양자화를 적용 할 수 있다. 또한, 스칼라 양자화부(250)는, 라운딩(rounding) 연산자, 부호, 양자화 스텝 크기 및 양자화 오프셋을 이용하여 변환 계수를 이산 양자화된 레벨로 매핑할 수 있다. 이때, 데드존은, 입력 값을 0으로 출력하는 구간일 수 있으며, 양자화 오프셋은, 데드존의 구간을 조절할 수 있다.

도 3은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 장치로서, 세부 구성을 나타내는 것이다.

도 3을 참조하면, 고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화 장치의 구성을 나타내는 블록도이다. 고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화 장치(300)는, 움직임 예측부(311), 움직임 보상부(312), 인트라 예측부(320), 스위치(315)를 포함할 수 있다. 또한, 고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화 장치(300)는, 감산기(325), 변환부(330), 양자화부(340), 엔트로피 부호화부(350), 역양자화부(360), 역변환부(370), 가산기(375), 필터부(380) 및 참조 픽쳐 버퍼(390)를 포함할 수도 있다.

고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화 장치(300)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 또한, 인트라 모드인 경우에는, 스위치(315)가 인트라로 전환되고, 인터 모드인 경우에 스위치(315)가 인터로 전환될 수 있다. 또한, 고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화 장치(300)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(320)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인터 모드인 경우, 움직임 예측부(311)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(390)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 또한, 움직임 보상부(312)는, 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 이때, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 부호화 및 복호화 대상 영상과 참조 영상 사이의 오프셋을 나타낼 수 있다.

감산기(325)는, 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성할 수 있다.

변환부(330)는, 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔여 블록 또는 잔여 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 물론, 경우에 따라서, 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.

양자화부(340)는, 입력된 변환 계수를 양자화 파라미터에 따라서 양자화하여 양자화된 변환 계수 레벨(quantized transform coefficient level)을 출력할 수 있다. 이때, 양자화부(340)는, 양자화 행렬을 사용하여 입력된 변환 계수를 양자화할 수 있다. 이때, 양자화된 변환 계수 레벨은 양자화된 레벨(quantized level)일 수도 있으며, 경우에 따라서 변환 계수로서 그 일부분일 수도 있다.

엔트로피 부호화부(350)는, 양자화부(340)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.

이때, 엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현될 수 있다. 물론, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 또한, 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.

또한, 엔트로피 부호화부(350)는, 대상 심볼의 이진화(binarization) 방식과 대상 심볼 또는 빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방식 또는 확률 모델을 사용하여 산술 부호화를 수행할 수도 있다. 또한, 엔트로피 부호화부(350)는, 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.

일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 장치인 영상 부호화 장치(300)는, 인터 예측 부호화, 즉 인터 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 또한, 양자화된 레벨은 역양자화부(360)에 의하여 역양자화되고 역변환부(370)에 의하여 역변환된다. 또한, 역양자화 및 역변환된 계수는 가산기(375)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.

복원 블록은 필터부(380)를 거치고, 필터부(380)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 이때, 필터부(380)는 적응적 인루프(in-loop) 필터일 수도 있다. 또한, 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(380)를 거친 복원 블록은 참조 픽쳐 버퍼(390)에 저장될 수 있다.

도 4는 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법이 적용된 영상 복호화 장치를 나타내는 것이다.

도 4를 참조하면, 고속 율-왜곡 최적화 기반 양자화 방법이 적용된 영상 복호화 장치(400)는, 엔트로피 복호화부(410), 역양자화부(420), 역변환부(430), 인트라 예측부(440), 움직임 보상부(450), 가산기(455), 필터부(460) 및 참조 픽쳐 버퍼(470)를 포함할 수 있다.

고속 율-왜곡 최적화 기반 양자화 방법이 적용된 영상 복호화 장치(400)는, 고속 율-왜곡 최적화 기반 양자화 장치인 부호화기에 의하여 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 구체적으로, 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

또한, 고속 율-왜곡 최적화 기반 양자화 방법이 적용된 영상 복호화 장치(400)는, 입력 받은 비트스트림으로부터 복원된 잔여 블록(reconstructed residual block)을 얻고 예측 블록을 생성할 수 있다. 다음으로, 고속 율-왜곡 최적화 기반 양자화 방법이 적용된 영상 복호화 장치(400)는, 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록인 복원 블록을 생성할 수도 있다.

엔트로피 복호화부(410)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 레벨(quantized level) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 또한, 엔트로피 복호화 방식은 상기 엔트로피 부호화의 역과정으로 수행될 수 있다.

양자화된 레벨은 역양자화부(420)에서 역양자화되고 역변환부(430)에서 역변환되며, 양자화된 레벨이 역양자화 및 역변환 된 결과, 복원된 잔여 블록이 생성될 수 있다. 이때, 역양자화부(420)에서는 양자화된 레벨에 양자화 행렬을 적용할 수 있다.

인트라 모드인 경우, 인트라 예측부(440)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(450)는 움직임 벡터 및 참조 픽쳐 버퍼(470)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

복원된 잔여 블록과 예측 블록은 가산기(455)에 의하여 더해지고, 더해진 블록은 필터부(460)를 거칠 수 있다. 필터부(460)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(460)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 경우에 따라서, 복원 영상은 참조 픽쳐 버퍼(470)에 저장되어 인터 예측시 사용될 수 있다.

도 5는 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법으로 영상을 부호화 및 복호화시 영상의 분할 구조를 개략적으로 나타내는 것이다.

고속 율-왜곡 최적화 기반 양자화 장치는, 영상을 효율적으로 분할하기 위해 부호화 유닛(Coding Unit; CU)으로 부호화 및 복호화를 수행할 수 있다. 유닛은 구문 요소(syntax element)와 영상 샘플들이 포함된 블록이 합쳐져 구성될 수 있다. 또한, 유닛은 분할될 수도 있으며, 이때, 경우에 따라서는, 유닛에 해당하는 블록이 분할될 수도 있다.

도 5를 참조하면, 고속 율-왜곡 최적화 기반 양자화 장치는, HEVC에서는 영상(500)을 최대 부호화 유닛(Largest Coding Unit; LCU) 단위로 순차적으로 분할한 후, LCU 단위로 분할 구조를 결정할 수 있다. 경우에 따라서, 분할 구조는 LCU(510) 내에서 영상을 효율적으로 부호화하기 위한 부호화 유닛(CU)의 분포를 나타낼 수도 있다.

이때, 고속 율-왜곡 최적화 기반 양자화 장치는, CU의 분포를 하나의 CU의 가로 크기 및 세로 크기의 절반으로 감소된 4개의 CU로 분할할지 여부에 따라서 결정할 수 있다. 물론, 분할된 CU는 동일한 방식으로 분할된 CU에 대해서 그 가로 크기 및 세로 크기가 절반씩 감소된 4개의 CU로 재귀적으로 분할될 수 있다.

또한, 고속 율-왜곡 최적화 기반 양자화 장치는, CU의 분할을 미리 정의된 깊이까지 재귀적으로 분할할 수 있다. 이때, 깊이 정보는 CU의 크기를 나타내는 정보로서, 각 CU마다 저장될 수 있다.

예를 들면, LCU의 깊이는 0이고, SCU(Smallest Coding Unit)의 깊이는 미리 정의된 최대 깊이일 수 있다. 물론, LCU는 상기와 같이 최대 부호화 유닛 크기를 가지는 부호화 유닛이며, SCU(Smallest Coding Unit)는 최소 부호화 유닛 크기를 가지는 부호화 유닛일 수 있다.

LCU(510)로부터 가로 및 세로 크기의 절반으로 분할을 수행할 때마다 CU의 깊이는 1씩 증가한다. 또한, 각각의 깊이 별로, 분할을 수행하지 않는 CU의 경우에는 2Nx2N 크기를 가지며, 분할을 수행하는 CU의 경우에는 2Nx2N 크기의 CU에서 NxN 크기를 가지는 4개의 CU로 분할될 수 있다. 이때, N의 크기는 깊이가 1씩 증가할 때마다 절반으로 감소할 수 있다.

또한, 예를 들면, 최소 깊이가 0인 LCU의 크기는 64x64 화소이고, 최대 깊이가 3인 SCU의 크기는 8x8 화소일 수 있다. 이때, 64x64 화소의 CU(LCU)는 깊이 0으로, 32x32 화소의 CU는 깊이 1로, 16x16 화소의 CU는 깊이 2로, 8x8 화소의 CU(SCU)는 깊이 3으로 표현될 수도 있다.

또한, 특정 CU를 분할할지에 대한 정보는 CU마다 1비트의 분할 정보를 통해 표현될 수 있다. 이 분할 정보는 SCU를 제외한 모든 CU에 포함될 수도 있으며, 경우에 따라서, 고속 율-왜곡 최적화 기반 양자화 장치가 CU를 분할하지 않을 경우에는 분할 정보에 0을 저장할 수 있고, 고속 율-왜곡 최적화 기반 양자화 장치가 CU를 분할할 경우에는 분할 정보에 1을 저장할 수도 있다.

도 6은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법이 적용된 부호화 유닛이 포함할 수 있는 예측 유닛의 형태를 나타내는 것이다.

도 6을 참조하면, 부호화 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 알 수 있다. 고속 율-왜곡 최적화 기반 양자화 장치는, LCU로부터 분할된 CU 중에서 더 이상 분할하지 않는 CU는 하나 이상의 예측 유닛으로 분할할 수 있다.

이때, 예측 유닛은 예측을 수행하는 기본 단위로서, 스킵(skip) 모드, 인터(inter) 모드, 인트라(intra) 모드 중 어느 하나로서 고속 율-왜곡 최적화 기반 양자화 장치에 의하여 부호화 및 복호화되며, 각 모드에 따라서 다양한 형태로 파티션될 수도 있다. 예를 들면, 스킵 모드의 경우, 고속 율-왜곡 최적화 기반 양자화 장치는, CU 내에서 파티션 없이, CU와 동일한 크기를 갖는 2Nx2N 모드(410)를 지원할 수 있다.

또한, 인터 모드의 경우, 고속 율-왜곡 최적화 기반 양자화 장치는, CU 내에서 8가지의 파티션된 형태를 지원할 수 있다. 예를 들면, 고속 율-왜곡 최적화 기반 양자화 장치는, 2Nx2N 모드(410), 2NxN 모드(415), Nx2N 모드(420), NxN 모드(425), 2NxnU 모드(430), 2NxnD 모드(435), nLx2N 모드(440), nRx2N 모드(445)를 지원할 수 있다. 또한, 고속 율-왜곡 최적화 기반 양자화 장치는, 인트라 모드의 경우, CU 내에서 2Nx2N 모드(410), NxN 모드(425)를 지원할 수 있다.

도 7은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법이 적용된 부호화 유닛이 포함할 수 있는 변환 유닛의 형태를 나타내는 것이다.

도 7을 참조하면, 부호화 유닛(CU)이 포함할 수 있는 변환 유닛(TU)의 형태를 알 수 있다. 이때, 변환 유닛은, CU 내에서 변환, 양자화, 역변환, 역양자화 과정을 위해 사용되는 기본 단위일 수 있다. 또한, TU는 정사각형 또는 직사각형 형태일 수 있다.

고속 율-왜곡 최적화 기반 양자화 장치에 의하여 LCU로부터 분할된 CU 중에서 더 이상 분할되지 않는 CU는 하나 혹은 그 이상의 TU로 고속 율-왜곡 최적화 기반 양자화 장치에 의하여 분할될 수 있다. 이때, TU의 분할 구조는 쿼드트리(quad-tree) 구조일 수 있다. 예를 들면, 경우에 따라서, 하나의 CU(710)가 쿼드트리 구조에 따라서 한번 혹은 그 이상으로 분할되어 다양한 크기의 TU들로 구성될 수도 있다.

도 8은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법 중 최적의 양자화된 레벨 값을 결정하는 단계를 나타내는 것이다.

도 8을 참조하면, 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 고속 율-왜곡 최적화 기반 양자화 방법 중 최적의 양자화된 레벨 값을 결정하는 단계는 구체적으로 하기와 같이 수행된다.

단계(S801)에서, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 변환 블록 내에서 마지막 중요 계수를 고정할 수 있다. 이때, 중요 계수는, 0이 아닌 값을 가지는 양자화된 레벨 값이 될 수 있으며, 마지막 중요 계수는 변환 블록 내에서 0이 아닌 값을 가지는 양자화된 레벨 중 마지막 위치에 존재하는 것일 수 있다. 또한, 마지막 중요 계수는, 변환 계수를 역 대각 스캔 순서로 스캔하면서 양자화 했을 때 양자화된 레벨 값이 0이 아닌 첫번째 계수일 수도 있다.

단계(S801)에서, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는, 변환 블록 내에서 마지막 중요 계수를 제외하고 값이 0이 아닌 나머지 변환 계수들에 대하여 각 변환 계수들의 양자화된 레벨들에 대한 율-왜곡 비용을 계산할 수 있다. 이때, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는, 계산된 율-왜곡 비용을 기반으로 최적의 양자화된 레벨을 결정한다. 물론, 나머지 변환 계수들이란 역 대각 스캔 순서 상 마지막 중요 계수 다음으로 발생하는 변환 계수일 수 있다.

구체적으로, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는, 하나의 변환 계수에 대해 최적의 양자화된 레벨을 결정하기 위해, 먼저 해당 변환 계수에 대한 양자회된 레벨 값이 3보다 작은지 결정한다.

이때, 해당 변환 계수에 대한 양자화된 레벨 값이 3보다 작을 경우, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는, 해당 변환 계수를 Level 값, Level - 1 값, 및 0의 값으로 대체한 후 각각에 대한 율-왜곡 비용을 계산할 수 있다. 이때, Level 값은 상기 단계 2에서 계산한 양자화된 레벨 값일 수 있다. 또한, 해당 변환 계수에 대한 양자화된 레벨 값이 3보다 큰 경우, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 해당 변환 계수를 Level 값 및 0의 값으로 대체한 후 각각에 대한 율-왜곡 비용을 계산할 수 있다.

고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 율-왜곡 비용을 업데이트할 수 있다. 이때, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 변환 블록 내의 모든 변환 계수에 대한 양자화된 레벨 값으로 0으로 부호화할 경우에 대한 율-왜곡 비용을 업데이트할 수 있다. 또한, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 변환 블록 내의 각 변환 계수를 부호화할 경우에 대한 율-왜곡 비용을 업데이트할 수 있다. 또한, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 변환 블록의 중요 맵(significant map)을 부호화할 경우에 대한 율-왜곡 비용을 업데이트할 수 있다. 이때, 중요 맵은, 변환 블록 내에서 각 변환 계수에 대한 양자화된 레벨 값이 0인지 아닌지에 대한 정보일 수 있다.

고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 변환 계수에 대한 최적의 양자화된 레벨에 대한 문맥 정보를 업데이트할 수 있다. 또한, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 양자화된 레벨들 중 가장 작은 율-왜곡 비용을 가지는 양자화된 레벨을 최적의 양자화된 레벨로 결정할 수 있다. 이때, 업데이트된 문맥 정보는 다음 변환 계수에 대한 양자화된 레벨 결정 시 사용될 수 있다.

또한, 경우에 따라서, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 변환 블록 내에서 0이 아닌 다음 나머지 변환 계수들에 대해 상기 단계(S802)를 수행할 수도 있다.

도 9는 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법 중 최적의 마지막 중요 계수를 결정하는 단계를 나타내는 것이다.

도 9를 참조하면, 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 고속 율-왜곡 최적화 기반 양자화 방법 중 최적의 마지막 중요 계수를 결정하는 단계는 하기와 같이 수행될 수 있다.

단계(S901)에서, 고속 율-왜곡 최적화 기반 양자화 장치인, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 율-왜곡 비용 값인 d64BestCost을 변환 블록이 부호화되지 않을 경우의 율-왜곡 비용 값으로 초기화할 수 있다.

단계(S902)에서, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 변환 블록 내에서 양자화된 레벨 값이 1보다 큰 변환 계수를 만날 때까지 역 대각 스캔 순서로 스캔하며, 율-왜곡 비용을 계산할 수 있다.

구체적으로, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 단계(S902)에 따라서 스캔하면서 양자화된 레벨 값이 1보다 큰 변환 계수를 마지막 중요 계수로 간주하고 변환 블록 전체에 대한 율-왜곡 비용인 totalCost를 계산할 수 있다.

다음으로, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 totalCost가 d64BestCost보다 작을 경우 마지막 중요 계수에 대한 위치를 최적의 마지막 위치 지시자를 나타내는 iBestLastIdxP1로 설정하고, d64BestCost를 totalCost로 설정할 수 있다.

이때, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기는 율-왜곡 비용을 계산시, 율-왜곡 비용은 하기의 수학식 3을 이용해서 계산할 수 있다. D는 변환 블록 내에서 원 변환 계수들과 복원된 변환 계수들 사이의 차이 값들의 제곱에 대한 평균(mean square error)일 수 있으며, R은 관련된 문맥 정보를 이용한 비트율일 수 있다.

도 10은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법이 적용된 변환 블록을 나타내는 것이다.

일실시예에 따르면, 고속 율-왜곡 최적화 기반 양자화 장치는, 율-왜곡 최적화 기반 양자화의 복잡도를 감소시킬 수 있다. 이때, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록 내에서 일부 변환 계수 위치 혹은 부블록에 대해서만 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정할 수 있다.

또한, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록 내에서 일부 변환 계수 위치 혹은 부블록에 대해서만 데드존을 이용한 스칼라 양자화 방식을 적용하고, 적용된 결과에 따라 율-왜곡 최적화 기반 양자화를 변환 블록 전체에 적용하는 방식을 제공할 수 있다.

도 10을 참조하면, 변환 블록은 변환 크기에 따라 4x4, 8x8, 16x16, 32x32 등의 크기를 가질 수 있다. 이때, 고속 율-왜곡 최적화 기반 양자화 장치가, 각 변환 블록을 스캔하기 위하여 역 대각 스캔, 역 수평(horizontal) 스캔, 역 수직(vertical) 스캔 등의 방식을 사용할 수 있다.

또한, 8x8 크기 이상의 변환 블록은 4x4 단위의 부블록(sub-block)으로 분할될 수 있다. 아래 도9는 4x4 변환 블록과 4개의 4x4 단위의 부블록을 가지는 8x8 변환 블록을 나타낸다. 4x4 변환 블록에서 변환 계수 혹은 양자화된 레벨은 도시된 바와 같이 역 대각 스캔 순서대로 스캔될 수 있다. 또한, 8x8 변환 블록에서 부블록 내의 변환 계수 혹은 양자화된 레벨은 도시된 바와 같이 역 대각 스캔 순서대로 스캔될 수 있고, 변환 블록 내의 부블록 간의 스캔도 도시된 바와 같이 역 대각 스캔 순서대로 스캔될 수 있다. 이때, 변환 블록 및 부블록 내의 스캔 방법과 부블록 간의 스캔은 역 대각 스캔 방법으로 한정되지 않고, 언급한 역 수평 스캔, 역 수직 스캔 등의 스캔 방법도 사용할 수 있다. 물론, 고속 율-왜곡 최적화 기반 양자화 장치에 의하여 변환 블록 단위로 율-왜곡 최적화 기반 양자화가 수행될 수 있다.

도 11은 일실시예에 따른 고속 율-왜곡 최적화 기반 양자화 방법을 나타내는 것이다.

고속 율-왜곡 최적화 기반 양자화 장치에 의하여 변환이 수행되면, 변환 계수는 변환 블록 내의 좌상단 쪽에 발생하게 되며, 변환 후 좌상단에 발생하는 변환 계수는 상대적으로 저주파수(low frequency)일 수 있다. 또한, 우하단 쪽에 발생되는 변환 계수는 고주파수(high frequency)일 수 있다. 물론, 저주파수 성분이 고주파수 성분보다 부호화 효율에 더 많은 영향을 끼치게 되어 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기 및 복호화기에서는 저주파수 성분이 고주파수 성분보다 더 중요한 역할을 할 수 있다.

도 11을 참조하면, 4x4 변환 블록에는 총 16개의 변환 계수가 존재할 수 있으며, 8x8 변환 블록 내에는 총 64개의 변환 계수, 16x16 변환 블록에는 총 256개의 변환 계수, 32x32 변환 블록에는 총 1024개의 변환 계수가 존재할 수 있다.

이때, 고속 율-왜곡 최적화 기반 양자화 장치가 수행하는 율-왜곡 최적화 기반 양자화 방법을 사용할 경우 32x32 변환 블록에 대해서는 최대 1024개의 변환 계수에 대해 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정해야 한다. 물론, 경우에 따라서, 고속 율-왜곡 최적화 기반 양자화 장치인, 영상 부호화기에서의 복잡도가 상당히 증가될 수 있으므로, 고속 율-왜곡 최적화 기반 양자화 장치가 이를 방지할 수 있다.

고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록 내에서 결정해야 할 최적의 양자화된 레벨 및 최적의 마지막 중요 계수의 수를 줄이기 위해서, 변환 블록 내에서 일부 변환 계수 위치(1101) 혹은 부블록(1102)에 대해서만 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정할 수 있다.

예를 들어, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록의 크기에 따라서 변환 블록 내의 일부 변환 계수 위치 혹은 일부 부블록에 존재하는 변환 계수에 대해서만 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정할 수 있다. 이때, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록 내의 일부 변환 계수 위치 혹은 일부 부블록에 해당하지 않는 변환 계수들에 대해서는 모두 양자화된 레벨 값을 0으로 설정할 수 있다.

또한, 경우에 따라서, 고속 율-왜곡 최적화 기반 양자화 장치는, 8x8 변환 블록에 대해서는 일부 변환 계수 위치(1101)에 대해서만 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정할 수 있다. 또한, 경우에 따라서, 고속 율-왜곡 최적화 기반 양자화 장치는, 16x16 변환 블록에 대해서는 일부 부블록(1102)에 대해서만 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정할 수 있다.

물론, 고속 율-왜곡 최적화 기반 양자화 장치는, 4x4 변환 블록과 32x32 변환 블록에도 마찬가지로 일부 변환 계수 위치 혹은 일부 부블록에 존재하는 변환 계수에 대해서만 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정할 수 있다. 또한, 고속 율-왜곡 최적화 기반 양자화 장치는, 8x8, 16x16 혹은 32x32 변환 블록에 대해서는 부블록 간 스캔 순서인 역 수평 스캔, 역 수직 스캔, 혹은 역 대각 스캔 순서에 따라 마지막 스캔 순서로부터 각각 2개, 9개, 35개의 부블록에 대해서만 상기 방식으로 수행할 수도 있다.

도 12는 일실시예에 따른 변환 블록을 이용한 고속 율-왜곡 최적화 기반 양자화 방법을 나타내는 것이다.

일실시예에 따르면, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록이 포함되는 예측 유닛의 화면 내 예측 모드에 따라서 변환 블록 내의 일부 변환 계수 위치 혹은 일부 부블록에 존재하는 변환 계수에 대해서만 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정할 수 있다. 고속 율-왜곡 최적화 기반 양자화 장치는, 화면 내 예측 모드가 수직 모드 혹은 수직 모드와 유사한 방향을 가지는 모드일 경우 8x8 변환 블록에서 상단에 존재하는 2개의 부블록에 대해서만 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정할 수 있다. 또한, 고속 율-왜곡 최적화 기반 양자화 장치는, 화면 내 예측 모드가 수평 모드 혹은 수평 모드와 유사한 방향을 가지는 모드일 경우, 8x8 변환 블록에서 좌측에 존재하는 2개의 부블록에 대해서만 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정할 수 있다.

일실시예에 따르면, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록이 포함되는 부호화 유닛의 예측 모드에 따라서 변환 블록 내의 일부 변환 계수 위치 혹은 일부 부블록에 존재하는 변환 계수에 대해서만 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정할 수 있다.

또한, 예측 모드가 화면 내 예측 모드일 경우, 화면간 예측 모드보다 상대적으로 저주파수 영역에 변환 계수가 많이 존재할 수 있다. 이때, 고속 율-왜곡 최적화 기반 양자화 장치는, 화면 내 예측 모드일 경우에는 화면간 예측 모드보다 저주파수 영역 부분에서 더 많은 변환 계수 위치 혹은 부블록들에 대해 상기 방식을 수행할 수도 있다.

일실시예에 따라서, 고속 율-왜곡 최적화 기반 양자화 장치는, 색 성분인 휘도 성분 또는 색차 성분에 따라서 변환 블록 내의 일부 변환 계수 위치 혹은 일부 부블록에 존재하는 변환 계수에 대해서만 최적의 양자화된 레벨 및 최적의 마지막 중요 계수를 결정할 수 있다. 휘도 성분에는 색차 성분보다 변환 계수가 존재할 가능성이 높으므로, 고속 율-왜곡 최적화 기반 양자화 장치는, 휘도 성분에 대한 변환 블록에는 색차 성분에 대한 변환 블록보다 더 많은 변환 계수 위치 혹은 부블록들에 대해 상기 방식을 수행할 수 있다.

또한, 고속 율-왜곡 최적화 기반 양자화 장치는, 기존의 율-왜곡 최적화 기반 양자화 방법과 같이 변환 블록 전체에 대해서 율-왜곡 최적화 기반 양자화를 적용하지 않는다. 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록 내에서 상대적으로 중요한 성분인 저주파수 성분을 위주로 데드존을 이용한 스칼라 양자화 방법을 적용한 후, 저주파수 성분에 대한 양자화된 레벨 값이 존재할 경우에는 율-왜곡 최적화 기반 양자화를 적용한다. 또한, 고속 율-왜곡 최적화 기반 양자화 장치는, 저주파수 성분에 대한 양자화된 레벨 값이 존재하지 않을 경우에는 해당 변환 블록 내 전체 변환 계수에 대한 양자화된 레벨 값을 0으로 결정할 수 있다.

이때, 고속 율-왜곡 최적화 기반 양자화 장치는, 변환 블록 내에서 일부 변환 계수 위치 혹은 부블록에 대해서만 데드존을 이용한 스칼라 양자화 방식을 적용하고 해당 변환 계수 위치 혹은 부블록에서 양자화된 레벨 값이 존재할 경우에는 율-왜곡 최적화 기반 양자화를 적용할 수 있다. 또한, 고속 율-왜곡 최적화 기반 양자화 장치는, 해당 변환 계수 위치 혹은 부블록에서 양자화된 레벨 값이 존재하지 않을 경우에는 해당 변환 블록 내 전체 변환 계수에 대한 양자화된 레벨 값을 0으로 결정할 수 있다.

도 12를 참조하면, 데드존을 이용한 스칼라 양자화 방식을 적용할 변환 계수 위치(1201) 또는 부블록(1202)은 고속 율-왜곡 최적화 기반 양자화 장치에 의하여 변환 블록의 크기에 따라서 결정될 수 있다. 이때, 고속 율-왜곡 최적화 기반 양자화 장치는, 위치(1201) 또는 부블록(1202)에 데드존을 이용한 스칼라 양자화 방식을 적용해보고 율-왜곡 최적화 기반 양자화를 변환 블록 전체에 적용할지 결정할 수 있다.

일실시예에 따르면, 데드존을 이용한 스칼라 양자화 방식을 적용할 변환 계수 위치(1201) 또는 부블록(1202)은 고속 율-왜곡 최적화 기반 양자화 장치에 의하여 부호화 유닛의 예측 모드에 따라서 결정될 수 있다. 예를 들어, 예측 모드가 화면 내 예측 모드일 경우, 화면간 예측 모드 보다 상대적으로 저주파수 영역에 변환 계수가 많이 존재할 수 있다. 이때, 고속 율-왜곡 최적화 기반 양자화 장치는, 화면 내 예측 모드일 경우에, 화면간 예측 모드보다 저주파수 영역 부분에서 더 많은 변환 계수 위치 혹은 부블록들을 데드존을 이용한 스칼라 양자화 방식을 적용할 영역으로 결정할 수 있다.

또한, 일실시예에 따르면, 데드존을 이용한 스칼라 양자화 방법을 적용할 변환 계수 위치(1201) 또는 부블록(1202)은 색 성분인 휘도 성분 또는 색차 성분에 따라서 결정될 수 있다. 이때, 휘도 성분에는 색차 성분보다 변환 계수가 존재할 가능성이 높으므로, 고속 율-왜곡 최적화 기반 양자화 장치는, 색차 성분에 대한 변환 블록보다 휘도 성분에 대한 변환 블록에서 더 많은 변환 계수 위치 혹은 부블록들을 데드존을 이용한 스칼라 양자화 방식을 적용할 영역으로 결정할 수도 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (3)

1. 현재 블록의 잔여 신호를 획득하는 단계;
   상기 현재 블록의 잔여 신호에 대해 역양자화를 수행하는 단계;
   상기 현재 블록의 역양자화된 신호에 대해 역변환을 수행하는 단계; 및
   상기 현재 블록의 역변환된 신호에 기초하여 상기 현재 블록의 복원 신호를 생성하는 단계를 포함하고,
   상기 현재 블록 중 일부 영역에 대해서만 상기 잔여 신호가 획득되고,
   상기 일부 영역은 상기 현재 블록의 크기에 기반하여 결정되는 것을 특징으로 하는, 영상 복호화 방법.
   
2. 현재 블록을 예측하여 예측 신호를 생성하는 단계;
   상기 현재 블록의 예측 신호에 기초하여 상기 현재 블록에 대한 잔여 신호를 유도하는 단계;
   상기 현재 블록의 잔여 신호에 대해 변환을 수행하는 단계; 및
   상기 현재 블록의 변환된 신호에 대해 양자화를 수행하는 단계를 포함하고,
   상기 현재 블록의 변환된 신호 중 일부 영역에 대해서만 양자화되고,
   상기 일부 영역은 상기 현재 블록의 크기에 기반하여 결정되는 것을 특징으로 하는, 영상 부호화 방법.
   
3. 영상 부호화 방법에 의해 생성된 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체에 있어서,
   상기 영상 부호화 방법은,
   현재 블록을 예측하여 예측 신호를 생성하는 단계;
   상기 현재 블록의 예측 신호에 기초하여 상기 현재 블록에 대한 잔여 신호를 유도하는 단계;
   상기 현재 블록의 잔여 신호에 대해 변환을 수행하는 단계; 및
   상기 현재 블록의 변환된 신호에 대해 양자화를 수행하는 단계를 포함하고,
   상기 현재 블록의 변환된 신호 중 일부 영역에 대해서만 양자화되고,
   상기 일부 영역은 상기 현재 블록의 크기에 기반하여 결정되는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.