KR101461365B1 - 영상의 컨텐츠를 고려하여 양자화계수를 조절하는 영상의 부호화, 복호화 방법 및 장치 - Google Patents

Abstract

영상의 부호화 방법이 개시된다. 영상의 부호화 방법은, 영상을 캡쳐하는 단계, 상기 캡쳐된 영상을 분석하여 컨텐츠 종류별로 영역을 구분하는 단계, 상기 구분된 영역별로 소정의 범위 내에서 양자화계수(Quantization Parameter)를 결정하는 단계 및 상기 결정된 양자화 계수를 이용하여 상기 캡쳐된 영상을 양자화하는 단계를 포함한다.

Description

영상의 컨텐츠를 고려하여 양자화계수를 조절하는 영상의 부호화, 복호화 방법 및 장치 {A method and apparatus for encoding and decoding image for controlling quantization parameter considering contents type}

본 발명은 양자화계수를 조절하는 영상의 부호화 및 복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 영상의 컨텐츠를 고려하여 컨텐츠의 특성에 따라 양자화계수가 특정 범위 이내의 값을 갖도록 조절하는 영상의 부호화 및 복호화 방법 및 장치에 관한 것이다.

영상을 부호화하는 데 있어 고려해야 하는 중요한 요소 중 한 가지는 출력영상의 비트레이트이다. 출력영상의 비트레이트가 타깃 비트레이트를 넘어설 경우에는 영상을 전송하는 데 손실, 지연 등의 문제가 발생하기 때문이다.

비트레이트는 부호화된 프레임 당 비트 수 또는 비디오의 초당 비트 수로 특정되는데 인코더의 출력 비트레이트를 타깃 비트레이트에 맞추기 위해 인코딩 파라미터를 수정하는 것이 필요하다. 이 때 가장 많이 사용되는 것이 양자화계수(Quantization Parameter)를 조절하는 방법이다.

양자화계수를 증가시키면 출력영상의 비트레이트를 줄일 수 있어, 양자화계수 조절을 통해 출력 비트레이트를 타깃 비트레이트에 맞출 수 있다.

하지만, 양자화계수를 증가시켜 출력 영상의 비트레이트를 줄일 경우 원래의 이미지 값과 양자화 결과 값의 차이가 커져 화질이 떨어지게 되므로, 비트레이트와 화질 사이의 상호관계를 최적화하는 양자화계수를 선택해야 한다.

종래 기술에 따르면 비트스트림의 비트레이트를 타깃 비트레이트에 맞추기 위해 조절된 모든 블록에 동일한 양자화계수를 일괄적으로 적용한다. 따라서 일정 수준이상의 가독성을 요하는 영역의 경우에도, 타킷 비트레이트만을 고려한 양자화계수의 일괄적 적용으로 인해 화질이 급격히 떨어져 가독성이 보장되지 못하는 문제가 있다.

본 발명의 목적은 영상 부호화에 레이트 컨트롤을 적용할 때, 가독성과 식별 가능성이 보장되어야 하는 영역에 적용되는 양자화계수(Quantization Parameter)를 제한함으로써 일정 수준 이상의 화질을 보장하는 데 있다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 측면에 따른 영상의 부호화 방법은, 영상을 캡쳐하는 단계; 상기 캡쳐된 영상을 분석하여 컨텐츠 종류별로 영역을 구분하는 단계; 상기 구분된 영역별로 소정의 범위 내에서 양자화계수(Quantization Parameter)를 결정하는 단계; 및 상기 결정된 양자화 계수를 이용하여 상기 캡쳐된 영상을 양자화하는 단계를 포함한다.

또한, 본 발명의 제 2 측면인 영상의 복호화 방법은 입력된 비트스트림을 파싱하여 부호화되는 영상의 영역별로 컨텐츠 종류 정보를 독출하는 단계; 상기 컨텐츠 종류에 따라 상기 영역들에 적용되는 소정의 범위 내에서 결정된 양자화계수 정보를 독출하는 단계; 및 상기 양자화계수를 사용하여 상기 영역들의 데이터를 역양자화하는 단계를 특징으로 하는 영상의 복호화 방법을 포함한다.

또한, 본 발명의 제 3 측면인 영상의 부호화 장치는 영상을 캡쳐하는 캡쳐링 모듈; 상기 캡쳐된 영상을 분석하여 컨텐츠 종류별로 영역을 구분하는 이미지 분석 모듈; 상기 구분된 영역별로 소정의 범위 내에서 양자화계수를 결정하는 비트레이트 제어 모듈; 및 상기 결정된 양자화계수를 이용하여 상기 캡쳐된 영상을 부호화하는 인코더 엔진을 포함하는 것을 특징으로 하는 영상의 부호화 장치 특징으로 하는 영상의 부호화 장치를 포함한다.

또한, 본 발명의 제 4 측면인 영상의 복호화 장치는 파싱된 비트스트림으로부터 영상의 영역별 컨텐츠 종류를 파악하고 상기 컨텐츠 종류에 따라 상기 영역들에 대해 결정된 소정의 범위 내의 값을 갖는 양자화계수 정보를 독출하는 양자화계수 선택 모듈; 및 상기 추출된 양자화계수를 사용하여 현재 영역을 복호화하는 디코더 엔진을 포함하는 것 특징으로 하는 영상의 복호화 장치를 포함한다.

본 발명에 따르면 비트레이트 조절에 의해 화질이 저하되는 상황에서도, 일정 수준 이상의 가독성이 요구되는 영역에 적용되는 양자화계수 범위를 제한함으로써 화질을 보장할 수 있다.

또한, 본 발명에 따르면 양자화계수 범위 제한에 따른 비트레이트 보상을 위해 영상의 캡쳐 비율을 조절함으로써 대역폭이 열악한 환경에서도 타깃 비트레이트를 만족시키면서 일정 수준 이상의 화질을 보장할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 일 실시예를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화 장치의 일 실시예를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따라 영상의 컨텐츠에 따른 영역 분석의 일 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라 부호화기에서 양자화계수를 결정하는 방법을 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따라 부호화기에서 양자화계수를 결정하기 위해 영상 캡쳐 비율을 조절하는 방법을 나타내는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 양자화계수 정보가 비트스트림에 부가되는 일 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 양자화계수 결정 관련 정보가 블록에 부가되는 일 예를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 모든 컨텐츠가 양자화계수 제한 범위로 동일한 최대값을 사용하는 경우, 양자화계수 정보가 비트스트림에 부가되는 일 예를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 모든 컨텐츠가 양자화계수 제한 범위로 동일한 최대값을 사용하는 경우, 양자화계수 결정 관련 정보가 블록에 부가되는 일 예를 도시한 도면이다.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하지 않는다. 또한, 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.

도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 일 실시예를 나타낸 블록도이다.

도 1을 참조하면, 본 발명에 따른 영상 부호화 장치(100)는 캡쳐링 모듈(110), 이미지 분석 모듈(120), 비트레이트 제어 모듈(130) 및 인코더 엔진(140)을 포함할 수 있다.

도 1에 도시된 영상 부호화 장치(100)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

캡쳐링 모듈(110)은 사용자가 데스크 탑을 사용할 때 생성되는 영상을 캡쳐하여 인코더 엔진(140)에 입력으로 제공한다. 또한, 캡쳐링 모듈(110)은 영상 캡쳐 비율을 조절함으로써 캡쳐되는 영상의 비트레이트를 제어할 수 있다.

여기에서 캡쳐 비율이란 초당 캡쳐되는 프레임 횟수를 의미한다. 예를 들어 60Hz의 캡쳐 비율은 1초당 60개의 프레임이 캡쳐되는 것을 의미한다.

이미지 분석 모듈(120)은 캡쳐된 영상을 분석하여 영상을 컨텐츠 별로 구분한다. 일 예로 컨텐츠의 종류에는 텍스트, 비디오, 아이콘 이미지 등에 해당하는 합성(synthetic) 그래픽, 처리되지 않은(natural) 이미지 등이 있을 수 있다.

이렇게 캡쳐된 영상을 분석하여 컨텐츠 별로 영역을 구분함으로써, 컨텐츠의 특성에 따라 달라지는 가독성과 식별가능성을 각각 만족시킬 수 있다. 예를 들어, 텍스트의 경우 다른 컨텐츠에 비해 가독성이 중요시되므로, 해당 영역이 텍스트에 해당한다면 다른 컨텐츠 영역에 비해 화질을 높여주도록 한다. 구체적으로 화질을 향상시키는 방법에 대해서는 후술하도록 한다.

비트레이트 제어 모듈(130)은 출력 비트스트림의 비트레이트를 타깃 비트레이트에 맞추기 위해 출력 비트스트림의 비트레이트와 이미지 분석 모듈(120)의 영상 분석 결과를 토대로 인코더 엔진(140)에서의 양자화에 사용되는 양자화계수를 조절한다.

여기서 양자화란 어떤 범위의 값을 갖는 X를 보다 적은 범위의 값을 갖는 양자화된 신호 Y로 대체하는 것을 말한다. 양자화 과정을 적용하게 되면, 데이터를 보다 작은 정수값으로 표현할 수 있고 양자화를 거치지 않은 성분을 부호화하는 것에 비해 적은 비트수로 부호화할 수 있기 때문에 효율이 높아진다.

양자화 과정에서는 양자화계수가 중요한 요소인데, 양자화계수가 크면 양자화된 값들의 범위가 작으므로 효율적인 전송이 가능하다. 하지만, 양자화된 값들이 원래의 이미지값과 많은 차이를 보이게 되어 화질이 저하된다.

반면, 양자화계수가 작으면 양자화된 값들이 원래의 이미지값에 보다 근접하여 화질이 우수하지만 양자화된 값들의 범위가 크므로 압축 효율은 감소하게 된다.

이 때, 양자화계수는 일반적으로 소정의 양자화계수 결정 알고리즘, 예를 들어 레이트 컨트롤 알고리즘에 의해 결정된다. 여기에서 레이트 컨트롤은 인코더의 출력 비트레이트를 조절하는 것으로 타깃 비트레이트를 유지하고, 디코딩되는 영상의 왜곡을 최소한으로 줄이는 것을 목적으로 한다.

양자화계수가 증가하면 코딩되는 비트레이트를 감소시키는 반면, 디코딩되는 화질은 저하시키므로 화질과 비트레이트 두 가지 측면을 모두 고려하여 적절한 양자화계수를 도출하는 것이 필요하다. .

본 발명에서는, 레이트 컨트롤 알고리즘을 이용하여 양자화계수를 도출하고, 이 때 도출한 양자화계수가 소정의 범위에 포함되지 않을 경우 양자화계수를 범위의 최대값 또는 최소값으로 결정한다.

상기의 양자화계수를 소정의 범위로 제한하는 것은 컨텐츠 종류에 따른 영역에 따라 선택적으로 설정할 수 있다. 예를 들어 텍스트가 포함된 영역에 한해서 일정 수준의 화질을 보장하고 싶은 경우에는 텍스트 영역을 제외한 영역에 대해서는 소정의 범위로 양자화계수를 제한하지 않을 수 있다.

본원발명의 양자화계수 결정 방법에 대해 구체적으로 살펴보면, 레이트 컨트롤 알고리즘에 의해서 결정된 양자화계수가 소정의 설정 범위의 최대값보다 클 경우, 범위의 최대값을 양자화계수로 결정한다. 양자화계수가 커질수록 화질이 떨어지므로 설정 범위의 최대값으로 양자화계수를 제한함으로써 화질을 일정 수준으로 유지할 수 있다.

반면에 레이트 컨트롤 알고리즘에 의해서 결정된 양자화계수가 소정의 설정 범위의 최소값보다 작은 경우, 범위의 최소값을 양자화계수로 결정한다. 양자화계수가 작을수록 화질은 향상되지만, 양자화계수가 필요 이상으로 작은 값을 가지면 데이터 양이 과도하게 증가하므로 설정 범위의 최소값으로 양자화계수를 제한함으로써 데이터 양을 일정 수준으로 유지할 수 있다.

한편, 소정의 설정 범위로 제한될 경우 영상의 비트스트림 레이트가 타깃 비트스트림 레이트보다 커지는 경우가 발생할 수 있다. 일예로 영상을 구성하는 모든 영역의 양자화계수가 소정의 범위 내의 값을 갖도록 설정된 경우를 고려해 볼 수 있다.

상기 예에서 레이트 컨트롤 알고리즘에 의해 결정된 모든 영역의 양자화계수가 설정 범위를 초과할 경우 양자화계수는 설정 범위의 최대값으로 결정된다.

예를 들어 레이트 컨트롤 알고리즘에 의한 양자화계수가 15일 때 모든 영역에 대해 설정 범위의 최대값이 12라면 양자화계수는 12로 결정된다. 이 경우 타깃 비트레이트를 고려하여 결정된 양자화계수 15보다 작은 값으로 양자화가 수행되어 출력 비트스트림 레이트가 타깃 비트스트림 레이트를 초과하게 된다.

이러한 경우에는 타깃 비트스트림 레이트를 만족시키기 위해 캡쳐링 모듈(110)에서 캡쳐 비율을 변경하여 변경된 캡쳐 비율로 영상을 캡쳐하는 과정을 거친다.

일예로 캡쳐 비율이 60Hz 즉, 1초에 60장의 프레임을 캡쳐하도록 설정되어 있었던 경우에는, 데이터 양을 줄이기 위해 1초에 30장의 프레임을 캡쳐하는 것으로 캡쳐 비율을 변경할 수 있다. 캡쳐 비율 조절을 통해 이용되는 전체 프레임의 개수를 줄여 이미지 분석 모듈에 입력되는 데이터양을 감소시키면, 양자화계수가 일정 범위내로 제한되더라도 비트스트림 레이트가 줄어들어서, 타깃 비트스트림 레이트를 만족시킬 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상 복호화 장치의 일 실시예를 나타낸 블록도이다.

도 2를 참조하면, 본 발명에 따른 영상 복호화 장치(200)는 양자화계수 선택 모듈(210), 디코더 엔진(220)을 포함할 수 있다.

도 2에 도시된 영상 복호화 장치(200)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

양자화계수 선택 모듈(210)은 입력된 비트스트림으로부터 현재 영역의 복호화에 사용될 양자화계수 관련 정보를 추출 및 가공하여 디코더 엔진(220)에 전달한다.

여기에서 양자화계수 관련 정보란 영상의 영역을 컨텐츠 종류별로 구분할 수 있는 컨텐츠 종류 식별정보, 레이트 컨트롤 알고리즘에 의해 결정된 양자화계수, 각 영역별 양자화계수의 설정범위 및 설정된 양자화계수 범위 사용여부 정보가 포함된다.

일예로, 인코더로부터 출력된 비트스트림에 텍스트와 비디오 이미지가 포함되어 있고 텍스트 영역에만 양자화계수의 범위가 8 이상 12 이하로 제한되어 있는 경우를 생각해 볼 수 있다.

상기의 경우, 양자화계수 선택 모듈(210)은 입력되는 비트스트림의 각 블록의 컨텐츠 종류 식별정보로부터 해당 블록이 텍스트 영역에 해당하는지 비디오 이미지 영역에 해당하는 지 식별할 수 있다.

해당 영역이 텍스트 영역에 해당하는 것으로 판단된 경우, 블록의 양자화계수 범위 사용여부 정보를 이용하여 해당 영역의 양자화계수를 결정하는 데에 범위 제한이 있는지 판단한다.

예를 들어 양자화계수 범위 사용여부 정보 값이 1일 경우는 범위 제한이 존재하는 것이고 상기 값이 0일 경우에는 범위 제한이 존재하지 않는 것으로 판단할 수 있다. 텍스트 영역의 양자화계수 범위는 8 이상 12 이하로 제한되므로 이 경우, 양자화계수 범위 사용여부 정보는 1이 된다.

양자화계수 범위 제한이 있는 것으로 판단된 경우, 양자화계수의 설정범위 정보로부터 8이상 12이하라는 정보를 독출하여 텍스트 영역의 양자화계수를 결정할 수 있다.

반면에 해당 영역이 비디오 이미지 영역에 해당하는 것으로 판단된 경우, 블록의 양자화계수 범위 사용여부 정보를 이용하여 해당 영역의 양자화계수를 결정하는데에 범위 제한이 있는지 판단한다. 비디오 이미지 영역의 경우 범위 제한이 없으므로 양자화계수 범위 사용여부 정보를 0을 가진다.

상기 정보를 통해 비디오 이미지 영역의 양자화계수를 결정하는 데 있어서는 설정범위의 제한이 없다는 점을 도출해 낼 수 있다.

디코더 엔진(220)은 양자화계수 선택 모듈(210)에서 결정된 양자화계수를 사용하여 영상을 복호화한다.

도 3은 본 발명의 일 실시예에 따라 영상의 컨텐츠에 따른 영역 분석의 일 예를 도시한 도면이다.

영상(300)은 이미지 분석 모듈에 의해 컨텐츠 종류별로 각 영역이 구분된다. 각 영역들은 한 개 혹은 복수개의 블록으로 구성될 수 있다. 이 영역들 중 영역 A(310)는 텍스트 영역이고 영역 B(320)는 합성 그래픽 영역으로, 일정 수준 이상의 화질을 보장하기 위해, 양자화계수가 소정의 범위 안에서 결정되도록 제한한다.

본 발명에 따라 최대값을 설정하여 양자화계수를 제한할 경우, 양자화계수는 하기의 수학식 1로써 도출할 수 있다.

상기 수학식 1에서, QPRC는 레이트 컨트롤 알고리즘에 의해 결정된 양자화계수이며, QPMAX는 영역 A(310)와 영역 B(320)에 적용될 수 있는 양자화계수의 최대 설정값이다. 수학식 1에 의하여, 영역 A(310)와 영역 B(320)에 적용되는 양자화계수의 최대값은 QPMAX로 제한되며, 화질 또한 QPMAX에 의해 양자화된 결과로 보장된다.

영역 A(310)와 영역 B(320) 외 다른 영역에는 QPRC를 그대로 사용할 수 있으며, 또한, 영역 A(310)와 영역 B(320)에 각기 다른 QMAX를 설정하는 것도 가능하다.

반대로 영역 별로 최고 화질을 제한하기 위해 양자화계수의 최소값을 설정할수 있으며, 다음과 같이 최대값 및 최소값을 동시에 설정할 수 있다.

수학식 2는 최대값 및 최소값이 동시에 설정된 경우로, 레이트 컨트롤 알고리즘에 의해 결정된 QPRC가 QPMAX보다 클 경우에는 양자화계수는 QPMAX로 결정된다. 반면, 레이트 컨트롤 알고리즘 결과 QPRC가 QPMIN보다 작은 경우에는 양자화계수는 QPMIN으로 결정된다.

하기에서는 도 3을 바탕으로 본 발명에서의 다양한 실시예에 대해 가정해 보고 이에 대한 양자화계수 결정 과정에 대해 검토해 보도록 한다.

본 발명에 따른 부호화방법에 있어서 모든 컨텐츠 영역의 양자화 계수가 소정의 값을 초과하지 않도록 최대값이 설정되어 있고 모든 컨텐츠 영역에 대해 레이트 컨트롤 알고리즘에 의해 얻어진 양자화계수는 상기 소정의 값을 초과하지 않는다고 가정한다.

상기의 가정에서 QPRC_A1는 영역 A(310)의 레이트 컨트롤 알고리즘에 의한 양자화계수이고 QPRC_B1는 영역 B(320)의 레이트 컨트롤 알고리즘에 의한 양자화계수이며, QPRC_C1는 영역 C(330)의 레이트 컨트롤 알고리즘에 의한 양자화계수이다.

각 컨텐츠별 영역에 대해 레이트 컨트롤 알고리즘으로부터 얻어진 양자화계수가 각 영역의 컨텐츠에 따라 설정된 양자화계수 최대값(QPMAX_A1, QPMAX_B1, QPMAX_C1)보다 작은 경우에는 레이트 컨트롤 알고리즘으로부터 얻어진 양자화계수로 데이터를 양자화한다. 상기의 경우에는 레이트 컨트롤 알고리즘에 의한 양자화계수가 소정의 범위로 제한된 경우가 아니므로 캡쳐 영상의 출력 비트스트림 레이트가 타깃 비트스트림 레이트를 만족하게 된다.

다음으로, 본 발명에 따른 부호화방법에 있어서 특정 영역의 양자화 계수가 소정의 설정 범위의 최대값보다 클 경우의 일 예를 가정해 본다.

QPRC_A2는 영역 A(310)의 레이트 컨트롤 알고리즘에 의한 양자화계수이고 QPRC_B2는 영역 B(320)의 레이트 컨트롤 알고리즘에 의한 양자화계수이며, QPRC_C2는 영역 C2(3300)의 레이트 컨트롤 알고리즘에 의한 양자화계수이다.

본 예시에서는 A(310)의 경우 설정된 양자화계수의 최대값(QPMAX_A2)이 레이트 컨트롤 알고리즘으로부터 얻어진 양자화계수(QPRC_A2) 보다 작다고 가정한다. 상기의 경우 양자화계수 범위 제한에 따라 설정된 양자화계수의 최대값(QPMAX_A2)을 양자화계수로 결정한다.

B(320)와 C(330)의 경우에는 설정된 양자화계수의 최대값이 레이트 컨트롤 알고리즘으로부터 얻어진 양자화계수보다 크므로 레이트 컨트롤 알고리즘으로부터 얻어진 양자화계수를 현재 영역의 양자화계수로 결정한다. 이 때, 영역 A(310)가 레이트 컨트롤 알고리즘에 의한 값으로 양자화 되지 않아 타깃 비트스트림 레이트보다 영상의 출력 비트스트림 레이트가 클 경우에는 영역 B(320)와 영역 C(330)의 양자화계수가 타깃 비트스트림 레이트를 맞출 수 있도록 변경된다.

단 이 때에도, 영역 B(320)와 영역 C(330)의 양자화계수는 미리 설정된 양자화계수의 최대값을 벗어나지 않는 선에서 타깃 비트스트림 레이트를 맞출 수 있도록 결정된다.

만약 영역 A(310), 영역 B(320) 및 영역 C(330)에서 미리 설정된 양자화계수의 최대값으로 인해 양자화계수 크기가 제한되어 타깃 비트스트림 레이트를 만족시키지 못할 경우에는 캡쳐링모듈(110)에서 캡쳐 비율을 변경하여 타깃 비트스트림 레이트를 만족시키도록 한다.

본 발명에 따른 부호화방법에 있어서 특정 영역의 양자화계수가 미리 설정된 양자화계수의 최대값보다 크고 영상의 나머지 영역의 양자화계수는 미리 설정된 범위가 없는 경우의 일 예를 가정해 본다.

QPRC_A3는 영역 A(310)의 레이트 컨트롤 알고리즘에 의한 양자화계수이고 QPRC_B3는 영역 B(320)의 레이트 컨트롤 알고리즘에 의한 양자화계수이며, QPRC_C3는는 영역 C3(330)의 레이트 컨트롤 알고리즘에 의한 양자화계수이다.

영역 A(310)의 경우에는 미리 설정된 양자화계수의 최대값(QPMAX_A3)이 레이트 컨트롤 알고리즘으로부터 얻어진 양자화계수(QPRC_A3)보다 작으므로 미리 설정된 최대값(QPMAX_A3)을 현재 영역의 양자화계수로 결정한다.

영역 B(320)와 영역 C(330)의 양자화계수의 제한이 없으므로 레이트 컨트롤 알고리즘으로부터 얻어진 양자화계수가 현재 영역의 양자화계수로 결정된다.

본 발명에 따른 부호화방법에 있어서 모든 영역의 양자화 계수가 미리 설정된 양자화계수의 최대값보다 크고 미리 설정된 양자화계수의 최대값에 따른 출력 비트스트림 레이트가 타깃 비트스트림 레이트보다 클 경우의 일 예를 가정해 본다.

QPRC_A4는 영역 A(310)의 레이트 컨트롤 알고리즘에 의한 양자화계수이고 QPRC_B4는 영역 B(320)의 레이트 컨트롤 알고리즘에 의한 양자화계수이며, QPRC_C4는는 영역 C(330)의 레이트 컨트롤 알고리즘에 의한 양자화계수이다.

영역 A(310), 영역 B(320), 영역 C(330) 모두 미리 설정된 양자화계수의 최대값(QPMAX_A4, QPMAX_B4, QPMAX_C4)이 레이트 컨트롤 알고리즘으로부터 얻어진 양자화계수(QPRC_A4, QPRC_B4, QPRC_C4) 보다 작으므로 미리 설정된 양자화계수의 최대값(QPMAX_A4, QPMAX_B4, QPMAX_C4)을 현재 영역의 양자화계수로 결정한다.

레이트 컨트롤 알고리즘으로부터 얻어진 양자화계수가 아닌 미리 설정된 양자화계수의 최대값으로 양자화를 할 경우 타깃 비트스트림 레이트를 만족시키지 못하는 경우가 발생할 수 있다.

이 경우에는 캡쳐비율을 변경하여 이미지 분석 모듈(120)에 입력되는 데이터 양 자체를 조절하도록 한다. 캡쳐비율을 낮춤에 따라 양자화계수가 소정의 범위 이내로 제한된 경우에도 출력 비트스트림 레이트를 타깃 비트스트림 레이트에 맞출 수 있다.

도 4는 본 발명의 일 실시예에 따라 부호화기에서 양자화계수를 결정하는 방법을 나타내는 흐름도이다.

우선, 캡쳐링 모듈(110)로부터 블록을 입력받고(410), 입력받은 블록을 분석하여 컨텐츠의 종류를 파악(420)한다. 컨텐츠 종류가 파악되면, 컨텐츠 종류에 따라 현재 블록의 양자화계수가 소정의 범위 이내로 제한되는지 여부를 판단(430)한다.

현재 블록의 양자화계수를 소정의 범위 내의 값으로 제한할 필요가 있는 경우, 현재 블록에 사용되는 양자화계수는 레이트 컨트롤 알고리즘에 의해 결정된 QPRC와 QPMAX를 비교(440)하여 결정된다. 즉 QPRC가 QPMAX보다 큰 경우, QPLIM에는 QPMAX가 대입(460)되고, 아닌 경우에는 QPLIM에 QPRC가 대입(450)된다.

현재 블록이 양자화계수를 제한할 필요가 없는 영역일 경우, 현재 블록에 사용되는 양자화계수인 QPLIM에는 레이트 컨트롤 알고리즘에 의해 결정된 양자화계수인 QPRC 값이 대입(450)된다.

블록 부호화 단계에서는 QPLIM을 사용하여 블록을 부호화(470)한다.

도 5는 본 발명의 일 실시예에 따라 부호화기에서 양자화계수를 결정하기 위해 영상 캡쳐 비율을 조절하는 방법을 나타내는 흐름도이다.

캡쳐링 모듈(110)에서 영상을 캡쳐(502)하여 블록을 입력받고(504), 입력받은 블록을 분석하여 컨텐츠의 종류를 파악(506)한다. 도 5에서는 영상 캡쳐 비율 조절 단계를 설명하기 위해 현재 블록은 양자화계수의 설정 범위가 제한되어 있고, 레이트 컨트롤 알고리즘에 의해 도출된 양자화계수 QPRC가 QPMAX 보다 크다고 가정한다.

상기의 경우, 수학식 1에 따르면, QPRC가 QPMAX보다 큰 경우이므로, QPLIM에는 QPMAX를 대입(508)한다. 즉 QPMAX로 해당 영역의 양자화를 수행하게 되는데 QPMAX로 해당 영역을 양자화할 경우 데이터의 출력 비트스트림 레이트가 타깃 비트스트림 레이트를 만족하는지 판단(510)한다.

데이터의 출력 비트스트림 레이트가 타깃 비트스트림 레이트를 만족할 경우에는 QPLIM으로 양자화를 수행하여 블록을 부호화(512)한다. 반면에 데이터의 출력 비트스트림 레이트가 타깃 비트스트림 레이트를 만족하지 못할 경우에는 캡쳐링 모듈(110)에서 캡쳐 비율을 조절하도록 한다.

이러한 경우 캡쳐 비율을 줄임으로써 데이터의 비트스트림 레이트를 줄일 수 있다. 캡쳐 비율을 줄이면 1초당 캡쳐되는 프레임수가 줄어들어 입력되는 전체 데이터의 양이 줄어들게 되므로 양자화계수가 소정의 범위 내로 제한되는 경우에도 타깃 비트스트림 레이트를 만족시킬 수 있다.

변경된 캡쳐 비율로 캡쳐된 영상을 상기에서 언급한 일련의 과정을 거쳐, 설정해 놓은 양자화계수로 데이터를 양자화할 경우 영상의 비트스트림 레이트가 타깃 비트스트림 레이트를 만족하는지 다시 판단하여 양자화계수를 결정한다.

상기에서 언급한 일련의 과정의 반복을 통해 원하는 영역의 화질을 일정 수준으로 보장할 수 있고 이와 동시에 타깃 비트스트림 레이트 또한 만족시킬 수 있다.

도 6은 본 발명의 일 실시예에 따른 양자화계수 정보가 비트스트림에 부가되는 일 예를 도시한 도면이다.

비트스트림의 픽쳐 헤더(600)에는 레이트 컨트롤 알고리즘에 의해 결정된 양자화계수인 qp_picture(610)와 현재 픽쳐에 포함되는 컨텐츠 영역의 개수인 num_of_contents(620)가 포함될 수 있다. 또한, 각 컨텐츠 영역에 할당된 양자화계수 최대값인 max_qp_arr[num_of_contents](630)가 포함될 수 있다. 이 때, 각 컨텐츠 영역에 할당되는 양자화계수는 영역별로 식별 정보를 부가하여 각 컨텐츠 영역마다 다른 값으로 설정이 가능하다.

도 6의 max_qp_arr[num_of_contents](630)는 픽쳐 헤더에 포함되는 양자화계수 관련 정보의 일 예로, 양자화계수는 최대값 뿐만 아니라 최소값 설정 또는 최대값과 최소값을 동시에 설정하는 것 모두 가능하다.

도 7은 본 발명의 일 실시예에 따른 양자화계수 결정 관련 정보가 블록에 부가되는 일 예를 도시한 도면이다.

모든 블록은 해당 블록이 포함되는 영역의 종류를 명시하는 contents_type(710)과 양자화계수가 소정의 범위내의 값으로 제한되는지 여부를 명시하는 use_limited_qp_flag(720)를 갖는다.

use_limited_qp_flag(720)의 값이 1이면, 현재 블록을 위한 양자화계수로 픽쳐 헤더(600)에 명시되어 있는 max_qp_arr[num_of_contents](630)가 사용된다. 반면에, use_limited_qp_flag(720)의 값이 0이면, 현재 블록을 위한 양자화계수로 레이트 컨트롤 알고리즘 결과값인 qp_picture(610)가 사용된다.

양자화계수 범위를 최소값만 제한하는 경우나 최대값과 최소값 모두를 제한하는 경우에도 상기에서 언급한 방법을 통해 해당 블록에 범위 제한 여부를 명시할 수 있다.

도 8은 본 발명의 일 실시예에 따른 모든 컨텐츠가 동일한 양자화계수 최대값을 사용하는 일 예를 도시한 도면이다.

픽쳐 헤더(800)에는 레이트 컨트롤 알고리즘에 의해 결정된 qp_picture(810)와 양자화계수를 제한할 경우 사용될 max_qp(820)가 기재된다. 도 8의 실시예는 모든 컨텐츠가 양자화계수로 동일한 최대값을 사용하는 경우이므로, 컨텐츠 종류에 따라 영역을 구분할 필요가 없다.

컨텐츠 종류에 관계없이 양자화계수로 최소값을 동일하게 설정하는 경우, 혹은 최대값과 최소값을 동일하게 설정하는 경우도 도 8의 실시예와 같은 방식으로 구현 가능하다.

도 9는 본 발명의 일 실시예에 따라 모든 컨텐츠 영역의 양자화계수가 소정의 값을 초과하지 않도록 최대값이 설정되어 있는 경우이다. 상기의 경우 모든 컨텐츠 영역이 동일한 설정 범위로 제한되므로 컨텐츠 종류에 따라 영역을 구분할 필요가 없다. 그러므로 양자화계수가 소정의 범위로 제한되는지 여부를 명시하는 use_limited_qp_flag(910) 정보만을 포함하고 있어도 모든 영역에 대한 양자화계수의 결정이 가능하다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 영상 부호화 장치
110: 캡쳐링 모듈
120: 이미지 분석 모듈
130: 비트레이트 제어 모듈
140: 인코더 엔진

Claims (24)

1. 영상의 부호화 방법에 있어서,
   상기 영상으로부터 캡쳐된 제 1 영상에서, 컨텐츠 종류에 따라 구분된 영역별로 소정의 범위 내에 포함되는 양자화계수(Quantization Parameter)를 결정하는 단계;
   상기 결정된 양자화계수를 이용하여 상기 제 1 영상을 양자화한 결과 산출된 비트레이트와 타깃 비트레이트를 비교하여, 상기 영상의 캡쳐 비율을 변경하는 단계;
   상기 영상으로부터 상기 변경된 캡쳐 비율에 따라 캡쳐된 제 2 영상의 양자화계수를 재결정하는 단계; 및
   상기 재결정된 양자화계수를 이용하여 상기 제 2 영상을 양자화하는 단계를 포함하는 것을 특징으로 하는 영상의 부호화 방법.
2. 제 1항에 있어서, 상기 양자화계수를 결정하는 단계는,
   상기 컨텐츠 종류에 따라 양자화계수의 범위를 다르게 설정하며, 소정의 양자화계수 결정 알고리즘에 따라 결정된 상기 양자화계수가 상기 설정 범위를 초과할 경우에는 상기 소정의 범위의 최대값을 상기 양자화계수로 결정하고, 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수가 상기 소정의 범위 미만인 경우에는 상기 소정의 범위의 최소값을 상기 양자화계수로 결정하고, 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수가 상기 소정의 범위 이내일 경우에는 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수를 상기 양자화계수로 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상의 부호화 방법.
3. 제 1항에 있어서, 상기 영상의 캡쳐 비율을 변경하는 단계는,
   상기 결정된 양자화계수를 이용하여 제 1 영상을 양자화한 결과 산출된 비트레이트가 상기 타깃 비트레이트를 벗어날 경우 캡쳐 비율을 조절하는 단계를 포함하고,
   상기 양자화계수를 재결정하는 단계는,
   상기 영상으로부터 상기 변경된 캡쳐 비율에 기초하여 캡쳐된 상기 제 2 영상의 양자화계수를 컨텐츠 종류에 따라 구분된 영역별로 재결정하는 단계를 포함하는 것을 특징으로 하는 영상의 부호화 방법.
4. 제 1항에 있어서,
   상기 영역별로 상기 소정의 범위에 대한 정보를 판단할 수 있는 정보를 상기 캡쳐된 제 1 영상을 부호화하여 얻어진 비트스트림에 부가하는 단계를 더 포함하는 것을 특징으로 하는 영상의 부호화 방법.
5. 제 1항에 있어서,
   상기 영역을 식별할 수 있는 정보를 상기 영역을 구성하는 블록에 부가하는 단계를 더 포함하는 것을 특징으로 하는 영상의 부호화 방법.
6. 제 1항에 있어서,
   상기 양자화계수가 상기 소정의 범위에 속하는지 판단하여, 상기 양자화계수를 상기 소정의 범위로 제한할지 여부를 식별할 수 있는 정보를 상기 영역을 구성하는 블록에 부가하는 단계를 더 포함하는 것을 특징으로 하는 영상의 부호화 방법.
7. 영상의 복호화 방법에 있어서,
   입력된 비트스트림을 파싱하여 부호화되는 영상의 영역별로 컨텐츠 종류 정보를 독출하는 단계;
   상기 컨텐츠 종류에 따라 상기 영역들에 적용되는 소정의 범위 내에서 결정된 양자화계수 정보를 독출하는 단계; 및
   상기 양자화계수를 사용하여 상기 영역들의 데이터를 역양자화하는 단계를 포함하고,
   상기 양자화계수는 부호화된 영상의 비트레이트가 타깃 비트레이트를 벗어날 경우 캡쳐 비율을 조절하여 재결정될 수 있는 것을 특징으로 하는 영상의 복호화 방법.
8. 제 7항에 있어서,
   상기 소정의 범위 내에서의 양자화계수 결정은 상기 컨텐츠 종류에 따라 양자화계수의 범위를 다르게 설정하며, 소정의 양자화계수 결정 알고리즘에 따라 결정된 상기 양자화계수가 상기 설정 범위를 초과할 경우에는 상기 소정의 범위의 최대값을 상기 양자화계수로 결정하고, 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수가 상기 소정의 범위 미만인 경우에는 상기 소정의 범위의 최소값을 상기 양자화계수로 결정하고, 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수가 상기 소정의 범위 이내일 경우에는 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수를 상기 양자화계수로 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상의 복호화 방법.
9. 삭제
10. 제 7항에 있어서,
    상기 소정의 범위 정보를 상기 영상의 비트스트림에서 추출하여 상기 양자화계수가 상기 소정의 범위 이내인지 판단하는 단계를 더 포함하는 것을 특징으로 하는 영상의 복호화 방법.
11. 제 7항에 있어서,
    상기 영역을 식별할 수 있는 정보를 상기 영역을 구성하는 블록으로부터 추출하는 것을 특징으로 하는 영상의 복호화 방법.
12. 제 7항에 있어서,
    상기 양자화계수가 상기 소정의 범위에 속하는지 판단하여, 상기 양자화계수를 상기 소정의 범위로 제한할지 여부를 결정할 수 있는 정보를 상기 영역을 구성하는 블록으로부터 추출하는 단계를 더 포함하는 것을 특징으로 하는 영상의 복호화 방법.
13. 영상의 부호화 장치에 있어서,
    상기 영상으로부터 제 1 영상을 캡쳐하는 캡쳐링 모듈;
    상기 캡쳐된 제 1 영상을 분석하여 컨텐츠 종류별로 영역을 구분하는 이미지 분석 모듈;
    상기 구분된 영역별로 소정의 범위 내에서 양자화계수를 결정하는 비트레이트 제어 모듈; 및
    상기 결정된 양자화계수를 이용하여 상기 캡쳐된 영상을 양자화하는 인코더 엔진을 포함하고,
    상기 캡쳐링 모듈은 상기 결정된 양자화계수를 이용하여, 상기 제 1 영상을 양자화한 결과 산출된 비트레이트와 타깃 비트레이트를 비교하여, 상기 영상의 캡쳐 비율을 변경하는 것을 특징으로 하는 영상의 부호화 장치.
14. 제 13항에 있어서, 상기 비트레이트 제어 모듈은,
    상기 컨텐츠 종류에 따라 양자화계수의 범위를 다르게 설정하며, 소정의 양자화계수 결정 알고리즘에 따라 결정된 상기 양자화계수가 상기 설정 범위를 초과할 경우에는 상기 소정의 범위의 최대값을 상기 양자화계수로 결정하고, 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수가 상기 소정의 범위 미만인 경우에는 상기 소정의 범위의 최소값을 상기 상기 양자화계수로 결정하고, 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수가 상기 소정의 범위 이내일 경우에는 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수를 상기 양자화계수로 결정하는 것을 특징으로 하는 영상의 부호화 장치.
15. 제 13항에 있어서, 상기 캡쳐링 모듈은,
    상기 결정된 양자화계수에 따라 부호화된 영상의 비트레이트가 타깃 비트레이트를 벗어날 경우 상기 영상을 캡쳐하는 단계에서 캡쳐 비율을 조절하는 것을 특징으로 하는 영상의 부호화 장치.
16. 제 13항에 있어서, 상기 인코더 엔진은,
    상기 구분된 영역별로 상기 소정의 범위를 판단할 수 있는 정보를 비트스트림에 부가하는 것을 특징으로 하는 영상의 부호화 장치.
17. 제 13항에 있어서, 상기 인코더 엔진은,
    상기 구분된 영역을 식별할 수 있는 정보를 상기 영역을 구성하는 블록에 부가하는 것을 특징으로 하는 영상의 부호화 장치.
18. 제 13항에 있어서, 상기 인코더 엔진은,
    상기 양자화계수가 상기 소정의 범위에 속하는지 판단하여, 상기 양자화계수를 상기 소정의 범위로 제한할지 여부를 식별할 수 있는 정보를 상기 영역을 구성하는 블록에 부가하는 것을 특징으로 하는 영상의 부호화 장치.
19. 영상의 복호화 장치에 있어서,
    파싱된 비트스트림으로부터 캡쳐된 영상의 영역별 컨텐츠 종류를 파악하고 상기 컨텐츠 종류에 따라 상기 영역들에 대해 결정된 소정의 범위 내의 값을 갖는 양자화계수 정보를 독출하는 양자화계수 선택 모듈; 및
    상기 독출된 양자화계수를 사용하여 현재 영역을 복호화하는 디코더 엔진을 포함하고,
    상기 양자화계수는 부호화된 영상의 비트레이트가 타깃 비트레이트를 벗어나는 경우, 캡쳐 비율을 조절하여 재결정될 수 있는 것을 특징으로 하는 영상의 복호화 장치.
20. 제 19항에 있어서,
    상기 영역들에 대한 소정의 범위 결정은 상기 컨텐츠 종류에 따라 양자화계수의 범위를 다르게 설정하며, 소정의 양자화계수 결정 알고리즘에 따라 결정된 상기 양자화계수가 상기 설정 범위를 초과할 경우에는 상기 소정의 범위의 최대값을 상기 양자화계수로 결정하고, 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수가 상기 소정의 범위 미만인 경우에는 상기 소정의 범위의 최소값을 상기 양자화계수로 결정하고, 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수가 상기 소정의 범위 이내일 경우에는 상기 소정의 양자화계수 결정 알고리즘에 따라 결정된 양자화계수를 상기 양자화계수로 결정하는 것을 특징으로 하는 영상의 복호화 장치.
21. 삭제
22. 제 19항에 있어서, 상기 양자화계수 선택 모듈은,
    상기 소정의 범위 정보를 상기 캡쳐된 영상의 비트스트림에서 추출하여 상기 양자화계수가 상기 소정의 범위 이내인지 판단하는 것을 특징으로 하는 영상의 복호화 장치.
23. 제 19항에 있어서, 상기 양자화계수 선택 모듈은,
    상기 영역을 식별할 수 있는 정보를 상기 캡쳐된 영상을 구성하는 상기 영역을 구성하는 블록으로부터 추출하는 것을 특징으로 하는 영상의 복호화 장치.
24. 제 19항에 있어서, 상기 양자화계수 선택 모듈은,
    상기 양자화계수가 상기 소정의 범위에 속하는지 판단하여, 상기 양자화계수를 상기 소정의 범위로 제한할지 여부를 결정할 수 있는 정보를 상기 영역을 구성하는 블록으로부터 추출하는 것을 특징으로 하는 영상의 복호화 장치.

Images