KR20060118459A

KR20060118459A - 비디오 인코딩 방법 및 디바이스

Info

Publication number: KR20060118459A
Application number: KR1020067008803A
Authority: KR
Inventors: 스테판 올리버 미에텐스
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2003-11-07
Filing date: 2004-11-01
Publication date: 2006-11-23
Also published as: WO2005045764A1; CN1894725A; JP2007515097A; EP1683110A1; US20070025440A1

Abstract

본 발명은 각각의 프레임이 블록들로 서브분할되는 연속적인 프레임들의 그룹들로 구성된 입력 이미지 시퀀스를 인코딩하기 위한 비디오 인코딩 방법 및 대응하는 비디오 인코딩 디바이스에 관한 것이다. 이러한 방법 및 디바이스는 각각의 프레임에 대해 계산된 소위 콘텐트-변화 세기(content-change strength; CCS)에 기초하여 상기 시퀀스를 전처리하는 단계; 각각의 블록에 대해 추정된 모션 벡터들을 사용하여 예측된 프레임을 생성하는 단계; 현재 프레임과 마지막으로 예측된 프레임 사이의 차 신호에 다수의 계수들을 생성하는 변환 부단계를 적용하고, 상기 계수들의 양자화 부단계를 적용하는 단계; 및 상기 양자화된 계수들을 코딩하는 단계를 포함한다. 본 발명에 따르면, 상기 CCS는 상기 양자화 부단계에서 사용되는 양자화 인자를 수정하기 위해 상기 양자화 부단계에서 사용되고, 상기 CCS 및 상기 양자화 인자는 동시에 증가하거나 감소한다.

비디오 인코딩, 프레임, 인코더

Description

비디오 인코딩 방법 및 디바이스{Video encoding method and device}

본 발명은 블록들로 서브분할되는 연속적인 프레임들의 그룹들로 구성된 입력 이미지 시퀀스를 인코딩하기 위해 제공된 비디오 인코딩 방법으로서,

- 임의의 미리 결정된 규칙들을 적용함으로써 각각의 프레임에 대해 계산된 소위 콘텐트-변화 세기(content-change strength; CCS)에 기초하여 상기 시퀀스를 전처리하는 단계;

- 현재 프레임의 각각의 블록에 대해 모션 벡터를 추정하는 단계;

- 상기 현재 프레임의 블록들에 각각 연관된 상기 모션 벡터들을 사용하여 예측된 프레임을 생성하는 단계;

- 상기 현재 프레임과 마지막으로 예측된 프레임 사이의 차 신호에 다수의 계수들을 생성하는 변환 부단계를 적용하고, 상기 계수들의 양자화 부단계를 적용하는 단계; 및

- 상기 양자화된 계수들을 코딩하는 단계를 포함하는 비디오 인코딩 방법에 관한 것이다.

본 발명은 예컨대 시간 리던던시를 감소시키기 위해 기준 프레임들을 필요로 하는 비디오 인코딩 디바이스들(예컨대, 모션 추정 및 보상 디바이스들)에 적용가능하다. 이러한 동작은 현재 비디오 코딩 표준들의 부분이며, 미래 코딩 표준들의 부분과 유사할 것으로 예측된다. 비디오 인코딩 기술들은 예컨대 디지털 비디오 카메라들, 이동 전화기들, 또는 디지털 비디오 기록 디바이스들과 같은 디바이스들에서 사용된다. 게다가, 비디오를 코딩 또는 트랜스코딩하기 위한 애플리케이션들은 본 발명에 따른 기술을 사용하여 향상될 수 있다.

비디오 압축시에, 코딩된 비디오 시퀀스를 전송하기 위한 저비트율들은 (특히) 연속적인 화상들 사이에 시간 리던던시를 감소시킴으로써 획득될 수 있다. 이러한 감소는 모션 추정(ME) 및 모션 보상(MC) 기술들에 기초한다. 그러나, 비디오 시퀀스의 현재 프레임에 대해 ME(motion estimation) 및 MC(motion compensation)를 수행하는 것은 기준 프레임들(소위, 고정 프레임들)을 필요로 한다. 예로서 MPEG-2를 취하면, ME 및 MC가 다르게 수행되는 다른 프레임 타입들, 즉 I-, P-, 및 B-프레임들이 정의되며, I-프레임들(또는, 인트라 프레임들)은 과거 또는 미래의 프레임들을 참조하지 않고(즉, 어떠한 ME 및 MC 없이) 자체적으로 독립적으로 코딩되며, P-프레임들(또는 순방향 예측 화상들)은 과거 프레임에 비례하여 차례로 인코딩되며(즉 이전 기준 프레임으로부터의 모션 보상을 사용하여), B-프레임들(또는 양방향 예측된 프레임들)은 두개의 기준 프레임들(과거 프레임 및 미래 프레임)에 비례하여 인코딩된다. I- 및 P-프레임들은 기준 프레임들로서 사용된다.

양호한 프레임 예측들을 달성하기 위해, 이들 기준 프레임들은 고품질일 필요가 있으며, 즉 많은 비트들이 프레임들을 코딩하기 위해 소비되어야 하며, 비기준 프레임들은 저품질일 수 있다(이러한 이유로 인해, 다수의 비기준 프레임들, 즉 MPEG-2의 경우에 B-프레임들은 일반적으로 저비트율을 야기한다). 어느 입력 프레임이 I-프레임, P-프레임 또는 B-프레임으로서 처리되는지를 지시하기 위해, 화상들의 그룹들(GOP들)에 기초한 구조는 MPEG-2에서 정의된다. 더 구체적으로, GOP는 두개의 파라미터들 N 및 M을 사용하며, 여기서 N은 두개의 I-프레임들 사이의 시간 거리이며 M은 기준 프레임들 사이의 시간 거리이다. 예컨대, (N, M)-GOP (여기서, N=12 및 M=4)가 보통 사용되며, "I B B B P B B B P B B B" 구조를 정의한다.

연속적인 프레임들은 일반적으로 그들 사이에 긴 시간 거리를 가진 프레임들보다 높은 시간 상관관계를 가진다. 따라서, 기준 프레임과 현재 예측된 프레임 사이의 짧은 시간 거리들은 높은 예측 품질을 야기하는 한편, 다른 한편으로는 낮은 비기준 프레임들이 사용될 수 있다는 것을 의미한다. 높은 예측 품질 및 다수의 비기준 프레임들은 일반적으로 저비트율들을 야기하지만, 프레임 예측 품질이 단지 짧은 시간 거리들로부터 야기되기 때문에 서로에 대해 작용한다.

그러나, 상기 품질은 실제로 기준들로 사용되기 위해 기준 프레임들의 유용성에 따른다. 예를 들어, 장면 변화 직후에 배치된 프레임과 장면 변화 직전에 배치된 프레임이 단지 1의 프레임 거리만을 가질 수 있을지라도, 장면 변화 직전에 배치된 기준 프레임에 대해, 장면 변화 직후에 배치된 프레임의 예측이 상기 기준 프레임과 관련하여 불가능하다는 것은 명백하다. 다른 한편으로, 정지된 또는 거의 정지된 콘텐트를 가진 장면들(예컨대, 화상회의 또는 뉴스)에서는 100 이상의 프레임 거리가 고품질의 예측을 가능하게 한다.

앞서 언급된 예들로부터, 일반적으로 사용되는 (12, 4)-GOP와 같은 고정 GOP 구조는 만일 기준 프레임들이 장면 변화 직전에 배치되면 정지 콘텐트의 경우 또는 부적절한 위치에서 기준 프레임들이 너무 자주 도입되기 때문에 비디오 시퀀스를 코딩하기에 비효율적이다. 장면-변화 검출은 프레임의 양호한 예측이 장면 변화로 인해 가능하지 않는 위치(만일 I-프레임이 이 위치에 배치되지 않으면)에 I-프레임을 도입하기 위해 이용될 수 있는 알려진 기술이다. 그러나, 시퀀스들은 높은 모션을 가지나 장면 변화가 거의 일어나지 않는(예컨대, 단일 장면내에서 테니스 선수가 연속적으로 추적되는 시퀀스에서) 일부 프레임들 이후에 프레임 콘텐트가 거의 완전히 다른 경우에 상기 기술들로부터 이용되지 않는다. 2003년 10월 14일, 본 출원인에 의해 이미 출원된 이전 유럽특허 출원번호 제03300155.3호(PHFR030124)는 보다 양호한 기준 프레임들을 검색하기 위한 새로운 방법을 개시하고 있다. 이러한 방법은 이하에서 연상될 것이다.

따라서, 본 발명의 목적은 기준 프레임들로서 사용될 수 있으면서 코딩 비용을 현저하게 감소시키는 양호한 프레임들을 검색하기 위한, 이전 방법에 기초한 비디오 인코딩 방법을 제공하는 것이다.

이를 위해, 본 발명은 상세한 설명의 서두에서 한정되며 CCS가 양자화 부단계에서 사용되는 양자화 인자를 수정하기 위해 양자화 부단계에서 사용되는 비디오 인코딩 방법에 관한 것이며, CCS 및 양자화 인자는 동시에 증가 또는 감소한다.

본 발명은 또한 이러한 방법을 구현하기 위한 디바이스에 관한 것이다.

본 발명은 첨부 도면들을 참조로 하여 지금 예로서 기술될 것이다.

도 1은, 앞서 인용된 유럽특허 출원에 개시된 상세한 설명에 따라, 코딩된 비디오 시퀀스의 기준 프레임들의 위치를 정의하기 위해 사용되는 규칙들을 도시하는 도면.

도 2는 이전 유럽특허 출원에 개시된 인코딩 방법을 수행하며 예로서 MPEG-2를 사용하는 인코더를 도시하는 도면.

도 3은 본 발명에 따른 인코딩 방법을 수행하는 인코더를 도시하는 도면.

앞서 인용된 문헌은 코딩 비용을 감소시키기 위해 입력 시퀀스의 프레임들이 기준 프레임들로서 사용될 수 있는 검색 방법을 기술한다. 이러한 방법의 원리는 이하에 리스트되고 도 1에 도시된 것과 같은 임의의 단순한 규칙들에 기초하여 콘텐트 변화의 세기를 측정하는 것이며, 여기서 수평축은 관련 프레임의 수에 대응하고, 수직축은 콘텐트 변화의 세기 레벨에 대응하며: 콘텐트 변화의 측정된 세기는 레벨들(예컨대, 5개 레벨들, 여기서 숫자는 제한되지 않는다)로 양자화되며, I-프레임들은 레벨 0의 콘텐트-변화 세기(CCS)를 가진 프레임들의 시퀀스의 시작부에 삽입되는 반면에, P-프레임들은 CCS의 레벨 증가가 발생하기전 또는 CCS의 레벨 감소가 발생한후에 삽입된다. 측정은 예컨대 휘도, 모션 벡터 등에 기초하여 수평 및 수직 에지들 또는 다른 타입의 측정치들을 검출하는 단순한 블록 등급일 수 있다.

MPEG 인코딩 경우와 관련된 이전 방법의 구현이 도 2에 도시된다. 인코더는 코딩 브랜치(101) 및 예측 브랜치(102)를 포함한다. 브랜치(101)에 의해 수신되는 코딩될 신호들은 계수들로 변환되고 DCT 및 양자화 모듈(11)에서 양자화되며, 양자화된 계수들은 모션 벡터들(MV)과 함께 코딩 모듈(13)에서 코딩된다. DCT 및 양자화 모듈(11)의 출력에서 이용가능한 신호들을 입력 신호들로서 수신하는 예측 브랜치(102)는 역양자화 및 역 DCT 모듈(21), 가산기(23), 프레임 메모리(24), 모션 보상(MC) 회로(25) 및 감산기(26)를 직렬로 포함한다. MC 회로(25)는 또한 프레임 메모리(24)의 출력 및 입력 기록된 프레임들(이하의 설명된 바와 같이 정의됨)로부터 모션 추정(ME) 회로(27)(많은 모션 추정기들이 사용될 수 있음)에 의해 생성된 모션 벡터들(MV)을 수신하며, 이들 모션 벡터들은 코딩 모듈(13) 쪽으로 전송되며, 코딩 모듈(13)의 출력("MPEG 출력")은 다중화된 비트스트림의 형태로 저장 또는 전송된다.

인코더(연속적인 프레임들 Xn)의 비디오 입력은 전처리 브랜치(103)에서 전처리된다. 첫째, GOP 구조 정의 회로(31)는 GOP들의 구조를 연속적인 프레임들로부터 정의하기 위해 제공된다. 프레임 메모리들(32a, 32b,....)은 회로(31)의 출력에서 이용가능한 I, P, B 프레임들의 시퀀스를 기록하기 위해 제공된다(기준 프레임들은 상기 기준 프레임들에 따라 비기준 프레임들전에 코딩 및 전송되어야 한다). 이들 기록된 프레임들은 감산기(26)의 양의 입력을 통해 전송된다(감산기(26)의 음의 입력은 MC 회로(25)의 출력에서 이용가능한 출력 예측 프레임들을 앞서 기술된 바와 같이 수신하며, 이들 출력 예측 프레임들은 가산기(23)의 제 2 입력에 다시 전송된다). 감산기(26)의 출력은 코딩 브랜치(101)에 의해 처리되는 코 딩될 신호들인 프레임 차이들을 전송한다. GOP 구조의 정의를 위해 CCS 계산 회로(33)가 제공된다.

그 다음에, 모션으로부터 발생할 수 있는 CCS가 높을수록 뷰어가 제공된 비디오를 덜 용이하게 추적할 수 있다는 것이 발견되었다. 결과적으로, 본 발명에 따르면, 코딩 브랜치의 DCT 및 양자화 모듈(11)쪽으로 CCS 계산회로의 출력 정보를 전송함으로써 획득되는 CCS의 함수로서 모듈(11)에서 사용되는 양자화 인자(CCS 및 양자화 인자는 동시에 증가 또는 감소한다)를 증가시키거나 감소시키는 것이 제안된다. 도 3의 종래기술 부분에서 설명된 바와 같이(도 3은 본 발명의 상세한 설명과 관련된 이하의 단락에서 도입된다) 코딩 모듈(13)이 버퍼 메모리와 직렬로 배열된 가변-길이 코딩(VCL) 회로로 구성된다는 것은 알려져 있으며, 버퍼 메모리의 출력은 양자화 인자를 수정하기 위해 레이트 제어 회로(133)로 다시 전송된다.

본 발명에 따르면, 유사한 회로들이 도 2에서 지정된 도면부호들과 동일한 도면부호들로 지정된 도 3에 도시된 바와 같이, 양자화 인자의 제안된 수정을 구현할 수 있도록 한 추가 접속부(200)는 CCS 계산회로(33)와 레이트 제어 회로(133)사이 및 코딩 브랜치의 DCT 및 양자화 모듈(11)과 CCS 계산회로(33) 사이에 제공된다. 이러한 접속부(200)는 코딩 시스템의 두개의 코딩 모드들, 즉 소위 개방-루프 코딩 모드(비트 레이트 제어 없는) 및 폐루프 코딩 모드(비트-레이트 제어 수행)를 확장한다.

예컨대 개방-루프 코딩 모드에서는 양자화기 설정들이 고정되어 있다. 인코딩된 스트림의 결과적인 비트율은 복잡한 장면들(잔재(residue)가 높게 코딩될 필 요가 있음)보다 단순한 장면들(잔재가 낮게 코딩될 필요가 있음)에 대해 자동적으로 낮다. 시퀀스가 높은 모션을 포함하는 전술한 코딩의 경우는 높은 비트율로 코딩되는 복잡한 장면들과 관련된다. 높은 모션 장면들에 대한 비트율은 높은 양자화에 의해 감소될 수 있으며, 이에 따라 모션으로 인해 관찰자가 추적할 수 없는 장면들의 공간적 세부사항들이 제거된다. 양자화는 소위 q_fixed인 원래의 고정된 양자화기 인자 및 CCS의 함수인 양자화 인자 q_ccs를 정의함으로써 제어될 수 있다.

q_ccs=q_fixed+f(CCS),

여기서, f()는 q_fixed로부터 허용된 최대 q_max까지 q_ccs를 증가시키기 위해 양의 정수들 0,....(q_max-q_fixed)를 생성하는 함수이다. f()에 대한 예들은 CCS=0 내지 CCS_max에 대해 f1(CCS)=round(CCS*(q_max-q_fixed)/(CCS_max)) 또는 f2(CCS)=round((q_max-q_fixed+1)^(CCS/CCS_max)-1)이다.

폐루프 코딩에서, 양자화 인자 q_adapt는 미리 결정된 적정 비트율을 달성하기 위해 적응된다. 폐루프 코딩을 위해 요구되는 비트율 제어기들은 기본적으로 비트 버짓들(bit budgets)로 작용하며 이용가능한 버짓에 기초하여 q_adapt를 선택한다. 이는 개방-루프 코딩과 관련하여 기술된 양자화 인자 q_css가 사용될 수 있고 단지 a_fixed가 q_adapt로 대체된다는 것을 의미한다. 그 다음에, 비수정된 레이트 제어기와 비교하면, 비트 버짓은 CCS가 높을때 증가하고 이들 추가 비트들은 낮은 CCS를 가진 프레임들에 의해 자동적으로 소모되는데, 이는 q_adapt 값이 증가된 비트 버짓으로 인해 감소하기 때문이다.

Claims

블록들로 서브분할되는 연속적인 프레임들의 그룹들로 구성된 입력 이미지 시퀀스를 인코딩하기 위해 제공된 비디오 인코딩 방법으로서,

- 임의의 미리 결정된 규칙들을 적용함으로써 각각의 프레임에 대해 계산된 소위 콘텐트-변화 세기(content-change strength; CCS)에 기초하여 상기 시퀀스를 전처리하는 단계;

- 상기 프레임들의 각각의 블록에 대해 모션 벡터를 추정하는 단계;

- 현재 프레임의 블록들에 각각 연관된 상기 모션 벡터들을 사용하여 예측된 프레임을 생성하는 단계;

- 상기 현재 프레임과 마지막으로 예측된 프레임 사이의 차 신호에, 다수의 계수들을 생성하는 변환 부단계를 적용하고, 상기 계수들의 양자화 부단계를 적용하는 단계; 및

- 상기 양자화된 계수들을 코딩하는 단계를 포함하며;

상기 CCS는 상기 양자화 부단계에서 사용되는 양자화 인자를 수정하기 위해 상기 양자화 부단계에서 사용되고, 상기 CCS 및 상기 양자화 인자는 동시에 증가하거나 감소하는, 비디오 인코딩 방법.
블록들로 서브분할되는 연속적인 프레임들의 그룹들로 구성된 입력 이미지 시퀀스를 인코딩하기 위해 제공된 비디오 인코딩 디바이스로서,

- 임의의 미리 결정된 규칙들을 적용함으로써 각각의 프레임에 대해 계산된 소위 콘텐트-변화 세기(CCS)에 기초하여 상기 시퀀스를 전처리하기 위해 제공된 전처리 수단;

- 상기 프레임들의 각각의 블록에 대해 모션 벡터를 추정하기 위해 제공된 추정수단;

- 현재 프레임의 블록들에 각각 연관된 상기 모션 벡터들에 기초하여 예측된 프레임을 생성하기 위해 제공된 생성수단;

- 상기 현재 프레임과 마지막으로 예측된 프레임 사이의 차 신호에, 다수의 계수들을 생성하는 변환을 적용하고, 상기 계수들의 양자화를 적용하기 위해 제공된 변환 및 양자화 수단; 및

- 상기 양자화된 계수들을 인코딩하기 위해 제공된 코딩수단을 포함하며;

상기 전처리 수단의 출력은, 상기 양자화 부단계에서 사용되는 양자화 인자를 상기 CCS에 기초하여 수정하기 위해 상기 변환 및 양자화 수단의 입력에서 수신되고, 상기 CCS 및 상기 양자화 인자는 동시에 증가하거나 감소하는, 비디오 인코딩 디바이스.