KR100701443B1

KR100701443B1 - 코드화된 비디오 신호의 트랜스코딩 방법 및 움직임 벡터 선택의 트랜스코더

Info

Publication number: KR100701443B1
Application number: KR1020007007807A
Authority: KR
Inventors: 모렐안소니
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1998-11-17
Filing date: 1999-11-01
Publication date: 2007-03-30
Also published as: KR20010034176A; WO2000030359A1; EP1048173A1; JP2002530949A; US6456661B1

Abstract

트랜스코더의 디코딩부와 리엔코딩부간에 다운샘플링 필터를 삽입함으로써, 해상도 감소 트랜스코딩이 수행될 수 있다. 디코딩된 움직임 벡터들을 엔코딩부로 전송하기 전에 상기 벡터들은 본 발명에 따라 사이즈 변경 단계 전후의 매크로블록들이 더이상 매치되지 않는 점을 고려하도록 스케일링, 세분화 및 최종 선택에 의해 처리된다.

응용 : MPEG-2 트랜스코더

다운샘플링 필터, 리엔코딩, 스케일링, 세분화, 절대 평균 오차

Description

코드화된 비디오 신호의 트랜스코딩 방법 및 움직임 벡터 선택의 트랜스코더{Method of transcoding coded video signals and corresponding transcoder with motion vector selection}

본 발명은 부화상들(sub-pictures)로 세분화된 화상들의 시퀀스에 대응되는 코드화된 인입 비디오 신호를 트랜스코딩하는 방법으로서, 상기 방법은, A) 상기 코드화된 인입 신호를 디코딩하는 단계; B) 상기 디코딩된 신호를 다운샘플링 필터링하는 단계; C) 상기 필터링된 디코딩된 신호를 리엔코딩(re-encoding)하는 단계를 포함하고, 상기 부화상들에 각각 관련되는 움직임 벡터(motion vector)들은 상기 리엔코딩 단계 동안에 재사용되도록 디코딩측으로부터 리엔코딩측으로 전송되고, 상기 전송 단계는 스케일링 및 세분화(refining) 동작들을 포함하는, 상기 트랜스코딩 방법에 관한 것이다. 본 발명은 또한 대응하는 트랜스코더에 관한 것이다. 특히, 본 발명은 화상의 수평 서브샘플링을 사용하는 경우에 MPEG-2 비디오 비트스트림들을 보다 낮은 비트레이트로 트랜스코딩하는데 이용될 수도 있다.

트랜스코더는 이전에 압축된 비디오 비트스트림을 또 다른 비트레이트 비디오 비트스트림으로 변환할 수 있는, 즉 실제로는 제 1 의 파라미터들의 세트(P₁)(원래의 코드화된 비디오 시퀀스의 파라미터들의 세트)에 대해 새로운 세트의 파라미터들(P₂)을 갖는 코드화된 비디오 시퀀스를 리엔코딩할 수 있는 시스템이다. 트랜스코더의 복잡도는 디코더 및 엔코더의 종래의 케스케이드와 비교할 때 다소 낮지만, 트랜스코딩된 시퀀스들의 질은 일반적으로 원래의 시퀀스들이 파라미터들(P2)에 따라 독립형 코더에 의해 엔코딩되는 경우의 상황과 비교하면 원래의 시퀀스들의 질에 근접하다.

실제에 있어서는, 미리 엔코딩된 비디오 스트림이 화상 유형들, 움직임 벡터들, 양자화 스텝사이즈들, 비트 할당 통계 등과 같은 몇몇 이용가능한 정보를 수반하는 것이 알려져 있다. 이를테면, 유럽 특허출원 EP-0690392호(PHF94001 CEP)에는, 상기와 같은 이미 유용한 정보에 기초하여 트랜스코더의 복잡성을 한층 더 감소시킬 수 있는 것이 개시되어 있다. 예컨대, 비트레이트 트랜스코더는 타겟으로 된 출력 비트레이트를 매치(match)시키도록 양자화 스텝들을 재연산함으로써 시퀀스의 비트레이트를 채널 용량 아래로 조정가능하게 하며, GOP(Group Of Pictures) 구조 및 움직임 벡터들이 변하지 않고 유지되므로 복잡성이 감소된다. 또한, 화상들은 완전하게 디코딩되어야 할 필요는 없으며, 이는 단일 움직임-보상된 루프를 이용하는 것을 가능하게 한다.

또한, 다른 코딩 파라미터들을 변경시키는 것이 관심의 대상일 수도 있다. 예컨대, 코드화된 라인당 포인트들의 수를 경감(포맷 트랜스코딩)함으로써 보다 더 적은 화상 데이터가 주어진 비트레이트에 대해 엔코딩되어야 한다. 따라서, 보다 많은 비트들이 그 데이터들을 엔코딩하는데 소비될 수 있고, 왜곡(즉, 압축 손실)이 감소된다. 하기의 설명에 있어서, 해상도 손실 및 압축 손실 간에 균형을 취하는 것으로서 3:2 수평 서브샘플링(예컨대, 720개의 화상 요소로부터 480개의 화상 요소로)에 초점을 맞추는 것이 선택되어 있지만, 서브샘플링 동작 전후에 걸쳐 화상들의 수평 사이즈들간에 다른 비율들도 가능함이 명백하다.

이러한 서브샘플링의 경우에 있어서, 입출력 매크로블록들(설명시에는 16×16 화상 소자들 각각)은 도 1에 도시된 바와 같이 3:2 수평 사이즈 변경(입력 비트 스트림에서 관측되는 원래의 매크로블록 에스펙트비를 나타내는 제 1 라인에 대해 제 2 라인으로 도시됨) 및 4:3 수평 사이즈 변경(제 3 라인으로 도시됨)에 대해 매치되지 않으므로, 트랜스코더의 디코딩부 및 엔코딩부는 동일한 움직임 벡터들을 이용할 수 없다. 그러므로 움직임 추정(motion estimation)이 요구된다. IEEE Transactions on Consumer Electronics, Vol.44, n⁰1, 제88-98면(1998년 2월)의 N.Bjork 등에 의한 문헌 "Transcoder architectures for video coding"에서는, 상기와 같은 종류의 추정을 위하여, 벡터들의 추출 이후에 평균화 또는 중앙값(median) 필터링 단계(또는 간단하게 픽킹 단계 : 4개 중 한 개)를 이용하여 단일 벡터로 맵핑되는 4개 벡터들(4개의 매크로블록들에 대응한다)로부터 최종의 출력 벡터가 얻어지는 방법이 제안되어 있다. 다음으로, 그 결과로 얻어지는 벡터는 수평 및 수직 양방향으로 2개로 분할되어 스케일링되고 세분화되어 예측될 매크로블록과 움직임-보상된 예측간의 매치를 최적화시킨다.

본 발명의 목적은 하드웨어 복잡성의 증가없이 보다 정밀한 움직임 벡터들을 도출해내는 향상된 움직임 추정기를 제안하기 위한 것이다.

따라서, 본 발명은 상술한 서두 부분에서 기술되어 있는 바와 같은 방법에 관한 것으로서, 상기 방법은 상기 전송 단계가 다음의 동작들을 순차적으로 포함하는 것을 특징으로 한다.

a) 다운샘플링 필터링 단계의 해상도 감소와 직접 관련하는 스케일링 벡터에 따라 디코딩측에서 이용가능한 모든 디코딩된 움직임 벡터들에 적용되는 스케일링 동작;

b) 상기 스케일링된 움직임 벡터들 중에서, 리엔코딩될 다운샘플링된 화상 영역을 커버하는 영역을 가진 N개의 디코딩된 부화상들에 대응하는 N개 움직임 벡터들의 세트의 추출 동작;

c) 세분화 동작;

d) 최저 절대 평균 오차(lowest mean absolute error) 등의 기준자에 따른, 벡터의 선택 동작.

실제적으로는, 국제 특허 출원 WO98/19460호에는, 해상도의 변화를 실행시키기 위한 수단과, 이와 동시에 그런 경우에, 스케일링 및 세분화 동작의 결과인 적합한 움직임 벡터들을 입력 디코더로부터 출력 엔코더로 전송시키기 위한 수단을 구비하는 트랜스코더 및 트랜스코딩 방법이 개시되어 있다. 그러나, 상기 처리는 본원에서와 같이 정밀하지는 않다.

이제 본원 발명의 이점에 대해 첨부 도면 및 하기의 실시예의 설명과 관련하여 보다 더 상세히 기술하기로 한다.

도 1은 각각 3:2 및 4:3 수평 사이즈 변경 이후에 매크로블록들의 에스펙트비로 화상들을 수평적으로 사이즈 변경하는 트랜스코더를 도시한 도면.

도 2는 다운샘플링 필터를 포함하는 트랜스코더를 도시한 도면.

도 3은 종래의 기술에 따른 움직임 벡터 추정을 도시한 도면.

도 4는 본 발명에 따른 움직임 벡터 추정을 도시한 도면.

이미 위에서 인용한 문헌 IEEE-TCE에 개시되어 있는 바와 같이, 트랜스코더의 디코딩부와 엔코딩부간에 삽입된 다운샘플링 필터에 의해 해상도가 감소될 수 있다. 본 특허 출원서에 첨부된 도 2에 도시되어 있는 종래의 실시예는 본 발명에 포함된 것으로 간주되는 상기 문헌에 설명되어 있다. 이러한 다운샘플링 필터를 삽입하는 경우에, 입력 및 출력 매크로블록들이 더이상 매치되지 않는 경우가 발생한다. 따라서, 인입 비디오 스트림으로부터의 추출된 움직임 벡터들을 출력 비디오 스트림을 위해 이용하는 것이 새로운 움직임 추정을 수행하는데 대부분 양호하다고 대개 간주되고 있지만, 트랜스코더의 디코딩부에서 이용가능한 움직임 벡터들은 엔코딩부의 움직임 보상 서브시스템에 의해 더이상 직접적으로 이용될 수는 없다.

상기 문헌에서도 또한 기술되어 있는 바와 같이, 벡터들의 수는 다음과 같은 방식으로 달성되는 동작에 의해 감소된다(도 3에서는 종래 기술을 따른 움직임 벡터 추정의 예를 도시하고 있는데, V는 디코딩부에서 디코딩된 4개 벡터들의 세트를 나타내고, V'는 상기 감소 동작의 실행 이후에 얻어진 최종 출력 벡터를 나타낸다).

- 4개의 벡터들이 분리 회로(31)에 의해 먼저 추출된다;

- 상기 벡터들은 평균화 또는 중앙값 필터링을 이용하거나 또는 그들 중 하나의 단일 벡터를 픽킹(필터링이라고도 한다)하는 것을 이용하여 필터링 회로(32)에서 하나의 벡터로 맵핑된다;

- 스케일링 회로(33)에서, 그 결과로 얻어진 벡터가 양방향으로 2개로 분할된다;

- 세분화 회로(34)는 마지막으로 예측될 매크로블록과 움직임 보상된 예측간의 매치를 최적화함으로써 출력 벡터를 조정할 수 있게 한다.

본 발명에 따른, N개의 디코딩된 벡터들로부터의 단일 벡터의 추정에 대해 이제 도 4를 참조하여 설명하기로 한다. 모든 디코딩된 움직임 벡터들은 스케일링 회로(41)에서 먼저 스케일링된다(스케일링 인자는 해상도 감소에 의존한다). 3:2 수평 사이즈 변경(도 1의 제 2 라인)의 예에서, 입력 비트스트림내의 3개의 매크로블록들은 출력 비트스트림내의 2개의 매크로블록들에 대응한다. 움직임 벡터들은 이제 수평적으로 사이즈 변경된 화상들과 관련하여 지정받아야 하기 때문에 새로운 벡터들이 기준 화상들의 경계 외측의 샘플들에 관련되지 않는지 주의를 기울여야 한다.

이 스케일링 단계 이후에, 엔코딩될 다운샘플된 화상 영역을 커버하는 영역을 가진 N개의 디코딩된 매크로블록들의 N개 벡터들은 분리 회로(42)에 의해 추출되고, 다음으로 세분화 회로(43)에서 세분화된다. 이러한 세분화는 예컨대, 매크로블록들의 상위 필드부 및 하위 필드부에 대응하는 최초 벡터들에 대해서 기준 프레임 화상에서의 pel(=picture element) 정확도와의 (±1,±1) 블록 매칭으로 이루어질 수 있고(예컨대, MPEG-2 표준에 따라 매크로블록 데이터는 프레임 또는 필드 구조 중 어느 하나로 구성될 수 있다), 다음으로 이전에 구한 2개의 벡터들에 기초한 프레임 벡터 연산 및 1/2 pel 세분화가 이어지고, 상기 (±1, ±1) 블록 매칭 동안에 구한 2개의 필드 pel 벡터들의 1/2 pel 세분화가 이어진다.

마지막으로 MAE(Mean Absolute Error)-기반 선택은 선택 회로(44)에서 실행된다. 그것은 다음의 동작들을 포함한다.

(a) 각각의 벡터에 대해, 상기 대응하는 움직임-보상된 예측이 형성된다;

(b) 다음으로 예측 오차는 엔코딩될 상기 화상 매크로블록으로부터 상기 움직임-보상된 예측을 감산하여 연산된다;

(c) 절대 예측 오차(MAE)의 픽셀 방식 합이 연산되고, 최저 MAE를 도출해내는 벡터가 선택된다.

Claims

부화상들(sub-pictures)로 세분화된 화상들의 시퀀스에 대응되는 코드화된 인입 비디오 신호를 트랜스코딩하는 방법으로서, 상기 방법은

A) 상기 코드화된 인입 신호를 디코딩하는 단계;

B) 상기 디코딩된 신호를 다운샘플링 필터링하는 단계;

C) 상기 필터링된 디코딩된 신호를 리엔코딩(re-encoding)하는 단계를 포함하고,

상기 부화상들에 각각 관련되는 움직임 벡터(motion vector)들은 상기 리엔코딩 단계 동안에 재사용되도록 상기 디코딩측으로부터 상기 리엔코딩측으로 전송되고,

상기 전송 단계는 스케일링 및 세분화(refining) 동작들을 포함하는, 상기 트랜스코딩 방법에 있어서, 상기 전송 단계가

a) 다운샘플링 필터링 단계의 해상도 감소와 직접 관련하는 스케일링 벡터에 따라, 상기 디코딩측에서 이용가능한 모든 상기 디코딩된 움직임 벡터들에 적용되는 상기 스케일링 동작;

b) 상기 스케일링된 움직임 벡터들 중에서, 리엔코딩될 상기 다운샘플링된 화상 영역을 커버하는 영역을 가진 N개의 디코딩된 부화상들에 대응하는 N개 움직임 벡터들의 세트의 추출 동작;

c) 상기 세분화 동작;

d) 최저 절대 평균 오차(lowest mean absolute error)와 같은 기준에 따른, 벡터의 선택 동작을 순차적으로 포함하는 것을 특징으로 하는 트랜스코딩 방법.
부화상들로 세분화된 화상들의 시퀀스에 대응하는 코드화된 인입 비디오 신호를 디코딩하기 위한 수단, 상기 디코딩된 신호를 다운샘플링 필터링하기 위한 수단, 상기 필터링된 디코딩된 신호를 리엔코딩하기 위한 수단, 및 상기 리엔코딩 수단에 의해 재사용되도록 상기 부화상들에 각각 관련된 움직임 벡터들을 상기 디코딩측으로부터 상기 리엔코딩측으로 전송하기 위한 수단을 포함하고, 상기 전송 수단은 스케일링 및 세분화 단들을 포함하는, 트랜스코더에 있어서, 상기 전송 수단은

a) 상기 디코딩측에서 이용가능한 모든 상기 디코딩된 움직임 벡터들을 수신하는 스케일링 단으로서, 상기 스케일링 단의 스케일링 인자는 상기 필터링 수단에 의해 수행되는 해상도 감소와 직접 관련하는, 상기 스케일링 단;

b) 상기 스케일링된 디코딩된 움직임 벡터들을 수신하고, 리엔코딩될 다운샘플링된 화상 영역을 커버하는 영역을 가진 N개의 디코딩된 부화상들에 대응하는 N개 벡터들의 세트를 추출하는 추출 단;

c) 상기 세분화 단;

d) 최저 절대 평균 오차와 같은 기준에 따라, 상기 N개의 세분화되고 스케일링된 움직임 벡터들 중에서 하나를 선택하기 위해 제공된 선택 단을 포함하는 것을 특징으로 하는 트랜스코더.