KR100588797B1

KR100588797B1 - 인코딩된 데이터 스트림의 데이터를 수정하기 위한 방법 및 장치

Info

Publication number: KR100588797B1
Application number: KR1019997011189A
Authority: KR
Inventors: 베일레울니콜라스
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1998-03-31
Filing date: 1999-02-11
Publication date: 2006-06-13
Also published as: CN1272287A; JP2002500851A; JP4308924B2; EP0995316A2; KR20010013202A; WO1999051033A2; US6181743B1; CN1179574C; WO1999051033A3; BR9904912A; US6493389B1

Abstract

인코딩된 데이터 스트림을 디코딩하고 그것을 재-인코딩하는 기본 트랜스코더는 상기 스트림의 데이터를 국부적으로 수정하기 위해 사용될 수도 있다. 상기 수정은, 주어진 수정 데이터 스트림에 기초하여 예측 데이터 스트림을 정의하고, 수정 데이터 스트림과 예측 데이터 스트림간의 차를 디코딩된 스트림－트랜스코더의 디코딩된 부분과 재-인코딩된 부분 사이의－에 부가함으로써 실행된다. 개선된 구현에서, 수정 데이터 스트림이 전처리되어, 디코딩된 데이터 스트림에서, 디코딩된 데이터에 대한 상기 수정 데이터의 국부 교체를 얻을 수 있도록 한다.

데이터 스트림, 트랜스코더, 움직임 벡터, 매크로블록, 화상

Description

인코딩된 데이터 스트림의 데이터를 수정하기 위한 방법 및 장치{Method and device for modifying data in an encoded data stream}

본 발명은 서브-화상들로 분할되는 연속하는 화상들에 대응하는 인코딩된 데이터 스트림의 데이터를 수정하는 방법에 관한 것으로,

- 상기 인코딩된 데이터 스트림을 디코딩하는 단계;

- 디코딩된 데이터 스트림을 재-인코딩하는 단계를 포함한다.

또한, 본 발명은 상기 방법을 실행하기 위한 비디오 처리 장치에 관한 것이다. 본 발명은, 예를 들어, 방송국(broadcaster)이 그 자신의 로고와 같은 부가 데이터를 화상들의 시퀀스에 도입하고자 할 때 유용하며, MPEG-2 압축 분야(MPEG-2는 TV 방송의 공통 표준이 될 것이다)뿐만 아니라 보다 일반적으로는 임의의 디지털 비디오 데이터 압축 시스템에 적용될 수 있다.

그러한 경우에, 즉, 전송 전에 기존의 코딩된 비트스트림에 부가 디지털 데이터가 부가되어야 할 때, 가장 손쉬운 해결책은 상기 부가를 수행하기 전에 상기 비트스트림을 디코딩하는 것이다. 그후, 수정된 비트스트림이 재-코딩되어 전송된다. 불행하게도, 풀(full) 디코딩은 디코더와 인코더를 필요로 하기 때문에 일반적으로 값비싼 것으로 고려될 수 있다. 또한, 재-추정 모드들과 벡터들에 의한 재-인코딩은 로고 부가에 의해 손대지 않은 채 남겨져 있는 영역들에 아티팩트들(artefacts)을 도입할 수도 있다.

따라서, 본 발명의 제 1 목적은 기존의 코딩된 비트스트림에서 데이터를 부가하기 위한 저비용의 해결책을 제안하는 것이다.

이를 위해, 본 발명은 설명의 서두에서 기술한 것과 같은 방법에 관한 것이고, 또한, 다음의 단계들, 즉,

- 입력 수정 데이터 스트림에 기초하여 예측 데이터 스트림을 정의하는 단계;

- 그것을 재-인코딩하기 전에, 수정 데이터 스트림과 예측 데이터 스트림 사이의 차를 디코딩된 데이터 스트림에 부가하는 단계를 포함하는 것을 특징으로 한다..

이 방법은 혼합하는 단계 덕분에, 트랜스코더의 나머지 신호(residue signal)에 부가될 수 있는 특정 정정 신호로 부가 데이터를 변환하는 효과를 가진다.

본 발명의 다른 목적은 상기 데이터의 부가에 대하여 개선된 품질로 데이터의 삽입을 실행하기 위한 개선된 방법을 제안하는 것이다.

이를 위해, 본 발명은, 디코딩된 비트스트림에서, 디코딩된 데이터에 대한 상기 수정 데이터의 대체(substitution)를 얻기 위해, 수정 데이터 스트림을 전처리하는 단계를 더 포함하는 것을 특징으로 하는 방법에 관한 것이다.

또한, 본 발명의 다른 목적은 상술된 방법들을 구현하기 위한 장치들을 제안하는 것이다.

이를 위해, 본 발명은 제 1 구현에서 비디오 코딩된 데이터 스트림에 데이터를 부가하기 위한 장치에 관한 것이고, 이 장치는,

(1) 상기 데이터 스트림을 디코딩하고 그것을 재-인코딩하기 위한 트랜스코더;

(2) 부가 브랜치로서,
(ⅰ) 트랜스코더에서 정의된 움직임 벡터들과 이러한 부가 데이터에 기초하여 예측 신호를 정의하고;

(ⅱ) 상기 트랜스코더의 디코딩 부분과 재-인코딩 부분간의 상기 데이터 스트림에, 상기 예측 신호와 상기 부가 데이터간의 차를 부가하는 것을 고려하여, 상기 차를 정의하기 위한 상기 부가 브랜치를 포함하는 것을 특징으로 한다.

삭제

또한, 본 발명은 제 2 구현에서, 비디오 코딩된 데이터 스트림에 데이터를 삽입하기 위한 장치에 관한 것으로, 이 장치는,

(1) 상기 비트스트림을 디코딩하고 그것을 재-인코딩하기 위한 트랜스코더;

(2) 삽입 브랜치로서,
(ⅰ) 이러한 부가 데이터에 기초하여 전처리 신호를 정의하고;

(ⅱ) 트랜스코더에서 정의된 움직임 벡터들과 상기 전처리 신호에 기초하여 예측 신호를 정의하고;

(ⅲ) 상기 트랜스코더의 디코딩 부분과 재-인코딩 부분 사이의 상기 비트스트림에, 상기 전처리 부가 데이터와 상기 예측 신호간의 차를 삽입하는 것을 고려하여, 상기 차를 정의하기 위한 상기 삽입 브랜치를 포함하는 것을 특징으로 한다.

삭제

미국 특허 제 5,691,986 호에는 인코딩된 데이터 스트림에 데이터를 삽입하기 위한 방법 및 장치가 개시되어 있다. 그러나, 설명한 것과 같은 상황에서, 상기 스트림은 사실상, 기본 데이터 스트림들 중 하나를 추출하고, 이 추출된 스트림에 대해 데이터 감소 동작을 수행하며, 상기 데이터를 감소된 데이터 스트림에 삽입하기 위하여, 디멀티플렉스되어야 하는 데이터 스트림들의 멀티플렉스이다. 본 발명은 화상에 데이터를 부가하거나, 개선된 실시예에서는 화상의 일부분을 다른 화상 데이터로 대체하는 명확한 목적을 갖는다.
본 발명의 상기 및 다른 특징들은 이하 설명되는 실시예를 참조하여 명백해질 것이다.

도 1 및 도 2는 종래의 비디오 디코더 및 인코더를 도시하는 도면.

도 3은 로고를 인입 비트스트림에 부가하기 위한 전송 체인의 가능한 개요를 도시하는 도면.

도 4는 로고 가산기(logo adder)가 없는, 공지된 트랜스코더의 아웃라인을 도시하는 도면.

도 5는 본 발명에 따른, 로고 가산기가 제공될 때의 트랜스코더를 도시하는 도면.

도 6은 본 발명에 따른 로고 삽입 장치가 제공될 때의 트랜스코더를 도시하는 도면.

도 7은 상기 로고 삽입 장치에서 이루어지는 연산을 도시하는 도면.

도 8 내지 도 10은 휘도 성분과 색차 성분에 대해 실행하는 처리를 도시하는 도면.

도 11 및 도 12는 상기 처리 이후에 실행되는 로고 클리핑을 도시하는 도면.

도 1에 도시된 것과 같은 종래의 비디오 디코더는 가변 길이 디코딩 회로(1), 역 양자화 회로(2) 및 역 주파수 변환 회로(3)(각각 VLD, IQ, IDCT)를 직렬로 포함하는 디코딩 채널(12)과, 디코더의 출력 신호들을 수신하는 화상 메모리(4), 움직임 보상 회로(5)(상기 보상은 디코더에 의해 수신된 움직임 벡터들(V(n))과 메모리(4)의 출력 신호들을 고려한다) 및 회로들(3, 5)의 출력 신호들의 가산기(6)(각각 MEM, COMP, A)를 포함하는 움직임 보상 채널(14)을 포함한다. 디코더의 출력 화상(또한 화상 메모리(4)에 전송됨)는 디코딩 채널(12)의 회로(3)의 출력에서 이용 가능한 디코딩된 나머지 신호에 예측(회로(5)의 출력)을 부가하여 재구성된다.

도 2에 도시된 바와 같은 종래 비디오 인코더는, 이산 코사인 변환 회로(25), 양자화 회로(26), 가변 길이 코딩 회로(27)(각각 DCT, Q, VLC) 및 회로(26)의 출력에서 직렬로 역 양자화 회로(28)와 역 이산 코사인 변환 회로(29)(각각 IQ 및 IDCT)를 포함하는 인코딩 및 디코딩 채널(13)과, 입력 신호로부터 움직임 보상된 예측을 감산하는 것을 허용하고, 예측 전에 화상들의 재구성을 위한 가산기(21), 화상 메모리(22), 움직임 보상 회로(23) 및 감산기(24)(각각 A, MEM, COMP, S)를 포함하는 예측 채널(11)을 포함한다. 상기 보상은 미리 추정된 움직임 벡터들(V(n))을 고려한다.

전송 체인에서 로고와 같은 데이터를 인입 비트스트림에 부가할 수 있도록 하는 가능한 방법 및 장치가 도 3에 도시되어 있다. 상기 체인은 제 1 인코더(31)("인코더 1"이라 함), 인코더(31)의 출력에서 이용 가능한 코딩된 비트스트림에 로고를 부가하기 위한 서브-시스템(305)과, 전송 후에는, 디코더(35)("디코더 2")를 포함한다. 예시된 바와 같이, 상기 인코더와 디코더 사이에 제공되는 서브-시스템은 디코더(32)("디코더 1"), 로고 가산기(33) 및 인코더(34)("인코더 2")를 포함한다. 그때, 상기 디코더(32)와 상기 인코더(34)로부터 시작하고, 그들의 상보성의 장점을 고려하여, 본 발명에 따른 트랜스코더의 아웃라인에 최종적으로 도달하도록 하기 위해 몇몇의 단일화가 이루어질 것이다.

도 2에 따르면, 제 1 인코더(31)에 대해서는 다음과 같다:

R(n,1)=I(n)-P(I'(n-1),1;V(n)) (1)

여기서, R(.)와 P(.)에서의 인덱스 (,1)는 "제 1" 인코더(31)(=인코더 1)를 나타내고, I(n)는 인코더의 원래의 비디오 입력이고, P(I'(n-1),1;V(n))는 미리 "디코딩된" 화상(I'(n-1))에 움직임 벡터(V(n))를 적용하여 연산되는 예측 신호로, 코딩될 나머지 신호(R(n))를 얻기 위하여 원래의 입력 비트스트림(I(n))으로부터 감산되어야 하고, R(n)는 이 나머지 신호를 나타낸다. 인코더의 예측 채널의 입력에서 이용 가능한 신호(R'(n))는 코딩 에러라고 하는 값(e(n))에 의해 R(n)과는 다르고; R'(n)는 R(n)+e(n)과 같고, 그러므로, 이 예측 채널의 가산기의 출력에서의 신호는 I'(n)=I(n)+e(n)이다.

인코더(31)에 후속하는 제 1 디코더(32)에 대해, 도 1에 따라 유사하게 다음과 같다:

I'(n,1)=R'(n,1)+P(I'(n-1),1;V(n)) (2)

여기서, I'(.)와 R'(.)에서의 인덱스(,1)는 "제 1" 디코더(32)를 나타내고, R'(n)은 디코딩된 나머지 신호이고, P(I'(n-1),1;V(n))는 R'(n)에 부가되는 예측이고, I'(n)는 디코더의 출력을 나타낸다. 위에서 알 수 있는 바와 같이, 또한, I'(n,1)는 다음의 형태로 쓰여질 수도 있다:

I'(n,1)=I(n)+e(n,1)

말하자면, 디코더의 출력은 I(n)의 코딩 동작 동안의 코딩 에러(e(n))와 원래의 입력 신호(I(n))의 합이다. 로고 가산기(33)의 출력에서는 결론적으로 다음과 같다:

J'(n,1)=I'(n,1)+Logo(n) (3)

여기서, I'(n)는 디코더(32)의 출력이고, Logo(n)은 메인 비트스트림에 부가될 데이터(예를 들어, 로고)이다. 결과 출력 J'(n)는 인코더(34)로 보내진다.

이 제 2 인코더(34)에 대해서는 다음과 같다(제 1 인코더(31)의 이전 경우와 유사함):

R(n,2)=J'(n,1)-P(J'(n-1),2;V(n)) (4)

여기서, R(.)와 P(.)의 인덱스(,2)는 "제 2" 인코더(34)를 나타내고, P(J'(n-1),2;V(n))는 코딩되어야 하는 나머지 신호를 얻기 위해 로고 가산기(33)의 출력(J'(n-1))으로부터 감산되어야 하는 예측이고, R(n)는 상기 나머지 신호를 나타낸다.

마지막으로, 제 2 디코더(35)에 대해서는 다음과 같다(제 1 디코더(32)의 이전 경우와 유사함):

J'(n,2)=R'(n,2)+P(J'(n-1),2;V(n)) (5)

여기서, J'(.), R'(.) 및 P(.)의 인덱스(,2)는 "제 2" 디코더(35)를 나타내고, R'(n)은 디코딩된 나머지 신호이고, P(J'(n-1),2;V(n))는 R'(n)에 부가되는 예측이고, J'(n)는 디코더의 출력을 나타낸다. 디코더(32)에서와 같이, J'(n,2)는 또한 다음 형식으로 나타낼 수도 있다:

J'(n,2)=J'(n,1)+e(n,2)

J'(n,2)=I'(n,1)+Logo(n)+e(n,2)

J'(n,2)=I(n)+e(n,1)+Logo(n)+e(n,2) (6)

이것은, 전송 체인의 출력 신호 J'(n,2)가 사실 원래의 입력 신호(I(n)), 제 1 코딩 에러(제 1 인코더 및 디코더에서의 코딩/디코딩), 제 2 코딩 에러(제 2 인코더 및 디코더에서의 코딩/디코딩), 및 부가 데이터의 합과 같음을 의미한다.

그때, 움직임 보상 오퍼레이터의 선형성(linearity)을 이용하여, 다음과 같이 나타낼 수도 있다:

P(J'(n-1),2;V(n))=P[((J'(n-1),1)+(e(n-1),2));V(n)] (7)

이것은 관계식(4)를 다음과 같이 나타낼 수 있도록 한다.

R(n,2)=J'(n,1)-P[((J'(n-1),1)+(e(n-1),2));V(n)] (8)

다시 보상 오퍼레이터의 선형성을 이용하면 다음과 같다:

P(J'(n-1),1;V(n))=P[(I'(n-1)+Logo(n-1)),1;V(n)]

또는

P(J'(n-1),1;V(n))=P(I'(n-1),1;V(n)+P(Logo(n-1),1;V(n)) (9)

따라서, 관계식(8)은 다음과 같이 된다:

R(n,2)=I'(n,1)+Logo(n)-P(e(n-1),2;V(n))

-P(I'(n-1),1;V(n))-P(Logo(n-1),1;V(n)) (10)

또는, 관계식(2)로부터:

R(n,2)=R'(n-1)-P(e(n-1),2;V(n))

+Logo(n)-P(e(n-1),2;V(n))

-P(I'(n-1),1;V(n))-P(Logo(n-1),1;V(n)) (11)

마지막으로 다음 관계식(12)이 도출된다:

R(n,2)=R'(n-1)-P(e(n-1),2;V(n))

+Logo(n)-P(Logo(n-1);V(n)) (12)

이는 본 발명에 따라 제안되는 로고 가산기를 갖는 트랜스코더의 최종 시스템 방정식이다.

로고 가산기가 없는 트랜스코더의 일반적 아웃라인은 도 4에서 먼저 상기된다(도 5와 비교하기 위해). 이것은 나머지 디코딩 브랜치(41)(가변 길이 디코딩(VLD)+역 양자화(IQ)+역 이산 코사인 변환(IDCT)), 인코딩 및 디코딩 브랜치(42)(이산 코사인 변환(DCT)+양자화(Q)+가변 길이 코딩(VLC); 역양자화(IQ)+역 이산 코사인 변환(IDCT)), 및 의사-예측 브랜치라고 하는 중간 브랜치(43)(제 1 감산기(S)+메모리(MEM)+움직임 벡터들(V(n))에 기초한 움직임 보상(COMP)+제 2 감산기(S))를 포함한다. 이 브랜치(43)는 기초 인코더로서 고전적인 예측이 정확하지 않기 때문에 그렇게 불리며, 여기서는 제 1 가산기가 감산기로 교체된다. 이전에 언급된 신호들(R'(n,1), R(n,2), R'(n,2), e(n,2), V(n), P(e(n-1), 2; V(n))은 도 4에 도시된다.

이어서, 본 발명에 따른 트랜스코더의 대응하는 개요－즉, 로고 가산기를 가짐－가 도 5에서 도시되며, 도 4와 비교하여 동일한 부분들은 동일한 방법으로 나타낸다. 부가적인 부분은, 부가될 로고(신호 Logo(n))를 수신하는 메모리(MEM)(51), 벡터들(V(n))과 메모리(51)의 출력을 수신하고 예측 데이터 스트림을 전달하는 움직임 보상 회로(COMP)(52), 원래의 신호 Logo(n)와 회로(52)의 출력에서 이용 가능한 움직임 보상된 것(P(Logo(n-1);V(n))(예측 데이터 스트림) 사이의 차를 전달하는 감산기(S)(53), 및 (연속하는 화상들의 완전한 순서에 대응하는) 메인 스트림에 상기 감산기(53)의 출력 신호를 입력하기 위한 가산기(54)를 포함하는 로고 부가 브랜치(50)이다. 따라서, 로고 부가는 인입 비트스트림에 대한 나머지 부가에 의해 구현되고, 이 나머지는, 미리 저장된 로고를 포함하는 참조 화상들에 기초하고 메인 인입 비트스트림과 동일한 모드들과 벡터들을 사용하는 움직임 보상된 로고 예측을 갖는 로고를 감산하여 형성된다.

상술된 방법과 장치는 더 개선될 수도 있다. 실제로 부가하는 것을 더이상 고려하지 않고, 화상의 다른 부분의 수정없이, 메인 비디오 비트스트림에 (로고와 같은) 부가 데이터를 삽입하는 것을 고려한다.

이러한 데이터의 삽입－즉, 상기 데이터에 의한 화상(또는 화상들의 시퀀스)의 영역의 교체－은 원래의 픽셀들(=화상 소자들)에 대한 풀 액세스를 필요로 하는 비-선형 처리이다. 그러므로, 높은 품질의 로고 삽입을 위해서, 인입 비트스트림의 풀 디코딩이 실행되어야 한다. 본 발명에 따르면, 이러한 풀 디코딩은 저비용의 거친 디코딩으로 교체된다(여기서는 MPEG-2 표준의 경우로 설명된다).

본 발명에 따른 트랜스코드의 대응하는 개요－즉, 로고 삽입기를 가짐－가 도 6에 도시되며, 도 4와 비교하여 동일한 부분들은 동일한 방법으로 나타낸다. (도 4에 대해) 부가적인 부분은 지금부터 상세히 설명될 로고 삽입 장치(400)이다.

이 로고 삽입 장치에서 4 단계들이 구현된다. 제 1 단계는 소위 DC 추정 단계로서, 추정단(410)에서 실행된다. MPEG 시퀀스의 각 화상은 매크로블록들이라고 하는 움직임 보상 유닛들로 서브분할된다. 또한, MPEG 표준에서는 세 종류의 화상들, 즉, 다른 화상들을 참조하지 않고 코딩되는 I(또는 인트라) 화상들, 과거 화상(I 또는 P)를 참조하여 코딩되는 P(또는 예측) 화상들, 및 과거 및 미래 화상(I 또는 P)를 참조하여 코딩되는 B(또는 양방향 예측) 화상들이 고려된다. 이러한 I 및 P 화상들은 참조 프레임들이라고 한다. 추정단 410에서, 각 매크로블록의 평균값은 참조 프레임들(관련된 버퍼 메모리들(401, 402)에 미리 저장되어 있음)의 평균값들과 인입되는 나머지(도 4에서 R'(n,1)로 참조된 신호)의 현재 평균값에 따라 추정된다. DCP(b, Y)가 성분 Y의 매크로블록(b)에 대한 예측 PR(b, Y)의 평균값을 나타내고(이러한 연산의 예시는 보간된 매크로블록의 경우에 도 7에 주어진다: 두 참조 화상들 각각에서의 매크로블록과 예측 PR(b, y)와, 그 평균값 DCP(b, Y)이 도시된다), ACR(b, Y)가 동일한 성분 Y의 동일한 매크로블록에 대한 나머지(즉, 트랜스코더의 나머지 디코딩 브랜치(41)의 출력에서 R'(n, 1)이라고 하는 신호)의 평균값을 나타내고, MDC(b, Y)가 동일한 성분 Y의 동일한 매크로블록(b)의 추정된 평균값을 나타내면, 다음과 같다:

MDC(b, Y)=DCP(b, Y)+ACR(b, Y) (13)

설명은 성분 Y의 경우에 대해 주어지지만, 그것은 휘도(Y) 대신에 색차 성분들(U, V) 중 임의의 것에 대해서도 동일하다.

트랜스코더의 입력에서, 인입 비트스트림이, 예측 화상들이 인트라 화상들에 대해 충분히 리프레시될 수 있도록 하는 표준 방송 GOP 지속기간(즉, N=12)(GOP(Group Of Pictures)는 I 화상와, 다음 I 화상까지 모든 후속하는 화상들(다음 I 화상 자신은 포함되지 않음)로 이루어지고, 따라서, N은 GOP의 크기로서 정의되고, MPEG 표준에서 가장 공통적인 것은 N=12이다)을 나타내는 것으로 가정되는지의 추정에 대해, 어떠한 주지할 만한 드리프트(drift)도 나타나지 않는 것이 관찰될 수도 있다.

제 2 단계는 로고 처리 단계이고, 처리단(420)에서 실행된다. 로고 픽셀 값들의 처리는 사실 화상 컨텐트가 무엇이든간에 로고의 일치도와 가시도(conformance and visibility)를 유지하기 위해 실행된다. 실제로 원하는 것은 다음과 같다:

MV(CP)+MV(Logo(CP))=RQM(CP) (14)

여기서, CP는 휘도 성분(Y) 또는 색차 성분들(U, V) 중 임의의 것을 나타내고, MV(CP)는 로고가 성분(CP)에 삽입될 원래의 영역의 평균값이고(이러한 값들은 상술한 관계식(13)에 따라 추정된다), MV(Logo(CP))는 처리된 로고의 평균값이고, RQM(CP)는 로고 영역에서 로고 삽입 후의 화상의 필요한 평균값에 대응한다. 따라서, 매크로블록(b)에 삽입될 로고의 픽셀 값들 Logo(b, CP)는, 로고 처리 후에, 관계식(15)에 의해 정의된다:

Logo(b,CP)=Logo_ori(b, CP)-RQM(CP)

-MV(CP)-MV_Logo_ori(CP) (15)

여기서, Logo_ori(b, CP)는 매크로블록(b)에 삽입될 로고의 원래의 픽셀 값들을 나타내고, MV_Logo_ori(CP)는 성분(CP)에서의 원래의 로고의 평균값을 나타낸다.

이 로고 처리는 도 8 내지 도 10에 도시되어 있다. 도 8은 삽입 전의 원래의 로고 신호(Logo_ori(b, CP)), 그 평균값(MV_Logo_ori(CP)), RQM(CP) 및 MV(CP)를 나타내고, 도 9는 필요한 (MV(CP)+Logo(b,CP)=RQM(CP)를 나타내고, 도 10은 필요한 결과(나타나는 바와 같이, (MV(CP-RQM(CP))+MV_Logo_ori(CP))와 같은 값의 로고 신호의 시프트)를 얻기 위해 실행되는 적응(adaptation)의 원리를 예시한다.

색차 성분들에 대해, 원래의 로고에 대한 로고 색차가 필요하다. 즉, 화상에 처리된 로고를 삽입하는 것은 원래의 로고의 색상들이 되도록 해야 한다. 따라서, 색차 성분들(U, V)에 대해서, RQM(CP)는 MV_Logo_ori(CP)이다. 휘도에 대해서는 원래의 것에 대한 바람직한 일치도(즉, RQM(Y)=MV_Logo_ori(Y)) 또는 가시도(로고가 빛나는 영역에서 어둡게 나타나거나 반대로 나타나는 것) 중에서 하나가 선택될 수 있다. 이 마지막 경우에, RQM(Y)=128이다.

제 3 단계는 로고 클리핑 단계이고, 클리핑단(430)에서 실행한다. MPEG-2 표준에 따르면, 디코더 측에서, 메모리들에 저장되어 있는 재구성된 화상들은 0 내지 255에서 클리핑된다. 인코더 측에서 동일하게 행하는 것은 이루어질 수 없으며, 이는 인입 비트스트림의 완전한 디코딩이 수행되어 있지 않기 때문이다. 그때, 클리핑 단계는 매크로블록 단위로 수행된다. 오른쪽 픽셀 값들은 공지되어 있지 않지만, 이러한 상황은 클리핑에 있어서의 마진(MG)을 취함으로써 보상된다. 그어서, 각 성분 Y, U 또는 V(항상 CP라고 함)에 대해서, Logo(b, CP))는 다음과 같이 클리핑된다:

O+MG<MV(b, CP)+Logo(b, CP)<255-MG (16)

이것은 다음과 같다:

MG-MV(b, CP)<Logo(b, CP) (17)

Logo(b, CP)<255-MG-MV(b, CP) (18)

이 로고 클리핑은 도 11과 도 12에 도시되어 있고, 도 11은 MV(b, CP), MV(b, CP)+Logo(b, CP)를 나타내고, 클리핑은 MG 및 255-MG로 한정하며, 따라서, 관계식(16)을 예시하고, 도 12는 유시하게 관계식(17) 및 (18)을 예시한다.

제 4 단계는 로고 부가 단계이고, 도 5에 도시된 로고 부가 브랜치(50)와 동일한 로고 부가단(440)에서 실행된다. 로고 부가단(440)은 클리핑단(430)의 출력에서 이용 가능한 클리핑된 로고를 수신하는 메모리, 상기 메모리의 출력과 트랜스코더에서 정의된 벡터들(V(n))을 수신하는 움직임 보상 회로, (로고 삽입 장치(400)의 전처리부의 출력에서 이용 가능한 클리핑된 로고와 상기 움직임 보상 회로의 출력에서 이용 가능한 움직임 보상된 것 사이의 차를 전달하기 위한) 감산기와, (상기 감산기의 출력 신호를 메인 비트스트림에 삽입하기 위한) 가산기를 포함한다. 이러한 4개의 소자들(메모리, 움직임 보상 회로, 감산기, 가산기)은 도 5의 4개의 소자들(51 내지 54)과 유사하다. 따라서, 로고 삽입은 인입 비트스트림에 대한 나머지 부가에 의해 구현되고, 이 나머지는 (설명한 바와 같이 전처리된) 로고와 상기 전처리된 로고로부터 유도된 움직임 보상된 예측 사이의 차를 정의함으로써 형성되고, 메인 인입 비트스트림으로서 동일한 움직임 벡터들을 사용한다.

Claims

서브-화상들로 분할된 연속하는 화상들에 대응하는 인코딩된 데이터 스트림에 부가 데이터 스트림을 삽입하는 방법으로서,

- 디코딩된 나머지 신호(decoded residual signal)를 전달하기 위해 상기 인코딩된 데이터 스트림을 디코딩하는 단계;

- 상기 디코딩된 데이터 스트림을 재-인코딩하는 단계;

- 각각의 서브-화상에 대한 움직임 벡터들을 결정하는 단계를 포함하는, 부가 데이터 스트림 삽입 방법에 있어서:

- 상기 부가 데이터 및 상기 움직임 벡터들에 기초하여 움직임 보상된 부가 데이터를 연산하는 단계; 및

- 상기 부가 데이터와 상기 움직임 보상된 부가 데이터간의 차를 상기 디코딩된 나머지 신호에 부가하는 단계를 더 포함하는 것을 특징으로 하는, 부가 데이터 스트림 삽입 방법.
제 1 항에 있어서,

- 상기 재-인코딩 단계로부터 도출된 인코딩 에러로부터의 예측 신호를 전달하기 위한 의사-예측 단계로서, 상기 부가하는 단계의 출력과 상기 예측 신호간의 차를 상기 재-인코딩하는 단계에 전달하는, 상기 의사-예측 단계를 포함하는, 부가 데이터 스트림 삽입 방법.
삭제
제 1 항에 있어서,

상기 디코딩된 데이터 스트림에서, 상기 디코딩된 데이터에 대한 상기 부가 데이터의 교체(substitution)를 얻기 위해 상기 부가 데이터 스트림을 전처리하는 단계를 더 포함하는, 부가 데이터 스트림 삽입 방법.
제 4 항에 있어서,

상기 전처리 단계는,

- 상기 디코딩된 데이터 스트림에 대응하는 현재 화상의 모든 서브-화상들의 평균값들을 추정하는 동작;

- 상기 화상 컨텐트가 무엇이든 상기 부가 데이터의 가시도 및 일치도(visibility and conformance)를 유지하기 위해 상기 부가 데이터를 전처리하는 동작;

- 상기 전처리된 부가 데이터를 매크로블록 단위로 클리핑하는 동작을 포함하는, 부가 데이터 스트림 삽입 방법.
서브-화상들로 분할된 연속하는 화상들에 대응하는 인코딩된 데이터 스트림을 트랜스코딩하기 위한 장치로서,

- 상기 인코딩된 데이터 스트림을 디코딩하고 디코딩된 나머지 신호를 전달하기 위한 나머지 디코딩 유닛,

- 상기 디코딩된 데이터를 재-인코딩하기 위한 인코딩 및 디코딩 유닛,

- 각각의 서브-화상에 대한 움직임 벡터들을 결정하기 위한 연산 유닛을 포함하는, 상기 트랜스코딩 장치에 있어서:

부가 데이터 스트림을 상기 인코딩된 데이터 스트림에 삽입하기 위한 수단으로서,

- 상기 부가 데이터 및 상기 움직임 벡터들에 기초하여 움직임 보상된 부가 데이터를 연산하기 위한 수단, 및

- 상기 부가 데이터와 상기 움직임 보상된 부가 데이터간의 차를 상기 디코딩된 나머지 신호에 가산하기 위한 가산 수단을 포함하는, 상기 삽입하기 위한 수단을 포함하는 것을 특징으로 하는, 트랜스코딩 장치.