KR20010013202A

KR20010013202A - 엔코드화된 데이터 스트림의 데이터를 변경하기 위한 방법및 장치

Info

Publication number: KR20010013202A
Application number: KR19997011189A
Authority: KR
Inventors: 베일레울니콜라스
Original assignee: 요트.게.아. 롤페즈; 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1998-03-31
Filing date: 1999-02-11
Publication date: 2001-02-26
Also published as: CN1272287A; JP2002500851A; JP4308924B2; EP0995316A2; WO1999051033A2; US6181743B1; CN1179574C; WO1999051033A3; KR100588797B1; BR9904912A; US6493389B1

Abstract

기본 트랜스코더는 엔코드화된 데이터 스트림을 디코드하고, 그것을 재-엔코드하고, 상기 스트림에서 국부적으로 데이터를 변경하기 위해 사용될 수 있다. 상기 변경은 주어진 변경 데이터 스트림에 기초하여 예측 데이터 스트림을 정의하여 실행되고, 변경 데이터 스트림과 예측 데이터 스트림 사이의 차를 디코드화된 스트림 - 트랜스 코더의 디코딩과 재-엔코딩 부분들 사이 - 에 부가하여 실행된다. 개선된 실현에서, 변경 데이터 스트림이 선처리되어, 그것은 디코드화된 데이터 스트림에서 디코드화된 데이터로의 상기 변경 데이터의 국부 교체를 얻을 수 있다.

Description

엔코드화된 데이터 스트림의 데이터를 변경하기 위한 방법 및 장치{Method and device for modifying data in an encoded data stream}

그러한 경우에, 예를 들어, 존재하는 코드화된 비트스트림으로 전송하기 전에 부가 디지털 데이터가 부가되어야 할 때, 가장 손쉬운 해결책은 상기 부가를 실행하기 이전에 상기 비트스트림을 디코드하는 것이다. 그후, 변경된 비트 스트림은 재-코드화되고, 전송된다. 불행하게도, 풀(full) 디코딩은, 디코더와 엔코더를 필요로 할 때, 일반적으로 값비싼 것으로 고려된다. 또한, 재-추정 모드들과 벡터들을 갖는 재-엔코딩은 로고 부가에 의해 손대지 않은 채 남겨진 영역에서 인공물을 도입한다.

본 발명은 서브-픽처들로 분할되는 연속하는 픽처들에 상응하는 엔코드화된 데이터 스트림의 데이터 변경 방법에 관한 것으로,

- 상기 엔코드화된 데이터 스트림을 디코딩하는 단계;

- 디코드화된 데이터 스트림을 재-엔코딩하는 단계들을 구비한다.

또한, 본 발명은 상기 방법들을 실행하기 위한 비디오 처리 장치에 관한 것이다. 예를 들자면, 브러드캐스터(broadcaster)가 픽처들의 순서로 그 자신의 로고와 같은 부가 데이터를 도입하고자 할 때, 본 발명은 MPEG-2 압축 분야(MPEG-2는 TV 방송의 공통 표준이 될 것이다)뿐만 아니라 보다 일반적으로 임의의 디지털 비디오 데이터 압축 시스템에 적용될 수 있다.

도 1 및 2는 종래 비디오 디코더 및 엔코드를 도시하는 도면;

도 3은 로그를 유입 비트스트림에 부가하여 전송 체인의 가능한 개요를 도시한 도면;

도 4는 로고 애더가 없는 공지된 트랜스코더의 아웃라인을 예시한 도면;

도 5는 본 발명에 따라 로고 애더가 제공될 때 그러한 트랜스코더를 예시한 도면;

도 6은 또한 본 발명에 따라 로고 주입 장치가 제공될 때 그러한 트랜스코드를 예시한 도면;

도 7은 상기 로고 주입 장치에서 만들어지는 계산을 예시한 도면;

도 8 내지 10은 휘도와 색차 구성 요소들을 실행하는 처리를 예시한 도면;

도 11 및 12는 상기 처리 이후에 실행되는 로고 클리핑을 예시한 도면.

따라서, 본 발명의 제 1 목적은 이미 존재하는 코드화된 비트스트림에서 데이터를 부가하기 위한 낮은 비용의 해결책을 제시하는 것이다.

이러한 목적을 위해, 본 발명은 설명의 서두에서 설명한 것과 같은 방법에 관한 것이고, 또한, 다음의 단계들은,

입력 변경 데이터 스트림에 기초하여 예측 데이터 스트림을 정의하는 단계;

그것을 재-엔코딩하기 전에 변경 데이터 스트림과 예측 데이터 스트림 사이의 차를 디코드화된 데이터 스트림에 부가하는 단계를 구비하는 것을 특징으로 한다.

이 방법은 혼합하는 단계들 덕분에, 후에 부가 데이터를 트랜스코더의 잔존 신호에 부가될 수 있는 구체적인 정정 신호로 부가 데이터를 변환하는 효과를 가진다.

본 발명의 다른 목적은 상기 데이터의 부가에 대해 개선된 질로 데이터의 삽입을 실행하기 위한 개선된 방법을 제시하는 것이다.

이 목적을 위해, 본 발명은 디코드화된 비트스트림에서 디코드화된 데이터로 상기 변경 데이터의 감산을 얻기 위해 변경 데이터 스트림을 선처리하는 단계를 또한 구비하는 것을 특징으로 하는 방법에 관한 것이다.

또한, 본 발명의 다른 목적은 상술한 방법을 구현하기 위한 장치들을 제시하는 것이다.

이 목적을 위해, 본 발명은 제 1 구현에서 비디오 코드화된 데이터 스트림으로 데이터를 부가하기 위한 장치에 관한 것이고, 이것은,

(1) 상기 데이터 스트림을 디코딩하고 그것을 재-엔코딩하기 위한 트랜스코더;

(ⅰ) 트랜스코더에 정의된 모션 벡터들과 이러한 부가 데이터들에 대한 기초상에서, 예측 신호를 정의하고;

(ⅱ) 상기 예측 신호와 상기 부가 데이터 사이의 차를 정의하고, 디코딩과 상기 트랜스코더의 재-엔코딩 부분들 사이의 상기 데이터 스트림으로 상기 차의 부가를 통해 정의하기 위한

(2) 부가 브랜치를 포함하는 것을 특징으로 한다.

또한, 제 2 구현에서, 본 발명은 비디오 데이터 스트림으로 데이터를 삽입하기 위한 장치에 관한것으로, 이것은,

(1) 상기 비트스트림을 디코딩하고 그것을 재-엔코딩하기 위한 트랜스코더;

(ⅰ) 이러한 부가 데이터에 기초하여 선처리 신호를 정의하고;

(ⅱ) 트랜스코더에서 정의된 모션 벡터들과 상기 선처리 신호에 기초하여 예측 신호를 정의하고;

(ⅲ) 상기 선처리 부가 데이터와 상기 예측 신호 사이의 차를 정의하는 것으로, 상기 트랜스코더의 디코딩과 재-엔코딩 부분들 사이의 상기 비트스트림으로 상기 차의 삽입을 통해 정의하기 위한

(2) 삽입 브랜치를 포함하는 것을 특징으로 한다.

미국 특허 제 5,691,986 호에서, 엔코드화된 데이터 스트림으로 데이터를 삽입하기 위한 방법 및 장치가 설명된다. 그러나, 설명한 것과 같은 상황에서, 상기 스트림은 사실상 이러한 스트림들의 실시예 중의 하나를 추출하기 위하여, 이 추출된 스트림상에 데이터 감소 동작을 실행하기 위하여, 그리고, 상기 데이터를 감소된 데이터 스트림으로 삽입하기 위하여 디멀티플렉스되어야 하는 멀티플렉스의 데이터 스트림들의 실시예이다. 본 발명은 뚜렷한 목적을 가지고, 그것은 픽처 또는 다른 픽처 데이터에 의해 픽처의 일부의 로컬 교체인, 개선된 실시예에서의 데이터의 부가 중의 하나이다.

도 1에 도시된 것과 같은 종래 비디오 디코더는 디코딩 채널(12)을 포함하고, 디코딩 채널(12)은 캐스캐이드(cascade)로 가변 길이 디코딩 회로(1), 역 양자화 회로(2) 및 역 주파수 변환 회로(3)(각각:VLD, IQ, IDCT)를 구비하고, 모션 보상 채널(14)은 디코더의 출력 신호들을 수신하는 픽처 메모리(4), 모션 보상 회로(5)[모션 벡터들(V(n))과 이 메모리(4)의 출력 신호들을 고려한 상기 보상은 디코더에 의해 수신된다]와, 회로(3 및 5)의 출력 신호의 애더(6)(각각: MEM, COMP, A)를 구비한다. 디코더의 출력 픽처[또한 픽처 메모리(4)에 보내진다]는 디코딩 채널(12)의 회로(3)의 출력에서 유효 디코드화된 잔존 신호에 예측[회로(5)의 출력]을 부가하여 재구성된다.

도 2에 도시된 바와 같이 종래 비디오 엔코더는 엔코딩 및 디코딩 채널(13)을 포함하고, 엔코딩 및 디코딩 채널(13)은 이산 코사인 변형 회로(25), 양자화 회로(26), 가변 길이 코딩 회로(27)(각각: DCT, Q, VLC)와, 회로(26)의 출력에서 캐스캐이드로, 역 양자화 회로(28)와 역 이산 코사인 변형 회로(29)(각각: IQ 및 IDCT)를 구비하고, 예측 채널(11)은 입력 신호로부터 모션 보상된 예측을 감산하는 것을 허용하고, 애더(21), 예측 이전에 픽처들의 재구성을 위한, 픽처 메모리(22), 모션 보상 회로(23)와, 감산기(24)(각각: A, MEM, COMP, S)를 구비한다. 상기 보상은 미리 추정된 모션 벡터들[V(n)]을 고려한다.

로고와 같은 데이터를 전송 체인에서 유입 비트스트림으로 부가하도록 하는 가능한 방법 및 장치가 도 3에 예시된다. 상기 체인은 제 1 엔코더(31)("encoder 1"으로 불린다), 엔코더(31)의 출력에서 유효 코드화된 비트스트림에 로고를 부가하기 위한 서브-스트림(305), 전송 이후에, 디코더(35)("decoder 2")를 구비한다. 예시된 바와 같이, 상기 엔코더 및 디코더 그 자체 사이에 제공되는 서브-시스템은 디코더(32)("decoder 1"), 로고 애더(33)와 엔코더(34)("encoder 2")를 구비한다. 그후, 상기 디코더(32)와 상기 엔코더(34)로부터 시작하고, 그들의 상보성의 장점을 고려하여, 몇몇의 단일화가 본 발명에 따른 트랜스코더의 아웃라인에 최종적으로 도달하도록 하기 위해 만들어 질 것이다.

도 2에 따라, 제 1 엔코더(31)에 대해 하나는 실제로 가진다:

R(n,1)=I(n)-P(I'(n-1),1;V(n)) (1)

여기서, R(.)에서 인덱스(,1)와 P(.)는 "first" 엔코더(31)(=encoder 1)를 나타내고, I(n)는 엔코더의 오리지날 비디오 입력이고, P(I'(n-1),1;V(n))는 미리 "decoded" 픽처[I'(n-1)]에 모션 벡터[V(n)]를 적용하여 계산되는 예측 신호이고, 코드화되기 위해 잔존 신호[R(n)]를 얻기 위하여 오리지날 입력 비트스트림[I(n)]으로부터 감산되어야 하고, R(n)는 이 잔존 신호를 나타낸다. 엔코더의 예측 채널의 입력에서 유효 신호[R'(n)]는 코딩 에러라 불리는 값[e(n)]에 의해 R(n)로부터 다르고; R'(n)는 R(n)+e(n)에 동등하고, 그러므로, 이 예측 채널의 애더의 출력에서의 신호는 I'(n)=I(n)+e(n)이다.

엔코더(31)를 따르는 제 1 디코더(32)에 대해, 도 1에 따라 하나는 유사하게 가진다:

I'(n,1)=R'(n,1)+P'(I'(n-1),1;V(n)) (2)

여기서 I'(n)에서 인덱스(,1)와 P(.)는 "first" 디코더(32)를 나타내고, R'(n)은 디코드화된 잔존 신호이고, P(I'(n-1),1;V(n))는 R'(n)에 부가되는 예측이고, I'(n)는 디코더의 출력을 나타낸다. 위에서 보는 바와 같이, 또한, I'(n,1)는 다음의 형태로 기록될 수 있다:

I'(n,1)=I(n)+e(n,1)

말하자면, 디코더의 출력은 I(n)의 코딩 동작 동안 코딩 에러[e(n)]와 오리지날 입력 신호[I(n)]의 합계이다. 로고 애더(33)의 출력에서, 하나는 결론적으로 다음을 가진다:

J'(n,1)=I'(n,1)+로고(n) (3)

여기서, I'(n)는 메인 비트스트림에 부가되는 로고(n) 데이터(예를 들어, 로고)와 디코더(32)의 출력이다. 결과 출력 J'(n)는 엔코더(34)를 향하여 보내진다.

이 제 2 엔코더(34)에 대해, 하나는 다음을 가진다[제 1 엔코더(31)의 이전 경우에 유사하게]:

R(n,2)=J'(n,1)-P(J'(n-1),2;V(n)) (4)

여기서, R(.)의 인덱스(,2)와 P(.)는 이 "제 2" 엔코더(34)를 나타내고, P(J'(n-1),2;V(n))는 코드화되어야 하는 잔존 신호를 얻기 위해 로고 애더(33)의 출력[J'(n-1)]으로부터 감산해지는 예측이고, R(n)는 상기 잔존 신호를 나타낸다.

최종적으로, 제 2 디코더(35)에 대해, 하나는 다음을 가진다[제 1 디코더(32)의 이전 경우에 유사하게]:

J'(n,2)=R'(n,2)+P(J'(n-1),2;V(n)) (5)

여기서, J'(.)의 인덱스(,2), R'(.) 및 P(.)는 "제 2" 디코더(35)를 나타내고, R'(n)은 디코드화된 잔존 신호이고, P(J'(n-1),2;V(n))는 R'(n)에 부가되는 예측이고, J'(n)는 디코더의 출력을 나타낸다. 디코더(32)에 대해, J'(n,2)는 또한 형식으로 기록될 수 있다:

J'(n,2)=J'(n,1)+e(n,2)

J'(n,2)=I'(n,1)+로고(n)+e(n,2)

J'(n,2)=I(n)+e(n,1)+로고(n)+e(n,2) (6)

전송 체인의 출력 신호 J'(n,2)는 사실 오리지날 입력 신호[I(n)]의 합계, 제 1 코딩 에러(제 1 엔코더 및 디코더에서 코딩/디코딩)의 합계, 제 2 코딩 에러(제 2 엔코더 및 디코더에서 코딩/디코딩)와, 부가 데이터의 합계에 동등하다.

그후, 모션 보상 오퍼레이터의 리니어리티(linearity)를 이용하여, 이것이 기록된다:

P(J'(n-1),2:V(n))=P[((J'(n-1),1)+(e(n-1),2));V(n)] (7)

이것은 형식에서 릴레이션(4)을 기록하는 것을 허용한다.

R(n,2)=J'(n-1)-P[((J'(n-1),1)+(e(n-1),2));V(n)] (8)

다시 보상 오퍼레이터의 리니어리티를 이용하여, 하나는 가진다:

P(J'(n-1),1;V(n))=P[(I'(n-1)+로고(n-1)),1;V(n)]

또는

P(J'(n-1),1;V(n))=P(I'(n-1);V(n)+P(로고(n-1),1;V(n)) (9)

그러므로 렐리이션(8)은 다음과 같이 된다:

R(n,2)=I'(n,1)+로고(n)-P(e(n-1),2;V(n))

-P(i'(n-1),1;V(n))-P(로고(n-1),1;V(n)) (10)

또는, 릴레이션(2)로부터:

R(n,2)=R'(n-1)-P(e(n-1),2;V(n))

+로고(n)-P(e(n-1),2;V(n))

-P(I'(n-1),1;V(n))-P(로고(n-1),1;V(n)) (11)

최종적으로 다음 릴레이션(12)에 이른다:

R(n,2)=R'(n-1)-P(e(n-1),2;V(n))

+로고(n)-P(로고(n-1);V(n)) (12)

이는 본 발명에 따라 제안되는 로고 애더로 트랜스코더의 최종 시스템 방정식이다.

로고 애더가 없는 트랜스코더의 일반적 아웃라인은 도 4에서 먼저 리콜된다(도 5와 비교하기 위해). 이것은 잔존 디코딩 브랜치(41)[가변 길이 디코딩(VLD)+역 양자화(IQ)+역 이산 코사인 변형(IDCT)], 엔코딩 및 디코딩 브랜치(42)[이산 코사인 변형(DCT)+양자화(Q)+가변 길이 코딩(VLC)+모션 벡터[V(n)]의 기초상에 모션 보상(COMP)+제 2 기판(S)을 구비한다. 이 브랜치(43)는 기초 엔코더로서 고전적인 예측이 정확하지 않기 때문에, 소위 기판에 의해 교체되는 제 1 애더이다. 이전에 인용된 신호들[R'(n,1), R(n,2), R'(n,2), e(n,2), V(n), P(e(n-1),2;V(n))은 도 4에 도시된다.

본 발명에 따른 트랜스코더의 상응하는 개요는, 즉, 로고 애더를 갖는, 그후 도 4와 비교되어 도 5에서 예시되고, 동일 부분들은 동일한 방법으로 나타난다. 부가 부분은 부가되기 위해 로고를 수신하는[신호 로고(n)] 메모리(MEM), 벡터들[V(n)]과 메모리(51)의 출력을 수신하고 예측 데이터 스트림을 전달하는 모션 보상 회로(COMP)(52)와, 오리지날 신호 로고(n)와 회로(52)의 출력에서 유효 모션 보상된 것[P(로고(n-1);V(n)](예측 데이터 스트림) 사이의 차를 전달하는 감산기(S)(53), 메인 스트림으로 상기 감산기(53)의 출력 신호를 도입하기 위한 애더(54)(연속하는 픽처들의 완전한 순서에 상응하여)이다. 따라서, 로고 부가는 유입 비트스트립으로 부가되는 잔존 의해 구현되고, 이 잔존은 미리 저장된 로고를 포함하는 참조 픽처들에 기초한 모션 보상된 로고 예측으로 로고를 감산하여 형성되고, 메인 유입 비트스트림으로 동일한 모델들과 벡터들을 사용한다.

위에서 상술한 방법과 장치는 더 개선될 수 있다. 사실상 더 이상 부가되도록 보상될 수 없지만, 픽처의 다른 부분을 변경하지 않고, 메인 비디오 비트스트림으로 부가 데이터(로고와 같은)를 삽입할 수 있다.

그러한 데이터의 삽입은, 즉, 상기 데이터에 의한 픽처 영역의 교체(또는 픽처들의 순서)는 오리지날 픽처들(=픽처 소자들)에 풀 액세스하는데 필요한 비-리니어 처리이다. 그러므로, 높은 질의 로고 삽입을 위해, 유입 비트스트림의 풀 디코딩은 실행되어야 한다. 본 발명에 따라, 그러한 풀 디코딩은 낮은-비용 거친 디코딩에 의해 교체될 수 있다(여기서 MPEG-2 표준의 경우로 설명된다).

본 발명에 따라 트랜스코드의 상응하는 개요는, 즉, 로고 인서터(inserter)로, 도 4와 비교하여 도 6에서 예시되고, 동일한 부분들은 동일한 방법으로 나타난다. 부가 부분(도 4에 대해)은 구체적인 방법으로 지금부터 설명될 로고 삽입 장치(400)이다.

이 로고 삽입 장치에서, 4 단계들이 구현된다. 제 1 단계는 소위 DC 추정 단계이고, 추정 스테이지(410)에서 실행된다. MPEG 순서의 각각의 픽처는 매크로블록들로 불리는 모션 보상 유닛들로 서브분할된다. 또한, MPEG 표준에서, 픽처들의 3가지 형태가 고려된다: 다른 픽처들로 임의의 참조없이 코드화되는 I(또는 인트라) 픽처들, 과거 픽처(I 또는 P)로 참조되어 코드화되는 P(또는 예측) 픽처들과, 과거 및 미래 픽처(I 또는 P)로 참조되어 코드화되는 B(또는 두방향으로 예측) 픽처들. 이러한 I 및 P 픽처들은 참조 프레임들로 불릴 것이다. 스테이지(410)에서, 각각의 매크로블록의 평균값은 참조 프레임들[관련된 버퍼 메모리(401 및 402)에 미리 저장된다]의 평균값들고 유입 잔존[도 4에서 신호 참조된 R'(n,1)]의 현재 평균값에 따라 추정된다. 만약 DCP(b, Y)가 구성요소(Y)에서 매크로블록(b)에 대한 예측 PR(b, Y)의 평균값을 나타낸다면[그러한 계산의 예는 삽입된 매크로블록의 경우에 도 7에서 주어진다: 두 참조 픽처들 각각에서 매크로블록과 예측 PR(b, P)와, 그것의 평균값(DCP)(b, Y)이 도시된다), 만약 ACR(b, Y)가 동일한 구성요소(Y)에서 동일한 매크로블록에 대한 잔존의 평균값[즉, 트랜스코더의 잔존 디코딩 브랜치(41)의 출력에서 R'(n, 1)이라 불리는 신호의)을 나타낸다면, 그리고, 만약 MDC(b, Y)가 동일한 구성요소(Y)에서 동일한 매크로블록(b)의 추정된 평균값을 나타낸다면, 그후, 하나는 다음을 가진다:

MDC(b, Y)=DCP(b, Y)+ACR(b, Y) (13)

설명은 구성요소(Y)의 경우에 주어지지만, 그것은 휘도(Y)의 자리에서 색차 성분들(U, V) 중의 임의의 것으로 동일하다.

만약 트랜스코더의 입력에서 유입 비트스트림이 예측 픽처들이 인트라 픽처들상에 충분히 리프레쉬 되도록 표준 방송 GOP 지속(즉, N=12)을 나타낸다면(GOP, 또는 픽처들의 그룹,는 I 픽처와, 자신은 포함되지 않고 다음 I 픽처까지 모든 연속하는 픽처들을 구비하고, 따라서, N은 GOP의 크기로 정의되고, MPEG 표준에서 가장 공통적인 것은 N=12가 된다), 어떠한 주지할 만한 드래프트도 그러한 추정상에 나타나지 않는 것이 관찰된다.

제 2 단계는 로고 처리 단계이고, 처리 단계(420)에서 실행된다. 로고 픽셀 값들의 처리는 사실 가시도(visibility)를 유지하고, 픽처 컨텐트가 무엇이든 로고의 일치하도록 실행된다. 사실상 가지길 원하는 것은:

MV(CP)+MV(로고(CP))=RQM(CP) (14)

여기서 CP는 휘도 구성요소(Y) 또는 색차 구성요소들의 임의의 것(U,V)를 나타내고, MV(CP)는 로고가 구성요소(CP)[이러한 값들은 상술한 RQM(CP) 및 처리된 로고의 평균값이다]가 삽입되는 오리지날 영역의 평균값이고, MV(로고(CP))는 처리된 로고의 평균값이고, RQM(CP)는 로고 삽입 후에 픽처의 필요한 평균값에 상응한다. 매크로블록(b)에 삽입되는 로고의 픽셀 값들 로고(b, CP)는, 로고 처리 후에, 릴레이션(15)에 의해 정의된다:

로고(b,CP)=로고_ori(b, CP)-RQM(CP)

-MV(CP)-MV_Logo_ori(CP) (15)

여기서, Logo_ori(b, CP)는 매크로블록(b)에서 삽입되는 로고의 오리지날 픽셀 값들을 나타내고, MV_Logo_ori(CP)는 구성요소(CP)에서 오리지날 로고의 평균값을 나타낸다.

이 로고 처리는 도 8 내지 10에 예시된다: 도 8은 삽입 이전에 오리지날 로고 신호 로고_ori(b, CP)를 나타내고, 그것의 값[MV_로고_ori(CP), RQM(CP), 및 MV(CP), 반면에 도 9는 필요한 (MV(CP)+로고(b,CP)=RQM(CP)를 나타내고, 도 10은 필요한 결과[나타나는 바와 같이, 값의 로고 신호의 쉬프트는 (MV(CP-RQM(CP))+MV_로고_ori(CP))에 동등하다]를 얻기 위해 실행되는 적응(adaptation)의 원리를 예시한다.

색차 구성요소들에 대해, 오리지날 로고에 대한 로고 색차가 필요하고, 즉, 픽처로의 처리된 로고의 삽입은 오리지날 로고의 색상들을 이끌어야 한다. 색차 구성요소(U 및 V)에 대해, 따라서, RQM(CP)는 MV_로고_ori(CP)이다. 휘도에 대해, 선택은 오리지날에 대한 색차를 실행[즉, RQM(Y)=MV_로고_ori(Y)]하거나 또는 가시도(로고가 빛나는 영역에서 어둡게 나타나거나 반대로 나타나도록) 중의 하나가 선택될 수 있다.

제 3 단계는 로고 클리핑 단계이고, 클리핑 단계(430)를 실행한다. MPEG-2 표준에 따라, 디코더 측에서 재구성된 픽처들은 0과 255 사이에 잘리는 메모리들에 저장된다. 엔코더 측에서 동일하게 하는 것은 유입 비트스트림의 완전한 디코딩이 실행되지 않기 때문에 이루어질 수 없다. 그후, 클리핑 단계는 매크로블록 기저상에 실행된다. 오른쪽 픽셀 값들은 공지되지 않았지만, 이 상황은 클리핑상에 마진(MG)을 가짐으로써 보상된다. 그후, 각각의 구성요소(Y)에 대해, U 또는 V(항상 CP라 불린다), 로고(b, CP)는 다음과 같이 클립된다:

O+MG＜MV(b, CP)+로고(b, CP)＜255-MG (16)

이것은 다음과 같다:

MG-MV(v, CP)＜로고(b, CP) (17)

로고(b, CP)＜255-MG-MV(b, CP) (18)

이 로고 클리핑은 도 11과 도 12에 예시되고, 또 11은 MV(b, CP), MV(b, CP)+로고(b, CP)를 나타내고, 클리핑은 MG 및 255-MG를 한정하고, 따라서, 릴레이션(16)을 예시하고, 도 12는 유시하게 릴레이션(17 및 18)을 예시한다.

제 4 단계는 로고 부가 단계이고, 도 5에 도시된 로고 부가 브랜치(50)에 동일한 로고 부가 스테이지(440)에서 실행된다. 상기 스테이지(440)는 클리핑 스테이지(430)의 출력에서 유효 클립된 로고를 수신하는 메모리, 상기 메모리의 출력을 수신하는 모션 보상 회로와 트랜스코더에서 정의된 벡터들[V(n)], 기판[로고 삽입 장치(400)의 선처리의 출력에서 유효 클립된 로고와 상기 모션 보상 회로의 출력에서 유효 모션 보상된 것 사이의 차를 전달하기 위해]과, 애더(메인 비트스트림으로 상기 기판의 출력 신호를 삽입하기 위해)를 구비한다. 이러한 4 소자들(메모리, 모션 보상 회로, 기판, 애더)은 도 5의 4 소자(51 내지 54)에 유사하다. 따라서, 로고 삽입은 유입 비트스트림에 잔존 부가에 의해 구현되고, 이 잔존은 로고(설명한 바와 같이 선처리)와 상기 선처리 로고로부터 유도된 모션 보상된 예측 사이의 차를 정의하여 형성되고, 메인 유입 비트스트림으로 동일한 모션 벡터들을 사용한다.

Claims

서브-퍽처들로 분할된 연속하는 픽처들에 상응하는 엔코드화된 데이터 스트림의 데이터를 변경하기 위한 방법에 있어서,

상기 엔코드화된 데이터 스트림을 디코딩하는 단계;

디코드화된 데이터 스트림을 재-엔코딩하는 단계를 포함하고,

입력 변경 데이터 스트림에 기초하여 예측 데이터 스트림을 정의하는 단계;

재-엔코딩하기 전에, 변경 데이터 스트림과 예측 데이터 스트림 사이의 차를 디코드화된 데이터 스트림에 부가하는 단계를 더 포함하는 것을 특징으로 하는 엔코드화된 데이터 스트림의 데이터 변경 방법.
제 1 항에 있어서, 모의(pseudo)-예측 서브-단계가 상기 디코딩과 재-엔코딩 단계들 사이에 제공되는데 있어서, 상기 서브-단계는,

재-엔코딩 단계동안 나타나는 코딩 에러의 정의 동작;

상기 코딩 에러에 적용되고, 각각의 서브-픽처에 대해 미리 결정되는 모션 벡터에 기초한 모션 보상 동작;

상기 모션 보상 동작의 출력 스트림과 디코드화된 데이터 스트림 사이의 차에 의해 잔존 신호를 정의하는 감산 동작을 연속하여 포함하고,

상기 정의 동작은,

변경 데이터 스트림을 저장하는 동작:

상기 저장된 데이터 스트림에 적용되는 상기 모션 벡터들에 기초하여 모션을 보상하는 동작;

상기 모션 보상 동작 이후에 변경 데이터 스트림으로부터 유효 예측 데이터 스트림을 감산하기 위한 동작을 포함하는 것을 특징으로 하는 엔코드화된 데이터 스트림의 데이터 변경 방법.
비디오 코드화된 데이터 스트림에 데이터를 부가하기 위한 비디오 처리 장치에 있어서,

(1) 상기 데이터 스트림을 디코딩하고, 그것을 재-엔코딩하기 위한 트랜스코더;

(2) (ⅰ) 트랜스코더에 정의된 모션 벡터들과 이러한 부가 데이터에 기초한 예측 신호를 정의하고;

(ⅱ) 상기 예측 신호와 상기 부가 데이터 사이의 차를 정의하는 것으로, 상기 트랜스코더의 디코딩과 재-엔코딩 부분들 사이의 상기 데이터 스트림으로 상기 차의 부가를 통해 정의하기 위한 부가 브랜치를 포함하는 것을 특징으로 하는 엔코드화된 데이터 스트림의 데이터 변경 방법.
제 1 항 및 제 2 항 중 어느 한 항에 있어서,

디코드화된 데이터 스트림에서 디코드화된 데이터로 상기 변경 데이터의 교체을 얻기 위해 변경 데이터 스트림을 선처리하는 단계를 포함하는 것을 특징으로 하는 엔코드화된 데이터 스트림의 데이터 변경 방법.
제 4 항에 있어서, 모의-예측 서브-단계가 상기 디코딩과 재-엔코딩 단계들 사이에 제공되는데 있어서, 상기 서브-단계는,

재-엔코딩 단계동안 나타나는 코딩 에러의 정의 동작;

상기 코딩 에러에 적용되고, 미리 결정되는 모션 벡터들에 기초한 모션 보상 동작;

상기 모션 보상 동작의 출력 스트림과 디코드화된 데이터 스트림 사이의 차에 의해 잔존 신호를 정의하는 감산 동작을 연속하여 포함하고,

상기 선처리 단계는,

상기 데이터 스트림에 상응하는 현재 픽처의 모든 서브-픽처들의 평균값을 추정하는 동작;

픽처 컨텐트가 무엇이든 부가 데이터의 적합성과 가시도를 유지하기 위해 부가 데이터를 선처리하는 동작;

매크로블록 기저 상에 상기 선처리 부가 데이터를 클리핑하는 동작을 포함하는 것을 특징으로 하는 엔코드화된 데이터 스트림의 데이터 변경 방법.
비디오 코드화된 데이터 스트림에 데이터를 삽입하기 위한 비디오 처리 장치에 있어서,

(1) 상기 데이터 스트림을 디코딩하고, 그것을 재-엔코딩하기 위한 트랜스코더;

(2) (ⅰ) 이러한 부가 데이터에 기초한 선처리 신호를 정의하고;

(ⅱ) 트랜스코더에 정의된 모션 벡터들과 상기 선처리 신호에 기초한 예측 신호를 정의하고;

(ⅲ) 상기 예측 신호와 상기 선처리 부가 데이터 사이의 차를 정의하는 것으로, 상기 트랜스코더의 디코딩과 재-엔코딩 부분들 사이의 상기 데이터 스트림으로 상기 차의 삽입를 통해 정의하기 위한, 삽입 브랜치를 포함하는 것을 특징으로 하는 엔코드화된 데이터 스트림의 데이터 변경 방법.