KR100701446B1 - 보조 데이터를 정보 신호에 임베딩 - Google Patents

Abstract

보조 데이터(XD)를 정보 신호(MP)에 임베딩하는 방법이 공지되어 있으며, 상기 정보 신호의 신호 샘플들은 가변 길이 인코딩된, 예를 들어 MPEG 압축된 비디오 신호이다. 선택된 신호 샘플들 즉, 비디오 영상을 구성하는 주어진 블록들의 변환 계수들(c(i,j))은 대응하는 가변 길이 코드 워드들(W)을 디코딩함으로써(2) 검색된다. 선택된 신호 샘플들은 데이터 심볼(B(k))을 표시하기 위해 변경되어(5), 재-인코딩된다(7). 주어진 코드 워드들의 시퀀스(슬라이스, MPEG 전송 패킷)의 길이가 원래의 길이를 초과한다면 또는 타임 스템프들에서 클록 참조 타임 스템프들의 위치에 영향을 미친다면, 신호 샘플의 변경은 생략된다(3). 더미 비트들의 삽입은 시퀀스에서 데이터의 부족분을 보상한다.

더미 비트, 보조 데이터, 이산 코사인 변환, MPEG 전송 패킷, 변환 계수

Description

보조 데이터를 정보 신호에 임베딩{Embedding auxiliary data in an information signal}

본 발명은 정보 신호, 예를 들어 오디오 또는 비디오 신호에, 보조 데이터(auxiliary data)의 각각의 심볼들을 표시하기 위해 선택된 상기 신호 샘플들을 변경함으로써, 상기 보조 데이터를 임베딩하는 방법에 관한 것이다. 본 발명은 또한 그러한 정보 신호로부터 보조 데이터를 검색하는 방법에 관한 것이다.

개시부에 규정된 바와 같은 보조 데이터를 임베딩하는 공지의 방법은, 유럽 특허 출원 EP-A-0 359 325에 개시되어 있다. 이 종래 기술의 방법에서, 보조 데이터의 임베딩은 원래의 신호 영역에서 발생한다. 디지털화된 오디오 샘플들 또는 비디오 픽셀들은 보조 데이터 신호의 비트들을 표시하기 위해 변경된다. 이러한 변경의 다양한 예들이 개시되어 있다. 예컨대, 매 n번째 오디오 샘플 중 최하위 비트를 보조 데이터 비트로 대체하는 일예가 상기 유럽 특허 출원의 도입부에 기재되어 있다. 다른 예로는 매 n번째 샘플 중 최하위 비트를 최상위 비트와 보조 데이터 비트의 배타적 논리합(exclusive OR)으로 대체하는 것이 있다.

오늘날, 오디오 및 비디오 신호들은 종종 전송 및/또는 저장되기 전에 압축된다. 그러한 신호들에 종래 기술을 적용하려면 압축된 신호를 디코딩하고 재-인코딩하는 것이 필요하다. 이는 고가의 동작일 뿐만 아니라, 신호 샘플의 최하위 비트에 수용된 보조 데이터 정보를 압축 단계에서 잃을 수도 있기 때문에 신뢰할 수가 없다.

본 발명의 목적은 비용상 효율적이고 신뢰할 만한 방식으로 보조 데이터를 압축된 정보 신호에 임베딩하는 것이다.

본 발명에 따르면, 신호 샘플들은 정보 신호를 변환 코딩함으로써 얻어지고, 가변 길이 코드 워드들로 인코딩된 변환 계수들(transform coefficients)이다. 상기 방법은 선택된 계수를 나타내는 가변 길이 코드 워드를 디코딩하는 단계, 보조 데이터 심볼을 표시하기 위해 상기 선택된 계수를 변경하는 단계, 상기 변경된 계수를 새로운 가변 길이 코드 워드로 인코딩하는 단계, 및 예전의 코드 워드를 새로운 코드 워드로 대체하는 단계를 포함하는 것을 특징으로 한다. 이로써 압축된 신호를 먼저 역 변환하지 않고서 보조 데이터를 원래의 신호 영역에 임베딩하는 것이 달성된다.

보조 데이터를 검색하는 대응 방법은, 상기 선택된 계수들을 나타내는 가변 길이 코드 워드들을 디코딩하는 단계, 상기 디코딩된 계수들로부터 각각의 보조 데이터 심볼을 검색하는 단계를 포함한다. 그리하여, 압축된 신호를 먼저 원래의 신호 영역으로 역 변환하지 않고서 보조 데이터를 검출한다.

보조 데이터를 변환 코딩된 신호에 임베딩하는 방법은 F.Hartung 및 B. Girod에 의해 ICASSP Vol.4, 1999년, 페이지 2621 내지 2624에 출판된 "Digital Watermarking of MPEG-2 Coded Video in the Bitstream Domain"에 공지되어 있다. 이 종래 기술의 방법에서, 임베딩된 데이터는 원래의 신호 영역에서 의사-잡음 시퀀스(pseudo-noise sequence)에 의해 표시되는 워터마크(watermark)이다. 그 워터마크는 임베딩되기 전에 이산 코사인 변환(discrete cosine transform)된다. 압축된 신호의 비제로 계수들(non-zero coefficients)은 변환된 워터마크 블록의 대응하는 계수들을 상기 비제로 계수들에 부가함으로써 변경된다. 은닉 정보(hidden information)의 복구는 동일한 의사 잡음 시퀀스와 워터마크된 비디오 신호를 상관시킴으로써(correlating) 달성될 수 있다. 이러한 상관관계(correlation)는 이용가능한 의사 잡음 시퀀스를 필요로 하고, 신호 영역에서 실행된다. 본 발명은 먼저 데이터를 변환하지 않고, 데이터 심볼들이 특정 계수값들에 의해 직접 표시된다는 점에서 종래 기술과는 다르다. 이와 같이 임베딩된 보조 데이터는 압축된 신호 영역에서 검색될 수 있다.

이 방법의 실시예에 있어서, 상기 예전의 코드 워드를 새로운 코드 워드로 대체하는 단계로 인해 주어진 새로운 코드 워드들의 시퀀스의 길이가 대응하는 예전의 코드 워드들의 시퀀스의 길이를, 예를 들어 미리결정된 비트수 만큼 실질적으로 초과한다면, 상기 대체 단계는 생략된다. 그러한 시퀀스의 예로는 슬라이스들(slices), 영상들, 또는 MPEG 비디오 스트림의 전송 패킷들(transport packets)이 있다. 대응하는 새로운 코드 워드가 보다 짧거나 동일한 길이인 경우에만 계수가 대체되는 상기 언급된 Hartung 등의 논문과 비교해 볼 때, 코드 워드들은, 그 누적 길이들의 증가가 보다 짧은, 다른 새로운 코드 워드들에 의해 보상되는 한, 보다 긴 코드 워드들로 대체될 수 있다. 그리하여, 더 많은 계수들이 비트 레이트(bit rate) 또는 저장 용량에 영향을 미치지 않고도 변경될 수 있다. 버퍼들은 필요치 않으며, 타이밍 스템프들(timing stamps)은 비트 스트림 내의 각각의 위치들에 남게 된다. 데이터 심볼을 표시하는 계수들 모두를 변경하는 것을 허용하지 않는 잠재적인 난점은, 보조 데이터 워드들 각각이 데이터 심볼들의 복수의 조합들에 의해 표시되도록 함으로써 즉, 코딩 스킴(coding scheme)에 여유도를 제공함으로써 충족된다.

바꿔 말하면, 코드 워드를 대체하는 것으로 인해 시퀀스의 길이가 원래 시퀀스의 길이보다 실질적으로 짧다면, 본 방법의 바람직한 실시예에서는, 일정한 비트 레이트를 유지하기 위해 더미 비트들(dummy dits)을 삽입한다. 상기 MPEG와 같은 공지된 압축 방법은 이미 상기 더미 비트들을 수용하는 필드들을 제공한다.

바람직한 실시예에 있어서, 선택된 계수는 연속하는 계수들의 블록들의 DC 계수들 간의 차를 나타내는 차동 DC 계수이다. 그러한 차동 DC 계수는 항상 존재하며, 비트 스트림에서 쉽게 발견될 수 있다. 차동 DC 성분들의 변경이, 수신기에서 평균 루미넌스(average luminance) 또는 크로미넌스 레벨(chrominance level)을 유동(drift away)시키는 것을 막기 위하여, 주어진 일련의 블록들(예를 들어, 슬라이스)의 차동 DC 계수들의 합이 실질적으로 변경되지 않도록 상기 차동 DC 성분들의 변경이 이루어진다.

보조 데이터 "alphabet"를 구성하는 데이터 심볼들은 EP-A-0 359 325에 개시된 예들에 따라 표시할 수 있다. 예를 들어, "alphabet"은 선택된 계수들의 최하위 비트로 표시된 두 개의 심볼들 "0" 및 "1"을 가질 수 있다. 본 발명의 실시예에 있어서, "alphabet"은 선택된 계수의 모듈로-n 값(modulo-n value)으로 표시되는 n개의 심볼들을 가진다. 숫자 n은 짝수 계수값들이 데이터 심볼 "0"을 표시하고, 홀수 계수값들이 데이터 심볼 "1"을 표시하는 경우에 2가 될 수 있다.

도 1a 내지 1d는 MPEG 압축 비디오 신호의 공지된 포맷을 설명하는 도면.

도 2는 본 발명에 따라 정보 신호에 보조 데이터를 임베딩하는 장치의 개략도.

도 3은 도 2에 도시된 장치의 구체화에 의해 실행되는 동작들의 흐름도.

도 4는 도 2에 도시된 장치의 동작예를 설명하는 도면.

도 5는 정보 신호로부터 보조 데이터를 검색하는 장치의 개략도.

도 6은 도 5에 도시된 장치 동작을 설명하는 도면.

도 7은 도 2에 도시된 장치를 포함하는 비디오 기록기의 도면을 개략적으로 도시하는 도면.

도 8은 압축되지 않은 정보 신호를 압축된 정보 신호로 인코딩하여, 압축된 신호 안에 보조 데이터를 임베딩하는 장치를 도시하는 도면.

본 발명의 상기 설명되는 다른 측면들은 이후 설명되는 실시예들을 참조로 명백하게 설명될 것이다.

압축된 정보 신호에 데이터를 임베딩하는 장치를 설명하기 전에, 상기 압축된 신호의 공지된 포맷의 일예를 간단히 설명할 것이다. MPEG 압축된 비디오 신호를 참조할 수 있지만, 본 발명은 상기 MPEG 신호에 데이터를 임베딩하는데 한정하지 않는다.

도 1a는 비디오 영상(100)의 좌상측 영상 픽셀들(101)을 도시한다. 영상은 8×8 픽셀들의 블록들(102)로 분할되고, 이 중 2개가 도면에 도시된다. 각각의 픽셀 블록은 직교 변환(orthogonal transform), 일반적으로 이산 코사인 변환(DCT; discrete cosine transform)을 필요로 한다. DCT는 도 1b에 도시된 바와 같이 8×8 변환 계수들(y(i,j))의 블록(103)을 야기한다. 블록의 좌상측 변환 계수는 대응하는 픽셀 블록의 평균 루미넌스를 나타내며, 일반적으로 DC 계수로 불린다. 차동 계수들은 공간 주파수들을 나타내며, AC 계수들로 불린다. 다소의 AC 계수들은 도 1b에 도시된다. AC 계수들은 주어진 양자화 스텝 크기를 이용하여 양자화된다. 도 1c는 양자화된 계수들(c(i,j))의 블록을 도시한다. 이 도면에 도시된 계수값들은 도 1b에 도시된 대응 계수들의 양자화된 변경들(여기서는 스텝 크기 16)이다. 양자화는 블록(104)의 다수의 AC 계수들로 하여금 제로값(0)을 취하게 한다.

그 다음, 블록의 양자화된 계수들(c(i,j))은 지그재그형 패턴(105)과 인코딩된 가변 길이에 따라 연속적으로 판독된다. 가변 길이 인코딩 스킴은 허프만의 코딩법(Huffman coding)과 런 길이 인코딩법(run-length encoded)의 조합이다. 더 상세하게는, 각 일련의 제로 AC 계수들 및 후속하는 비제로 AC 계수는 단일의 가변 길이 코드(VLC; variable-length code) 워드로 팩된다. 예컨대, 제 1 숫자가 일련의 l개의 제로들을 가리키고, 제 2 숫자가 비제로 계수의 값(4)을 가리키는 VLC 워드"(2,4)"로 도 1c의 계수값들의 열(106)이 인코딩된다. 블록의 DC 계수는 차동 계수(dc)로 인코딩되고, 그 다음 가변 길이 인코딩된 DPCM이다.

도 1의 참조 부호(110)는 DCT 블록(104)을 나타내는 VLC 워드들의 열을 나타낸다. 열은 차동 DC 계수(dc)와 VLC 워드(111)와 다른 열(106)을 나타내는 VLC 워드(112)를 포함한다. 도 1d의 참조 부호(120)는 슬라이스를 나타낸다. MPEG에서, 슬라이스는 연속의 DCT 블록들의 열이다. 각각의 슬라이스는 동기 워드(sync word)를 포함하는 슬라이스 헤더(121)에서 시작하고, 이는 슬라이스가 비트 스트림에서 쉽게 발견되게 한다. 다수의 슬라이스들은 영상을 구성하고, 일련의 영상들은 비디오 시퀀스를 구성한다. 또한, 결과적인 비트 스트림(130)은 도 1d에 도시된다. 그 스트림은 각각 188 바이트의 고정 길이 전송 패킷들(131)로 패킷된다. 어떤 패킷들은 인터 에일리어(inter alia), 프로그램 클록 참조(PCR; Program Clock Reference) 필드(132)를 포함한다. 수신기에 있어서, 영상 디코딩 타이밍과 표시를 제어하는 로컬 타임 클록 생성기를 동조시키는 것이 사용된다.

도 2는 정보 신호에 보조 데이터를 임베딩하는 장치를 개략적으로 도시한다. 장치는 도 1d에 도시된 포맷(130)을 갖는 MPEG 압축된 비디오 신호 MP를 수신한다. 그 신호는 비트 스트림에서 특정한 VLC 워드들(W)을 추출하는 구문 해석(1; parser)에 적용되고, 상기 VLC 워드들을 가변 길이 디코더(2)와 스위치(3)의 한 입력에 적용한다. 비트 스트림의 나머지 즉, 선택되지 않은 VLC 워드들 및 헤드들, 타임 스템프들, 이동 벡터들 등의 다른 정보는 장치의 출력 멀티플렉서(4)로 직접 피드된다.

가변 길이 디코더(2)에 적용된 특정 VLC 워드(w)는 예컨대, VLC 워드(112)(도 1d를 도시)에 의해 나타나는 계수(c(6,4))나 바람직하게는 VLC 워드(111)(도 1d를 도시)에 의해 나타나는 차동 DC 계수(dc)인 각각의 DCT 블록의 주어진 변환 계수(c(i,j))를 나타내는 코드 워드이다. 가변 길이 디코더(2)는 VLC 워드의 계수(c(i,j))와 길이(n)를 디코딩한다. 계수(c(i,j))는 변경 회로(5)에 적용된다. 길이(n)는 제어 회로(6)에 적용된다.

변경 회로(5)는 이후 설명된 방식으로 c(i,j)를 변경한다. 변경된 계수(c'(i,j))와 제로들의 선행 런이 있다 해도 가변 길이 디코더(2)와 같은 코드북을 사용하여 가변 길이 인코더(7)에 의한 새로운 VLC 워드(W')로 재-인코딩된다. 새로운 VLC 워드의 길이(n')는 제어 회로(6)에 적용된다. 이후 설명될 바와 같이, 제어 회로(6)는 스위치(3)를 제어하여, 원래의 VLC 코드 워드(W) 또는 새로운 VLC 워드(W')를 선택한다. 그 다음, 선택된 코드 워드는 멀티플렉서(4)에 의해 비트 스트림(MP)에 있어서의 이 코드 워드의 원래 위치에서 재-삽입된다. 장치의 출력은 변경된 MPEG 비트 스트림(MP')이다.

장치는 보조 데이터 메시지(XD)를 더 수신한다. 예를 들어, 이후 보조 데이터 메시지는 문자 숫자식 문자들의 문자열이고, 각각의 문자열은 비디오 신호의 영상에 임베딩된다고 추측될 것이다. 메시지는 데이터 심볼 생성기(8)에 적용되며, 상기 데이터 심볼 생성기는 각각의 문자 숫자식 문자에 대한 다수의 심볼들(또는 숫자들)(b(k))을 생성한다. 본 발명의 일측면에 따라, 각각의 심볼은 모듈로-n 수이며, 여기서 n은 미리결정된 정수이다. 예컨대, n=4이면, 심볼들은 0, 1, 2, 및 3이 된다. n=3이면, 심볼들은 0, 1 및 2가 된다. 이러한 예에 있어서, n=2인 즉, 심볼들이 0 및 1인 종래의 비트들이 된다고 추측될 것이다.

이후 명백한 바와 같이, 문자를 나타내는 모든 심볼들이 영상내에 정확히 임베딩될 수는 없다. 이 때문에, 데이터 심볼 생성기(8)에 의해 적용된 코딩 스킴의 여유도가 제공되어, 어떤 심볼들이 틀리더라도 문자는 수신기 끝(end)에서 정확히 디코딩될 수 있다. 문헌(literature)은 다수의 널리 공지된 여유도의 코딩 스킴들을 제공한다. 상술된 실시예에 있어서, 데이터 심볼 생성기는 영상 블록 당 한 비트를 생성한다. 수직 576 픽셀들과 수평 768 팩셀들을 갖는 종래의 625 라인 텔레비전 시스템들에 있어서, 8×8 블록들의 수는 72×96=6912이다. 그리하여, 각각의 문자는 6912 비트(b(k))로 인코딩되고, 여기서 k=1...6912는 영상 내의 영상 블록의 위치를 나타낸다.

변경 회로(5)는 대응하는 문자 코드 심볼에 따라 각 블록의 주어진 변환 계수(c(i,j))를 변경하도록 처리한다. 상기 주어진 변환 계수(c(i,j))는 DC 계수(c(0,0)) 또는 상기 DC 계수와 이전의 DCT 블록의 DC 계수간의 차가 될 수 있다. 또한, 주어진 변환 계수는 지그재그형 시퀀스의 k^th 계수가 될 수 있다. 여기서, k는 변경에 의해 야기된 마스크 아티팩트(mask artifact)들을 위해 충분히 높은 수이다. 또한, 각 블록의 2개 이상의 주어진 계수들을 변경할 수 있다.

변경 회로는 출력 계수(c'(i,j))의 모듈로-n 값이 심볼을 나타내는 방식으로 c(i,j)를 변경한다. 명백하게, 계수(c(i,j))가 이미 적당한 값을 가졌다면 변경되지 않는다. 계수가 제로값을 갖는 AC 계수인 경우도 변경되지 않는다. 이는 재-인코딩의 처리가 상당히 복잡해지기 때문이다. 이러한 예에 있어서, 차동 DC 계수(dc)는 변경될 수 있고, 각각의 데이터 심볼(b(k))는 0 또는 1이 된다. 차동 DC 계수는 짝수값이 b(k)=0이고 홀수값이 b(k)=1이라고 추측한 것을 변경할 수 있다. 그 변경은 상기 계수에 +1 또는 -1을 가산함으로써 실행된다. +1 또는 -1을 가산하는 선택은 이미 처리된 차동 DC 계수들의 누적 합계에 의거할 수 있다. 또한, +1 또는 -1을 가산하는 선택은 가변 길이 재-인코딩 이후 코드 워드(W')의 길이에 의거할 수 있다. 이 때문에, 변경 회로는 도 2의 파선(dashed line)에 의해 도시된 바와 같이 제어 회로(6)에서 추가 정보를 수신한다.

도 2에 도시된 장치의 동작은 제어 회로(6)의 동작에 의해 더 정의되고, 도 3에 도시된 동작 단계들의 플로우 차트를 참조하여 설명될 것이다. MPEG 비트 스트림의 시작 검출을 따라 동작이 시작한다. 단계(301)에서, 가변수들(L, L')는 초기값(0)을 취한다. 가변(L)은 수신된 코드 워드들(W)의 누적 길이를 보유한다. 변수(L')는 대응하는 전송된 코드 워드들의 누적 길이를 보유한다.

단계(302)에서, DCT 블록(k)의 미리 결정된 계수(c(i,j)) 및 상기 블록내에 임베딩될 비트(b(k))가 수신된다. 단계(303)에서, 제어 회로(6)는 현 코드 워드(W)의 길이(n)에 변수(L)를 가산함으로써 멀리 수신되는 선택된 코드 워드들(W)의 총길이를 계산한다.

단계(304)에서, 변경 회로(5)는 선택된 계수(c(i,j))가 이미 임베딩될 데이터 비트(b(k))를 나타내는지의 여부를 검사한다. 이 때문에, 변경 회로는 조건(c(i,j) mod n=b(k))가 달성되는지의 여부를 검사하며, 여기서 n=2 즉, 짝수 계수값들(c(i,j))은 b(k)=1를 나타내고, 홀수 계수값들은 b(k)=1을 나타낸다. 상기 조건이 달성된다면, 현 DCT 블록을 위해 취해야 할 더 이상의 실행은 필요없다. 단계(305)에서, 스위치(3)(도 2)는 그 다음 수신된 코드 워드(W)를 출력으로 나아하기 위하여 위치 "b"로 설정된다. 같은 단계에서, 머리 전송된 코드 워드들(W)의 길이(L')는 변수(L')에 코드 워드(W)의 길이(n)를 가산함으로써 업데이트된다.

조건(c(i,j) mod n=b(k))이 달성되지 않는 경우, 상기 조건을 달성하기 위하여 계수(c(i,j)가 변경되는 단계(306)가 실행된다. 본 실시예(차동 DC 계수(dc)가 처리되어 n=2가 된다)에 있어서, 변경은 계수에 +1 또는 -1을 가산하는 단계를 포함한다. 선택 +1 또는 -1은 제어 회로(6)에 의해 변경 회로(5)에 적용되고, 출력 비트 스트림 내의 차동 DC 계수들의 누적 합계는 입력 비트 스트림 내의 대응하는 합계와 실질적으로 다르지 않다. 이는 단순히 +1 및 -1을 교대로 가산함으로써 달성될 수 있다.

변경된 계수(c'(i,j)) 및 그의 일련의 선행 제로들은 적용될 수 있는 경우에 인코더(7)에 의해 코드 워드(W')로 가변 길이 인코딩된다. 단계(307)에서, 비트 스트림의 길이에 관하여 변경된 계수(c'(i,j))에 의해 입력 계수(c(i,j))를 대체하는 결과가 평가된다. 이 때문에, 이미 전송된 코드 워드들의 길이(L') 및 변경된 코드 워드(W')의 길이(n')의 합(L'+n')은 수신된 코드 워드들의 대응하는 열들의 실이(L)와 비교된다. L'+n'이 L를 초과하는 경우, 변경된 계수는 전송되지 않는다. 즉, 변경되지 않은 계수(c(i,j))를 전송하기 위해 스위치(3)가 위치 "b"가 설정되는 단계(305)가 실행된다. L'+n'이 L이하이면, 변경된 코드 워드(W')에 의해 수신된 코드 워드(W)를 대체하기 위하여 스위치(3)(도 2)가 위치 "a"로 설정되는 단계(308)가 실행된다. 같은 단계에서, 변수(L')는 그 변수에 코드 워드(W')의 길이(n')를 가산함으로써 업데이트된다.

상술된 대체 스킴은 출력 비트 스트림의 길이가 수신된 비트 스트림의 길이를 결코 초과하지 않는다는 것을 확보한다. 그러나, 개개의 코드 워드들은, 이전의 코드 워드들이 짧은 코드 워드들로 대체되었음이 제공되어 있는, 그들의 원래의 코드 워드들보다 길 수도 있다는 것에 주의해야 한다. 이것은 Hartung 등 상술된 참조에 공지된 종래 기술과 비교해서 현저하게 향상된 것이다.

명백하게, 출력 비트 스트림의 길이는 수신된 비트 스트림의 길이보다 부족할 수 있다. 이것은 타임 스템프들(도 1d에 132)이 상대적으로 시프트될 수 있기 때문에 관심의 대상은 아니다. 또한, 코드 워드들 또는 코드 워드들의 일부분들은 한 전송 패킷(도 1d의 131)에서 다른 전송 패킷으로 이동될 수 있고, 이는 신호 처리가 패킷 레벨에서 실행되는 디지털 비디오 기록 등의 적용들에 불리할 수 있다. 이 때문에, 단계(309)로 나아가는 동작의 흐름은 주어진 코드 워드들의 시퀀스의 처리가 완료되었는지의 여부를 검사한다. 그러한 시퀀스는 인터 에일리어, 연속적인 타임 스템프들간의 간격, 전송 패킷, 또는 슬라이스이다. 시퀀스가 완전히 처리되지 않을 정도로 긴 경우, 프로그램은 다음 DCT 블록 안에 다음 데이터 비트를 임베딩하기 위해 단계(302)로 되돌아간다. 시퀀스가 처리된 경우, 다수의 (즉, L-L') 더미 비트들이 비트 스트림의 적절한 위치들에 삽입되는 것과 같이 일정한 비트들의 수를 보유하는데 필요한 단계(310)가 실행된다. 그 다음, 프로그램은 새로운 시퀀스를 시작하기 위해 단계(301)로 되돌아간다.

위 설명은 구체적인 실례에 의해 더 설명될 것이다. 이러한 예에 있어서, 문자 "A"는 수평 40 픽셀들과 수직 24 픽셀들을 갖는 영상내에 임베딩된다. 그 영상은 MPEG 표준에 따라 압축된다. 특히, 영상은 8×8 픽셀들의 5×3 블록들로 분할된다. 각각의 블록은 각각 8×8 계수들을 갖는 5×3 DCT 블록들을 산출하는 변환된 이산 코사인이다. 5 블록의 각 행은 슬라이스이다. 도 4에서, 어레이(410)는 블록들의 차동 DC 계수들을 보여준다. 영상내에 임베딩되는 문자 "A"는 도면에 도시된 어레이(420)와 같은 15 비트 코드에 의해 나타내어진다. 편의상, 15 비트 코드는 이러한 예에 1들과 0들로 교차하는 패턴이다. 전술한 명세서로 인하여 인식할 수 있는 바와 같이, 삽입기(embedder)는 차동 DC 계수들을 홀수("1"에 대한) 및 짝수("0"에 대한) 값들을 교차하는 패턴으로 변경할 수 있다. 전송된 계수 패턴은 도 4의 430에 나타난다. 도시된 바와 같이, 변경되지 않는 2개가 계수들(431,432)이 있다. 그럼에도 불구하고, 패턴이 글자 "a"와 같이 디코딩되지 않는다는 것을 확보하기 위해 문자 코드 테이블에서의 여유도가 제공된다.

이제, 전송된 어레이(430)의 임의값들이 논의될 것이다. 참조는 MPEG 표준에 따라 다른 루미넌스 DC 계수값들의 범위를 위한 가변 길이 코드 워드들의 길이들이 도시된 다음 표(I)로 구성된다.

차동 DC	-15..-8	-7..-4	-3, -2	-1..1	2, 3	4..7	8..15	16..31	32..63
코드워드길이	7	6	4	3	4	6	7	9	11

<표 I>

제 1 슬라이스의 처리는 다음과 같이 진행된다.

- 제 1 코드 워드는 11 비트들의 길이(이후 n)를 갖는 계수값(이후 c) 62를 나타낸다. 이 계수는 소망의 값을 가지며, 변경될 필요는 없다.

- 제 2 코드 워드(c=12, n=7)는 계수에 +1를 가산함으로써 변경된다. 새로운 코드 워크(c'=13)은 동일한 길이(n'=7)을 가지며, 전송된다.

- 제 3 코드 워드(c=-1, n=3)는 짝수값을 확보하기 위해 변경되어야 한다. 이러한 상태에서 변경을 하는 적합한 방법으로는 -1을 더한다. 그러나, 변경된 코드 워드(c'=-2, n'=4)는 수신된 코드 워드로 대체되지 않는다. 왜냐하면 전송된 비트들(L'+n'=22)이 수신된 비트들(L=21)의 수를 초과하게 되기 때문이다.

- 제 4 코드 워드(c=16, n=9)는 변경되어야 한다. 적용되는 변경의 유형은 여전히 -1를 더한다. 코드 워드는 새로운 코드 워드(c'=15)가 보다 짧은 길이(n'=7)을 가지기 때문에 대체될 수 있다. 이제, 수신된 비트들의 수는 30이 되고, 전송된 비트들의 수는 28이 된다.

- 이제 비트 스트림 안에 공간을 할애하는 경우, 제 5 코드 워드(c=7, n=6)는 새로운 코드 워드가 더 길더라도(n'=7) 변경될 수 있다. 3개의 계수들은 제 1 슬라이스의 끝에서 변경된다. 비트들의 총수는 1씩 감소되고, 이는 슬라이스의 끝에서 하나의 더미 비트를 삽입함으로써 보상된다. 루미넌스 DC 레벨의 유동하여 버리는 차동 DC 레벨들에 +1 및 -1를 교대로 가산함으로써 회피된다.

영상들의 제 2 슬라이스는 이러한 예에 동일한 DC 레벨들을 갖는다. 1들 및 0들의 교차 패턴이 "1"로 시작하는 경우, 오직 제 1 계수들이 변경해야 한다. 각각의 코드 워드(c=62, n=11)이 (c'=63, n'=11)로 대체된다. 슬라이스의 비트들의 수는 변경되지 않는다.

제 3 슬라이스의 제 1 코드 워드(c=32,n=11) 및 제 3 코드 워드(c=0, n=3)는 변경될 필요가 없다. 제 2 코드 워드(c=-2, n=4)는 (c'=-1, n'=3)로 대체된다. 제 4 코드 워드(c=10, n=7)는 (c'=9, n'=7)로 대체된다. 그러나, 제 5 코드 워드(c=3, n=4)는 변경된 계수(c'=4)를 전송하는 단계가 n'=6 비트들을 요구하기 때문에 대체될 수 없으나, 1로 할애된 비트는 이러한 상태에서 이용할 수 있다.

도 5는 MPEG 비트 스트림으로부터 보조 데이터를 검색하는 장치의 개략도이다. 장치는 비트 스트림으로부터 주어진 코드 워드들(W)을 추출하는 구문 해석(501), 그내에 임베딩된 데이터를 갖는 계수(c(i,j))를 디코딩하는 가변 길이 디코더(502), 및 각 계수(c(i,j))의 모듈로-n 값을 계산하는 심볼 검색 회로(503)를 포함한다. 이러한 실시예에 있어서, n=2 경우, 각 계수의 모듈로-n 값(즉, 1 또는 0)은 임베딩된 데이터의 비트(b(k))를 구성한다. 메시지 재생기(504)는 도 2에 도시된 메시지 생성기(8)의 역 동작을 수행하여, 심볼들(여기서, 영상내에 임베딩된 비트들)의 조합들을 메시지(XD)의 문자로 전환한다. 그러나, 매시지 재생기가 복수의 비트들의 조합을 동일한 문자로 전환한다는 것에 주의해야 한다. 예를 들어, 2개의 비트들(611, 612)가 "원래" 코드(도 4의 420)와 다르더라도, 도 6(장치는 데이터가 도 4에 도시된 예에 따라 임베딩되었는지를 검색하는)의 비트들의 어레이(610)는 문자 "A"가 된다. 해밍 디코더들(Hamming decoders) 또는 상관 디코더(correlation detectors)등의 여러 수단들이 본 기술 분야에 공지된다. 상관 디코더는 모든 문자 코드들을 갖는 수신된 코드의 상관관계를 계산하여, 더 높은 상관관계를 갖는 문자를 선택한다.

본 발명의 유용한 적용으로는 상기 디바이스에 의해 기록된 MPEG 콘텐츠의 디지털 홈 비디오 기록기(digital home video recorder)를 확인하는 일련의 수를 임베딩하는 것이다. 도 7은 그러한 비디오 기록기의 도면을 개략적으로 도시한다. 기록기는 기록될 MPEG 비트 스트림(MP)을 수신하고, 도 2에 도시된 장치에 대응하는 데이터 삽입기(701), 종래의 기록 회로(702), 및 예컨대, 자기 테이프 또는 광디스크인 제거가능한 기록 캐리어(703)를 포함한다. 데이터 삽입기(701)는 기록기에 고정하여 저장된 고유 확인 번호(704)의 형태로 데이터 메시지(XD)를 수신한다. 기록기의 동작은 전술한 데이터 삽입기로 인해 쉽게 이해될 수 있다. 도 5에 도시된 장치와 같은 디코더는 삽입된 일련의 수를 디코딩하고 나타낸다. 그리하여, 불법적으로 복사된 재료의 소스는 쉽게 추적될 수 있다.

도 8은 압축되지 않은 정보 신호를 압축된 정보 신호(MP)로 인코딩하는 장치를 도시하며, 이 장치는 압축된 출력 신호 안에 보조 데이터를 임베딩하는데 적합하다. 이러한 MPEG 비디오 인코더의 일예에 있어서, 장치는 예측 영상을 입력 영상에서 감산하는 감산기(801), 이산 코사인 변환 회로(802), 양자기(803), 데이터 삽입기(810), 가변 길이 인코더(804), 역 양자기(805), 역 이산 코사인 변환 회로(806), 가산기(807), 및 프레임 메모리(808)를 포함하는 이동 추정과 보상 상태를 포함한다. 회로 요소들(801 내지 808)은 널리 공지된 MPEG 인코더를 구성하며, 더 이상의 설명은 필요가 없다. 데이터 삽입기(810)는 임베딩될 보조 데이터 메시지(XD)를 수신한다. 데이터 삽입기는 전술된 방식으로 동작된다. 이것은 즉, 각 데이터 워드(예, 도 2의 8)에 대한 비트들의 수(b(k))를 생성하는 데이터 심볼 생성기, 주어진 변환 계수(c(i,j))(예, 도 2의 5)를 변경하는 변경 회로, 및 실시예에서 +1 또는 -1이 계수(예, 도 2의 8)에 가산되는지의 여부를 결정하는 제어 회로를 포함한다. 이러한 장치에 가변 길이 디코더(예, 도 2의 2)가 필요하진 않다. 원칙적으로, 각각의 주어진 계수는 대응하는 가변 길이 코드 워드의 길이의 결과에 상관없이 변경될 수 있다. 그러나, 제로값을 갖는 AC 계수들의 변경은 바람직하게 생략된다. 왜냐하면 가변 길이 인코더(805)에 의해 수행되는 조합된 런 길이/허프만 코딩의 코딩 효율에 상당히 영향을 미치기 때문이다.

본원에는 보조 데이터(XD)를 정보 신호(MP)에 임베딩하는 방법이 공지되어 있으며, 상기 정보 신호의 신호 샘플들은 가변 길이 인코딩된, 예를 들어 MPEG 압축된 비디오 신호이다. 선택된 신호 샘플들 즉, 비디오 영상을 구성하는 주어진 블록들의 변환 계수들(c(i,j))은 대응하는 가변 길이 코드 워드들(W)을 디코딩함으로써(2) 검색된다. 선택된 신호 샘플들은 데이터 심볼(B(k))을 표시하기 위해 변경되어(5), 재-인코딩된다(7). 주어진 코드 워드들(슬라이스, MPEG 전송 패킷)의 시퀀스의 길이가 원래 길이를 초과한다면, 또는 비트 스트림 안의 클록 참조 타임 스템프들의 위치에 영향을 미친다면, 신호 샘플의 변경은 생략된다. 더미 비트들의 삽입은 시퀀스에서 데이터의 부족분을 보상한다.

Claims (21)

1. 보조 데이터(XD)를 정보 신호(MP)에 임베딩하는 방법으로서, 선택된 신호 샘플들을, 상기 보조 데이터의 각각의 심볼들을 표시하기 위해 변경하는 단계를 포함하는, 상기 보조 데이터 임베딩 방법에 있어서,

   상기 신호 샘플들은 상기 정보 신호를 변환 코딩함으로써 얻어지고, 가변 길이 코드 워드들로 인코딩된 변환 계수들(c(i,j))이며, 상기 방법은:

   선택된 계수를 나타내는 가변 길이 코드 워드를 디코딩하는 단계와;

   보조 데이터 심볼을 표시하기 위해 상기 선택된 계수를 변경하는 단계와;

   상기 변경된 계수를 새로운 가변 길이 코드 워드로 인코딩하는 단계와;

   예전의 코드 워드를 새로운 코드 워드로 대체하는 단계를 더 포함하는 것을 특징으로 하는, 보조 데이터 임베딩 방법.
2. 제1항에 있어서, 상기 예전의 코드 워드를 새로운 코드 워드로 대체하는 단계로 인해 주어진 코드 워드들의 시퀀스의 길이가 상기 시퀀스의 원래 길이를 실질적으로 초과한다면, 상기 대체 단계는 생략되는, 보조 데이터 임베딩 방법.
3. 제1항에 있어서, 상기 대체 단계로 인해 상기 주어진 코드 워드들의 시퀀스의 길이가 상기 시퀀스의 원래 길이보다 실질적으로 짧다면, 신호가 코딩된 포맷에 의해 제공되는 필드내에 더미 비트들(dummy bits)을 삽입하는 단계를 더 포함하는, 보조 데이터 임베딩 방법.
4. 제2항에 있어서, 상기 보조 데이터는 복수의 데이터 심볼들의 조합들로 각각 표시되는 데이터 워드들 포함하는, 보조 데이터 임베딩 방법.
5. 제2항 또는 제3항에 있어서, 상기 주어진 시퀀스는 MPEG 비디오 신호의 한 슬라이스(slice)인, 보조 데이터 임베딩 방법.
6. 제2항 또는 제3항에 있어서, 상기 주어진 시퀀스는 MPEG 전송 스트림의 전송 패킷인, 보조 데이터 임베딩 방법.
7. 제2항 또는 제3항에 있어서, 상기 주어진 시퀀스는 상기 신호내에 수용된 클록 참조 타임 스템프들(clock reference time stamps) 간 코드 워드들의 시퀀스인, 보조 데이터 임베딩 방법.
8. 제1항에 있어서, 상기 선택된 계수는 연속적인 계수들의 블록들의 DC 계수들 간의 차를 표시하는 차동 DC 계수인, 보조 데이터 임베딩 방법.
9. 제8항에 있어서, 상기 선택된 계수를 변경하는 단계는, 주어진 일련의 블록들의 차동 DC 계수들의 합이 실질적으로 변경되지 않는 값을 가산하는 단계를 포함하는, 보조 데이터 임베딩 방법.
10. 제8항에 있어서, 상기 일련의 블록들은 MPEG 비디오 신호의 한 슬라이스인, 보조 데이터 임베딩 방법.
11. 제1항에 있어서, 상기 데이터 심볼들은 상기 선택된 계수들의 모듈로-n 값들(modulo-n values)로 표시되고, n은 미리결정된 정수인, 보조 데이터 임베딩 방법.
12. 제11항에 있어서, n=2인, 보조 데이터 임베딩 방법.
13. 정보 신호로부터 보조 데이터를 검색하는 방법으로서, 각각의 선택된 신호 샘플들로부터 상기 보조 데이터의 심볼들을 검색하는 단계를 포함하는, 상기 보조 데이터 검색 방법에 있어서,

    상기 신호 샘플들은 상기 정보 신호를 변환 코딩함으로써 얻어지고, 상기 심볼들을 표시하기 위해 변경되고, 가변 길이 코드 워드들로 인코딩된 변환 계수들이며, 상기 검색 단계는:

    선택된 계수들을 나타내는 가변 길이 코드 워드들을 디코딩하는 단계와;

    상기 디코딩된 계수들로부터 각각의 보조 데이터를 검색하는 단계를 포함하는 것을 특징으로 하는, 보조 데이터 검색 방법.
14. 제13항에 있어서, 복수의 데이터 심볼들의 조합들은 동일한 데이터 워드를 표시하는, 보조 데이터 검색 방법.
15. 제13항에 있어서,

    상기 데이터 심볼들은 상기 선택된 계수들의 모듈로-n 값들로 표시되고, n은 미리결정된 정수인, 보조 데이터 검색 방법.
16. 정보 신호를 저장 매체 상에 기록하는 방법에 있어서:

    상기 정보 신호를 변환 코딩함으로써 얻어지고, 가변 길이 코드의 워드들로 인코딩된 변환 계수들의 형태로 신호 샘플들을 갖는 압축된 정보 신호를 수신하는 단계와;

    제1항에 청구되는 방법을 사용하여, 보조 데이터를 상기 정보 신호에 임베딩하는 단계와;

    임베딩된 보조 데이터를 갖는 상기 정보 신호를 상기 저장 매체 상에 기록하는 단계를 포함하는, 정보 신호 기록 방법.
17. 정보 신호에 보조 데이터를 임베딩하는 장치로서, 선택된 샘플들을, 상기 보조 데이터의 각각의 심볼들을 표시하기 위해 변경하는 수단을 포함하는, 상기 보조 데이터 임베딩 장치에 있어서,

    상기 신호 샘플들은 상기 정보 신호를 변환 코딩함으로써 얻어지고, 가변 길이 코드 워드들로 인코딩된 변환 계수들이며, 상기 장치는:

    선택된 계수를 나타내는 가변 길이 코드 워드를 디코딩하는 수단과;

    보조 데이터 심볼을 표시하기 위해 상기 선택된 계수를 변경하는 수단과;

    상기 변경된 계수를 새로운 가변 길이 코드 워드로 인코딩하는 수단과;

    예전의 코드 워드를 새로운 코드 워드로 대체하는 수단을 더 포함하는 것을 특징으로 하는, 보조 데이터 임베딩 장치.
18. 정보 신호로부터 보조 데이터를 검색하는 장치로서, 각각의 선택된 신호 샘플들로부터 상기 보조 데이터의 심볼들을 검색하는 수단을 포함하는, 상기 보조 데이터 검색 장치에 있어서,

    상기 신호 샘플들은 상기 정보 신호를 변환 코딩함으로써 얻어지고, 상기 신호들을 표시하기 위해 변경되며, 가변 길이 코드 워드들로 인코딩된 변환 계수들이며, 상기 검색 수단은:

    선택된 계수들을 나타내는 가변 길이 코드 워드들을 디코딩하는 수단과;

    상기 디코딩된 계수들로부터 각각의 보조 데이터 심볼을 검색하는 수단을 포함하는 것을 특징으로 하는, 보조 데이터 검색 장치.
19. 정보 신호를 저장 매체상에 기록하는 장치에 있어서:

    상기 정보 신호를 변환 코딩함으로써 얻어지고, 가변 길이 코드 워드들로 인코딩된 변환 계수들의 형태로 신호 샘플들을 갖는 압축된 정보 신호를 수신하는 수단과;

    제17항에 청구되는 장치를 사용하여, 보조 데이터를 상기 정보 신호에 임베딩하는 수단과;

    임베딩된 보조 데이터를 갖는 상기 정보 신호를 상기 저장 매체상에 기록하는 수단을 포함하는, 정보 신호 기록 장치.
20. 삭제
21. 임베딩된 보조 데이터를 갖는 정보 신호가 저장된 기록 매체로서, 상기 보조 데이터의 각각의 심볼들은 선택된 신호 샘플들에 의해 표시되는, 상기 정보 신호가 저장된 기록 매체에 있어서:

    상기 신호 샘플들은 상기 정보 신호를 변환 코딩함으로써 얻어지고, 가변 길이 코드 워드들로 인코딩된 변환 계수들인 것을 특징으로 하는, 정보 신호가 저장된 기록 매체.

Images