KR20080102218A - 두 개의 데이터 섹션을 상관시키는 방법 및 장치 - Google Patents

Abstract

오디오 신호의 워터마킹은 오디오 콘텐츠 내에서의 변경이 인간의 청각 시스템에 의해 인식되지 않는 방식으로 오디오 신호를 조작하고자 하는 것이다. 워터마크 데이터는 대응하는 후보 기준 시퀀스와 상관시킴으로써 수신된 워터마킹된 오디오 신호로부터 디코딩된다. 인코더에서 워터마크 데이터 프레임에 하나 이상의 동기 심볼(S1, S2, S3)이 두 번 내장된다. 그 후, 표준 상관 대신 순환 상관이 계산된다.

상관, 오디오, 비디오, 시퀀스, 워터마크, 인코딩, 디코딩

Description

두 개의 데이터 섹션을 상관시키는 방법 및 장치{METHOD AND APPARATUS FOR CORRELATING TWO DATA SECTIONS}

본 발명은 두 개의 데이터 섹션을 상관시키기 위한 방법 및 장치에 관한 것이다. 그러한 상관은 오디오 워터마크 디코딩에 사용될 수 있다.

오디오 신호의 워터마킹은, 오디오 콘텐츠에서의 변화를 인간의 청각 시스템이 인식하지 못하도록 하는 방식으로 오디오 신호를 조작하고자 하는 것이다. 대부분의 오디오 워터마킹 기술은 오디오 신호의 전체 주파수 스펙트럼을 커버하는 스프레드 스펙트럼 신호를 오리지날 오디오 신호에 부가하거나, 스프레드 스펙트럼 신호로 변조된 하나 이상의 캐리어를 오리지날 오디오 신호에 삽입한다. 다소의 가청 정도로 그리고 다소의 로버스트 방식으로 워터마킹하는 다수의 가능성이 존재한다. 현재의 가장 두드러진 기술은, 예를 들면, WO-A-97/33391 및 US-A-6061793에서 볼 수 있는 심리 음향 형상 스프레드 스펙트럼(psycho-acoustically shaped spread spectrum)을 사용한다. 이 기술은 견고성은 차선임에도 불구하고 가청도와 견고성 간에 양호한 절충을 제공한다.

US-A-2005/0033579 및 EP 05090261.8에 개시된 바와 같은 위상 세이핑 또는 스프레드 스펙트럼 같은 다수의 오디오 워터마킹 기술은 디코더에서 검출하기 위해 기준 시퀀스와의 상관을 사용한다. 워터마크의 견고성은 기준 시퀀스의 길이를 증가시킴으로써 향상된다.

그러나, 상관에 필요한 메모리 및 프로세싱 전력은 기준 시퀀스의 길이가 증가하는 것에 비례하여 증가하게 된다. 이로 인해 대응하는 워터마크 검출기의 하드웨어 비용도 증가하게 된다.

본 발명이 해결하고자 하는 과제는 필요한 메모리 크기 및 필요한 프로세싱 전력을 감소시키는 것이다. 이 과제는 청구범위 제1항에 개시된 방법에 의해 해결된다. 이 방법을 사용하는 장치가 청구범위 제5항에 개시된다.

본 발명의 개념은 인코더측에서 오리지날 오디오(또는 비디오) 신호에 워터마크 심볼을 두 번(그 이상) 내장하고, 대응하는 디코더에서 워터마크 디코딩용 표준 상관 대신 순환 상관을 사용하는 것이다. 워터마킹된 오디오 신호는 수신된 오디오 신호를 대응하는 (예를 들면, 역변환된) 후보 기준 시퀀스와 상관시킴으로써 디코딩된다. 단점은 워터마크 시스템의 워터마크 정보 데이터율이 약간 감소된다는 것이다. 그러나, 본 발명은 필요한 메모리 크기를 두 배 이상 감소시키고, 필요한 프로세싱 전력을 여덟 배 이상 감소시킨다.

일반적으로, 본 발명의 방법은, 주어진 길이가 N인 적어도 하나의 데이터 신호 섹션(S1)을 포함하는 수신된 데이터 프레임의 부분을, 주어진 길이가 상기 N인 기준 데이터 섹션(R1)과 상관시키는 방법으로서 - 상기 적어도 하나의 데이터 신호 섹션(S1)은 상기 데이터 프레임 내에 연속적인 방법으로 적어도 두 번 배열됨 -, 순환 상관을 사용하여, 상기 기준 데이터 섹션(R1)을, 상기 연속적인 데이터 신호 섹션 중 처음 수신된 것의 적어도 제2 부분 및 상기 처음 수신된 하나의 데이터 신호 섹션 다음의 반복되는 데이터 신호(S1)의 대응하는 제1 부분과 상관시키는(CORR) 단계; 및 상관결과로서 생긴 상관값이 선정된 임계값보다 큰지 또는 상기 선정된 임계값의 음의 값 이하인지 여부에 따라, 상기 상관값(WMO)에 제1 비트값 또는 상기 제1 비트값과는 다른 제2 비트값을 할당하는 단계를 포함한다.

본 발명의 이점이 있는 부가의 실시예는 각각의 종속항에 개시되어 있다.

첨부 도면을 참조하여 본 발명의 예시적 실시예를 설명한다.

도 1은 예시적인 워터마크 데이터 프레임을 도시한다.

도 2는 기준 시퀀스 및 대응하는 동기 심볼이 시프트되는 예를 도시한다.

도 3은 하나 이상의 동기 시퀀스가 인코더에서 두 번 내장된 도 1의 데이터 프레임을 도시한다.

도 4는 상관되지 않은 제1 동기 심볼 부분을 도시하는 것으로, 이 심볼은 상관된 제2 동기 심볼의 부분과 정확하게 동일한 것을 도시한다.

도 5는 워터마크 인코더와 디코더의 예시적 블록도를 도시한다.

EP 05090261.8에 개시된 바와 같은 위상 세이핑 또는 스프레드 스펙트럼 같은 다수의 오디오 워터마킹 기술은 몇몇 종류의 기준 시퀀스를 캐리어 신호에 내장한다. 2위상 편이 변조 방식(BPSK)을 사용하는 경우, 시퀀스의 극성이 비트 값으 로 인코딩된다. 코드 편이 변조 방식(CSK)에 대해서는 전송되는 비트 값의 서로 다른 값에 대하여 서로 다른 시퀀스가 사용된다. 워터마크 메시지가 1 비트 이상을 포함하는 경우, 이 비트가 도 1의 예시적 데이터 프레임에 도시된 바와 같이 데이터 프레임에 결합되는 것으로, 이 프레임은 하나 이상의 동기 심볼 S1, S2 및 S3에서 시작하여 몇몇의 페이로드 심볼 Pld1 내지 Pld5가 이어진다. 이들 페이로드 심볼은 워터마크 데이터 및 선택적으로 에러 정정을 위한 패리티 데이터를 전송한다(carry). 워터마크 데이터 프레임은 통상 연속적으로 삽입되는데, 즉, 그 다음의 데이터 프레임은 동기 심볼로 시작하고 그 후 현재의 데이터 프레임의 마지막 페이로드 심볼이 이어진다. 페이로드 심볼의 디코딩은 상관을 사용하여 수행된다. 예를 들어 BPSK를 사용하는 경우, a_w는 오디오 샘플의 벡터를 정의하고 r은 길이가 N인 기준 벡터를 정의한다. 상관값 C는 다음과 같이 계산된다:

C=Sum i=1, i≤N a_w(i)*r(i),

즉, 곱 a_w(i)*r(i)는 1부터 N까지의 i에 대한 모든 값에 대하여 합산된다. C＞0이면, '0'값 워터마크 비트가 디코딩되고, 그렇지 않은 경우 '1'값 워터마크 비트가 디코딩된다. 대안으로서, C＞TH이면, 제1 워터마크 비트값이 디코딩되고, C＜TH이면, 제2 워터마크 비트값이 디코딩되는데, 여기에서 TH는 사전 결정된 임계값이다.

이러한 상관 계산은 a_w 및 r이 이미 동기된 경우에만 가능하다. 이들이 하나 이상의 샘플만큼 시프트된다면, 다음의 계산이 수행될 것이다:

k=1에 대하여, k＜N: C(k) = Sum i=1, i≤N a_w(i-k)*r(i).

a_w와 r 간의 오프셋은 상관 벡터 C에서 가장 큰 값의 위치를 찾음으로써 알 수 있다.

도 2는 기준 시퀀스 R1 및 그에 대응하는 동기 심볼 S1이 대략 N/4만큼 시프트된 예를 도시한다. 따라서 상관의 입력 벡터는 R1, 그에 대응하는 S1의 제2 부분 및 그에 대응하는 S2의 제1 부분이다.

전술한 계산은 차수 O(N²)에 대응하는 N*N 승산이 필요하다. FFT를 사용하여 상관을 계산하는 빠른 방법이 공지되어 있다:

C=IFFT(FFT(a0_w)*conj(FFT(r0))),

여기에서, a0_w는 처음 N 성분이 a_w 성분과 동일하고 그 다음 N-1 성분이 0을 포함하는 벡터이다. r0는 동일한 방식으로 0이 패딩된 r의 버전이다. 이 알고리즘은 대략 O(log(2*N)*2*N)이다. 이롭게도, 큰 값의 N에 대하여 FFT 기반 접근법은 직접적인 것보다 더 빠르다.

본 발명의 개선점은 다음의 두 단계를 포함한다. 첫째로, 도 3에 도시된 바와 같이, 하나 이상의 동기 심볼 또는 시퀀스 S1 내지 S3가 인코더에서 두 번 내장된다. 이 예에서, 동기 신호 S1 및 S2는 인코더 또는 송신기 측에서 (워터마크) 데이터 프레임에 두 번 내장된다. 워터마크 데이터 프레임의 동기용으로 제1 심볼이 사용되기 때문에, 각 심볼을 이중으로 할 필요는 없다. 시퀀스(즉, 데이터 프레임)이 동기되면, 완전한(full) 상관을 수행할 필요는 없다.

둘째로, 동기를 달성하기 위해, 디코더 또는 수신기 측에서 표준 상관 대신 순환 상관이 계산된다. 순환 상관은 다음과 같이 계산된다:

C=IFFT(FFR(a_w)*conj(FFT(r)))

도 4에서 알 수 있는 바와 같이, 상관되지 않은 제1의 S1 심볼 부분은 상관된 제2의 S1 심볼의 대응하는 부분과 정확하게 동일하다. 이것은 표준 상관 대신 순환 상관을 사용하기 때문이다. 이롭게도, 0 패딩을 사용하지 않기 때문에, 대략 O(log(N)*N)이고, 즉, 표준 상관을 계산할 때보다 두 배 빠르고 대략 절반의 메모리 크기만을 필요로 한다.

명백한 상관 값이 검출되지 않으면, 후에 몇몇 샘플의 위치에 대하여 상관을 다시 계산한다. 표준 상관을 사용하는 경우, 상관값이 신호와 기준 간 비동기화가 길어지는 것을 감소시키기 때문에, 두 상관 간의 거리를 너무 길지 않도록 해야 한다. 예를 들면, 길이 N=4096인 상관에 대하여, 두 상관 간의 거리 d는 d=1024보다 더 길지 않게 해야한다. 이롭게도, 본 발명의 프로세싱을 사용하게 되면, 상관 갑이 감소되지 않게 되는데, 즉, 두 상관 간의 거리가 완전한 상관 길이일 수 있고, 즉, 길이 N=4096인 상관에 대하여, 거리는 d=4096일 수 있다. 결과적으로, 본 발명의 동기 프로세싱은 RAM 니즈(needs)를 두 배 이상 감소시키고 MIPS 니즈를 여덟 배 이상 감소시킨다.

본 발명은, 예를 들면, 도 5에 도시된 것과 같은 워터마킹 시스템에 적용될 수 있다. 인코더 측에서, 오리지날 오디오 입력 신호 AUI는 위상 변경 모듈(PHCHM) 및 심리 음향 계산기(PSYA)로 이송되고, 여기에서 심리 음향 계산기는 오디오 입력 신호의 현재의 심리 음향 특성이 결정되고, 주파수 범위 또는 범위들 및/또는 시간 인스턴트 스테이지(PHCHM)가 워터마크 정보를 오디오 신호의 위상에 할당가능하게 하는 것을 제어한다. 스테이지 PHCHM에서의 위상 수정은 주파수 도메인에서 실행되고 수정된 오디오 신호는 출력전에 시간 도메인으로 다시 변환된다. 주파수 도메인으로 그리고 시간 도메인으로의 이들 변환은 FFT 및 역 FFT를 각각 사용하여 수행될 수 있다. 오디오 신호의 대응하는 위상 섹션은 스프레딩 시퀀스 스테이지(SPRSEQ)에 저장되거나 생성된 스프레드 스펙트럼 시퀀스(예를 들면, m-시퀀스)에 따라 스테이지 PHCHM에서 조작된다. 워터마크 정보, 즉, 페이로드 데이터 PD는 스테이지 SPRSEQ를 적절히 제어하는 비트값 변조 스테이지 BVMOD로 이송된다. 스테이지 BVMOD에서, PD 데이터의 현재의 비트값을 사용하여, 스테이지 SPRSEQ에서의 인코더 의사잡음 시퀀스를 변조한다. 예를 들면, 현재의 비트값이 '1'이면, 인코더 의사잡음 시퀀스는 불변인채로 남게되지만, 현재의 비트값이 '0'에 대응하는 경우에는, 인코더 의사잡음 시퀀스는 반전된다. 그 시퀀스는 '랜덤' 분포의 값으로 구성되고, 이는 도 3의 구조에 대응할 수 있고, 그의 길이는 오디오 신호 프레임의 길이에 대응할 수 있다. 위상 변경 모듈(PHCHM)은 대응하는 워터마킹된 오디오 신호(WMAU)를 출력한다. 디코더 측에서, 워터마킹된 오디오 신호(WMAU)는 위상이, 디코더 스프레딩 시퀀스 스테이지(DSPRSEQ)에 저장되거나 그 스테이지에서 생성된 하나 이상의, 예를 들면, 주파수 대 시간 도메인 변환 버전의 후보 디코더 스프레딩 시퀀스 또는 의사잡음 시퀀스(인코더에서 사용된 것)와 상관되는 상관기(CORR)를 통과한다. 상관기는 대응하는 워터마크 출력 신호 WMO의 비트값을 제공한다.

본 발명은 검출을 위해 상관을 사용하고 기준 신호가 두 번 내장되도록 내장 프로세스가 변경될 수 있는 모든 기술에 적용가능하다.

Claims (5)

1. 주어진 길이가 N인 적어도 하나의 데이터 신호 섹션(S1)을 포함하는 수신된 데이터 프레임의 부분을, 주어진 길이가 상기 N인 기준 데이터 섹션(R1)과 상관시키는 방법으로서 - 상기 적어도 하나의 데이터 신호 섹션(S1)은 상기 데이터 프레임 내에 연속적인 방법으로 적어도 두 번 배열됨 -,

   순환 상관을 사용하여, 상기 기준 데이터 섹션(R1)을, 상기 연속적인 데이터 신호 섹션(S1) 중 처음 수신된 것의 적어도 제2 부분 및 상기 처음 수신된 하나의 데이터 신호 섹션 다음의 반복되는 데이터 신호 섹션(S1)의 대응하는 제1 부분과 상관시키는(CORR) 단계; 및

   상관결과로서 생긴 상관값이 선정된 임계값보다 큰지 또는 상기 선정된 임계값의 음의 값 이하인지 여부에 따라, 상기 상관값(WMO)에 제1 비트값 또는 상기 제1 비트값과는 다른 제2 비트값을 할당하는 단계

   를 포함하는 상관 방법.
2. 제1항에 있어서,

   상기 데이터 프레임은 워터마크 데이터를 포함하는 상관 방법.
3. 제2항에 있어서,

   데이터 프레임은 하나 이상의 동기 심볼(S1, S2, S3) 및 하나 이상의 페이로 드 심볼(Pld1-Pld5)을 포함하고, 상기 동기 심볼 중 적어도 하나(S1, S2)는 데이터 프레임 내에서 적어도 한 번 반복되는 상관 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,

   상기 상관(CORR)은 C=IFFT(FFT(a_w)*conj(FFT(r)))를 계산함으로써 실행되며, 여기에서, C는 상기 상관값이고, r은 상기 기준 데이터 섹션(R1)이고, a_w는 상기 기준 데이터 섹션(r)이 상관될 상기 수신된 데이터 프레임의 대응하는 섹션인 상관 방법.
5. 제1항 내지 제4항 중 어느 한 항에 따른 방법을 수행하기 위한 장치.

Images