KR20050009733A - 멀티미디어 신호에 워터마크를 재삽입하는 방법 - Google Patents

멀티미디어 신호에 워터마크를 재삽입하는 방법 Download PDF

Info

Publication number
KR20050009733A
KR20050009733A KR10-2004-7019731A KR20047019731A KR20050009733A KR 20050009733 A KR20050009733 A KR 20050009733A KR 20047019731 A KR20047019731 A KR 20047019731A KR 20050009733 A KR20050009733 A KR 20050009733A
Authority
KR
South Korea
Prior art keywords
signal
watermark
new
sequence
old
Prior art date
Application number
KR10-2004-7019731A
Other languages
English (en)
Inventor
렘마어위크엔.
아프레아자비에르에프.
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050009733A publication Critical patent/KR20050009733A/ko

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00884—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00884—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
    • G11B20/00891—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm embedded in audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32315—Selecting a particular method from amongst a plurality of methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H04N2201/324—Selecting a particular authentication information from amongst a plurality of different authentication information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Abstract

워터마크 신호를 포함하는 멀티미디어 신호를 처리하는 장치 및 방법이 개시된다. 상기 방법은 상기 워터마크 신호의 적어도 일부를 제거하는 단계, 및 새로운 워터마크 표시된 신호를 형성하기 위해, 상기 멀티미디어 신호에 새로운 워터마크 신호 신호를 부가하는 단계를 포함한다.

Description

멀티미디어 신호에 워터마크를 재삽입하는 방법{Re-embedding of watermarks in multimedia signals}
멀티미디어 신호들의 워터마킹(watermarking)이란 멀티미디어 신호들과 함께 추가의 데이터를 전송하는 기술에 관한 것이다. 예컨대, 워터마크 기술은 저작권 및 카피(copy) 제어 정보를 오디오 신호들에 삽입하는데 사용될 수 있다.
워터 마킹 스킴(scheme)의 주된 필요 조건은, 워터마크는 관찰할 수 없지만(즉, 오디오 신호의 경우에, 청취 불가능하지만) 신호로부터 워터마크를 제거하려고 시도하는 것은 어렵다는 것이다(예컨대, 워터마크를 제거하는 것은 신호를 훼손시킬 것이다). 워터마크의 견고성은 보통 워터마크가 삽입된 신호의 품질에 대한 절충(trade-off)이라는 것을 인식할 수 있을 것이다. 예컨대, 워터마크가 강력하게 오디오 신호에 삽입된다면(그리고, 그에 따라 제거하기가 어렵다), 근본 기술 및 비밀 키를 알지 못하고 워터마크를 제거하려고 시도하면 오디오 신호 품질은 떨어질 것이다.
워터마크 신호의 삽입된 정보량을 증가시킴에 의해 워터마크를 변경하는 것이 공지되어 있다. 상기 예에서, 여분의(extra) 워터마크 시퀀스는 현존하는 워터마크 신호에 부가된다. 상기는, 예컨대, 4C 12비트 워터마크 명세에 포함된다. 상기 명세의 사본은 http://www.4centity.com/data/tech/4cspec.pdf에서 찾을 수 있다.
워터마크 정보가 반복적으로 변동될 필요가 있는 경우에, 상기의 방법은(추가적인 워터마크 신호가 페이로드(payload)를 변경하기 위해 부가됨에 따라) 원래의 정보 신호의 품질을 떨어뜨릴 뿐만 아니라 개별적인 삽입된 워터마크들 사이의 충돌이 워터마크의 견고성을 떨어뜨린다. 예컨대, 저작권에 관한 일정한 응용은, 타당한 카피 제어(copy control)를 주장하기 위해 신호내에 삽입된 저작권 정보가 반복적으로 변경되어야 한다는 것을 요구한다.
본 발명의 목적은 여기에 언급되거나 언급되지 않은 종래 기술의 문제점들의 적어도 하나를 실질적으로 처리하는 워터마킹 스킴을 제공하는 것이다.
본 발명은 오디오, 비디오, 및 데이터 신호들 등의 멀티미디어 신호들에 정보를 재삽입(re-embedding)하는 장치들 및 방법들에 관한 것이다.
도 1은 본 발명의 제1의 실시예에 따른 개괄적인 워터마크 재삽입 장치에 관한 다이어그램.
도 2는 워터마크 삽입 장치의 한 형태의 개략 다이어그램.
도 3은 제1의 워터마크 페이로드를 삽입하는데 사용된 페이로드 부가 및 조절 회로(도 2의 유닛(630a))의 상세를 도시하는 개략 다이어그램.
도 4는 본 발명의 하나의 바람직한 실시예에서 사용될 수 있는 워터마크 검출기를 도시하는 개략 다이어그램.
도 5는 하나의 바람직한 실시예에 따른 워터마크 생성 유닛(650)의 상세를 도시하는 개략 다이어그램.
도 6은 하나의 바람직한 실시예에 따른 워터마크 삽입 장치를 도시하는 다이어그램.
도 7은 신호부 추출 필터(H)를 도시하는 도면.
도 8은 워터마크 재삽입에 사용된 페이로드 부가/변경 및 워터마크 조절 단계(stage)에 관한 도면.
도 9는 각각의 단계에서 대응하는 신호들의 도표(chart)를 포함하는, 도 8의 워터마크 조절 장치(H c )의 상세를 도시하는 다이어그램.
도 10은 도 1 및 도 4의 장치에 의해 수신된 워터마크 신호의 원래의 페이로드에 대응하는 전형적인 상관 함수를 도시하는 도면.
도 11은 원래의 워터마크를 형성하는 2개의 시퀀스들 중의 하나를 제거한 이후의 상관 함수를 도시하는 도면.
도 12는 도 10에 도시된 상관 함수를 갖는 신호에 대해 제2의 워터마크 시퀀스를 부가함에 의해 형성된, 새로운 페이로드를 갖는 새로운 워터마크의 상관 함수를 도시하는 도면.
제1의 특징에 있어서, 본 발명은 워터마크 신호를 포함하는 멀티미디어 신호를 처리하는 방법을 제공하는 것으로서, 원래의 워터마크 신호의 적어도 일부를 제거하는 단계, 및 새로운 워터마킹된 멀티미디어 신호를 형성하기 위해 상기 멀티미디어 신호에 새로운 워터마크 신호를 부가하는 단계를 포함한다.
바람직하게는, 상기 원래의 워터마크 신호는 상기 원래의 워터마크 신호의 음의 버전(negative version)을 상기 멀티미디어 신호에 적용함으로써 제거된다.
바람직하게는, 상기 방법은 멀티미디어 신호에 상기 원래의 워터마크를 삽입(embedding)하는데 사용되는 파라미터들 중의 적어도 하나의 값을 판정하는 단계를 더 포함한다.
바람직하게는, 상기 파라미터는 상기 원래의 워터마크 신호의 적어도 일부를 제거하는데 사용된다.
바람직하게는, 상기 새로운 신호는 상기 판정된 값을 갖는 상기 삽입 파라미터들을 이용하여 멀티미디터 신호에 삽입된다.
적합하게는, 상기 새로운 신호는 상기 판정된 값들 이외의 값들을 갖는 상기 삽입 파라미터들을 이용하여 멀티미디어 신호에 삽입된다.
바람직하게는, 상기 파라미터는 삽입 강도, 동기 정보, 시간 오프셋, 타임 스케일링, 시퀀스의 원형 시프트량, 및 워터마크 심벌 기간 중의 적어도 하나를 포함한다.
적합하게는, 상기 원래의 워터마크 전부는 제거되고 상기 새로운 신호가 새로운 워터마크 신호를 포함한다.
바람직하게는, 상기 원래의 워터마크 신호로부터 적어도 하나의 나머지 시퀀스의 값을 남기기 위해, 상기 워터마크는 적어도 2개의 시퀀스의 값들과, 상기 워터마크 신호의 상기 일부로서 제거되는 적어도 하나의 시퀀스 값들을 포함하고, 상기 새로운 신호는 상기 나머지 신호와 함께 새로운 워터마크 신호를 형성하는 적어도 하나의 여분의 시퀀스의 값을 포함한다.
바람직하게는, 상기 시퀀스 값들 전부는 상이한 양(amount) 만큼 원형 시프트된 단일 시퀀스 값들로부터 형성된다.
바람직하게는, 상기 워터마크 신호의 상기 제거된 일부는 소정의 강도로 상기 멀티미디어 신호에 삽입되었고, 상기 방법은 바람직하게는 동일한 소정의 강도에 의해 상기 새로운 신호를 상기 멀티미디어 신호에 삽입하는 단계를 포함한다.
바람직하게는, 상기 삽입 강도는 상기 새로운 워터마킹된 멀티미디어 신호의 품질의 저하가 인식 가능하지만 거슬리는 정도는 아니다.
바람직하게는, 새로운 원래의 워터마크 신호 및 상기 원래의 워터마크 신호의 적어도 하나는 하나의 시퀀스의 값들에 윈도우 형상 함수(window shaping function)를 적용함으로써 형성된 매끄럽게 변하는 신호를 포함하고, 상기 윈도우 형상 함수의 적분(integral)은 0이다.
바람직하게는, 상기 윈도우 형상 함수는 2상 행동(bi-phase behavior)를 갖는다.
바람직하게는, 상기 2상 행동은 반대 극성의 적어도 2개의 해닝 윈도우(Hanning window)를 포함한다.
다른 특징에 있어서, 본 발명은 상기 방법을 실행하도록 배열된 컴퓨터 프로그램을 제공한다.
또 다른 특징에 있어서, 본 발명은 상기 컴퓨터 프로그램을 포함하는 기록 매체(record carrier)를 제공한다.
또 다른 특징에 있어서, 본 발명은 상기 컴퓨터 프로그램을 다운로딩하는 것을 가능하도록 하는 방법을 제공한다.
또 다른 특징에 있어서, 본 발명은 워터마크 신호를 포함하는 멀티미디어 신호를 처리하는 장치를 제공하는 하는 것으로서, 상기 장치는 상기 워터마크 신호의 적어도 일부를 제거하도록 배열된 삭제 유닛, 및 새로운 워터마크 신호를 생성하기 위해 상기 멀티미디어 신호에 새로운 신호를 부가하도록 배열된 삽입 장치(embedder)를 포함한다.
바람직하게는, 상기 장치는 상기 워터마크 신호의 파라미터의 적어도 하나의 값을 검출하도록 배열된 검출기를 더 포함한다.
바람직하게는, 상기 장치는 어떤 장치를 포함하는 멀티미디어 신호의 수신기를 포함한다.
본 발명의 이해을 돕고 본 발명의 실시예들이 어떻게 실시되는가를 도시하기 위해, 예시로서 첨부된 도면을 참조할 것이다.
도 1은 본 발명의 제1의 실시예에 따른 재삽입 장치(600)를 도시한다. 상기 장치는 워터마크 정보 신호(y' old )를 수신하기 위해 배치된 입력(602)을 포함한다. 상기 입력 신호(y' old )에 관한 2개의 카피(copy)들이 형성되고, 하나의 카피는 지연 유닛(614)으로 가고, 다른 하나의 카피는 검출기(640)에 입력된다.
검출기(640)는 상기 수신된 신호(y' old ) 내에 삽입되는 워터마크(w old )의 평가치(w' old )(출력(612))를 검출하기 위해, 그리고 워터마크 페이로드를 변경하기 위해 필요한 제어 파라미터(출력(609))를 추산하기 위해 배치된다.
검출된 워터마크(w' old )에 관한 정보는 그 후 워터마크 발생 장치(650) 및 워터마크 삽입 유닛(620)에 전달된다. 상기 워터마크 발생 장치에 넘겨진 정보는 워터마크 발생 장치가w' old 의 카피(w old )를 생성하도록 하는 (단일한 일련된 값들의 2개의 원형 시프트된 시퀀스들을 포함하는 워터마크에 대한 것과 같은) 충분한 정보, 또는 추출된 워터마크(w' old )의 완전한 카피일 수 있다.w old 로 표시된 상기 워터마크 발생 장치의 출력(608)은 바람직하게는 추출된 워터마크(w' old )의 에러 보정 버전이다.
워터마크 발생 장치(650)는 원래의 정보 신호(y' old )에 대해 부가하기 위한 새로운 워터마크 신호(w new )(출력(618))를 추가로 생성한다.
지연 유닛(614)은 상기 검출기(640), 및 상기 워터마크 발생 장치(650)에 의해 간섭 동작이 실행되는 동안에 입력 신호(y' old )를 지연하도록 작동한다. 지연된 신호(y' old )는 그 후 삽입 장치(620)에 대해 전달된다(출력(670)).
워터마크 삽입 유닛(620)에 있어서, 오래된 워터마크 신호(w old )는 신호(y' old ), 및y' old 에 부가된 새로운 워터마크(w new )로부터 제거되어 새로운 워터마크(w new )를 포함하는 정보 신호(y new )를 형성한다.
상기 실시예는 본 발명의 특정하게 일반화된 실시예를 도시한다. 이하에서, 특정 워터마팅 스킴에 관련하여 사용하기 위한 본 발명의 다른 실시예에 따른 특정 워터마크 재삽입 스킴이 기술된다.
상기와 같은 워터마크는 예컨대 도 2 및 3에 도시된 장치를 사용하여 삽입된다.
도 2는 입력(120)에서 호스트 멀티미디어 신호(x)를 수신하며, 출력(132)에서 수신된 신호(y old )의 워터마크 버전을 출력하기 위해 배치된 삽입 장치(100)를 도시한다.
상기 장치(100)는 입력(110, 12)에서의 2개의 시퀀스 값들(w old [k],w ref [k])를 수신한다. 상기 2개의 시퀀스의 값들의 조합은 워터마크 신호(w 0 )를 생성하는데 사용된다. 각각의 2개의 시퀀스의 값들은 원래의 시퀀스의 값들의 원형 시프트된 버전이다.W old 는d old 에 의해 원형 시프트된 원래의 시퀀스(w s )이고, 및w ref 는 의해d ref 에 의해 원형 시프트된 원래의 시퀀스(w s ), 즉, 이제부터w old 는w ref 의 원형 시프트된 버전이다. 원래의 시퀀스의 값들은 예컨대 미리 정해진 시드값(seed value)(S)을 사용하여 난수 발생 장치(RNG)를 사용함에 의해 발생될 수 있다.
도 3에 도시된 바와 같이, 페이로드 부가 및 조절 회로(630a)는w old [k]및w ref [k]를 각각의 입력(110, 112)에서 수신한다. 각각의 시퀀스는 (r old 및r ref 가 각각 +1, -1이고 주어진 페이로드에 대해 일정하게 유지되는) 멀리플라이어(631)를 사용하여 (입력(603, 604)에서 수신된) 각각의 신호 비트(r old ,r ref )에 의해 곱해진다. 그 결과 신호는 기간(T s )의 윈도우 형상 함수에 의해 각각의 시퀀스내의 각각의 값들을 합성 변환(convolving)하도록 작용하는 신호 조절 유닛(632)을 통해 전달된다. 상기는 부드럽게 변하는 출력 시퀀스(w old [n],w ref [n])를 생성한다. 신호 조절 유닛(632)은 도 9와 관련하여 보다 상세히 후술한다. 신호(w ref [n])는 그 후 소정의 지연(Tr)(여기서,T r 은T s 보다 더 작고, 바람직하게는T r =T s /4) 만큼 지연 유닛(634)에 의해 지연된다. 덧셈기(adder)(635)는 그 후w old [n]및w ref [n]의 지연된 버전을 부가하고, 그 결과는 출력(623)에서 회로(630)로부터 출력되는 워터마크 신호(W o [n])이다.
도 2로 되돌아와서, 수신된 호스트 신호(x)는 2개의 카피들로 분할되고, 제1의 카피는 덧셈기(130)에 전달되고, 제2의 카피는 승산 유닛(124)에 전달된다. 승산 유닛(124)에 전달된 카피는 대역 필터(도시되지 않음)에 의해 필터링되어 멀티플라이어(124)에 대해 입력(122)에서 신호(xb)를 형성할 수 있다.
W o [n]은 호스트 신호(x[n])의 어떻게든지 필터링된 버전(x b [n])에 의해 곱해지고, 이득 팩터(gain factor)(α)에 의해 스케일링되고 호스트 신호(x[n])에 다시부가되어 식(1)에 의해 주어진 워터마크 신호(y old [n])을 생성한다.
식(1)
이득 팩터(α)는 가변 이득 장치(128)에 의해 설정되고, 도시된 예에서는 정신음향적 모델(psychoacoustic model)을 사용하여 호스트 신호(x)를 샘플링하는 신호 분석기(126)로부터의 신호에 의존한다. 상기와 같은 모델은 예컨대, 1991년 3월 간행된, Journal of the Audio Engineering Society의, Vol. 39, pp. Vol.115-126, "Audio Engineering and Psychoacoustics : Matching signals to the final receiver, the Human Auditory System"이라는 E.Zwicker가 발표한 논문에 개시되어 있다. 상기 이득 팩터(α)는 호스트 신호 품질에 대한 워터마크 신호의 영향을 최소화하기 위해 보통 선택된다.
상기와 같은 워터마크 스킴의 특징은, 검출중에 워터마킹된 신호(y old )는pL old (도 10을 참조)에 의해 분리되는 2개의 상관 피크들을 생성하는 것으로서, 상기 값(pL old )은 워터마크 페이로드의 적어도 일부이고 식(2)와 같이 정의될 수 있다.
식(2)
여기서,d ref 및d old ∈ [0,L w -1]는 도 10에서 도시된 바와 같은 상관 피크들의 상대 위치들이고, Lw는 2개의 워터마크 시퀀스들 각각의 길이(심벌들 또는 값들의 수)이다.
pL old 이외에, 여분의 정보는 삽입된 워터마크들의 상대 신호를 변경함에 의해 또한 인코딩된다. 검출기에서, 상기는 상관 피크들 사이의 상태 신호(r sign )으로서 보여진다.r sign 은 4개의 가능한 값을 취하고 식(3)과 같이 정의될 수 있다.
식(3)
여기서,μ old 및μ ref 는 상관 피크들의 신호이고, 도 3의 신호 비트들(r old ,r ref )에 각각 대응한다. 전면적인 워터마크 페이로드(pL w )는 그 후r sign 및pL old 의 조합으로서 주어진다.
식(4)
길이(L w )의 워터마크 시퀀스에 의해 실행될 수 있는 비트 전부의 최대 정보(I max )는 식(5)에 의해 주어진다.
식(5)
이하에서는 도 2에 도시된 워터마크 삽입 장치 및 관련된 워터마크 마킹 스킴과 관련하여 사용하기에 적합한 워터마크 재삽입 장치가 기술된다. 본 특정 실시예에 있어서, 상기 삽입 장치는 워터마크 페이로드를 변경하기 위해 단지 워터마크를 부분적으로 제거, 및 신규 정보로 대체하기 위해서만 배치된다. 도 1은 재삽입장치의 상이한 기능 블록을 도시한다.
도 4는 삽입 처리에 필요한 워터마크 삽입 파라미터들을 추출하는데 사용되는 워터마크 검출기(640)의 블록 다이어그램을 도시한다. 상기 검출기는 4개의 주요한 단계로 배열된다: (a)워터마크 심벌 추출 단계(200), (b)버퍼링 및 보간 단계(300), (c)상관 및 결정 단계(400), 및 (d)제어 신호 생성 단계(500)를 포함한다.
상기 심벌 추출 단계(200)에서, 수신된 워터마킹된 신호(y' old [n])는 신호(w e [m])으로 멀티플렉싱되는 워터마킹된 시퀀스의 복수개(Nb)의 평가치들을 생성하기 위해 처리된다. 워터마크 시퀀스의 상기 평가치들은 상기 삽입 장치와 상기 검출기 사이에 존재하는 타임 오프셋(time offset)을 해결(보상)하기 위해 요구되어, 워터마크 검출기는 호스트 신호에 삽입된 워터마크 시퀀스에 대해 동기될 수 있다.
상기 버퍼링 및 보간 단계(300)에 있어서, 상기 평가치들은 Nb개의 별개의 버퍼들로 멀티플렉싱된다. 그 이후에, 보간은 발생할 수 있는 가능한 시간 스케일 수정을 해결(보상)하도록 각각의 버퍼에 대해 적용된다. 예컨대, 샘플링(클록) 주파수의 드리프트(drift)는 결과적으로 시간 도메인 신호에서 확대 또는 축소될 수 있다(즉, 워터마크는 확대 또는 축소될 수 있을 것이다).
상기 상관 및 결정 단계(400)에서, 각각의 버퍼의 내용은 레퍼런스 워터마크(reference watermark)와 상관되고 최대 상관 피크들은 워터마크가 수신된 신호(y'old[n]) 내에 정말로 삽입되었을 가능성을 판정하기 위해 임계값에 대해 비교된다.
상기 제어 신호 생성 유닛(500)에서, 검출 진리값, 상응하는 워터마크 시퀀스들, 그 버퍼 인텍스(buffer index), 및 새로운 페이로드(pL new )의 값(입력(616))이 결합되어, 워터마크 페이로드를 변경하는데 필요한 파라미터를 생성한다. 제어 신호 발생 장치의 출력(609, 612)은 상기 워터마크 발생 장치(650) 및 상기 워터마크 삽입 유닛(620)에 전달된다.
워터마크 발생 장치(650)의 상세한 설명은 도 5에 도시된다. 상기 유닛에서,w new 및w old 는 검출기(640)(입력(609, 612)로부터 획득된 파라미터 정보를 사용하여 발생된다.
하나의 바람직한 실시예에 있어서, 워터마크 시퀀스(w old ,w new )는 다음과 같이 발생될 수 있다. 먼저, 한정된 길이, 바람직하게는 제로 평균, 및 균일하게 분포된 램덤한 시퀀스(w s )는 초기 시드(S)를 갖고 난수 발생 장치(651)을 사용하여 생성된다. 상기 초기 시드(S)는 바람직하게는 제1의 삽입 도중에w old 를 생성하는데 사용된 것과 동일하다는 것을 인식할 수 있을 것이다. 상기 결과는 시퀀스의 길이(L w )이다.
식(6)
그후, 시퀀스(w s )는 램던함 시퀀스(w old ,w new )를 각각 획득하기 위해 원형 시프트 유닛(653a, 653b)을 사용하여d old 및d new 만큼 원형 시프트된다. 2개의 시퀀스(w old ,w new )는 유효하게는 제1의 시퀀스 및 제2의 시퀀스이고, 상기 제2의 시퀀스는 상기 제1의 시퀀스에 대해 원형 시프트된다는 것을 인식할 수 있을 것이다. 상기 2개의 시퀀스들은 그 후 워터마크 삽입 유닛(620)(출력(608, 618)에 전달된다.
상기 고려된 특정 워터마킹 스킴에 사용하기에 적합한, 워터마크 삽입 장치(600)의 일부로서의 워터마크 삽입 유닛(620)의 상세한 설명은 도 6에 도시된다.
호스트 신호(y' old )(적어도 초기의 워터마크 시퀀스(w old )를 포함함)는 상기 장치의 입력(607)에 공급된다. 호스트 신호(y' old )는 덧셈기(626) 및 지연 유닛(629)을 경유하여 출력(610)의 방향으로 전달된다. 그러나, 호스트 신호(y' old )(입력(628))의 복사 신호(y b )는 새로운 워터마크 정보를 운반하기 위해서 멀티플라이어(624)의 방향으로 분리된다.
멀티플라이어(624)는 워터마크 변경 신호(w diff )와 복사 신호(y b )의 곱(product)을 계산하는데 사용된다. 상기 워터마크 변경 신호(w diff )는 페이로드 변경 및 워터마크 조절 장치(630b)로부터 획득되고, 상기 페이로드 변경 및 워터마크 조절 장치에 입력되는 워터마크 랜덤 시퀀스(w old ,w new )(입력(608, 618))로부터 유도된다.
상기 결과의 곱(w diff yb)은 그 후 이득 컨트롤러(625)를 경유하여 덧셈기(626)에 전달된다. 상기 컨트롤러(625)에 의해 공급된 이득 팩터(α)는 워터마크의 견고성과 가청성을 절충(trade off)한다. 그것은 시간, 주파수, 및 공간 중의 적어도 하나에서의 상수, 또는 변수일 수 있다. 도 6의 장치는 α가 변수인 경우에, 워크 검출기 유닛(640)으로부터 획득된 제어 신호(609)를 경유하여 자동적으로 순응될 수 있다는 것을 보여준다.
다른 바람직한 실시예에서, 이득 팩터(α)는 호스트 신호(y old )에 의거하여 신호 분석 장치를 통해 독립적으로 제어될 수 있다. 후자의 경우에, 바람직하게는 인간 청각 시스템(HAS : human auditory system)의 정신 음성학적 모델 등의 적합하게 선택된 지각상태 비용 함수(perceptibility cost-function)에 따라 신호 품질에 대한 영향을 최소한으로 하기 위해, 이득(α)은 자동적으로 순응된다. 동일 모델은 원래의 워터마크 신호의 삽입 강도를 조절하기 위해 사용된 적응성 이득 팩터를 제어하는데 이용된 것처럼 사용될 수 있다(도 2 및 대응하는 문장을 참조).
도 6에 있어서, 상기 결과로서의 워터마크 오디오 신호(ynew)는 그 후 w diff 의 곱의 적합하게 스케일링된 버전을 호스트 신호에 부가함으로써 삽입 장치(620)의 출력(610)에서 획득된다:
식(7)
여기서,wo가 도 3의w ref 및w old 로부터 유도되었던 것과 동일한 방법으로,w c 가w ref 및w new 로부터 유도된다.
바람직하게는, 워터마크(w diff [n])의 파라미터들은 yb로 곱해진 경우에 yb의단시간 엔벌로프(short time envelope)를 탁월하게 수정하도록 선택된다.
도 7은 도 6의 멀티플라이어(624)에 대한 입력이 필터링 유닛(615)에서 필터(H)를 사용하여 호스트 신호(y' old )를 필터링함에 의해 획득되는 하나의 바람직한 실시예를 도시한다. 바람직하게는, 상기 필터(H)는 보다 낮은 컷오프 주파수(f L )과 보다 높은 컨오프 주파수(f H )가 특징인 선형상 밴드 패스 필터이다. 바람직하게는, 상기 필터는 삽입 장치(100)의 x로부터 xb를 추출하기 위해 사용된 필터와 동일한 성질을 갖는다.
도 8에 있어서, 페이로드 변경 및 워터마크 조절 유닛(630b)의 상세가 도시된다. 본 특정 유닛에 있어서, 워터마크 신호(w old ,w new )는 결합되어 다비트(multi-bit) 워터마크 변경 신호(w diff )를 생성한다. 상기 워터마크 변경 신호(w diff )는y' old 와 결합되는 때에,w new 에 대응하는 페애로드를 갖는 워터마크 신호를 생성한다.
시퀀스(w old ,w new )는 먼저 각각의 신호 비트(r old ,r new )에 의해 멀티플라이 유닛(654a, 654b)에서 곱해진다.r old 및r new 각각의 값들은 검출 유닛(640)으로부터 유도되고, 제어 입력(609)를 통해 전달된다.r old 및r new 의 값들은 상수(전형적으로 +1, -1)로 유지되고, 워터마크의 페이로드가 변경되는 경우에만 변경된다.
신호화된 시퀀스(w old ,w new ) 사이의 차분(difference)(w diff [k])은 오래된 워터마크 시퀀스(w old )의 음의 오래된 시퀀스(w old )를 양(positive)의 새로운 시컨스(w new )에 부가하는 덧셈기(635)를 사용하여 계산된다. 그 결과인 w diff 는 그 후 완만하게 변하는 다비트 워터마크(w diff [n])을 생성하기 위해 조절 단계를 통해 전달된다.
도 9는 페이로드 부가/변경 및 워터마크 조절 장치(630)에 사용된 워터마크 조절 장치(632)의 상세를 도시한다. 재삽입의 경우에, 워터마크 랜덤 시퀀스(w diff = w new -w old )는 상기 조절 장치(632)에 대한 입력이다.
상기 조절 회로에 있어서, 상기 워터마크 신호 시퀀스(w diff [k])는 먼저 업-샘플러(up-smapler)(180)의 입력에 공급된다. 챠트(181)는 +1과 -1 사이의 난수의 값의 시컨스로서 가능한 시퀀스들(w diff )의 하나를 도시하는 것으로서, 상기 시퀀스는 길이가 Lw이다. 상기 업-샘플러는 각각의 샘플 사이에 (T s -1)개의 제로점들을 부가하여 팩터(T s ) 만큼 샘플링 주파수를 상승시킨다.T s 는 워터마크 심벌 기간이라고 하고 오디오 신호의 워터마크 심벌의 범위(span)를 나타낸다. 전송된 신호(y old )와 비교하여 시간 스케일링을 경험한 수신된 신호(y' old )의 경우에,T s 는 스케일링 영향을 고려한 적절하게 스케일링된 샘플링 팩터(T new )로 대체된다. 챠트(183)는 일단 상기 업-샘플러(180)를 통과하기만 하면 챠트(181)에 도시된 신호의 결과를 도시한다.
2상 윈도우(bi-phase window) 등의 윈도우 형상 함수(s[n])는 그 후 상기 업-샘플 신호(w i [n])와 함께 합성변환(convolving)되어, 천천히 변하는 협대역 신호(w diff [n])으로 전환되고, 챠트(181)의w diff [k]시퀀스에 대한 그 행동은 챠트(185)에 도시된다.
챠트(184)는 전형적인 2상 윈도우 형상 함수를 도시한다. 상기 윈도우 형상 함수는 0 내지T s 내에서 제공된다. 윈도우 함수는 부드럽게 변하는 신호를 생성하기 위해 워터마크 시퀀스에 대해 공급되어, 호스트 신호의 품질의 감소를 최소화한다.
이하에서, 도 4에 도시된 검출 장치(200, 300, 400, 500)의 동작을 보다 상세하게 설명한다.
도 4에 도시된 워터마크 심벌 추출 단계(200)에 있어서, 입력하는 워터마크 신호(y'old[n])는 신호 조절 필터(Hb)(210))에 입력된다. 상기 필터(210)는 전형적으로 밴드 패스 필터이고 도 7에 도시된 대응하는 필터(H(615)와 동일한 행동을 갖는다. 필터(Hb)의 출력은y' b [n]이고, 전송 채널 내의 선형성을 가정한다면, 식(1)을 따른다.
식(8)
주목할 것은, 필터가 삽입 장치에서 사용되지 않는 경우에(즉, H=1인 때), 검출기내의 Hb는 또한 생략될 수 있거나 또는 검출 성능을 향상시키기 위해 아직포함될 수 있다. 만일, Hb가 생략되면, 식(8)의y' b 는y' old 로 대체된다. 나머지 처리는 동일하다.
간략화를 위해, 삽입 장치와 검출기 사이에 완전한 동기가 있고(즉, 시간 스케일링의 오프셋 및 변화가 없고), 오디오 신호는 길이(T s )의 프레임들로 분할되고,y' b , m [n]은 필터링된 신호(y' b [n])의 제m 번째 프레임 중의 제n 번째 샘플이라고 가정한다. 주목해야 할 것은 만일 삽입 장치와 검출기 사이에 완전한 동기가 없다면 당업자들에게 공지된 기술을 사용하여, 즉 최고의 조화가 달성될 때까지 가능한 스케일과 오프셋 수정을 통한 반복적인 탐색을 하여, 버퍼링 보간 단계(300) 내에서는 어떠한 편차도 보상될 수 있다는 것이다.
y' b , m [n]프레임에 대응하는 에너지(E[m])는:
식(9)
여기서,S[n]은 도 9의 워터마크 조절 회로에서 사용된 동일한 윈도우 형상 함수이다. 본 분야의 당업자는 식(9)는 조화된 필터 수신기를 나타내고, 심벌 기간이 완전히 동기화된 경우에 최적의 수신기라는 것을 인식할 수 있을 것이다. 상기 사실에도 불구하고, 앞으로 이하의 설명을 단순화하기 위해 우리는S[n] = 1이라고 설정한다.
상기와 식(8)을 결합하면, 이하와 같다:
식(10)
여기서,w e [m]은 제m 번째 추출된 워터마크 심벌이고 삽입된 워터마크 시퀀스들의 Nb개의 시간-다중 송신된 평가치를 포함한다. 식(10)의w e [m]을 풀고 α의 보다 높은 차수항을 무시하면, 이하의 근사식이 얻어진다:
식(11)
도 4에 도시된 워터마크 추출 단계(200)에서, 필터(Hb)의 출력(y' b [n])은 식(9)에 따라서 프레임화된 신호들 각각에 대응하는 에너지를 계산하는데 나중에 사용되는 에너지 계산 유닛(230)에 의해 오디오 신호를 길이(T s )의 프레임들로, 즉y' b , m [n]으로 분할하는 프레임 분할기(220)의 입력으로서 제공된다. 그 후, 상기 에너지 계산 유닛(230)의 출력은 출력(w e [m])을 제공하기 위해 식(11)에 도시된 함수를 실행하는 화이트닝(whitening) 단계(H w )(240)에 대한 입력으로서 제공된다.
식(11)의 분모는 호스트(원래의) 신호(x)를 알것을 요구하는 향을 포함한다. 상기 신호(x)가 검출기에 대해 사용할 수 없음에 따라,w e [m]을 계산하기 위해서는 식 (11)의 분모가 반드시 평가되어야 한다는 것을 의미한다.
이하에서는, 2상 윈도우 형상 함수에 대해 상기와 같은 평가가 어떻게 달성될 수 있는지가 개시되지만, 다른 윈도우 형상 함수로 확대될 수 있다는 것을 인식할 수 있을 것이다.
오디오 프레임의 엔벨로프(envelope)가 상기와 같은 윈도우 함수에 의해 변조된 경우에 프레임의 제 1 및 제2의 절반은 반대 방향으로 스케일링 된다는 것이, 도 9(챠트(184))에 도시된 2상 윈도우 함수의 조사에 의해 확인될 것이다. 검출기에서, 상기 성질은 호스트 신호(y' old )의 엔벨로프 에너지를 평가하는데 이용된다.
따라서, 검출기 내에서, 오디오 프레임은 2개의 절반분으로 먼저 서브 분할된다. 따라서, 제1 및 제2의 절반 프레임에 대응하는 에너지 함수는 식(12) 및 식 (13)과 같이 각각 주어진다:
식(12)
식(13)
원래의 오디오의 엔벨로프가 2개의 서브 프레임 내에서 반대 방향으로 변조됨에 따라, 원래의 오디오 엔벨로프는 E1[m]/E2[m]의 평균으로서 근사치가 구해질 것이다.
또한, 순간 변조값은 상기 2개의 함수의 차분(difference)으로서 취해질 수 있을 것이다. 따라서, 2상 윈도우 함수에 대해, 워터마크(w e [m])는 식(14)에 의해 근사치가 구해질 것이다.
식(14)
상기 출력(w e [m])은 그 후 버퍼링 및 보간 단계(300)에 넘겨지고, 여기서, 상기 삽입 장치와 상기 검출기 사이의 동기의 어떠한 결함을 해소하기 위해, 신호는 디멀티플렉서(310)에 의해 디멀티플렉싱되고, 길이(L b )의 버퍼(320)에서 버퍼링되고, 상기 삽입 장치와 상기 검출기 사이의 어떠한 시간 스케일 변형을 보상하기 위해 보간 유닛(330)에서 보간된다. 상기와 같은 보상은 공지의 기술을 사용할 수 있고, 따라서, 본 명세서에서는 상세한 설명은 하지 않는다.
검출 도중에, 워터마크 검출의 정확도를 최대화하기 위해, 워터마크 검출 처리는 워터마크 시퀀스 길이의 3 내지 4배인 수신된 신호(y' old [n])의 길이에 걸쳐 보통 실행된다. 따라서, 검출될 각각의 워터마크 심벌은 몇몇 심벌들의 평균을 취함으로써 구성될 수 있다. 상기 평균화 처리는 유연하다고 언급되고, 평균화가 행해지는 시간의 수는 유연한 팩터(s f )라고 한다. 따라서 검출 윈도우 길이(L D )는 워터마크 검출 진리값이 보고되는 오디오 세그먼트의 길이(샘플들의 수)이다. 따라서,L D = S f L w T s 이고, 여기서,T s 는 심벌 기간이고 Lw는 워터마크 시퀀스내의 심벌들의 수이다. 보통, 버퍼링 및 보간 단계내에서 버퍼(320) 각각의 길이(Lb)는L b = S f L w 이다.
도 4에 도시된 바와 같이, 상기 버퍼링 단계로부터의 출력(w D1 , w D2 , ...,w DNb )은 상기 보간 단계로 넘어가고, 보간 이후에, 옳게 수정된 재 스케일링 신호의 상이한 평가치에 대응하는 이 단계의 출력(w I1 , w I2 , ..., w INb )은 상관 및 결정 단계로 넘어간다. 만일, 시간 스케일링 보상이 요구되지 않는다면 상기 값들(w D1 , w D2 , ..., w DNb )은 상관 및 결정 단계(400)로 바로 넘어갈 것이고, 즉, 보간 단계(300)는 상기 장치로 부터 생략될 수 있다.
상관 장치(410)는 레퍼런스 워터마크 시퀀스(w s [k])에 대한 각각의 평가치(w Ij , j=1, ..., N b )의 상관 관계를 계산한다. 각각의 평가치에 대응하는 각각의 개별적인 상관 출력은 그 후 어느 2개의 평가치가 레퍼런스 워터마크의 원형 시프트된 버전(w old ,w ref )에 대해 최고의 적합성을 제공하는가을 판정하는 최대화 검출 유닛(420)에 공급된다. 상기 평가 시퀀스에 대한 상기 상관값들(피크 크기 및 위치)은 임계 검출기 및 페이로드 추출 유닛(430)에 넘겨진다.
상관 단계(410)이 다른 출력에 있어서, 레퍼런스 워터마크의 원형 시프트된 버전(w old ,w ref )에 대해 최고 적합한 것에 대응하는 워터마크 시퀀스들 및 버퍼 인텍스들은 제어 신호 발생 유닛(500)에 넘겨진다.
만일, 보간 단계가 생략되면, 상관 장치(410)는 레퍼런스 워터마크 시퀀스(w s [k])와의 각각의 평가치들(w Dj , j=1, ..., N b )의 상관 관계를 계산하고, 그 결과는 상기 문맥에서 언급된 바와 같이 유닛(420, 430)에 대한 후속 처리를 위해 넘겨진다.
임계값 검출기 및 페이로드 추출 유닛(430)은 검출된 워터마크 신호로부터 페이로드(예컨대, 정보 내용)을 추출하기 위해 사용될 수 있다. 일단 상기 유닛이 검출 임계값을 초과하는 2개의 상관 피크들(cL 1 , cL 2 )을 평가한다면, (식(2)에 의해 정의된 바와 같은) 피크들 사이의 거리(pL)가 측정된다. 다음에, 상관 피크들의 신호(μ 1 , μ 2 )가 판정되고, 따라서, 식(3)으로부터r sign 이 계산된다. 전체의 워터마크 페이로드는 그 후 식(4)를 이용하여 계산될 수 있다.
예컨대,pL old 는 상기 2개의 피크들 사이의 상대적인 거리라는 것이 도 10에서 확인될 수 있다. 두개의 피크들은 양의 값, 예컨대μ 1 = +1, 및μ 2 = +1이다. 식(3)으로부터r sign = 3이다. 따라서, 페이로드pL w = 〈3, pL old 〉이다.
검출기 내에서 사용된 레퍼런스 워터마크 시퀀스((w s )는 호스트 신호에 인가된 원래의 워터마크 시퀀스(의 가능하다면 원형 시프트된 버전)에 대응한다. 예컨대, 만일, 워터마크 신호가 삽입 장치내에서 시드(S)로 난수 발생기를 이용하여 계산되었다면, 워터마크 신호를 판정하기 위해서, 동일하게, 검출기는 동일한 난수 발생 알고리즘 및 동일한 초기 시드를 사용하여 동일한 난수 시퀀스를 계산할 수 있을 것이다. 또한, 레퍼런스로서 검출기에 의해 사용되고 삽입 장치에 원래 공급된 워터마크 신호는 단순하게는 미리 정해진 시퀀스 일수 있다.
도 10은 상관 장치(410)로부터의 출력으로서 상관 함수의 전형적인 형상을도시한다. 수평 스케일은 상관 지연(시퀀스 빈(bin)으로 환산함)을 나타낸다. 좌수측(left-hand side)상의 수직 스케일(컨피던스 레벨(cL)이라고 함)은 (보통의 분산된) 상관 함수의 표준 편차에 대하여 정규화된 상관 피크의 값을 나타낸다.
보여진 바와 같이, 전형적인 상관은 cL에 대해 비교적 평탄하고cL = 0주위에 집중된다. 그러나, 상기 함수는pL old 만큼 분리된 2개의 피크(도 2를 참조)를 포함하고, 워터마크가 현존할 때 검출 임계값을 넘는cL값으로 상향 연장된다. 상관 피크가 음일 경우에, 상기 설명은 그 절대값에도 적용된다.
수평선은 임계값을 나타낸다. 상기 검출 임계값은 오경보 비율(false alarm rate)을 나타낸다.
2종류의 오경보 비율이 존재한다: 워터마킹되지 않은 항목에서의 워터마크를 검출할 가능성으로 정의된 오경보 양(positive)의 비율과, 워터마킹된 항목에서 워터마크를 검출할 가능성으로 정의된 오경보 음의 비율이 그것이다. 보통, 오경보 양의 비율은 오경보 음의 비율 보다 더 엄격하다.
각각의 검출 간격 이후에, 검출기는 원래의 워터마크가 현존하는가 또는 현존하지 않는가를 판정하고 이에 기초하여 출력 장치 및 그와 동시에 제어 신호 발생 유닛(500)에 대해 "yes" 또는 "no"를 출력한다.
필요하다면, 상기 판정 처리를 개선하기 위해, 많은 검출 윈도우가 고려될 수도 있다. 상기 예에서, 틀린 양의 가능성은 소요의 기준에 따라 고려된 검출 윈도우 각각에 대한 개별적인 가능성들의 결합이다. 예컨대, 만일 상관 함수가 3개의검출 인터벌 중의 어느 2개의 인터벌 중에cL= 7의 임계값을 넘는 2개의 피크를 갖는다면, 워터마크는 현존한다고 간주된다. 명백하게, 상기 검출 기준은 워터마크 신호의 바람직한 이용에 따라 변경되어, 호스트 신호의 원래의 품질 등의 팩터 및 정규의 전송 도중에 상기 신호가 얼마나 불량하게 오류를 일으킬 것 같은가를 고려한다.
상기 특정 재삽입 처리의 일반적인 동작을 요약하면, 재삽입 장치(600)는 입력(602)에서 워터마크를 포함하는 신호(y'old)를 수신하도록 배치된다. 본 예에서의 상기 신호(y' old )는 도 2 및 도 3에 도시된 워터마크 삽입 장치들에 의해 생성되었고, 값들의 단일한 시퀀스(w s )의 2개의 원형 시프트된 버전(w old ,w ref )를 포함하는 워터마크를 포함한다. 수신된 신호(y old )의 카피는 검출기(640)에 전달된다.
상기한 바와 같이, 검출기(640)는 신호(y' old ) 내에 워터마크의 존재를 검출하기위해, 그리고 워터마크 삽입 파라미터(예컨대, 워터마크 시퀀스들이 원형 시프트된 량, 및 워터마크의 가청성과 견고성 사이의 절충을 제어하기 위해 사용된 이득 팩터(α))를 평가하기 위해 배치된다.
도 10은w old 를 형성하고자 사용된 원래의 시퀀스의 값(w s )를 갖는y' old 내에 삽입된 워터마크의 상관 함수를 도시한다. 알 수 있듯이,y' old 의 워터마크의 페이로드(pLold)는 워터마크를 포함하는 시퀀스들이 원형 시프트된 2개의 양(d old ,d ref )에 의해 적어도 일부분 정의된다.
본 바람직한 실시예에 있어서, 원래의 워터마크 신호의 단지 일부분(d old 만큼 원형 시프트되었던 시퀀스의 값들)만이 제거된다. 원래의 워터마크에서 사용된 바와 같은 동일한 시퀀스의 값들(w s )은 그 후 새로운 양(d new ) 만큼 원형 시프트되고, 검출된 삽입 파라미터를 사용하여 정보 신호 내에서 삽입된다.
도 11은 도 10에 도시된 동일한 워터마크 신호의 상관 함수를 도시하지만, 지연(d old )에 대응하는 시퀀스의 값은 제거되었다(즉, "-w old "가y' old 에 부가되었다). 그 결과는d ref 에서 단일한 상관 피크이다.
도 11은 새로운 원형 시프트된 지연(d new )를 갖는 동일한 시퀀스의 값(w s )들이 삽입된 이후에 도 10에 도시된 동일한 신호의 상관 함수를 도시한다. 그 결과는 페이로드(pL new )(식(2)를 참조) 만큼, 즉 새로운 워터마크 신호 만큼 분리된 2개의 상관 피크들이다. 원래의 워터마크 신호의 하나의 절반을 제거만 함으로써, 그리고 후속하여 워터마크 신호의 절반을 교체물로서 부가함에 의해, 새로운 워터마크는 생성되지만 워터마크가 삽입된 정보 신호의 품질에 대해 최소로 영향을 끼친다.
검출기(640)는 지연 유닛(629)에 대해 시간 오프셋(Δt) 등의 동기 정보를 제공한다. 지연 유닛(629)에 넘겨진 입력 신호(y' old )의 카피는 재삽입 장치(예컨대, 630b, 624, 625, 615) 내의 유닛들에 의해 실행된 여러 동작들에 의해 야기된 시간 오프셋, 재스케일링 및 본질적인 지연을 고려하도록 그 후 적절히 동기되어,y' old 가 덧셈기(626)에서y b 와 동기되는 것을 보장한다. 신호(y' old )의 하나의 카피는필터(H615)에 전달된다. 상기는 도 7에 도시된 필터에 유사하고 생략될 수 있다. 상기와 같은 필터는 예컨대 밴드 패스 필터일 수 있는 것으로서, 출력(y b )을 공급한다.
상기 실시예들은 단지 예시로서 제공된다는 것을 인식할 수 있을 것이다. 여러 변형예들은 본 분야의 당업자들에게는 자명할 것이다.
예컨대, 바람직한 실시예가 원래의 워터마크의 부분적인 제거를 기술하였지만, 원래 워터마크의 전체가 제거되고 대체될 수 있다는 것이 인식될 수 있을 것이다. 동일하게, 단지 하나의 시퀀스가 제거되고 하나의 시퀀스에 의해 대체되는 것으로서 기술되었지만, 단일한 시퀀스는 2 또는 그 이상의 시퀀스들에 의해 대체될 수 있다는 것을 인식할 수 있을 것이다. 또한, 원래의 페이로드가 3개의 원형 시프트된 시퀀스들을 포함한다면, 2개의 상기 시퀀스는 단일한 시퀀스에 의해 또는 복수의 시퀀스에 의해 대체될 것이다.
새로운 워터마크는 원래 사용된 바와 같은 삽입 파러미터의 동일한 값을 사용하는 것으로서 기술되었지만, 새로운 워터마크는 하나 이상의 삽입 파라미터들에 대한 또다른 값들을 물론 사용할 수 있다.
예컨대, 상기 실시예는 워터마크 변경 신호(w c )를 팩터(α)에 의해 스케일되는 것으로서 기술되었지만, wc를 형성하는 2개의 성분들(즉,w old 및w new )은 함께 부가되기 이전에, 또는 수신된 신호(y' old )에 별도로 직접 부가되기 이전에 상이한 양만큼 스케일링 될 수 있다. 워터마크의 일부분이 제거되기 위해서,w old 의 음의 버전의 삽입 강도는 호스트 신호에서w old 를 삽입하고자 원래 사용된 것과 유사하다. 그러나,w new 는 어느 소요의 강도로y' old 에 명백하게 삽입될 수 있다.
워터마크들이 호스트 신호의 품질에 부정적인 영향을 미치지 않고 호스트 신호에 삽입되는 것이 바람직하다. 바람직하게는 모든 삽입된 워터마크 신호들은 관찰자에게 지각할 수 없고, 즉, 오디오 신호에서, 워터마크 신호의 영향은 들리지 않고 또는 영상 신호에서 워터마크 신호의 영향은 보이지 않는다.
ITU 표준 "Method for objective Measurements of Perceived audio quality" International Telecommmunication Union, Geneva Switzerladn(1999)는 5개의 그리드 평가 시스템(grid scoring systme)(상기는 ITU-R Rec BS.1116(rev.1)(1997) 및 ITU-R Rec. BS.562-3(1990) 표준임)을 정의한다. 여러 평가(score)에서: 5 = 지각할 수 없고, 4 = 지각 가능하지만 거슬리는 정도는 아니고, 3 = 약간 거슬리고, 2 = 거슬리고, 1 = 매우 거슬리는 정도를 표시한다.
모든 워터마크 신호가 지각할 수 없으면 바람직하지만, 동일하게, ITU 스케일상의 4라는 평가(지각 가능하지만 거슬리는 정도는 아님)는 대부분의 시스템에서 수용 가능하다.
상기 실시예는 하나의 특정 워터마킹 스킴에 관하여 본 발명의 실시예를 기술하였지만, 본 발명은 많은 다른 형태의 워터마킹 기술들을 사용하여 실시될 수 있다는 것을 인식할 수 있을 것이다.
예컨대, 하나의 형태의 오디오 워터마킹 스킴은 시간적인 상관 기술을 사용하여 소요의 데이터(예컨대, 저작권 정보)를 오디오 신호에 삽입하는 것이다.
상기 기술은 실제로는 반향 숨김 알고리즘(echo-hiding algorithm)으로서, 반향의 강도는 2차 방정식을 해석함으로써 판정된다. 상기 2차 방정식은 2개의 위치에서의 자동 상관 값들에 의해 생성되는데, 지연시의 하나는 τ에 동등하고, 지연시의 하나는 0에 동등하다. 상기 스킴에 있어서, 오디오 신호의 반향들이 원래의 오디오 신호에 부가 되어감에 따라, 그 결과적인 신호는 사실상 원래 오디오 신호의 진폭과 위상 양쪽 모두가 변조된 버전이다. 검출기에 있어서, 워터마크는 2개의 지연 위치에서 오디오 상관 함수의 비율을 판정함으로써 추출된다.
인코더 및 디코터 양쪽에서 DET의 계산을 필요로 하는 DET(Discrete Fourier Transform) 계수의 진폭 변조에 기초한 워터마킹 스킴이 역시 공지되어 있다.
유사하게, WO 98/53565, US 6,175,627 및 WO 00/00969호는 보조 신호(저작권 정보 등의)를 멀티미디어 호스트 또는 커버 신호로 삽입 또는 인코딩하기 위해 본 발명이 적용될 수 있는 변형 기술들을 기술한다. WO 00/00969에 기술된 바와 같이, 커버 신호의 복제 신호 또는 특정 도메인(시간, 주파수, 또는 공간) 내의 커버 신호의 일부는 커버 신호의 파라미터에 대해 수정값을 특정하는 스테고 키(stego key)에 따라 생성된다. 복제 신호는 그 후 삽입될 정보에 대응하는 보조 신호에 의해 변형되고, 상기 스테고 신호(stego signal)를 생성하기 위해 커버 신호에 다시 삽입된다.
디코더에서, 원래의 보조 데이터를 추출하기 위해, 상기 스테고 신호의 복제신호는 원래의 커버 신호의 복제와 동일한 방법으로 생성되고 동일한 스테고 키의 사용을 요구한다. 결과적인 복제는 보조 신호를 추출하기 위해 그 후 수신된 스테고 신호와 상관된다.
본 발명의 변형 실시예를 사용하여, 추출된 보조 신호는 새로운 것으로 대체될 수 있다. 상기는 검출 유닛을 이용하여 평가된 삽입 파라미터들과 스테고 키를 사용하여, 수신된 신호로부터 보조 정보를 적절히 빼냄으로써 달성될 수 있다. 도 1과 관련하여, 이것은 기본적인 삽입 알고리즘에 반응하여 검출기(640), 워터마크 발생 장치(650), 및 워터마크 삽입 장치(620)를 사용함으로써 실시될 수 있다.
본 분야의 당업자들은 특별히 기술되지 않더라도 여러 실시예들은 본 발명의 범위내에 해당된다는 것을 인식할 수 있을 것이다. 예컨대, 삽입 및 검출 장치의 기능이 설명되었지만, 상기 장치들은 디지털 회로, 아날로그 회로, 컴퓨터 프로그램, 또는 그 조합으로서 실현될 수 있다는 것을 인식할 수 있을 것이다.
명세서 내에서, "포함하는"이라는 단어는 다른 구성 요소들 또는 다른 단계드을 배척하지 않고, 관사 "a" 또는 "an"은 복수를 배척하지 않고, 단일한 처리 또는 다른 유닛은 청구항에서 인용된 몇몇 수단의 기능들을 만족할 수 있을 것이다.

Claims (21)

  1. 워터마크 신호를 포함하는 멀티미디어 신호를 처리하는 방법에 있어서,
    원래의 워터마크 신호의 적어도 일부를 제거하는 단계; 및
    새로운 워터마킹된 멀티미디어 신호를 형성하기 위해 상기 멀티미디어 신호에 새로운 워터마크 신호를 부가하는 단계를 포함하는 멀티미디어 신호 처리 방법.
  2. 제1항에 있어서,
    상기 원래의 워터마크 신호는 상기 원래의 워터마크 신호의 음의 버전(negative version)을 상기 멀티미디어 신호에 적용함으로써 제거되는, 멀티미디어 신호 처리 방법.
  3. 제1항에 있어서,
    상기 멀티미디어 신호에 상기 원래의 워터마크를 삽입(embedding)하는데 사용되는 파라미터들 중 적어도 하나의 값을 판정하는 단계를 더 포함하는, 멀티미디어 신호 처리 방법.
  4. 제3항에 있어서,
    상기 파라미터의 상기 값은 상기 원래의 워터마크 신호의 적어도 일부를 제거하는데 사용되는, 멀티미디어 신호 처리 방법.
  5. 제3항에 있어서,
    상기 새로운 신호는 상기 판정된 값을 갖는 상기 삽입 파라미터들을 이용하여 상기 멀티미디터 신호에 삽입되는, 멀티미디어 신호 처리 방법.
  6. 제3항에 있어서,
    상기 새로운 신호는 상기 판정된 값들 이외의 값들을 갖는 상기 삽입 파라미터들을 이용하여 상기 멀티미디어 신호에 삽입되는, 멀티미디어 신호 처리 방법.
  7. 제3항에 있어서,
    상기 파라미터는 삽입 강도, 동기 정보, 시간 오프셋, 타임 스케일링, 시퀀스의 원형 시프트량, 및 워터마크 심벌 기간 중 적어도 하나를 포함하는, 멀티미디어 신호 처리 방법.
  8. 제1항에 있어서,
    상기 원래의 워터마크 전부가 제거되고 상기 새로운 신호는 새로운 워터마크 신호를 포함하는, 멀티미디어 신호 처리 방법.
  9. 제1항에 있어서,
    상기 원래의 워터마크 신호로부터 적어도 하나의 나머지 시퀀스의 값들을 남기기 위해, 상기 워터마크는 적어도 2개의 시퀀스들의 값들과, 상기 워터마크 신호의 상기 일부로서 제거되는 적어도 하나의 시퀀스 값들을 포함하고,
    상기 새로운 신호는 상기 나머지 시퀀스와 함께 새로운 워터마크 신호를 형성하는 적어도 하나의 여분의 시퀀스의 값들을 포함하는, 멀티미디어 신호 처리 방법.
  10. 제9항에 있어서,
    상기 시퀀스들의 값들 전부는 상이한 양(amount)들 만큼 원형 시프트된 단일 시퀀스의 값들로 형성되는, 멀티미디어 신호 처리 방법.
  11. 제1항에 있어서,
    상기 워터마크 신호의 상기 제거된 일부는 미리 결정된 강도로 상기 멀티미디어 신호에 삽입되었고, 상기 방법은 바람직하게는 동일한 미리 결정된 강도에 의해 상기 새로운 신호를 상기 멀티미디어 신호에 삽입하는 단계를 포함하는, 멀티미디어 신호 처리 방법.
  12. 제11항에 있어서,
    상기 삽입 강도는 상기 새로운 워터마킹된 멀티미디어 신호의 품질의 저하가 인식 가능하지만 거슬리는 정도는 아닌, 멀티미디어 신호 처리 방법.
  13. 제1항에 있어서,
    새로운 원래의 워터마크 신호와 상기 원래의 워터마크 신호 중 적어도 하나는 하나의 시퀀스의 값들에 윈도우 형상 함수(window shaping function)를 적용함으로써 형성된 매끄럽게 변하는 신호를 포함하고, 상기 윈도우 형상 함수의 적분(integral)은 0인, 멀티미디어 신호 처리 방법.
  14. 제13항에 있어서,
    상기 윈도우 형상 함수는 2상 행동(bi-phase behavior)을 갖는, 멀티미디어 신호 처리 방법.
  15. 제14항에 있어서,
    상기 2상 윈도우는 반대 극성들의 적어도 2개의 해닝 윈도우(Hanning window)들을 포함하는, 멀티미디어 신호 처리 방법.
  16. 상기 제1항의 방법을 실행하도록 배열된 컴퓨터 프로그램.
  17. 제16항에서 청구된 컴퓨터 프로그램을 포함하는 기록 매체(record carrier).
  18. 제16항에서 청구된 컴퓨터 프로그램을 다운로딩하는 것을 가능하도록 하는 방법.
  19. 워터마크 신호를 포함하는 멀티미디어 신호를 처리하는 장치에 있어서,
    상기 워터마크 신호의 적어도 일부를 제거하도록 배열된 삭제 유닛; 및
    새로운 워터마크 신호를 생성하기 위해 상기 멀티미디어 신호에 새로운 신호를 부가하도록 배열된 삽입 장치(embedder)를 포함하는 것을 특징으로 하는 멀티미디어 신호 처리 장치.
  20. 제19항에 있어서,
    상기 워터마크 신호의 파라미터의 적어도 하나의 값을 검출하도록 배열된 검출기를 더 포함하는, 멀티미디어 신호 처리 장치.
  21. 제19항에서 청구된 장치를 포함하는 멀티미디어 신호의 수신기.
KR10-2004-7019731A 2002-06-03 2003-05-21 멀티미디어 신호에 워터마크를 재삽입하는 방법 KR20050009733A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02077170.5 2002-06-03
EP02077170 2002-06-03
PCT/IB2003/002319 WO2003102947A1 (en) 2002-06-03 2003-05-21 Re-embedding of watermarks in multimedia signals

Publications (1)

Publication Number Publication Date
KR20050009733A true KR20050009733A (ko) 2005-01-25

Family

ID=29595036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7019731A KR20050009733A (ko) 2002-06-03 2003-05-21 멀티미디어 신호에 워터마크를 재삽입하는 방법

Country Status (9)

Country Link
US (1) US20050240768A1 (ko)
EP (1) EP1514268B1 (ko)
JP (1) JP2005528649A (ko)
KR (1) KR20050009733A (ko)
CN (1) CN100458949C (ko)
AT (1) ATE425536T1 (ko)
AU (1) AU2003233090A1 (ko)
DE (1) DE60326578D1 (ko)
WO (1) WO2003102947A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
EP1464172B1 (en) 2001-12-24 2013-04-24 Intrasonics S.A.R.L. Captioning system
CN100385548C (zh) * 2002-03-28 2008-04-30 皇家飞利浦电子股份有限公司 用于多媒体信号的水印处理的窗口整形函数
US7266466B2 (en) * 2002-03-28 2007-09-04 Koninklijke Philips Electronics N.V. Watermark time scale searching
EP2442566A3 (en) 2002-10-15 2012-08-08 Verance Corporation Media Monitoring, Management and Information System
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
JP4298588B2 (ja) 2004-05-31 2009-07-22 株式会社リコー 情報検出装置および情報検出方法
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
GB2460306B (en) * 2008-05-29 2013-02-13 Intrasonics Sarl Data embedding system
US8838978B2 (en) 2010-09-16 2014-09-16 Verance Corporation Content access management using extracted watermark information
JP5793865B2 (ja) * 2010-12-28 2015-10-14 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み用コンピュータプログラム及び電子透かし検出装置ならびに電子透かし検出用コンピュータプログラム
EP2565667A1 (en) * 2011-08-31 2013-03-06 Friedrich-Alexander-Universität Erlangen-Nürnberg Direction of arrival estimation using watermarked audio signals and microphone arrays
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US9262794B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
US8918326B1 (en) * 2013-12-05 2014-12-23 The Telos Alliance Feedback and simulation regarding detectability of a watermark message
WO2015138798A1 (en) 2014-03-13 2015-09-17 Verance Corporation Interactive content acquisition using embedded codes
US10650689B2 (en) * 2016-11-01 2020-05-12 The Mitre Corporation Waveform authentication system and method
US10269352B2 (en) * 2016-12-23 2019-04-23 Nice Ltd. System and method for detecting phonetically similar imposter phrases
US11244692B2 (en) * 2018-10-04 2022-02-08 Digital Voice Systems, Inc. Audio watermarking via correlation modification using an amplitude and a magnitude modification based on watermark data and to reduce distortion
US11443734B2 (en) 2019-08-26 2022-09-13 Nice Ltd. System and method for combining phonetic and automatic speech recognition search

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5940135A (en) * 1997-05-19 1999-08-17 Aris Technologies, Inc. Apparatus and method for encoding and decoding information in analog signals
US6535617B1 (en) * 2000-02-14 2003-03-18 Digimarc Corporation Removal of fixed pattern noise and other fixed patterns from media signals
US6385329B1 (en) * 2000-02-14 2002-05-07 Digimarc Corporation Wavelet domain watermarks
JP2002057882A (ja) * 2000-04-21 2002-02-22 Sony Corp 情報埋め込み装置及び情報埋め込み方法、情報処理装置及び情報処理方法、コンテンツ処理装置及びコンテンツ処理方法、監視装置及び監視方法、並びに、記憶媒体
WO2002011140A1 (fr) * 2000-07-31 2002-02-07 Sony Corporation Procede d'enregistrement de donnees, procede de production de donnees et procede d'enregistrement et / ou reproduction de donnees
JP2002062888A (ja) * 2000-08-21 2002-02-28 Matsushita Electric Ind Co Ltd 電子音楽加工装置、電子音楽再生装置及び電子音楽配信システム
AU2002223544A1 (en) * 2000-09-20 2002-04-02 Koninklijke Philips Electronics N.V. Distribution of content
US7203335B2 (en) * 2001-08-07 2007-04-10 Gabriel Fielding System and method for extracting a watermark signal in a digital image sequence

Also Published As

Publication number Publication date
CN100458949C (zh) 2009-02-04
EP1514268B1 (en) 2009-03-11
CN1659652A (zh) 2005-08-24
US20050240768A1 (en) 2005-10-27
DE60326578D1 (de) 2009-04-23
JP2005528649A (ja) 2005-09-22
EP1514268A1 (en) 2005-03-16
AU2003233090A1 (en) 2003-12-19
WO2003102947A1 (en) 2003-12-11
ATE425536T1 (de) 2009-03-15

Similar Documents

Publication Publication Date Title
KR20050009733A (ko) 멀티미디어 신호에 워터마크를 재삽입하는 방법
US6674876B1 (en) Watermarking in the time-frequency domain
EP1393315A1 (en) Generation and detection of a watermark robust against resampling of an audio signal
US7546467B2 (en) Time domain watermarking of multimedia signals
EP1493145B1 (en) Watermark time scale searching
US20060075239A1 (en) Embedding multiple watermarks
KR20040095325A (ko) 다매체 신호들의 워터마킹을 위한 윈도우 셰이핑 함수들
US20070036357A1 (en) Watermarking of multimedia signals
JP2005528652A (ja) 独立チャネルのウォーター・マークの符号化および復号化
KR20030014329A (ko) 워터마킹
US7546466B2 (en) Decoding of watermarked information signals
EP1695337B1 (en) Method and apparatus for detecting a watermark in a signal
KR20060112667A (ko) 워터마크 임베딩
Mitrea et al. Informed audio watermarking in the wavelet domain

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid