KR100554680B1 - 크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법 - Google Patents

크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법 Download PDF

Info

Publication number
KR100554680B1
KR100554680B1 KR1020030057682A KR20030057682A KR100554680B1 KR 100554680 B1 KR100554680 B1 KR 100554680B1 KR 1020030057682 A KR1020030057682 A KR 1020030057682A KR 20030057682 A KR20030057682 A KR 20030057682A KR 100554680 B1 KR100554680 B1 KR 100554680B1
Authority
KR
South Korea
Prior art keywords
watermark
quantization
audio signal
subbands
size
Prior art date
Application number
KR1020030057682A
Other languages
English (en)
Other versions
KR20050020040A (ko
Inventor
이기륭
김동식
문경애
서영호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020030057682A priority Critical patent/KR100554680B1/ko
Priority to US10/700,488 priority patent/US20050043830A1/en
Publication of KR20050020040A publication Critical patent/KR20050020040A/ko
Application granted granted Critical
Publication of KR100554680B1 publication Critical patent/KR100554680B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 크기 변화에 대해서 강인한 양자화 기반의 오디오 워터마킹 장치 및 방법에 관한 것이다.
본 발명의 부호기는 오디오 입력신호를 소정의 서브밴드로 분리하는 분리필터뱅크; 상기 오디오 입력신호를 입력받아 심리음향모델을 적용하여 마스크비를 제공하는 심리음향모듈; 상기 분리된 서브밴드중 상기 심리음향모듈의 마스크비에 따라 부호화 계수를 산출하고, 중간주파수대역에 워터마크를 삽입하고 부가정보를 제공하는 워터마크 엔코더; 및 상기 서브밴드신호들을 다시 합해 워터마크가 포함된 오디오신호를 출력하는 합성필터뱅크;를 포함하고, 본 발명의 복호기는 수신된 신호를 소정수의 서브밴드로 분리하는 분리필터뱅크; 수신된 부호화 계수와 워터마크가 삽입된 서브밴드로부터 EM 알고리즘에 따라 크기변화 비율을 추정하여 크기변화에 따른 복호기 양자화 크기(Δd)를 제공하는 EM 추정기; 상기 EM추정기의 복호기 양자화 크기를 고려하여 중간주파대역의 서브밴드로부터 워터마크를 추출하는 워터마크 디코더; 및 상기 워터마크 디코더의 출력을 합해 워터마크를 결정하는 통합 결정기;를 포함한다.
워터마킹, 양자화, 크기변화, EM 알고리즘, 서브밴드, 추정

Description

크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및 방법{Amplitude-Scaling Resilient Audio Watermarking Method And Apparatus Based on Quantization}
도 1은 본 발명에 적용되는 양자화 기반 워터마킹을 설명하기 위한 개념도,
도 2는 본 발명에 따른 워터마크 부호기의 구성 블록도,
도 3은 도 2에 도시된 워터마크 엔코더를 도시한 블록도,
도 4는 본 발명에 따른 워터마킹 부호화 절차를 도시한 순서도,
도 5는 본 발명에 따른 워터마크 복호기의 구성 블록도,
도 6은 본 발명에 따른 워터마킹 복호 절차를 도시한 순서도,
도 7은 본 발명에서 MP3 손실 압축 및 크기 변화를 가했을 경우의 모의 실험 결과를 도시한 도면.
*도면의 주요부분에 대한 부호의 설명*
200: 부호기 210,510: 분리필터뱅크
220: 심리음향모듈 230: 워터마크 엔코더
231: 파라메터 산출부 232: 양자화기
233,235: 가산기 234: 곱셈기
500: 복호기 520: EM 추정기
530: 워터마크 디코더 540: 통합 결정기
본 발명은 오디오 워터마킹 장치 및 방법에 관한 것으로, 더욱 상세하게는 크기 변화에 대해서 강인한 양자화 기반의 오디오 워터마킹 장치 및 방법에 관한 것이다.
최근에, 초고속 인터넷의 보급 확산과 함께 MP3등의 형식으로 압축된 고음질의 디지털 오디오 컨텐츠가 불법적으로 유통되면서 저작권 보호의 필요성이 증가하고 있다. 오디오 워터마킹은 오디오 저작물에 대한 저작권보호 방식의 하나로서, 디지털 오디오 컨텐츠에 저작권 혹은 기타의 부가 정보를 들리지 않도록 삽입하는 기술을 의미한다. 이러한 워터마킹은 지각되지 않아야 하고(비지각성), 신호처리 과정과 악의적인 공격에서도 견딜 수 있도록 강인성을 지녀야 한다.
일반적으로, 사람은 시각정보보다 청각정보에 보다 민감하기 때문에 오디오신호의 손상이 영상신호의 손상보다 더 쉽게 지각된다. 따라서 오디오 신호 고유의 특성을 이용한 워터마킹 방법의 개발이 필요한데, 지금까지 알려진 대표적인 오디오 워터마킹 방법으로는 LSB 부호화 방법, 위상정보를 변형하는 방법, 대역확산을 이용한 방법, 반향(echo)신호를 이용한 방법 등이 있다.
또한, 블라인드 워터마킹 기법은 워터마크가 삽입되기 이전의 원 신호를 사용하지 않고 삽입된 워터마크를 복호해내는 방식이다. 초기의 블라인드 워터마킹 기법은 통신에서 쓰이는 대역 확산 기법을 응용한 방식이 주를 이루었다. 대역 확산 워터마킹 기법에서는 원 신호에 의한 간섭을 랜덤 노이즈로 여겼고, 길이가 긴 유사 임의 수열을 이용한 변조를 통해서 원 신호로 인한 간섭을 감소시켰다. 이후에 발표된 보다 발전된 기법에서는 원 신호를 워터마크 삽입 과정에서 알 수 있는 부가 정보(side information)로 해석하였다. 워터마크 삽입 과정에서 주어진 원 신호 정보를 이용하여 검출 과정에서의 원 신호로 인한 간섭을 최대한 줄일 수 있도록 신호를 선택하였다.
한편, 양자화 기반의 워터마킹 기법은 구현이 간단하여 실용성이 우수하다. 워터마크 부호기에서의 원 신호 정보를 이용한 양자화 기반의 기법은 검출 시의 원 신호에 의한 간섭을 줄임으로써 기존의 대역 확산 방식의 기법에 비해서 우수한 성능을 보여준다. 그러나 워터마크 삽입 신호의 크기가 일정 비율로 변화되었을 경우, 복호기 입력 신호와 복호기의 양자기의 크기가 맞지 않으므로 복호 성능이 대폭 감소할 수 있다.
양자화 기반 워터마킹에 대한 선행기술인 미국특허 등록번호 제 6,483,927는 양자화에 기반한 워터마킹 기법과 여러 가지 공격이 가해졌을 경우에 공격의 내용을 추정하여 보상해주는 기법에 대해서 제안하고 있다. 즉, 상기 등록번호 6,483,927호로 미국에서 공개된 기술은 디지털 미디어에 양자화를 통해 부가정보를 삽입하는 방법에 관한 것으로, 부가정보를 삽입할 수 있는 대상은 정지영상 및 오디오와 같은 멀티미디어 신호이고, 삽입되는 영역은 신호의 각 샘플값이 될 수 있 으며, 강인성을 고려하여 DCT, DWT, DFT 등의 변환계수 영역도 될 수 있다.
또한, 선행 논문 J. J. Eggers, R. Bauml, R. Tzschoppe and B. Girod, "Scalar Costa Scheme for Information Embedding," IEEE Transactions on Signal Processing, vol. 51, No. 4, Apr. 2003, pp. 1003-1019 에서는 균일 스칼라 양자화기(uniform scalar quantizer)를 사용하여 만들어진 부호책을 이용하여 워터마크의 삽입 및 검출을 하는 방식인 스칼라 코스타 스킴(Scalar Costa Scheme:SCS)을 제안하였다.
스칼라 코스타 스킴은, 원 신호로 인한 간섭을 감소시켜 주는 블라인드 워터마킹 방식으로서 실용적인 구현을 위하여 균일 스칼라 양자화기(uniform scalar quantizer)를 채택하고 있다. 균일 스칼라 양자화기(Uniform scalar quantizer)를 채택한 워터마킹 시스템은 구현이 간단하므로 실용성이 우수하지만, 워터마크 복호기 입력 신호의 크기가 변했을 경우에 검출 과정에서 오류가 발생할 수 있다.
따라서, 신뢰성 있는 검출을 위해서 복호기에서 사용되는 양자기의 크기를 달라진 신호에 가해진 크기 변화에 맞추어 조절해야 한다. 통상적인 복호기에서는 양자화 크기를 조절하지 않은 채로 검출 과정을 수행하게 되는데, 이 경우 검출 성능의 심각한 저하가 발생할 수 있다. 또한 신호 크기의 변화는 오디오 신호에 있어서 빈번하게 발생하므로 크기가 변화된 신호로부터의 워터마크를 검출하는 것은 중요한 문제로서 고려되어야 한다. 예를 들어, 여러 개의 크기가 다른 오디오 신호를 한 개의 앨범으로 묶어서 사용하거나 저장할 경우에 일정한 수준으로 소리의 크기를 유지하기 위해서 각 오디오 신호의 크기를 근평균제곱(root mean square, RMS) 값을 기준으로 정규화하게 된다.
또한 선행 논문에서는 크기가 변화된 신호로부터 워터마크를 신뢰성 있게 검출하기 위해서, 파일럿 신호를 이용한 크기 변화 추정 알고리즘을 제안하였다. 선행 논문의 알고리즘에서는 SCS 방식으로 파일럿 신호를 삽입하였고, 복호기 입력 신호에서 추출된 파일럿 신호의 히스토그램들의 푸리에 해석을 통해서 크기 변화를 추정하였다.
그런데 이러한 종래의 방법은 정확한 크기 변화의 추정을 위해서는 파일럿 신호의 길이가 충분히 길어야 하며 따라서 전체 신호의 길이가 제한되어 있을 경우 그만큼 정보 삽입을 위한 공간은 줄어들게 된다는 문제점이 있다.
본 발명은 상기와 같은 문제점들을 해결하기 위하여 제안된 것으로, 실제의 복호 과정 직전에 워터마크 삽입 신호에 가해진 크기 변화 비율을 EM(expectation maximization)알고리즘으로 추정하여 양자기의 크기를 그에 맞추어 조절해줌으로써 크기 변화에 대해서 강인한 복호결과를 얻을 수 있는 양자화 기반 오디오 워터마킹 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명은 양자화 기반 오디오 워터마킹 부호화 장치의 구성에 있어서, 입력된 오디오 신호를 다수의 서브밴드로 분리하는 분리필터뱅크; 상기 입력된 오디오 신호에 심리음향모델을 적용하여 마스크비를 제공하는 심리음향모듈; 상기 분리된 다수의 서브밴드들로부터 상기 심리음향모듈에 의해 제 공되는 마스크비에 따라 부호화 계수를 산출하고, 상기 다수의 서브밴드들 중 중간주파수대역을 갖는 서브밴드에 상기 부호화 계수와 워터마크를 삽입하는 워터마크 엔코더; 및 분리되어 워터마크가 삽입된 각각의 서브밴드 신호들을 다시 합성한 오디오신호를 출력하는 합성필터뱅크;를 포함하는 크기 변화에 강인한 양자화 기반 오디오 워터마킹 부호화 장치를 제공한다.
상기 목적을 달성하기 위한 본 발명은 양자화 기반 오디오 워터마킹 복호화 장치의 구성에 있어서, 수신된 오디오 신호를 소정수의 서브밴드로 분리하는 분리필터뱅크; 수신된 오디오 신호에 포함된 부호화 계수와 워터마크가 삽입된 서브밴드로부터 EM 알고리즘에 따라 크기변화 비율을 추정하고, 그 크기변화에 따른 복호기 양자화 크기(Δd)를 제공하는 EM 추정기; 상기 EM추정기의 복호기 양자화 크기를 고려하여 상기 중간주파대역의 서브밴드로부터 워터마크를 추출하는 워터마크 디코더; 및 상기 워터마크 디코더의 출력을 합해 워터마크를 결정하는 통합 결정기;를 포함하는 크기 변화에 강인한 양자화 기반 오디오 워터마킹 복호화 장치를 제공한다.
상기 목적을 달성하기 위한 본 발명은 오디오 신호를 부호화하기 위한 방법에 있어서, 입력된 오디오신호를 서브밴드로 분리하는 단계; 상기 오디오신호에 심리음향모델을 적용하여 마스크비(SMR)를 산출하는 단계; 상기 마스크비(SMR)로부터 부호화 계수를 산출하는 단계; 상기 산출된 부호화 계수에 따라 각 서브밴드별로 워터마크를 엔코딩하는 단계; 상기 워터마크가 엔코딩된 서브밴드들을 합성하는 단계; 및 상기 워터마크가 삽입된 오디오신호와 부호화 계수를 전송하는 단계;를 포 함하는 크기 변화에 강인한 양자화 기반 오디오 워터마킹 부호화 방법을 제공한다.
상기 목적을 달성하기 위한 본 발명은 부호화된 오디오 신호를 복호화하는 방법에 있어서, 오디오 신호와 부가정보를 수신하는 단계; 상기 오디오신호를 서브밴드로 분리하는 단계; 상기 부가정보와 수신된 오디오신호로부터 EM 알고리즘을 이용하여 크기변화 비율을 추정하고 이로부터 복호기 양자화 크기를 산출하는 단계; 상기 산출된 복호기 양자화 크기를 고려하여 서브밴드로부터 워터마크를 디코딩하는 단계; 및 각 디코딩된 값을 통합하여 평균을 구하고, 부호책 내의 코드들과 상관도를 계산하여 워터마크를 구하는 단계;를 포함하는 크기 변화에 강인한 양자화 기반 오디오 워터마킹 복호화 방법을 제공한다.
이하, 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1은 본 발명에 적용되는 양자화 기반 워터마킹을 설명하기 위해 도시한 개념도이다.
양자화 기반 워터마킹 기법은 구현이 간단하므로 실용적인 측면에서 우수하다. 또한, 워터마크를 삽입하는 부호기에서의 원 신호 정보를 이용한 양자화 기반의 기법은 검출 시의 원 신호에 의한 간섭을 줄임으로써 기존의 대역 확산(spread spectrum) 방식의 기법에 비해서 우수한 성능을 보여준다. 그러나 워터마크가 삽입된 신호의 크기가 일정한 비율로 변화되었을 경우에 워터마크를 올바르게 검출하기 위해서는 양자기의 크기(quantization step size) 역시 그에 맞추어 조절되어야 한다.
도 1을 참조하면, 양자화 기반 워터마킹은 복수의 양자화기를 구비하여 워터마크의 수열에 따라 선택된 양자화기로 입력된 오디오신호를 양자화하는 방식이다. 즉, 양자화 기준레벨이 Δ/2 시프트된 양자화기1과 양자화기0을 이용하여 워터마크 수열(dn)의 값이 1이면 양자화기1로 양자화하고, 값이0이면 양자화기 0으로 양자화한다. 이와 같이 양자화 기반 워터마킹은 워터마크 수열을 일종의 디더 신호로 하여 선택된 양자화기로 오디오신호를 양자화 하는 것이다.
한편, 워터마크 삽입 신호에 가해진 크기 변화 비율은 워터마크를 추출하는 복호기에 알려져 있지 않으므로 양자화 기반의 워터마킹 기법은 이러한 신호 크기 변화에 대해서 취약하다. 본 발명에서는 워터마크 삽입 신호에 가해진 크기 변화 비율의 추정을 통해서 양자화 크기를 조절하는 기법이다. 크기 변화 비율의 추정은 복호기 입력신호로부터 EM(expectation maximization) 알고리즘을 이용하여 이루어지며, 별도의 파일럿 신호등을 이용하지 않고 복호기 입력 신호로부터 추정하므로 워터마크 정보 삽입량이 줄어들지 않는 장점이 있다. 이러한 본 발명은 오디오 워터마킹 기법에 적용될 수 있으며, 손실 압축에 대한 강인성이 동시에 고려되었다.
그리고 검출 방식이 블라인드(blind) 형태이기 때문에 워터마크 부호기에서의 원 신호 정보를 이용하는 방식을 취하였고, 구현은 균일 스칼라 양자화기(uniform scalar quantizer)를 이용한다. 손실 압축 및 일반 신호 처리에 대한 강인성을 위해서 워터마크는 서브밴드(subband)로 분리된 신호의 성분 중, 중 간대역 주파수에 해당되는 성분에 반복적으로 삽입되고, 각 서브밴드(subband)별로 여러 가지 공격에 대한 강인성이 달라지므로 최종 결과는 각 서브밴드(subband)별 결과를 통합하여 얻는다.
이러한 본 발명의 오디오 워터마킹 시스템은 크게 부호기와 복호기로 구분될 수 있다.
1. 부호기
도 2는 본 발명에 따른 워터마크 부호기 블록도이고, 도 3은 도 2에 도시된 워터마크 엔코더의 삽입 알고리즘을 도시한 도면이며, 도 4는 워터마크 부호화 절차를 도시한 순서도이다.
도 2를 참조하면, 본 발명의 부호기(200)는 오디오 입력신호(xn)를 주파수에 따라 32개의 서브밴드로 분리하는 분리필터뱅크(210)와, 오디오 입력신호를 입력받아 심리음향모델을 적용하여 마스크비(SMR)를 제공하는 심리음향모듈(220), 분리된 서브밴드 중 심리음향모듈(220)의 마스크비(SMR)에 따라 중간주파수대역에 워터마크를 삽입하고 부가정보를 제공하는 워터마크 엔코더(230), 서브밴드신호들을 다시 합해 워터마크가 포함된 오디오신호를 출력하는 합성필터뱅크(240)로 구성된다.
부호기(200)에서 입력 오디오 신호(xn)는 분리필터뱅크(polyphase filterbank: 210)를 이용하여 32개의 서브밴드(subband)로 나누어진다. 본 발명의 실시예에서는 압축에 대한 강인성과 비가청성 등을 고려하여 중간 대역의 주파수에 해당하는 4번째부터 19번째의 서브밴드(subband)의 영역에 워터마크를 삽입한다. 각 서브밴드(subband)별로 해당되는 주파수의 값에 따라서 압축에 대한 강인성 및 크기 변화에 대한 강인성이 달라지므로 동일한 워터마크 신호(dn)가 16개의 서브밴드(subband)에 중복되어 삽입한다.
비가청성을 위하여 각 워터마크의 세기는 심리 음향 모델을 이용하여 결정한다. 워터마크가 삽입되는 16개의 서브밴드(subband)에 대해서 각각의 서브밴드(subband)에 해당하는 부호화 계수Δe 와 α가 부가정보로써 워터마크가 삽입된 오디오 신호와 함께 전송되게 된다. 여기서, Δe는 엔코더의 양자화 크기이고, α는 스케일이다.
각 서브밴드(subband)별로 원신호(xn)에 워터마크를 삽입하기 위한 워터마크 엔코더(230)는 도 3에 도시된 바와 같이, 심리 음향 모델에서 얻어진 시그널 투 마스크(signal-to-mask ratio: SMR) 및 손실 압축의 스펙으로부터 결정되는 잡음의 세기의 예측값(WNR)으로부터 부호화 계수의 값(Δe,α)을 산출하는 파라메터 산출부(231)와, 워터마크(dn)에 의해 선택된 양자화기로 엔코더의 양자화 크기 Δe에 따라 오디오신호(xn)를 균일 스칼라 양자화를 수행하는 양자화기(232), 양자화기(232)의 출력에서 원신호를 감산하는 가산기(233), 가산기(233)의 출력에 스케일 α를 곱하는 곱셈기(234), 곱셈기(234)의 출력에 원 신호(xn)를 가산하여 워터마크가 삽입된 서브밴드신호(sn)를 출력하는 가산기(235)로 구성된다. 이러한 본 발명 의 워터마크 삽입 알고리즘은 기 제안된 Eggers et. al.의 scalar Costa scheme (SCS)의 워터마킹 기법과 유사한 형태이다. 각 서브밴드(subband)별 워터마크 삽입 과정은 다음과 같다.
부호기에서의 워터마크 삽입 과정은 디더드 스칼라 양자화기(dithered scalar quantizer)를 통하여 구현된다. 상수인 입력 x 에 대해서, ＱΔ,d(x)는 다음 수학식1과 같이 정의된다.
Figure 112003030732787-pat00001
여기서, 실수 c에 대해서
Figure 112003030732787-pat00002
는 c보다 작거나 같은 최대의 정수를 의미한다. 양수인 상수 Δ는 양자화기의 크기(quantization step size)를 나타내고, d는 이진 값을 가지는 디더(dither) 신호를 나타낸다.
실수의 수열 (xn)이 원 신호(오디오 신호)를 나타낸다. 워터마크 메시지는 유사 랜덤 수열을 이용하여 이진의 수열 dn으로 나타내어진다. 실수의 수열(sn)이 워터마크가 삽입된 신호를 나타낸다고 하면, 워터마크 삽입 과정은 다음의 수학식2로 주어진다.
Figure 112003030732787-pat00003
여기서, α(0<α<1)와 Δe는 삽입 과정에서 사용되는 부호화 계수로, 각 서브밴드(subband)별로 다르게 결정된다. 심리 음향 모델에서 얻어진 시그널 투 마스크(signal-to-mask ratio: SMR) 및 손실 압축의 스펙으로부터 결정되는 잡음의 세기의 예측 값(WNR)으로부터 부호화 계수의 값이 결정되며, 이 값들은 워터마크 삽입 신호와 함께 복호기에 전달되게 된다.
이와 같은 부호기에 의한 부호화 과정은 도 4에 도시된 바와 같이, 오디오신호를 입력하는 단계(401)와, 입력된 오디오신호를 서브밴드로 분리하는 단계(402), 오디오신호에 심리음향모델을 적용하여 마스크비(SMR)를 산출하는 단계(403), 마스크비(SMR)로부터 부호화 계수를 산출하는 단계(404), 산출된 부호화 계수에 따라 각 서브밴드별로 워터마크를 엔코딩하는 단계(405), 워터마크가 엔코딩된 서브밴드를 합성하는 단계(406), 워터마크가 삽입된 오디오신호와 부호화 계수를 전송하는 단계(407)로 이루어진다.
2. 복호기
도 5는 본 발명에 따른 워터마크 복호기의 구성 블록도이고, 도 6은 본 발명에 따른 워터마킹 복호 절차를 도시한 순서도이다.
도 5를 참조하면, 복호기(500)는 수신된 신호를 32개의 서브밴드로 분리하는 분리필터뱅크(510)와, 수신된 부호화 계수와 워터마크가 삽입된 서브밴드로부터 EM 알고리즘에 따라 크기변화를 추정하여 크기변화에 따른 복호기 양자화 크기(Δd)를 제공하는 EM 추정기(520), 상기 EM추정기(520)의 복호기 양자화 크기를 고려하여 중간주파대역의 서브밴드로부터 워터마크를 추출하는 워터마크 디코더(530), 워터마크 디코더(530)의 출력을 합해 워터마크를 결정하는 통합 결정기(540)로 구성된다.
상기 복호기(500)에서의 워터마크 검출 과정은 크게 크기 변화의 추정과, 복호 신호의 통합의 두 개의 과정으로 이루어진다. 부호기에서와 동일한 방식으로 32개의 서브밴드(subband)로 분리된 각각의 서브밴드(subband)별로 비율 g'이 추정되고, 이 값을 이용하여 양자기의 크기 Δd=g'Δe 로 조절된다. 각각의 서브밴드(subbnad)별로 추출된 워터마크가 얻어지고, 16개의 서브밴드(subband)별 결과의 평균을 문턱값과 비교함으로써 최종 결과가 얻어진다.
각 서브밴드(subband)별 크기 변화 비율 추정 및 워터마크 추출 과정은 다음과 같다.
크기 변화 비율의 추정값 g'은 EM 알고리즘을 이용한 추정 기법에 의해서 구해진다. 가우시안 혼합 모델의 각각의 성분 확률 밀도 함수의 평균값 μm을 추정하기 위해서 EM 알고리즘(reference)이 사용된다. EM 알고리즘으로 얻어진 μm의 추정 값에 대한 선형 회귀 분석을 통하여 추정된 비율 g'가 구해진다. 분산 σ2 z값은 g'을 이용하여 갱신된다. 양의 정수 N에 대해서 추정을 위한 N개의 관측 값을 r1, r2, r3,...,rN 이라 생각하자. 제안된 추정 기법은 다음의 단계들의 반복으로 이루 어져 있다. 우선,
Figure 112003030732787-pat00004
과 μm의 값이 다음 수학식3 및 4와 같이 구해진다.
Figure 112003030732787-pat00005
Figure 112003030732787-pat00006
여기서, 벡터
Figure 112003030732787-pat00007
는 m=1,2,...,M 에 대한
Figure 112003030732787-pat00008
과μm (i-1)의 값과 αz (i-1)의 값을 포함한다. 이 때,
Figure 112003030732787-pat00009
는 계수
Figure 112003030732787-pat00010
에 따른 사후 확률 (posterior probability)을 나타낸다. 선형 회귀 분석 기법을 이용하여 i번째 반복에 대한 비율의 추정 값 g(i) 를 다음의 수학식5로 주어지는 평균 제곱 오차의 최소값을 통해서 구한다.
Figure 112003030732787-pat00011
이어 비율의 추정치 g(i)는 다음의 수학식6으로 주어진다.
Figure 112003030732787-pat00012
분산 σz (i-1)는 다음의 수학식7로부터 갱신된다.
Figure 112003030732787-pat00013
제안된 기법에서 각 계수들의 초기값은 다음 수학식8과 같이 설정된다.
Figure 112003030732787-pat00014
이러한 계수들을 갱신하는 단계들은 L번 반복하게 된다. 최종적으로 얻어지는 비율은 다음의 수학식9로 주어진다.
Figure 112003030732787-pat00015
얻어진 추정된 비율 g'으로부터 복호과정은 조절된 양자화 크기 Δd=g'Δe 를 이용하여 이루어지게 된다.
각 서브밴드(subbnad)에서의 입력신호(rn)로부터의 검출과정은 다음과 같다. 우선, 양자화 크기Δd 와 디더(dither) d=0 을 가지는 양자기를 통해서 rn을 양자화시킨 결과인 QΔd,0(rn)을 얻는다. g를 추정한 결과인 g'을 이용하여 복호기의 양자화 크기를 Δd=g'Δe 로 결정하게 된다.
Figure 112003030732787-pat00016
이 rn 의 양자화 오차를 나타낸다고 하자. 양자화 오차
Figure 112003030732787-pat00017
은 다음의 수학식10으로 나타내어진다.
Figure 112003030732787-pat00018
추정된 워터마크 신호 d'n는 다음의 수학식11로 구해진다.
Figure 112003030732787-pat00019
16개의 서브밴드(subband)별로 얻어진 결과로부터 값의 평균을 구하고, 그 결과 얻어진 코드와 부호책 내의 코드들과의 상관도를 계산하게 된다. 그 결과 가장 큰 상관도를 나타내는 코드의 색인이 삽입된 워터마크 정보에 해당하게 된다.
이와 같은 복호기에 의한 복호과정은 도 6에 도시된 바와 같이, 오디오신호 를 수신하는 단계(601), 오디오신호를 서브밴드로 분리하는 단계(602), 부가정보를 수신하는 단계(603), 부가정보와 수신된 오디오신호로부터 EM 알고리즘을 이용하여 크기변화 비율을 추정하고 이로부터 양자화 크기를 산출하는 단계(604), 산출된 양자화 크기를 고려하여 서브밴드로부터 워터마크를 디코딩하는 단계(605), 각 디코딩된 값을 통합하여 평균을 구하고 부호책 내의 코드들과 상관도를 계산하여 워터마크를 구하는 단계(606)로 이루어진다.
도 7은 본 발명에서 MP3 손실 압축 및 크기 변화를 가했을 경우의 모의실험 결과를 도시한 도면으로서, (A)는 압축이 없는 경우, (B)는 192kbps의 경우, (C)는 128kbps인 경우이다.
도시된 그래프에서 종축은 비트에러율(BER)을 나타내고, 횡축은 크기 변화 비율 g를 나타낸다. 그리고 삼각형이 표시된 실선은 종래방식에 따른 특성을 나타내고, 원이 표시된 실선은 본 발명에 따른 특성을 나타낸다. 도시된 그래프를 살펴보면, 종래방식에서는 크기변화 비율 g가 커질 경우 에러율이 급격하게 증가하는 것을 알 수 있으나 본 발명에 따른 방식에서는 크기 변화 비율에 영향을 받지 않는 것을 알 수 있다.
이상에서 설명한 바와 같이, 본 발명은 별도의 파일럿 신호등의 부가 신호를 사용하지 않고 워터마크 삽입 신호 자체로부터 크기 변화 비율을 추정하므로 정보 삽입량이 줄어들지 않으면서 워터마크 복호기 입력 신호의 크기가 변했을 경우에도 오류 없이 워터마크를 추출할 수 있는 효과가 있다. 또한 압축이나 저대역 필터처리에 강인한 저대역 서브밴드(subband)부터 크기 변화에 대해서 상대적으로 강인한 중간대역 서브밴드(subband)까지의 영역에 워터마크 신호를 중복 삽입하여 각각의 결과를 통합하여 최종 워터마크를 추출함으로써 손실 압축과 크기 변화에 동시에 강인한 장점이 있다.
더욱이 MP3와 같은 손실 압축이나 오디오 신호의 크기 변화의 경우, 실제의 디지털 오디오 사용에 있어서 빈번히 사용되고 비의도적인 공격으로 간주될 수 있는데, 워터마킹이 저작권 보호 이외에 부가 정보 삽입 등의 목적으로 사용되거나 무결성 입증을 위해서 사용될 경우에도 이러한 비의도적인 변화에 대해서는 강인해야 하므로 본 발명은 여러 가지 용도로 활용될 수 있다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (7)

  1. 양자화 기반 오디오 워터마킹 부호화 장치의 구성에 있어서,
    입력된 오디오 신호를 다수의 서브밴드로 분리하는 분리필터뱅크;
    상기 입력된 오디오 신호에 심리음향모델을 적용하여 마스크비를 제공하는 심리음향모듈;
    상기 심리 음향 모델에서 얻어진 마스크비(SMR) 및 손실 압축의 스펙으로부터 결정되는 잡음의 세기의 예측값(WNR)으로부터 부호화 계수의 값(Δe,α)을 산출하는 파라메터 산출부와, 워터마크(dn)에 의해 선택된 양자화기로 엔코더의 양자화 크기 Δe에 따라 오디오신호(xn)를 균일 스칼라 양자화를 수행하는 양자화기와, 상기 양자화기의 출력에서 원신호를 감산하는 가산기와, 상기 가산기의 출력에 스케일 α을 곱하는 곱셈기 및 상기 곱셈기의 출력에 원신호(xn)를 가산하여 워터마크가 삽입된 서브밴드신호(sn)를 출력하는 가산기로 구성되고, 상기 분리된 다수의 서브밴드들로부터 상기 심리음향모듈에 의해 제공되는 마스크비에 따라 부호화 계수를 산출하고, 상기 다수의 서브밴드들 중 중간주파수대역을 갖는 서브밴드에 상기 부호화 계수와 워터마크를 삽입하는 워터마크 엔코더; 및
    분리되어 워터마크가 삽입된 각각의 서브밴드 신호들을 다시 합성한 오디오신호를 출력하는 합성필터뱅크;를 포함하는 크기 변화에 강인한 양자화 기반 오디오 워터마킹 부호화 장치.
  2. 삭제
  3. 양자화 기반 오디오 워터마킹 복호화 장치의 구성에 있어서,
    수신된 오디오 신호를 소정수의 서브밴드로 분리하는 분리필터뱅크;
    수신된 오디오 신호에 포함된 부호화 계수와 워터마크가 삽입된 서브밴드로부터 EM 알고리즘에 따라 크기변화 비율을 추정하고, 수신된 엔코더의 양자화 크기에 크기변화 추정 비율을 곱해서 그 크기변화에 따른 복호기 양자화 크기(Δd)를 제공하는 EM 추정기;
    상기 EM추정기의 복호기 양자화 크기를 고려하여 상기 중간주파대역의 서브밴드로부터 워터마크를 추출하는 워터마크 디코더; 및
    상기 워터마크 디코더의 출력을 합해 워터마크를 결정하는 통합 결정기;를 포함하는 크기 변화에 강인한 양자화 기반 오디오 워터마킹 복호화 장치.
  4. 오디오 신호를 부호화하기 위한 방법에 있어서,
    입력된 오디오신호를 서브밴드로 분리하는 단계;
    상기 오디오신호에 심리음향모델을 적용하여 마스크비(SMR)를 산출하는 단계;
    상기 마스크비(SMR)로부터 부호화 계수를 산출하는 단계;
    상기 산출된 부호화 계수에 따라 각 서브밴드별로 서브밴드의 중간주파수대에 워터마크를 엔코딩하는 단계;
    상기 워터마크가 엔코딩된 서브밴드들을 합성하는 단계; 및
    상기 워터마크가 삽입된 오디오신호와 부호화 계수를 전송하는 단계;를 포함하는 크기 변화에 강인한 양자화 기반 오디오 워터마킹 방법.
  5. 삭제
  6. 청구항 4의 방법에 의해 부호화된 오디오 신호를 복호화하는 방법에 있어서,
    오디오 신호와 부가정보를 수신하는 단계;
    상기 오디오신호를 서브밴드로 분리하는 단계;
    상기 부가정보와 수신된 오디오신호로부터 EM 알고리즘을 이용하여 크기변화 비율을 추정하고 수신된 엔코더의 양자화 크기에 크기변화 추정 비율을 곱해서 복호기 양자화 크기(Δd)를 산출하는 단계;
    상기 산출된 복호기 양자화 크기를 고려하여 서브밴드로부터 워터마크를 디코딩하는 단계; 및
    각 디코딩된 값을 통합하여 평균을 구하고, 부호책 내의 코드들과 상관도를 계산하여 워터마크를 구하는 단계;를 포함하는 크기 변화에 강인한 양자화 기반 오디오 워터마킹 복호화 방법.
  7. 삭제
KR1020030057682A 2003-08-20 2003-08-20 크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법 KR100554680B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020030057682A KR100554680B1 (ko) 2003-08-20 2003-08-20 크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법
US10/700,488 US20050043830A1 (en) 2003-08-20 2003-11-05 Amplitude-scaling resilient audio watermarking method and apparatus based on quantization

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030057682A KR100554680B1 (ko) 2003-08-20 2003-08-20 크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법

Publications (2)

Publication Number Publication Date
KR20050020040A KR20050020040A (ko) 2005-03-04
KR100554680B1 true KR100554680B1 (ko) 2006-02-24

Family

ID=34192160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030057682A KR100554680B1 (ko) 2003-08-20 2003-08-20 크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법

Country Status (2)

Country Link
US (1) US20050043830A1 (ko)
KR (1) KR100554680B1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100617165B1 (ko) * 2004-11-19 2006-08-31 엘지전자 주식회사 워터마크 삽입/검출 기능을 갖는 오디오 부호화/복호화장치 및 방법
KR100685784B1 (ko) 2005-08-17 2007-02-22 한국전자통신연구원 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그방법과 그를 이용한 워터마크 인증 장치 및 그 방법
EP1764780A1 (en) * 2005-09-16 2007-03-21 Deutsche Thomson-Brandt Gmbh Blind watermarking of audio signals by using phase modifications
GB2431837A (en) * 2005-10-28 2007-05-02 Sony Uk Ltd Audio processing
CN101669308B (zh) 2007-02-20 2013-03-20 尼尔森（美国）有限公司 表征媒体的方法和装置
EP2156583B1 (en) 2007-05-02 2018-06-06 The Nielsen Company (US), LLC Methods and apparatus for generating signatures
US20090060257A1 (en) * 2007-08-29 2009-03-05 Korea Advanced Institute Of Science And Technology Watermarking method resistant to geometric attack in wavelet transform domain
EP2210252B1 (en) * 2007-11-12 2017-05-24 The Nielsen Company (US), LLC Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8457951B2 (en) 2008-01-29 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for performing variable black length watermarking of media
JP5266343B2 (ja) 2008-03-05 2013-08-21 ザ ニールセン カンパニー （ユー エス） エルエルシー 署名を生成する方法及び装置
KR20090122142A (ko) * 2008-05-23 2009-11-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
KR101764926B1 (ko) 2009-12-10 2017-08-03 삼성전자주식회사 음향 통신을 위한 장치 및 방법
US8781023B2 (en) * 2011-11-01 2014-07-15 At&T Intellectual Property I, L.P. Method and apparatus for improving transmission of data on a bandwidth expanded channel
US8774308B2 (en) * 2011-11-01 2014-07-08 At&T Intellectual Property I, L.P. Method and apparatus for improving transmission of data on a bandwidth mismatched channel
RU2505868C2 (ru) * 2011-12-07 2014-01-27 Ооо "Цифрасофт" Способ встраивания цифровой информации в аудиосигнал
KR101426596B1 (ko) * 2012-07-11 2014-08-05 조선대학교산학협력단 오디오 인코딩 방법
US20140111701A1 (en) * 2012-10-23 2014-04-24 Dolby Laboratories Licensing Corporation Audio Data Spread Spectrum Embedding and Detection
US9742554B2 (en) 2013-02-04 2017-08-22 Dolby Laboratories Licensing Corporation Systems and methods for detecting a synchronization code word
US9317872B2 (en) 2013-02-06 2016-04-19 Muzak Llc Encoding and decoding an audio watermark using key sequences comprising of more than two frequency components
US9093064B2 (en) 2013-03-11 2015-07-28 The Nielsen Company (Us), Llc Down-mixing compensation for audio watermarking
JP6305694B2 (ja) * 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
CN105283915B (zh) * 2013-06-11 2019-05-07 株式会社东芝 数字水印嵌入装置及方法以及数字水印检测装置及方法
TWI579831B (zh) 2013-09-12 2017-04-21 杜比國際公司 用於參數量化的方法、用於量化的參數之解量化方法及其電腦可讀取的媒體、音頻編碼器、音頻解碼器及音頻系統
CN103761656B (zh) * 2014-01-07 2017-02-01 珠海丹德图像技术有限公司 一种商品信息的印刷检验方法及装置
CN103795891B (zh) * 2014-03-04 2017-02-01 山东科技大学 一种能抗幅度缩放攻击水印的编码、嵌入和解码方法
KR101608948B1 (ko) * 2015-04-14 2016-04-04 주식회사 디지워크 광고 데이터 제공 방법 및 이를 실행하는 시스템
US10460727B2 (en) * 2017-03-03 2019-10-29 Microsoft Technology Licensing, Llc Multi-talker speech recognizer
CN107239959B (zh) * 2017-03-17 2020-08-11 深圳市卡卡信息科技有限公司 防伪方法、系统及服务器
US10891971B2 (en) 2018-06-04 2021-01-12 The Nielsen Company (Us), Llc Methods and apparatus to dynamically generate audio signatures adaptive to circumstances associated with media being monitored
US11244692B2 (en) * 2018-10-04 2022-02-08 Digital Voice Systems, Inc. Audio watermarking via correlation modification using an amplitude and a magnitude modification based on watermark data and to reduce distortion

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764698A (en) * 1993-12-30 1998-06-09 International Business Machines Corporation Method and apparatus for efficient compression of high quality digital audio
US6154484A (en) * 1995-09-06 2000-11-28 Solana Technology Development Corporation Method and apparatus for embedding auxiliary data in a primary data signal using frequency and time domain processing
US5687191A (en) * 1995-12-06 1997-11-11 Solana Technology Development Corporation Post-compression hidden data transport
US6061793A (en) * 1996-08-30 2000-05-09 Regents Of The University Of Minnesota Method and apparatus for embedding data, including watermarks, in human perceptible sounds
US6345100B1 (en) * 1998-10-14 2002-02-05 Liquid Audio, Inc. Robust watermark method and apparatus for digital signals
US6674876B1 (en) * 2000-09-14 2004-01-06 Digimarc Corporation Watermarking in the time-frequency domain
US6925435B1 (en) * 2000-11-27 2005-08-02 Mindspeed Technologies, Inc. Method and apparatus for improved noise reduction in a speech encoder
US6483927B2 (en) * 2000-12-18 2002-11-19 Digimarc Corporation Synchronizing readers of hidden auxiliary data in quantization-based data hiding schemes
KR100492743B1 (ko) * 2003-04-08 2005-06-10 주식회사 마크애니 신호의 특성값의 양자화에 의한 워터마크 삽입 및 검출방법

Also Published As

Publication number Publication date
KR20050020040A (ko) 2005-03-04
US20050043830A1 (en) 2005-02-24

Similar Documents

Publication Publication Date Title
KR100554680B1 (ko) 크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법
Bhat K et al. An audio watermarking scheme using singular value decomposition and dither-modulation quantization
KR100595202B1 (ko) 디지털 오디오 워터마크 삽입/검출 장치 및 방법
KR100898879B1 (ko) 부수 정보에 응답하여 하나 또는 그 이상의 파라메터를변조하는 오디오 또는 비디오 지각 코딩 시스템
US6219634B1 (en) Efficient watermark method and apparatus for digital signals
Bhat K et al. A new audio watermarking scheme based on singular value decomposition and quantization
US7035700B2 (en) Method and apparatus for embedding data in audio signals
WO2000022772A1 (en) Robust watermark method and apparatus for digital signals
Lee et al. Em estimation of scale factor for quantization-based audio watermarking
KR20140041696A (ko) 입력 신호를 워터마킹하는 양자화 인덱스 변조 방법 및 장치
Xiang et al. Digital audio watermarking: fundamentals, techniques and challenges
WO2003053064A1 (en) Quantization index modulation (qim) digital watermarking of multimedia signals
KR100560429B1 (ko) 비선형 양자화를 이용한 워터마킹 장치 및 그 방법
KR100355033B1 (ko) 선형예측 분석을 이용한 워터마크 삽입/추출 장치 및 그방법
Avci et al. A new information hiding method for audio signals
Eggers et al. Watermark detection after quantization attacks
Attari et al. Robust and blind audio watermarking in wavelet domain
Yargıçoğlu et al. Hidden data transmission in mixed excitation linear prediction coded speech using quantisation index modulation
KR20000018063A (ko) 웨이브렛 변환의 분해 특성을 이용한 오디오 워터마크 방법
Silvestre et al. Informed audio watermarking scheme using digital chaotic signals
Dhavale et al. High Payload Adaptive Audio Watermarking based on Cepstral Feature Modification.
Patil et al. SVD based audio watermarking algorithm using dual watermark for copyright protection
Lalitha et al. Robust audio watermarking scheme with synchronization code and QIM
Patila et al. Adaptive Audio Watermarking techniques: A literature Review
Danti et al. Secured Data Hiding based on Compression Function and Quantization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090202

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee