KR20180058611A - 오디오 워터마크 삽입 방법 및 장치, 그리고 오디오 워터마크 검출 방법 및 장치 - Google Patents

오디오 워터마크 삽입 방법 및 장치, 그리고 오디오 워터마크 검출 방법 및 장치 Download PDF

Info

Publication number
KR20180058611A
KR20180058611A KR1020170072321A KR20170072321A KR20180058611A KR 20180058611 A KR20180058611 A KR 20180058611A KR 1020170072321 A KR1020170072321 A KR 1020170072321A KR 20170072321 A KR20170072321 A KR 20170072321A KR 20180058611 A KR20180058611 A KR 20180058611A
Authority
KR
South Korea
Prior art keywords
watermark
audio signal
audio
sequence
bit stream
Prior art date
Application number
KR1020170072321A
Other languages
English (en)
Inventor
이미숙
백승권
성종모
이태진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US15/710,353 priority Critical patent/US20180144755A1/en
Publication of KR20180058611A publication Critical patent/KR20180058611A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking

Abstract

본 발명의 일실시예에 의하면, 원본 오디오 신호는 MCLT 변환 될 수 있다. 이때, 위상을 변조하여 MCLT 계수에 워터마크를 삽입함으로써, 원본 오디오 신호를 전송/저장/재생할 때 발생할 수 있는 신호처리와 코덱/지연/크로핑과 같은 상황에 강인한 오디오 워터마크 삽입 및 검출할 수 있다. 또한, 본 발명의 일실시예에 의하면, 저작권뿐만 아니라 URL과 같은 다양한 기타 정보를 전송하는 기술로 이용될 수 있다.
본 발명의 일실시예에 따르면, 제1 오디오 신호를 MCLT 변환하는 단계; 상기 MCLT 변환된 제1 오디오 신호에 워터마크의 비트열을 삽입하는 단계; 상기 비트열이 삽입된 제1 오디오 신호를 IMDCT 변환하는 단계; 및 상기 IMDCT 변환된 신호를 이웃 프레임 신호와 중첩 가산 함으로써 제1 오디오 신호에 워터마크가 삽입된 제2 오디오 신호를 획득하는 단계를 포함하는 오디오 워터마크 삽입 방법 일 수 있다.

Description

오디오 워터마크 삽입 방법 및 장치, 그리고 오디오 워터마크 검출 방법 및 장치{APPARATUS AND METHOD FOR INSERTING WATERMARK TO THE AUDIO SIGNAL AND DETECTING WATERMARK FROM THE AUDIO SIGNAL}
본 발명은 오디오 워터마크 삽입 방법 및 장치, 그리고 오디오 워터마크 검출 방법 및 장치에 관한 것으로, 보다 구체적으로는 MCLT 변환한 오디오 신호에 워터마크의 비트열을 삽입하거나 검출하는 장치 및 방법에 관한 것이다.
워터마킹(Watermarking) 또는 워터마크는 사진이나 동영상 같은 여러 종류의 데이터에 저작권 정보와 같은 정보를 삽입하여 관리하는 것을 의미한다. 삽입되는 정보는 일반적으로 저작권이나 소유자 및 사용 제한 등에 관한 정보를 포함하지만, 워터마크의 사용 목적에 따라 콘텐츠와 관련된 정보인 웹사이트의 URL 주소와 같은 기타 정보를 포함할 수도 있다.
워터마크를 삽입하기 위해 제안되는 기술은 다음 3가지 사항을 공통적으로 고려해야 한다. 첫 번째, 비지각성으로 워터마크의 삽입은 원본 콘텐츠의 품질에 영향을 미치지 않아야 한다. 즉, 워터마크의 삽입으로 인해 원본 콘텐츠가 왜곡될지라도 인간은 워터마크를 인식할 수 없어야 한다. 두 번째, 강인성으로 워터마크가 삽입된 원본 콘텐츠에 어떤 위조 또는 조작이 실행될지라도 워터마크는 검출될 수 있어야 한다. 세 번째, 보안성으로 워터마크의 존재가 인식될지라도 워터마크는 쉽게 검출되거나 제거될 수 없어야 한다.
워터마크는 삽입되는 원본 콘텐츠에 따라 오디오 워터마크와 비디오 워터마크가 있다. 비디오 신호와 달리 오디오 신호는 데이터 양이 상대적으로 부족하므로 워터마크를 삽입할 수 있는 영역도 상대적으로 부족하다. 또한, 사람은 비디오 신호보다 오디오 신호에 보다 예민하게 반응한다. 따라서, 오디오 워터마크는 오디오 신호의 특성을 고려해야 한다.
그러나, 종래의 워터마크를 삽입한 오디오 신호는 신호 처리 및 송/수신 과정에서 발생할 수 있는 지연(Delay)이나 크로핑(Cropping)등의 상황에서 검출의 어려움과 같은 여러 문제가 발생하였다. 이에 신호 처리 및 송/수신 과정에서 발생할 수 있는 여러 상황에서도 앞서 서술한 워터마크의 3가지 특성을 나타내는 워터마크를 생성/삽입/검출하는 기술이 필요하다.
본 발명은 MCLT 변환을 이용함으로써, 사람이 인식하지 못하는 범위내에서 원본 오디오 신호를 전송/저장/재생할 때 발생할 수 있는 신호처리에 강인한 오디오 워터마크 삽입 및 검출하는 장치 및 방법을 제공한다.
본 발명은 위상을 변조하여 MCLT 계수에 워터마크를 삽입함으로써, 코덱/지연/크로핑과 같은 상황에 강인한 오디오 워터마크 삽입 및 검출하는 장치 및 방법을 제공한다.
따라서, 본 발명은 저작권뿐만 아니라 URL 주소와 같은 다양한 기타 정보를 전송하는 기술로 이용될 수 있는 오디오 워터마크 삽입 및 검출하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따르면, 제1 오디오 신호를 MCLT 변환하는 단계; 상기 MCLT 변환된 제1 오디오 신호에 워터마크의 비트열을 삽입하는 단계; 상기 비트열이 삽입된 제1 오디오 신호를 IMDCT 변환하는 단계; 및 상기 IMDCT 변환된 신호를 이웃 프레임 신호와 중첩 가산 함으로써 제1 오디오 신호에 워터마크가 삽입된 제2 오디오 신호를 획득하는 단계를 포함하는 오디오 워터마크 삽입 방법일 수 있다.
상기 비트열은, 제1 오디오 신호에 삽입하려는 정보를 PN 시퀀스로 대역확산하는 방법을 이용함으로써 생성되는 오디오 워터마크 삽입 방법 일 수 있다.
상기 PN 시퀀스의 길이는 서비스에 따라 결정되는 오디오 워터마크 삽입 방법 일 수 있다.
상기 비트열을 삽입하는 단계는, MCLT 계수에 PN 시퀀스의 길이만큼 비트열을 삽입하는 오디오 워터마크 삽입 방법 일 수 있다.
상기 비트열을 삽입하는 단계는, 코덱을 통과해도 손상되지 않는 주파수 대역을 선택하는 단계, 상기 선택된 주파수 대역에 비트열을 삽입하는 단계를 포함하는 오디오 워터마크 삽입 방법 일 수 있다.
본 발명의 일실시예에 따르면, 제1 오디오 신호에 워터마크가 삽입된 제2 오디오 신호를 수신하여 MDCT 변환하는 단계; 상기 MDCT 변환된 제2 오디오 신호를 이용하여 워터마크의 비트열을 추출하는 단계; 상기 추출된 비트열을 이용하여 워터마크를 검출하는 단계를 포함하는 오디오 워터마크 검출 방법 일 수 있다.
상기 비트열은, 제1 오디오 신호에 삽입하려는 정보를 PN 시퀀스로 대역확산하는 방법을 이용함으로써 생성되는 오디오 워터마크 검출 방법 일 수 있다.
상기 PN 시퀀스의 길이는 서비스에 따라 결정되는 오디오 워터마크 검출 방법 일 수 있다.
상기 비트열을 추출하는 단계는, 상기 변환된 MDCT 계수를 이용하여 비트열을 추출하는 오디오 워터마크 검출 방법 일 수 있다.
상기 워터마크를 검출하는 단계는, 상기 PN 시퀀스와 추출된 비트열의 거리를 측정함으로써 워터마크를 검출하는 오디오 워터마크 검출 방법 일 수 있다.
본 발명의 일실시예에 따르면, 워터마크 삽입 장치에 있어서, 워터마크 삽입 장치는 프로세서를 포함하고, 상기 프로세서는, 제1 오디오 신호를 MCLT 변환하고, 상기 MCLT 변환된 제1 오디오 신호에 워터마크의 비트열을 삽입하고, 상기 비트열이 삽입된 제1 오디오 신호를 IMDCT 변환하고, 상기 IMDCT 변환된 신호를 이웃 프레임 신호와 중첩 가산 함으로써 제1 오디오 신호에 워터마크가 삽입된 제2 오디오 신호를 획득하는 오디오 워터마크 삽입 장치 일 수 있다.
상기 비트열은, 제1 오디오 신호에 삽입하려는 정보를 PN 시퀀스로 대역확산하는 방법을 이용함으로써 생성되는 오디오 워터마크 삽입 장치 일 수 있다.
상기 PN 시퀀스의 길이는 서비스에 따라 결정되는 오디오 워터마크 삽입 장치 일 수 있다.
상기 비트열을 삽입하는 단계는, MCLT 계수에 PN 시퀀스의 길이만큼 비트열을 삽입하는 오디오 워터마크 삽입 장치 일 수 있다.
상기 비트열의 삽입은, 코덱을 통과해도 손상되지 않는 주파수 대역을 선택하고, 상기 선택된 주파수 대역에 비트열을 삽입하는 오디오 워터마크 삽입 장치 일 수 있다.
본 발명의 일실시예에 따르면, 워터마크 검출 장치에 있어서, 워터마크 검출 장치는 프로세서를 포함하고, 상기 프로세서는, 제1 오디오 신호에 워터마크가 삽입된 제2 오디오 신호를 수신하여 MDCT 변환하고, 상기 MDCT 변환된 제2 오디오 신호를 이용하여 워터마크의 비트열을 추출하고, 상기 추출된 비트열을 이용하여 워터마크를 검출하는 오디오 워터마크 검출 장치 일 수 있다.
상기 비트열은, 제1 오디오 신호에 삽입하려는 정보를 PN 시퀀스로 대역확산하는 방법을 이용함으로써 생성되는 오디오 워터마크 검출 장치 일 수 있다.
상기 PN 시퀀스의 길이는 서비스에 따라 결정되는 오디오 워터마크 검출 장치 일 수 있다.
상기 비트열의 추출은, 상기 변환된 MDCT 계수를 이용하여 비트열을 추출하는 오디오 워터마크 검출 장치 일 수 있다.
상기 워터마크의 검출은, 상기 PN 시퀀스와 추출된 비트열의 거리를 측정함으로써 워터마크를 검출하는 오디오 워터마크 검출 장치 일 수 있다.
본 발명의 일실시예에 의하면, MCLT 변환을 이용함으로써 사람이 인식하지 못하는 범위내에서 원본 오디오 신호를 전송/저장/재생할 때 발생할 수 있는 신호처리에 강인한 오디오 워터마크 삽입 및 검출하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 의하면, 위상을 변조하여 MCLT 계수에 워터마크를 삽입함으로써 코덱/지연/크로핑과 같은 상황에 강인한 오디오 워터마크 삽입 및 검출하는 장치 및 방법을 제공할 수 있다.
따라서, 본 발명의 일실시예에 의하면, 저작권뿐만 아니라 URL 주소와 같은 다양한 기타 정보를 전송하는 기술로 이용될 수 있는 오디오 워터마크 삽입 및 검출하는 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 워터마크 삽입 및 검출하는 전체 프로세스를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 오디오 워터마크 삽입 장치가 수행하는 오디오 신호에 워터마크 삽입 방법을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 오디오 워터마크 생성 장치가 수행하는 오디오 신호에 삽입할 워터마크 생성 방법을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 오디오 워터마크 검출 장치가 수행하는 오디오 신호로부터 워터마크 검출 방법을 도시한 도면이다.
도 5는 본 발명의 일실시예로서 워터마크를 검출하는 다른 방법을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 오디오 워터마크 삽입 및 검출하는 전체 프로세스를 도시한 도면이다.
원본 오디오 신호에 삽입하려는 정보인 워터마크는 오디오 워터마크 생성 장치(102)에서 생성될 수 있다. 오디오 워터마크 생성 장치(102)는 오디오 워터마크 삽입 장치(101) 내부에 위치하거나 또는 외부에 위치할 수 있다.
오디오 워터마크 삽입 장치(101)는 오디오 워터마크 생성 장치(102)로부터 생성된 워터마크의 비트열을 원본 오디오 신호에 삽입할 수 있다. 이하에서 제1 오디오 신호는 원본 오디오 신호를 의미하며, 제2 오디오 신호는 워터마크의 비트열이 삽입된 원본 오디오 신호를 의미할 수 있다.
인코더(103)는 제2 오디오 신호를 오디오 비트스트림으로 인코딩 할 수 있다. 인코딩된 오디오 비트스트림은 네트워크(104)를 통해 전송되거나 저장장치(104)에 저장될 수 있다. 디코더(105)는 네트워크 또는 저장장치(104)를 통해서 오디오 비트스트림을 수신할 수 있다.
오디오 워터마크 검출 장치(106)는 디코딩된 제2 오디오 신호로부터 워터마크를 검출할 수 있다. 제2 오디오 신호로부터 워터마크가 검출 될 때, 제2 오디오 신호는 동시에 스피커나 헤드폰과 같은 기기를 통해 재생될 수 있다.
제2 오디오 신호가 재생될 때, 사용자는 원본 오디오 신호의 왜곡을 인지하지 못할 수 있다. 또한 워터마크는 전송 및 저장을 위해 코덱/샘플링 율(sampling rate)의 변환과 같은 신호처리 또는 송/수신 과정에서 발생할 수 있는 지연(Delay)나 크로핑(Cropping)과 같은 상황에서도 제2 오디오 신호로부터 검출될 수 있다.
도 2는 본 발명의 일실시예에 따른 오디오 워터마크 삽입 장치가 수행하는 오디오 신호에 워터마크 삽입 방법을 도시한 도면이다.
단계(201)에서, 오디오 워터마크 삽입 장치는 원본 오디오 신호인 제1 오디오 신호를 MCLT(Modulated Complex Lapped Transform) 변환 할 수 있다. MCLT 기반의 음향 데이터 전송 시스템은 오디오 신호에 사람이 인지할 수 없는 신호를 삽입하고, 오디오 신호를 통해서 정보를 전달하는 시스템으로, 시간축 상의 오디오 신호를 주파수 축으로 변환하기 위해 MCLT 변환이 이용될 수 있다.
본 발명의 일실시예에 따르면, 정보를 삽입하기 위해 오디오 신호를 MCLT 변환을 한 후, MCLT 계수의 위상을 변화시켜 데이터를 삽입할 수 있다. 이때, MCLT의 중첩에 의해서 데이터의 위상이 급격히 변하는 것을 방지하여 음질이 저하되는 것을 방지할 수 있다.
본 발명의 일실시예에 따르면, MCLT(Modulated Complex Lapped Tranform) 변환은 길이가 2M인 시간 축 신호가 입력될 경우, 길이가 M인 주파수 신호로 바꾸어 주는 변환을 의미할 수 있다. 이때, 역변환시 인접한 MCLT 프레임간의 중첩을 통해서 신호를 획득할 수 있다. MCLT 계수는 수학식 1과 같이 MDCT(Modified Discrete Cosine Transform) 계수와 MDST(Modified Discrete Sine Transform) 계수로 표현될 수 있다.
Figure pat00001
이때, 실수부(
Figure pat00002
)는 MDCT 계수를 나타내며, 허수부(
Figure pat00003
)는 MDST 계수를 나타낼 수 있다. 여기서, W는 윈도우, C는 코사인 벡터, S는 사인 벡터, x는 길이가 2M인 원본 오디오 신호를 벡터로 표현한 것이다. 수학식 1에서 윈도우는 2M*2M, 코사인/사인 벡터는 M*2M matrix이므로, 입력되는 신호는 1*2M matrix를 나타낼 수 있다.
이때, 윈도우는 시간영역 신호에 곱해지는 분석윈도우로 sin[(n+1/2)*pi/2M]를 이용할 수 있다. 즉, 오디오 코딩에서 프레임 단위로 분석할 때, 해밍윈도우와 같은 것이 윈도우의 일 실시예 일 수 있다. 또한, 코사인/사인 벡터는 M*2M 코사인/사인 modulation matrix를 나타낼 수 있다.
단계(202)에서, 오디오 워터마크 삽입 장치는 MCLT 계수에 워터마크의 비트열을 삽입할 수 있다. 이때, 비트열은 오디오 워터마크 생성 장치로부터 생성될 수 있다. 워터마크의 비트열은 다음의 수학식 2를 통해 MCLT 변환된 제1 오디오 신호에 삽입될 수 있다.
Figure pat00004
여기서,
Figure pat00005
는 오디오 워터마크 생성 장치로부터 생성된 비트열을 나타내며, f는 비트열이 삽입되는 주파수 대역의 MCLT 계수의 인덱스(index)를 나타낼 수 있다. 이때, 인덱스는 몇 번째 MCLT 계수인지를 나타내는 지표를 나타낼 수 있다. 일례로, 1~M개의 MCLT계수 중에서 100번째 MCLT 계수에 워터마크를 삽입할 경우, 100이 인덱스 f가 되며, x(f)는 100번째 MCLT 계수를 나타낼 수 있다. 이때,
Figure pat00006
는 비트열이 삽입된 MCLT 계수를 나타낼 수 있다.
본 발명의 일실시예에 따르면, PN 시퀀스로 대역확산된 비트열은 MCLT 계수에 삽입될 수 있다. 비트열을 PN 시퀀스로 대역확산하는 방법은 비트열에 있는 각각의 비트(bit)를 PN 시퀀스로 모듈레이션(modulation)하는 방법을 나타낼 수 있다. 일례로, 비트열이 {1 -1 1}이고, PN 시퀀스가 {-1 -1 -1 1 -1 1 1}이라면 PN 시퀀스로 대역확산된 비트열은 {-1 -1 -1 1 -1 1 1 1 1 1 -1 1 -1 -1 -1 -1 -1 1 -1 1 1}이 될 수 있다.
이때, 고주파수 대역에 비트열을 삽입할 경우, 코덱을 통과하면서 비트열이 손상될 수 있다. 따라서, 코덱을 통과해도 손상되지 않는 주파수 대역에 비트열을 삽입할 수 있다. 예를들어, 전송되는 비트율이 낮을 경우, 코덱에서 높은 주파수 대역 신호를 대역확장(예를 들어, SBR과 같은 방법이용)등의 기술로 코딩하여 전송할 때 워터마크로 삽입된 데이터의 손상률이 클 수 있다. 따라서, 비트율이 낮은 경우, 인코딩 과정에서 데이터의 손상이 발생하지 않는 대역의 신호에 워터마크를 삽입할 수 있다.
단계(203)에서, 오디오 워터마크 삽입 장치는 MCLT 변환을 통한 주파수 영역 신호를 시간영역 신호로 변환할 수 있다.
본 발명의 일실시예에 따르면, 오디오 워터마크 삽입 장치는 다음의 수학식 3과 같이 IMDCT(Inverse MDCT)와 IMDST(Inverse MDST)로 표현되는 IMCLT를 적용할 수 있다. 이하 식에서 T는 전치행렬(Transpose Matrix )을 나타낼 수 있다.
Figure pat00007
본 발명의 다른 실시예에 따르면, 오디오 워터마크 삽입 장치는 다음의 수학식 4와 같이 MCLT 계수의 실수부를 IMDCT 변환하거나 허수부를 IMDST 변환할 수 있다.
Figure pat00008
오디오 워터마크 삽입 장치는 수학식 4를 이용하여 실수부 계수만 IMDCT 변환함으로써, 실수부 계수와 허수부 계수 사이에 중첩가산(overlap)으로 인해 발생하는 간섭 효과를 줄일 수 있다.
단계(204)에서, 오디오 워터마크 삽입 장치는 시간영역 신호를 이웃 프레임 신호와 중첩가산(overlap)함으로써, 원본 오디오 신호인 제1 오디오 신호에 워터마크가 삽입된 제2 오디오 신호를 획득할 수 있다. 이때, 시간영역 신호를 일반적으로 프레임(블록) 단위로 하여 주파수영역 신호로 변환이 되며, 예를 들어 512나 1024와 같은 샘플이 하나의 프레임을 나타낼 수 있다.
신호를 분석할 때, 프레임 윈도를 이용하여 중첩가산을 수행하는 기법에서 인접한 시간 영역 윈도우 사이 중첩에 의해 에일리어싱(Aliasing)은 발생될 수 있다. 시간영역 에일리어싱 제거(TDAC: Time Domain Aliasing Cancellation)방법을 사용하여 에일리어싱을 효과적으로 제거함으로써 신호는 완전히 복원될 수 있다.
MDCT 변환에 의한 경우, 윈도우의 50% 중첩(overlap)을 허용하면서도 추가되는 비트요구량이 없을 수 있다. 즉, 임계 샘플링을 보장하는 것으로, 프레임 크기가 N인 윈도우를 50% 중첩해 변환하여도 N/2개 샘플로부터 완전히 복원된 신호를 얻을 수 있다.
이때, 획득된 제2 오디오 신호는 인코더를 통해 오디오 비트스트림으로 인코딩된 후, 네트워크를 통해 전송되거나 저장장치에 저장될 수 있다.
도 3은 본 발명의 일실시예에 따른 오디오 워터마크 생성 장치가 수행하는 오디오 신호에 삽입할 워터마크 생성 방법을 도시한 도면이다.
단계(301)에서, 오디오 워터마크 생성장치는 삽입하려는 정보인 데이터를 변환할 수 있다. 일례로, 오디오 워터마크 생성장치는 삽입하려는 정보를 1과0으로 표현되는 binary 형태로 변환한 이후, 0을 -1로 교체할 수 있다. 즉, 삽입하려는 텍스트와 같은 정보가 전송을 위해 binary 형태로 변환되는 것을 나타낼 수 있다. 따라서, 오디오 워터마크 생성장치는 삽입하려는 정보인 데이터를 1과-1로 변환할 수 있다.
단계(302)에서, 오디오 워터마크 생성장치는 데이터를 PN 시퀀스로 대역확산 함으로써 워터마크의 비트열을 생성할 수 있다.
본 발명의 일실시예에 따르면, PN 시퀀스로 대역확산 하는 여러 가지 방법이 있다. 일례로, 1과 -1로 구성된 PN 시퀀스를 이용함으로써, 마찬가지로 1과 -1로 구성된 데이터를 대역확산 할 수 있다. 이는, 삽입하려는 데이터가 PN 시퀀스를 모듈레이션(modulation)되는 것을 의미할 수 있다. 예를 들면, PN 시퀀스가 111이고 삽입하려는 데이터가 1이면 111을 삽입하고, 삽입하려는 데이터가 -1이면 -1-1-1을 삽입하는 것을 나타낼 수 있다.
이때, PN 시퀀스의 길이가 길 경우 워터마크를 검출할 때 강인성은 높아질 수 있지만, 오디오 신호의 왜곡이 증가할 수 있다. 반대로, PN 시퀀스의 길이가 짧을 경우 오디오 신호의 왜곡은 줄어들지만, 워터마크를 검출할 때 강인성이 낮아질 수 있다. 따라서, 서비스에 따라 PN 시퀀스의 길이를 선택할 수 있다. 즉, PN 시퀀스의 길이가 짧으면 왜곡 환경에서 Bit error rate(BER)이 높아질 수 있다. 그래서 서비스의 특성에 따라 왜곡의 정도가 다르므로, 제공되는 서비스에 따라 PN 시퀀스의 길이는 선택될 수 있다.
도 4는 본 발명의 일실시예에 따른 오디오 워터마크 검출 장치가 수행하는 오디오 신호로부터 워터마크 검출 방법을 도시한 도면이다.
단계(401)에서, 오디오 워터마크 검출장치는 디코더를 통해 디코딩된 제2 오디오 신호를 MDCT 변환할 수 있다. 이때, 제2 오디오 신호는 원본 오디오 신호인 제1 오디오 신호에 워터마크가 삽입된 신호를 의미할 수 있다.
단계(402)에서, 오디오 워터마크 검출장치는 MDCT 계수로부터 비트열을 추출할 수 있다. 일례로, MDCT 계수의 부호가 양수이면 비트열은 1, MDCT 계수의 부호가 음수이면 비트열은 -1을 나타낼 수 있다.
단계(403)에서, 오디오 워터마크 검출장치는 추출된 워터마크의 비트열을 이용하여 삽입된 정보인 데이터를 검출할 수 있다. 일례로, 추출된 비트열과 오디오 워터마크 삽입장치에서 사용한 PN 시퀀스의 거리를 측정하여 1과 -1로 구성된 데이터를 생성할 수 있다. 예를 들어, PN 시퀀스와 비트열을 곱한 후 더하여 0보다 크면 1, 0보다 작으면 -1로 결정될 수 있다. 구체적으로, PN 시퀀스가 1 -1 1 이고, 추출된 비트열이 1 1 1이면, PN 시퀀스와 비트열을 곱한 후 합하면 1이 되므로 결과적으로 1이 출력될 수 있다.
오디오 워터마크 검출 장치는 생성된 데이터를 변환함으로써 제1 오디오 신호에 삽입된 정보를 추출할 수 있다. 이때, 오디오 워터마크 검출장치가 제2 오디오 신호로부터 삽입된 정보를 추출할 때, 스피커 또는 헤드폰과 같은 재생하는 기기를 통해 제2 오디오 신호는 재생될 수 있다.
본 발명은 MCLT 변환을 이용하여 원본 오디오 신호에 워터마크를 삽입하는 방법 및 장치를 제안하며, 삽입된 워터마크는 코덱/지연(Delay)/크로핑(Cropping)와 같은 상황에서도 효과적으로 검출될 수 있다.
도 5는 본 발명의 일실시예로서 워터마크를 검출하는 다른 방법을 도시한 도면이다.
본 발명의 일실시예에 따르면, 사용자 단말은 오디오 워터마크 검출 장치를 포함할 수 있다. 또는 사용자 단말은 오디오 워터마크 검출 장치와 디코더를 포함할 수 있다.
본 발명의 일실시예에 따르면, 사용자 단말(510)은 오디오 워터마크 검출 장치(511)를 통해 제2 오디오 신호로부터 삽입된 정보인 워터마크를 검출할 수 있다. 또한, 사용자 단말(510)은 오디오 워터마크 검출 장치(511)에서 워터마크를 검출 할 때, 제2 오디오 신호를 재생할 수 있다.
이때, 재생되는 제2 오디오 신호는 다른 사용자 단말(520)에서 마이크와 같은 기기를 이용하여 수신될 수 있다. 제2 오디오 신호를 수신한 사용자 단말(520)은 오디오 워터마크 검출 장치(521)를 통해 제2 오디오 신호에 삽입된 정보인 워터마크를 검출할 수 있다. 사용자 단말(510)으로부터 제2 오디오 신호를 수신하여 워터마크를 검출하는 다른 사용자 단말(520, 530, 540 ~)은 복수의 개수가 존재할 수 있다.
일례로, 오디오 워터마크 삽입 장치는 원본 오디오 신호인 제1 오디오 신호와 관련된 정보를 포함하고 있는 URL 주소를 워터마크로 삽입할 수 있다. 워터마크는 사용자 단말(510) 또는 복수의 다른 사용자 단말(520, 530, 540 ~)에서 검출 될 수 있다. 사용자는 검출된 URL 주소를 통해 제1 오디오 신호와 관련된 정보를 확인할 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
101: 오디오 워터마크 삽입 장치
102: 오디오 워터마크 생성 장치
106: 오디오 워터마크 검출 장치

Claims (20)

  1. 제1 오디오 신호를 MCLT 변환하는 단계;
    상기 MCLT 변환된 제1 오디오 신호에 워터마크의 비트열을 삽입하는 단계;
    상기 비트열이 삽입된 제1 오디오 신호를 IMDCT 변환하는 단계; 및
    상기 IMDCT 변환된 신호를 이웃 프레임 신호와 중첩 가산 함으로써 제1 오디오 신호에 워터마크가 삽입된 제2 오디오 신호를 획득하는 단계
    를 포함하는 오디오 워터마크 삽입 방법.
  2. 제1항에 있어서,
    상기 비트열은,
    제1 오디오 신호에 삽입하려는 정보를 PN 시퀀스로 대역확산하는 방법을 이용함으로써 생성되는 오디오 워터마크 삽입 방법.
  3. 제2항에 있어서,
    상기 PN 시퀀스의 길이는 서비스에 따라 결정되는 오디오 워터마크 삽입 방법.
  4. 제1항에 있어서,
    상기 비트열을 삽입하는 단계는,
    MCLT 계수에 PN 시퀀스의 길이만큼 비트열을 삽입하는 오디오 워터마크 삽입 방법.
  5. 제1항에 있어서,
    상기 비트열을 삽입하는 단계는,
    코덱을 통과해도 손상되지 않는 주파수 대역을 선택하는 단계,
    상기 선택된 주파수 대역에 비트열을 삽입하는 단계
    를 포함하는 오디오 워터마크 삽입 방법.
  6. 제1 오디오 신호에 워터마크가 삽입된 제2 오디오 신호를 수신하여 MDCT 변환하는 단계;
    상기 MDCT 변환된 제2 오디오 신호를 이용하여 워터마크의 비트열을 추출하는 단계;
    상기 추출된 비트열을 이용하여 워터마크를 검출하는 단계
    를 포함하는 오디오 워터마크 검출 방법.
  7. 제6항에 있어서,
    상기 비트열은,
    제1 오디오 신호에 삽입하려는 정보를 PN 시퀀스로 대역확산하는 방법을 이용함으로써 생성되는 오디오 워터마크 검출 방법.
  8. 제7항에 있어서,
    상기 PN 시퀀스의 길이는 서비스에 따라 결정되는 오디오 워터마크 검출 방법.
  9. 제6항에 있어서,
    상기 비트열을 추출하는 단계는,
    상기 변환된 MDCT 계수를 이용하여 비트열을 추출하는 오디오 워터마크 검출 방법.
  10. 제7항에 있어서,
    상기 워터마크를 검출하는 단계는,
    상기 PN 시퀀스와 추출된 비트열의 거리를 측정함으로써 워터마크를 검출하는 오디오 워터마크 검출 방법.
  11. 워터마크 삽입 장치에 있어서,
    워터마크 삽입 장치는 프로세서를 포함하고,
    상기 프로세서는,
    제1 오디오 신호를 MCLT 변환하고,
    상기 MCLT 변환된 제1 오디오 신호에 워터마크의 비트열을 삽입하고,
    상기 비트열이 삽입된 제1 오디오 신호를 IMDCT 변환하고,
    상기 IMDCT 변환된 신호를 이웃 프레임 신호와 중첩 가산 함으로써 제1 오디오 신호에 워터마크가 삽입된 제2 오디오 신호를 획득하는 오디오 워터마크 삽입 장치.
  12. 제11항에 있어서,
    상기 비트열은,
    제1 오디오 신호에 삽입하려는 정보를 PN 시퀀스로 대역확산하는 방법을 이용함으로써 생성되는 오디오 워터마크 삽입 장치.
  13. 제12항에 있어서,
    상기 PN 시퀀스의 길이는 서비스에 따라 결정되는 오디오 워터마크 삽입 장치.
  14. 제11항에 있어서,
    상기 비트열을 삽입하는 단계는,
    MCLT 계수에 PN 시퀀스의 길이만큼 비트열을 삽입하는 오디오 워터마크 삽입 장치.
  15. 제11항에 있어서,
    상기 비트열의 삽입은,
    코덱을 통과해도 손상되지 않는 주파수 대역을 선택하고,
    상기 선택된 주파수 대역에 비트열을 삽입하는 오디오 워터마크 삽입 장치.
  16. 워터마크 검출 장치에 있어서,
    워터마크 검출 장치는 프로세서를 포함하고,
    상기 프로세서는,
    제1 오디오 신호에 워터마크가 삽입된 제2 오디오 신호를 수신하여 MDCT 변환하고,
    상기 MDCT 변환된 제2 오디오 신호를 이용하여 워터마크의 비트열을 추출하고,
    상기 추출된 비트열을 이용하여 워터마크를 검출하는 오디오 워터마크 검출 장치.
  17. 제16항에 있어서,
    상기 비트열은,
    제1 오디오 신호에 삽입하려는 정보를 PN 시퀀스로 대역확산하는 방법을 이용함으로써 생성되는 오디오 워터마크 검출 장치.
  18. 제17항에 있어서,
    상기 PN 시퀀스의 길이는 서비스에 따라 결정되는 오디오 워터마크 검출 장치.
  19. 제16항에 있어서,
    상기 비트열의 추출은,
    상기 변환된 MDCT 계수를 이용하여 비트열을 추출하는 오디오 워터마크 검출 장치.
  20. 제17항에 있어서,
    상기 워터마크의 검출은,
    상기 PN 시퀀스와 추출된 비트열의 거리를 측정함으로써 워터마크를 검출하는 오디오 워터마크 검출 장치.
KR1020170072321A 2016-11-24 2017-06-09 오디오 워터마크 삽입 방법 및 장치, 그리고 오디오 워터마크 검출 방법 및 장치 KR20180058611A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/710,353 US20180144755A1 (en) 2016-11-24 2017-09-20 Method and apparatus for inserting watermark to audio signal and detecting watermark from audio signal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160157272 2016-11-24
KR1020160157272 2016-11-24

Publications (1)

Publication Number Publication Date
KR20180058611A true KR20180058611A (ko) 2018-06-01

Family

ID=62634852

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170072321A KR20180058611A (ko) 2016-11-24 2017-06-09 오디오 워터마크 삽입 방법 및 장치, 그리고 오디오 워터마크 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20180058611A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020131519A1 (en) * 2018-12-19 2020-06-25 The Nielsen Company (Us), Llc Multiple scrambled layers for audio watermarking

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020131519A1 (en) * 2018-12-19 2020-06-25 The Nielsen Company (Us), Llc Multiple scrambled layers for audio watermarking
US10818303B2 (en) 2018-12-19 2020-10-27 The Nielsen Company (Us), Llc Multiple scrambled layers for audio watermarking
US11636864B2 (en) 2018-12-19 2023-04-25 The Nielsen Company (Us), Llc Multiple scrambled layers for audio watermarking

Similar Documents

Publication Publication Date Title
Kirovski et al. Robust spread-spectrum audio watermarking
Dong et al. Data hiding via phase manipulation of audio signals
Hu et al. A DWT-based rational dither modulation scheme for effective blind audio watermarking
US20030176934A1 (en) Method and apparatus for embedding data in audio signals
US20180144755A1 (en) Method and apparatus for inserting watermark to audio signal and detecting watermark from audio signal
Dhar et al. Advances in audio watermarking based on singular value decomposition
Jain et al. Digital audio watermarking: A survey
Yassine et al. A secure and high robust audio watermarking system for copyright protection
JP2014521112A (ja) 入力信号に透かし入れするための量子化インデックス変調の方法および装置
Xiang et al. Digital audio watermarking: fundamentals, techniques and challenges
WO2001031629A1 (fr) Dispositif de traitement de signaux et procede associe et support de stockage de programme
Ansari et al. Data-hiding in audio using frequency-selective phase alteration
Kaur et al. Audio steganography techniques-a survey
KR100355033B1 (ko) 선형예측 분석을 이용한 워터마크 삽입/추출 장치 및 그방법
Park et al. Speech authentication system using digital watermarking and pattern recovery
KR20180058611A (ko) 오디오 워터마크 삽입 방법 및 장치, 그리고 오디오 워터마크 검출 방법 및 장치
EP2905775A1 (en) Method and Apparatus for watermarking successive sections of an audio signal
Lin et al. Audio watermarking techniques
Patel et al. Secure transmission of password using speech watermarking
Rao et al. Hybrid speech steganography system using SS-RDWT with IPDP-MLE approach
Nishimura Reversible and robust audio watermarking based on spread spectrum and amplitude expansion
CN104538038A (zh) 具有鲁棒性的音频水印嵌入和提取方法及装置
Cvejic et al. Audio watermarking: Requirements, algorithms, and benchmarking
Nishimura Data hiding in speech sounds using subband amplitude modulation robust against reverberations and background noise
Nishimura Reversible and robust audio watermarking based on quantization index modulation and amplitude expansion