KR100956945B1 - 배음을 이용한 오디오 워터마크의 삽입 및 추출방법 - Google Patents

Abstract

본 발명은 오디오 워터마크의 삽입 및 추출방법에 관한 것으로, 더욱 상세하게는 오디오 신호를 프레임으로 분할하는 단계, 상기 프레임의 오디오 신호를 주파수 성분으로 변환하는 단계, 상기 변환된 주파수 성분으로부터 기본음 및 적어도 하나의 배음을 검출하는 단계, 상기 검출된 배음을 변조하는 단계, 및 상기 변조된 주파수 성분을 시간영역으로 변환하는 단계를 포함하는 것을 특징으로 하는 오디오 워터마크의 삽입 및 추출방법에 관한 것이다. 본 발명에 의하면, 음악의 저작권 보호 등 기존의 오디오 워터마킹이 쓰이는 곳에 다양하게 사용될 수 있다.

오디오, 워터마크, 기본음, 배음, 푸리에변환, 프레임, 역 푸리에 변환

Description

배음을 이용한 오디오 워터마크의 삽입 및 추출방법{method of embedding and extracting audio watermark by using overtone}

본 발명은 오디오 워터마크의 삽입 및 추출방법에 관한 것으로, 보다 상세하게는 음악의 배음성분을 이용하여 배음에 변조를 가함으로써 귀에 거슬리지 않고 원본 음악의 고저 차이를 거의 느낄 수 없는 강인한 오디오 워터마크의 삽입 및 추출방법에 관한 것이다.

다양한 멀티미디어 장치들이 최근 많이 이용되고 있다. 오디오 분야에서는, CD를 MD(mini disc)로 복사하거나 개인용 PC를 이용하여 인터넷을 통해 MP3(MPEG Audio Layer 3) 음악 데이터를 다운받기도 한다. 기록가능한 방법으로 디지털화를 통한 음악의 유용성 및 음악의 다양한 응용성의 증가로 인해, 훨씬 많은 수의 음악 크리에이터들은 기록된 음악의 부분들을 연주하거나 복사하고 있고, 누구라도 음원의 복사된 부분을 손쉽게 새로운 트랙으로 재배열하거나 재배치하여 원본 작품이라고 주장할 수 있게 되었다.

음악은 저작권 있는 작품이며, 이러한 음원을 복사하거나 방송하는 사람들은 판권이 있는 소유자에게 로열티를 지급해야만 한다. 그러나, 음악 정보가 쉽게 디 지털 데이터로 복사되는 현재의 사용환경에서는, 저작권 및 그 부수하는 권리들의 위반을 방지하거나 그러한 권리들을 위반하는 사람들을 식별하는 것이 대단히 어려운 실정이다.

따라서, 저작권정보를 삽입하여 신뢰할 수 있는 방법으로 음악 데이터의 사용에 대해 로열티를 청구할 수 있고자 하는 시도들이 있었으나, 원본 음악의 음색에 전혀 손색이 없으면서 손쉽게 그러한 정보를 삽입하는 방법은 아직 없는 실정이다.

종래에 배음을 이용한 워터마크 삽입방법이 있었으나, 작곡자가 배음 구조를 직접 선택해야 하고 배음 구조를 구성하는 음들의 주파수를 다시 12음계로 변환하여야 하여 그 과정에서 오차가 발생할 염려가 있으며 그러한 오차는 귀에 거슬릴 수가 있었다.

본 발명자는 음악의 배음성분을 이용하여 귀에 거슬리지 않고 원본 음악의 음고 차이를 거의 느낄 수 없는 강인한 워터마크의 삽입 및 추출방법을 창안하였다.

본 발명의 목적은, 상기 문제점을 해결하기 위한 것으로, 음악의 배음성분을 이용하여 귀에 거슬리지 않고 원본 음악의 고저 차이를 거의 느낄수 없는 강인한 워터마크의 삽입방법을 제공하고자 함에 있다.

본 발명의 다른 목적은 상기 방법으로 삽입된 워터마크를 추출하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 의하면, 배음을 이용한 오디오 워터마크의 삽입방법에 있어서, 오디오 신호를 프레임으로 분할하는 단계, 상기 프레임의 오디오 신호를 주파수 성분으로 변환하는 단계, 상기 변환된 주파수 성분으로부터 기본음 및 적어도 하나의 배음을 검출하는 단계, 상기 검출된 배음을 변조하는 단계, 및 상기 변조된 주파수 성분을 시간영역으로 변환하는 단계를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 다른 측면에 의하면, 배음을 이용한 오디오 워터마크의 추출방법에 있어서, 프레임을 동기화하는 단계, 오디오 신호를 프레임으로 분할하는 단계, 상기 프레임의 오디오 신호를 주파수 성분으로 변환하는 단계, 상기 변환된 주파수 성분으로부터 기본음 및 정보가 삽입된 배음을 검출하는 단계, 및 상기 검출된 배음으로부터 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.

상기에서와 같이 본 발명은 음악의 배음성분을 이용하여 귀에 거슬리지 않고 원본 음악의 고저 차이를 거의 느낄 수 없는 강인한 워터마크의 삽입 및 추출방법으로, 음악의 저작권 보호 등 기존의 오디오 워터마킹이 쓰이는 곳에 다양하게 사용할 수 있으며 추가적으로 기타 부가적인 정보를 유입시키는데 이용될 수 있다.

또한, 본 발명에 의한 배음을 이용한 워터마킹은 원본 음악 데이터에서 음질 변화를 최소화하고 소리가 가진 고유한 성질을 이용함으로써 각종 필터링이나 낮은 비트 전송률의 압축에 강인한 효과가 있다.

자연계의 음들은 다양한 음을 가지며, 이러한 음은 조화배음(harmonic overtone)으로 구성된다.

자연 조화배음으로 불리는 조화배음은 음색을 결정하는 데 가장 중요한 요소이다. 소리의 음색은 이러한 기초를 이루는 조화배음의 혼합비율에 따라서 변화한다. 즉, 음향학에서 가장 낮은 주파수의 부분음을 기본음(fundamental tone)이라고 하며 다른 것은 배음(overtone)이라고 한다. 배음의 주파수는 기본음 주파수의 정수배의 주파수가 되기도 하는데, 예를 들면 첫째 배음이라고 불리는 기본음 주파수의 2, 3, 4 배,… n 배 등의 주파수를 가져서 기본음의 제 2 배음, 제 3 배음, 제 4 배음,… 제 n 배음이라고 하며, 이러한 기본음이 조화배음과 결합되는 것에 의하여 소리의 음색이 결정되는 것이다.

이 때, 배음을 이루는 성분들 중에 한 개의 성분의 크기를 크게 변화시켜도 사람이 느끼는 음고는 거의 변하지 않으므로 귀에 크게 거슬리지 않게 된다.

따라서, 본 발명은 원본 오디오 신호의 배음 구조를 파악한 후, 특정 배음, 예컨대 n 번째 배음 성분의 크기를 조정함으로써 사용자가 원본 오디오 신호와의 차이를 지각할 수 없도록 정보를 삽입할 수 있다.

본 발명이 적용될 원본 오디오 신호는 모든 종류의 음악, 음성에 적용이 가능하다. 특히, 가공되지 않은 자연음에 큰 효과가 있다. 상기 특정 n번째 배음의 크기 조정을 통해 '0' 또는 '1'을 삽입하여, 많은 양의 정보를 전체 오디오 신호에 삽입할 수 있다.

이러한 배음의 변조는 원본 음원 부분 또는 전체를 통하여 이루어 질 수 있다. 여기서 워터마크로서 삽입될 정보는 각 음원의 제작, 배포, 편집 등의 저작권에 관한 정보 뿐만 아니라 이러한 저작권에 부수하는 권리에 관한 정보 및 기타 다른 정보들을 포함할 수 있으며, 상기 이진수를 이용하여 여러 다양한 정보를 삽입할 수 있다.

상기 주파수 영역에서 변조된 오디오 신호를 다시 시간영역으로 변환한다.

상기와 같이 본 발명은 주파수 영역(frequency domain)에서 워터마크를 삽입하기 때문에 시간 영역에서 얻어지는 데이터를 변조하는 것보다 압축에 강인한 유리한 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 다음 실시예들은 본 발명의 이해를 돕기 위한 것이며 본 발명이 하기의 실시예에 한정되는 것은 아니다.

도 1은 본 발명의 일 실시예에 따른 배음을 이용한 오디오 워터마크 삽입방법의 절차도이다.

도 1을 참조하여 설명하면, 우선 원본 오디오 신호를 일정한 길이의 프레임으로 분할한다(S10). 본 발명이 적용될 원본 오디오 신호는 모든 종류의 음악, 음성에 적용이 가능하다. 44.1kHz 샘플링 신호의 경우 4096 샘플 정도가 적당하며, 상기 샘플수는 적용 환경에 따라 적절히 조절한다.

그런 다음, 각 프레임별로 오디오 신호를 주파수 성분으로 변환을 수행한다(S11). 이러한 변환은 푸리에 변환(fourier transform)을 통해 수행될 수 있다. 바람직하게는 고속 푸리에 변환(fast fourier transform)을 수행한다. 이때 디지털신호처리기를 이용하여 디지털신호처리기 내부에 구비된 마이크로프로세서로 푸리에 변환을 수행하고 주파수 성분에 따른 신호크기를 검출할 수 있다.

상기 변환된 주파수 성분으로부터 기본음 및 적어도 하나의 배음을 검출한다(S12). 이 경우 약 300Hz이하의 극저대역은 배음구조가 뚜렷하지 않은 경우가 많으므로 제외하도록 하는 것이 바람직하다.

여기서, 최대 피크점을 기본음으로 하고 그 n 배가 되는 지점을 배음이라고 정의하는데, 첫번째 배음이라고 불리는 기본음 주파수의 2, 3, 4 … n 배 등의 주파수를 가져서 기본음의 2번째 배음, 3 번째 배음,4 번째 배음, … n 번째 배음이라고 정의한다.

그런 다음, 상기 검출된 배음의 변조를 수행하는데, 기본음의 2번째 배음, 3 번째 배음, 4 번째 배음, … n 번째 배음 중 적어도 하나의 배음을 변조할 수 있다(S13). 상기 변조된 주파수 성분을 시간영역으로 변환한다(S14). 바람직하게는 ,역푸리에변환을 통하여 주파수 성분이 시간영역으로 전환될 수 있다. 상기 과정들이 수행된 프레임들을 결합한다(S15).

도 2는 본 발명의 일 실시예에 따른 배음검출의 개념도이다. 여기에서, FFT는 고속 푸리에 변환을 나타낸다.

도 2을 참조하여 설명하면, 배음검출(S12)은 FFT를 통한 신호를 기본음과 그것의 n 번째 배음을 찾는다. 이 과정은 최대 피크점과 그 n 배가 되는 지점을 찾음으로써 수행할 수 있다. 바람직하게는 디지털신호처리기를 이용하여 최대 피크점을 기본음으로 하고 그 n 배가 되는 지점을 n 번째 배음으로 설정한다. 이 경우 약 300Hz이하의 극저대역은 배음구조가 뚜렷하지 않은 경우가 많으므로 제외하도록 하는 것이 바람직하다.

도 3는 본 발명의 일 실시예에 따른 배음변조의 개념도이다.

도 3를 참조하여 설명하면, 변조는 상기 S12에서 검출된 n 번째 배음에 이루어지며, 디지털신호처리기를 이용하여 상기 n 번째 배음에 '1' 또는 '0'을 삽입하여 수행한다. 여기서, '1'을 삽입하는 경우는, n 번째 배음의 크기를 기본음의 1/m배 이상이 되도록 증가시키거나 유지하도록 한다. 상기에서 m의 값은 1 ~ 4 정도이 며, 바람직하게는 2 ~ 4 정도에서 적용 환경에 따라 조절하도록 한다.

상기 n 번째 배음에 '0'을 삽입하는 경우는, n 번째 배음의 최고치 신호크기가 0이 되도록 변조하고, n 번째 배음을 기준으로 주변의 100 ~ 200Hz정도의 신호크기를 반전시킨다.

상기 n 번째 배음에 '1' 또는 '0'의 삽입은 상기 기술의 역도 가능하다.

이러한 배음의 변조는 원본 음원 부분 또는 전체를 통하여 이루어 질 수 있다. 또한, 여기서 워터마크로써 삽입될 정보는 각 음원의 제작, 배포, 편집 등의 저작권에 관한 정보 뿐만 아니라 이러한 저작권에 부수하는 권리에 관한 정보 및 기타 다른 정보들을 포함할 수 있으며, 상기 이진수를 이용하여 여러 다양한 정보를 삽입할 수 있다.

도 4는 본 발명의 일 실시예에 따른 시간영역으로 변환의 개념도이다. 여기에서, IFFT는 역 고속 푸리에 변환을 나타낸다.

상기 역푸리에변환을 통하여 주파수 영역의 크기가 시간영역으로 전환될 수 있다. 각 프레임별 역푸리에변환을 수행하고 프레임을 결합하여 워터마크가 삽입된 오디오 신호가 생성될 수 있다.

상기 본 발명에 의한 워터마크가 삽입된 오디오 신호에서 워터마크 부분을 추출할 경우는 다음과 같이 수행할 수 있다.

도 5는 본 발명의 다른 실시예에 따른 배음을 이용한 오디오 워터마크 추출방법의 절차도이다.

도 5을 참조하여 설명하면, 오디오 신호에서 워터마크를 추출하는 방법은 수신한 오디오 신호에 삽입된 워터마크 신호에 대한 시작점을 찾도록 동기화하고(S20), 원본 오디오 신호를 일정한 길이의 프레임으로 분할한다(S21). 분할방법은 상기 배음을 이용한 오디오 워터마크 삽입방법과 동일하게 적용할 수 있다.

그런 다음, 각 프레임별로 오디오 신호를 주파수 성분으로 변환한다(S22). 이 과정은 푸리에 변환으로 수행할 수 있으며, 바람직하게는 고속 푸리에 변환을 수행한다. 이때 디지털신호처리기를 이용하여 디지털신호처리기 내부에 구비된 마이크로프로세서로 고속 푸리에 변환하고 주파수 성분에 따른 신호크기를 검출할 수 있다.

상기 워터마크의 삽입과정과 동일하게 기본음 및 정보가 삽입된 n 번째 배음을 검출한다(S23). 상기 검출된 기본음 및 n 번째 배음은 통상 원본 변조된 오디오 신호와 비교하여 왜곡되어 있으므로, 정보가 삽입된 n 번째 배음을 검출한 후, n 번째 배음이 기본음의 문턱치 t이상이면 '1'을, 그 이하이면 '0'을 추출한다(S24). 상기 문턱치 t는 1/2m을 적용하거나, 최종 검출시 0과 1의 값이 비슷하게 나오도록 유동적으로 조절하여 설정한다. 상기에서 m의 값은 1 ~ 4 정도이며, 바람직하게는 2 ~ 4 정도에서 적용 환경에 따라 조절하도록 한다.

이상의 본 발명은 상기에 기술된 실시예들에 의해 한정되지 않고, 당업자들 에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.

도 1은 본 발명의 일 실시예에 따른 배음을 이용한 오디오 워터마크 삽입방법의 절차도이다.

도 2는 본 발명의 일 실시예에 따른 배음검출의 개념도이다.

도 3은 본 발명의 일 실시예에 따른 배음변조의 개념도이다.

도 4는 본 발명의 일 실시예에 따른 시간영역으로 변환의 개념도이다.

도 5는 본 발명의 다른 실시예에 따른 배음을 이용한 오디오 워터마크 추출방법의 절차도이다.

Claims (13)

1. 삭제
2. 삭제
3. 배음을 이용한 오디오 워터마크의 삽입방법에 있어서,

   오디오 신호를 프레임으로 분할하는 단계;

   상기 프레임의 오디오 신호를 주파수 성분으로 변환하는 단계;

   상기 변환된 주파수 성분으로부터 기본음 및 적어도 하나의 배음을 검출하는 단계;

   상기 검출된 배음을 변조하는 단계; 및

   상기 변조된 주파수 성분을 시간영역으로 변환하는 단계를 포함하되,

   상기 배음 검출은 최대 피크점을 기본음으로 하고 그 n배가 되는 지점을 n 번째 배음으로 설정하는 것을 특징으로 하는 오디오 워터마크의 삽입방법.
4. 제3항에 있어서, 극저대역은 상기 배음검출의 대상에서 제외하는 것을 특징으로 하는 오디오 워터마크의 삽입방법.
5. 제3항 내지 제4항 중 어느 한 항에 있어서, 상기 변조는 적어도 하나 이상의 n 번째 배음에 '1' 또는 '0'을 삽입하는 것을 특징으로 하는 오디오 워터마크의 삽입방법.
6. 제5항에 있어서, 저작권 정보의 기입을 포함하는 것을 특징으로 하는 오디오 워터마크의 삽입방법.
7. 제6항에 있어서, 상기 저작권에 부수하는 권리에 대한 정보의 기입을 포함하는 것을 특징으로 하는 오디오 워터마크의 삽입방법.
8. 제5항에 있어서, 상기 n 번째 배음에 '1'의 삽입은 상기 n 번째 배음의 크기를 기본음의 1/m배 이상이 되도록 증가시키거나 유지하는 것을 특징으로 하는 오디오 워터마크의 삽입방법.
9. 제8항에 있어서, 상기 m의 값은 1 내지 4인 것을 특징으로 하는 오디오 워터마크의 삽입방법.
10. 삭제
11. 배음을 이용한 오디오 워터마크의 추출방법에 있어서,

    프레임을 동기화하는 단계;

    오디오 신호를 프레임으로 분할하는 단계;

    상기 프레임의 오디오 신호를 주파수 성분으로 변환하는 단계;

    상기 변환된 주파수 성분으로부터 기본음 및 정보가 삽입된 배음을 검출하는 단계; 및

    상기 검출된 배음으로부터 정보를 추출하는 단계를 포함하되,

    상기 정보 추출은 정보가 삽입된 배음의 크기가 기본음의 문턱치 t 이상이면 '1'을, 그 이하이면 '0'을 추출하는 것을 특징으로 하는 오디오 워터마크의 추출방법.
12. 제11항에 있어서, 상기 문턱치 t는 1/2m을 적용하는 것을 특징으로 하는 오디오 워터마크의 추출방법.
13. 제12항에 있어서, 상기 m의 값은 1 내지 4인 것을 특징으로 하는 오디오 워터마크의 추출방법.

Images